CN112017240A - 一种面向无人叉车的托盘识别定位方法 - Google Patents
一种面向无人叉车的托盘识别定位方法 Download PDFInfo
- Publication number
- CN112017240A CN112017240A CN202010830170.8A CN202010830170A CN112017240A CN 112017240 A CN112017240 A CN 112017240A CN 202010830170 A CN202010830170 A CN 202010830170A CN 112017240 A CN112017240 A CN 112017240A
- Authority
- CN
- China
- Prior art keywords
- tray
- camera
- coordinate system
- point cloud
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种面向无人叉车的托盘识别定位方法,包括如下步骤:S1,集成单目相机与单线激光雷达,对对其进行标定,得到相机的内参矩阵和外参矩阵;S2,选取并完成神经网络系统的训练及部署;S3,通过神经网络获取托盘识别框顶点的二维坐标和内参矩阵,得到托盘左右两侧与相机光心的连线,与相机光轴的夹角;S4,根据单线激光雷达测距信息和外参矩阵,将点云投影到相机坐标系下,根据夹角,对相机坐标系下的点云进行滤波,保留托盘对应的点云;S5,将托盘对应的点云,利用霍夫变换进行直线检测,拟合出托盘前表面及托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角。
Description
技术领域
本发明涉及智能识别及定位技术领域,尤其是涉及了一种面向无人叉车的托盘识别定位方法。
背景技术
在智能化的时代背景下,随着机器人技术和人工智能技术的不断更迭,制造行业与仓储物流行业逐渐向智能化、无人化、自主化等方向转型,智能物流作为上述行业向智能化迈进的重要基础,有了长足的进步与发展。无人叉车作为智能物流的基本实现形式,被广泛应用于物料输送、仓储存放及货物装卸等工作场景,可适应不同工作环境,完成高强度作业任务。
无人叉车的本质是一台智能机器人,而智能机器人则是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统,其中环境感知能力是体现其智能化程度的一个重要指标,并对其自主作业功能起指导性作用,是机器人系统中极为重要的组成部分。无人叉车在大多数作业任务中的感知目标为托盘,因此无人叉车对托盘的感知能力是其实现无人化自主作业的关键因素。目前在无人叉车相关研究中对于托盘的识别与定位通常采用双目视觉、激光雷达、毫米波雷达等深度传感器与单目视觉融合的方案,此类方案在一定范围内可实现无人叉车对托盘的识别与定位,但在计算资源消耗、物体定位精度、有效定位距离及成本等方面还存在着明显的不足。由于无人叉车受成本、体积、功耗及作业效率等问题的约束,其搭载的终端计算设备算力十分有限,因此采用上述方案的托盘识别与定位方法造价高昂、计算资源消耗大、实时性差,在无人叉车实际工作条件下难以有效完成托盘识别与定位工作。
发明内容
为解决现有技术的不足,实现降低计算资源消耗,提高定位精度,增加有效定位距离,提高实时性,节约成本的目的,本发明采用如下的技术方案:
一种面向无人叉车的托盘识别定位方法,包括如下步骤:
S1,集成单目相机与单线激光雷达,相机光轴平行于地面,激光雷达标原点与相机光心的连线垂直于地面,对单目相机和单线激光雷达进行标定,得到的标定参数包括单目相机的内参矩阵和外参矩阵;
S2,选取神经网络系统,采集托盘图像作为训练数据集,并完成对神经网络的训练,实现托盘识别神经网络的部署;
S3,通过神经网络识别单目相机采集的托盘,并获取托盘识别框顶点的二维坐标,根据所述内参矩阵,计算得到托盘左右两侧与相机光心的连线,在相机水平视角场中,与相机光轴的夹角;
S4,读取单线激光雷达测距信息,将极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云,根据所述外参矩阵,将点云投影到相机坐标系下,根据所述夹角,对相机坐标系下的点云进行滤波,保留托盘对应的点云;
S5,将托盘对应的点云转换成像素与距离成对应关系的平面图像,利用霍夫变换进行直线检测,拟合出托盘前表面,并对拟合得到的托盘前表面的直线进行处理,得到托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角,从而实现对托盘的识别定位。
所述S1包括如下步骤:
S11,相机标定板结合相机视场范围采集不同位姿的标定图像以覆盖单目相机的全部视场,并确保采集过程中标定板始终在激光雷达点云中清晰可辨;
S12,利用采集到的标定图像和点云数据,通过联合标定工具箱处理标定板点云以实现点云和标定图像的帧匹配,完成单目相机的标定和单目相机与单线激光雷达的联合标定,分别得到相机的内参矩阵和外参矩阵。
所述S2,根据无人叉车上计算平台的算力选取神经网络,以满足网络运行的实时性要求。
所述S3包括如下步骤:
S31,单目相机获取视野中的环境图像;
S32,利用神经网络识别环境图像中的托盘及其识别框左右两侧顶点在像素坐标系中的二维坐标;
S33,根据左右两侧顶点的二维坐标和所述相机内参,计算得到托盘左右两侧与相机光心连线,在相机水平视角场中,与相机光轴的夹角;通过如下公式计算夹角:
u0,u1分别表示识别框左右两侧顶点在uv像素坐标系中的水平方向上的u值,fx是所述相机内参矩阵的参数。
所述S4包括如下步骤:
S41,获取激光雷达原始测距信息;
S42,将激光雷达原始极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云;通过如下公式计算:
xi=di sinγi
zi=di cosγi
di、γi表示第i个点云的极坐标,xi、zi表示第i个点云的笛卡尔坐标;
S43,根据所述外参矩阵,将点云的笛卡尔坐标投影到相机坐标系下;通过如下公式:
x、z表示所述的xi、zi的集合,Dc表示相机坐标系下的点云;
S44,根据所述夹角,对相机坐标系下的点云进行滤波,保留托盘对应的点云。滤波的结果就是保留托盘左右两侧之间的雷达点云数据。
所述S5包括如下步骤:
S51,选定像素与实际距离的比例关系,将所述点云转换为一副二值图像,并做归一化处理;
S52,对S51中得到的图像做霍夫变换进行直线检测,将拟合点数最多的线段作为托盘前表面的线段;
S53,利用线段端点像素坐标及所述像素与实际距离的比例关系,算出托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角,从而实现对托盘的识别定位,通过如下公式计算:
x=0.5k(x0+x1)
z=0.5k(z0+z1)
(x0,z0),(x1,z1)分别表示霍夫变换拟合出的线段左右端点,k表示像素与实际距离的比例关系,(x,z)表示托盘前表面中心点在相机坐标系中的二维坐标,angle是相机水平视角场中,托盘前表面在相机坐标系中与X轴的夹角。
本发明的优势和有益效果在于:
本发明在实际工作场景中能够提高无人叉车的自主作业能力和环境适应能力,降低了计算资源的消耗,以便在移动端算力有限的情况下保证托盘识别定位的实时性,同时具有较好的托盘识别效果与定位效果,识别准确度高、识别范围广,定位精度高、定位范围广,保障了无人叉车在非结构化环境中的自主作业能力,此方法可以降低传感器元件的要求,提高结构紧凑,提高集成度,降低成本,从而可降低此方法的使用门槛,有利于此托盘识别定位方法的推广与应用普及。
附图说明
图1是本发明的托盘识别定位方法流程图。
图2是本发明中各坐标系与托盘的示意图。
图3是本发明中各坐标系与托盘在添加滤波线后的示意图。
图4是本发明中俯视状态下angle角的示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
如图1所示,一种面向无人叉车的托盘识别定位方法,基于单线激光雷达-单目视觉融合的传感器方案,包括以下步骤:
S1,设计结构件来实现单目相机与单线激光雷达的集成,相机安装位置保证相机光轴平行于地面,单线激光雷达安装位置保证雷达坐标原点与相机光心的连线垂直于地面且使激光雷达与单目相机之间的垂直间距尽可能小,对单目相机和单线激光雷达进行标定,得到标定参数,包含相机内参矩阵K和外参矩阵M;具体包括如下步骤:
S11,相机标定板选取为12×9的国际象棋盘图案标定板,结合相机视场范围采集了150张不同位姿的标定图像以覆盖相机的全部视场,并且保证在采集过程中标定板始终在激光雷达点云中清晰可辨别;
S12,利用采集到的标定图像和激光雷达点云数据,通过Autoware自动驾驶包的联合标定工具箱处理标定板点云以实现点云和图像的帧匹配,完成单目相机的标定和相机-激光雷达的联合标定,分别得到相机内参矩阵K和相机外参矩阵M。
S2,选择合适的物体识别神经网络,采集实际环境中托盘图像,制作训练用数据集并完成神经网络的训练工作,实现托盘识别神经网络部署工作;具体包括如下步骤:
S21,基于终端设备性能与系统工作频率指标等选取合适的物体识别神经网络,无人叉车上设有终端设备,终端设备采用NVIDIA的Jetson Nano嵌入式计算平台,根据计算平台的算力,选取物体识别神经网络系统,以满足网络运行的实时性要求;
S22,在实际环境中采集托盘图像,保证背景复杂多样及托盘种类、尺寸、姿态多样;
S23,利用采集的图像制作托盘识别训练集,完成神经网络的训练工作及部署工作。
S3,利用托盘识别算法识别单目相机视野中的托盘,并获取托盘识别框顶点二维坐标;如图2所示,根据S1标定得到的相机内参可计算得到托盘左右两侧与相机光心连线在相机水平视角场中与相机光轴的夹角,OcXcYcZc为相机坐标系,O1xy为图像坐标系,uv为像素坐标系,OwXwYwZw为激光雷达坐标系,b0,b1,b2,b3为识别框顶点坐标,α,β为托盘左右两侧与相机光心连线在相机水平视角场中与相机光轴的夹角。具体包括如下步骤:
S31,单目相机获取视野中的环境原始图像;
S32,根据获取到的环境图像利用托盘识别神经网络进行物体检测,检测出托盘及其识别框顶点在像素坐标系中的二维坐标;
S33,根据S1标定得到的相机内参可计算得到托盘左右两侧与相机光心连线在相机水平视角场中与相机光轴的夹角;
通过如下公式计算夹角:
u0,u1分别为b0,b1中的u值,fx为相机内参矩阵K的参数;
S4,读取激光雷达测距信息,并对测距信息进行预处理,将极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云,并根据S1中获取的相机外参矩阵,将激光雷达点云投影到相机坐标系下,根据S3中得到的托盘左右两侧在相机水平视角场中与相机光心连线的夹角,对相机坐标系下激光雷达点云进行滤波处理,只保留托盘对应的激光雷达点云;具体包括如下步骤:
S41,利用激光雷达SDK读取激光雷达原始测距信息;
S42,将激光雷达原始极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云;通过如下公式:
xi=di sinγi
zi=di cosγi
其中di,γi为第i个点云的极坐标,xi,zi为第i个点云的笛卡尔坐标;
S43,根据S1中获取的相机外参矩阵M,将激光雷达点云投影到相机坐标系下;通过如下公式:
其中,x、z表示所述的xi、zi的集合,Dc分别为相机坐标系下的雷达点云;
S44,根据S3中得到的托盘左右两侧在相机水平视角场中与相机光心连线的夹角,对相机坐标系下激光雷达点云进行滤波处理,只保留托盘对应的激光雷达点云。如图3所示,滤波的结果就是保留两条竖直虚线之间的雷达点云数据。
S5,将S4中得到的托盘对应的激光雷达点云转换成平面图像,像素与实际距离成一定的对应关系,利用霍夫变换进行直线检测来拟合出托盘前表面,对拟合得到的代表托盘前表面的直线进行处理,可得到托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角,实现对托盘的识别定位。具体包括如下步骤:
S51,选定像素与实际距离的比例关系,将激光雷达点云转换为一副二值图像,并做归一化处理;
S52,利用OPENCV对S51中得到的图像做霍夫变换进行直线检测,设定霍夫变换函数命令中的相关参数,用来调整最小拟合点数、最小线间距、最大间隔(即多条线段能否连成一条线)等,其中拟合点数最多的线段即为代表托盘前表面的线段;
S53,根据S52中得到的托盘前表面线段,利用其端点像素坐标及S51中生成图像时设定的像素与实际距离的比例关系,可解算出托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角,从而实现对托盘的识别定位。通过如下公式:
x=0.5k(x0+x1)
z=0.5k(z0+z1)
其中(x0,z0),(x1,z1)分别为霍夫变换拟合出的线段左右端点,k表示像素与实际距离的比例关系,(x,z)为托盘前表面中心点二维坐标,如图4所示,angle是相机水平视角场中,托盘前表面在相机坐标系中与X轴的夹角。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (6)
1.一种面向无人叉车的托盘识别定位方法,其特征在于包括如下步骤:
S1,集成单目相机与单线激光雷达,相机光轴平行于地面,激光雷达标原点与相机光心的连线垂直于地面,对单目相机和单线激光雷达进行标定,得到的标定参数包括单目相机的内参矩阵和外参矩阵;
S2,选取神经网络系统,采集托盘图像作为训练数据集,并完成对神经网络的训练,实现托盘识别神经网络的部署;
S3,通过神经网络识别单目相机采集的托盘,并获取托盘识别框顶点的二维坐标,根据所述内参矩阵,计算得到托盘左右两侧与相机光心的连线,在相机水平视角场中,与相机光轴的夹角;
S4,读取单线激光雷达测距信息,将极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云,根据所述外参矩阵,将点云投影到相机坐标系下,根据所述夹角,对相机坐标系下的点云进行滤波,保留托盘对应的点云;
S5,将托盘对应的点云转换成像素与距离成对应关系的平面图像,利用霍夫变换进行直线检测,拟合出托盘前表面,并对拟合得到的托盘前表面的直线进行处理,得到托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角。
2.如权利要求1所述的一种面向无人叉车的托盘识别定位方法,其特征在于所述S1包括如下步骤:
S11,相机标定板结合相机视场范围采集不同位姿的标定图像以覆盖单目相机的全部视场,并确保采集过程中标定板始终在激光雷达点云中清晰可辨;
S12,利用采集到的标定图像和点云数据,通过联合标定工具箱处理标定板点云以实现点云和标定图像的帧匹配,完成单目相机的标定和单目相机与单线激光雷达的联合标定,分别得到相机的内参矩阵和外参矩阵。
3.如权利要求1所述的一种面向无人叉车的托盘识别定位方法,其特征在于所述S2,根据无人叉车上计算平台的算力选取神经网络。
6.如权利要求1所述的一种面向无人叉车的托盘识别定位方法,其特征在于所述S5包括如下步骤:
S51,选定像素与实际距离的比例关系,将所述点云转换为一副二值图像,并做归一化处理;
S52,对S51中得到的图像做霍夫变换进行直线检测,将拟合点数最多的线段作为托盘前表面的线段;
S53,利用线段端点像素坐标及所述像素与实际距离的比例关系,算出托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角,通过如下公式计算:
x=0.5k(x0+x1)
z=0.5k(z0+z1)
(x0,z0),(x1,z1)分别表示霍夫变换拟合出的线段左右端点,k表示像素与实际距离的比例关系,(x,z)表示托盘前表面中心点在相机坐标系中的二维坐标,angle是相机水平视角场中,托盘前表面在相机坐标系中与X轴的夹角。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010830170.8A CN112017240B (zh) | 2020-08-18 | 2020-08-18 | 一种面向无人叉车的托盘识别定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010830170.8A CN112017240B (zh) | 2020-08-18 | 2020-08-18 | 一种面向无人叉车的托盘识别定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112017240A true CN112017240A (zh) | 2020-12-01 |
CN112017240B CN112017240B (zh) | 2022-08-26 |
Family
ID=73504893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010830170.8A Active CN112017240B (zh) | 2020-08-18 | 2020-08-18 | 一种面向无人叉车的托盘识别定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112017240B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802126A (zh) * | 2021-02-26 | 2021-05-14 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、计算机设备和存储介质 |
CN112927298A (zh) * | 2021-02-25 | 2021-06-08 | 上海钛米机器人股份有限公司 | 目标对象的定位方法及装置、电子设备、存储介质 |
CN113936198A (zh) * | 2021-11-22 | 2022-01-14 | 桂林电子科技大学 | 低线束激光雷达与相机融合方法、存储介质及装置 |
CN114078220A (zh) * | 2022-01-19 | 2022-02-22 | 浙江光珀智能科技有限公司 | 一种基于深度相机的托盘识别方法 |
CN114415677A (zh) * | 2021-12-31 | 2022-04-29 | 科大智能机器人技术有限公司 | 一种自动导航车的控制方法及装置 |
CN114612558A (zh) * | 2022-03-10 | 2022-06-10 | 西安交通大学 | 一种基于单目相机检测的叉车托盘空间定位方法及系统 |
CN115965855A (zh) * | 2023-02-14 | 2023-04-14 | 成都睿芯行科技有限公司 | 一种提高托盘识别精度的方法及装置 |
CN116400334A (zh) * | 2023-06-01 | 2023-07-07 | 未来机器人(深圳)有限公司 | 激光外参的标定验证方法、装置、电子设备及可存储介质 |
CN116443527A (zh) * | 2023-06-13 | 2023-07-18 | 上海木蚁机器人科技有限公司 | 基于激光雷达的托盘叉取方法、装置、设备和介质 |
WO2024051025A1 (zh) * | 2022-09-07 | 2024-03-14 | 劢微机器人科技(深圳)有限公司 | 托盘定位方法、装置、设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019156731A1 (en) * | 2018-02-09 | 2019-08-15 | Bayerische Motoren Werke Aktiengesellschaft | Methods for object detection in a scene represented by depth data and image data |
CN110794405A (zh) * | 2019-10-18 | 2020-02-14 | 北京全路通信信号研究设计院集团有限公司 | 一种基于相机和雷达融合的目标检测方法及系统 |
CN111191625A (zh) * | 2020-01-03 | 2020-05-22 | 浙江大学 | 一种激光-单目视觉融合的物体识别与定位方法 |
-
2020
- 2020-08-18 CN CN202010830170.8A patent/CN112017240B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019156731A1 (en) * | 2018-02-09 | 2019-08-15 | Bayerische Motoren Werke Aktiengesellschaft | Methods for object detection in a scene represented by depth data and image data |
CN110794405A (zh) * | 2019-10-18 | 2020-02-14 | 北京全路通信信号研究设计院集团有限公司 | 一种基于相机和雷达融合的目标检测方法及系统 |
CN111191625A (zh) * | 2020-01-03 | 2020-05-22 | 浙江大学 | 一种激光-单目视觉融合的物体识别与定位方法 |
Non-Patent Citations (3)
Title |
---|
M. P. MURESAN,ET.AL: "Stabilization and validation of 3D object position using multimodal sensor fusion and semantic segmentation", 《M. P. MURESAN,》 * |
吴文祥等: "基于摩擦模糊建模与补偿的机器人低速控制", 《电机与控制学报》 * |
康国华等: "基于点云中心的激光雷达与相机联合标定方法研究", 《仪器仪表学报》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112927298A (zh) * | 2021-02-25 | 2021-06-08 | 上海钛米机器人股份有限公司 | 目标对象的定位方法及装置、电子设备、存储介质 |
CN112927298B (zh) * | 2021-02-25 | 2024-06-11 | 上海钛米机器人股份有限公司 | 目标对象的定位方法及装置、电子设备、存储介质 |
CN112802126A (zh) * | 2021-02-26 | 2021-05-14 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、计算机设备和存储介质 |
CN113936198A (zh) * | 2021-11-22 | 2022-01-14 | 桂林电子科技大学 | 低线束激光雷达与相机融合方法、存储介质及装置 |
CN113936198B (zh) * | 2021-11-22 | 2024-03-22 | 桂林电子科技大学 | 低线束激光雷达与相机融合方法、存储介质及装置 |
CN114415677A (zh) * | 2021-12-31 | 2022-04-29 | 科大智能机器人技术有限公司 | 一种自动导航车的控制方法及装置 |
CN114078220A (zh) * | 2022-01-19 | 2022-02-22 | 浙江光珀智能科技有限公司 | 一种基于深度相机的托盘识别方法 |
CN114078220B (zh) * | 2022-01-19 | 2022-05-27 | 浙江光珀智能科技有限公司 | 一种基于深度相机的托盘识别方法 |
CN114612558A (zh) * | 2022-03-10 | 2022-06-10 | 西安交通大学 | 一种基于单目相机检测的叉车托盘空间定位方法及系统 |
CN114612558B (zh) * | 2022-03-10 | 2024-07-19 | 西安交通大学 | 一种基于单目相机检测的叉车托盘空间定位方法及系统 |
WO2024051025A1 (zh) * | 2022-09-07 | 2024-03-14 | 劢微机器人科技(深圳)有限公司 | 托盘定位方法、装置、设备及可读存储介质 |
CN115965855A (zh) * | 2023-02-14 | 2023-04-14 | 成都睿芯行科技有限公司 | 一种提高托盘识别精度的方法及装置 |
CN116400334B (zh) * | 2023-06-01 | 2023-09-12 | 未来机器人(深圳)有限公司 | 激光外参的标定验证方法、装置、电子设备及可存储介质 |
CN116400334A (zh) * | 2023-06-01 | 2023-07-07 | 未来机器人(深圳)有限公司 | 激光外参的标定验证方法、装置、电子设备及可存储介质 |
CN116443527B (zh) * | 2023-06-13 | 2023-09-08 | 上海木蚁机器人科技有限公司 | 基于激光雷达的托盘叉取方法、装置、设备和介质 |
CN116443527A (zh) * | 2023-06-13 | 2023-07-18 | 上海木蚁机器人科技有限公司 | 基于激光雷达的托盘叉取方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112017240B (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112017240B (zh) | 一种面向无人叉车的托盘识别定位方法 | |
CN107610176B (zh) | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 | |
CN110648367A (zh) | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 | |
CN111998772B (zh) | 一种基于激光与单目视觉融合的像素级目标定位方法 | |
US11948344B2 (en) | Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime | |
CN111191625A (zh) | 一种激光-单目视觉融合的物体识别与定位方法 | |
CN111243017A (zh) | 基于3d视觉的智能机器人抓取方法 | |
CN105217324A (zh) | 一种新型的拆垛方法和系统 | |
CN106737665A (zh) | 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法 | |
CN107490346B (zh) | 一种基于视觉的rfid多标签网络三维测量建模方法 | |
CN112734844B (zh) | 一种基于正八面体的单目6d位姿估计方法 | |
Liu et al. | Research on deviation detection of belt conveyor based on inspection robot and deep learning | |
CN116309882A (zh) | 一种面向无人叉车应用的托盘检测和定位方法及系统 | |
CN114972421A (zh) | 车间物料识别追踪与定位方法、系统 | |
CN116228854B (zh) | 一种基于深度学习的包裹自动分拣方法 | |
CN115272275A (zh) | 基于rgb-d相机及神经网络模型的托盘、障碍物检测定位系统和方法 | |
CN112734843B (zh) | 一种基于正十二面体的单目6d位姿估计方法 | |
CN108958296A (zh) | 一种无人机自主跟踪方法 | |
CN113822946A (zh) | 一种基于计算机视觉的机械臂抓取方法 | |
CN114240998A (zh) | 一种机器人视觉识别定位方法及系统 | |
CN112330748A (zh) | 一种基于双目深度相机的托盘识别和定位方法 | |
Xin et al. | Real-time dynamic system to path tracking and collision avoidance for redundant robotic arms | |
CN111486821A (zh) | 一种基于多维位置数据的快速标定方法 | |
CN114019963B (zh) | 一种面向桌面集群机器人的外部定位系统 | |
CN117351213B (zh) | 基于3d视觉的箱体分割定位方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |