CN115761210A - 一种基于深度相机的托盘识别定位方法 - Google Patents
一种基于深度相机的托盘识别定位方法 Download PDFInfo
- Publication number
- CN115761210A CN115761210A CN202310023409.4A CN202310023409A CN115761210A CN 115761210 A CN115761210 A CN 115761210A CN 202310023409 A CN202310023409 A CN 202310023409A CN 115761210 A CN115761210 A CN 115761210A
- Authority
- CN
- China
- Prior art keywords
- tray
- point cloud
- point
- points
- depth camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000003780 insertion Methods 0.000 claims abstract description 4
- 230000037431 insertion Effects 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 15
- 239000000126 substance Substances 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 229940037201 oris Drugs 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000009616 inductively coupled plasma Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度相机的托盘识别定位方法,涉及托盘识别定位技术领域,S1:深度相机感知环境,形成深度点云;S2:接收深度点云,得到托盘的关键信息;S3:点云进行边缘提取,轮廓点云与模板点云匹配,得分最高判定为托盘;S4:计算左右侧平行线的中点以及托盘上边缘线的法平面,得到第一帧先验位姿;S5:利用第一帧先验位姿,分割处理后续九帧数据,得到十帧结果进行平均处理,得到稳定托盘位姿;S6:结合机器人定位导航完成托盘插取。深度相机感知环境,形成深度点云,点云进行边缘提取,提取之后的轮廓点云与模板点云匹配,大大减少计算量,降低处理器运算负担,可以在嵌入式设备上实施。
Description
技术领域
本发明涉及托盘识别定位技术领域,特别是一种基于深度相机的托盘识别定位方法。
背景技术
托盘识别是AGV作业流程中的重要步骤,是一种通过车载传感器感知周围环境,从而识别以及定位托盘的关键技术。针对复杂的仓储环境,急需一种精准高效的托盘识别定位算法。现有的解决方案有视觉检测、激光雷达检测等方法,多线激光雷达的精度高但是价格过于昂贵,单线雷达成本低但获取信息量不足;通过神经网络来进行检测定位难以满足精度要求;通过深度点云来对托盘整体形状进行配准识别的方法往往会带来很大的计算量,难以满足在嵌入式设备上部署的需求。经过发明人长期研究,发明了一种基于深度相机的托盘识别定位方法。
发明内容
本发明的目的在于克服现有技术的缺点,提供一种基于深度相机的托盘识别定位方法。
本发明的目的通过以下技术方案来实现:一种基于深度相机的托盘识别定位方法,包括以下步骤:
S1:使用深度相机感知周围环境,形成深度点云并传输至处理器;
S2:接收到深度点云之后,先录制托盘模板点云,再对其进行直通滤波,通过剔除离群和聚类分割得到托盘的关键信息;
S3:处理之后的点云进行边缘提取,提取之后的轮廓点云依次与模板点云进行匹配,选取得分最高的判定为托盘;
S4:筛选托盘轮廓中的每一条直线,找到最左侧及最右侧的平行线以及二者的垂线,分别计算左右侧平行线的中点以及托盘上边缘线的法平面,得到第一帧的先验位姿;
S5:利用第一帧的先验位姿,分割处理后续的九帧数据,得到十帧结果之后进行平均处理,得到稳定的托盘位姿;
S6:得到托盘位姿之后,将位姿转换到机器人map坐标系下,结合机器人定位导航功能完成托盘插取。
优选的,步骤S2中,设定一个半径r,对直通滤波后剩下的每一个点进行半径r内的临近点统计,当小于阈值时,就判定为离群点,再次删除离群点,保留点云主要轮廓的同时剔除掉不稳定的杂点。
优选的,步骤S2中,经过剔除离群处理后,使用欧几里得聚类对点云集合T进行空间划分,通过将不同类的点云独立分割出来。
优选的,通过KDTree数据结构加速点云索引。
S31:搜索点p的K个最近邻点,计算这些点的局部拟合平面,
优选的,步骤S3中,使用ICP匹配算法,将当前提取出所有类的轮廓依次与托盘模板进行匹配,匹配公式为:
优选的,筛选出匹配得分最高的类,判定为托盘,并根据其轮廓计算托盘当前的位姿。
本发明具有以下优点:本发明使用深度相机感知周围环境,形成深度点云并传输至处理器,处理之后的点云进行边缘提取,提取之后的轮廓点云依次与模板点云进行匹配,这样可以大大减少了计算量,降低了处理器的运算负担,从而可以在嵌入式设备上部署实施;利用第一帧的先验位姿,快速的分割处理后续的九帧数据,得到十帧结果之后进行平均处理,提高了定位的精度。
附图说明
图1 为托盘识别定位方法逻辑流程的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。通常在此处附图中描述和示出的本发明实施方式的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施方式及实施方式中的特征可以相互组合。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本实施例中,如图1所示,一种基于深度相机的托盘识别定位方法,包括以下步骤:
S1:使用深度相机感知周围环境,形成深度点云并传输至处理器;具体地说,在嵌入式设备上安装Realsense系列深度相机的驱动,同步搭建ros环境,深度相机通过ros的topic通讯机制与处理器之间进行点云传输;
S2:接收到深度点云之后,先录制托盘模板点云,再对其进行直通滤波,通过剔除离群和聚类分割得到托盘的关键信息;
S3:处理之后的点云进行边缘提取,提取之后的轮廓点云依次与模板点云进行匹配,选取得分最高的判定为托盘;
S4:筛选托盘轮廓中的每一条直线,找到最左侧及最右侧的平行线以及二者的垂线,分别计算左右侧平行线的中点以及托盘上边缘线的法平面,得到第一帧的先验位姿;
S5:利用第一帧的先验位姿,分割处理后续的九帧数据,得到十帧结果之后进行平均处理,得到稳定的托盘位姿;
S6:得到托盘位姿之后,将位姿转换到机器人map坐标系下,结合机器人定位导航功能完成托盘插取。使用深度相机感知周围环境,形成深度点云并传输至处理器,处理之后的点云进行边缘提取,提取之后的轮廓点云依次与模板点云进行匹配,这样可以大大减少了计算量,降低了处理器的运算负担,从而可以在嵌入式设备上部署实施;利用第一帧的先验位姿,快速的分割处理后续的九帧数据,得到十帧结果之后进行平均处理,提高了定位的精度。
其中,、、、、和均为滤波区域的边界值,P为中的点,、和均表示坐标,表示、或是P点的一个属性的方式。再进一步的,步骤S2中,设定一个半径r,对直通滤波后剩下的每一个点进行半径r内的临近点统计,当小于阈值时,就判定为离群点,再次删除离群点,保留点云主要轮廓的同时剔除掉不稳定的杂点。在本实施例中,步骤S2中,经过剔除离群处理后,使用欧几里得聚类对点云集合T进行空间划分,通过将不同类的点云独立分割出来。优选的,通过KDTree数据结构加速点云索引,从而快速完成点云的空间层次划分。在本实施例中,KDTree数据结构为现有技术,这里就不再赘述。
S31:搜索点p的K个最近邻点,计算这些点的局部拟合平面,
夹角大于阈值的点判定边缘点,其中为点乘,为叉乘,和为临近法向量,与为序号,为取模运算符。具体地说,通过这种方式进行边缘检测,提取点云轮廓并剔除轮廓以外的点,保留了每个类关键信息,同时减少后续运算的数据量,从而进一步降低算法的复杂度。
进一步的,步骤S3中,使用ICP匹配算法,将当前提取出所有类的轮廓依次与托盘模板进行匹配,匹配公式为:
其中,为当前点云集合,P为模板点云集合,i=1,2,3……表示点的序号,R为旋转矩阵,t为平移矩阵,目标函数最小的点集即为托盘,为叉乘,为取模运算符。具体地说,先采集托盘轮廓模板点云,再使用ICP匹配算法,将当前提取出所有类的轮廓依次与托盘模板进行匹配,判定匹配得分最高的类为托盘,从而进行识别。
在本实施例中,筛选出匹配得分最高的类,判定为托盘,并根据其轮廓计算托盘当前的位姿。具体地说,其计算方法为:选取最左侧及最右侧的托盘边缘线和,由于受托盘形状限制,和为平行关系,取二者的中点和并做平均处理,即为当前托盘的坐标,再根据垂直关系筛选出托盘的上边缘线,此线在xoy面上的法向量即为当前托盘的朝向,坐标和朝向组成当前托盘的位姿,从而实现了对托盘的定位,取得托盘的先验位姿后,再利用先验位姿裁剪第二帧的点云数据,只保留托盘区域内的点云,从而再次按上述方法进行边缘点云提取以及计算托盘位姿,利用第一帧的先验位姿计算之后的十帧数据,再通过十帧的位姿进行平滑处理,从而提高了定位精度。
尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度相机的托盘识别定位方法,其特征在于:包括以下步骤:
S1:使用深度相机感知周围环境,形成深度点云并传输至处理器;
S2:接收到深度点云之后,先录制托盘模板点云,再对其进行直通滤波,通过剔除离群和聚类分割得到托盘的关键信息;
S3:处理之后的点云进行边缘提取,提取之后的轮廓点云依次与模板点云进行匹配,选取得分最高的判定为托盘;
S4:筛选托盘轮廓中的每一条直线,找到最左侧及最右侧的平行线以及二者的垂线,分别计算左右侧平行线的中点以及托盘上边缘线的法平面,得到第一帧的先验位姿;
S5:利用第一帧的先验位姿,分割处理后续的九帧数据,得到十帧结果之后进行平均处理,得到稳定的托盘位姿;
S6:得到托盘位姿之后,将位姿转换到机器人map坐标系下,结合机器人定位导航功能完成托盘插取。
3.根据权利要求2所述的一种基于深度相机的托盘识别定位方法,其特征在于:所述S2中,设定一个半径r,对直通滤波后剩下的每一个点进行半径r内的临近点统计,当小于阈值时,就判定为离群点,再次删除离群点,保留点云主要轮廓的同时剔除掉不稳定的杂点。
4.根据权利要求3所述的一种基于深度相机的托盘识别定位方法,其特征在于:所述S2中,经过剔除离群处理后,使用欧几里得聚类对点云集合T进行空间划分,通过将不同类的点云独立分割出来。
5.根据权利要求4所述的一种基于深度相机的托盘识别定位方法,其特征在于:通过KDTree数据结构加速点云索引。
8.根据权利要求7所述的一种基于深度相机的托盘识别定位方法,其特征在于:筛选出匹配得分最高的类,判定为托盘,并根据其轮廓计算托盘当前的位姿。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310023409.4A CN115761210A (zh) | 2023-01-09 | 2023-01-09 | 一种基于深度相机的托盘识别定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310023409.4A CN115761210A (zh) | 2023-01-09 | 2023-01-09 | 一种基于深度相机的托盘识别定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115761210A true CN115761210A (zh) | 2023-03-07 |
Family
ID=85348411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310023409.4A Pending CN115761210A (zh) | 2023-01-09 | 2023-01-09 | 一种基于深度相机的托盘识别定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115761210A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105180890A (zh) * | 2015-07-28 | 2015-12-23 | 南京工业大学 | 融合激光点云和数字影像的岩体结构面产状测量方法 |
CN107507167A (zh) * | 2017-07-25 | 2017-12-22 | 上海交通大学 | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 |
WO2021184757A1 (zh) * | 2020-03-14 | 2021-09-23 | 苏州艾吉威机器人有限公司 | 机器人视觉末端定位方法、装置及计算机可读存储介质 |
CN114694134A (zh) * | 2022-03-23 | 2022-07-01 | 成都睿芯行科技有限公司 | 一种基于深度相机点云数据的托盘识别和定位方法 |
CN114820391A (zh) * | 2022-06-28 | 2022-07-29 | 山东亚历山大智能科技有限公司 | 基于点云处理的仓储托盘检测定位方法及系统 |
CN115308708A (zh) * | 2022-08-03 | 2022-11-08 | 浙江中力机械股份有限公司 | 一种基于激光雷达的托盘位姿识别方法与系统 |
-
2023
- 2023-01-09 CN CN202310023409.4A patent/CN115761210A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105180890A (zh) * | 2015-07-28 | 2015-12-23 | 南京工业大学 | 融合激光点云和数字影像的岩体结构面产状测量方法 |
CN107507167A (zh) * | 2017-07-25 | 2017-12-22 | 上海交通大学 | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 |
WO2021184757A1 (zh) * | 2020-03-14 | 2021-09-23 | 苏州艾吉威机器人有限公司 | 机器人视觉末端定位方法、装置及计算机可读存储介质 |
CN114694134A (zh) * | 2022-03-23 | 2022-07-01 | 成都睿芯行科技有限公司 | 一种基于深度相机点云数据的托盘识别和定位方法 |
CN114820391A (zh) * | 2022-06-28 | 2022-07-29 | 山东亚历山大智能科技有限公司 | 基于点云处理的仓储托盘检测定位方法及系统 |
CN115308708A (zh) * | 2022-08-03 | 2022-11-08 | 浙江中力机械股份有限公司 | 一种基于激光雷达的托盘位姿识别方法与系统 |
Non-Patent Citations (3)
Title |
---|
张婷: "多样化场景中的半监督视频目标分割算法研究" * |
朱滨 等: "基于PCA 法矢估计的建筑点云立面边界提取" * |
王丽: "基于kd_tree 算法和法向量估计的点云数据精简方法" * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6395481B2 (ja) | 画像認識装置、方法及びプログラム | |
He et al. | Color-based road detection in urban traffic scenes | |
CN109359684B (zh) | 基于弱监督定位和子类别相似性度量的细粒度车型识别方法 | |
CN113538486B (zh) | 一种提高汽车钣金工件的识别与定位精度的方法 | |
CN113838089B (zh) | 一种基于特征匹配算法的气泡轨迹跟踪方法 | |
Shahab et al. | How salient is scene text? | |
CN115049700A (zh) | 一种目标检测方法及装置 | |
CN112825192B (zh) | 基于机器学习的对象辨识系统及其方法 | |
US8027978B2 (en) | Image search method, apparatus, and program | |
CN113177477A (zh) | 一种基于三维点云分析的目标检测识别方法 | |
Wang et al. | An overview of 3d object detection | |
CN112396655A (zh) | 一种基于点云数据的船舶目标6d位姿估计方法 | |
CN109508720B (zh) | 一种车辆颜色识别方法及装置 | |
CN110675442A (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
CN117495891A (zh) | 点云边缘检测方法、装置和电子设备 | |
Yang et al. | Perceptual organization of radial symmetries | |
CN111950556A (zh) | 一种基于深度学习的号牌印刷质量检测方法 | |
CN115760898A (zh) | 一种混合高斯域下道路抛洒物的世界坐标定位方法 | |
CN111862147A (zh) | 视频中多车辆和多行人目标的跟踪方法 | |
CN115761210A (zh) | 一种基于深度相机的托盘识别定位方法 | |
Jaimes et al. | Unsupervised semantic segmentation of aerial images with application to UAV localization | |
CN115861352A (zh) | 单目视觉、imu和激光雷达的数据融合和边缘提取方法 | |
CN115861659A (zh) | 对象匹配方法、装置、设备及计算机存储介质 | |
CN115511853A (zh) | 基于方向可变特征的遥感船舶检测与识别方法 | |
CN112907574B (zh) | 一种飞行器的降落点寻找方法、装置、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230307 |
|
RJ01 | Rejection of invention patent application after publication |