CN112070838B - 基于二维-三维融合特征的对象识别与定位方法及装置 - Google Patents
基于二维-三维融合特征的对象识别与定位方法及装置 Download PDFInfo
- Publication number
- CN112070838B CN112070838B CN202010929189.8A CN202010929189A CN112070838B CN 112070838 B CN112070838 B CN 112070838B CN 202010929189 A CN202010929189 A CN 202010929189A CN 112070838 B CN112070838 B CN 112070838B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- target
- point cloud
- rectangular frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000001914 filtration Methods 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims description 18
- 230000001629 suppression Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 239000010410 layer Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 241000905137 Veronica schmidtiana Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于二维‑三维融合特征的对象识别与定位方法及装置，该方法包括：获取包含对象的点云数据，及通过预设的滤波算法进行预处理；栅格化预处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合；对二维鸟瞰图进行目标分割，得到目标对象图像；根据二维图像坐标索引集合，将目标对象图像转换为二维目标图像；对二维目标图像进行形状检测及匹配，确定目标形状。本发明提高了识别定位对象和目标形状位置的精确度、检测速率及鲁棒性。
Description
技术领域
本发明涉及工业机器人技术领域，具体而言，涉及一种基于二维-三维融合特征的对象识别与定位方法及装置。
背景技术
随着新基建不断推进，仓储物流行业积极部署自动拣货机器人、输送带、堆垛机、机械手等设备，建立起自动化、柔性化、智能化的仓储体系。在上述仓储体系中，托盘常常作为堆放和运输物料的主要媒介。机器人准确地进行托盘识别和叉孔定位，可以迅速提高物流系统的搬运效率，降低人工成本。
目前托盘识别与定位方法尚未成熟，现有技术方案可以分为：RFID技术、2D(2-dimension，二维)视觉特征识别识别、3D(3-dimension，三维)点云特征识别技术等。其中，RFID大量布设时成本高，且易受金属、液体等商品干扰；2D视觉传感器成本低，特征识别技术成熟，但待测目标的纹理特征简单会失效，且视觉技术的检测精度和抗干扰能力较差；3D立体传感器具有较强的环境适应能力，而且检测精度高，但运算量大且特征识别技术尚未成熟。
因此，现有的托盘识别与定位方法，存在无法兼顾精度、检测速率及鲁棒性的问题。
发明内容
本发明解决的问题是现有识别与定位方法无法兼顾精度、检测速率及鲁棒性。
为解决上述问题，本发明提供一种基于二维-三维融合特征的对象识别与定位方法，包括：获取包含对象的点云数据，及通过预设的滤波算法进行预处理；栅格化预处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合；所述二维图像坐标索引集合中元素为所述二维鸟瞰图的栅格像素包含的点云集合在点云图中对应的像素坐标索引，所述三维相机坐标集合中元素为所述二维图像坐标索引集合中栅格像素对应的点云坐标；对所述二维鸟瞰图进行目标分割，得到目标对象图像；根据所述二维图像坐标索引集合，将所述目标对象图像转换为二维目标图像；对所述二维目标图像进行形状检测及匹配，确定目标形状。
可选地，所述对所述二维目标图像进行形状检测及匹配，确定目标形状，包括：根据所述二维目标图像及所述三维相机坐标集合，对所述二维目标图像进行点云条件滤波，剔除叉孔内点云得到二维目标掩码图；根据所述二维目标掩码图确定叉孔的外接矩形框；根据所述外接矩形框确定目标叉孔对。
可选地，所述根据所述二维目标掩码图确定叉孔的外接矩形框，包括：将所述二维目标掩码图进行轮廓提取和外接矩形拟合，得到叉孔的初始矩形框；根据所述初始矩形框及所述三维相机坐标集合，确定所述初始矩形框的三维尺寸信息；根据预设的叉孔尺寸阈值对所述初始矩形框的三维尺寸信息进行筛选及修正，得到所述叉孔的外接矩形框。
可选地，所述根据预设的叉孔尺寸阈值对所述初始矩形框的三维尺寸信息进行筛选及修正，得到外接矩形框，包括：根据预设的叉孔尺寸阈值对所述初始矩形框的三维尺寸信息进行筛选，得到候选矩形框；对所述候选矩形框进行非极大值抑制操作，确定面积较大的候选矩形框；根据所述叉孔尺寸阈值，对所述面积较大的候选矩形框的尺寸进行修正，得到所述叉孔的外接矩形框。
可选地，所述根据所述外接矩形框确定目标叉孔对，包括：计算一对叉孔外接矩形框的边缘中心点的行索引的差值；所述一对叉孔外接矩形框包括一个左侧叉孔外接矩形框及一个右侧叉孔外接矩形框；若所述差值小于预设的行索引阈值，则确定所述一对叉孔外接矩形框处于同一直线；计算所述一对叉孔外接矩形框的深度值的均值，及确定所述一对叉孔外接矩形框的中心点；若所述均值与所述中心点的深度值的差值小于预设的深度阈值，则确定所述一对叉孔外接矩形框处于同一平面；将处于同一直线且处于同一平面，且对应的所述中心点与图像中心点距离最小的所述一对叉孔外接矩形框，确定为目标叉孔对。
可选地，所述通过预设的滤波算法进行预处理，包括：对所述点云数据对应的深度图像进行半径滤波及振幅滤波，得到第一深度图像；根据预设有效检测距离对所述第一深度图像进行直通滤波得到第二深度图像；对所述第二深度图像进行转换，得到预处理后的点云数据。
可选地，所述栅格化预处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合，包括：将预处理后的点云数据剔除地面点云；所述地面点云为垂直坐标小于预设坐标阈值的点云；将剔除所述地面点云的所述点云数据向水平面栅格化投影，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合。
可选地，在所述对所述二维鸟瞰图进行目标分割，得到目标对象图像之后，所述方法包括：根据所述目标对象图像及所述三维相机坐标集合，确定所述目标对象图像对应的三维坐标信息；根据所述三维坐标信息计算得到目标对象的三维尺寸信息；根据预设的对象尺寸阈值对所述目标托盘的三维尺寸信息进行筛选，得到候选托盘图像；所述根据所述二维图像坐标索引集合，将所述目标对象图像转换为二维目标图像，包括：根据所述二维图像坐标索引集合，将所述候选托盘图像转换为二维目标图像。
可选地，所述方法还包括：根据所述目标叉孔对计算托盘位姿信息，所述托盘位姿信息包括：托盘中心点三维信息、叉孔对的中心点三维信息、托盘旋转角和俯仰角。
本发明提供一种基于二维-三维融合特征的托盘识别与定位装置，包括：预处理模块，用于获取包含对象的点云数据，及通过预设的滤波算法进行预处理；栅格化模块，用于将栅格化处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合；所述二维图像坐标索引集合中元素为所述二维鸟瞰图的栅格像素包含的点云集合在点云图中对应的像素坐标索引，所述三维相机坐标集合中元素为所述二维图像坐标索引集合中栅格像素对应的点云坐标；目标分割模块，用于对所述二维鸟瞰图进行目标分割，得到目标对象图像；转换模块，用于根据所述二维图像坐标索引集合，将所述目标对象图像转换为二维目标图像；检测及匹配模块，用于对所述二维目标图像进行形状检测及匹配，确定目标形状。
本发明实施例基于三维点云数据执行对象识别与定位，可以提高识别定位对象和对象上形状位置的精确度，在识别定位过程中将三维点云数据投影为二维鸟瞰图，并基于该二维鸟瞰图确定托盘图像，然后基于该托盘图像转换得到二维目标图像，最后基于该二维目标图像确定对象的目标形状的位置，结合三维特征和二维特征，提高了对象及目标形状检测速率、鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例的一种基于二维-三维融合特征的对象识别与定位方法的示意性流程图；
图2为本发明实施例的原始的2D鸟瞰图像；
图3为本发明实施例的地面点云移除后栅格化得到的2D鸟瞰掩码图；
图4为本发明实施例的叉孔填充的二维目标图像；
图5为本发明实施例的条件滤波后的二维目标掩码图；
图6为本发明实施例的候选矩形框集合的效果图；
图7为本发明实施例的对候选矩形框集合进行非极大值抑制后的效果图；
图8为本发明实施例的多层托盘堆叠的效果图；
图9为本发明实施例的多层托盘堆叠叉孔对的效果图，
图10为本发明实施例的目标叉孔对的效果图；
图11为本发明实施例的基于2D-3D融合特征的托盘识别与叉孔定位方法的示意性流程图；
图12为本发明实施例的一种基于二维-三维融合特征的对象识别与定位装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有托盘识别与定位方法，存在以下问题：
(1)托盘水平旋转角较大时，2D特征不明显，精准定位托盘和叉孔位置较困难；
(2)托盘和叉孔的2D特征较简单，颜色多样，导致误检率较大，且抗光干扰能力差；
(3)3D托盘检测和叉孔定位，计算量大，实时性较差；
(4)现有方法仅针对单个托盘设计，无法解决多层托盘堆叠和并列托盘情况，实用性差。
相较于现有基于TOF相机的托盘检测方式，假设图像中存在符合阈值的成对叉孔出现，即视为检测到托盘，当背景复杂时误检率高；相较于现有基于点云平面轮廓匹配的货物托盘检测方式，通过计算点云的法向量将3D数据栅格化投影成2D图像以实现目标分割和轮廓匹配，其中法向量的计算量大且鲁棒性不强。本发明实施例提供的基于二维-三维融合特征的托盘识别与定位方法，利用2D-3D融合特征，保证精度的同时兼顾检测速率和鲁棒性，可以适用于多层托盘堆叠和并列托盘情况下的识别与叉孔定位。
图1是本发明的一个实施例中一种基于二维-三维融合特征的托盘识别与定位方法的示意性流程图，该方法包括：
S102，获取包含对象的点云数据，及通过预设的滤波算法进行预处理。
具体地，通过3D传感器采集包含托盘的3D点云图，点云图的每个像素代表物体在相机空间坐标。需要说明的是，3D点云数据中存在噪点，需要对其进行去除。在本实施例中以预设的滤波算法进行预处理去除噪点，该滤波算法包括半径滤波、振幅滤波。
在本实施例中以对象为托盘为例。由于无序稀疏的3D点云运算效率低，本实施例中利用3D点云数据对应的深度图像执行以上滤波操作。其中，深度图像的每个像素代表物体对应部位到相机的深度距离。考虑到托盘识别存在有效的检测距离范围，通常设置在1～4米之间，因此还可以采取直通滤波剔除深度值不符合上述检测距离范围的无用数据，从而可以有效减少数据干扰，降低后续运算复杂度。
在本实施例中以点云的左右方向为X轴方向，表示宽度信息，以点云的上下发现为Y轴方向，表示高度信息，以垂直画面向内方向为Z轴方向，表示距离信息，且只有正数，其他两轴都有正负。
S104，栅格化预处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合。
其中，二维图像坐标索引集合中元素为二维鸟瞰图的栅格像素包含的点云集合在点云图中对应的像素坐标索引，三维相机坐标集合中元素为二维图像坐标索引集合中栅格像素对应的点云坐标。
根据X-Z轴数据对点云数据集栅格化，将3D稀疏点云数据集投影成稠密的2D鸟瞰图像和两个集合，两个集合分别为2D图像坐标索引集合和3D相机坐标集合。
S106，对二维鸟瞰图进行目标分割，得到目标对象图像。
生成二维鸟瞰图后，可以采取轮廓提取和连通区域检测等手段进行目标分割，分割出多个目标托盘图像。基于二维鸟瞰图进行目标分割，与现有方法的3D点云法向量配合区域生长算法相比，检测执行效率更高。
S108，根据二维图像坐标索引集合，将目标对象图像转换为二维目标图像。
根据上述多个目标托盘图像，配合2D图像坐标索引集合，将其从二维鸟瞰图像恢复成2D目标图像。
S110，对二维目标图像进行形状检测及匹配，确定目标形状。
在本实施例中，以目标形状为托盘的叉孔对为例。对每幅二维目标图像执行轮廓提取和外接矩形拟合，得到叉孔的多个外接矩形框，然后从中确定托盘最终对应的叉孔对。
本实施例提供的基于二维-三维融合特征的对象识别与定位方法，基于三维点云数据执行对象识别与定位，可以提高识别定位对象和对象上形状的位置的精确度，在识别定位过程中将三维点云数据投影为二维鸟瞰图，并基于该二维鸟瞰图确定目标对象图像，然后基于该目标对象图像转换得到二维目标图像，最后基于该二维目标图像确定对象的目标形状的位置，结合三维特征和二维特征，提高了对象及目标形状检测速率、鲁棒性。
在获取包含托盘的点云数据后，可选地，上述S102可以通过以下方式进行预处理：对点云数据对应的深度图像进行半径滤波及振幅滤波，得到第一深度图像；根据预设有效检测距离对上述第一深度图像进行直通滤波得到第二深度图像；对第二深度图像进行转换，得到预处理后的点云数据。
由于无序稀疏的3D点云运算效率低，可以利用其对应的深度图像代替点云执行以上滤波操作。深度图像属于有序数据，可通过滑动窗口快速执行半径滤波。托盘识别存在有效的检测距离范围，考虑到叉车的叉臂长度，可以将距离检测范围设置为1～4米。基于此，可以采取直通滤波剔除此距离范围外的无用数据，不仅可以有效减少数据干扰，还降低了后续运算复杂度。
为了减少后续计算量，可以剔除地面数据。上述S104可以包括以下步骤：将预处理后的点云数据剔除地面点云，该地面点云为垂直坐标小于预设坐标阈值的点云。通过设置Y轴阈值，根据Y轴坐标对地面数据进行剔除，低于上述阈值的点云即地面点云被剔除。将剔除地面点云的点云数据向水平面栅格化投影，得到上述二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合。图2示出了原始的2D鸟瞰图像及图3示出了地面点云移除后栅格化得到的2D鸟瞰掩码图。
在S106中得到上述目标对象图像后，可以根据预先设置的对象尺寸阈值，剔除部分误检目标，形成候选托盘集合。基于此，上述方法还包括以下步骤：
A1，根据目标对象图像及三维相机坐标集合，确定目标对象图像对应的三维坐标信息。
A2，根据三维坐标信息计算得到目标对象的三维尺寸信息。
根据分割得到的目标托盘图像集合，针对单个托盘图像配合3D相机坐标集合可以统计出最大最小X、Y、Z坐标信息，从而计算目标的长、宽、高3D尺寸信息。
A3，根据预设的对象尺寸阈值对目标对象的三维尺寸信息进行筛选，得到候选托盘图像。
将上述各目标托盘中的3D尺寸满足托盘尺寸阈值的目标托盘图像，作为候选托盘图像。进一步，可以根据上述二维图像坐标索引集合，将上述候选托盘图像转换为二维目标图像。
考虑到托盘叉孔内数据有时会被填充，即叉孔内存在非零数据，现有方法矩形框拟合效果不佳，图4示出了叉孔填充的二维目标图像。为了通过轮廓检测叉孔区域，首先要保证叉孔处数据被“剔除干净”，具体可以采取滤波方式。基于此，上述S108可以包括以下步骤：
B1，根据二维目标图像及三维相机坐标集合，对二维目标图像进行点云条件滤波，剔除叉孔内点云得到二维目标掩码图。
由于叉孔处像素对应的点云距离通常大于托盘平面距离，可以利用3D坐标特征对图像执行条件滤波，从而可以将叉孔处点云剔除，图5示出了条件滤波后的二维目标掩码图。
B2，根据二维目标掩码图确定叉孔的外接矩形框。
可以检测类似叉孔的外接矩形框，并将其添加到外接矩形框集合。可选地，首先，可以将二维目标掩码图进行轮廓提取和外接矩形拟合，得到叉孔的初始矩形框；其次，根据初始矩形框及三维相机坐标集合，确定初始矩形框的三维尺寸信息；然后，根据预设的叉孔尺寸阈值对初始矩形框的三维尺寸信息进行筛选及修正，得到叉孔的外接矩形框。
具体地，筛选及修正过程可以按照以下步骤执行：
B21，根据预设的叉孔尺寸阈值对初始矩形框的三维尺寸信息进行筛选，得到候选矩形框。根据上述初始矩形框，配合3D相机坐标集合，统计每个矩形框对应的3D尺度信息，判断是否符合预设叉孔的长、宽、高阈值，从而剔除部分误检目标，筛选出的候选矩形框集合。
B22，对候选矩形框进行非极大值抑制操作，确定面积较大的候选矩形框。在剔除误检叉孔后，叉孔局部区域可能存在较多重叠外接矩形框，图6示出了候选矩形框集合的效果图，为了减少后续叉孔匹配计算量，在得到上述候选叉孔矩形框后可以进行非极大值抑制，可以包括以下步骤：计算各外接矩形框与其他外接矩形框的交并比；确定符合交并比阈值的交并比对应的两个目标外接矩形框，并选择两个目标外接矩形框中面积较大的外接矩形框。
通过对矩形框进行非极大值抑制，可以抑制掉重叠部分较多的小矩形框。非极大值抑制执行过程如下：计算每个矩形框与其他所有矩形框交并比(IOU)，IOU阈值一般取0.6～1之间。在符合阈值的两个矩形框中选出面积更大的矩形框作为最终的矩形框。图7示出了对候选矩形框集合进行非极大值抑制后的效果图。
可选地，各候选矩形框包含特征(x，y，w，h)，(x，y)为矩形框左上角坐标，w为矩形框宽度，h为矩形框高度。交并比计算公式如下：
式中，AreaI为交集面积，AreaU为并集面积，IOU取值在0～1之间，值越大，说明两个矩形越相似。
B23，根据上述叉孔尺寸阈值，对面积较大的候选矩形框的尺寸进行修正，得到叉孔的外接矩形框。由于目标分隔算法到的矩形框可能时大时小，可以统计叉孔尺寸参数，然后计算出候选矩形框在图像中占据的像素尺寸大小，从而基于该叉孔尺寸参数修正候选矩形框的尺寸，得到修正后的叉孔外接矩形框。
B3，根据外接矩形框确定目标叉孔对。
根据上述外接矩形框集合，利用面积比可以实现初步叉孔匹配。实际应用中，托盘存在并列、多层堆叠等情况，现有方法仅针对单层托盘设计方案，处理以上情况的误检率高。图8示出了多层托盘堆叠的效果图。
基于托盘中心点和两个叉孔的边缘中心应该处于同一平面且同一条直线上的假设，采取2D-3D融合特征进行判定，基于2D特征计算两个叉孔边缘中心点的图像行索引的差值，基于3D特征计算两个叉孔边缘中心点图像坐标所对应的距离值的均值，将该均值作为预测的托盘中心点距离值，计算该预测的托盘中心点距离值与实际托盘中心点距离值的差值。若上述差值均符合预设阈值条件，则认为上述两叉孔属于同一层同一个托盘，而非误检的叉孔对。
可选地，上述步骤可以按照以下步骤执行：
B31，计算一对叉孔外接矩形框的边缘中心点的行索引的差值。该一对叉孔外接矩形框包括一个左侧叉孔外接矩形框及一个右侧叉孔外接矩形框。左侧叉孔外接矩形框的边缘中心点，为该外接矩形框的左侧边线的中心点；右侧叉孔外接矩形框的边缘中心点，为该外接矩形框的右侧边线的中心点。
B32，若差值小于预设的行索引阈值，则确定一对叉孔外接矩形框处于同一直线。
B33，计算一对叉孔外接矩形框的深度值的均值，及确定一对叉孔外接矩形框的中心点。
B34，若均值与中心点的深度值的差值小于预设的深度阈值，则确定一对叉孔外接矩形框处于同一平面。
B35，将处于同一直线且处于同一平面，且对应的中心点与图像中心点距离最小的一对叉孔外接矩形框，确定为目标叉孔对。
实际应用中，通常是多层托盘堆叠，图9示出了多层托盘堆叠叉孔对的效果图，现有方法仅考虑单层托盘情况，难以适用。假设目标叉孔对的中心点坐标索引应该距离图像中心点最近，从而筛选出目标叉孔对。图10示出了目标叉孔对的效果图。预测的托盘中心点距离值计算公式如下：
式中，为左叉孔边缘中心点距离值，/>为右叉孔边缘中心点距离值，/>为预测的托盘中心点距离值；cx为叉孔边缘中心点的图像行索引。其中，
式中，T为预设差距阈值。
在确定上述目标叉孔对后，即可以推算出托盘位姿信息，上述方法还包括：根据目标叉孔对计算托盘位姿信息，该托盘位姿信息包括：托盘中心点三维信息、叉孔对的中心点三维信息、托盘旋转角和俯仰角。
托盘中心点对应点云的3D坐标信息，计算公式如下：
式中，pcx,cy为托盘中心点对应点云的3D坐标信息；为左叉孔中心点对应点云的3D坐标信息；/>为右叉孔中心点对应点云的3D坐标信息。
叉孔对中心点计算公式如下：
式中，为左叉孔中心点对应点云的3D坐标信息；/>为右叉孔中心点对应点云的3D坐标信息。
托盘旋转角计算公式如下：
式中，α为托盘旋转角；arctan为反正切值；和/>分别为左右叉孔中心点对应点云的Z轴信息；/>和/>分别为左右叉孔中心点对应点云的X轴信息。
托盘俯仰角计算公式如下：
式中，β为托盘俯仰角；B和C分别为根据托盘点云拟合的平面方程中Ax+By+Cz＝D系数。
需要说明的是图像坐标系是以图像中心为原点，像素坐标系是以左上角为原点。
本发明实施例的基于二维-三维融合特征的托盘识别与定位方法，对托盘的识别效率高、定位精准、误检率低，且适用于多层堆叠和并列托盘等情况。
参见图11所示的基于2D-3D融合特征的托盘识别与叉孔定位方法的示意性流程图，该方法包括：
S1101，获取原始点云数据及预处理。
S1102，点云栅格化得到2D鸟瞰掩码图。
首先，将上述预处理后的深度图像转换到3D点云数据集；然后，根据X-Z轴数据对点云数据集栅格化。
S1103，对2D鸟瞰掩码图进行目标分割，得到目标托盘图像。
在上述2D鸟瞰掩码图生成后，可以采取轮廓提取和连通区域检测，分割出目标托盘图像。
S1104，对上述目标托盘图像进行筛选，得到候选托盘图像。
根据上一步分割出的目标托盘图像，针对单个候选目标配合生成的3D相机坐标集合可以统计出最大最小X、Y、Z坐标信息，从而计算目标的长、宽、高3D尺寸信息。根据预先设置的托盘尺寸阈值，剔除部分误检目标，形成候选托盘集合。
S1105，对候选托盘图像进行叉孔检测。
根据上一步筛选出的候选托盘集合，配合2D图像坐标索引集合，将其从鸟瞰掩码图恢复成2D目标掩码图像集合。利用3D坐标特征对图像执行条件滤波，将叉孔处点云剔除，再进一步检测类似叉孔的外接矩形框，并将其添加到外接矩形框集合。
S1106，对叉孔进行筛选得到候选叉孔矩形框集合。
根据上一步获取的叉孔外界矩形框集合，配合3D相机坐标集合，统计每个矩形框对应的3D尺度信息，判断是否符合预设叉孔的长、宽、高阈值，从而剔除部分误检目标，筛选出的候选叉孔矩形框集合。
S1107，进行叉孔匹配得到叉孔对。
根据上一步保留的候选叉孔矩形框集合，利用面积比实现初步叉孔匹配。基于托盘中心点和两个叉孔边缘中心坐标应该处于同一平面且同一条直线上的假设，确定属于同一层同一个托盘的叉孔对。此叉孔对属于同一层同一个托盘，而非误检叉孔对。
S1108，确定目标叉孔对。
假设目标叉孔对的中心点坐标索引应该距离图像中心点最近，从而筛选出目标叉孔对。
S1109，托盘位姿计算。
本发明实施例的基于2D-3D融合特征的托盘识别与叉孔定位方法，对托盘的识别效率高、定位精准、误检率低，且适用于多层堆叠和并列托盘等情况。
图12是本发明的一个实施例中一种基于二维-三维融合特征的对象识别与定位装置的结构示意图，该装置包括：
预处理模块1201，用于获取包含对象的点云数据，及通过预设的滤波算法进行预处理；
栅格化模块1202，用于栅格化预处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合；所述二维图像坐标索引集合中元素为所述二维鸟瞰图的栅格像素包含的点云集合在点云图中对应的像素坐标索引，所述三维相机坐标集合中元素为所述二维图像坐标索引集合中栅格像素对应的点云坐标；
目标分割模块1203，用于对所述二维鸟瞰图进行目标分割，得到目标对象图像；
转换模块1204，用于根据所述二维图像坐标索引集合，将所述目标对象图像转换为二维目标图像；
检测及匹配模块1205，用于对所述二维目标图像进行叉孔检测及匹配，确定目标叉孔对。
本实施例提供的基于二维-三维融合特征的对象识别与定位装置，基于三维点云数据执行对象识别与定位，可以提高识别定位对象和对象上形状的位置的精确度，在识别定位过程中将三维点云数据投影为二维鸟瞰图，并基于该二维鸟瞰图确定目标对象图像，然后基于该目标对象图像转换得到二维目标图像，最后基于该二维目标图像确定对象的目标形状的位置，结合三维特征和二维特征，提高了对象及目标形状检测速率、鲁棒性。
可选地，作为一个实施例，所述检测及匹配模块1205具体用于：根据所述二维目标图像及所述三维相机坐标集合，对所述二维目标图像进行点云条件滤波，剔除叉孔内点云得到二维目标掩码图；根据所述二维目标掩码图确定叉孔的外接矩形框；根据所述外接矩形框确定目标叉孔对。
可选地，作为一个实施例，所述检测及匹配模块1205具体用于：将所述二维目标掩码图进行轮廓提取和外接矩形拟合，得到叉孔的初始矩形框；根据所述初始矩形框及所述三维相机坐标集合，确定所述初始矩形框的三维尺寸信息；根据预设的叉孔尺寸阈值对所述初始矩形框的三维尺寸信息进行筛选及修正，得到所述叉孔的外接矩形框。
可选地，作为一个实施例，所述检测及匹配模块1205还用于：根据预设的叉孔尺寸阈值对所述初始矩形框的三维尺寸信息进行筛选，得到候选矩形框；对所述候选矩形框进行非极大值抑制操作，确定面积较大的候选矩形框；根据所述叉孔尺寸阈值，对所述面积较大的候选矩形框的尺寸进行修正，得到所述叉孔的外接矩形框。
可选地，作为一个实施例，所述检测及匹配模块1205还用于：计算一对叉孔外接矩形框的边缘中心点的行索引的差值；所述一对叉孔外接矩形框包括一个左侧叉孔外接矩形框及一个右侧叉孔外接矩形框；若所述差值小于预设的行索引阈值，则确定所述一对叉孔外接矩形框处于同一直线；计算所述一对叉孔外接矩形框的深度值的均值，及确定所述一对叉孔外接矩形框的中心点；若所述均值与所述中心点的深度值的差值小于预设的深度阈值，则确定所述一对叉孔外接矩形框处于同一平面；将处于同一直线且处于同一平面，且对应的所述中心点与图像中心点距离最小的所述一对叉孔外接矩形框，确定为目标叉孔对。
可选地，作为一个实施例，所述预处理模块1201具体用于：对所述点云数据对应的深度图像进行半径滤波及振幅滤波，得到第一深度图像；根据预设有效检测距离对所述第一深度图像进行直通滤波得到第二深度图像；对所述第二深度图像进行转换，得到预处理后的点云数据。
可选地，作为一个实施例，所述栅格化模块1202具体用于：将预处理后的点云数据剔除地面点云；所述地面点云为垂直坐标小于预设坐标阈值的点云；将剔除所述地面点云的所述点云数据向水平面栅格化投影，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合。
可选地，作为一个实施例，所述栅格化模块1202还用于：根据所述目标对象图像及所述三维相机坐标集合，确定所述目标托盘图像对应的三维坐标信息；根据所述三维坐标信息计算得到目标对象的三维尺寸信息；根据预设的对象尺寸阈值对所述目标对象的三维尺寸信息进行筛选，得到候选托盘图像；所述根据所述二维图像坐标索引集合，将所述目标对象图像转换为二维目标图像，包括：根据所述二维图像坐标索引集合，将所述候选托盘图像转换为二维目标图像。
可选地，作为一个实施例，所述装置还包括位姿计算模块，用于：根据所述目标叉孔对计算托盘位姿信息，所述托盘位姿信息包括：托盘中心点三维信息、叉孔对的中心点三维信息、托盘旋转角和俯仰角。
本实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
当然，本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种基于二维-三维融合特征的对象识别与定位方法，其特征在于，包括：
获取包含对象的点云数据，及通过预设的滤波算法进行预处理；
栅格化预处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合；所述二维图像坐标索引集合中元素为所述二维鸟瞰图的栅格像素包含的点云集合在点云图中对应的像素坐标索引，所述三维相机坐标集合中元素为所述二维图像坐标索引集合中栅格像素对应的点云坐标；
对所述二维鸟瞰图进行目标分割，得到目标对象图像；
根据所述二维图像坐标索引集合，将所述目标对象图像转换为二维目标图像；
对所述二维目标图像进行形状检测及匹配，确定目标形状；
其中，所述对所述二维目标图像进行形状检测及匹配，确定目标形状，包括：
根据所述二维目标图像及所述三维相机坐标集合，对所述二维目标图像进行点云条件滤波，剔除叉孔内点云得到二维目标掩码图；
根据所述二维目标掩码图确定叉孔的外接矩形框；
根据所述外接矩形框确定目标叉孔对；
其中，所述根据所述二维目标掩码图确定叉孔的外接矩形框，包括：
将所述二维目标掩码图进行轮廓提取和外接矩形拟合，得到叉孔的初始矩形框；
根据所述初始矩形框及所述三维相机坐标集合，确定所述初始矩形框的三维尺寸信息；
根据预设的叉孔尺寸阈值对所述初始矩形框的三维尺寸信息进行筛选及修正，得到所述叉孔的外接矩形框；包括：根据预设的叉孔尺寸阈值对所述初始矩形框的三维尺寸信息进行筛选，得到候选矩形框；对所述候选矩形框进行非极大值抑制操作，确定面积较大的候选矩形框；根据所述叉孔尺寸阈值，对所述面积较大的候选矩形框的尺寸进行修正，得到所述叉孔的外接矩形框；
其中，所述根据所述外接矩形框确定目标叉孔对，包括：
计算一对叉孔外接矩形框的边缘中心点的行索引的差值；所述一对叉孔外接矩形框包括一个左侧叉孔外接矩形框及一个右侧叉孔外接矩形框；
若所述差值小于预设的行索引阈值，则确定所述一对叉孔外接矩形框处于同一直线；
计算所述一对叉孔外接矩形框的深度值的均值，及确定所述一对叉孔外接矩形框的中心点；
若所述均值与所述中心点的深度值的差值小于预设的深度阈值，则确定所述一对叉孔外接矩形框处于同一平面；
将处于同一直线且处于同一平面，且对应的所述中心点与图像中心点距离最小的所述一对叉孔外接矩形框，确定为目标叉孔对。
2.根据权利要求1所述的方法，其特征在于，所述通过预设的滤波算法进行预处理，包括：
对所述点云数据对应的深度图像进行半径滤波及振幅滤波，得到第一深度图像；
根据预设有效检测距离对所述第一深度图像进行直通滤波得到第二深度图像；
对所述第二深度图像进行转换，得到预处理后的点云数据。
3.根据权利要求1所述的方法，其特征在于，所述栅格化预处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合，包括：
将预处理后的点云数据剔除地面点云；所述地面点云为垂直坐标小于预设坐标阈值的点云；
将剔除所述地面点云的所述点云数据向水平面栅格化投影，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合。
4.根据权利要求1所述的方法，其特征在于，在所述对所述二维鸟瞰图进行目标分割，得到目标对象图像之后，所述方法包括：
根据所述目标对象图像及所述三维相机坐标集合，确定所述目标对象图像对应的三维坐标信息；
根据所述三维坐标信息计算得到目标对象的三维尺寸信息；
根据预设的对象尺寸阈值对所述目标对象的三维尺寸信息进行筛选，得到候选托盘图像；
所述根据所述二维图像坐标索引集合，将所述目标对象图像转换为二维目标图像，包括：
根据所述二维图像坐标索引集合，将所述候选托盘图像转换为二维目标图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述目标叉孔对计算托盘位姿信息，所述托盘位姿信息包括：托盘中心点三维信息、叉孔对的中心点三维信息、托盘旋转角和俯仰角。
6.一种基于二维-三维融合特征的对象识别与定位装置，其特征在于，应用于权利要求1-5任一项所述的方法，所述装置包括：
预处理模块，用于获取包含对象的点云数据，及通过预设的滤波算法进行预处理；
栅格化模块，用于栅格化预处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合；所述二维图像坐标索引集合中元素为所述二维鸟瞰图的栅格像素包含的点云集合在点云图中对应的像素坐标索引，所述三维相机坐标集合中元素为所述二维图像坐标索引集合中栅格像素对应的点云坐标；
目标分割模块，用于对所述二维鸟瞰图进行目标分割，得到目标对象图像；
转换模块，用于根据所述二维图像坐标索引集合，将所述目标对象图像转换为二维目标图像；
检测及匹配模块，用于对所述二维目标图像进行形状检测及匹配，确定形状。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010929189.8A CN112070838B (zh) | 2020-09-07 | 2020-09-07 | 基于二维-三维融合特征的对象识别与定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010929189.8A CN112070838B (zh) | 2020-09-07 | 2020-09-07 | 基于二维-三维融合特征的对象识别与定位方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070838A CN112070838A (zh) | 2020-12-11 |
| CN112070838B true CN112070838B (zh) | 2024-02-02 |
Family
ID=73663908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010929189.8A Active CN112070838B (zh) | 2020-09-07 | 2020-09-07 | 基于二维-三维融合特征的对象识别与定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070838B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112711034B (zh) * | 2020-12-22 | 2022-10-14 | 中国第一汽车股份有限公司 | 物体检测方法、装置及设备 |
| CN113086897A (zh) * | 2021-03-30 | 2021-07-09 | 广州蓝胖子移动科技有限公司 | 一种工业托盘自动叉取的方法、终端及存储介质 |
| CN113137919B (zh) * | 2021-04-29 | 2022-10-28 | 中国工程物理研究院应用电子学研究所 | 一种激光点云栅格化方法 |
| CN113221754A (zh) * | 2021-05-14 | 2021-08-06 | 深圳前海百递网络有限公司 | 快递单图像检测方法、装置、计算机设备和存储介质 |
| CN113267180B (zh) * | 2021-06-10 | 2022-08-26 | 上海大学 | 一种基于3d深度视觉的agv叉车托盘定位及叉取方法 |
| CN113982690B (zh) * | 2021-10-26 | 2023-11-17 | 三一智矿科技有限公司 | 基于锚护作业的控制方法及装置、系统、掘锚护一体机 |
| CN114863075B (zh) * | 2022-07-05 | 2022-10-14 | 深圳市新天泽消防工程有限公司 | 基于多传感器的消防疏散路径规划方法、装置、设备 |
| CN117710396B (zh) * | 2023-12-14 | 2024-06-14 | 安徽工布智造工业科技有限公司 | 一种基于3d点云的轻钢行业非标零件的识别方法 |
| CN117496165B (zh) * | 2024-01-03 | 2024-03-12 | 吉咖智能机器人有限公司 | 雨雪噪点过滤方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866449A (zh) * | 2019-10-21 | 2020-03-06 | 北京京东尚科信息技术有限公司 | 识别道路中目标对象的方法和装置 |
| CN110929692A (zh) * | 2019-12-11 | 2020-03-27 | 中国科学院长春光学精密机械与物理研究所 | 一种基于多传感器信息融合的三维目标检测方法及装置 |
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN111476841A (zh) * | 2020-03-04 | 2020-07-31 | 哈尔滨工业大学 | 一种基于点云和图像的识别定位方法及系统 |
| CN111583337A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9990535B2 (en) * | 2016-04-27 | 2018-06-05 | Crown Equipment Corporation | Pallet detection using units of physical length |
-
2020
- 2020-09-07 CN CN202010929189.8A patent/CN112070838B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN110866449A (zh) * | 2019-10-21 | 2020-03-06 | 北京京东尚科信息技术有限公司 | 识别道路中目标对象的方法和装置 |
| CN110929692A (zh) * | 2019-12-11 | 2020-03-27 | 中国科学院长春光学精密机械与物理研究所 | 一种基于多传感器信息融合的三维目标检测方法及装置 |
| CN111476841A (zh) * | 2020-03-04 | 2020-07-31 | 哈尔滨工业大学 | 一种基于点云和图像的识别定位方法及系统 |
| CN111583337A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于多模态信息的机器人视觉识别与定位研究;魏玉锋;梁冬泰;梁丹;邢淑敏;;光电工程(第02期);全文 * |
| 基于激光反射率的点云与图像自动融合;赵玲娜;花向红;刘闯;李万;;测绘工程(第08期);全文 * |
| 基于立体视觉与纹理特征相结合的障碍物探测;赵申;;软件导刊(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070838A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070838B (zh) | 基于二维-三维融合特征的对象识别与定位方法及装置 | |
| US9630320B1 (en) | Detection and reconstruction of an environment to facilitate robotic interaction with the environment | |
| CN107610176B (zh) | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 | |
| AU2016243617B2 (en) | Imager for detecting visual light and infrared projected patterns | |
| CN110054121B (zh) | 一种智能叉车以及容器位姿偏移检测方法 | |
| US9205562B1 (en) | Integration of depth points into a height map | |
| JP7433609B2 (ja) | 物体識別のための方法および計算システム | |
| US20170228885A1 (en) | Device and method for determining the volume of an object moved by an industrial truck | |
| CN112097732A (zh) | 一种基于双目相机的三维测距方法、系统、设备及可读存储介质 | |
| CN114820391B (zh) | 基于点云处理的仓储托盘检测定位方法及系统 | |
| CN112070759A (zh) | 一种叉车托盘检测与定位方法及系统 | |
| CN107218927A (zh) | 一种基于tof相机的货物托盘检测系统和方法 | |
| CN113264312A (zh) | 货箱的提取方法、装置、系统、机器人和存储介质 | |
| CN115546202B (zh) | 一种用于无人叉车的托盘检测与定位方法 | |
| CN113345008A (zh) | 一种考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法 | |
| CN116494253B (zh) | 目标物体抓取位姿获取方法及机器人抓取系统 | |
| CN114170521B (zh) | 一种叉车托盘对接识别定位方法 | |
| CN109658388B (zh) | 基于视觉和主动交互的包装箱分割错误的检测与矫正方法 | |
| CN114764885A (zh) | 障碍物的检测方法、装置、计算机可读存储介质和处理器 | |
| CN112581519A (zh) | 一种放射性废物包识别定位方法与装置 | |
| CN115035492B (zh) | 车辆识别方法、装置、设备和存储介质 | |
| Anand et al. | Grid-based localization stack for inspection drones towards automation of large scale warehouse systems | |
| CN115683109A (zh) | 基于cuda和三维栅格地图的视觉动态障碍物检测方法 | |
| US11900652B2 (en) | Method and computing system for generating a safety volume list for object detection | |
| CN116342858B (zh) | 物体检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |