CN115147491A - 用于agv小车的搬运目标位姿信息估计方法 - Google Patents

用于agv小车的搬运目标位姿信息估计方法 Download PDF

Info

Publication number
CN115147491A
CN115147491A CN202211067818.6A CN202211067818A CN115147491A CN 115147491 A CN115147491 A CN 115147491A CN 202211067818 A CN202211067818 A CN 202211067818A CN 115147491 A CN115147491 A CN 115147491A
Authority
CN
China
Prior art keywords
segmentation
target
distance
obtaining
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211067818.6A
Other languages
English (en)
Other versions
CN115147491B (zh
Inventor
袁绪龙
郭东进
袁绪彬
李栓柱
龙敏勇
王诚善
贺庆壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Ximanke Technology Co ltd
Original Assignee
Shandong Ximanke Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Ximanke Technology Co ltd filed Critical Shandong Ximanke Technology Co ltd
Priority to CN202211067818.6A priority Critical patent/CN115147491B/zh
Publication of CN115147491A publication Critical patent/CN115147491A/zh
Application granted granted Critical
Publication of CN115147491B publication Critical patent/CN115147491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种用于AGV小车的搬运目标位姿信息估计方法。该方法包括：采集目标摆放区域的RGB图像以及点云图像，对RGB图像进行图像分割得到多个分割块，统计每个分割块的面积得到空间权重；获取每个分割块的平均灰度值以得到颜色权重；基于空间权重以及颜色权重获取优化距离，基于优化距离对点云图像进行超体素分割得到目标分割结果；进而获取分割误差以及每个目标分割块的点云数量和目标规则性，以通得到目标分割块的抓取优先级；选取抓取优先级最大的目标分割块为评估块，采用TEASER算法得到评估块的位姿估计；使得AGV小车抓取目标的效率更高，且提高了位姿估计的准确性。

Description

用于AGV小车的搬运目标位姿信息估计方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种用于AGV小车的搬运目标位姿信息估计方法。
背景技术
随着人工智能技术的发展，各种用途的机器人层出不穷，AGV小车作为一种智能化的搬运工具，在物流、仓储以及冶金等多个行业发挥越来越重要的作用。AGV小车能够自动采集信息，在计算机监控下，按照规划的路径和作业要求达到要求地点并自主完成相关的任务工作。在当前的工业背景下，通过引用AGV动态物流系统能够改变当前人工分拣以及人工搬运带来的成本高昂且效率低下的问题，实现物流仓储的智能化发展。
当前有关于AGV小车在搬运时对目标位姿的估计又很多方法，但是实际使用中经常会出现目标无序的散乱堆积情况，利用点云信息进行相关处理识别目标位姿时，可能会由于目标之间的堆叠特性使得点云分割结果不准确，进而影响位姿估计的准确性；且目标之间相互堆叠导致目标积压，AGV小车利用机械臂进行抓取时不能盲目抓取，否则会导致目标损坏或者是堆叠目标区域的崩塌；因此AGV小车在利用机械臂抓取目标的过程中，需要保证对目标的位姿估计精确以及目标抓取的优先级正确。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种用于AGV小车的搬运目标位姿信息估计方法，该方法包括以下步骤：
采集目标摆放区域的RGB图像以及点云图像，对所述RGB图像进行图像分割得到多个分割块，统计每个所述分割块的面积，根据每个所述分割块的面积得到平均目标大小，基于所述平均目标大小获取空间权重；获取每个所述分割块的平均灰度值，根据所述平均灰度值获取颜色权重；
基于所述空间权重以及所述颜色权重获取优化距离，基于所述优化距离对所述点云图像进行超体素分割得到目标分割结果；获取对点云图像进行常规超体素分割的初始分割结果，根据所述初始分割结果以及所述目标分割结果得到分割误差；
获取所述目标分割结果中每个目标分割块的点云数量；基于所述分割误差获取每个目标分割块的目标规则性，通过所述点云数量以及所述目标规则性得到目标分割块的抓取优先级；
选取抓取优先级最大的目标分割块为评估块，采用TEASER算法得到所述评估块的位姿估计。
优选的，所述根据每个所述分割块的面积得到平均目标大小，基于所述平均目标大小获取空间权重的步骤，包括：
将所有所述分割块的面积进行降序排列得到分割块序列；
获取所述分割块序列中预设比例内的所有分割块的面积之和，基于面积之和与预设比例内所有分割块的数量的比值得到平均目标大小；根据所述平均目标大小得到空间权重，所述空间权重与所述平均目标大小呈负相关关系。
优选的，所述获取每个所述分割块的平均灰度值，根据所述平均灰度值获取颜色权重的步骤，包括：
在所述分割块序列中从前至后依次选取多个分割块，计算选取出的所有分割块对应的平均灰度值的平均值为颜色参考值；
获取每个所述分割块的平均灰度值与所述颜色参考值的差值，根据所述差值得到颜色权重，所述颜色权重与所述差值呈正相关关系。
优选的，所述基于所述空间权重以及所述颜色权重获取优化距离的步骤，包括：
基于所述空间权重以及所述颜色权重对常规的超体素分割算法中的距离公式进行优化，距离公式的颜色信息的权重由所述颜色权重优化替换；距离公式中空间信息的权重由所述空间权重优化替换。
优选的，所述根据所述初始分割结果以及所述目标分割结果得到分割误差的步骤，包括：
获取所述初始分割结果中任意两个初始分割块之间的空间距离，以及所述目标分割结果中任意两个目标分割块之间的空间距离；
基于初始分割块之间的空间距离和目标分割块之间的空间距离计算初始分割结果和目标分割结果的协方差；根据所有初始分割块之间的空间距离获取初始分割结果的方差，根据所有目标分割块之间的空间距离获取目标分割结果的方差；
计算初始分割结果的方差和目标分割结果的方差的乘积，所述协方差与所述乘积的比值为分割误差。
优选的，所述基于所述分割误差获取每个目标分割块的目标规则性的步骤，包括：
获取每个目标分割块的质心，计算所述质心到所述目标分割块对应边缘的多个距离构成距离序列；
基于所述距离序列得到多个子序列，获取每个所述子序列与所述距离序列之间的自相关系数，以所述自相关系数与所述分割误差的乘积作为优化值，所有所述子序列与所述距离序列之间的优化值的和为所述目标分割块的目标规则性。
优选的，所述通过所述点云数量以及所述目标规则性得到目标分割块的抓取优先级的步骤，包括：
获取每个所述目标分割块与相机之间的距离；根据所述距离、所述点云数量以及所述目标规则性得到目标分割块的抓取优先级；
所述抓取优先级与所述距离呈负相关关系；所述抓取优先级与所述点云数量以及所述目标规则性呈正相关关系。
本发明具有如下有益效果：通过对目标摆放区域的二维RGB图像进行分割得到多个分割块，对每个分割块的面积以及灰度值进行分析得到空间权重和颜色权重，以二维图像的空间权重和颜色权重修正超体素分割时距离公式中空间的权重和颜色的权重，以使得超体素分割得到的结果更加准确；进一步的，获取超体素分割的距离修正前后得到结果的分割误差，并对每个目标分割块的点云数量以及目标规则度进行获取，分割误差、点云数量以及目标规则度相结合获取每个目标分割块的抓取优先级，使得AGV小车在搬运货物时搬运顺序更准确，减少了货物坍塌的可能性，结合抓取优先级和更准确分割的目标分割块对位姿进行估计，得到位姿估计结果更加高效和准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种用于AGV小车的搬运目标位姿信息估计方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于AGV小车的搬运目标位姿信息估计方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本申请所适用的具体场景：带有机械臂的AGV小车对目标进行抓取的过程，由于目标散乱堆叠在一起，以至于部分目标的信息被遮盖，盲目进行抓取可能导致目标获取坍塌；且结合点云信息分割的结果不准确，对目标位姿的估计速度慢和精度低，因此对目标的抓取顺序和位姿进行获取。
下面结合附图具体的说明本发明所提供的一种用于AGV小车的搬运目标位姿信息估计方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种用于AGV小车的搬运目标位姿信息估计方法流程图，该方法包括以下步骤：
步骤S100，采集目标摆放区域的RGB图像以及点云图像，对RGB图像进行图像分割得到多个分割块，统计每个分割块的面积，根据每个分割块的面积得到平均目标大小，基于平均目标大小获取空间权重；获取每个分割块的平均灰度值，根据平均灰度值获取颜色权重。
在实际的AGV小车搬运过程中，经常会遇到目标堆积在一起杂乱分布的情况，针对目标的堆叠特性，通过对目标摆放区域的图像进行分割得到每个目标区域进行分析；一般情况下，上层目标不会被遮挡和掩盖，而下层的目标往往会被上层目标积压遮挡，导致难以搬运；如果强行对下层目标进行搬运可能会导致整个目标区域的坍塌，从而存在目标损坏的风险；因此在AGV小车进行目标搬运的过程应从上到下根据目标的位姿进行；为了便于处理，往往是通过获取目标摆放区域的点云图像，然后从点云图像数据中获取各个目标的点云，点云图像的采集采用深度相机，深度相机获取的是颜色信息以及深度信息，因此可通过坐标转换得到目标的空间位置信息，进而得到点云信息；深度相机放置于目标摆放区域的上方，以获取整个目标摆放区域从上到下的点云信息。
获取到整个目标摆放区域的点云图像后，需要对点云图像中每个目标进行识别以便于AGV小车进行搬运；因此需要对点云图像中的点云信息进行分割以得到每个目标点云图像，现有对点云信息分割的算法有很多，常见的有根据超像素分割算法延伸的超体素分割算法；超体素分割算法对点云数据分割时是结合颜色信息以及空间位置等信息综合考虑，分割时的距离公式为：
Figure 776534DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示超体素分割中的距离；
Figure 484727DEST_PATH_IMAGE004
表示颜色空间中邻域体素格子和聚类中心点之间的颜色差异；
Figure DEST_PATH_IMAGE005
表示RGB空间下邻域体素格子和聚类中心点之间的欧式距离；
Figure 518671DEST_PATH_IMAGE006
表示法向量距离，是指邻域体素格子和聚类中心点之间表面法向量的角度；
Figure DEST_PATH_IMAGE007
表示空间分辨率；
Figure 591276DEST_PATH_IMAGE008
分别表示颜色，空间和法向量的权重。
在超体素分割过程中，通过计算邻域体素格子和聚类中心之间的距离D来判断该体素格子是否属于同一个目标进而实现分割，但是分割是基于颜色信息、空间信息以及角度信息得到的，而由于目标之间的堆叠，使得点云图像中的点云数据较为复杂，且目标堆叠之间存在缝隙，缝隙之间也存在不易察觉的目标，因此可能会导致一部分的信息丢失。
传统的利用点云信息进行目标的6D位姿估计方法中，首先需要对所有目标对应的点云信息进行点云分割；而点云信息只是表征了图像的整体信息的一部分，然而AGV小车在目标搬运中，大多都是体积较大且颜色单一的目标，因此基于常规超体素分割距离D的计算会造成最后的分割不彻底；目标的杂乱分布以及相互堆叠给点云分割的准确性带来了极大的挑战，且AGV小车搬运时需要考虑到目标被抓取的顺序，采用点云信息进行位姿估计存在较大的误差，因此本发明实施例中对点云分割的结果进行修正。
首先，获取目标摆放区域的RGB图像，对RGB图像进行图像分割得到多个分割块，图像分割的方法可采用现有技术中常用的基于区域生长分割或者基于阈值进行分割；目标越大，其分割出的分割块可能越大，在对于较大的目标进行超体素分割时应适当减小空间距离上所占权重，使得空间距离对超体素分割时距离的影响变小。
将所有分割块的面积进行降序排列得到分割块序列；获取分割块序列中预设比例内的所有分割块的面积之和，基于面积之和与预设比例内所有分割块的数量的比值得到平均目标大小；空间权重与平均目标大小呈负相关关系。
具体的，统计RGB图像被分割得到的每个分割块的面积大小，根据面积的大小对分割块进行降序排列得到分割块序列
Figure DEST_PATH_IMAGE009
；
Figure 554553DEST_PATH_IMAGE010
表示面积最大的分割块；
Figure DEST_PATH_IMAGE011
表示面积最小的分割块。
由于目标摆放区域中目标堆叠会导致RGB图像中存在阴影区域，且AGV小车需要搬运的目标存在棱角边缘，因此图像分割得到的分割块数量会大于实际存在的目标数量。由于分割块的大小能反映出目标的大小，而被堆叠掩盖的目标对应的分割块较小，在对目标块的平均大小进行评估时会造成较大的误差，因此本发明实施例中去除分割块序列中排序靠后的20%的分割块，根据分割块序列中剩余排序靠前的前80%的分割块的面积对目标大小进行估计，以所有分割块的面积均值作为平均目标大小，则平均目标大小为：
Figure DEST_PATH_IMAGE013
其中，
Figure 103870DEST_PATH_IMAGE014
表示平均目标大小；
Figure DEST_PATH_IMAGE015
表示分割块序列中第
Figure 307450DEST_PATH_IMAGE016
个分割块的面积；
Figure DEST_PATH_IMAGE017
表示计算平均目标大小时所包括的分割块数量，
Figure 690852DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE019
表示取整符号，
Figure 474132DEST_PATH_IMAGE020
表示分割块序列中所有分割块的数量。
当平均目标大小取值越大时，越应该将超体素分割中空间距离的权重调小，以避免空间距离过大使得超体素分割时距离的值过大，导致分割不准确，则空间权重为：
Figure 921031DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
表示空间权重；
Figure 295512DEST_PATH_IMAGE014
表示平均目标大小；
Figure 906491DEST_PATH_IMAGE024
表示自然常数；
Figure DEST_PATH_IMAGE025
表示调节系数，由实施者自行设定。
其次，在进行超体素分割时还需要考虑到颜色对聚类分割的影响，在仓储物流的目标搬运中大多数目标颜色都是相同的，因此目标的颜色对于超体素分割中聚类的影响较小，但在相机拍摄的过程中可能会由于时间的差异得到某些区域出现阴影，阴影区域并不属于需要搬运的目标，因此需要将阴影部分单独划分出来，由于阴影的颜色和目标的颜色差异较大，因素本发明实施例中通过提高颜色权重以达到隔绝阴影区域的目的。
在分割块序列中从前至后依次选取多个分割块，计算选取出的所有分割块对应的平均灰度值的平均值为颜色参考值；获取每个分割块的平均灰度值与颜色参考值的差值，颜色权重与差值呈正相关关系。
具体的，考虑到阴影区域所占面积较小，且阴影区域的颜色与目标区域的颜色差异较大，因此将面积较大的分割块的颜色默认为目标的颜色，获取每个分割块中的平均灰度值，根据多个面积大的分割块的平均灰度值计算颜色参考值，颜色参考值为：
Figure DEST_PATH_IMAGE027
其中，
Figure 683341DEST_PATH_IMAGE028
表示颜色参考值；
Figure DEST_PATH_IMAGE029
表示第
Figure 579489DEST_PATH_IMAGE016
个分割块对应的平均灰度值；
Figure 764352DEST_PATH_IMAGE030
表示面积大的分割块的数量，本发明实施例中
Figure DEST_PATH_IMAGE031
，
Figure 629671DEST_PATH_IMAGE019
表示取整符号，
Figure 128654DEST_PATH_IMAGE020
表示分割块序列中所有分割块的数量。
根据颜色参考值获取对应的颜色权重，由于目标与目标之间的颜色差异较小，因此对应颜色差异的权重值应该较小；而目标与阴影之间的颜色差异较大，因此本发明实施例中以指数函数对权重值调整，使得颜色权重较大，则颜色权重的计算具体为：
Figure DEST_PATH_IMAGE033
其中，
Figure 946218DEST_PATH_IMAGE034
表示颜色权重；
Figure 193660DEST_PATH_IMAGE028
表示颜色参考值；
Figure DEST_PATH_IMAGE035
表示分割块的平均灰度值；
Figure 638285DEST_PATH_IMAGE024
表示自然常数；
Figure 301479DEST_PATH_IMAGE036
表示调节系数，由实施者自行设定。
当分割块的平均灰度值与颜色参考值越不接近时，则说明此时该分割块越可能为阴影，因此颜色权重较大，以放大此时的差异达到隔绝阴影区域的目的。
步骤S200，基于空间权重以及颜色权重获取优化距离，基于优化距离对点云图像进行超体素分割得到目标分割结果；获取对点云图像进行常规超体素分割的初始分割结果，根据初始分割结果以及目标分割结果得到分割误差。
步骤S100中获取到目标摆放区域的点云图像并且通过对目标摆放区域的RGB图像进行分割得到多个分割块，然后对分割块的面积以及颜色进行分析得到空间权重以及颜色权重；则根据二维图像得到的空间权重以及颜色权重对超体素分割算法中的距离进行优化，距离公式的颜色信息的权重由颜色权重优化替换；距离公式中空间信息的权重由空间权重优化替换；则得到优化距离为：
Figure 718423DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
表示超体素分割算法的优化距离；
Figure 363862DEST_PATH_IMAGE034
表示颜色权重；
Figure 92522DEST_PATH_IMAGE023
表示空间权重；
Figure 621723DEST_PATH_IMAGE040
表示法向量权重；
Figure 722534DEST_PATH_IMAGE004
表示颜色空间中邻域体素格子和聚类中心点之间的颜色差异；
Figure 482418DEST_PATH_IMAGE005
表示RGB空间下邻域体素格子和聚类中心点之间的欧式距离；
Figure 730996DEST_PATH_IMAGE006
表示法向量距离，是指邻域体素格子和聚类中心点之间表面法向量的角度；
Figure 771546DEST_PATH_IMAGE007
表示空间分辨率。
基于该优化距离对点云图像进行超体素分割以实现精准分割，得到目标分割结果，目标分割结果中包括多个目标分割块；本发明实施例中利用未修正前的距离进行常规的超体素分割得到初始分割结果，修正的幅度越大，表明初始分割结果与目标分割结果之间的误差越大，因此本发明实施例中根据初始分割结果中所有初始分割块之间的空间距离以及目标分割结果中所有目标分割块之间的空间距离计算相关性，从而获取分割误差，则分割误差的计算为：
Figure 710552DEST_PATH_IMAGE042
其中，
Figure DEST_PATH_IMAGE043
表示分割误差；
Figure 579019DEST_PATH_IMAGE044
表示初始分割结果A与目标分割结果B的协方差；
Figure DEST_PATH_IMAGE045
表初始分割结果A对应的方差；
Figure 892058DEST_PATH_IMAGE046
表示初始分割结果B对应的方差。
需要说明的是，初始分割结果A对应的方差即为所有初始分割块之间空间距离的方差；目标分割结果B对应的方差即为所有目标分割块之间空间距离的方差；超体素分割的距离修正前后得到分割结果之间的相关性越大，表明分割误差越小。
步骤S300，获取目标分割结果中每个目标分割块的点云数量；基于分割误差获取每个目标分割块的目标规则性，通过点云数量以及目标规则性得到目标分割块的抓取优先级。
由于深度相机的位置布置在目标摆放区域的上方，在目标堆叠的情况下，下方的目标被上方的目标遮掩从而无法获取目标信息，如果从下方开始搬运则很容易造成堆叠目标的坍塌，因此应该首先对上方的目标进行搬运，在对堆叠区域分析时首先根据不同目标的点云信息来确定目标点云信息的含量以及目标与深度相机的距离，距离越近表示目标越可能是在堆叠区域的上方，点云信息的含量越多表示目标被遮挡的越少，越容易被AGV小车抓取。
由于每个目标的形状都比较规则，因此经过分割后的目标分割块对应的图像应该是规则且完整的，当该目标被其他目标覆盖遮挡时，所得到的目标分割块的图像不规则且点云信息的含量较少。因此基于每个目标分割块的点云信息的数量以及目标分割块与深度相机之间的距离获取目标分割块的抓取优先级。
首先，基于深度相机拍摄的点云图像中可直接获取目标分割块与相机之间的距离，将目标分割块与相机之间的距离记为
Figure DEST_PATH_IMAGE047
，根据所有目标分割块对应的与相机之间的距离进行升序排列得到距离序列：
Figure 497483DEST_PATH_IMAGE048
；其中，
Figure DEST_PATH_IMAGE049
表示与相机之间距离最小的目标分割块；
Figure 400584DEST_PATH_IMAGE050
表示与相机之间距离最大的目标分割块；
Figure DEST_PATH_IMAGE051
表示所有目标分割块的数量。
其次，统计每个目标分割块中点云数据的含量记为点云数量，点云数量越多，该目标分割块被遮挡的可能性越小，将每个目标分割块中的点云数量记为
Figure 236691DEST_PATH_IMAGE052
，则基于距离序列中每个位置的目标分割块相对应的点云数量构成点云数量序列
Figure DEST_PATH_IMAGE053
；其中，
Figure 980568DEST_PATH_IMAGE054
表示与相机之间距离最小的目标分割块对应的点云数量；
Figure DEST_PATH_IMAGE055
表示与相机之间距离最大的目标分割块对应的点云数量。
然后，获取每个目标分割块的规则度；形状较为规则的图形的质心与边之间的距离是存在一定的规律分布的，例如矩形，质心到四条边的距离是存在规律的，即到对边的距离相等；对于圆形来说质心到边的距离均相等；而对于不规则的图形来说，质心与边之间的距离是无序的。获取每个目标分割块的质心，计算所述质心到所述目标分割块对应边缘的多个距离构成距离序列；基于距离序列得到多个子序列，获取每个子序列与距离序列之间的自相关系数，以自相关系数与分割误差的乘积作为优化值，所有子序列与距离序列之间的优化值的和为目标分割块的目标规则性。
本发明实施例中通过目标分割块对应图像的质心与该目标分割块的边界之间的距离衡量该目标分割块的规则度；为了使得获取的结果更加准确，本发明实施例选取质心周围相等角度间距时20个采样角度方向对应的距离，构成距离序列：
Figure 498006DEST_PATH_IMAGE056
；其中，
Figure DEST_PATH_IMAGE057
表示第一个采样角度下的质心与边之间的距离。
进一步的，对获取的距离序列中每个距离值进行归一化，归一化方法为：
Figure DEST_PATH_IMAGE059
其中，
Figure 536238DEST_PATH_IMAGE060
表示归一化后第
Figure 638186DEST_PATH_IMAGE016
个采样角度下质心与边之间的距离；
Figure DEST_PATH_IMAGE061
表示第
Figure 20757DEST_PATH_IMAGE016
个采样角度下质心与边之间的距离；
Figure 997678DEST_PATH_IMAGE062
表示距离序列中的最小距离值；
Figure DEST_PATH_IMAGE063
表示距离序列中的最大距离值。
由此得到归一化后的距离序列：
Figure 337087DEST_PATH_IMAGE064
，后续分析均基于归一化后的距离序列进行；对归一化后的距离序列的有序性进行分析，本发明实施例中有序性的分析采用自相关系数得到，基于距离序列
Figure DEST_PATH_IMAGE065
得到多个子序列分别为：
Figure DEST_PATH_IMAGE067
Figure DEST_PATH_IMAGE069
Figure DEST_PATH_IMAGE071
计算距离序列
Figure 957074DEST_PATH_IMAGE065
中所有距离元素的均值以及每个子序列中所有距离元素的均值，结合均值计算每个子序列与距离序列之间的自相关系数为：
Figure DEST_PATH_IMAGE073
其中，
Figure 607367DEST_PATH_IMAGE074
表示距离序列
Figure 873132DEST_PATH_IMAGE065
与子序列
Figure DEST_PATH_IMAGE075
之间的自相关系数；
Figure 948273DEST_PATH_IMAGE076
表示距离序列
Figure 845820DEST_PATH_IMAGE065
中所有距离元素的均值；
Figure DEST_PATH_IMAGE077
表示子序列
Figure 272823DEST_PATH_IMAGE075
中所有距离元素的均值；
Figure 93011DEST_PATH_IMAGE060
表示距离序列
Figure 117599DEST_PATH_IMAGE065
中第
Figure 997831DEST_PATH_IMAGE016
个元素值；
Figure 549947DEST_PATH_IMAGE078
表示子序列
Figure 642668DEST_PATH_IMAGE075
中的元素值。
以此类推，获取每个子序列与距离序列之间的自相关系数，对于规则的形状而言，质心到边的距离是有规则变换的，因此得到的自相关系数的总和取值应该较大；而对于无规则的形状而言，质心到边的距离没有规则性，则自相关系数的总和较小。
由步骤S200中获取到超体素分割算法修正前后的分割误差，而目标分割块与相机之间的距离、目标分割块所对应的点云数量以及目标分割块的规则性均会由于分割误差产生相关数值波动，因此在计算目标分割块中距离序列与子序列之间的自相关系数时，结合分割误差进行优化分析，则优化后每个子序列与距离序列之间的自相关系数为：
Figure 52920DEST_PATH_IMAGE080
其中，
Figure 868167DEST_PATH_IMAGE074
表示距离序列
Figure 731081DEST_PATH_IMAGE065
与子序列
Figure 893072DEST_PATH_IMAGE075
之间的自相关系数；
Figure DEST_PATH_IMAGE081
表示优化后距离序列
Figure 266154DEST_PATH_IMAGE065
与子序列
Figure 488187DEST_PATH_IMAGE075
之间的自相关系数，记为优化值；
Figure 149982DEST_PATH_IMAGE043
表示分割误差。
则基于所有子序列与距离区域的优化值的和得到该目标分割块的目标规则性为：
Figure DEST_PATH_IMAGE083
其中，
Figure 569460DEST_PATH_IMAGE084
表示目标分割块的目标规则性；
Figure DEST_PATH_IMAGE085
表示优化后的目标分割块的距离序列
Figure 718419DEST_PATH_IMAGE065
与子序列
Figure 563885DEST_PATH_IMAGE086
之间的自相关函数；
Figure DEST_PATH_IMAGE087
表示优化后的目标分割块的距离序列
Figure 656518DEST_PATH_IMAGE065
与子序列
Figure 658846DEST_PATH_IMAGE088
之间的自相关函数；
Figure DEST_PATH_IMAGE089
表示优化后的目标分割块的距离序列
Figure 39143DEST_PATH_IMAGE065
与子序列
Figure 835936DEST_PATH_IMAGE090
之间的自相关函数。
以此类推，获取每个目标分割块的目标规则性，目标规则性取值越大表明该目标分割块的形状越规则，被遮挡的可能性越小。
最后，基于目标分割块到相机的距离、目标分割块的点云数量以及目标分割块的目标规则性判断该目标分割块的抓取优先级，则抓取优先级为：
Figure 285372DEST_PATH_IMAGE092
其中，
Figure DEST_PATH_IMAGE093
表示目标分割块的抓取优先级；
Figure 367423DEST_PATH_IMAGE084
表示目标分割块的目标规则性；
Figure 694237DEST_PATH_IMAGE052
表示目标分割块的点云数量；
Figure 225712DEST_PATH_IMAGE047
表示目标分割块到相机的距离；
Figure 772231DEST_PATH_IMAGE043
表示分割误差；
Figure 617827DEST_PATH_IMAGE024
表示自然常数。
距离的倒数越大，表明该目标分割块到相机的距离越近；点云数量越多，表明该目标分割块被遮挡的可能性越小，目标规则性越大，表示目标分割块被遮挡的部分越少，则被抓取优先级越高；
Figure 736831DEST_PATH_IMAGE094
越小，分割误差
Figure 376891DEST_PATH_IMAGE043
越大，表明修正前后超体素分割算法得到的分割结果相关性越大，则抓取优先级的评估越准确；以此得到每个目标分割块对应的抓取优先级。
步骤S400，选取抓取优先级最大的目标分割块为评估块，采用TEASER算法得到评估块的位姿估计。
由步骤S300获取所有目标分割块的抓取优先级，进一步根据抓取优先级对目标分割块进行位姿估计；首先选取抓取优先级最高的目标分割块为评估块，抓取优先级越高的目标分割块在所有目标分割块中的整体信息更丰富，被遮挡的越少，因此对该目标分割块进行位姿估计的精度越高，相较于随机抓取的情况搬运效率更高。
需要说明的是，每获取一次抓取优先级最高的目标分割块的位姿估计并进行抓取后，对剩余的所有目标分割块重新计算抓取优先级，以使得结果分析更加准确。
现有根据点云信息进行位姿估计的算法有TEASER算法，该算法用于解决存在大量离群点情况下的两组3D点云的配准，基于模板配准的原理来确定两个点云之间的刚体变换矩阵；算法的运行速度很快，能够达到毫秒级；因此本发明实施例通过TEASER算法来快速的得到目标的旋转不变量和平移不变量，然后进行精确的位姿估计。通过TEASER算法计算得到旋转不变量的估计
Figure DEST_PATH_IMAGE095
和平移不变量的估计
Figure 977417DEST_PATH_IMAGE096
；根据旋转不变量的估计
Figure 157863DEST_PATH_IMAGE095
和平移不变量的估计
Figure 459269DEST_PATH_IMAGE096
进行相关的运算可得到评估块的6D位姿估计，即：
Figure DEST_PATH_IMAGE097
；
Figure 145596DEST_PATH_IMAGE098
表示空间坐标。
综上所述，本发明实施例通过获取目标摆放区域的RGB图像以及点云图像，通过对RGB图像进行分割得到多个分割块，获取每个分割块的面积以及平均灰度值从而得到颜色权重以及空间权重，根据此时得到的颜色权重和空间权重对常规的超体素分割算法的距离公式进行优化得到优化距离，进而根据优化距离进行超体素分割得到多个目标分割块，且根据优化前后的超体素分割算法的分割结果得到分割误差；获取每个目标分割块的点云数量以及目标规则性，结合目标分割块到相机的距离以及分割误差得到每个目标分割块的抓取优先级，以抓取优先级最大的目标分割块为评估块，采用TEASER算法对评估块的位姿估计得到6D位姿，使得AGV小车抓取目标的效率更高，且减少了目标崩塌的可能性，提高了位姿估计的精准度。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于AGV小车的搬运目标位姿信息估计方法，其特征在于，该方法包括以下步骤：
采集目标摆放区域的RGB图像以及点云图像，对所述RGB图像进行图像分割得到多个分割块，统计每个所述分割块的面积，根据每个所述分割块的面积得到平均目标大小，基于所述平均目标大小获取空间权重；获取每个所述分割块的平均灰度值，根据所述平均灰度值获取颜色权重；
基于所述空间权重以及所述颜色权重获取优化距离，基于所述优化距离对所述点云图像进行超体素分割得到目标分割结果；获取对点云图像进行常规超体素分割的初始分割结果，根据所述初始分割结果以及所述目标分割结果得到分割误差；
获取所述目标分割结果中每个目标分割块的点云数量；基于所述分割误差获取每个目标分割块的目标规则性，通过所述点云数量以及所述目标规则性得到目标分割块的抓取优先级；
选取抓取优先级最大的目标分割块为评估块，采用TEASER算法得到所述评估块的位姿估计。
2.根据权利要求1所述的一种用于AGV小车的搬运目标位姿信息估计方法，其特征在于，所述根据每个所述分割块的面积得到平均目标大小，基于所述平均目标大小获取空间权重的步骤，包括：
将所有所述分割块的面积进行降序排列得到分割块序列；
获取所述分割块序列中预设比例内的所有分割块的面积之和，基于面积之和与预设比例内所有分割块的数量的比值得到平均目标大小；根据所述平均目标大小得到空间权重，所述空间权重与所述平均目标大小呈负相关关系。
3.根据权利要求2所述的一种用于AGV小车的搬运目标位姿信息估计方法，其特征在于，所述获取每个所述分割块的平均灰度值，根据所述平均灰度值获取颜色权重的步骤，包括：
在所述分割块序列中从前至后依次选取多个分割块，计算选取出的所有分割块对应的平均灰度值的平均值为颜色参考值；
获取每个所述分割块的平均灰度值与所述颜色参考值的差值，根据所述差值得到颜色权重，所述颜色权重与所述差值呈正相关关系。
4.根据权利要求1所述的一种用于AGV小车的搬运目标位姿信息估计方法，其特征在于，所述基于所述空间权重以及所述颜色权重获取优化距离的步骤，包括：
基于所述空间权重以及所述颜色权重对常规的超体素分割算法中的距离公式进行优化，距离公式的颜色信息的权重由所述颜色权重优化替换；距离公式中空间信息的权重由所述空间权重优化替换。
5.根据权利要求1所述的一种用于AGV小车的搬运目标位姿信息估计方法，其特征在于，所述根据所述初始分割结果以及所述目标分割结果得到分割误差的步骤，包括：
获取所述初始分割结果中任意两个初始分割块之间的空间距离，以及所述目标分割结果中任意两个目标分割块之间的空间距离；
基于初始分割块之间的空间距离和目标分割块之间的空间距离计算初始分割结果和目标分割结果的协方差；根据所有初始分割块之间的空间距离获取初始分割结果的方差，根据所有目标分割块之间的空间距离获取目标分割结果的方差；
计算初始分割结果的方差和目标分割结果的方差的乘积，所述协方差与所述乘积的比值为分割误差。
6.根据权利要求1所述的一种用于AGV小车的搬运目标位姿信息估计方法，其特征在于，所述基于所述分割误差获取每个目标分割块的目标规则性的步骤，包括：
获取每个目标分割块的质心，计算所述质心到所述目标分割块对应边缘的多个距离构成距离序列；
基于所述距离序列得到多个子序列，获取每个所述子序列与所述距离序列之间的自相关系数，以所述自相关系数与所述分割误差的乘积作为优化值，所有所述子序列与所述距离序列之间的优化值的和为所述目标分割块的目标规则性。
7.根据权利要求1所述的一种用于AGV小车的搬运目标位姿信息估计方法，其特征在于，所述通过所述点云数量以及所述目标规则性得到目标分割块的抓取优先级的步骤，包括：
获取每个所述目标分割块与相机之间的距离；根据所述距离、所述点云数量以及所述目标规则性得到目标分割块的抓取优先级；
所述抓取优先级与所述距离呈负相关关系；所述抓取优先级与所述点云数量以及所述目标规则性呈正相关关系。
CN202211067818.6A 2022-09-02 2022-09-02 用于agv小车的搬运目标位姿信息估计方法 Active CN115147491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211067818.6A CN115147491B (zh) 2022-09-02 2022-09-02 用于agv小车的搬运目标位姿信息估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211067818.6A CN115147491B (zh) 2022-09-02 2022-09-02 用于agv小车的搬运目标位姿信息估计方法

Publications (2)

Publication Number Publication Date
CN115147491A true CN115147491A (zh) 2022-10-04
CN115147491B CN115147491B (zh) 2022-11-15

Family

ID=83415383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211067818.6A Active CN115147491B (zh) 2022-09-02 2022-09-02 用于agv小车的搬运目标位姿信息估计方法

Country Status (1)

Country Link
CN (1) CN115147491B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117303223A (zh) * 2023-10-26 2023-12-29 中建三局集团华南有限公司 一种用于塔式起重机变幅小车的变幅位置修正系统
CN118334111A (zh) * 2024-06-11 2024-07-12 湖南蓝天机器人科技有限公司 一种agv小车搬运目标位姿信息估计方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600622A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于超体素的点云数据分割方法
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN110672088A (zh) * 2019-09-09 2020-01-10 北京航空航天大学 一种仿信鸽地貌感知归巢机制的无人机自主导航方法
KR102095685B1 (ko) * 2019-12-02 2020-04-01 주식회사 넥스파시스템 차량 식별 방법 및 장치
CN111079545A (zh) * 2019-11-21 2020-04-28 上海工程技术大学 一种基于图像修复的三维目标检测方法和系统
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
CN111179324A (zh) * 2019-12-30 2020-05-19 同济大学 基于颜色和深度信息融合的物体六自由度位姿估计方法
CN112381861A (zh) * 2020-09-18 2021-02-19 南京航空航天大学 一种基于地基激光雷达的林地点云数据配准和分割方法
US20210261178A1 (en) * 2016-01-21 2021-08-26 Transportation Ip Holdings, Llc Vehicle control system
CN113327298A (zh) * 2021-07-05 2021-08-31 深圳市拓普智造科技有限公司 基于图像实例分割和点云pca算法的一种抓取姿态估计方法
CN114419246A (zh) * 2021-12-10 2022-04-29 上海航天控制技术研究所 一种空间目标即时稠密重建方法
CN114743259A (zh) * 2022-02-28 2022-07-12 华中科技大学 位姿估计方法、位姿估计系统、终端、存储介质及应用
CN114898041A (zh) * 2022-05-09 2022-08-12 南京理工大学 一种基于光度误差的改进icp方法
CN114972377A (zh) * 2022-05-24 2022-08-30 厦门大学 基于移动最小二乘法与超体素的3d点云分割方法和装置
CN114972968A (zh) * 2022-05-19 2022-08-30 长春市大众物流装配有限责任公司 基于多重神经网络的托盘识别和位姿估计方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210261178A1 (en) * 2016-01-21 2021-08-26 Transportation Ip Holdings, Llc Vehicle control system
CN106600622A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于超体素的点云数据分割方法
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN110672088A (zh) * 2019-09-09 2020-01-10 北京航空航天大学 一种仿信鸽地貌感知归巢机制的无人机自主导航方法
CN111079545A (zh) * 2019-11-21 2020-04-28 上海工程技术大学 一种基于图像修复的三维目标检测方法和系统
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
KR102095685B1 (ko) * 2019-12-02 2020-04-01 주식회사 넥스파시스템 차량 식별 방법 및 장치
CN111179324A (zh) * 2019-12-30 2020-05-19 同济大学 基于颜色和深度信息融合的物体六自由度位姿估计方法
CN112381861A (zh) * 2020-09-18 2021-02-19 南京航空航天大学 一种基于地基激光雷达的林地点云数据配准和分割方法
CN113327298A (zh) * 2021-07-05 2021-08-31 深圳市拓普智造科技有限公司 基于图像实例分割和点云pca算法的一种抓取姿态估计方法
CN114419246A (zh) * 2021-12-10 2022-04-29 上海航天控制技术研究所 一种空间目标即时稠密重建方法
CN114743259A (zh) * 2022-02-28 2022-07-12 华中科技大学 位姿估计方法、位姿估计系统、终端、存储介质及应用
CN114898041A (zh) * 2022-05-09 2022-08-12 南京理工大学 一种基于光度误差的改进icp方法
CN114972968A (zh) * 2022-05-19 2022-08-30 长春市大众物流装配有限责任公司 基于多重神经网络的托盘识别和位姿估计方法
CN114972377A (zh) * 2022-05-24 2022-08-30 厦门大学 基于移动最小二乘法与超体素的3d点云分割方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RICCARDO MONICA 等: "RGB-D Fusion Enhancement by Mode Filter for Surfel Cloud Segmentation", 《2017 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS》 *
张磊 等: "基于动态特征剔除的图像与点云融合的机器人位姿估计方法", 《中国激光》 *
田会方 等: "基于EKF多传感器融合的自动导航车(AGV)位姿估计", 《电脑知识与技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117303223A (zh) * 2023-10-26 2023-12-29 中建三局集团华南有限公司 一种用于塔式起重机变幅小车的变幅位置修正系统
CN117303223B (zh) * 2023-10-26 2024-07-30 中建三局集团华南有限公司 一种用于塔式起重机变幅小车的变幅位置修正系统
CN118334111A (zh) * 2024-06-11 2024-07-12 湖南蓝天机器人科技有限公司 一种agv小车搬运目标位姿信息估计方法及系统

Also Published As

Publication number Publication date
CN115147491B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN115147491B (zh) 用于agv小车的搬运目标位姿信息估计方法
CN109801337B (zh) 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN112070818B (zh) 基于机器视觉的机器人无序抓取方法和系统及存储介质
AU2021266348B2 (en) Control device and method for a robot system for locating objects and calculating appropriate grasp points for each object
US9424470B1 (en) Systems and methods for scale invariant 3D object detection leveraging processor architecture
CN110648361A (zh) 一种三维目标物体的实时位姿估计方法及定位抓取系统
CN111461107A (zh) 用于识别感兴趣区的材料搬运方法、装置和系统
CN114820391B (zh) 基于点云处理的仓储托盘检测定位方法及系统
CN113012161B (zh) 一种基于凸性区域生长的堆叠散乱目标点云分割方法
CN114972377B (zh) 基于移动最小二乘法与超体素的3d点云分割方法和装置
CN111260289A (zh) 一种基于视觉导航的微型无人机仓库盘点系统及方法
CN115330819B (zh) 一种软包分割定位方法、工控机和机器人抓取系统
CN102722887A (zh) 一种图像配准方法及装置
CN110992422A (zh) 一种基于3d视觉的药盒姿态估计方法
CN114800533B (zh) 一种用于工业机器人的分拣控制方法及系统
CN117036654A (zh) 一种基于注意力机制的托盘位姿估计方法
CN112102397B (zh) 一种多层零件的定位方法、设备、系统及可读存储介质
CN115100416A (zh) 一种不规则钢板位姿识别方法及相关设备
CN112907666A (zh) 一种基于rgb-d的托盘位姿估计方法、系统及装置
CN112419337A (zh) 针对复杂背景下的机器人抓取位置的检测方法
Taheritanjani et al. 2D Orientation and Grasp Point Computation for Bin Picking in Overhaul Processes.
CN118334111B (zh) 一种agv小车搬运目标位姿信息估计方法及系统
CN117710714A (zh) 一种agv托盘识别方法及装置
CN118212410A (zh) 一种基于改进欧式聚类的工业场景零件实例分割方法
CN118397210A (zh) 连续帧箱体提取方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant