CN115116048A - 一种基于点云质心识别及定位栈板的方法、系统 - Google Patents

一种基于点云质心识别及定位栈板的方法、系统 Download PDF

Info

Publication number
CN115116048A
CN115116048A CN202210751097.4A CN202210751097A CN115116048A CN 115116048 A CN115116048 A CN 115116048A CN 202210751097 A CN202210751097 A CN 202210751097A CN 115116048 A CN115116048 A CN 115116048A
Authority
CN
China
Prior art keywords
point cloud
pallet
center
mass
centroid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210751097.4A
Other languages
English (en)
Inventor
王冠
张腾宇
赵越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiangong Intelligent Technology Co ltd
Original Assignee
Shanghai Xiangong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiangong Intelligent Technology Co ltd filed Critical Shanghai Xiangong Intelligent Technology Co ltd
Priority to CN202210751097.4A priority Critical patent/CN115116048A/zh
Publication of CN115116048A publication Critical patent/CN115116048A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于点云质心识别及定位栈板的方法、系统,其中识别步骤包括:S1基于3D传感器采集的传感数据建立目标点云;S2剔除目标点云中的地面点云,根据已知栈板端面尺寸以从中提取出特征点云块并计算其质心;S3计算所有质心之间的欧式距离,筛查出符合栈板端面特征条件的质心组成质心点对;S4将质心点对与栈板端面特征尺寸进行匹配计算,以获得识别结果。从而普适多种3D传感器提高通用性,同时降低计算性能要求。

Description

一种基于点云质心识别及定位栈板的方法、系统
技术领域
本发明涉及机器人视觉定位技术,尤其涉及基于传统3D传感器采集的点云数据以基于点云质心来识别及定位栈板的方法、系统。
背景技术
本发明所称的机器人是一种能够自动运行的移动机器人,如轮式机器人,其根据工作属性的不同可以分为:清扫机器人、消毒机器人、巡检机器人、搬运机器人等。
在工业应用领域,具有移动和搬运功能的自动化机器人正逐步替代人工介入到现有的生产体系之中,以实现物料搬运、插取等任务,然而这机器人之所以能够实现自动化控制,主要仰赖于不断发展的机器人的识别及定位技术。
比如自动叉车机器人通过插取栈板来进行货物转运,如果事先不知道栈板的具体位姿,那么在机器人插取过程中,很容易出现插取失败的情况,因此如何快速识别及定位此类栈板的位置,则是目前本领域一直在迭代改进的目标。
目前现有技术中,比较成熟的技术通常会使用RGB-D相机根据特征来确定栈板的位置,这种技术也是目前应用比较广泛的技术,但是该技术的问题在于通用性不强,依赖于特定的深度相机设备。
另一方面,基于样本学习的技术也是目前比较热门的技术,也叫深度学习,深度学习可以使识别达到很高的准确度,但是对计算性能要求较高。
发明内容
本发明的主要目的在于提供一种基于点云质心识别及定位栈板的方法、系统,以普适多种3D传感器提高通用性,同时降低计算性能要求。
为了实现上述目的,根据本发明的一个方面,提供了一种基于点云质心识别栈板的方法,步骤包括:
S1 基于3D传感器采集的传感数据建立目标点云;
S2剔除目标点云中的地面点云,根据已知栈板端面尺寸以从中提取出特征点云块并计算其质心;
S3计算所有质心之间的欧式距离,筛查出符合栈板端面特征条件的质心组成质心点对;
S4将质心点对与栈板端面特征尺寸进行匹配计算,以获得识别结果。
在可能的优选实施方式中,步骤S1中建立目标点云的步骤包括:
S11对目标点云进行滤波处理,根据3D传感器的外部参数将目标点云转换到机器人坐标系下,以获得对应点云坐标,从而参照栈板的高度参数,滤除不匹配的目标点云;
S12对步骤S11处理后的目标点云采用统计滤波处理,除去离群点。
在可能的优选实施方式中,步骤S2中剔除目标点云中的地面点云的步骤包括:
S21分别多次随机从目标点云中抽取多个点以拟合出多个基准平面;
S22统计各基准平面与目标点云所有的点之间在容差距离范围内所对应点的数量;
S23选择对应点数量最多的基准平面作为地面,以将该基准平面上的所有的点归属于地面成分以剔除,而其余点归属于物体成分。
在可能的优选实施方式中,步骤S2中根据已知栈板端面尺寸以从中提取出特征点云块的步骤包括:
S24从物体成分点云中随机选取种子点,并判断种子点与作为种子点周围的非种子点是否处于同一平面内,其中种子点的法向量与地面法向量垂直,当确定种子点和非种子点处于同一平面内时,确定将该非种子点作为新的种子点;
S25迭代判断新的种子点与其周围的非种子点是否处于同一平面内,以通过点云区域生长的方式统计出所有的种子点;
S26基于所统计的种子点,构建垂直于地面的特征点云块。
在可能的优选实施方式中,步骤S26中基于所统计的种子点,构建垂直于地面的特征点云块的步骤包括:判断所统计的种子点的数量是否处于预设数量范围内,并当种子点数量在数量范围内时,基于所统计的种子点以平面方程构建所述特征点云块。
在可能的优选实施方式中,步骤S3中所述栈板端面特征条件包括:至少3个质心之间,中心质心与其相邻两个质心的距离处于预设阈值内。
在可能的优选实施方式中,步骤S4中匹配计算步骤包括:判断质心点对中各质心在车体坐标系下的Z值是否都与栈板端面高度特征尺寸参数的一半基本匹配;若匹配则识别为匹配模板对应的栈板。
为了实现上述目的,根据本发明的另一方面,还提供了一种基于点云质心定位栈板的方法,其步骤包括:
S1根据如权利要求1至7任一所述基于点云质心识别栈板的方法,获取匹配的质心点对并求平均,以获取当前识别的栈板端面的中心点坐标,并以此作为6Dpose的x、y、z参数;
S2 将roll和pitch的角度设为0;
S3 计算
Figure DEST_PATH_IMAGE002
,其中delta_adelta_b为质心点对中与中心质心相邻的两个质心点坐标分别在x轴与y轴上的距离,籍此获取完整6D pose。
为了实现上述目的,根据本发明的另一方面,还提供了一种基于点云质心识别栈板的系统,其包括:
存储单元,其存有实现如上述任一所述基于点云质心识别栈板的方法步骤的程序,以供控制单元及处理单元适时调取执行;
控制单元操控3D传感器采集场景中的目标点云以向处理单元发送;
处理单元从目标点云中剔除地面点云,根据已知栈板端面尺寸从中提取出特征点云块并计算其质心;之后计算所有质心之间的欧式距离,筛查出符合栈板端面特征条件的质心组成质心点对;后将质心点对与栈板端面特征尺寸进行匹配计算,以获得识别结果。
为了实现上述目的,根据本发明的另一方面,还提供了一种基于点云质心识别及定位栈板的系统,其包括:
存储单元,其存有实现如上述任一所述基于点云质心识别栈板的方法步骤的程序,以及如上述基于点云质心定位栈板的方法步骤的程序,以供控制单元及处理单元适时调取执行;
控制单元操控3D传感器采集场景中的目标点云以向处理单元发送;
处理单元从目标点云中剔除地面点云,根据已知栈板端面尺寸从中提取出特征点云块并计算其质心;之后计算所有质心之间的欧式距离,筛查出符合栈板端面特征条件的质心组成质心点对;后将质心点对与栈板端面特征尺寸进行匹配计算,以获得识别结果;
处理单元进一步将匹配的质心点对并求平均,以获取当前识别的栈板端面的中心点坐标,并以此作为6Dpose的x、y、z参数;并将roll和pitch的角度设为0;同时计算
Figure 580650DEST_PATH_IMAGE002
,其中delta_a与delta_b为质心点对中与中心质心相邻的两个质点坐标分别在x轴与y轴上的距离,籍此获取完整6D pose参数。
本发明提供的该基于点云质心识别及定位栈板的方法、系统,不但特别适用于对于栈板的识别和定位,同时对于其他需要与机器人交互的物体,只要物体在传感器能够扫描的角度存在一定的、连续的面特征,即可准确、快速的识别该物体及其位置。并且拓展性非常强,例如本案示例中的栈板,无论是标准的栈板还是非标准的栈板,只需提前获得栈板的各个结构参数即可进行后续匹配识别及定位步骤。
此外本发明还能够普适多种3D传感器,通用性较强,无论是深度相机、多线激光雷达还是固态激光雷达,都能适用,并且不需要对点云进行拼接即可直接进行计算。另一方面本发明的方案也不需要预先训练样本,就可以时时进行识别判断及目标位姿计算,因此相比深度学习方案占用的计算性能更低也更巧妙。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明的基于点云质心识别栈板的方法步骤示意图;
图2为本发明的基于点云质心识别栈板的方法中示例栈板的端面结构及其参数获取示意图;
图3为本发明的基于点云质心识别栈板的方法中质心点对及其特征点云块与栈板的端面进行匹配计算的示意图;
图4为本发明的基于点云质心定位栈板的方法步骤示意图;
图5为本发明的基于点云质心定位栈板的方法中
Figure DEST_PATH_IMAGE004
角的计算示意图;
图6为本发明的基于点云质心识别及定位栈板的系统结构示意图。
具体实施方式
为了使本领域的技术人员能够更好的理解本发明的技术方案,下面将结合实施例来对本发明的具体技术方案进行清楚、完整地描述,以助于本领域的技术人员进一步理解本发明。显然,本案所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思及相互不冲突的前提下,本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例,在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的揭露及保护范围。
此外本发明的说明书和权利要求书及附图中的术语“第一”、“第二”、“S1”、“S2”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里描述的那些以外的顺序实施。同时本发明中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。除非另有明确的规定和限定,术语“设置”、“布设”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况,结合现有技术来理解上述术语在本案中的具体含义。
其中需要说明的是,本发明的示例中,所述3D传感器可以是3D激光传感器,也可以使用3D相机传感器并且只使用深度信息。具体来说,本发明的方案可适用于非重复式扫描模式的3D激光雷达,但对于机械式扫描的3D激光雷达以及深度相机同样适用。对于机械式扫描的3D激光雷达,不需要对点云进行拼接即可直接进行计算;对于深度相机,需要先把深度图转换为3D点云,也不需要进行点云拼接即可进行计算。
此外,下述示例中虽然示例了一种结构的栈板的识别及定位处理过程,但本领域技术人员可以根据下述实施例理解到,本发明的方案也可适用于识别多个不同种类的栈板,甚至可以拓展为非标准的栈板。只需要预先的配置好栈板的参数,即可快速、准确的识别并定位到栈板的位姿。
具体来说,请参阅图1至图3所示,本发明提供的该基于点云质心识别栈板的方法,其步骤包括:
首先如图2所示,获取栈板端面尺寸参数。
步骤S1
基于3D传感器采集的传感数据建立目标点云。具体来说,首先通过3D传感器的外部参数将点云转换到车体坐标系下,这样方便后续计算。
之后对采集到的目标点云进行预处理,如对目标点云数据进行滤波操作。具体的,该滤波处理步骤包括:将所获取的栈板目标点云赋予为对应于车体三轴坐标系的点云坐标,然后获取待识别的栈板的高度参数,进而根据高度参数,滤除目标点云坐标下与该高度不匹配的栈板目标点云。
如本示例中,当栈板的高度为15cm时,若栈板放在水平地面上,则可以是使用直通滤波器仅获取距离地面0~15cm的点云,而若栈板堆叠在两层同样高度的栈板上,则用直通滤波器获取距离地面30~45cm的点云,最后,对获取的目标点云采用统计滤波器,除去离群点。由此便可通过多次滤波的预处理方式,有效减少目标点云中的噪音和冗余数据,提高了后续算法的准确率和运算速度,提高了算法的鲁棒性和实时性。
步骤S2
剔除目标点云中的地面点云,根据已知栈板端面尺寸以从中提取出特征点云块并计算其质心。
具体来说,对预处理之后的目标点云进行地面点云剔除,首选要分辨出栈板目标点云中地面成分和物体成分,为此本示例中,应用随机抽样一致算法与平面模型匹配方式来分离目标点云数据中的地面成分和物体成分,具体的,本示例优选分别多次随机从点云中抽取多个点,并相应地拟合出多个基准平面;统计目标点云中所有的点分别与多个基准平面的距离在容差距离范围内的相应的点的数量;比较所统计的点的数量,以从多个基准平面确定地面成分。
例如,可以是选择目标点云数据下所有的点距离基准平面在容差距离范围内的点的数量最多的基准平面作为地面,并将该面上所有的点归属于地面成分。同时可以获得地面的高度。
之后,为了提取出图3所示栈板端面3个脚的特征点云块,本示例中优选第一步提取垂直于地面的面状点云,如从物体成分点云数据中随机选取种子点,并判断种子点与作为种子点周围的非种子点是否处于同一平面内 ,其中种子点的法向量与地面法向量垂直,当确定种子点和非种子点处于同一平面内时,确定将该非种子点作为新的种子点;迭代判断新的种子点与其周围的非种子点是否处于同一平面内,以通过点云区域生长的方式统计出所有的种子点。
最后基于所统计的种子点,构建垂直于地面的特征点云块。例如,判断所统计的种子点的数量是否处于预设定的数量范围内,并当该种子点数量在数量范围内时,可以基于所统计的种子点构建所述特征点云块,以及当该该种子点数量过高或过低时,则可以认定所统计的种子点所对应的面不属于特征点云块,该做法同时可以得出平面方程参数。
此外需要说明的是,该种子点数量范围的选取,可根据3D传感器的分辨率来选择,分辨率越高,则种子点数阈值也可以对应设置越高。
之后即可计算每个特征点云块的质心,如本示例中,采用计算每个特征点云块中的平均点云作为点云的质心 ,即质心点(x,y,z)为块中所有点的x,y,z求平均。
步骤S3
计算所有质心之间的欧式距离,筛查出符合栈板端面特征条件的质心组成质心点对。
具体来说,由于栈板的特性,栈板的端面上往往会存在一些具有特点的部分,如图3中所示的栈板端面所呈现的的3个脚,而这部分就可作为特征来用于识别匹配,由此本发明构思上首先通过步骤S2至S3筛选出用于识别的栈板端面3个脚特征的特征点云块及其质心,,之后通过判断质心之间的距离,即可在一定程度上判断出其结构差异,籍此便可进一步证实该目标点云所对应的目标物体是不是栈板。
因此本示例中一个栈板的识别特征可以由三个点云块组成,且栈板为对称,那么中间块和左右两边块的距离是相等的,根据这一条件去寻找所有的质心点,即可获得符合条件的作为一组质心点对。
例如在本示例中,如图3所示,3个脚特征的栈板需要找出3个对应的特征点云块,为此就必须在所有特征点云块中进行筛查,如该筛查的逻辑为,中间特征点云块的质心距离左右两块的质心之间的距离是相同的,不过考虑到噪声,需要设置一个阈值。这样通过筛选可以找出符合条件的质心点对,即每组点对有三个质心点。
步骤S4
将质心点对与栈板端面特征尺寸进行匹配计算,以获得识别结果。
具体来说,在步骤S3之后还需要进一步对所有的质心点对做判断,以根据栈板端面特征尺寸来寻找最终的点对,籍此获得精确的识别结果。例如本示例中该栈板端面特征尺寸为栈板高度尺寸参数的一半。因为质心点对中的三个点的z值(由于在车体坐标系下,z轴方向代表高度)都要符合栈板高度的一半,这样一方面能判断出三个质心点都处于同一高度,同时因为这个高度为栈板高度的一半,正好也是其中心高度,因此与质心Z值一致时,便可完成精确的匹配识别。
值得一提的是,当上述步骤S1至S4完成栈板识别后,也就印证了这些质心点对所对应的特征点云块可以代表为栈板,因此可为计算栈板所处车体坐标系中的位姿提供依据。
为此如图4所示,本发明另一方面还提供了一种基于点云质心定位栈板的方法,步骤包括:
步骤S1
根据上述实施例中基于点云质心识别栈板的方法,获取匹配的质心点对并求平均,以获取当前识别的栈板端面的中心点坐标,并以此作为6Dpose的x、y、z参数。
具体来说,栈板的位姿在空间中存在6个自由度,即平移量x,y,z和旋转量roll,pitch,yaw,即6d pose。由于栈板和叉车机器人都是处于同一水平面,所以根据栈板摆放在地面上就可以得出真实环境中代表栈板的三个特征点云块的质心应该是在同一高度,且高度为地面加上栈板高度的一半。计算在车体坐标系下进行计算。
因此设定栈板的中心点为栈板端面的中心,则步骤S4得出的栈板端面三个特征点云块的质心点对此时只需要对质心点对中三个质心点求平均即可得到栈板的端面中心点,即得到x、y、z。
步骤S2
由于栈板和叉车机器人都是默认在同一空间,且地面是水平的,那么此时可以认为栈板相对于叉车叉齿是平行的,即不存在roll和pitch的角度,因此可将roll和pitch的角度设为0。
此时只需要计算yaw角值,就可得到栈板的6d pose。
步骤S3
如图5所示,由于栈板摆放在地面上,假设不存在roll和pitch的偏差,所以yaw角值的算式为:
Figure DEST_PATH_IMAGE006
其中delta_adelta_b为质心点对中与中心质心相邻的两个质心点坐标分别在x轴与y轴上的距离。
综上计算最终可得栈板的6d pose(x,y,z,roll,pitch,yaw),从而获得栈板所处车体坐标系中的位姿,以供后续叉车机器人识别并插取。
另一方面,对应上述识别方法,请参阅图6所示,本发明还提供了一种基于点云质心识别栈板的系统,其包括:
存储单元,其存有实现如上述任一所述基于点云质心识别栈板的方法步骤的程序,以供控制单元及处理单元适时调取执行;
控制单元操控3D传感器采集场景中的目标点云以向处理单元发送;
处理单元从目标点云中剔除地面点云,根据已知栈板端面尺寸从中提取出特征点云块并计算其质心;之后计算所有质心之间的欧式距离,筛查出符合栈板端面特征条件的质心组成质心点对;后将质心点对与栈板端面特征尺寸进行匹配计算,以获得识别结果。
另一方面,对应上述识别及定位方法,请参阅图6所示,本发明还提供了一种基于点云质心识别及定位栈板的系统,其包括:
存储单元,其存有实现如上述任一所述基于点云质心识别栈板的方法步骤的程序,以及如上述基于点云质心定位栈板的方法步骤的程序,以供控制单元及处理单元适时调取执行;
控制单元操控3D传感器采集场景中的目标点云以向处理单元发送;
处理单元从目标点云中剔除地面点云,根据已知栈板端面尺寸从中提取出特征点云块并计算其质心;之后计算所有质心之间的欧式距离,筛查出符合栈板端面特征条件的质心组成质心点对;后将质心点对与栈板端面特征尺寸进行匹配计算,以获得识别结果;
处理单元进一步将匹配的质心点对并求平均,以获取当前识别的栈板端面的中心点坐标,并以此作为6Dpose的x、y、z参数;并将roll和pitch的角度设为0;同时计算
Figure 812917DEST_PATH_IMAGE002
,其中delta_a与delta_b为质心点对中与中心质心相邻的两个质点坐标分别在x轴与y轴上的距离,籍此获取完整6D pose参数。
综上所述,本发明提供的该基于点云质心识别及定位栈板的方法、系统,不但特别适用于对于栈板的识别和定位,同时对于其他需要与机器人交互的物体,只要物体在传感器能够扫描的角度存在一定的、连续的面特征,即可准确、快速的识别该物体及其位置。并且拓展性非常强,例如本案示例中的栈板,无论是标准的栈板还是非标准的栈板,只需提前获得栈板的各个结构参数即可进行后续匹配识别步骤。
此外本发明还能够普适多种3D传感器,通用性较强,无论是深度相机、多线激光雷达还是固态激光雷达,都能适用,并且不需要对点云进行拼接即可直接进行计算。另一方面本发明的方案也不需要预先训练样本,就可以时时进行识别判断及目标位姿计算,因此相比深度学习方案占用的计算性能更低也更巧妙。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本领域技术人员可以理解,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外,本发明实施例的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明实施例的思想,其同样应当视为本发明实施例所公开的内容。

Claims (10)

1.一种基于点云质心识别栈板的方法,其特征在于步骤包括:
S1 基于3D传感器采集的传感数据建立目标点云;
S2剔除目标点云中的地面点云,根据已知栈板端面尺寸以从中提取出特征点云块并计算其质心;
S3计算所有质心之间的欧式距离,筛查出符合栈板端面特征条件的质心组成质心点对;
S4将质心点对与栈板端面特征尺寸进行匹配计算,以获得识别结果。
2.根据权利要求1所述的基于点云质心识别栈板的方法,其特征在于,步骤S1中建立目标点云的步骤包括:
S11对目标点云进行滤波处理,根据3D传感器的外部参数将目标点云转换到机器人坐标系下,以获得对应点云坐标,从而参照栈板的高度参数,滤除不匹配的目标点云;
S12对步骤S11处理后的目标点云采用统计滤波处理,除去离群点。
3.根据权利要求1所述的基于点云质心识别栈板的方法,其特征在于,步骤S2中剔除目标点云中的地面点云的步骤包括:
S21分别多次随机从目标点云中抽取多个点以拟合出多个基准平面;
S22统计各基准平面与目标点云所有的点之间在容差距离范围内所对应点的数量;
S23选择对应点数量最多的基准平面作为地面,以将该基准平面上的所有的点归属于地面成分以剔除,而其余点归属于物体成分。
4.根据权利要求3所述的基于点云质心识别栈板的方法,其特征在于,步骤S2中根据已知栈板端面尺寸以从中提取出特征点云块的步骤包括:
S24从物体成分点云中随机选取种子点,并判断种子点与作为种子点周围的非种子点是否处于同一平面内,其中种子点的法向量与地面法向量垂直,当确定种子点和非种子点处于同一平面内时,确定将该非种子点作为新的种子点;
S25迭代判断新的种子点与其周围的非种子点是否处于同一平面内,以通过点云区域生长的方式统计出所有的种子点;
S26基于所统计的种子点,构建垂直于地面的特征点云块。
5.根据权利要求4所述的基于点云质心识别栈板的方法,其特征在于,步骤S26中基于所统计的种子点,构建垂直于地面的特征点云块的步骤包括:判断所统计的种子点的数量是否处于预设数量范围内,并当种子点数量在数量范围内时,基于所统计的种子点以平面方程构建所述特征点云块。
6.根据权利要求1所述的基于点云质心识别栈板的方法,其特征在于,步骤S3中所述栈板端面特征条件包括:至少3个质心之间,中心质心与其相邻两个质心的距离处于预设阈值内。
7.根据权利要求1所述的基于点云质心识别栈板的方法,其特征在于,步骤S4中匹配计算步骤包括:判断质心点对中各质心在车体坐标系下的Z值是否都与栈板端面高度特征尺寸参数的一半基本匹配;若匹配则识别为匹配模板对应的栈板。
8.一种基于点云质心定位栈板的方法,其特征在于步骤包括:
S1根据如权利要求1至7任一所述基于点云质心识别栈板的方法,获取匹配的质心点对并求平均,以获取当前识别的栈板端面的中心点坐标,并以此作为6Dpose的x、y、z参数;
S2 将roll和pitch的角度设为0;
S3 计算
Figure DEST_PATH_IMAGE001
,其中delta_adelta_b为质心点对中与中心质心相邻的两个质心点坐标分别在x轴与y轴上的距离,籍此获取完整6D pose。
9.一种基于点云质心识别栈板的系统,其特征在于包括:
存储单元,其存有实现如权利要求1至7任一所述基于点云质心识别栈板的方法步骤的程序,以供控制单元及处理单元适时调取执行;
控制单元操控3D传感器采集场景中的目标点云以向处理单元发送;
处理单元从目标点云中剔除地面点云,根据已知栈板端面尺寸从中提取出特征点云块并计算其质心;之后计算所有质心之间的欧式距离,筛查出符合栈板端面特征条件的质心组成质心点对;后将质心点对与栈板端面特征尺寸进行匹配计算,以获得识别结果。
10.一种基于点云质心识别及定位栈板的系统,其特征在于包括:
存储单元,其存有实现如权利要求1至7任一所述基于点云质心识别栈板的方法步骤的程序,以及如权利要求8所述基于点云质心定位栈板的方法步骤的程序,以供控制单元及处理单元适时调取执行;
控制单元操控3D传感器采集场景中的目标点云以向处理单元发送;
处理单元从目标点云中剔除地面点云,根据已知栈板端面尺寸从中提取出特征点云块并计算其质心;之后计算所有质心之间的欧式距离,筛查出符合栈板端面特征条件的质心组成质心点对;后将质心点对与栈板端面特征尺寸进行匹配计算,以获得识别结果;
处理单元进一步将匹配的质心点对并求平均,以获取当前识别的栈板端面的中心点坐标,并以此作为6Dpose的x、y、z参数;并将roll和pitch的角度设为0;同时计算
Figure 854016DEST_PATH_IMAGE002
,其中delta_a与delta_b为质心点对中与中心质心相邻的两个质点坐标分别在x轴与y轴上的距离,籍此获取完整6D pose参数。
CN202210751097.4A 2022-06-28 2022-06-28 一种基于点云质心识别及定位栈板的方法、系统 Pending CN115116048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210751097.4A CN115116048A (zh) 2022-06-28 2022-06-28 一种基于点云质心识别及定位栈板的方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210751097.4A CN115116048A (zh) 2022-06-28 2022-06-28 一种基于点云质心识别及定位栈板的方法、系统

Publications (1)

Publication Number Publication Date
CN115116048A true CN115116048A (zh) 2022-09-27

Family

ID=83329742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210751097.4A Pending CN115116048A (zh) 2022-06-28 2022-06-28 一种基于点云质心识别及定位栈板的方法、系统

Country Status (1)

Country Link
CN (1) CN115116048A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115771866A (zh) * 2023-02-02 2023-03-10 福勤智能科技(昆山)有限公司 一种用于无人驾驶高位叉车的栈板位姿识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115771866A (zh) * 2023-02-02 2023-03-10 福勤智能科技(昆山)有限公司 一种用于无人驾驶高位叉车的栈板位姿识别方法及装置

Similar Documents

Publication Publication Date Title
CN100573388C (zh) 实时颜色自动采集的机器人控制方法及机器人
CN110599541A (zh) 一种对多传感器进行标定的方法、装置和存储介质
US9576363B2 (en) Object picking system, object detecting device, object detecting method
CN100461820C (zh) 图像处理装置及图像处理中的登录数据生成方法
CN111178138B (zh) 基于激光点云和双目视觉的配网导线作业点检测方法及装置
AU2021288667B2 (en) Control method and apparatus for warehouse robot, and robot and warehouse system
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
CN116494253B (zh) 目标物体抓取位姿获取方法及机器人抓取系统
CN115116048A (zh) 一种基于点云质心识别及定位栈板的方法、系统
CN114972489A (zh) 托盘识别方法、装置、存储介质及智能叉车设备
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN115546202A (zh) 一种用于无人叉车的托盘检测与定位方法
CN113932712B (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
CN115861443A (zh) 一种多相机内参标定方法、装置、电子设备及存储介质
CN113658274A (zh) 用于灵长类动物种群行为分析的个体间距自动计算方法
CN109211222B (zh) 基于机器视觉的高精度定位系统及方法
CN109211210B (zh) 一种目标物体的识别定位测量方法及装置
CN115063475A (zh) 一种基于3d传感器的面形状识别及定位方法
CN115113623A (zh) 一种基于3d传感器的栈板识别及定位方法、系统
CN112149687A (zh) 目标识别的方法
CN113450335A (zh) 一种路沿检测方法、路沿检测装置及路面施工车辆
CN115100642B (zh) 一种基于深度学习的3d库位状态检测方法及系统
JP2562047B2 (ja) 対象物体の位置姿勢認識方法
CN116342858B (zh) 物体检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination