CN110648361A - 一种三维目标物体的实时位姿估计方法及定位抓取系统 - Google Patents

一种三维目标物体的实时位姿估计方法及定位抓取系统 Download PDF

Info

Publication number
CN110648361A
CN110648361A CN201910843048.1A CN201910843048A CN110648361A CN 110648361 A CN110648361 A CN 110648361A CN 201910843048 A CN201910843048 A CN 201910843048A CN 110648361 A CN110648361 A CN 110648361A
Authority
CN
China
Prior art keywords
target object
pose
point
feature
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910843048.1A
Other languages
English (en)
Other versions
CN110648361B (zh
Inventor
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co Ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co Ltd filed Critical Shenzhen Huahan Weiye Technology Co Ltd
Priority to CN201910843048.1A priority Critical patent/CN110648361B/zh
Publication of CN110648361A publication Critical patent/CN110648361A/zh
Application granted granted Critical
Publication of CN110648361B publication Critical patent/CN110648361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种三维目标物体的实时位姿估计方法及定位抓取系统，该实时位姿估计方法包括：获取目标物体的三维的图形信息；根据图形信息计算得到目标物体的局部特征描述子；利用预先建立的三维模型数据库，通过局部特征描述子对目标物体进行三维的位姿估计，得到目标物体的位姿信息；输出得到的位姿信息。本申请将请求保护的实时位姿估计方法应用于三维目标物体的定位抓取系统之中，能够使得控制器根据处理器输出的位姿信息控制运动机构准确地抓取目标物体，在保证抓取效率的同时还能有效地提高抓取准确度，增强定位抓取系统在应用过程中的实用性能。

Description

一种三维目标物体的实时位姿估计方法及定位抓取系统
技术领域
本发明涉及机器视觉技术领域，具体涉及一种三维目标物体的实时位姿估计方法及定位抓取系统。
背景技术
在当今的制造业中，装配过程所用的时间占整个生产制造过程的20％-70％，花费的资金占生产费用的40％以上，其中包括很大一部分的人力劳动费用。为了提高生产效率，降低人力成本，人们开始探索利用机器人实现自动化装配。零件识别与抓取位置规划作为自动化装配过程中不可缺少的重要环节，对装配的质量有至关重要的影响，基于视觉的零件位姿判定与抓取位置规划可以明显提高产品装配的自动化程度、灵活度，减少耗时并降低成本，从而提高生产制造效率。机器人自动化装配涉及两项关键技术：零件识别与自动抓取。面对复杂的作业环境以及产品的多样化需求，从场景中识别需要装配的零件，并完成抓取送达安装工位，如何提升准确性和保证高效性是需要克服的技术难题。基于计算机视觉的零件识别算法按照处理数据类型的不同，可以分为两类：基于二维图像的识别、基于三维点云信息的识别。物体的三维点云是指其表面轮廓上的采样点集，具有空间坐标信息；对于机械零件而言，其标准CAD模型往往是已知的，则通过匹配目标点云与标准模型点云，即可识别零件，得到两者的旋转平移关系。点云匹配有两类常用方法：基于特征匹配的算法和迭代最近点(ICP)的算法。
我国是一个制造大国，很多企业都需要对产品进行检测、分栋、上下料抓取等工艺操作，这对于工作在自动化生产线上或者柔性制造系统中的机器人来说，完成最多的一类操作是“抓取-放置”动作，这与机器人的视觉系统密切相关。机器视觉主要用于工件抓取、分掠、码操、质量检测、装配、工件跟踪等工业应用，当前2D视觉抓取应用广泛，但当工件散乱堆放、存在遮挡的情况下，工件不同角度的形状和特征都不一样，2D视觉没有鲁棒性好的解决方案。因此，研究工业机器人智能视觉传感器提高机器人智能程度成为解决工业生产物件智能夹取的关键问题。目前工业生产中，生产呈现以下趋势：a)多品类、小批量生产；b)在喷涂、大型设备等恶劣环境下，使用机器人代替人工完成定位组装；c)多工序间机器人协作完成工件的定位抓取。
目前，机器视觉识别系统大多需限制物体处于二维平面上，即只能识别三个自由度变化的物体，而且对环境有一定约束要求，例如工件单独摆放、相机视场内背景统一等等。上述结构化环境无疑限制了机器人应用的灵活性，而三维物体的检测与位姿估计能让机器人在非结构化的三维空间中感知目标物体的存在、计算其位置和姿态，是机器人操作任意姿态物体的基础，因此无论对于工业机器人还是服务机器人而言都有巨大的意义。背景的杂乱、物体的遮挡、光照的变换、纹理信息的缺失、几何形状的不显著等等情况限制了现存算法的通用性和鲁棒性。
综上而言，当前工业生产中依靠机器人进行零件识别时还存在以下的问题：
(1)基于二维图像进行零件识别的方法，对应用场景的光照条件、待识别物体的表面特性等均有要求，对于纹理稀少、颜色单调、轮廓特征不明显的物体，如机械零件，难以提取足够进行匹配的有效特征，识别有困难。同时二维位姿识别无法容忍高度方向上的变化，识别时必须保证机器人或运动机构与2D相机的相对位置固定，只能获取二维平面上的位置的偏移和旋转，只有3个自由度。
(2)在直接利用深度信息进行零件识别中，基于特征匹配的方法对点云特征的构建和匹配都颇为耗时，点云数量较大时，效率难以得到提升；基于ICP及其改进算法的识别方法，对初始迭代值要求较高，初值的估计直接影响后续的识别结果，初值选取不合适，很可能陷入局部最优，得不到正确的配准结果。
发明内容
有鉴于此，为解决当前工业生产中依靠机器人进行零件识别时物体位姿估计的效率和精度均较低的问题，本申请提供一种三维目标物体的实时位姿估计方法及定位抓取系统。
根据第一方面，一种实施例中提供一种三维目标物体的实时位姿估计方法，包括：获取目标物体的三维的图形信息；根据所述图形信息计算得到所述目标物体的局部特征描述子；利用预先建立的三维模型数据库，通过所述局部特征描述子对所述目标物体进行三维的位姿估计，得到所述目标物体的位姿信息；所述三维模型数据库包括所述目标物体的全局特征描述子；输出所述位姿信息。
所述根据所述图形信息计算得到所述目标物体的局部特征描述子，包括：采用体素栅格对所述图形信息进行降采样处理，以降低所述图形信息中数据点的数目；采用特征阈值对降采样处理后所述图形信息中的各个数据点进行筛选，以剔除异常的数据点，得到第二点云数据；所述第二点云数据包括所述目标物体在当前场景下各个场景特征点的坐标以及对应的法向量；根据所述第二点云数据形成所述目标物体的局部特征描述子；所述局部特征描述子中的每个特征描述子与每两个场景特征点相对应。
所述三维模型数据库通过以下方式建立：获取所述目标物体对应的三维模型的模型信息；采用体素栅格对所述模型信息进行降采样处理，以降低所述模型信息中数据点的数目；采用特征阈值对降采样处理后所述模型信息中的各个数据点进行筛选，以剔除异常的数据点，得到第一点云数据；所述第一点云数据包括所述目标物体在模型模板下各个模板特征点的坐标以及对应的法向量；根据所述第一点云数据形成所述目标物体的全局特征描述子；所述全局特征描述子中的每个特征描述子与每两个模板特征点一一对应；通过所述全局特征描述子建立所述三维模型数据库；所述全局特征描述子中的每个特征描述子、所述局部特征描述子中的每个特征描述子均为四维的特征向量，用公式表示为F(p1,p2)＝(||d||,∠(n1,d),∠(n2,d),det(n1,n2,d)/||d||)，其中，p1、p2均表示模板特征点或场景特征点，且p1、p2分别对应的法向量为n1、n2，d表示p1到p2的向量，||d||表示p1和p2之间的距离，∠(n1,d)∈[0,π]表示n1和d之间的夹角，∠(n2,d)∈[0,π]表示n2和d之间的夹角，det(n1,n2,d)表示向量的行列式的值且相当于表征三个向量形成的六面体的体积。
所述通过所述全局特征描述子建立所述三维模型数据库，包括：根据所述全局特征描述子中的各个特征描述子分别形成对应的第一点对，得到第一特征集Pm；建立一基准坐标系，以所述第一特征集Pm中任意第一点对内首个的特征点作为所述基准坐标系的基准点，计算该特征点在所述基准坐标系中的平移向量T和旋转矩阵R；具体包括：对于所述第一特征集Pm中的第一点对((p1,n1),(p2,n2))，将首个的特征点p1转换至所述基准坐标系的原点，将对应的法向量n1＝(nx,ny,nz)的方向转换至与所述基准坐标系的X轴方向一致，计算X轴方向夹角θ＝arccos(nx)和等效轴角单位方向向量
Figure BDA0002194331620000031
由此计算得到特征点p1在所述基准坐标系中的平移向量T和旋转矩阵R，分别表示为
T＝-Rp1＝-R(px,py,pz)T；
其中，cθ表示cosθ，sθ表示sinθ，(px,py,pz)T表示特征点p1的转置运算；根据所述平移向量T和旋转矩阵R对第一点对((p1,n1),(p2,n2))内的另一个特征点p2进行基准坐标变换，得到变换后的坐标pt＝(pxt,pyt,pzt)以及对应的旋转角度ψm＝-arctan(pzt/pyt)；将所述第一特征集中的各个第一点对和各个第一点对分别对应的旋转角度ψm存入多个哈希表内，利用多个所述哈希表组建所述三维模型数据库；具体包括：将所述第一特征集中具有相同或相似特征值的第一点对划分为一组且存入同一个哈希表内；为每一个哈希表设置一个键值，建立该键值和该哈希表内所存储的第一点对之间的映射关系；利用所有的哈希表组建所述三维模型数据库，用于通过各个哈希表内存储的第一点对替代所述全局特征描述子来对所述目标物体进行描述。
所述利用预先建立的三维模型数据库，通过所述局部特征描述子对所述目标物体进行三维的位姿估计，得到所述目标物体的位姿信息，包括：根据所述局部特征描述子中的各个特征描述子分别形成对应的第二点对，得到第二特征集Ps；从所述第二特征集Ps中选取任意第二点对((p′1,n′1),(p′2,n′2))以进行迭代计算，所述迭代计算包括：利用所述基准坐标系，以选取的第二点对((p′1,n′1),(p′2,n′2))内首个的特征点p′1作为所述基准坐标系的基准点，计算该特征点在所述基准坐标系中的平移向量T′和旋转矩阵R′；根据所述平移向量T′和旋转矩阵R′对构成该第二点对的另一个特征点进行基准坐标变换，得到变换后的坐标p′t＝(p′x,p′y,p′z)以及对应的旋转角度ψs＝-arctan(p′z/p′y)；根据该第二点对内两个特征点在场景坐标系中的坐标得到这两个特征点对应的特征描述子，根据该特征描述子对所述三维模型数据库中的各个哈希表进行特征匹配以获取所有相匹配的第一点对，计算每个相匹配的第一点对对应的旋转角度ψm与该第二点对对应的旋转角度ψs之间的差值Δψ＝ψm-ψs，且映射为索引坐标ψindex；根据所述索引坐标ψindex的索引值对该第二点对进行投票计数，通过投票计数结果获得该第二点对对应的评估匹配质量，以及保存取得最大的评估匹配质量时所对应的第一点对和第二点对；在模板坐标系中获取该第二点对对应的位姿变换矩阵，且表示为
Figure BDA0002194331620000041
根据所述位姿变换矩阵获得该第二点对对应的旋转平移关系，且将所述位姿变换矩阵加入预设的队列poseList中。
其中
Figure BDA0002194331620000042
Tm→g＝[Rmax Tmax]，R(Δψ)＝[R(Δψ) T(Δψ)]；
Figure BDA0002194331620000043
表示将场景特征点变换为所述基准坐标系的逆变换，Tm→g为将模板特征点变换为所述基准坐标系中投票最多特征的变换，Rmax、Tmax分别表示对应的最大的投票的索引所对应的的旋转矩阵和平移向量，以及
Figure BDA0002194331620000044
T(Δψ)＝(0,0,0)T；
所述场景坐标系为描述场景坐标点时所使用的坐标系，所述模板坐标系为描述模板特征点时所使用的坐标系。
根据取得最大的评估匹配质量时所对应的第一点对和第二点对，以及对应的旋转平移关系，计算所述局部特征描述子表示的局部特征在所述全局特征描述子表示的全局特征中的位置，以确定所述目标物体的位姿；根据所述目标物体的位姿，得到所述目标物体在模板坐标系中的位姿信息。
在得到所述目标物体的位姿信息之后，且在输出所述位姿信息之前，还包括：通过位姿聚类或ICP配准对所述位姿信息进行处理，以修正与优化所述位姿信息；其中，通过位姿聚类对所述位姿信息进行处理，包括：根据所述队列poseList形成位姿数据列表；对于所述位姿数据列表中的任意一个位姿数据，将该位姿数据作为种子点并与其它的位姿数据分别进行比较，若位姿数据之间的平移距离小于预设的第一值且平移角度小于预设的第二值，则将满足条件的其它的位姿数据加入该位姿数据对应的聚类；对每一个位姿数据对应的聚类进行加权平均计算或平均值计算，得到对应的均值，将所述均值作为修正与优化后的位姿信息。
根据第二方面，一种实施例中提供一种三维目标物体的定位抓取系统，包括：传感器，用于采集目标物体的图像，以形成所述目标物体的三维的图形信息；处理器，与所述传感器连接，用于通过上述第一方面中所述的实时位姿估计方法得到所述目标物体的位姿信息；控制器，与所述传感器和所述处理器连接，用于控制所述传感器采集所述目标物体的图像，以及用于根据所述处理器输出的位姿信息控制一运动机构抓取所述目标物体。
所述处理器包括模板建立模块、识别与定位模块；所述模板建立模块用于根据所述目标物体对应的三维模型的模型信息建立三维模型数据库；所述识别与定位模块和所述模板建立模块连接，用于利用所述三维模型数据库以及所述目标物体的三维的图形信息对所述目标物体进行三维的位姿估计，得到所述目标物体的位姿信息；所述控制器包括优化模块，所述优化模块用于根据所述目标物体的位姿信息规划所述运动机构的运动路线和抓取位置；所述控制模块用于控制所述运动机构按照规划的运动路线和抓取位置对所述目标物体进行抓取，且控制所述传感器采集所述目标物体的图像。
根据第三方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述第一方面中所述的实时位姿估计方法。
本申请的有益效果是：
依据上述实施例的一种三维目标物体的实时位姿估计方法及定位抓取系统，该实时位姿估计方法包括：获取目标物体的三维的图形信息；根据图形信息计算得到目标物体的局部特征描述子；利用预先建立的三维模型数据库，通过局部特征描述子对目标物体进行三维的位姿估计，得到目标物体的位姿信息，该三维模型数据库包括目标物体的全局特征描述子；输出得到的位姿信息。第一方面，根据图形信息计算得到目标物体的局部特征描述子时，采用体素栅格和特征阈值的降采样处理方式对目标物体的图形信息进行了处理，不但实现了点云预处理功能，还能够快速地根据得到的第二点云数据形成目标物体的局部特征描述子，从而实现对当前场景下各个场景特征点的描述；第二方面，根据目标物体的模型信息建立三维模型数据库时，采用体素栅格和特征阈值的降采样处理方式对目标物体的模型信息进行了处理，由此可以利用该点云预处理功能方便地根据得到的第一点云数据形成目标物体的全局特征描述子，从而实现对模型模板下各个模板特征点的描述；第三方面，由于利用点云预处理功能对图形信息或者模型信息进行预先处理，降低了数据点的数目也剔除了异常的数据点，使得后续的信息处理速度得以加快，利于提高实时位姿估计的算法效率；第四方面，由于在建立三维模型数据库时，将全局特征描述子中各个特征描述子对应的第一点对按照相同或相似特征值划分入不同的哈希表中，且为每一个哈希表设置键值，如此可以有效地对数据进行分类管理且提高对哈希表的查询效率；第五方面，在通过局部特征描述子对目标物体进行三维的位姿估计时，由于通过多次的迭代算法不断地计算第二点对对应的评估匹配质量和旋转平移关系，且利用评估匹配质量来判断位姿估计的准确性，由此可以实现初始化的位姿匹配，便捷地获得目标物体的位姿信息；第六方面，本申请在实时位姿估计方法中还利用位姿聚类或ICP配准对位姿信息进行修正与优化处理，这种采用初始位姿和位姿优化的策略能够进一步地提高位姿信息的准确性和可信性，为获取目标物体的精准位姿提供帮助；第七方面，本申请将请求保护的实时位姿估计方法应用于三维目标物体的定位抓取系统之中，能够使得控制器根据处理器输出的位姿信息控制运动机构准确地抓取目标物体，在保证抓取效率的同时还能有效地提高抓取准确度，增强定位抓取系统在应用过程中的实用性能。
附图说明
图1为本申请中三维目标物体的实时位姿估计方法的流程图；
图2为形成目标物体的局部特征描述子的流程图；
图3为本申请中建立三维模型数据库的流程图；
图4为利用三维模型数据库且通过三维的位姿估计来得到目标物体的位姿信息的流程图；
图5为一个具体实施例中通过迭代计算确定目标物体的位姿的流程图；
图6为体素栅格降采样处理的原理示意图；
图7为利用两个特征点计算特征描述子的原理示意图；
图8为基准坐标变换的原理示意图；
图9为另一个实施例中三维目标物体的实时位姿估计方法的流程图；
图10为本申请中三维目标物体的实时位姿估计方法的原理示意图；
图11为本申请中三维目标物体的定位抓取系统的结构示意图；
图12为处理器和控制器的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
当前，解决三维物体检测与位姿估计问题的算法主要分为：基于图像局部特征描述子、基于模板匹配。
其中，基于图像局部特征描述子的方法一般从图像中提取稳健的关键点，并利用局部邻域点的颜色、梯度等特征来构成关键点的描述符，由于这类描述符具有一定程度的光照不变性、旋转不变性和尺度不变性，所以处于不同图像之间的相同特征点可以通过描述符的匹配被关联起来。在应用过程中，基于图像局部特征描述子的算法还存在一些问题，如无法从纹理信息缺失的物体中提取稳定、区分度高的特征点，而工业生产和日常生活中存在大量无纹理信息的物体，其另外一个缺点则是特征点数量过多导致匹配过于耗时。
基于模板匹配的方法是一种经典的用于物体检测与位姿计算的算法，这类算法一般需在训练阶段采集三维物体各个视角下的模板图像，而在检测阶段，一般通过滑动窗口的方式，将模板图像与场景图像进行相似度计算，当模板图像被匹配上，则认为物体被检测出来。通常最常用的特征为图像边缘，以边缘的法向方向作为度量标准，包含投票-验证两个阶段的模板匹配算法；在投票阶段，以距离和边缘方向为特征，通过使用索引表来进行特征匹配，统计模板被匹配的次数作为票数；在验证阶段，以基于边缘方向作为度量标准对通过投票阶段的模板进行验证。在应用过程中，基于模板匹配的方法存在一些问题，由于模板的特征是从物体在彩色图像的外轮廓和深度图像中提取的，基于模板匹配的算法的缺点包括无法处理遮挡情况、需要多视角下的大量模板、扩展到多种类物体时难以达到实时检测等。
本申请技术方案整合了上述的部分方法，从而实现对三维目标物体进行实时位姿估计的功能。为了区分一些概念，这里给出物体检测和位姿估计在本申请所研究范围内的定义。物体检测，是指在已知物体的类型及其三维模型的前提下，在图片中定位出物体所在的位置，通常以包围盒标示出来；另外，本文所提到的物体检测和物体识别均属同一概念。位姿估计，是指得到物体坐标系相对于相机坐标系的位置和姿态，也可以被理解为相机坐标系到物体坐标系的刚体转换，包括了三自由度的平移和三自由度的旋转。
本申请技术方案的发明构思在于：将模板匹配的投票方法与基于图形全局特征描述子的方法相结合，给出一种具有稳定和实时性的物体检测方式。在本申请中，利用特征分别在物体模型点云和场景点云中构建任意两个点的特征向量，该方法基于类似于霍夫变换的投票原理，通过统计模型点的匹配次数(票数)以及匹配点对的位置和法向量来计算物体的位姿。本申请技术方案主要包括在线和离线两个执行部分，运行离线执行部分时，主要完成模板的全局特征的计算和存储，为方便查找，将特征按照哈希表(Hash Table)进行存储。针对目标模型，在两两点之间构造点对特征Fi，如果有N个点，那么就有N×N个特征，N×N个特征形成特征集{Fi}。在线执行部分时，在场景中任意取1个定点Pconst，再任意取1个动点Pcur构造特征，并从特征集{Fi}中寻找对应的特征点，那么理想情况下如果找到了完全匹配的特征，则可获得点云匹配的结果。在线执行期间，在输入场景上执行上面类似的操作，除了本次执行对哈希表的相似性查找而不是插入，此查找还允许我们计算场景对的位姿变换；在此之后，计算姿势的旋转分量减少到差值的计算，该组件带有关于对象位姿的提示；在局部模型坐标向量和角度上执行类似霍夫变换的投票方案，为每个场景点实现的最高投票位姿让我们恢复对象位姿；此方法是一种投票算法，每次匹配都能得到一个旋转角度，如果最高的m个Pcur都投票给了某一旋转角度则可认为匹配成功。
下面将结合实施例对本申请技术方案进行具体说明。
实施例一、
请参考图1，本申请公开一种三维目标物体的实时位姿估计方法，包括步骤S100-S400，下面分别说明。
步骤S100，获取目标物体的三维的图形信息。
需要说明的是，这里的目标物体可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等，不做具体限定。那么，可以通过诸如摄像设备、激光扫描设备等视觉传感仪器来获取该些目标物体的三维的图形信息，该图形信息可能是目标物体表面的一部分外观形状数据。
步骤S200，根据图形信息计算得到目标物体的局部特征描述子。在一个具体实施例中，见图2，步骤S200可以包括步骤S210-S230，分别说明如下。
步骤S210，采用体素栅格对图形信息进行降采样处理，以降低图形信息中数据点的数目。
体素栅格的降采样处理是点云滤波中的常用方法，往往作为点云预处理中的一个重要措施。由于生成点云数据(如图形信息所包含的数据)时，得到了大量的数据点，包括离散点和稠密稀疏点，为了缩短计算时间，故采用体素栅格降采样处理减少点云中点的数量。见图6，体素栅格降采样处理生成一个单位尺寸的3D体素栅格(可把体素栅格想象为微小的空间三维立方体的集合)，将对应的点云对应储存到每个体素(即三维立方体)中，然后在每个体素内，用体素中所有点的重心来近似显示体素中其他点，这样该体素就内所有点就用一个重心点最终表示，从而原始点云被这些点云中的中心点所替换。原始点云被体素栅格降采样处理之后，虽然点的数量大规模减少，但点云形状却没有发生改变，从而保证在位姿估计时丝毫不降低位姿估计的精度。
步骤S220，采用特征阈值对降采样处理后图形信息中的各个数据点进行筛选，以剔除异常的数据点，得到第二点云数据。这里的第二点云数据包括目标物体在当前场景下各个场景特征点的坐标以及对应的法向量。例如，对于图形信息中的任一个数据点，如果该数据点的值超过设置的特征阈值，则对该数据点进行保留，反之剔除该数据点。
需要说明的是，第二点云数据实际上就是目标物体当前所在场景下各个场景特征点的坐标以及对应法向量的集合。对于3D场景的位姿定位情形，可以定义第二点云数据为S，假设每个坐标点的单位法向量位于单位球上，则
Figure BDA0002194331620000103
即S为匹配的各个场景所构成的集合。另一个方面，可以认为S由一系列的K构成，(表示一系列3D坐标点及其法向量)，则S又可表示为
Figure BDA0002194331620000102
步骤S230，根据第二点云数据形成目标物体的局部特征描述子，该局部特征描述子中的每个特征描述子与每两个场景特征点相对应。
本领域的技术人员可以理解，对于第二点云数据S，例如得知了其中两个特征点p′1、p′2及分别对应的法向量n′1、n′2，那么可以定义这两点的特征描述子为
F′(p′1,p′2)＝(||d′||,∠(n′1,d′),∠(n′2,d′),det(n′1,n′2,d′)/||d′||)
其中，d′表示p′1到p′2的向量，||d′||表示两点p′1和p′2之间的距离，∠(a,b)∈[0,π]表示两个向量之间的夹角(其中a、b表示计算过程的参数)，即∠(n′1,d′)∈[0,π]表示n′1和d′之间的夹角，∠(n′2,d′)∈[0,π]表示n′2和d′之间的夹角；det(n′1,n′2,d′)表示向量的行列式的值，相当于表征三个向量形成的六面体的体积。
本实施例中为了便于说明，将根据第二点云数据得到的所有特征描述子的集合称之为局部特征描述子，因为这些所有的特征描述子可能仅代表了目标物体表面的一部分外观形状的特征。
步骤S300，利用预先建立的三维模型数据库，通过局部特征描述子对目标物体进行三维的位姿估计，得到目标物体的位姿信息。这里的三维模型数据库包括目标物体的全局特征描述子。
关于三维模型数据库的建立过程可以参考下文的步骤S510-S560，关于三维的位姿估计的过程可以参考下文的步骤S310-S350。
步骤S400，输出位姿信息。例如，将目标物体的位姿信息输出至某一个自动操作设备，使得该自动操作设备能够根据位姿信息对目标物体进行抓取、移动、固定等操作。
在本实施例中，见图3，建立三维模型数据库的过程可以参考步骤510-S570，分别说明如下。
步骤S510，获取目标物体对应的三维模型的模型信息。
需要说明的是，对于目标物体的三维模型，可以通过多种方式来获取该三维模型的模型信息，例如直接导入目标物体的建模模型(如CAD模型、ProE模型)，从而得到三维模型的模型信息；也可以通过3D扫描仪来扫描得到三维模型的模型信息。由于三维模型往往是整体结构的数字形式表示，所以这里的三维模型的模型信息是目标物体表面的全部外观形状数据。
步骤S520，采用体素栅格对模型信息进行降采样处理，以降低模型信息中数据点的数目。
关于体素栅格降采样处理的原理和过程可以参考步骤S210中的相关说明，这里将通过数学运算进行详细说明。
假设输入的模型信息所包含的数据为(xi,yi,zi,ui,vi,wi)(i＝1,2,…,n)，其中(xi,yi,zi)为坐标点，(ui,vi,wi)为该点对应的法向量，该处的n为模板中点的数量。则需要计算坐标x、y、z坐标分量的最大值和最小值，即需要分别计算xmin、xmax，ymin、ymax，zmin、zmax。根据公式
dx＝xmax-xmin,dy＝ymax-ymin,dz＝zmax-zmin
可以计算出所有点云的外包球半径为
Figure BDA0002194331620000111
设置x、y、z的采样步长为δx、δy和δz，从而实现对输入点云数据(即模型信息所包含的数据)进行体素网格离散化。
由于坐标(xi,yi,zi)为单位向量，因此离散化后x、y、z最大可能的数量分别为
Figure BDA0002194331620000112
因此将输入坐标点(xi,yi,zi)量化后索引值相同的存储到一个数组之中，索引值的映射关系按照下式进行：
Figure BDA0002194331620000113
其中，索引值表示为index＝xcellnynz+ycellnz+zcell，符号
Figure BDA0002194331620000114
表示向下取整运算。
这里对相同索引值的坐标点完成聚类计算，具体可以采用均值聚类或者高斯聚类。
第一方面，当采用均值聚类时，假设相同索引值的坐标点数量为ci，聚类后的输出为不同index的总数量个坐标点和法向量对，那么则有
Figure BDA0002194331620000115
Figure BDA0002194331620000116
第二方面，当采用高斯聚类时，假设获取x、y、z的重心分别表示为xc、yc、zc，计算点到重心的距离，根据距离进行权重计算，然后计算加权求和，因此可得
Δx＝xi-xc,Δy＝yi-yc,Δz＝zi-zc
从而获得距离
Figure BDA0002194331620000117
权重
Figure BDA0002194331620000118
或者αi＝1/di，所有权重和为
Figure BDA0002194331620000121
坐标输出为
Figure BDA0002194331620000122
Figure BDA0002194331620000123
步骤S530，采用特征阈值对降采样处理后的模型信息中的各个数据点进行筛选，以剔除异常的数据点，得到第一点云数据。这里的第一点云数据包括目标物体在模型模板下各个模板特征点的坐标以及对应的法向量。
关于特征阈值筛选处理的过程可以参考步骤S220中的相关内容，这里不再进行赘述。
需要说明的是，第一点云数据实际上就是目标物体在模型模板(即三维模型)下各个模板特征点的坐标以及对应法向量的集合。对于3D场景的位姿定位情形，可以定义第一点云数据为M，假设每个坐标点的单位法向量位于单位球上，则
Figure BDA0002194331620000126
即M为匹配的各个模板特征点所构成的集合。另一个方面，可以认为M由一系列的K构成，
Figure BDA0002194331620000124
(表示一系列3D坐标点及其法向量)，则M又可表示为
Figure BDA0002194331620000125
步骤S540，根据第一点云数据形成目标物体的全局特征描述子，该全局特征描述子中的每个特征描述子与每两个模板特征点相对应。
本领域的技术人员可以理解，对于第一点云数据M，例如得知其中两点p1、p2及分别对应的法向量n1、n2，那么可以定义这两点的特征描述子为
F(p1,p2)＝(||d||,∠(n1,d),∠(n2,d),det(n1,n2,d)/||d||)
其中，d表示p1到p2的向量，||d||表示两点p1和p2之间的距离向量；∠(a,b)∈[0,π]表示两个向量之间的夹角(其中a、b表示计算过程的参数)，例如∠(n1,d)∈[0,π]表示n1和d之间的夹角，∠(n2,d)∈[0,π]表示n2和d之间的夹角；det(n1,n2,d)表示向量的行列式的值，相当于表征三个向量形成的六面体的体积。这里的p1、p2均为模板坐标系中的模板特征点。
在本实施例中，由模板特征点或场景特征点所形成的特征描述子在公式构造上是一样的，为了以示区分且便于说明，为场景特征点加注了上标“′”。
本实施例中为了便于说明，将根据第一点云数据M得到的所有特征描述子的集合称之为全局特征描述子，因为这些所有的特征描述子代表了目标物体表面的全部外观形状的特征。
需要说明的是，在得到目标物体的全局特征描述子之后，可以通过下面的步骤S550-S570来利用全局特征描述子建立三维模型数据库。
步骤S550，根据全局特征描述子中的各个特征描述子分别形成对应的第一点对，得到第一特征集Pm，该全局特征描述子中的每个特征描述子为四维的特征向量。
对于第一点云数据M形成的全局特征描述子，根据其中的一个特征描述子F(p1,p2)形成对应的第一点对((p1,n1),(p2,n2))，形成的特征描述子以及对应的第一点对可以参考图7。那么，可以将类似形成的所有第一点对进行集合，得到第一特征集Pm，用公式表示为
Pm＝{((p1,n1),(p2,n2)),(p1,n1)∈M,(p2,n2)∈M}＝M2
步骤S560，建立一基准坐标系，以第一特征集Pm中任意第一点对内首个的特征点作为该基准坐标系的基准点，计算该特征点在基准坐标系中的平移向量T和旋转矩阵R。
在本实施例中，为通过匹配，需要建立位姿关系，即建立基准坐标系。设两个正交坐标系分别为(O,X,Y,Z)和(O′,X′,Y′,Z′)，对于任意组对应点p和p′，两个坐标系之间的刚体变换可以表示为d(x)＝Rx+M，其中R＝[X′,Y′,Z′]T[X,Y,Z]，平移矩阵M＝O′-RO。对于点对((p1,n1),(p2,n2))给定的坐标系(O,U,V,W)，U＝n1，V为p2-p1在垂直于U的平面上的投影，V＝(I-UUT)(p2-p1)，其中I为单位矩阵，W＝U×V。
在一个具体实施例中，对于第一特征集Pm中的第一点对((p1,n1),(p2,n2))，将首个的特征点p1转换至该基准坐标系的原点，将对应的法向量n1＝(nx,ny,nz)的方向转换至与该基准坐标系的X轴方向一致，计算X轴方向夹角θ＝arccos(nx)和等效轴角单位方向向量
Figure BDA0002194331620000131
由此计算得到特征点p1在该基准坐标系中的平移向量T和旋转矩阵R，分别表示为
Figure BDA0002194331620000132
T＝-Rp1＝-R(px,py,pz)T
其中，cθ表示cosθ，sθ表示sinθ，(px,py,pz)T表示特征点p1的转置运算。
然后，根据平移向量T和旋转矩阵R对第一点对((p1,n1),(p2,n2))内的另一个特征点p2进行基准坐标变换，得到变换后的坐标pt＝(pxt,pyt,pzt)以及对应的旋转角度ψm＝-arctan(pzt/pyt)。
在另一个具体实施例中，可以通过另一个方法建立基准坐标系。假设采样点p1、p2分别对应的法向量为n1、n2。将连线的中点Oc作为基准坐标系的原点，ic、jc、kc为基准坐标系的三个轴向单位向量，且满足
其中，n12＝n1+n2，d＝p1-p2。
步骤S570，将第一特征集中的各个第一点对和各个第一点对分别对应的旋转角度ψm存入多个哈希表内，利用多个哈希表组建三维模型数据库。具体地包括：(1)将第一特征集中具有相同或相似特征值的第一点对划分为一组且存入同一个哈希表内；(2)为每一个哈希表设置一个键值，建立该键值和该哈希表内所存储的第一点对之间的映射关系；(3)利用所有的哈希表组建三维模型数据库，用于通过各个哈希表内存储的第一点对替代全局特征描述子来对目标物体进行描述。
在本实施例中，哈希表主要由两部分构成(key,data)，其中key为键值，data为数据，也就是把相似的数据设置为相同的键值。可以采用MurHash函数来建立特征描述子F到键值的映射关系，这里不再进行详细说明。
本领域的技术人员可以理解，在通过步骤S510-S570建立完成三维模型数据库之后，就可以利用该三维模型数据库，且通过局部特征描述子对目标物体进行三维的位姿估计，从而得到目标物体的位姿信息。那么，在一具体实施例中，见图4，上面的步骤S300可以包括步骤S310-S350，分别说明如下。
步骤S310，根据局部特征描述子中的各个特征描述子分别形成对应的第二点对，得到第二特征集Ps。
对于第二点云数据S形成的局部特征描述子，根据其中的一个特征描述子F′(p′1,p′2)形成对应的第二点对((p′1,n′1),(p′2,n′2))，形成的点对同样可以参考图7。那么，可以将类似形成的所有第二点对进行集合，得到第一特征集Ps，用公式表示为
Ps＝{((p′1,n′1),(p′2,n′2)),(p′1,n′1)∈S,(p′2,n′2)∈S}＝S2
在本实施例中，在得到第一特征集Ps和第二特征集Pm之后，为加快处理速度，需要对Pm和Ps进行预处理。这里以特征点p1、p2为例进行说明，令参数
w＝max{||p2-p1||,{(p1,n1),(p2,n2)}∈Pm}，r1 min＝kminw，r1 max＝kmaxw；
仅仅在{(p1,n1),(p2,n2)}∈Pm∪Ps并且满足r1 min≤||p2-p1||≤r1 max时进行后续处理。此外，在{(p1,n1),(p2,n2)}∈Pm∪Ps成立的情况下，还同时需要满足
在本实施例中，为建立目标的特征描述子F′(p′1,p′2)，还需要将第二点对((p′1,n′1),(p′2,n′2))根据距离和角度进行离散化，可根据下列规则选择离散化步长：设定参数H＝F(Pm∪Ps)为一系列点对的四元数，其中F′(p′1,n′1,p′2,n′2)在满足条件{(p′1,n′1),(p′2,n′2)}∈Pm∪Ps时，可知
Figure BDA0002194331620000155
将H中每一维变量转换为整数，可以建立量化映射关系Q:H→N，对于任意一维(r1,r2,r3,r4)∈H存在一个最大值和最小值，满足ri min≤ri≤ri max(i＝1,…,4)。那么，对于-1≤ri≤1(i＝2,3,4)，能够容易得到ri min＝-1,ri max＝1(i＝2,3,4)，其中的r1 min,r1 max可以采用点云预处理中相同的定义。可以分别定义离散化步长为(ε1,ε2,ε3,ε4)，将其映射为整数且表示为
Figure BDA0002194331620000152
然后，建立映射为Q(r1,r2,r3,r4)＝q1δ2δ3δ4+q2δ3δ4+q3δ4+q4。
步骤S320，从第二特征集Ps中选取任意一个第二点对((p′1,n′1),(p′2,n′2))以进行迭代计算。
在一个具体实施例中，该迭代计算的过程包括：
(1)利用步骤S560中建立的基准坐标系，以选取的第二点对((p′1,n′1),(p′2,n′2))内首个的特征点p′1作为该基准坐标系的基准点，计算该特征点p′1在该基准坐标系中的平移向量T′和旋转矩阵R′。
具体过程包括：对于第一特征集Ps中的第二点对((p′1,n′1),(p′2,n′2))，将首个的特征点p′1转换至该基准坐标系的原点，将对应的法向量n1′＝(n′x,n′y,n′z)的方向转换至与该基准坐标系的X轴方向一致，计算X轴方向夹角θ＝arccos(n′x)和等效轴角单位方向向量
Figure BDA0002194331620000153
由此计算得到特征点p′1在该基准坐标系中的平移向量T′和旋转矩阵R′，分别表示为
Figure BDA0002194331620000154
T′＝-R′p′1＝-R′(p′x,p′y,p′z)T
其中，cθ表示cosθ，sθ表示sinθ，(p′x,p′y,p′z)T表示特征点p′1的转置运算。
需要说明的是，该步骤S320中所使用的基准坐标系与步骤S560中建立的基准坐标系实质上是同一坐标系，该基准坐标系的原点为(0,0),X轴为(1,0,0)。针对第一点对中的特征点进行基准坐标变换时，所采用的参考点是p1以及对应的法向量n1；而针对第二点对中的特征点进行基准坐标变换时，所采用的参考点是p′1以及对应的法向量n′1，所以基准坐标变换的结果是不一样的，相当于采用了不同的变换关系。
(2)根据平移向量T′和旋转矩阵R′对构成该第二点对的另一个特征点p′2进行基准坐标变换，得到变换后的坐标p′t＝(p′x,p′y,p′z)以及对应的旋转角度ψs＝-arctan(p′z/p′y)。
(3)根据该第二点对内两个特征点在场景坐标系的坐标得到这两个特征点对应的特征描述子(即根据局部特征描述子形成该第二点对时所对应的特征描述子)，获取三维模型数据库中相应的哈希表的首地址指针，历遍相同键值对应的所有第一点对，从而根据该特征描述子对三维模型数据库中的各个哈希表进行特征匹配以获取所有相匹配的第一点对，计算每个相匹配的第一点对对应的旋转角度ψm与该第二点对对应的旋转角度ψs之间的差值Δψ＝ψm-ψs，且映射为索引坐标ψindex。由于Δψ∈[-2π,2π]，所以索引坐标ψindex可以表示为
Figure BDA0002194331620000161
其中，符号表示向上取整运算，nangle表示预设的离散化角度数量。
(4)根据索引坐标ψindex的索引值对该第二点对进行投票计数，通过投票计数结果获得该第二点对所对应的评估匹配质量，以及保存取得最大的评估匹配质量时所对应的第一点对和第二点对。这里的投票计数可以简单表述为：若一个索引坐标的索引值与其它的相同则对该索引值的索引计数+1，若不相同则对新的索引值的索引计数+1。
(5)在模板坐标系中获取该第二点对的位姿变换矩阵，表示为
Figure BDA0002194331620000163
根据该位姿变换矩阵获得该第二点对的旋转平移关系，且将位姿变换矩阵加入预设的队列poseList中。其中Tm→g＝[Rmax Tmax]，R(Δψ)＝[R(Δψ) T(Δψ)]；
Figure BDA0002194331620000165
表示将场景特征点变换为基准坐标系的逆变换，Tm→g为将模板特征点变换为该基准坐标系中投票最多特征的变换，Rmax、Tmax分别表示对应的最大的投票的索引所对应的的旋转矩阵和平移向量，并且
Figure BDA0002194331620000166
T(Δψ)＝(0,0,0)T。
需要说明的是，这里的场景坐标系为描述场景坐标点时所使用的坐标系，模板坐标系为描述模板特征点时所使用的坐标系。
在一个具体实施例中，见图5，迭代计算的过程可具体描述如下：迭代计算可以认为是位姿匹配和投票计算的过程，那么在匹配开始之后，从第二特征集Ps中选取一个第二点对，以该第二点对作为参考数据，计算第二点对内首个特征点在基准坐标系中的平移向量和旋转矩阵，以及通过基准坐标变换计算该第二点对的另一个特征点在基准坐标系内的坐标和对应的旋转角度，从而根据该第二点对内两个特征点在场景坐标系中的坐标(以及分别对应的法向量)得到这两个特征点对应的特征描述子，进而与已经建立的三维模型数据库中各个哈希表中的所有第一点对进行特征匹配，得到哈希表中具有相同键值或相近键值的第一点对1、第一点对2、第一点对3等数据；通过特征匹配的第一点对和该第二点对对应的旋转角度之间的差值映射得到对应的索引坐标1、索引坐标2、索引坐标3、…；其中，若一个索引坐标的索引值与其它的相同则对该索引值的索引计数+1，若不相同则对新的索引值的索引计数+1，从而通过投票计数得到该第二点对对应的评估匹配质量，以及在基准坐标系中获取该第二点对对应的位姿变换矩阵，从而能够根据位姿变换矩阵获得第二点对所对应的旋转平移关系，若不相同则从第二特征集Ps中选取另一个第二点对作为参考数据，继续进行下一次的特征值匹配基准坐标系。在得到评估匹配质量之后，如果该评估匹配质量超过了预设的阈值，则确定目标物体的位姿，得到目标物体的位姿信息(即实现步骤S340)；如果该评估匹配质量未超过预设的阈值，则从第二特征集Ps中选取另一个第二点对以再次进行迭代计算，重新计算得到新的旋转平移关系和新的评估匹配质量(即实现步骤S350)。
在本实施例中，根据平移向量T′和旋转矩阵R′对第二点对内首个的特征点进行基准坐标变换的过程可以用图8进行表示，利用第二特征集Ps中的第二点对与第一特征集Pm中的第一点对在匹配过程中的坐标转换来表示它们之间的变换关系，使得相同特征在同一坐标系中的位姿通过旋转和平移变换可以重合。其中，Ts→gp′1＝R(ψ)Tm→gp1，Tm→gn′1＝R(ψ)Tm→ gn1，旋转角度ψ代表三个坐标轴方向的等价旋转角度，则目标点云(即第二特征集Ps)和模型点云(即第一特征集Pm)的旋转平移关系可表示为：
Figure BDA0002194331620000171
根据图8所示的坐标变换关系，对于一个参考的特征点(p1,n1)，将点p1转换到坐标原点，n1方向与X轴方向重合，计算该特征点在基准坐标系中的平移向量T′和旋转矩阵R′。将点p2按照相同的平移向量T′和旋转矩阵R′变换后的坐标为p′＝(p′x,p′y,p′z)，此时可以得到旋转角度ψs＝-arctan(p′z/p′y)。
步骤S330，判断评估匹配质量是否达到预设的阈值，若是则进入步骤S340，反之进入步骤S350。
步骤S340，在评估匹配质量达到预设的阈值时，确定目标物体的位姿，得到目标物体的位姿信息。
在一具体实施例中，在评估匹配质量超过预设的阈值时，根据取得最大的评估匹配质量时所对应的第一点对和第二点对，以及对应的旋转平移关系，计算局部特征描述子表示的局部特征在全局特征描述子表示的全局特征中的位置，以确定目标物体在基准坐标系位姿；根据目标物体基准坐标系的位姿，得到目标物体在模板坐标系中的位姿信息，这里的模板坐标系为描述模板特征点时所使用的坐标系。
步骤S350，从第二特征集Ps中选取另一个第二点对以再次进行一次迭代计算，重新计算得到新的旋转平移关系和新的评估匹配质量，然后根据图5再次对评估匹配质量进行判断，如此形成迭代计算的循环过程。
在另一个实施例中，见图9，在得到目标物体的位姿信息之后，且在输出位姿信息之前，即在步骤S300之后且步骤S400之前，还包括对位姿信息进行修正与优化处理的步骤，可以概括为步骤S410-S420。
步骤S410，通过位姿聚类或ICP配准对位姿信息进行处理，以修正与优化位姿信息。
其中，通过位姿聚类对位姿信息进行处理可以描述为：(1)根据上文提及的队列poseList形成位姿数据列表，如将队列poseList中的各个位姿变换矩阵
Figure BDA0002194331620000181
视为位姿数据；(2)对于位姿数据列表中的任意一个位姿数据，将该位姿数据作为种子点并与其它的位姿数据分别进行比较，若位姿数据之间的平移距离小于预设的第一值且平移角度小于预设的第二值，则将满足条件的其它的位姿数据加入该位姿数据对应的聚类；(3)对每一个位姿数据对应的聚类进行加权平均计算或平均值计算，得到对应的均值，将均值作为修正与优化后的位姿信息。需要说明的是，投票匹配策略的结果是一系列3D位姿，同时包含关联着投票数的目标类型，为了提高位姿估计结果的精度，所有的3D位姿都聚合在一起以便在一个聚类中的所有位姿都彼此相似。那么，一个位姿聚类的分数是在一个聚类中所有位姿投票数的总和，当投票策略匹配上该位姿聚类时，这些投票数则会增加，最后辨识出具有最大投票数的位姿聚类，对聚类中的位姿求平均值，从而得到最终位姿结果。位姿聚类的方法提高了采用基于投票匹配策略得到的3D位姿估计的精度，对于聚类后结果也可以采用求加权平均的方法，权重可以采用相似度作为度量。
在一个具体实施例中，可以直接根据预设队列poseList进行位姿聚类的处理，从队列poseList中选择任意一个位姿变换矩阵，与队列中的其它位姿变换矩阵进行比较，若它们之间的平移距离小于预设的第一值且平移角度小于预设的第二值，则将满足该条件的其它的位姿变换矩阵加入该位姿变换矩阵对应聚类，从而对同一个聚类进行加权平均或求平均，进而作为修正与优化后的位姿变换矩阵，即形成修正与优化后的位姿信息。
其中，通过ICP配准对位姿信息进行处理可以描述为：点云配准是指将两个不同视点的点群三维数据整合到一个统一的坐标系的过程，迭代最近点法(iterative closestpoints，ICP)是一种点集对的配准方法，其理论依据是根据某种几何特性对数据进行匹配，并设这些匹配点为假想的对应点，然后根据这种对应关系求解运动参数，再利用这些运动参数对数据进行变换，并利用同一几何特征确定新的对应关系，重复上述过程进行迭代，使得数据中的重叠部分充分吻合。需要说明的是，采用位姿聚类获得一系列粗略的3D位姿，利用ICP配准算法来修正这些位姿，ICP算法可以最小化两个点云之间的距离。识别出的三维模型的位姿给出了当前粗略的位姿，然后采用ICP算法将识别出的模型点云和场景点云进行配准。在ICP位姿修正后，通过计算识别到的模型点云和场景点云之间的平均距离，从而求得配准误差。如果该配准误差很小，则接受修正后的3D位姿。
步骤S420，输入修正与优化后的位姿信息。例如，将目标物体的修正与优化后的位姿信息输出至某一个自动操作设备，使得该自动操作设备能够根据位姿信息对目标物体进行抓取、移动、固定等操作。
本领域的技术人员可以理解，见图10，本实施例中公开的一种三维目标物体的实时位姿估计方法主要包括两个实施部分，一部分是建立三维模型数据库所代表的离线阶段，另一部分是对目标物体进行实时位姿估计所代表的在线阶段。
离线阶段的过程可以描述为：获取目标物体对应的三维模型的模型信息，对模型信息进行点云预处理(包括体素栅格降采样处理和特征阈值筛选处理)，得到第一点云数据；根据第一点云数据形成目标物体的全局特征描述子，根据全局特征描述子中的各个特征描述子分别形成对应的第一点对，得到第一特征集Pm；从而将第一特征集中的各个第一点对和对应的旋转角度存入多个哈希表内，利用多个哈希表组建三维模型数据库。关于离线阶段的具体描述可以参考步骤S510-S570，这里不再进行赘述。
在线阶段的过程可以描述为：获取目标物体的三维的图形信息，对图形信息进行点云预处理(包括体素栅格降采样处理和特征阈值筛选处理)，得到第二点云数据；根据第二点云数据形成目标物体的局部特征描述子，利用预先建立的三维模型数据库，且通过局部特征描述子对目标物体进行三维的位姿估计，得到目标物体的位姿信息；对位姿信息进行修正与优化处理(包括位姿聚类、ICP配准)，得到修正与优化后的位姿信息，从而对位姿信息进行输出。关于在线阶段的具体描述可以参考步骤S100-S400，这里不再进行赘述。
本领域的技术人员可以理解，通过上面的一系列步骤不仅可以建立针对三维目标物体的三维模型数据库，还能够利用该三维模型数据库对目标物体进行实时地位姿估计，从而输出准确度高的位姿信息。总体来说，该请求保护的实时位姿估计方法具有一些优势：(1)根据图形信息计算得到目标物体的局部特征描述子时，采用体素栅格和特征阈值的降采样处理方式对目标物体的图形信息进行了处理，不但实现了点云预处理功能，还能够快速地根据得到的第二点云数据形成目标物体的局部特征描述子，从而实现对当前场景下各个场景特征点的描述；(2)第二方面，根据目标物体的模型信息建立三维模型数据库时，采用体素栅格和特征阈值的降采样处理方式对目标物体的模型信息进行了处理，由此可以利用该点云预处理功能方便地根据得到的第一点云数据形成目标物体的全局特征描述子，从而实现对模型模板下各个模板特征点的描述；(3)由于利用点云预处理功能对图形信息或者模型信息进行预先处理，降低了数据点的数目也剔除了异常的数据点，使得后续的信息处理速度得以加快，利于提高实时位姿估计的算法效率；(4)由于在建立三维模型数据库时，将全局特征描述子中各个特征描述子对应的第一点对按照相同或相似特征值划分入不同的哈希表中，且为每一个哈希表设置键值，如此可以有效地对数据进行分类管理且提高对哈希表的查询效率；(5)在通过局部特征描述子对目标物体进行三维的位姿估计时，由于通过多次的迭代算法不断地计算第二点对所对应的评估匹配质量和旋转平移关系，且利用评估匹配质量来判断位姿估计的准确性，由此可以实现初始化的位姿匹配，便捷地获得目标物体的位姿信息；(6)本申请在实时位姿估计方法中还利用位姿聚类或ICP配准对位姿信息进行修正与优化处理，这种采用初始位姿和位姿优化的策略能够进一步地提高位姿信息的准确性和可信性，为获取目标物体的精准位姿提供帮助。
实施例二、
请参考图11，本申请公开一种目标物体的定位抓取系统，该定位抓取系统主要包括传感器11、处理器12、控制器13，下面分别说明。
传感器11用于采集目标物体的图像，以形成目标物体的三维的图形信息。这里的传感器11可以是一些具有图形采集功能的视觉传感器，如摄像设备、激光扫描设备。这里的目标物体可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等，不做具体限定。
处理器12与传感器11连接，用于通过实施例一中公开的实时位姿估计方法得到目标物体相对于传感器11的位姿信息。
控制器13与传感器11和处理器1连接，控制器13用于控制传感器13采集目标物体的图像，比如设置传感器的图像采集时间、采集间隔、采集位置等参数。此外，控制器13还用于根据处理器12输出的位姿信息控制一运动机构14抓取目标物体。
在一具体实施例中，见图12，处理器12包括模板建立模块121、识别与定位模块122。
其中，模板建立模块121用于根据目标物体对应的三维模型的模型信息建立三维模型数据库。具体地，模板建立模块121获取目标物体对应的三维模型的模型信息，对模型信息进行点云预处理(包括体素栅格降采样处理和特征阈值筛选处理)，得到第一点云数据；根据第一点云数据形成目标物体的全局特征描述子，根据全局特征描述子中的各个特征描述子分别形成对应的第一点对，得到第一特征集Pm；从而将第一特征集中的各个第一点对和对应的旋转角度存入多个哈希表内，利用多个哈希表组建三维模型数据库。关于模板建立模块121的功能可以可以参考实施例一中的步骤S510-S570，这里不再进行赘述。
其中，识别与定位模块122与模板建立模块121连接，用于利用三维模型数据库以及目标物体的三维的图形信息对目标物体进行三维的位姿估计，得到目标物体相对于传感器的位姿信息，以确定目标物体的相对位置。具体地，识别与定位模块122获取目标物体的三维的图形信息，对图形信息进行点云预处理(包括体素栅格降采样处理和特征阈值筛选处理)，得到第二点云数据；根据第二点云数据形成目标物体的局部特征描述子，利用预先建立的三维模型数据库，且通过局部特征描述子对目标物体进行三维的位姿估计，得到目标物体的位姿信息；对位姿信息进行修正与优化处理(包括位姿聚类或ICP配准)，得到修正与优化后的位姿信息，从而对位姿信息进行输出。关于识别与定位模块122的功能可以参考实施例一中的步骤S100-S400，这里不再进行赘述。
在一具体实施例中，控制器13包括优化模块131和控制模块132。其中，优化模块131和处理器12中的识别与定位模块122连接，用于根据目标物体相对于传感器11的位姿信息规划运动机构14的运动路线和抓取位置；控制模块132与优化模块131连接，用于输出控制指令，一方面控制运动机构14按照规划的运动路线和抓取位置对目标物体进行抓取，另一方面控制模块132还输出控制指令来控制传感器13采集目标物体的图像。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种三维目标物体的实时位姿估计方法,其特征在于，包括：
获取目标物体的三维的图形信息；
根据所述图形信息计算得到所述目标物体的局部特征描述子；
利用预先建立的三维模型数据库，通过所述局部特征描述子对所述目标物体进行三维的位姿估计，得到所述目标物体的位姿信息；所述三维模型数据库包括所述目标物体的全局特征描述子；
输出所述位姿信息。
2.如权利要求1所述的实时位姿估计方法，其特征在于，所述根据所述图形信息计算得到所述目标物体的局部特征描述子，包括：
采用体素栅格对所述图形信息进行降采样处理，以降低所述图形信息中数据点的数目；
采用特征阈值对降采样处理后所述图形信息中的各个数据点进行筛选，以剔除异常的数据点，得到第二点云数据；所述第二点云数据包括所述目标物体在当前场景下各个场景特征点的坐标以及对应的法向量；
根据所述第二点云数据形成所述目标物体的局部特征描述子；所述局部特征描述子中的每个特征描述子与每两个场景特征点相对应。
3.如权利要求2所述的实时位姿估计方法，其特征在于，所述三维模型数据库通过以下方式建立：
获取所述目标物体对应的三维模型的模型信息；
采用体素栅格对所述模型信息进行降采样处理，以降低所述模型信息中数据点的数目；
采用特征阈值对降采样处理后所述模型信息中的各个数据点进行筛选，以剔除异常的数据点，得到第一点云数据；所述第一点云数据包括所述目标物体在模型模板下各个模板特征点的坐标以及对应的法向量；
根据所述第一点云数据形成所述目标物体的全局特征描述子；所述全局特征描述子中的每个特征描述子与每两个模板特征点相对应；
通过所述全局特征描述子建立所述三维模型数据库；
所述全局特征描述子中的每个特征描述子、所述局部特征描述子中的每个特征描述子均为四维的特征向量，用公式表示为
F(p1,p2)＝(||d||,∠(n1,d),∠(n2,d),det(n1,n2,d)/||d||)
其中，p1、p2均表示模板特征点或场景特征点，且p1、p2分别对应的法向量为n1、n2，d表示p1到p2的向量，||d||表示p1和p2之间的距离，∠(n1,d)∈[0,π]表示向量n1和d之间的夹角，∠(n2,d)∈[0,π]表示n2和d之间的夹角，det(n1,n2,d)表示向量的行列式的值且相当于表征三个向量形成的六面体的体积。
4.如权利要求3所述的实时位姿估计方法，其特征在于，所述通过所述全局特征描述子建立所述三维模型数据库，包括：
根据所述全局特征描述子中的各个特征描述子分别形成对应的第一点对，得到第一特征集Pm；
建立一基准坐标系，以所述第一特征集Pm中任意第一点对内首个的特征点作为所述基准坐标系的基准点，计算该特征点在所述基准坐标系中的平移向量T和旋转矩阵R；具体包括：对于所述第一特征集Pm中的第一点对((p1,n1),(p2,n2))，将首个的特征点p1转换至所述基准坐标系的原点，将对应的法向量n1＝(nx,ny,nz)的方向转换至与所述基准坐标系的X轴方向一致，计算X轴方向夹角θ＝arccos(nx)和等效轴角单位方向向量
Figure FDA0002194331610000021
由此计算得到特征点p1在所述基准坐标系中的平移向量T和旋转矩阵R，分别表示为
Figure FDA0002194331610000022
T＝-Rp1＝-R(px,py,pz)T，其中，cθ表示cosθ，sθ表示sinθ，(px,py,pz)T表示特征点p1的转置运算；根据所述平移向量T和旋转矩阵R对第一点对((p1,n1),(p2,n2))内的另一个特征点p2进行基准坐标变换，得到变换后的坐标pt＝(pxt,pyt,pzt)以及对应的旋转角度ψm＝-arctan(pzt/pyt)；
将所述第一特征集中的各个第一点对和各个第一点对分别对应的旋转角度ψm存入多个哈希表内，利用多个所述哈希表组建所述三维模型数据库；具体包括：将所述第一特征集中具有相同或相似特征值的第一点对划分为一组且存入同一个哈希表内；为每一个哈希表设置一个键值，建立该键值和该哈希表内所存储的第一点对之间的映射关系；利用所有的哈希表组建所述三维模型数据库，用于通过各个哈希表内存储的第一点对替代所述全局特征描述子来对所述目标物体进行描述。
5.如权利要求4所述的实时位姿估计方法，其特征在于，所述利用预先建立的三维模型数据库，通过所述局部特征描述子对所述目标物体进行三维的位姿估计，得到所述目标物体的位姿信息，包括：
根据所述局部特征描述子中的每个特征描述子分别形成对应的第二点对，得到第二特征集Ps；
从所述第二特征集Ps中选取任意第二点对((p′1,n′1),(p′2,n′2))以进行迭代计算，所述迭代计算包括：利用所述基准坐标系，以选取的第二点对((p′1,n′1),(p′2,n′2))内首个的特征点p′1作为所述基准坐标系的基准点，计算该特征点p′1在所述基准坐标系中的平移向量T′和旋转矩阵R′；根据所述平移向量T′和旋转矩阵R′对构成该第二点对的另一个特征点p′2进行基准坐标变换，得到变换后的坐标p′t＝(p′x,p′y,p′z)以及对应的旋转角度ψs＝-arctan(p′z/p′y)；根据该第二点对内两个特征点在场景坐标系中的坐标得到这两个特征点对应的特征描述子，根据该特征描述子对所述三维模型数据库中的各个哈希表进行特征匹配以获取所有相匹配的第一点对，计算每个相匹配的第一点对对应的旋转角度ψm与该第二点对对应的旋转角度ψs之间的差值Δψ＝ψm-ψs，且映射为索引坐标ψindex；根据所述索引坐标ψindex的索引值对该第二点对进行投票计数，通过投票计数结果获得该第二点对对应的评估匹配质量，以及保存取得最大的评估匹配质量时所对应的第一点对和第二点对；在模板坐标系中获取该第二点对对应的位姿变换矩阵，且表示为
Figure FDA0002194331610000031
根据所述位姿变换矩阵获得该第二点对的旋转平移关系，且将所述位姿变换矩阵加入预设的队列poseList中，其中Tm→g＝[Rmax Tmax]，R(Δψ)＝[R(Δψ) T(Δψ)]；表示将场景特征点变换为所述基准坐标系的逆变换，Tm→g为将模板特征点变换为所述基准坐标系中投票最多特征的变换，Rmax、Tmax分别表示对应的最大的投票的索引所对应的的旋转矩阵和平移向量，
Figure FDA0002194331610000034
T(Δψ)＝(0,0,0)T；所述场景坐标系为描述场景坐标点时所使用的坐标系，所述模板坐标系为描述模板特征点时所使用的坐标系；
根据取得最大的评估匹配质量时所对应的第一点对和第二点对，以及对应的旋转平移关系，计算所述局部特征描述子表示的局部特征在所述全局特征描述子表示的全局特征中的位置，以确定所述目标物体的位姿；根据所述目标物体的位姿，得到所述目标物体在模板坐标系中的位姿信息。
6.如权利要求5所述的实时位姿估计方法，其特征在于，在得到所述目标物体的位姿信息之后，且在输出所述位姿信息之前，还包括：
通过位姿聚类或ICP配准对所述位姿信息进行处理，以修正与优化所述位姿信息；
其中，通过位姿聚类对所述位姿信息进行处理，包括：根据所述队列poseList形成位姿数据列表；对于所述位姿数据列表中的任意一个位姿数据，将该位姿数据作为种子点并与其它的位姿数据分别进行比较，若位姿数据之间的平移距离小于预设的第一值且平移角度小于预设的第二值，则将满足条件的其它的位姿数据加入该位姿数据对应的聚类；对每一个位姿数据对应的聚类进行加权平均计算或平均值计算，得到对应的均值，将所述均值作为修正与优化后的位姿信息。
7.一种三维目标物体的定位抓取系统，其特征在于，包括：
传感器，用于采集目标物体的图像，以形成所述目标物体的三维的图形信息；
处理器，与所述传感器连接，用于通过权利要求1-6中任一项所述的实时位姿估计方法得到所述目标物体的位姿信息；
控制器，与所述传感器和所述处理器连接，用于控制所述传感器采集所述目标物体的图像，以及用于根据所述处理器输出的位姿信息控制一运动机构抓取所述目标物体。
8.如权利要求7所述的定位抓取系统，其特征在于，所述处理器包括模板建立模块、识别与定位模块；
所述模板建立模块用于根据所述目标物体对应的三维模型的模型信息建立三维模型数据库；
所述识别与定位模块和所述模板建立模块连接，用于利用所述三维模型数据库以及所述目标物体的三维的图形信息对所述目标物体进行三维的位姿估计，得到所述目标物体的位姿信息。
9.如权利要求7所述的定位抓取系统，其特征在于，所述控制器包括优化模块和控制模块；
所述优化模块用于根据所述目标物体的位姿信息规划所述运动机构的运动路线和抓取位置；
所述控制模块用于控制所述运动机构按照规划的运动路线和抓取位置对所述目标物体进行抓取，且控制所述传感器采集所述目标物体的图像。
10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-6中任一项所述的实时位姿估计方法。
CN201910843048.1A 2019-09-06 2019-09-06 一种三维目标物体的实时位姿估计方法及定位抓取系统 Active CN110648361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910843048.1A CN110648361B (zh) 2019-09-06 2019-09-06 一种三维目标物体的实时位姿估计方法及定位抓取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910843048.1A CN110648361B (zh) 2019-09-06 2019-09-06 一种三维目标物体的实时位姿估计方法及定位抓取系统

Publications (2)

Publication Number Publication Date
CN110648361A true CN110648361A (zh) 2020-01-03
CN110648361B CN110648361B (zh) 2022-01-11

Family

ID=69010238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910843048.1A Active CN110648361B (zh) 2019-09-06 2019-09-06 一种三维目标物体的实时位姿估计方法及定位抓取系统

Country Status (1)

Country Link
CN (1) CN110648361B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553938A (zh) * 2020-04-29 2020-08-18 南京航空航天大学 一种基于图优化的多站位扫描点云全局配准方法
CN111768447A (zh) * 2020-07-01 2020-10-13 哈工大机器人（合肥）国际创新研究院 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN111856447A (zh) * 2020-07-28 2020-10-30 三一机器人科技有限公司 一种雷达定位方法、装置及存储介质
CN111932617A (zh) * 2020-07-15 2020-11-13 中国科学院上海微系统与信息技术研究所 一种对规则物体实现实时检测定位方法和系统
CN111999741A (zh) * 2020-01-17 2020-11-27 青岛慧拓智能机器有限公司 路侧激光雷达目标检测方法及装置
CN112116638A (zh) * 2020-09-04 2020-12-22 季华实验室 一种三维点云匹配方法、装置、电子设备和存储介质
CN112352262A (zh) * 2020-04-14 2021-02-09 香港应用科技研究院有限公司 候选六维位姿假设选择
CN112418246A (zh) * 2020-11-13 2021-02-26 昆山丘钛微电子科技有限公司 一种广义霍夫变换中径向量表生成方法及装置
CN112562048A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 三维模型的控制方法、装置、设备以及存储介质
CN112612002A (zh) * 2020-12-01 2021-04-06 北京天地玛珂电液控制系统有限公司 煤矿井下全工作面场景空间的数字化构建系统和方法
CN112686950A (zh) * 2020-12-04 2021-04-20 深圳市优必选科技股份有限公司 位姿估计方法、装置、终端设备及计算机可读存储介质
CN112720459A (zh) * 2020-12-02 2021-04-30 达闼机器人有限公司 目标物体抓取方法、装置、存储介质及电子设备
CN112802070A (zh) * 2021-01-06 2021-05-14 南京航空航天大学 一种基于多描述子投票的飞机蒙皮局部点云定位方法
CN112819135A (zh) * 2020-12-21 2021-05-18 中国矿业大学 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法
CN112813748A (zh) * 2021-01-04 2021-05-18 中南大学 一种智能铺轨车的滚筒放置方法与系统
CN113009590A (zh) * 2021-02-01 2021-06-22 西南科技大学 一种车底安检系统中的异物三维检测系统及方法
CN113192110A (zh) * 2020-01-14 2021-07-30 中寰卫星导航通信有限公司 多目标跟踪方法、装置、设备及存储介质
CN113232022A (zh) * 2021-05-22 2021-08-10 深圳市华成工业控制股份有限公司 一种圆盘传送跟踪控制方法、系统、装置及存储介质
CN113379905A (zh) * 2021-07-16 2021-09-10 秦皇岛信能能源设备有限公司 一种轮毂产线用3d视觉智能识别及控制系统
CN113551661A (zh) * 2020-04-23 2021-10-26 曰轮法寺 位姿识别、轨迹规划方法、装置、系统、存储介质及设备
CN113674348A (zh) * 2021-05-28 2021-11-19 中国科学院自动化研究所 物体抓取方法、装置和系统
CN113822102A (zh) * 2020-06-19 2021-12-21 北京达佳互联信息技术有限公司 一种姿态估计方法、装置、电子设备及存储介质
US20220155795A1 (en) * 2020-11-18 2022-05-19 The Boeing Company Methods and scan systems for analyzing an object
CN114783068A (zh) * 2022-06-16 2022-07-22 深圳市信润富联数字科技有限公司 姿态识别方法、装置、电子装置和存储介质
CN114872055A (zh) * 2022-07-12 2022-08-09 广东隆崎机器人有限公司 Scara机器人装配控制方法及系统
CN115082498A (zh) * 2022-05-24 2022-09-20 河南中原动力智能制造有限公司 一种机器人抓取位姿估计方法、装置、设备及存储介质
CN115527235A (zh) * 2022-09-27 2022-12-27 内蒙古工业大学 一种基于图像处理识别蒙医手部穴位的方法与装置
CN115775278A (zh) * 2023-02-13 2023-03-10 合肥安迅精密技术有限公司 包含局部特征约束的元件识别定位方法及系统、存储介质
CN116046017A (zh) * 2023-01-18 2023-05-02 上汽通用五菱汽车股份有限公司 一种测量路径的校准方法、装置、存储介质和计算机设备
CN116330306A (zh) * 2023-05-31 2023-06-27 之江实验室 一种物体的抓取方法、装置、存储介质及电子设备
CN116797546A (zh) * 2023-05-17 2023-09-22 苏州市职业大学（苏州开放大学） 一种视觉检测搬运方法及控制系统
WO2023216957A1 (zh) * 2022-05-11 2023-11-16 华为技术有限公司 一种目标定位方法、系统和电子设备
CN117398662A (zh) * 2023-12-15 2024-01-16 苏州海易泰克机电设备有限公司 基于生理采集信息的三自由度旋转训练参数控制方法
CN118386251A (zh) * 2024-06-21 2024-07-26 深圳市曜通科技有限公司 基于半导体抓料机构用自适应抓取系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN109448034A (zh) * 2018-10-24 2019-03-08 华侨大学 一种基于几何基元的零件位姿获取方法
CN110097599A (zh) * 2019-04-19 2019-08-06 电子科技大学 一种基于部件模型表达的工件位姿估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN109448034A (zh) * 2018-10-24 2019-03-08 华侨大学 一种基于几何基元的零件位姿获取方法
CN110097599A (zh) * 2019-04-19 2019-08-06 电子科技大学 一种基于部件模型表达的工件位姿估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘然: ""AR辅助装配中基体及零件位姿组合估计方法"", 《机械设计与研究》 *
张彪: ""基于视点特征直方图的激光点云模型的位姿估计"", 《光电子·激光》 *

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192110A (zh) * 2020-01-14 2021-07-30 中寰卫星导航通信有限公司 多目标跟踪方法、装置、设备及存储介质
CN111999741B (zh) * 2020-01-17 2023-03-14 青岛慧拓智能机器有限公司 路侧激光雷达目标检测方法及装置
CN111999741A (zh) * 2020-01-17 2020-11-27 青岛慧拓智能机器有限公司 路侧激光雷达目标检测方法及装置
CN112352262A (zh) * 2020-04-14 2021-02-09 香港应用科技研究院有限公司 候选六维位姿假设选择
CN113551661A (zh) * 2020-04-23 2021-10-26 曰轮法寺 位姿识别、轨迹规划方法、装置、系统、存储介质及设备
CN111553938A (zh) * 2020-04-29 2020-08-18 南京航空航天大学 一种基于图优化的多站位扫描点云全局配准方法
CN113822102B (zh) * 2020-06-19 2024-02-20 北京达佳互联信息技术有限公司 一种姿态估计方法、装置、电子设备及存储介质
CN113822102A (zh) * 2020-06-19 2021-12-21 北京达佳互联信息技术有限公司 一种姿态估计方法、装置、电子设备及存储介质
CN111768447B (zh) * 2020-07-01 2024-03-01 合肥哈工慧拣智能科技有限公司 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN111768447A (zh) * 2020-07-01 2020-10-13 哈工大机器人（合肥）国际创新研究院 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN111932617A (zh) * 2020-07-15 2020-11-13 中国科学院上海微系统与信息技术研究所 一种对规则物体实现实时检测定位方法和系统
CN111932617B (zh) * 2020-07-15 2023-12-22 中国科学院上海微系统与信息技术研究所 一种对规则物体实现实时检测定位方法和系统
CN111856447A (zh) * 2020-07-28 2020-10-30 三一机器人科技有限公司 一种雷达定位方法、装置及存储介质
CN112116638A (zh) * 2020-09-04 2020-12-22 季华实验室 一种三维点云匹配方法、装置、电子设备和存储介质
CN112418246A (zh) * 2020-11-13 2021-02-26 昆山丘钛微电子科技有限公司 一种广义霍夫变换中径向量表生成方法及装置
CN112418246B (zh) * 2020-11-13 2024-07-02 昆山丘钛微电子科技有限公司 一种广义霍夫变换中径向量表生成方法及装置
US20220155795A1 (en) * 2020-11-18 2022-05-19 The Boeing Company Methods and scan systems for analyzing an object
CN112612002A (zh) * 2020-12-01 2021-04-06 北京天地玛珂电液控制系统有限公司 煤矿井下全工作面场景空间的数字化构建系统和方法
CN112720459A (zh) * 2020-12-02 2021-04-30 达闼机器人有限公司 目标物体抓取方法、装置、存储介质及电子设备
CN112686950B (zh) * 2020-12-04 2023-12-15 深圳市优必选科技股份有限公司 位姿估计方法、装置、终端设备及计算机可读存储介质
CN112686950A (zh) * 2020-12-04 2021-04-20 深圳市优必选科技股份有限公司 位姿估计方法、装置、终端设备及计算机可读存储介质
CN112562048A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 三维模型的控制方法、装置、设备以及存储介质
CN112819135B (zh) * 2020-12-21 2022-09-02 中国矿业大学 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法
CN112819135A (zh) * 2020-12-21 2021-05-18 中国矿业大学 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法
CN112813748A (zh) * 2021-01-04 2021-05-18 中南大学 一种智能铺轨车的滚筒放置方法与系统
CN112802070A (zh) * 2021-01-06 2021-05-14 南京航空航天大学 一种基于多描述子投票的飞机蒙皮局部点云定位方法
CN113009590A (zh) * 2021-02-01 2021-06-22 西南科技大学 一种车底安检系统中的异物三维检测系统及方法
CN113232022A (zh) * 2021-05-22 2021-08-10 深圳市华成工业控制股份有限公司 一种圆盘传送跟踪控制方法、系统、装置及存储介质
CN113674348B (zh) * 2021-05-28 2024-03-15 中国科学院自动化研究所 物体抓取方法、装置和系统
CN113674348A (zh) * 2021-05-28 2021-11-19 中国科学院自动化研究所 物体抓取方法、装置和系统
CN113379905A (zh) * 2021-07-16 2021-09-10 秦皇岛信能能源设备有限公司 一种轮毂产线用3d视觉智能识别及控制系统
WO2023216957A1 (zh) * 2022-05-11 2023-11-16 华为技术有限公司 一种目标定位方法、系统和电子设备
CN115082498A (zh) * 2022-05-24 2022-09-20 河南中原动力智能制造有限公司 一种机器人抓取位姿估计方法、装置、设备及存储介质
CN114783068B (zh) * 2022-06-16 2022-11-15 深圳市信润富联数字科技有限公司 姿态识别方法、装置、电子装置和存储介质
CN114783068A (zh) * 2022-06-16 2022-07-22 深圳市信润富联数字科技有限公司 姿态识别方法、装置、电子装置和存储介质
CN114872055B (zh) * 2022-07-12 2022-11-18 广东隆崎机器人有限公司 Scara机器人装配控制方法及系统
CN114872055A (zh) * 2022-07-12 2022-08-09 广东隆崎机器人有限公司 Scara机器人装配控制方法及系统
CN115527235A (zh) * 2022-09-27 2022-12-27 内蒙古工业大学 一种基于图像处理识别蒙医手部穴位的方法与装置
CN116046017B (zh) * 2023-01-18 2024-05-07 上汽通用五菱汽车股份有限公司 一种测量路径的校准方法、装置、存储介质和计算机设备
CN116046017A (zh) * 2023-01-18 2023-05-02 上汽通用五菱汽车股份有限公司 一种测量路径的校准方法、装置、存储介质和计算机设备
CN115775278A (zh) * 2023-02-13 2023-03-10 合肥安迅精密技术有限公司 包含局部特征约束的元件识别定位方法及系统、存储介质
CN116797546A (zh) * 2023-05-17 2023-09-22 苏州市职业大学（苏州开放大学） 一种视觉检测搬运方法及控制系统
CN116330306B (zh) * 2023-05-31 2023-08-15 之江实验室 一种物体的抓取方法、装置、存储介质及电子设备
CN116330306A (zh) * 2023-05-31 2023-06-27 之江实验室 一种物体的抓取方法、装置、存储介质及电子设备
CN117398662A (zh) * 2023-12-15 2024-01-16 苏州海易泰克机电设备有限公司 基于生理采集信息的三自由度旋转训练参数控制方法
CN117398662B (zh) * 2023-12-15 2024-03-12 苏州海易泰克机电设备有限公司 基于生理采集信息的三自由度旋转训练参数控制方法
CN118386251A (zh) * 2024-06-21 2024-07-26 深圳市曜通科技有限公司 基于半导体抓料机构用自适应抓取系统及方法

Also Published As

Publication number Publication date
CN110648361B (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN110648361B (zh) 一种三维目标物体的实时位姿估计方法及定位抓取系统
CN109801337B (zh) 一种基于实例分割网络和迭代优化的6d位姿估计方法
JP6216508B2 (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
Aldoma et al. CAD-model recognition and 6DOF pose estimation using 3D cues
CN110992427B (zh) 一种形变物体的三维位姿估计方法及定位抓取系统
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
Lin et al. Robotic grasping with multi-view image acquisition and model-based pose estimation
CN111768447B (zh) 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN105551015A (zh) 一种散乱点云图像配准方法
Li et al. 3D object recognition and pose estimation for random bin-picking using Partition Viewpoint Feature Histograms
CN112712589A (zh) 一种基于激光雷达和深度学习的植株3d建模的方法和系统
Rubio et al. Efficient monocular pose estimation for complex 3D models
Liu et al. 2D object localization based point pair feature for pose estimation
Liu et al. 6D pose estimation of occlusion-free objects for robotic Bin-Picking using PPF-MEAM with 2D images (occlusion-free PPF-MEAM)
Buchholz et al. Bin-picking—5 decades of research
CN112070005B (zh) 一种三维基元数据的提取方法及装置、存储介质
Wang et al. 6D pose estimation from point cloud using an improved point pair features method
Wan et al. 6DOF object positioning and grasping approach for industrial robots based on boundary point cloud features
Wu et al. Object Pose Estimation with Point Cloud Data for Robot Grasping
Azad et al. Accurate shape-based 6-dof pose estimation of single-colored objects
Wang et al. Fast and robust object pose estimation based on point pair feature for bin picking
Yamada et al. Pose estimation of a simple-shaped object based on poseclass using RGBD camera
Kundu et al. A novel geometry-based algorithm for robust grasping in extreme clutter environment
Chen et al. A Framework for 3D Object Detection and Pose Estimation in Unstructured Environment Using Single Shot Detector and Refined LineMOD Template Matching
Liu et al. An improved local descriptor based object recognition in cluttered 3D point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A real-time pose estimation method and positioning and grasping system for three-dimensional target objects

Effective date of registration: 20230908

Granted publication date: 20220111

Pledgee: Shenzhen hi tech investment small loan Co.,Ltd.

Pledgor: SHENZHEN HUAHAN WEIYE TECHNOLOGY Co.,Ltd.

Registration number: Y2023980055927

PE01 Entry into force of the registration of the contract for pledge of patent right