CN112651944B - 基于cad模型的3c部件高精度六维位姿估计方法及系统 - Google Patents

基于cad模型的3c部件高精度六维位姿估计方法及系统 Download PDF

Info

Publication number
CN112651944B
CN112651944B CN202011584651.1A CN202011584651A CN112651944B CN 112651944 B CN112651944 B CN 112651944B CN 202011584651 A CN202011584651 A CN 202011584651A CN 112651944 B CN112651944 B CN 112651944B
Authority
CN
China
Prior art keywords
point cloud
target object
pose
algorithm
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011584651.1A
Other languages
English (en)
Other versions
CN112651944A (zh
Inventor
楼云江
杨先声
董邓伟
谢一新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202011584651.1A priority Critical patent/CN112651944B/zh
Publication of CN112651944A publication Critical patent/CN112651944A/zh
Application granted granted Critical
Publication of CN112651944B publication Critical patent/CN112651944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术领域，公开了基于CAD模型的3C部件高精度六维位姿估计方法。其中方法包括：分割包含有目标物体的场景点云，生成第一点云，基于所述目标物体的CAD模型，对所述第一点云进行体素网格下采样，生成第二点云；对所述第二点云提取第三点云，通过主成分分析技术、模板匹配算法结合奇异位姿消除策略完成对所述目标物体的初始位姿估计，基于所述初始位姿估计，通过分支定界算法剔除不符合预定规则的子空间，结合改进的迭代最近点算法完成局部位姿估计。其中系统包括应用程序，用于实施上述方法。本发明至少具有以下有益效果：能够有效消除因装配目标高对称性特性导致的奇异位姿和估计精度不足的问题。

Description

基于CAD模型的3C部件高精度六维位姿估计方法及系统
技术领域
本发明涉及图像识别技术领域，特别涉及一种基于CAD模型的3C部件高精度六维位姿估计方法及系统。
背景技术
目前3C装配自动化在工业生产的应用极少，借助机器人完成装配自动化对于整个装配行业具有极大的工业应用价值和理论研究价值。实现装配自动化，视觉感知是一种非常重要的技术手段，而位姿估计任务通过得到3C部件相对于相机坐标系在刚体变换下的六个未知参数，则是3C装配自动化的基础。传统的使用2D相机进行位姿估计方案，需要目标本身具有明显特征，在目标特征单一的工业场景显得不太适用，同时在3C装配自动化的位姿估计中，装配目标多具有高对称性特点，使得位姿估计具有更大的理论难度和应用难度。针对3C装配目标的特性，实现高精度的3D位姿估计是非常必要的。
目前，现有技术中有两类位姿估计方法，第一类是基于2D视觉的位姿估计方法，这种方法虽然能够实现目标的高精度位姿估计，但其需要在目标部件上贴附精密的特征图案用于图像的特征点提取，拓展性不高；另一类则是使用3D视觉的位姿估计方法，即基于学习的位姿估计方法，其通过在图像中自动学习特征，建立起图像和位姿空间的映射关系。但基于学习的位姿估计方法精度不高，需要庞大的数据样本且学习网络参数训练过程复杂，对计算成本要求比较高。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于CAD模型的位姿估计方法，能够快速找到初始位姿，并消除奇异位姿提高位姿估计精度。
本发明还提出一种具有上述基于CAD模型的位姿估计方法的计算机可读存储介质。
根据本发明的第一方面实施例的基于CAD模型的位姿估计方法，包括以下步骤：S100、分割包含有目标物体的场景点云，生成第一点云，所述第一点云为目标物体点云；S200、基于所述目标物体的CAD模型，对所述第一点云进行体素网格下采样，生成第二点云；S300、对所述第二点云提取第三点云，基于所述第三点云，通过主成分分析技术、模板匹配算法结合奇异位姿消除策略完成对所述目标物体的初始位姿估计，所述第三点云为根据所述目标物体的形状特征点云；S400、基于所述初始位姿估计，通过分支定界算法剔除不符合预定规则的子空间，结合改进的迭代最近点算法完成局部位姿估计。
根据本发明的一些实施例，所述场景点云通过双目结构光相机的3D视觉系统采集，采集类型为XYZRGB，通过设置所述目标物体与背景的RGB信息差异，实现从所述场景点云分割出所述第一点云。
根据本发明的一些实施例，所述步骤S300包括：S310、通过随机采样一致性算法对所述第二点云提取所述第三点云；S320、构建所述第三点云的协方差矩阵，基于所述协方差矩阵得到所述目标物体相对于相机的四组初始位姿；S330、基于所述目标物体的CAD模型，渲染彩色图和深度图，获取所述目标物体的颜色梯度特征和表面法线特征，通过LINEMOD模板匹配算法估计所述目标物体的位姿，得到参考位姿；S340、通过所述参考位姿与所述目标物体相对于相机的四组初始位姿的PRY角差异，构建奇异位姿消除策略，滤除奇异位姿，得到所述目标物体的初始位姿。
根据本发明的一些实施例，所述步骤S310包括：S311、随机选取所述第二点云中非共线三点，求解平面参数；S312、若获得的内点百分比大于预设值，且求解次数小于预设迭代次数，增加求解次数后重复步骤S311；S313、基于获取的所有内点，求解模型参数，所述模型参数为第三点云。
根据本发明的一些实施例，所述步骤S320包括：构建所述第三点云的协方差矩阵为：
其中，ri为点云中的点，m为点云中点的数目，
对所述协方差矩阵进行PCA分解，得到特征向量为：
其中，Ni为PCA分解后特征值对应的特征向量，目标物体坐标系相对于相机坐标系的旋转矩阵由特征向量组成，为：
基于所述特征向量得到所述目标物体相对于相机的刚体变换矩阵为：
其中，px，py，pz为点云坐标系相对于相机坐标系的平移矩阵，得到所述目标物体相对于相机的四组初始位姿。
根据本发明的一些实施例，所述步骤S340包括：S341、所述目标物体相对于相机的刚体变换矩阵通过矩阵：
解耦为刚体变换矩阵ZYX欧拉角，为：
或
S342、比较所述参考位姿相对于所述四组初始位姿的ZYX欧拉角和平移矢量差异，将所述差异小于阈值的位姿作为非奇异位姿保留，非奇异位姿保留公式为：
||EuAngles||<ε1
||Transepsilon||<ε2
其中，EuAngles为欧拉角偏差，Transepsilon为平移偏差，ε1为欧拉角偏差阈值，ε2为平移偏差阈值。
根据本发明的一些实施例，所述步骤S400包括：S410、在所述目标物体的初始位姿的欧拉角向量和平移向量中增加阈值，生成候选空间，基于所述候选空间通过分支定界算法生成候选子空间；S420、对模型点云施加刚体变换扰动，计算目标误差函数的上界和下界；S430、基于所述候选子空间，设置优先队列，若所述优先队列中的节点下限值大于所述目标误差函数的当前最优误差值，则剔除所述节点；S440、通过改进的迭代最近点算法在所述候选子空间内寻找所述最优误差值，重复步骤S410至S430，直至所述最优误差值小于设定阈值，完成局部位姿估计。
根据本发明的一些实施例，所述改进的迭代最近点算法为：通过源点集的法向量空间均匀采样，对采样点采用点对投影的匹配方式，通过点对距离约束剔除错误点对，通过点到平面的距离平方和，优化目标函数。
根据本发明的一些实施例，包括以下步骤：S1、分割包含有目标物体的场景点云，生成第一点云，所述第一点云为目标物体点云；S2、基于所述目标物体的CAD模型，对所述第一点云进行下采样，生成第二点云；S3、对所述第二点云提取第三点云，基于所述第三点云，通过主成分分析技术、模板匹配算法结合奇异位姿消除策略完成对所述目标物体的初始位姿估计，所述第三点云为根据所述目标物体的形状特征点云；S4、基于所述初始位姿估计，通过分支定界算法结合改进的迭代最近点算法完成局部位姿估计。
根据本发明的第二方面实施例的一种计算机系统，包括可读存储介质，其上存储有计算机程序，所述计算机程序被一个或多个处理器执行时能够执行上述的基于CAD模型的位姿估计方法的步骤。
根据本发明实施例的基于CAD模型的位姿估计方法，至少具有如下有益效果：在3C部件位姿估计任务中，针对3C装配目标特点，基于本发明提出的基于PCA分解的点云配准算法快速得到初始位姿，结合基于LINEMOD特征的模板匹配算法，能够有效消除因装配目标高对称性特性导致的奇异位姿。对于全局点云配准算法初始位姿精度不足，导致的局部位姿估计算法陷入局部最优问题，本发明提出改进的迭代最近点算法，将分支定界算法与迭代最近点算法结合起来，在初始位姿附近的平移空间进行空间划分、修枝剪叶后精细搜索，以解决在3C装配中平移精度不足问题，能够达到位置误差和旋转误差分别是0.15mm和0.5°。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的方法的流程示意图；
图2为本发明实施例的去除背景之后的场景点云效果示意图；
图3为本发明实施例的下采样后的目标物体的点云模型效果图；
图4为本发明实施例的估计目标物体初始位姿的方法的流程示意图；
图5为本发明实施例的随机采样一致性方法的流程示意图；
图6为本发明实施例的通过随机采样一致性方法后的目标物体平面点云效果示意图；
图7为本发明实施例的目标物体坐标系相对于相机坐标系的姿态示意图；
图8为本发明实施例的相机工作距离与渲染半径偏差示意图；
图9为本发明实施例的局部位姿估计的方法的流程示意图；
图10为本发明实施例的对应点上下界的计算方式示意图；
图11为本发明实施例的BNB(分支定界算法)和ICP(迭代最近点算法)的交替优化过程的示意图；
图12为本发明实施例的方法的执行效果对比示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
术语解释：
CAD：计算机辅助设计(Computer Aided Design)指利用计算机及其图形设备帮助设计人员进行设计工作；
PCA：主成分分析技术用于提取数据的主要特征分量；
LINEMOD：模板匹配算法；
PRY：欧拉角；
ICP：迭代最近点算法；
ZYX：姿态角。
参照图1，图1示出了本发明的实施例的方法，包括：
S100、分割包含有目标物体的场景点云，生成第一点云，第一点云为目标物体点云；
S200、基于目标物体的CAD模型，对第一点云进行体素网格下采样，生成第二点云；
S300、对第二点云提取第三点云，基于第三点云，通过主成分分析技术、模板匹配算法结合奇异位姿消除策略完成对目标物体的初始位姿估计，第三点云为根据目标物体的形状特征点云；
S400、基于初始位姿估计，通过分支定界算法剔除不符合预定规则的子空间，结合改进的迭代最近点算法完成局部位姿估计。
需要说明的是，在本发明的一些实施例之中，采用双目结构光相机采集目标物体的点云信息，采集的点云模型为XYZRGB，在工业环境中，背景比较单一且可控，通过设置目标物体与背景的RGB信息差异，完全可以去除背景颜色对应的点云信息，将获得的目标物体点云，基于目标物体的CAD模型，进行下采样保留更有价值的点云信息且将点云信息减少到利于计算的级别，对经过采样的点云信息提取特征通过主成分分析技术、模板匹配算法结合奇异位姿消除策略能够完成对全局位姿的准确估计，通过分支定界算法结合改进的迭代最近点算法完成局部位姿估计完全能够解决目标装配物具有高对称点从而位姿估计不准确的问题，本发明的方案能够实现对目标物体的准确位姿估计，实现借助机器人完成装配自动化的目标。
具体的，通过本发明的方案，可以使在3C部件位姿估计任务中，针对3C装配目标特点，基于PCA分解的点云配准算法快速得到初始位姿，结合基于LINEMOD特征的模板匹配算法，能够有效消除因装配目标高对称性特性导致的奇异位姿。对于全局点云配准算法初始位姿精度不足，导致的局部位姿估计算法陷入局部最优问题，本发明提出改进的ICP(GO-ICP)算法，将分支定界算法与ICP算法结合起来，在初始位姿附近的平移空间进行空间划分、修枝剪叶后精细搜索，以解决在3C装配中平移精度不足问题，位置误差和旋转误差分别是0.15mm和0.5°。
在本发明的一些实施例之中，场景点云通过双目结构光相机的3D视觉系统采集，采集类型为XYZRGB，通过设置目标物体与背景的RGB信息差异，实现从场景点云分割出第一点云。
在一个具体的实施例中，本发明采用高精度双目结构光相机的3D视觉系统获取高质量点云，从而为在3C装配任务中实现高精度位姿估计提供了基本保障。双目结构光相机获取的点云类型为XYZRGB,在工业环境中背景可控，通过设置3C部件与背景的RGB信息差异，去除背景颜色对应的点云信息，从而只保留3C部件的点云信息，实现目标识别目的，如图2所示，图2为本发明实施例的去除背景之后的场景点云效果示意图，从图中可知，包含黑色背景的点云能够被完全剔除。
可以理解的是，随着场景点云的规模增加，位姿估计算法的时间开销也随之增加，本发明采用的双目结构光相机获取点云的数据量是百万级别的，识别后的目标点云有988257个点；庞大的数据量存在很多冗余信息，不能直接用于工业生产应用中，为了提高算法效率，本发明采用体素网格下采样方法将双目结构光相机获得的点云减小至一定程度。体素网格下采样以目标点云的最小包围盒为基础，将该包围盒划分为若干较小的栅格，以栅格中点云的平均值替代栅格中的所有的点云信息，栅格大小即体素的大小是八叉树的最小分辨率，决定了下采样的程度，见图3，图3给出了本发明实施例的下采样后的目标物体的点云模型效果图，图中，目标物体为手机后盖。具体的，对于空间中的三维空间点，可由该点计算出其在八叉树包围盒中的坐标：
式中，xmin表示点云X坐标最小值；ymin表示点云Y坐标最小值；zmin表示点云Z坐标最小值；λ是点云的体素下采样分辨率。
参照图4，图4示出了本发明实施例的估计目标物体初始位姿的方法的流程示意图，包括：
S310、通过随机采样一致性算法对第二点云提取第三点云；
具体的，能够基于随机采样一致性提取平面点云，从而获取手机后盖的平面点云，可以理解的是，通过之前的步骤获取的手机后盖的点云还不可以直接用来计算，需要提取表征为手机后盖形状的矩形面特征。本发明通过随机采样一致性提取点云矩形面，设μ为内点概率，m为确定模型参数所需最少空间点数目，N为抽样次数，N次随机抽样中，至少有一次全是内点的概率，即得到正确解的概率：P＝1-(1-μm)N，能够理解的是，可以通过增加迭代次数，保证得到正确解的概率足够大，随机采样一致性算法流程如图5所示，包括：
S311、随机选取第二点云中非共线三点，求解平面参数；
S312、若获得的内点百分比大于预设值，且求解次数小于预设迭代次数，增加求解次数后重复步骤S311；
S313、基于获取的所有内点，求解模型参数，模型参数为第三点云通过设置距离阈值可以区分平面的内点和外点，距离阈值决定了平面点云的规模。平面点云提取结果参照图6，图6为本发明实施例的通过随机采样一致性方法后的目标物体平面点云效果示意图。
S320、构建第三点云的协方差矩阵，基于协方差矩阵得到目标物体相对于相机的四组初始位姿。
具体的，本发明一个具体的实施例中，目标物体指手机后盖，通过对平面点云的协方差矩阵执行PCA分解操作，获得手机后盖相对于相机的四组初始位姿。具体的，通过对矩形面点云的协方差矩阵进行PCA分解，其三个特征值对应的特征向量形成装配目标的局部坐标系，并且该局部坐标系与离线状态下建立的CAD模型坐标系基本一致，可用作CAD模型坐标系相对于相机坐标系的初始姿态。
PCA的思想是将原空间内的N维数据映射到新的线性无关的D维空间内，这D维度的特征是重新构造的正交特征，代表着散度最大的D个方向，即原始数据的D维主成分。本发明利用PCA分解将原始三维点云映射到新的三维正交特征空间内，利用新构建的特征向量构建装配目标局部坐标系。
包括，构建第三点云的协方差矩阵为：
其中，ri为点云中的点，m为点云中点的数目，
对协方差矩阵进行PCA分解，得到特征向量为：
其中，Ni为PCA分解后特征值对应的特征向量，目标物体坐标系相对于相机坐标系的旋转矩阵由特征向量组成，为：
基于特征向量得到目标物体相对于相机的刚体变换矩阵为：
其中，px，py，pz为点云坐标系相对于相机坐标系的平移矩阵，
得到目标物体相对于相机的四组初始位姿。
通常，3C部件特征单一且高度对称，采用基于PCA分解的全局点云配准算法对于奇异位姿不具有明显区分性，同一幅点云图可能会得到四组不同的解，存在误匹配的问题，如果不对奇异位姿进行进一步的消除，位姿估计的效果就会大打折扣。由于基于ICP的局部点云相比于全局点云算法来说算法更为耗时，难以设置合适的迭代次数和误差阈值消除存在的奇异位姿，另一方面，如果仅单独使用基于LINEMOD特征的位姿估计算法进行位姿估计，在模板数量较少时，其提供的初始位姿较为粗糙，而试图通过增加模板以提高算法位姿估计精度时，因其涉及到六维空间的匹配会大幅度降低算法效率。基于上述两点，本发明将位姿多义性的解决放在全局位姿估计部分，同时在使用基于PCA的点云配准算法完成初始位姿估计的基础上，结合LINEMOD特征的模板匹配算法滤除初始位姿中奇异位姿。具体的，包括：
S330、基于目标物体的CAD模型，渲染彩色图和深度图，获取目标物体的颜色梯度特征和表面法线特征，通过LINEMOD模板匹配算法估计目标物体的位姿，得到参考位姿；
可以理解的是，基于LINEMOD特征的位姿估计算法依赖于两个不同的特征：从彩色图像计算的颜色梯度特征和从深度图像计算的表面法线特征，在离线阶段，将从对象的不同视角捕获的彩色图像和深度图像保存为模板，然后根据这些模板计算LINEMOD特征。在线阶段，将在线LINEMOD特征与离线LINEMOD特征进行匹配，以最相似的LINEMOD特征对应的位姿作为在线装配目标的位姿，以该位姿作为参考位姿，过滤出奇异姿态。
一个具体的实施例为：首先在已知CAD模型基础上模拟相机成像原理渲染深度图和彩色图，该渲染过程分为相机内外参数设置和非可见点消隐两部分，相机外参数设置即设置虚拟相机相对于手机后盖坐标系的姿态，相机内参设置即设置虚拟相机的焦距、分辨率等相机本身固有的参数；非可见点消隐即指保留在相机视角下的可见点，消除由于遮挡，在相机视角下的不可见点。
以装配目标局部坐标系作为世界坐标系，以世界坐标系原点为球面原点，以相机工作距离作为球体半径作球面，在球面上采样得到虚拟相机位置，使用斐波那契的采样方法在球面上进行采样。基于模板的位姿估计算法在六维空间内要达到高精度位姿估计目的，需在模板数据库中提供大量覆盖三维平移空间和旋转空间的模板，在3C装配的实际应用中，高精度双目结构光相机的工作距离在很小的范围内，且3C部件相对于相机的姿态也具有一定的约束，因此本发明利用满足3C装配精度需求的硬件设备的参数信息和3C装配的实际情况，对六维空间的模板进行约束。本发明其中一个具体的实施例，采用的双目结构光相机工作距离为400mm，但考虑到工作距离偏差并且模板在三维空间中是离散的，实施例中以10mm为步长在半径长度350-450mm之间的球面上采集虚拟相机空间位置。球面采样点越多，则模板数据覆盖手机后盖不同位姿的能力越强，位姿估计精度也越高，但模板数据增加会导致算法执行时间线性增加，因此模板量的确定需综合精度和效率需求通过实验测试。
确定虚拟相机的三维空间位置后，仍需确定相机所处姿态，姿态空间的模板同样是连续的，通过利用姿态空间内的约束信息可有效减少模板量，提高匹配效率，手机后盖坐标系相对于相机坐标系的姿态如图7所示，图中，Vo代表世界坐标系原点，Ve是虚拟相机坐标系原点，lat是纬度角，lon为经度角。
若世界坐标系原点为Vo点，虚拟相机在球面Ve点，则Ze,Ye,Xe为虚拟相机坐标轴的方向向量：
其中Ye为以Ve为矢量起点且在垂直于Ze的平面上,即在过点Ve的球体切平面上，通过设置Ye在该平面内进行旋转，可得到在不同姿态下的虚拟相机，方向向量单位化后，旋转变换矩阵如下：
根据双目结构光的内参设置虚拟相机的内参，双目结构光相机内参数如表1所示：
表1双目结构光相机参数
三维空间中在相机工作距离和视角内没有被遮挡的点才能在相机内成像，因此本发明通过消隐算法只保留成像在同一像素点上最近的点云，即可得到任一像素下的可见点，从而得到在该视点下虚拟相机没有被遮挡的可见点，渲染出3C部件的深度图和彩色图。
S340、通过参考位姿与目标物体相对于相机的四组初始位姿的PRY角差异，构建奇异位姿消除策略，滤除奇异位姿，得到目标物体的初始位姿，具体的，
包括：
S341、目标物体相对于相机的刚体变换矩阵通过矩阵：
解耦为刚体变换矩阵ZYX欧拉角，为：
或
S342、比较参考位姿相对于四组初始位姿的ZYX欧拉角和平移矢量差异，将差异小于阈值的位姿作为非奇异位姿保留，非奇异位姿保留公式为：
||EuAngles||<ε1
||Transepsilon||<ε2
其中，EuAngles为欧拉角偏差，Transepsilon为平移偏差，ε1为欧拉角偏差阈值，ε2为平移偏差阈值。
需要说明的是，LINEMOD消除歧义位姿能力测试实验过程分为两个部分：模拟和实际测试。在本发明一个具体实施例中，首先渲染不同视角下的深度和彩色图像，将其中一部分深度和彩色图像计算LINEMOD特征后与渲染图像时的位姿信息对应保存到模板数据库中，剩余深度和彩色图像作为测试数据用于测试LINEMOD特征的正确匹配比例，即为基于LINEMOD特征的模板匹配算法消除位姿多义性问题的能力。
一个具体的实施例，假设实际工作距离为400mm，我们渲染500、1000、1500、2000、2500个位姿不同的模板，其中200个模板用作测试数据，其余用作训练数据，测试模板数量对准确性的影响，在增加模板量提高精度的同时，相应的对算法的执行效率和外存需求会产生影响，实验结果如表2所示：
表2模板数量对精度，外存以及速度的影响
可以得到：基于模板匹配的方法在增加模板数量提高消除奇异位姿能力的同时，加大了算法执行时间，算法执行时间与模板量成正相关关系，且模板的离线保存增加了外存需求，必须在三者之间进行权衡。从实验结果来看，需要渲染超过2000个模板才能获得100％的准确性。
在相机正常工作时，3C部件相对于相机的空间位置与理想位置存在偏差，偏差如图8所示，本发明实施例中测试10mm和20mm的偏差分别对LINEMOD算法消除位姿多义性能力的影响。
一个具体的实施例，假设以400mm作为工作距离来渲染不同位姿的模板，然而实际距离有10mm的偏差，通过实验测试不同数量的模板对精度的影响，实验结果如表3所示：
表3 10mm偏差对精度的影响
可以得到：渲染模板的球体半径与实际工作距离存在10mm的偏差，2500个模板的精度仅为97％，因此必须增加模板数量才能获得更高的精度，由表中数据可知，模板数量应增加至2500才能达到100％的准确率。
一个具体的实施例，假设工作距离与实际工作距离之间存在较大偏差，测试不同数量的模板对精度的影响，20mm偏差对奇异位姿消除能力的影响如表4所示：
表4 20mm偏差对精度的影响
可以得到，当渲染模板的工作距离与实际工作距离之间存在较大偏差时，我们需要添加更多的模板以获得更高的精度，在该实验中需添加至3500个模板才能达到100％的准确率。
考虑到算法精度、外存需求、算法效率和双目结构光相机安装偏差的影响，本发明一个具体的实施例中，将渲染半径设置为350-450mm，渲染步长设置为10mm，渲染模板的数量设置为2000，将现有基于点云的位姿估计算法与本发明提出的位姿估计算法进行对比，结果如表5所示：
表5算法消除奇异位姿的能力对比
可以得到，本发明提出的算法消除多义性位姿的能力远远优于现有的位姿估计算法。本发明通过以上方法，完成了3C部件的3D初始位姿估计。
参见图9，图9为本发明实施例的局部位姿估计的方法的流程示意图，包括：
S410、在目标物体的初始位姿的欧拉角向量和平移向量中增加阈值，生成候选空间，基于候选空间通过分支定界算法生成候选子空间；
S420、对模型点云施加刚体变换扰动，计算目标误差函数的上界和下界；
S430、基于候选子空间，设置优先队列，若优先队列中的节点下限值大于目标误差函数的当前最优误差值，则剔除节点；
S440、通过改进的迭代最近点算法在候选子空间内寻找最优误差值，重复步骤S410至S430，直至最优误差值小于设定阈值，完成局部位姿估计。
需要说明的是，在搜索过程中利用分支定界算法在小空间范围内修枝剪叶，剔除不可能出现全局最优解的子空间，只在可能出现全局最优解的子空间使用改进迭代最近点配准算法。其中，算法中的迭代最近点部分采用的是改进的迭代最近点，在源点集的法向量空间均匀采样，对采样点采用点对投影匹配方式，用点对距离约束剔除错误点对，优化目标函数采用点到平面的距离平方和，从四方面对迭代最近点算法进行改进，提高迭代最近点在子空间的运行效率在保证精度的同时提高了算法的执行效率。
具体的，将刚体变换矩阵解耦为欧拉角向量和平移向量，在初始位姿的欧拉角和平移向量上添加阈值作为候选空间，只在初始位姿附近区域进行细搜索。添加阈值后的候选空间公式：
H＝[r0 t0]＝[α0 β0 γ0 t0x t0y t0z]
H0＝[α0+ε4 β0+ε4 γ0+ε4 t0x+ε5 t0y+ε5 t0z+ε5]
分支界限算法上下限值的计算，对模型点云施加刚体变换扰动，计算目标误差函数的上界和下界，包括：
对三维空间中的一点施加刚体变换扰动，该变换后的点可能所处的区域包含于球体内，该球体半径为不确定性半径。其中r＝(α,β,γ)构成三维欧拉角表示的旋转空间，在该空间内对点x施加以r0为中心，σr为半边长的Cr立方体内的旋转变换扰动，Rrx与Rr0x的最大距离为：
t＝(tx，ty，tz)构成三维平移参数空间，在该空间内对点x施加以t0为中心，σt为半边长的立方体Ct内的平移变换扰动，x+t与x+t0的最大距离为：
基于候选空间公式，可以得出三维空间中的点经欧拉角旋转空间Cr和平移参数空间Ct的扰动后，任一对应点的误差上下界如下：
对应点上下界的计算方式如图10所示，图10为本发明实施例的对应点上下界的计算方式示意图，
其中是Rrxi+t的最近点，/>是/>的最近点，由图10明显可知a≤b≤c，且ei的上界为：
ei的下界为：
目标误差函数的上界和下界E分别为各点误差的上界和与下界和，表示为：
候选子空间内搜索最优解与搜索中止规则，通过设置优先队列，优先搜索下限值最低的节点有利于加速搜索过程，若节点下限值大于当前最优误差值，则在该节点的细分空间内不可能出现全局最优解，通过在优先队列中剔除该节点达到修枝剪叶目的。
结合BNB和ICP算法完成搜索过程，BNB算法对候选解空间进行细分，ICP算法在细分空间内寻找最优误差值，BNB和ICP的交替优化过程如图11所示，在可能存在最优解的子空间执行ICP点云配准算法，获得当前的最优位姿，并更新最优误差函数，重复执行S410-S430步骤，直至最优误差小于设定阈值。
本发明一个具体的实施例，对位姿估计精度的实验：
通过对ICP(迭代最近点)点云配准算法实验结果进行测试，可知ICP点云配准算法能达到旋转空间角度指标需求，但在平移空间误差仍较大，算法应针对平移空间误差进行优化改进，考虑到如果全局配准算法提供的初始姿势不足，则迭代最近点算法将很容易陷入局部最优。本发明使用改进的ICP算法在包括最优位姿的小区域内执行精细搜索。其中分支定界算法在旋转和平移六维空间内进行空间划分，随着层数的增加时间复杂度迅速增加，由于ICP算法在旋转空间的参数精度已经满足装配精度需求，因此本发明设计的改进ICP算法只在初始位姿的平移空间进行空间划分。通过实验比较ICP和改进ICP算法的精度，实验结果如图12所示，可以得到，常规ICP算法的配准精度存在突变情况，通过对ICP算法进行分析可知，ICP算法陷入了局部最优，根据3C装配对于精度和效率的需求，旋转空间满足精度要求，平移空间精度不足。本发明针对3C部件平移空间参数精度不足问题，提出了改进的ICP算法，在平移空间进行了空间划分，通过在子空间的精细搜索提高平移空间参数的精度，因此有效避免了初始值精度不足问题，点云配准达到了较高精度。因此改进的ICP算法与ICP算法相比，在平移空间上有很大改进。
本发明一个具体的实施例，对稳定性测试实验：
通过对源点云添加噪声来测试位姿估计方案的鲁棒性，该噪声在源点云的基础上添加高斯噪声扰动，由于双目结构光的精度为0.02mm，因此添加了平均值为0和方差为0.02mm的高斯噪声，表示为：
式中Pij是点云中的点；Zij是外加噪声；μ为外加噪声平均值；Σ是外加噪声平均协方差，对添加噪声前后旋转空间的欧拉角偏差和平移空间的平移向量偏差进行实验，实验结果如表6所示：
表6鲁棒性测试
在实际测试中，以机械臂在运动之前和之后的位姿作为真实位姿，与本发明提出的位姿估计矩阵在欧拉角向量和平移向量上进行比较，测试过程与仿真过程基本相同，结果如表7所示：
表7鲁棒性测试
可以得到，在本发明提出的高精度3D位姿估计方案中，其中基于LINEMOD特征的模板匹配算法在仿真实验中能消除100％的位姿多义性问题，在实际测试中略低，为95％；改进的GO-ICP算法能达到0.28mm的平均位置精度和0.24°的平均欧拉角度精度，整体位姿估计框架存在1mm左右的位置平均误差精度和0.5°的欧拉角度平均精度，通过实验，验证了本发明位姿估计算法的有效性和可靠性。
在本发明的一些实施例之中，包括以下步骤：
S1、分割包含有目标物体的场景点云，生成第一点云，所述第一点云为目标物体点云；
S2、基于所述目标物体的CAD模型，对所述第一点云进行下采样，生成第二点云；
S3、对所述第二点云提取第三点云，基于所述第三点云，通过主成分分析技术、模板匹配算法结合奇异位姿消除策略完成对所述目标物体的初始位姿估计，所述第三点云为根据所述目标物体的形状特征点云；
S4、基于所述初始位姿估计，通过分支定界算法结合改进的迭代最近点算法完成局部位姿估计。
在本发明的一些实施例之中，存在一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于CAD模型的位姿估计的方法。
通过本发明，在3C部件位姿估计任务中，针对3C装配目标特点，基于本发明提出的基于PCA分解的点云配准算法快速得到初始位姿，结合基于LINEMOD特征的模板匹配算法，能够有效消除因装配目标高对称性特性导致的奇异位姿。对于全局点云配准算法初始位姿精度不足，导致的局部位姿估计算法陷入局部最优问题，本发明提出改进的迭代最近点算法，将分支定界算法与迭代最近点算法结合起来，在初始位姿附近的平移空间进行空间划分、修枝剪叶后精细搜索，以解决在3C装配中平移精度不足问题，能够达到位置误差和旋转误差分别是0.15mm和0.5°。
尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。
上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。
因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。
本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。
软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。
软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种基于CAD模型的位姿估计方法，其特征在于，包括以下步骤：
S100、分割包含有目标物体的场景点云，生成第一点云，所述第一点云为目标物体点云；
S200、基于所述目标物体的CAD模型，对所述第一点云进行体素网格下采样，生成第二点云；
S300、对所述第二点云提取第三点云，基于所述第三点云，通过主成分分析技术、模板匹配算法结合奇异位姿消除策略完成对所述目标物体的初始位姿估计，所述第三点云为根据所述目标物体的形状特征点云，包括：
S310、通过随机采样一致性算法对所述第二点云提取所述第三点云；
S320、构建所述第三点云的协方差矩阵，基于所述协方差矩阵得到所述目标物体相对于相机的四组初始位姿；
S330、基于所述目标物体的CAD模型，渲染彩色图和深度图，获取所述目标物体的颜色梯度特征和表面法线特征，通过LINEMOD模板匹配算法估计所述目标物体的位姿，得到参考位姿；
S340、通过所述参考位姿与所述目标物体相对于相机的四组初始位姿的PRY角差异，构建奇异位姿消除策略，滤除奇异位姿，得到所述目标物体的初始位姿，包括：
S341、所述目标物体相对于相机的刚体变换矩阵通过矩阵：
其中，矩阵R为目标物体坐标系相对于相机坐标系的旋转矩阵；
解耦为刚体变换矩阵ZYX欧拉角，为：
或
S342、比较所述参考位姿相对于所述四组初始位姿的ZYX欧拉角和平移矢量差异，将所述差异小于阈值的位姿作为非奇异位姿保留，非奇异位姿保留公式为：
||EuAngles||<ε1
||Transepsilon||<ε2
其中，EuAngles为欧拉角偏差，Transepsilon为平移偏差，ε1为欧拉角偏差阈值，ε2为平移偏差阈值；
S400、基于所述初始位姿估计，通过分支定界算法剔除不符合预定规则的子空间，结合改进的迭代最近点算法完成局部位姿估计。
2.根据权利要求1所述的基于CAD模型的位姿估计方法，其特征在于，所述场景点云通过双目结构光相机的3D视觉系统采集，采集类型为XYZRGB，通过设置所述目标物体与背景的RGB信息差异，实现从所述场景点云分割出所述第一点云。
3.根据权利要求1所述的基于CAD模型的位姿估计方法，其特征在于，所述步骤S310包括：
S311、随机选取所述第二点云中非共线三点，求解平面参数；
S312、若获得的内点百分比大于预设值，且求解次数小于预设迭代次数，增加求解次数后重复步骤S311；
S313、基于获取的所有内点，求解模型参数，所述模型参数为第三点云。
4.根据权利要求1所述的基于CAD模型的位姿估计方法，其特征在于，所述步骤S320包括：
构建所述第三点云的协方差矩阵为：
其中，ri为点云中的点，m为点云中点的数目，
对所述协方差矩阵进行PCA分解，得到特征向量为：
其中，Ni为PCA分解后特征值对应的特征向量，目标物体坐标系相对于相机坐标系的旋转矩阵由特征向量组成，为：
基于所述特征向量得到所述目标物体相对于相机的刚体变换矩阵为：
其中，px，py，pz为点云坐标系相对于相机坐标系的平移矩阵，
得到所述目标物体相对于相机的四组初始位姿。
5.根据权利要求1所述的基于CAD模型的位姿估计方法，其特征在于，所述步骤S400包括：
S410、在所述目标物体的初始位姿的欧拉角向量和平移向量中增加阈值，生成候选空间，基于所述候选空间通过分支定界算法生成候选子空间；
S420、对模型点云施加刚体变换扰动，计算目标误差函数的上界和下界；
S430、基于所述候选子空间，设置优先队列，若所述优先队列中的节点下限值大于所述目标误差函数的当前最优误差值，则剔除所述节点；
S440、通过改进的迭代最近点算法在所述候选子空间内寻找所述最优误差值，重复步骤S410至S430，直至所述最优误差值小于设定阈值，完成局部位姿估计。
6.根据权利要求5所述的基于CAD模型的位姿估计方法，其特征在于，所述改进的迭代最近点算法为：通过源点集的法向量空间均匀采样，对采样点采用点对投影的匹配方式，通过点对距离约束剔除错误点对，通过点到平面的距离平方和，优化目标函数。
7.一种基于CAD模型的位姿估计方法，其特征在于，包括以下步骤：
S1、分割包含有目标物体的场景点云，生成第一点云，所述第一点云为目标物体点云；
S2、基于所述目标物体的CAD模型，对所述第一点云进行下采样，生成第二点云；
S3、对所述第二点云提取第三点云，基于所述第三点云，通过主成分分析技术、模板匹配算法结合奇异位姿消除策略完成对所述目标物体的初始位姿估计，所述第三点云为根据所述目标物体的形状特征点云，包括：
S310、通过随机采样一致性算法对所述第二点云提取所述第三点云；
S320、构建所述第三点云的协方差矩阵，基于所述协方差矩阵得到所述目标物体相对于相机的四组初始位姿；
S330、基于所述目标物体的CAD模型，渲染彩色图和深度图，获取所述目标物体的颜色梯度特征和表面法线特征，通过LINEMOD模板匹配算法估计所述目标物体的位姿，得到参考位姿；
S340、通过所述参考位姿与所述目标物体相对于相机的四组初始位姿的PRY角差异，构建奇异位姿消除策略，滤除奇异位姿，得到所述目标物体的初始位姿，包括：
S341、所述目标物体相对于相机的刚体变换矩阵通过矩阵：
其中，矩阵R为目标物体坐标系相对于相机坐标系的旋转矩阵；
解耦为刚体变换矩阵ZYX欧拉角，为：
或
S342、比较所述参考位姿相对于所述四组初始位姿的ZYX欧拉角和平移矢量差异，将所述差异小于阈值的位姿作为非奇异位姿保留，非奇异位姿保留公式为：
||EuAngles||<ε1
||Transepsilon||<ε2
其中，EuAngles为欧拉角偏差，Transepsilon为平移偏差，ε1为欧拉角偏差阈值，ε2为平移偏差阈值；
S4、基于所述初始位姿估计，通过分支定界算法结合改进的迭代最近点算法完成局部位姿估计。
8.一种计算机系统，包括存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项的方法。
CN202011584651.1A 2020-12-28 2020-12-28 基于cad模型的3c部件高精度六维位姿估计方法及系统 Active CN112651944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011584651.1A CN112651944B (zh) 2020-12-28 2020-12-28 基于cad模型的3c部件高精度六维位姿估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011584651.1A CN112651944B (zh) 2020-12-28 2020-12-28 基于cad模型的3c部件高精度六维位姿估计方法及系统

Publications (2)

Publication Number Publication Date
CN112651944A CN112651944A (zh) 2021-04-13
CN112651944B true CN112651944B (zh) 2023-08-22

Family

ID=75363891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011584651.1A Active CN112651944B (zh) 2020-12-28 2020-12-28 基于cad模型的3c部件高精度六维位姿估计方法及系统

Country Status (1)

Country Link
CN (1) CN112651944B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128610A (zh) * 2021-04-26 2021-07-16 苏州飞搜科技有限公司 一种工业零件位姿估计方法及系统
CN113358068B (zh) * 2021-04-26 2023-06-20 福建数博讯信息科技有限公司 一种落地式脚手架的校正方法及装置
CN113268697A (zh) * 2021-06-17 2021-08-17 长沙海格北斗信息技术有限公司 基于Go-ICP的室外机器人重定位方法
CN114310951B (zh) * 2021-12-31 2024-04-26 北京航空航天大学杭州创新研究院 位姿优化方法、装置、抓取设备和计算机可读存储介质
CN115115700B (zh) * 2022-05-17 2023-04-11 清华大学 物体的姿态估计方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN111311679A (zh) * 2020-01-31 2020-06-19 武汉大学 一种基于深度相机的自由漂浮目标位姿估计方法
CN111784770A (zh) * 2020-06-28 2020-10-16 河北工业大学 基于shot和icp算法的无序抓取中的三维姿态估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN111311679A (zh) * 2020-01-31 2020-06-19 武汉大学 一种基于深度相机的自由漂浮目标位姿估计方法
CN111784770A (zh) * 2020-06-28 2020-10-16 河北工业大学 基于shot和icp算法的无序抓取中的三维姿态估计方法

Also Published As

Publication number Publication date
CN112651944A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN112651944B (zh) 基于cad模型的3c部件高精度六维位姿估计方法及系统
CN109544677B (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
CN111060115B (zh) 一种基于图像边缘特征的视觉slam方法及系统
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
JP4865557B2 (ja) 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
CN111325843A (zh) 一种基于语义逆深度滤波的实时语义地图构建方法
Zhuang et al. A highly robust estimator through partially likelihood function modeling and its application in computer vision
CN111696210A (zh) 一种基于三维点云数据特征轻量化的点云重构方法及系统
CN109961506A (zh) 一种融合改进Census图的局部场景三维重建方法
CN116662600B (zh) 一种基于轻量结构化线地图的视觉定位方法
Faugeras et al. Object representation, identification and positioning from range data
CN114707628A (zh) 用于3d对象检测的机器学习
CN114494594B (zh) 基于深度学习的航天员操作设备状态识别方法
CN110546687B (zh) 图像处理装置及二维图像生成用程序
CN113822996A (zh) 机器人的位姿估计方法及装置、电子设备、存储介质
CN112581511A (zh) 基于近似直立扫描点云快速配准的三维重建方法及系统
JP2018136642A (ja) 三次元形状検索方法及び三次元形状検索システム
Ward et al. A model-based approach to recovering the structure of a plant from images
Shang et al. Model-based tracking by classification in a tiny discrete pose space
Bojanić et al. A review of rigid 3D registration methods
CN115239902A (zh) 移动设备的周边地图建立方法、装置、设备及存储介质
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
JP6853150B2 (ja) 選別装置、方法及びプログラム
CN117710603B (zh) 一种直线几何结构约束下无人机图像三维建筑物建模方法
Ladikos et al. Spectral camera clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant