CN115761407A - 一种工业通用零件6d位姿数据集的构建方法 - Google Patents

一种工业通用零件6d位姿数据集的构建方法 Download PDF

Info

Publication number
CN115761407A
CN115761407A CN202211472379.7A CN202211472379A CN115761407A CN 115761407 A CN115761407 A CN 115761407A CN 202211472379 A CN202211472379 A CN 202211472379A CN 115761407 A CN115761407 A CN 115761407A
Authority
CN
China
Prior art keywords
pose
apriltag
industrial
tracking plate
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211472379.7A
Other languages
English (en)
Inventor
刘达新
许嘉通
刘振宇
王祺德
谭建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202211472379.7A priority Critical patent/CN115761407A/zh
Publication of CN115761407A publication Critical patent/CN115761407A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种工业通用零件6D位姿数据集的构建方法。首先固定深度相机，对摆放于指定工业场景的位姿跟踪板拍摄一张RGB检测图像；提取检测图像中跟踪板上AprilTag的位姿信息，使用跟踪板位姿求解算法从位姿信息中获取跟踪板位姿；根据跟踪板位姿，使用基于先验位姿指定与增强现实的虚实交互配准法来布置零件并获取摆放位姿；录制包含零件与位姿跟踪板全貌的RGB‑D视频；使用跟踪板位姿求解算法计算视频每一帧中的跟踪板位姿，并结合零件摆放位姿计算零件的标定位姿；最后进行数据集标定信息的生成。本发明实现了在工业杂乱场景下对大量图像中的多个零件的自动化6D位姿标注，在保障标注精度的前提下极大地提升了标注效率。

Description

一种工业通用零件6D位姿数据集的构建方法
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种工业通用零件6D位姿数据集的构建方法。
背景技术
从视频、图像中估计工业通用零件的6D位姿在工业4.0时代有着广泛且重要的应用价值，而物体6D位姿数据集中的标定位姿(Ground-Truth位姿)为位姿估计、跟踪算法提供了充足的验证。更重要的是，近年来基于深度学习的位姿估计与跟踪算法随着机器学习在计算机视觉领域的蓬勃发展而大量涌现。因此，除了验证作用，位姿数据集还为基于深度学习的位姿估计/跟踪算法提供了大量的训练数据。但目前，很少有以工业通用零件为目标物体构建的6D位姿数据集，这极大地限制了如机器人自动化抓取、虚拟装配等工业关键技术的发展。
传统的手工标定位姿方法无法满足工业零件种类繁多、数量庞大的需求，对上千张图像中的数十个零件进行手工标注往往耗费大量的人力物力。因此，亟需一种自动化的标注手段，能够花费极少的人力物力，在较短时间内生成大量的6D位姿数据集。
现阶段，一种较为广泛应用的6D位姿自动化标注方式是利用AprilTag等平面标志物的精确跟踪来间接获取物体的6D位姿。具体方式为，首先确定物体与AprilTag的相对位姿，然后在视频流中利用标志物检测工具包跟踪AprilTag，从而间接获取物体的6D标定位姿。但对于工业场景而言，往往存在零件或杂乱场景对AprilTag的遮挡情况：当AprilTag被大面积遮挡时，这种自动标注方式将无法进行下去；若AprilTag被小面积遮挡时，标志物检测工具包则可能会提供异常的AprilTag信息，从而严重降低了零件标定位姿的准确性。
另一方面，该自动标注方式往往通过寻找图像与物体上的对应特征点，采用PnP算法来获取零件相对于标志物的位姿。这种方式的精度非常容易受到人为标注误差、特征点对数量少的影响。同时，零件相较于其他物体而言，有着弱纹理的特殊属性，且许多如回转轴之类的零件缺乏棱角，因此在构建工业通用零件的6D位姿数据集时，往往很难为一些零件找到足够的特征点对来进行PnP算法。
发明内容
为了解决上述问题，本发明提出了一种工业通用零件6D位姿数据集的构建方法，实现了工业杂乱场景下大量图像中多零件6D位姿的自动化标注，解决了位姿数据集构建耗时耗力、精度欠佳的问题。
本发明创造的具体技术方案如下：
一、一种工业通用零件6D位姿数据集的构建方法
S1：固定深度相机与位姿跟踪板于指定工业场景，利用深度相机拍摄当前场景下的位姿跟踪板，获得初始RGB检测图像；
S2：提取并获得初始RGB检测图像中各平面标志物AprilTag的位姿信息，利用跟踪板位姿求解算法对各平面标志物AprilTag的位姿信息进行处理后，获得位姿跟踪板的初始位姿cMb0；
S3：根据位姿跟踪板的初始位姿cMb0，使用基于先验位姿指定与增强现实的虚实交互配准方法在位姿跟踪板上摆放多个工业通用零件并获得多个工业通用零件对应的摆放位姿bMoi；
S4：使用S1中的深度相机采用RGB-D视频录制模式从多角度录制包含所有工业通用零件与位姿跟踪板全貌的RGB-D视频；
S5：重复S2，求解并获得RGB-D视频中所有帧RGB-D图像的跟踪板位姿cMbJ，再根据多个工业通用零件对应的摆放位姿bMoi，计算获得所有帧RGB-D图像的多个工业通用零件对应的标定位姿cMoi J；
S6：根据多个工业通用零件的三维模型以及所有帧RGB-D图像中多个工业通用零件对应的标定位姿cMo，获取所有帧RGB-D图像中多个工业通用零件的编号、最小包围框与分割掩码并组成当前场景的6D位姿数据集。利用获得的6D位姿数据集进行基于深度学习的6D位姿估计/跟踪算法的训练与验证，训练后的算法可应用于机器人自动化抓取和虚拟装配等工业化场景。
所述S1中，位姿跟踪板包括原始跟踪板和多个平面标志物AprilTag，多个平面标志物AprilTag等间隔地固装在原始跟踪板表面的四周边缘上，多个平面标志物AprilTag均属于同一家族。
所述S2具体为：
S21：使用AprilTag检测工具包提取初始RGB检测图像中各平面标志物AprilTag的位姿信息并记为位姿跟踪板的相机坐标系特征，每个平面标志物AprilTag的位姿信息包括每个平面标志物AprilTag的编号、自身角点序号、角点像素坐标[ucorn l，vcorn l]和6D位姿矩阵；
S22：从各平面标志物AprilTag的6D位姿矩阵中提取AprilTag中心的坐标以及其z轴方向的单位向量
Figure BDA0003958917740000031
组成带法向量的中心点坐标，由所有平面标志物AprilTag的带法向量的中心点坐标生成平面标志物AprilTag点云；
S23：根据平面标志物AprilTag点云，使用基于主成分分析与最小二乘的平面拟合法求解获得相机坐标系下位姿跟踪板所在的空间拟合平面
Figure BDA0003958917740000032
S24：根据相机坐标系下位姿跟踪板所在的空间拟合平面
Figure BDA0003958917740000033
计算各平面标志物AprilTag的中心与相机坐标系下位姿跟踪板所在的空间拟合平面
Figure BDA0003958917740000034
之间的距离d，去除距离d超过预设距离阈值的平面标志物AprilTag，获得去除异常距离后的各平面标志物AprilTag集合Γ1；
S25：计算空间拟合平面
Figure BDA0003958917740000035
的单位法向量
Figure BDA0003958917740000036
再计算去除异常距离后的各平面标志物AprilTag集合Γ1中各平面标志物AprilTag在相机坐标系下的z轴单位向量
Figure BDA0003958917740000037
与空间拟合平面
Figure BDA0003958917740000038
的单位法向量
Figure BDA0003958917740000039
之间的夹角θ，去除夹角θ超过预设夹角阈值的平面标志物AprilTag，获得去除异常夹角后的各平面标志物AprilTag集合Γ2，进而根据去除异常夹角后的各平面标志物AprilTag集合Γ2更新位姿跟踪板的相机坐标系特征；
S26：建立位姿跟踪板的物体坐标系，根据位姿跟踪板的物体坐标系确定位姿跟踪板中各平面标志物AprilTag的编号、角点序号以及在物体坐标系下的所有角点坐标，并将这些信息记为位姿跟踪板的物体坐标系特征；
S27：根据更新后的位姿跟踪板的相机坐标系特征与位姿跟踪板的物体坐标系特征，为各平面标志物AprilTag的所有角点建立2D-3D特征关系，获得对应2D-3D特征点对，由所有2D-3D特征点对组成位姿特征集合；
S28：根据位姿特征集合，使用RANSAC-PnP相对位姿求解算法计算并获得位姿跟踪板相对于相机坐标系的位姿，记为位姿跟踪板的初始位姿cMb0。
所述AprilTag检测工具包包括AprilTag 3、AprilTags C++、VISP。
所述S3具体为：
S31：生成多个工业通用零件的三维模型以及对应的三维模型点云，指定多个工业通用零件的三维模型对应的先验摆放位姿bMoi p；
S32：根据多个工业通用零件的先验摆放位姿bMoi p和位姿跟踪板的初始位姿cMb0计算获得多个工业通用零件在相机坐标系下的先验位姿cMoi p；
S33：根据多个工业通用零件在相机坐标系下的先验位姿cMoi p，将对应的三维模型点云进行坐标转换，获得在相机坐标系下的三维模型点云Pi vir；
S34：使用增强现实方法将S31中多个工业通用零件的三维模型以对应的相机坐标系下的先验位姿cMoi p渲染，获得对应的渲染图像后再实时呈现至位姿跟踪板的虚实交互界面，将多个工业通用零件摆放至位姿跟踪板并根据零件的渲染图像进行相应零件的位姿调整，实现多个工业通用零件摆放位姿的虚实粗配准；
S35：使用深度相机获取位姿跟踪板上所摆放工业通用零件的深度点云，将深度点云进行坐标转换后，获得多个工业通用零件在相机坐标系下对应的三维实际点云Pi real；
S36：利用迭代最近点ICP算法对多个工业通用零件在相机坐标系下的三维模型点云Pi vir和在相机坐标系下的三维实际点云Pi real进行虚实精配准，分别获得多个工业通用零件对应的真实零件与先验摆放位姿bMoi p下的三维模型之间的相对位姿oi pMoi，进而计算获得多个工业通用零件对应的精配准后的摆放位姿bMoi，记为多个工业通用零件对应的摆放位姿bMoi。
二、一种存储介质
存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法。
三、一种存储介质
其中所述的计算机程序为对应所述方法的指令。
本发明的有益效果在于：
(1)本发明实现了工业零件6D标定位姿的自动化标注，解决了大部分工业应用场景下数据集中图像总量庞大、零件种类与数量繁多导致的费时费力的问题；
(2)本发明利用所设计的AprilTag位姿跟踪板，成功解决了工业杂乱场景下少数AprilTag被大面积遮挡所导致的自动化标注无法进行的问题；
(3)本发明在跟踪板位姿的求解时先使用平面拟合法对异常的AprilTag估计信息进行了剔除，避免了在后续计算跟踪板位姿时引入误差过大的角点信息，极大地减小了由工业杂乱场景下AprilTag部分遮挡所带来的误差影响；
(4)本发明在跟踪板位姿的求解过程中使用RANSAC-PnP算法来求解跟踪板位姿，降低了由图像模糊、相机与跟踪板距离过远等因素导致的AprilTag估计误差影响，间接地提高了零件标定位姿的精度；
(5)本发明使用了基于先验位姿指定与增强现实的虚实交互配准来获取零件摆放位姿，避免了工业零件弱纹理特性与某些零件没有足够明显特征所带来的零件摆放位姿标定难、标定慢、标定不精准的问题。
综合上述而言，本发明在构建工业通用零件6D位姿数据集时能够避免耗时耗力的人工标注，实现视频流中零件6D标定位姿的自动化精确标注，具有较好的工程实用价值。
附图说明
图1是本发明中工业通用零件6D位姿数据集的构建流程图。
图2是本发明实施例中所使用的8个工业通用零件。
图3是本发明实施例中所设计的一块AprilTag位姿跟踪板。
图4是本发明中AprilTag检测工具包所检测的AprilTag位姿信息示意图。
图5是本发明中检测AprilTag所遇到的极端误差示意图以及跟踪板位姿求解算法实施前后的零件标定位姿渲染图。
图6是本发明中基于先验位姿指定与增强现实的粗配准过程示意图。
图7是本发明中构建完成的数据集中的一组RGB-D图像与其标注信息。
图8是本发明实施例中所构建数据集的其他两个场景。
具体实施方式
下面通过陈述在机械臂操作台场景下对8个工业通用零件进行6D位姿数据集构建的过程，对本发明做进一步说明：
将本发明应用于以机械臂操作台为场景的工业通用零件的6D位姿数据集构建过程中，本实施例的流程图如图1所示，包括以下步骤：
S1：固定深度相机与位姿跟踪板于指定工业场景，利用深度相机拍摄当前场景下的位姿跟踪板，获得初始RGB检测图像，初始RGB检测图像中包含位姿跟踪板全貌；
如图3所示，S1中，位姿跟踪板包括原始跟踪板和多个平面标志物AprilTag，多个平面标志物AprilTag等间隔地印制在原始跟踪板表面的四周边缘上，多个平面标志物AprilTag的边长均相同，每个平面标志物AprilTag的边长取决于原始跟踪板的边长，原始跟踪板的边长由放置在原始跟踪板内的零件个数与外形尺寸决定，原始跟踪板为正方形，多个平面标志物AprilTag均属于同一家族但是每个平面标志物AprilTag唯一，并对多个平面标志物AprilTag一一编号。
具体地，本实施例使用Intel Realsense D455i深度相机来进行RGB-D图像的采集，其内参在出厂前已经进行了标定，使用Python环境下的pyrealsense2工具包获取内参。当前步骤使用最高分辨率1280*800像素进行RGB图像的拍摄，此时相机的内参矩阵为：
Figure BDA0003958917740000051
本实施例对8个零件进行6D位姿数据集的构建。使用SolidWorks进行零件三维模型的构建，图2展示了所构建的8个零件的三维模型，包括工装夹具、轴承端盖、轴承座、通用定位工具、车架、杆件定位器、行星齿轮架以及齿轮轴，零件编号分别为1-8。它们均为工业场景下的常见零部件，包含了工业通用零件的常见特征，如金属和3D打印材质、简单与复杂结构、对称与非对称结构，并且它们均拥有弱纹理的外表。
本实施例在Keyshot软件中导入8个零件的三维模型进行虚拟环境下的摆放布局。据此估算所需的场地大小，确定了跟踪板的边长为0.5m。为了丰富场景信息，在跟踪板中心添加边长为0.4m的纯黑色正方形背景区域。
根据S12中确定的边长，将24个边长为48mm、编号从0-23号依次排列的Tag36h11家族标志物作为本实施例所使用的AprilTag，最后设计得到的AprilTag位姿跟踪板如图3所示。
将制作的AprilTag位姿跟踪板摆放至机械臂操作台，使用三脚架固定相机，并调节相机至1280*800分辨率的RGB图像拍摄模式，拍摄一张RGB图像。
S2：提取并获得初始RGB检测图像中各平面标志物AprilTag的位姿信息，利用跟踪板位姿求解算法对各平面标志物AprilTag的位姿信息进行处理后，获得位姿跟踪板的初始位姿cMb0；
S2具体为：
S21：使用AprilTag检测工具包提取初始RGB检测图像中各平面标志物AprilTag的位姿信息并记为位姿跟踪板的相机坐标系特征，每个平面标志物AprilTag的位姿信息包括每个平面标志物AprilTag的编号、自身角点序号、角点像素坐标[ucorn l，vcorn l](l＝1，2，3，4，检测图像上每个AprilTag拥有4个角点的像素坐标)和6D位姿矩阵(每个AprilTag中心的坐标系相对于相机坐标系的位姿)；
AprilTag检测工具包包括AprilTag 3、AprilTags C++、VISP。
由于所营造的工业场景非常杂乱，所拍摄的图像中，会存在某些AprilTag部分角点被遮挡的情况。在AprilTag检测工具包估计这些AprilTag的信息时，有一定几率得到错误的角点序号与角点坐标，从而严重影响所检测的AprilTag位姿，进而影响跟踪板位姿的估计。因此采用S2中基于最小二乘的平面拟合剔除估计异常的离群信息。
S22：从各平面标志物AprilTag的6D位姿矩阵中提取AprilTag中心的坐标以及其z轴方向的单位向量
Figure BDA0003958917740000061
(垂直于平面AprilTag向外)组成带法向量的中心点坐标，由所有平面标志物AprilTag的带法向量的中心点坐标生成平面标志物AprilTag点云；
具体地，如图4的(a)所示，使用C++环境下的VISP工具包中的vpDetectorAprilTag：：detect()函数来检测图像中AprilTag的信息。这些信息包括每个AprilTag所对应的编号、所检测的角点序号(VISP将四个角点按照规定的空间顺序编号为1至4号)以及角点的像素坐标、表达AprilTag 6D位姿的齐次变换矩阵
Figure BDA0003958917740000071
其中，k指当前图像中所检测到的AprilTag的编号。根据
Figure BDA0003958917740000072
获取每个AprilTag在相机坐标系下的坐标[xc k，yc k，zc k]和z方向的单位法向量
Figure BDA0003958917740000073
然后生成.ply格式下的AprilTag点云文件。
S23：根据平面标志物AprilTag点云，使用基于主成分分析与最小二乘的平面拟合法求解获得相机坐标系下位姿跟踪板所在的空间拟合平面
Figure BDA0003958917740000074
空间拟合平面
Figure BDA0003958917740000075
的方程为：
Ax+By+Cz+D＝0
其中，A、B、C、D分别为拟合平面的第一-第四参数。
S24：根据相机坐标系下位姿跟踪板所在的空间拟合平面
Figure BDA0003958917740000076
计算各平面标志物AprilTag的中心与相机坐标系下位姿跟踪板所在的空间拟合平面
Figure BDA0003958917740000077
之间的距离d，去除距离d超过预设距离阈值的平面标志物AprilTag，获得去除异常距离后的各平面标志物AprilTag集合Γ1；
距离d的计算公式如下：
Figure BDA0003958917740000078
S25：计算空间拟合平面
Figure BDA0003958917740000079
的单位法向量
Figure BDA00039589177400000710
再计算去除异常距离后的各平面标志物AprilTag集合Γ1中各平面标志物AprilTag在相机坐标系下的z轴单位向量
Figure BDA00039589177400000711
与空间拟合平面
Figure BDA00039589177400000712
的单位法向量
Figure BDA00039589177400000713
之间的夹角θ，去除夹角θ超过预设夹角阈值的平面标志物AprilTag，获得去除异常夹角后的各平面标志物AprilTag集合Γ2，进而根据去除异常夹角后的各平面标志物AprilTag集合Γ2更新位姿跟踪板的相机坐标系特征；
具体地，此步骤用于剔除如图5的(a)两个圈内所示的AprilTag异常信息，这些AprilTag被检测工具包错误地估计了角点序号或角点坐标，进而导致了完全异常的AprilTag 6D位姿估计。若不对这些异常信息加以剔除，则最后的零件位姿标注将存在巨大的误差，图5的(b)展示了在不进行任何AprilTag异常信息剔除与优化操作而得到的标定位姿投影图，图中零件三维模型的投影与真实零件的成像存在较大偏差。
在本实施例中，为了消除这些极端异常信息对后续跟踪板位姿求解的影响，剔除夹角θ＞30°的AprilTag信息。
S26：建立位姿跟踪板的物体坐标系，具体实施中，以位姿跟踪板的中心为原点，垂直于跟踪板向外为Z轴，水平向右为X轴，建立右手坐标系。根据位姿跟踪板的物体坐标系确定位姿跟踪板中各平面标志物AprilTag的编号、角点序号以及在物体坐标系下的所有角点坐标[xcorn l，k，ycorn l，k，zcorn l，k]，l＝1，2，3，4，k指当前图像中所检测到的AprilTag的编号，将这些信息记为位姿跟踪板的物体坐标系特征；
具体地，本实施例中所建立的跟踪板物体坐标系如图4的(a)中的中心点坐标系所示，根据此坐标系获取所有AprilTag角点在跟踪板物体坐标系下的坐标，例如图4的(b)中ID：0号AprilTag的四个角点的坐标分别为(单位mm)：
[-23.4，23.4，0]
[-23.4，18.6，0]
[-18.6，18.6，0]
[-18.6，23.4，0]
S27：根据更新后的位姿跟踪板的相机坐标系特征与位姿跟踪板的物体坐标系特征，为各平面标志物AprilTag的所有角点建立2D-3D特征关系，获得对应2D-3D特征点对，即将角点像素坐标[ucorn l，k，vcorn l，k]与角点坐标[xcorn l，k，ycorn l，k，zcorn l，k]一一对应，由所有2D-3D特征点对组成位姿特征集合；
S28：根据位姿特征集合，使用RANSAC-PnP相对位姿求解算法计算并获得位姿跟踪板相对于相机坐标系的位姿，记为位姿跟踪板的初始位姿cMb0。
具体地，使用OpenCV中的cv::solvePnPRansac()函数来实现RANSAC-PnP算法，其输入参数如下：
3D角点坐标[xcorn l，k，ycorn l，k，zcorn l，k]数组；
2D像素点坐标ucorn l，k，vcorn l，k数组；
相机内参矩阵；
相机畸变系数矩阵，本实施例中Realsense深度相机为无畸变相机；
迭代次数，本实施例设置为50次；
RANSAC阈值，本实施例设置为5；
置信度，本实施例设置为0.99。
对图5的(a)所示的场景进行了上述优化流程后，最终得到的零件标定位姿投影图如图5的(c)所示，零件三维模型的投影与图像中零件的成像完全重合。
S3：根据位姿跟踪板的初始位姿cMb0，使用基于先验位姿指定与增强现实的虚实交互配准方法在位姿跟踪板上摆放多个工业通用零件并获得多个工业通用零件对应的摆放位姿bMoi；
S3具体为：
S31：生成多个工业通用零件的三维模型以及对应的三维模型点云，指定多个工业通用零件的三维模型对应的先验摆放位姿bMoi p，其中i表示所有零件中零件的序号，p表示是先验指定的。
S32：根据多个工业通用零件的先验摆放位姿bMoi p和位姿跟踪板的初始位姿cMb0计算获得多个工业通用零件在S1中初始RGB检测图像的深度相机坐标系下的先验位姿cMoi p；计算公式如下：
cMoi p＝cMb0×bMoi p
S33：根据多个工业通用零件在相机坐标系下的先验位姿cMoi p，将对应的三维模型点云进行坐标转换，获得在相机坐标系下的三维模型点云Pi vir；
具体公式如下：
Figure BDA0003958917740000091
其中，pi，j vir表示第i号零件三维模型点云Pi vir中的第j个离散点，
Figure BDA0003958917740000092
表示三维模型点云Pi vir中每个离散点pi，j vir在相机坐标系中X，Y，Z轴的分量，
Figure BDA0003958917740000093
为每个零件的三维模型点云在自身物体坐标系下的坐标，T表示转置。
S34：使用已有的增强现实方法将S31中多个工业通用零件的三维模型以对应的相机坐标系下的先验位姿cMoi p渲染，获得对应的渲染图像后再实时呈现至位姿跟踪板的高分辨率虚实交互界面，将多个工业通用零件摆放至位姿跟踪板并根据零件的渲染图像进行相应零件的位姿调整，实现多个工业通用零件摆放位姿的虚实粗配准；
具体地，本实施例采用Python环境下工具包VisPy来实现零件的渲染。图6的(a)和(b)分别展示了3号零件的手动粗配准过程与粗配准结果，当虚实交互界面中实际零件的投影与VisPy渲染的三维模型投影重合时，完成对3号零件的摆放工作。
S35：使用深度相机获取当前视角下位姿跟踪板上所摆放工业通用零件的深度点云，将深度点云进行坐标转换后，转换公式如下，获得多个工业通用零件在相机坐标系下对应的三维实际点云Pi real；
Figure BDA0003958917740000101
其中，pi，q real表示第i号零件三维实际点云Pi real中的第q个离散点，
Figure BDA0003958917740000102
表示三维实际点云Pi real中每个点pi，q real在相机坐标系中X，Y，Z轴的分量，
Figure BDA0003958917740000103
为每个点pi，q real在像平面所对应的齐次像素坐标，
Figure BDA0003958917740000104
为零件深度点云中所获取的pi，q real点的深度值，K-1为相机内参矩阵的逆。
具体地，通过深度相机拍摄一张当前视角下的深度图像，利用VisPy渲染的零件投影获取当前零件在该深度图像上的ROI区域；通过上式将该ROI区域中的零件深度点云转化为相机坐标系下的三维实际点云Pi real。
S36：利用迭代最近点ICP算法对多个工业通用零件在相机坐标系下的三维模型点云Pi vir和在相机坐标系下的三维实际点云Pi real进行虚实精配准，分别获得Pi real与Pi vir之间的相对位姿变换关系，即多个工业通用零件对应的真实零件与虚拟投影之间的相对位姿oi pMoi，进而计算获得多个工业通用零件对应的精配准后的摆放位姿bMoi，记为多个工业通用零件对应的摆放位姿bMoi。
精配准后的摆放位姿bMoi的计算公式如下：
bMoi＝bMoi p×oi pMoi
具体地，使用Python环境下的open3d工具包来实现虚实交互的精配准。将Pi real与Pi vir作为输入，通过open3d下的registration_icp函数进行oi pMoi的求解。在本实施例中，ICP算法的阈值设置为0.5mm，最大迭代次数为35次。
S4：使用S1中的深度相机采用RGB-D视频录制模式从多角度录制包含所有工业通用零件与位姿跟踪板全貌的RGB-D视频；
具体地，在视频录制阶段，将Intel Realsense D455i深度相机从固定支架上拆除，采用手持录制的方式录制RGB-D视频流。本阶段，将相机的分辨率调节为640*480像素，此时相机内参变为：
Figure BDA0003958917740000105
在本实施例中，为该场景录制了1174帧RGB-D图像，每幅图像均包含8个零件以及跟踪板的全貌。
S5：重复S2，求解并获得RGB-D视频中所有帧RGB-D图像的跟踪板位姿cMbJ，J表示RGB-D图像的帧号，再根据多个工业通用零件对应的摆放位姿bMoi，计算获得所有帧RGB-D图像的多个工业通用零件对应的标定位姿cMoi J；
计算公式如下：
cMoi J＝cMbJ×bMoi
S6：根据多个工业通用零件的三维模型以及所有帧RGB-D图像中多个工业通用零件对应的标定位姿cMo，获取所有帧RGB-D图像中多个工业通用零件的编号、最小包围框与分割掩码并组成当前场景的6D位姿数据集；
具体地，本实施例使用Python环境下的工具包BOP Toolkit来生成每幅图像中零件的编号、2D最小包围框以及分割掩码。
利用相机的内参、每副图像下每个零件所对应的标定位姿cMo构建.json格式文档，并将其与零件的三维模型一并作为BOP Toolkit的输入，接着BOP Toolkit将自动生成含有每幅图像中每个零件最小包围框的.json格式文件以及每个零件的分割掩码。图7的(a)和(b)展示了该场景下某个RGB-D图像对及依据此发明流程得到的标定信息，图7的(c)展示了零件6D标定位姿的渲染示意图，其中包括每个零件的投影渲染、零件物体坐标系以及三维最小包围框。图7的(d)展示了包含8个零件分割掩码的图像，8个零件的掩码分别以不同的像素值进行了区分，并且该图像还标注了每个零件的二维最小包围框。
将位姿跟踪板放置于不同场景，并改变AprilTag位姿跟踪板背景的颜色与纹理，重复S1-S6，获得不同工业场景的6D位姿数据集，由所有场景的6D位姿数据集组成最终的6D位姿数据集。
根据6D位姿数据集，利用基于深度学习的位姿估计/跟踪算法实现位姿估计/跟踪；也可以将6D位姿数据集用于实现机器人自动化抓取和虚拟装配等。
具体地，本实施例除了上述的机械臂操作台场景，还构建了其他两个不同场景下的零件6D位姿数据集，如图8的(a)和(b)所示。
本发明不局限于上述实施方式，仅用于帮助理解本发明的方法及核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种工业通用零件6D位姿数据集的构建方法，其特征在于，包括以下步骤：
S1：固定深度相机与位姿跟踪板于指定工业场景，利用深度相机拍摄当前场景下的位姿跟踪板，获得初始RGB检测图像；
S2：提取并获得初始RGB检测图像中各平面标志物AprilTag的位姿信息，利用跟踪板位姿求解算法对各平面标志物AprilTag的位姿信息进行处理后，获得位姿跟踪板的初始位姿cMb0；
S3：根据位姿跟踪板的初始位姿cMb0，使用基于先验位姿指定与增强现实的虚实交互配准方法在位姿跟踪板上摆放多个工业通用零件并获得多个工业通用零件对应的摆放位姿bMoi；
S4：使用S1中的深度相机采用RGB-D视频录制模式从多角度录制包含所有工业通用零件与位姿跟踪板全貌的RGB-D视频；
S5：重复S2，求解并获得RGB-D视频中所有帧RGB-D图像的跟踪板位姿cMbJ，再根据多个工业通用零件对应的摆放位姿bMoi，计算获得所有帧RGB-D图像的多个工业通用零件对应的标定位姿cMoi J；
S6：根据多个工业通用零件的三维模型以及所有帧RGB-D图像中多个工业通用零件对应的标定位姿cMoi J，获取所有帧RGB-D图像中多个工业通用零件的编号、最小包围框与分割掩码并组成当前场景的6D位姿数据集。
2.根据权利要求1所述的一种工业通用零件6D位姿数据集的构建方法，其特征在于，所述S1中，位姿跟踪板包括原始跟踪板和多个平面标志物AprilTag，多个平面标志物AprilTag等间隔地固装在原始跟踪板表面的四周边缘上，多个平面标志物AprilTag均属于同一家族。
3.根据权利要求1所述的一种工业通用零件6D位姿数据集的构建方法，其特征在于，所述S2具体为：
S21：使用AprilTag检测工具包提取初始RGB检测图像中各平面标志物AprilTag的位姿信息并记为位姿跟踪板的相机坐标系特征，每个平面标志物AprilTag的位姿信息包括每个平面标志物AprilTag的编号、自身角点序号、角点像素坐标[ucorn l，veorn l]和6D位姿矩阵；
S22：从各平面标志物AprilTag的6D位姿矩阵中提取AprilTag中心的坐标以及其z轴方向的单位向量
Figure FDA0003958917730000011
组成带法向量的中心点坐标，由所有平面标志物AprilTag的带法向量的中心点坐标生成平面标志物AprilTag点云；
S23：根据平面标志物AprilTag点云，使用基于主成分分析与最小二乘的平面拟合法求解获得相机坐标系下位姿跟踪板所在的空间拟合平面
Figure FDA0003958917730000021
S24：根据相机坐标系下位姿跟踪板所在的空间拟合平面
Figure FDA0003958917730000022
计算各平面标志物AprilTag的中心与相机坐标系下位姿跟踪板所在的空间拟合平面
Figure FDA0003958917730000023
之间的距离d，去除距离d超过预设距离阈值的平面标志物AprilTag，获得去除异常距离后的各平面标志物AprilTag集合Γ1；
S25：计算空间拟合平面
Figure FDA0003958917730000024
的单位法向量
Figure FDA0003958917730000025
再计算去除异常距离后的各平面标志物AprilTag集合Γ1中各平面标志物AprilTag在相机坐标系下的z轴单位向量
Figure FDA0003958917730000026
与空间拟合平面
Figure FDA0003958917730000027
的单位法向量
Figure FDA0003958917730000028
之间的夹角θ，去除夹角θ超过预设夹角阈值的平面标志物AprilTag，获得去除异常夹角后的各平面标志物AprilTag集合Γ2，进而根据去除异常夹角后的各平面标志物AprilTag集合Γ2更新位姿跟踪板的相机坐标系特征；
S26：建立位姿跟踪板的物体坐标系，根据位姿跟踪板的物体坐标系确定位姿跟踪板中各平面标志物AprilTag的编号、角点序号以及在物体坐标系下的所有角点坐标，并记为位姿跟踪板的物体坐标系特征；
S27：根据更新后的位姿跟踪板的相机坐标系特征与位姿跟踪板的物体坐标系特征，为各平面标志物AprilTag的所有角点建立2D-3D特征关系，获得对应2D-3D特征点对，由所有2D-3D特征点对组成位姿特征集合；
S28：根据位姿特征集合，使用RANSAC-PnP相对位姿求解算法计算并获得位姿跟踪板相对于相机坐标系的位姿，记为位姿跟踪板的初始位姿cMb0。
4.根据权利要求3所述的一种工业通用零件6D位姿数据集的构建方法，其特征在于，所述AprilTag检测工具包包括AprilTag 3、AprilTags C++、VISP。
5.根据权利要求1所述的一种工业通用零件6D位姿数据集的构建方法，其特征在于，所述S3具体为：
S31：生成多个工业通用零件的三维模型以及对应的三维模型点云，指定多个工业通用零件的三维模型对应的先验摆放位姿bMoi p；
S32：根据多个工业通用零件的先验摆放位姿bMoi p和位姿跟踪板的初始位姿cMb0计算获得多个工业通用零件在相机坐标系下的先验位姿cMoi p；
S33：根据多个工业通用零件在相机坐标系下的先验位姿cMoi p，将对应的三维模型点云进行坐标转换，获得在相机坐标系下的三维模型点云Pi vir；
S34：使用增强现实方法将S31中多个工业通用零件的三维模型以对应的相机坐标系下的先验位姿cMoi p渲染，获得对应的渲染图像后再实时呈现至位姿跟踪板的虚实交互界面，将多个工业通用零件摆放至位姿跟踪板并根据零件的渲染图像进行相应零件的位姿调整，实现多个工业通用零件摆放位姿的虚实粗配准；
S35：使用深度相机获取位姿跟踪板上所摆放工业通用零件的深度点云，将深度点云进行坐标转换后，获得多个工业通用零件在相机坐标系下对应的三维实际点云Pi real；
S36：利用迭代最近点ICP算法对多个工业通用零件在相机坐标系下的三维模型点云Pi vir和在相机坐标系下的三维实际点云Pi real进行虚实精配准，分别获得多个工业通用零件对应的真实零件与先验摆放位姿bMoi p下的三维模型之间的相对位姿oi pMoi，进而计算获得多个工业通用零件对应的精配准后的摆放位姿bMoi，记为多个工业通用零件对应的摆放位姿bMoi。
6.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～5任一所述的方法。
7.根据权利要求6所述的一种存储介质，其特征在于，其中所述的计算机程序为对应实现权利要求1～5任一所述方法的指令。
CN202211472379.7A 2022-11-23 2022-11-23 一种工业通用零件6d位姿数据集的构建方法 Pending CN115761407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211472379.7A CN115761407A (zh) 2022-11-23 2022-11-23 一种工业通用零件6d位姿数据集的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211472379.7A CN115761407A (zh) 2022-11-23 2022-11-23 一种工业通用零件6d位姿数据集的构建方法

Publications (1)

Publication Number Publication Date
CN115761407A true CN115761407A (zh) 2023-03-07

Family

ID=85335798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211472379.7A Pending CN115761407A (zh) 2022-11-23 2022-11-23 一种工业通用零件6d位姿数据集的构建方法

Country Status (1)

Country Link
CN (1) CN115761407A (zh)

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN106553195B (zh) 工业机器人抓取过程中的物体6自由度定位方法及系统
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
KR100793838B1 (ko) 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
US9787960B2 (en) Image processing apparatus, image processing system, image processing method, and computer program
CN108288294A (zh) 一种3d相机群的外参标定方法
CN111127422A (zh) 图像标注方法、装置、系统及主机
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
JP2016103230A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016167229A (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
Zhou et al. Line-based camera calibration with lens distortion correction from a single image
CN109613974B (zh) 一种大场景下的ar家居体验方法
Petit et al. A robust model-based tracker combining geometrical and color edge information
WO2023116430A1 (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
CN114004883A (zh) 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质
CN112348890B (zh) 一种空间定位方法、装置及计算机可读存储介质
CN115564842A (zh) 双目鱼眼相机的参数标定方法、装置、设备及存储介质
CN113763478A (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN115201883A (zh) 一种运动目标视频定位测速系统及方法
CN114283079A (zh) 一种基于图卡拍摄校正的方法及设备
CN116051537A (zh) 基于单目深度估计的农作物株高测量方法
CN115719377A (zh) 一种六自由度位姿估计数据集自动采集系统
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN109215128B (zh) 物体运动姿态图像的合成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination