CN110853103B - 一种用于深度学习姿态估计的数据集制作方法 - Google Patents

一种用于深度学习姿态估计的数据集制作方法 Download PDF

Info

Publication number
CN110853103B
CN110853103B CN201911097958.6A CN201911097958A CN110853103B CN 110853103 B CN110853103 B CN 110853103B CN 201911097958 A CN201911097958 A CN 201911097958A CN 110853103 B CN110853103 B CN 110853103B
Authority
CN
China
Prior art keywords
target object
coordinate system
data set
camera
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911097958.6A
Other languages
English (en)
Other versions
CN110853103A (zh
Inventor
高萌
罗宇
徐坤林
周星
陈思敏
黄键
周伟娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Institute Of Intelligent Equipment Technology
Original Assignee
Foshan Institute Of Intelligent Equipment Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Institute Of Intelligent Equipment Technology filed Critical Foshan Institute Of Intelligent Equipment Technology
Priority to CN201911097958.6A priority Critical patent/CN110853103B/zh
Publication of CN110853103A publication Critical patent/CN110853103A/zh
Application granted granted Critical
Publication of CN110853103B publication Critical patent/CN110853103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明涉及数据集制作方法，尤其涉及一种用于深度学习姿态估计的数据集制作方法。解决了传统LineMod格式数据集制作需要制作三维模型从而得到目标的三维信息、制作不规则物体的三维模型非常复杂且精度不高的问题。利用二维码识别的信息和目标物体最小外接矩形的尺寸得到目标物体的三维坐标信息，规避了三维模型的制作，并且规划了一套标准的数据集制作流程，对于深度学习在姿态估计方面的应用具有重要的使用意义。本发明利用深度学习模型yolo6d对数据集进行训练并测试，最终准确率都高于95％。

Description

一种用于深度学习姿态估计的数据集制作方法
【技术领域】
本发明涉及数据集制作方法，尤其涉及一种用于深度学习姿态估计的数据集制作方法。
【背景技术】
姿态估计一直以来都是视觉领域研究者必不可少的研究内容，姿态估计是许多空间任务的基础，也是移动机器人移动和机器人抓取的前提，传统的姿态估计算法已经发展了几十年，取得成就的同时也遇到了不少技术瓶颈。深度学习的兴起重新给了姿态估计新的思路，随着深度学习的发展，模型的识别能力也越来越强，二维的目标检测技术已经非常成熟，三维姿态估计算法近几年也层出不穷，日臻完善，并且已经具备很大的实用价值。
姿态估计的第一步就是高精度的样本数据集，但是传统的LineMod格式数据集制作过程复杂繁琐，尤其数据集中需要精准的三维模型很难获取，特别是对于不规则物体。本文提出的方法用计算目标的最小外接矩形的八个顶点的坐标来避开三维模型的制作，同时实现了高质量数据集的制作。
【发明内容】
本发明的旨在解决上述问题而提供一种用于深度学习姿态估计的数据集制作方法，该方法利用二维码识别的信息和目标物体最小外接矩形的尺寸得到目标物体的三维坐标信息，规避了三维模型的制作，并且规划了一套标准的数据集制作流程，对于深度学习在姿态估计方面的应用具有重要的使用意义。
为实现上述目的，一种用于深度学习姿态估计的数据集制作方法，包括如下步骤：
S1：准备一采集照片的相机，利用棋盘格对该相机进行相机标定，得到相机的内参数、外参数；
S2：生成并打印包括至少一个二维码的码盘，将目标物体摆放于码盘平面上；
S3：用相机采集目标物体及码盘的图片，图片中至少一个二维码不被目标物体掩盖；
S4：识别图片中的二维码，选择一个不被目标物体掩盖的二维码并以该二维码的中心点为原点设立世界坐标系，计算得出世界坐标系相对相机坐标系的(r，t)，r和t分别代表旋转和平移；
S5：测量目标物体尺寸和目标物体相对于被选择二维码之间的距离，计算得出目标物体最小外接矩形的8个顶点的世界坐标；
S6：通过相机的内外参数、(r，t)以及8个顶点的世界坐标计算出8个顶点的像素坐标；
S7：将8个顶点连接成6个面，将面内的像素值设置为255，面外的像素值设置为0，得到相应的掩码mask；面内像素值设置不变，面外像素值设置为0，得到mask-show；通过观察mask-show的完整性判断8个顶点的像素坐标是否精确，不精确剔除图片，重新执行步骤S3，精确执行步骤S8；
S8：由掩码mask、目标物体尺寸及像素坐标生成LineMod格式数据集。
进一步的，还包括顶点顺序检测步骤，步骤S6计算得出8个顶点的像素坐标后，对8个顶点拟定顺序，通过重投影检查映射在目标物体上的顶点顺序是否和拟定顺序一致，如果不一致，则调整成一致，再执行步骤S7。
作为本发明的一种具体实施方案，步骤S2中，生成并打印包括两个二维码的码盘，将目标物体摆放于两个二维码之间。
在具体实施方案步骤S4中，若两个二维码均未被掩盖且可识别，选择其中一个二维码的中心为原点设立世界坐标系，计算得出世界坐标系相对相机坐标系的(r，t)；若有一个二维码被掩盖，则选择另一个二维码并以该二维码的中心点为原点设立世界坐标系，计算得出世界坐标系相对相机坐标系的(r，t)。
本发明的贡献在于规避了传统LineMod格式数据集制作需要制作三维模型的问题。利用二维码识别的信息和目标物体最小外接矩形的尺寸得到目标物体的三维坐标信息，规避了三维模型的制作，并且规划了一套标准的数据集制作流程，对于深度学习在姿态估计方面的应用具有重要的使用意义。本发明利用深度学习模型yolo6d对数据集进行训练并测试，最终准确率都高于95％。
【附图说明】
图1是本发明实施的步骤流程图。
图2是本发明中方形码盘的示意图。
图3为目标物体最小外接矩形八个顶点重投影效果图。
图4为本发明拟定的目标物体最小外接矩形八个顶点的顺序。
图5为牛奶盒子mask示意图。
图6为牛奶盒子mask-show示意图。
图7是LineMod格式数据集形成节点示意图。
【具体实施方式】
下列实施例是对本发明的进一步解释和补充，对本发明不构成任何限制。
实施例1
本实施例中的目标物体以牛奶盒为例。
S1：准备一采集照片的相机，利用棋盘格对该相机进行相机标定，得到相机的内参数mtx和外参数dist，同时也确定相机坐标系，因为相机坐标系是以相机光心为原点的；
S2：生成并打印包括至少一个二维码的码盘，将牛奶盒摆放于码盘平面上；二维码由opencv中aruco库生成，码盘打印效果如图2所示；
S3：用相机采集牛奶盒及码盘的图片，图片中至少一个二维码不被牛奶盒掩盖；采集图片效果如图3所示。
S4：识别图片中的二维码，选择一个不被牛奶盒掩盖的二维码并以该二维码的中心点为原点设立世界坐标系，计算得出世界坐标系相对相机坐标系的(r，t)，r和t分别代表旋转和平移；如图3所示。
首先通过aruco库中的detectMarkers(gray,aruco_dict)得到码盘所有二维码的角点信息corners和二维码id；其中参数gray为灰度图，aruco_dict为二维码的字典信息。然后再由aruco库中的estimatePoseSingleMarkers(corners[i],0.07,mtx,dist))计算得到指定二维码世界坐标相对于相机坐标的r、t；其中corners[i]为指定二维码的角点信息，0.07为本发明采用的二维码的尺寸单位为m，mtx为相机内参，dist为相机外参，detectMarkers(gray,aruco_dict)及estimatePoseSingleMarkers(corners[i],0.07,mtx,dist))均为常用的调用函数。
S5：测量牛奶盒尺寸和牛奶盒相对于被选择二维码之间的距离，计算得出牛奶盒最小外接矩形的8个顶点的世界坐标；
S6：通过相机的内外参数、(r，t)以及8个顶点的世界坐标计算出8个顶点的像素坐标；通过opencv提供的projectpoint函数计算8个顶点的像素坐标。
S7：将8个顶点连接成6个面，将面内的像素值设置为255，面外的像素值设置为0，得到相应的掩码mask；面内像素值设置不变，面外像素值设置为0，得到mask-show；通过观察mask-show的完整性判断8个顶点的像素坐标是否精确，不精确剔除图片，重新执行步骤S3，精确执行步骤S8；
S8：由掩码mask、牛奶盒尺寸及像素坐标生成LineMod格式数据集，LineMod格式数据集形成节点过程如图7所示。生成的LineMod格式数据集，利用深度学习模型yolo6d进行训练并测试，最终准确率都高于95％。
实施例2
进一步的，还包括顶点顺序检测步骤，步骤S6计算得出8个顶点的像素坐标后，对8个顶点拟定顺序，通过重投影检查映射在牛奶盒上的顶点顺序是否和拟定顺序一致，如果不一致，则调整成一致，再执行步骤S7。如图4所示，首先确拟定8个顶点的标号分别为1-8，并给每个顶点设置一个标记，假如图4右侧被设定为正面，在采集图片的时候牛奶盒放反了，那么此时的定顶点1对应于原来的5，3对应7，2对应6，4对应8，那么此时的点的正确顺序应为56781234，将顶点从1-8顺序标号调整成56781234即可。
实施例3
本实施例步骤S2中，生成并打印包括两个二维码的码盘，将牛奶盒摆放于两个二维码之间。该实施方式主要是为了保证在采集图片时至少有一个二维码不被牛奶盒掩盖，从而可被采集和识别。
实施例4
也可生成包含若干个二维码的码盘，若干个二维码将牛奶盒包围，从而保证在任何角度采集图片均至少有一个二维码不被牛奶盒掩盖。
实施例5
在实施例3的基础上，若两个二维码均未被掩盖且可识别，选择其中一个二维码的中心为原点设立世界坐标系，计算得出世界坐标系相对相机坐标系的(r，t)；若有一个二维码被掩盖，则选择另一个二维码并以该二维码的中心点为原点设立世界坐标系，计算得出世界坐标系相对相机坐标系的(r，t)。
尽管通过以上实施例对本发明进行了揭示，但本发明的保护范围并不局限于此，在不偏离本发明构思的条件下，对以上各构件所做的变形、替换等均将落入本发明的权利要求范围内。

Claims (3)

1.一种用于深度学习姿态估计的数据集制作方法，其特征在于，包括如下步骤：
S1：准备一采集照片的相机，利用棋盘格对该相机进行相机标定，得到相机的内参数、外参数；
S2：生成并打印包括至少一个二维码的码盘，将目标物体摆放于码盘平面上；
S3：用相机采集目标物体及码盘的图片，图片中至少一个二维码不被目标物体掩盖；
S4：识别图片中的二维码，选择一个不被目标物体掩盖的二维码并以该二维码的中心点为原点设立世界坐标系，计算得出世界坐标系相对相机坐标系的（r，t），r和t分别代表旋转和平移；
S5：测量目标物体尺寸和目标物体相对于被选择二维码之间的距离，计算得出目标物体最小外接矩形的8个顶点的世界坐标；
S6：通过相机的内外参数、（r，t）以及 8个顶点的世界坐标计算出8个顶点的像素坐标；还包括顶点顺序检测步骤，步骤S6计算得出8个顶点的像素坐标后，对8个顶点拟定顺序，通过重投影检查映射在目标物体上的顶点顺序是否和拟定顺序一致，如果不一致，则调整成一致，再执行步骤S7;
S7：将8个顶点连接成6个面，将面内的像素值设置为255，面外的像素值设置为0，得到相应的掩码mask；面内像素值设置不变，面外像素值设置为0，得到mask-show；通过观察mask-show的完整性判断8个顶点的像素坐标是否精确，不精确剔除图片，重新执行步骤S3，精确执行步骤S8；
S8：由掩码mask、目标物体尺寸及像素坐标生成LineMod格式数据集。
2.如权利要求1所述的一种用于深度学习姿态估计的数据集制作方法，其特征在于：步骤S2中，生成并打印包括两个二维码的码盘，将目标物体摆放于两个二维码之间。
3.如权利要求2所述的一种用于深度学习姿态估计的数据集制作方法，其特征在于：步骤S4中，若两个二维码均未被掩盖且可识别，选择其中一个二维码的中心为原点设立世界坐标系，计算得出世界坐标系相对相机坐标系的（r，t）；若有一个二维码被掩盖，则选择另一个二维码并以该二维码的中心点为原点设立世界坐标系，计算得出世界坐标系相对相机坐标系的（r，t）。
CN201911097958.6A 2019-11-12 2019-11-12 一种用于深度学习姿态估计的数据集制作方法 Active CN110853103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911097958.6A CN110853103B (zh) 2019-11-12 2019-11-12 一种用于深度学习姿态估计的数据集制作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911097958.6A CN110853103B (zh) 2019-11-12 2019-11-12 一种用于深度学习姿态估计的数据集制作方法

Publications (2)

Publication Number Publication Date
CN110853103A CN110853103A (zh) 2020-02-28
CN110853103B true CN110853103B (zh) 2022-06-10

Family

ID=69601358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911097958.6A Active CN110853103B (zh) 2019-11-12 2019-11-12 一种用于深度学习姿态估计的数据集制作方法

Country Status (1)

Country Link
CN (1) CN110853103B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739137A (zh) * 2020-05-26 2020-10-02 复旦大学 一种三维姿态估计数据集的生成方法
CN112070844A (zh) * 2020-08-27 2020-12-11 合肥的卢深视科技有限公司 结构光系统的校准方法及装置、校准工具图、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1977544A (zh) * 2004-05-12 2007-06-06 塞特雷德股份公司 3d显示方法和设备
CN109493389A (zh) * 2018-10-15 2019-03-19 同济大学 一种基于深度学习的相机标定方法及系统
CN110276808A (zh) * 2019-06-11 2019-09-24 合肥工业大学 一种单相机结合二维码测量玻璃板不平度的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468857B1 (ko) * 2002-11-21 2005-01-29 삼성전자주식회사 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
CN102332177A (zh) * 2011-07-27 2012-01-25 深圳市幻视艺术文化传播有限公司 二维平面上实现3d图像的方法及装置
CN110390258A (zh) * 2019-06-05 2019-10-29 东南大学 图像目标三维信息标注方法
CN110344621B (zh) * 2019-06-13 2020-05-26 武汉大学 一种面向智能车库的车轮点云检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1977544A (zh) * 2004-05-12 2007-06-06 塞特雷德股份公司 3d显示方法和设备
CN109493389A (zh) * 2018-10-15 2019-03-19 同济大学 一种基于深度学习的相机标定方法及系统
CN110276808A (zh) * 2019-06-11 2019-09-24 合肥工业大学 一种单相机结合二维码测量玻璃板不平度的方法

Also Published As

Publication number Publication date
CN110853103A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP6323993B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
CN103196370B (zh) 一种导管接头空间位姿参数的测量方法和装置
CN110991227B (zh) 一种基于深度类残差网络的三维物体识别和定位方法
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及系统
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
CN110853103B (zh) 一种用于深度学习姿态估计的数据集制作方法
CN113034571B (zh) 一种基于视觉—惯性的物体三维尺寸测量方法
CN112801977A (zh) 一种基于深度学习的装配体零件相对位姿估计监测方法
CN112489099A (zh) 点云配准方法、装置、存储介质及电子设备
Tarbox et al. IVIS: An integrated volumetric inspection system
CN116309880A (zh) 基于三维重建的物体位姿确定方法、装置、设备及介质
Luo et al. Multisensor integrated stair recognition and parameters measurement system for dynamic stair climbing robots
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法
CN114037987A (zh) 一种废钢智能识别方法、装置、介质及设备
CN109636856A (zh) 基于hog特征融合算子的物体六维度位姿信息联合测量方法
CN116358517B (zh) 一种用于机器人的高度地图构建方法、系统以及存储介质
CN112381873A (zh) 一种数据标注方法及装置
KR100549511B1 (ko) 수치사진측량기술과 레이져 스캐너를 이용한 ｇｉｓ용사진도면의 제작방법
CN116309817A (zh) 一种基于rgb-d相机的托盘检测与定位方法
CN113592962B (zh) 基于机器视觉的批量硅片标识识别方法
CN115641405A (zh) 一种三维建模方法及系统
CN115719377A (zh) 一种六自由度位姿估计数据集自动采集系统
CN115451964A (zh) 基于多模态混合特征的船舶场景同时建图与定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant