CN111739137A - 一种三维姿态估计数据集的生成方法 - Google Patents
一种三维姿态估计数据集的生成方法 Download PDFInfo
- Publication number
- CN111739137A CN111739137A CN202010457966.3A CN202010457966A CN111739137A CN 111739137 A CN111739137 A CN 111739137A CN 202010457966 A CN202010457966 A CN 202010457966A CN 111739137 A CN111739137 A CN 111739137A
- Authority
- CN
- China
- Prior art keywords
- camera
- target
- software
- dimensional
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000009877 rendering Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Abstract
本发明属于计算机视觉技术领域，具体为一种三维姿态估计数据集的生成方法。本发明方法包括如下步骤：数据准备：在3D软件中导入目标的3D模型；数据处理与采集：3D软件中创建摄像机对准目标3D模型并设置摄像机运动轨迹，采集多视角目标图像数据；数据标注：利用相机标定的方法自动标注目标最小三维矩形框顶点投影到图像上的像素坐标。通过本方法可以快速生成大量带标签的目标三维姿态估计数据集。与传统方法相比，本发明方法硬件成本低、标注准确度高，且适用范围广。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种三维姿态估计数据集的生成方法。
背景技术
三维姿态估计广泛应用于机器人抓举、人体姿态识别、航天器对接等众多领域。随着深度学习的发展，不断产生新的三维姿态估计算法，模型姿态估计的能力也不断提高。深度学习之所以取得成功，归功于高容量的模型，高速增长的计算力，以及大规模标记数据的可用性。文献[1]研究表明大规模数据有助于表征学习，采用大规模的数据集进行训练，可能会对该领域产生极大的好处。在特定任务领域我们能够提供大量的数据来训练模型，但在大部分领域是难以做到的。例如卫星姿态估计问题，卫星作为国家保密资源，公开的数据很少。因此需要找到一种高效的生成三维姿态估计数据集的方法。
三维姿态估计中数据集的获取至关重要。传统的方法是利用深度相机等设备采集目标数据，但难以解决目标数据不足或者标记困难的问题。本发明提出的方法利用3D软件采集多视角目标图像数据，通过计算目标最小三维矩形框顶点的投影坐标，生成高质量的三维姿态估计数据集。
参考文献
[1]Sun C, Shrivastava A, Singh S, et al. Revisiting unreasonableeffectiveness of data in deep learning era[C]//2017 IEEE InternationalConference on Computer Vision (ICCV). IEEE, 2017: 843-852.。
发明内容
针对传统方法的不足，本发明提出一种硬件成本低、标注准确度高、适用范围广的三维姿态估计数据集的生成方法。
本发明提供的一种三维姿态估计数据集的生成方法，具体步骤为：
步骤S1、数据准备：
3D软件中导入目标3D模型，调整3D模型的大小和位置参数；
步骤S2、数据处理与采集：
3D软件中创建摄像机，设置摄像机运动轨迹、视图环境背景和光源属性，通过渲染采集目标图像数据；
步骤S3、数据标注：
通过相机标定以及坐标变换的方法标注目标最小三维矩形框顶点投影的像素坐标。
优选的，步骤S1具体包括：
步骤S11、从3D软件中导入目标的3D模型，3D软件包括但不限于3ds Max、solid works、unity等；
步骤S12、根据模型实际大小设置系统单位转换比例，并将模型组合为一个整体；
步骤S13、设置模型初始旋转角度，调整模型在世界坐标系中的位置。
优选的，步骤S2具体包括：
步骤S21、根据需求创建一个或多个摄像机，摄像机目标对准S12中组合后的模型中心；
步骤S22、创建一个图形作为摄像机的运动轨迹，并以此作为S21中摄像机的路径约束，通过调整轨迹的大小和旋转角度实现不同角度与不同距离下对目标的观测；
步骤S23、添加视图环境背景，设置光源属性；
步骤S24、设置渲染的活动时间段和渲染区域，输出摄像机视图，采集多视角目标图像数据。
优选的，步骤S3具体包括：
步骤S31、利用3D软件中度量工具，测量目标最小三维矩形框中8个顶点和中心点在世界坐标系上的空间坐标值；
步骤S32、在3D软件中导入或者制作一个标准标定板，标定3D软件中摄像机的内参，所述内参具体包括：摄像机的焦距、图像像素坐标系中光轴投影的主点坐标、坐标轴的倾斜参数、每个像素代表的实际物理值大小，摄像机径向畸变系数和切向畸变系数；
步骤S33、利用步骤S22中摄像机的运动轨迹和目标的位置信息计算摄像机的外参，所述外参具体包括：摄像机的旋转矩阵和平移矩阵，前者描述世界坐标系的坐标轴相对于摄像机坐标系的坐标轴的方向，后者描述在摄像机坐标系下，空间原点的位置；
步骤S34、根据摄像机内参和外参，构建世界坐标到像素坐标的映射关系，通过坐标转换计算目标最小三维矩形框顶点空间坐标在目标图像上的二维投影像素坐标，完成目标最小三维矩形框的标注。
本发明利用3D软件采集多视角目标图像数据，通过计算目标最小三维矩形框顶点的投影坐标，生成高质量的三维姿态估计数据集。本发明通过3D软件采集目标数据，规避了深度相机等设备的使用，相比于传统方法硬件成本低；考虑到三维姿态估计数据集标注复杂，本发明通过相机标定和坐标转换的方法标注数据，规避了人工标注，同时标注准确度高；本发明通过3D软件自由生成不同视角、不同背景和光照等条件下的目标数据，通过导入或者制作不同领域目标的三维模型，可以生成多种不同领域的三维姿态估计数据集，并且在真实数据不足或难以获得时可以起到替代真实数据的作用，适用范围广泛。本发明生成的三维姿态估计数据集通过YOLO-6D网络训练，最终测试准确率均高于90%，这对于深度学习在三维姿态估计中的应用具有重要意义。
附图说明
图1为本发明一种三维姿态估计数据集的生成方法整体流程框图。
图2为步骤S2以卫星模型为例生成的卫星数据图像。
图3为步骤S3以卫星模型为例的最小三维矩形框标注效果示意图。
具体实施方式
下面以3ds Max软件生成卫星三维姿态估计数据集为例进一步描述本发明方法。除了此处记载的实施示例外，采用本发明的内容利用其它3D软件生成不同目标三维姿态估计数据集的方法属于本发明的保护范围之内。
步骤S1、数据准备：
3ds Max软件中导入卫星3D模型，调整模型的大小和位置参数；
步骤S1具体包含如下操作：
步骤S11、下载公开的卫星3D模型，并导入3ds Max软件中；
步骤S12、将卫星3D模型组合为一个整体，设置系统单位转换，比如1单元=1毫米；
步骤S13、设置卫星旋转角度为0，并将其中心移动至世界坐标系原点处。
步骤S2、数据处理与采集：
3ds Max中创建目标摄像机，设置目标摄像机运动轨迹、视图环境背景和光源属性，模拟多角度轨道下摄像机对卫星数据的采集，渲染输出目标卫星图像。
步骤S2具体包含如下操作：
步骤S21、创建一个目标摄像机，将目标摄像机对准卫星中心即世界坐标系的原点；
步骤S22、自定义摄像机的运动轨迹，比如创建一个圆心在世界坐标系原点的圆，将目标摄像机通过路径约束将其运动轨迹固定在圆上，切换到目标摄像机视角，调整圆的半径，使得卫星在目标摄像机的视角中有一个合适的大小；
步骤S23、3ds Max环境中设置环境贴图作为数据背景，比如太空图片作为卫星图像背景，再打开精简材质编辑器，将环境贴图导入材质编辑器并将格式设置为“屏幕”，设置环境光以及摄像机的曝光参数，得到不同光源与不同背景下的卫星视图；
步骤S24、打开渲染设置，选择渲染对象为目标摄像机视图，自定义帧数范围和图片格式，比如渲染0到99帧的图像并保存为800×600的JPG文件，通过更改步骤S22中运动轨迹的旋转角度和半径，得到多角度轨道下的卫星图像数据。
步骤S3、数据标注：
以生成卫星三维姿态估计数据集为例，利用相机标定和坐标转换的方法标注卫星最小三维矩形框顶点空间坐标在二维图像上的投影，生成卫星三维姿态估计数据集。
步骤S3具体包含如下操作：
步骤S31、3ds Max中创建卷尺，测量卫星模型顶点坐标，得到卫星最小三维矩形框8个顶点及中心点在世界坐标系上的坐标；
步骤S32、3ds Max中创建一个标准标定板模型，比如7×6黑白棋盘格，仿照步骤S2，采集不同角度和距离下棋盘格的图片10~20张左右，利用MATLAB或者OpenCV进行棋盘标定，得到3ds Max中目标摄像机的内参；
步骤S33、通过摄像机运动轨迹和目标位置计算摄像机外参，比如步骤S22中摄像机运动轨迹为圆心在世界坐标系原点处的圆，已知圆的旋转角度，利用旋转矩阵列出目标摄像机的位置变化函数，目标摄像机坐标系的原点为目标摄像机所在的位置，摄像机坐标系的z轴为目标摄像机与目标中心的连线，y轴为运动轨迹处的切线，由此可换算出相机坐标系与世界坐标系之间的转换关系，每一帧卫星图像对应一个目标摄像机的外参；
步骤S34，利用摄像机的外参将世界坐标系转换到相机坐标系，再通过内参将相机坐标系转换到图像像素坐标系，通过坐标转换，得到卫星最小三维矩形框顶点坐标在二维图像上投影的像素坐标，即卫星三维姿态估计数据集的目标最小三维矩形框投影的像素坐标标签。
本发明的贡献在于利用3D软件实现多角度轨道下对目标数据的采集，并且自动标注目标最小三维矩形框。以生成卫星三维姿态估计数据集为例，传统方法一般是实地搭建卫星模型，利用深度相机等方式采集卫星数据，再对采集的数据进行人工标注，需要耗费较大的人力物力。本发明采用卫星3D模型，利用3D软件调整卫星背景、角度和位置信息获取多视角目标卫星图像数据，并实现卫星三维姿态数据集的自动标注。
Claims (4)
1.一种三维姿态估计数据集的生成方法，其特征在于，具体步骤为：
步骤S1、数据准备：
3D软件中导入目标3D模型，调整3D模型的大小和位置参数；
步骤S2、数据处理与采集：
3D软件中创建摄像机，设置摄像机运动轨迹、视图环境背景和光源属性，通过渲染采集目标图像数据；
步骤S3、数据标注：
通过相机标定以及坐标变换的方法标注目标最小三维矩形框顶点投影的像素坐标。
2.根据权利要求1所述的三维姿态估计数据集的生成方法，其特征在于，步骤S1具体包括：
步骤S11、从3D软件中导入目标的3D模型，所述3D软件包括3ds Max、solid works、unity；
步骤S12、根据模型实际大小设置系统单位转换比例，并将模型组合为一个整体；
步骤S13、设置模型初始旋转角度，调整模型在世界坐标系中的位置。
3.根据权利要求2所述的三维姿态估计数据集的生成方法，其特征在于，步骤S2具体包括：
步骤S21、根据需求创建一个或多个摄像机，摄像机目标对准S12中组合后的模型中心；
步骤S22、创建一个图形作为摄像机的运动轨迹，并以此作为S21中摄像机的路径约束，通过调整轨迹的大小和旋转角度实现不同角度与不同距离下对目标的观测；
步骤S23、添加视图环境背景，设置光源属性；
步骤S24、设置渲染的活动时间段和渲染区域，输出摄像机视图，采集多视角目标图像数据。
4.根据权利要求3所述的三维姿态估计数据集的生成方法，其特征在于，步骤S3具体包括：
步骤S31、利用3D软件中度量工具，测量目标最小三维矩形框中8个顶点和中心点在世界坐标系上的空间坐标值；
步骤S32、在3D软件中导入或者制作一个标准标定板，标定3D软件中摄像机的内参；所述内参包括：摄像机的焦距、图像像素坐标系中光轴投影的主点坐标、坐标轴的倾斜参数、每个像素代表的实际物理值大小，摄像机径向畸变系数和切向畸变系数；
步骤S33、利用步骤S22中摄像机的运动轨迹和目标的位置信息计算摄像机的外参，所述外参包括：摄像机的旋转矩阵和平移矩阵，前者描述世界坐标系的坐标轴相对于摄像机坐标系的坐标轴的方向，后者描述在摄像机坐标系下，空间原点的位置；
步骤S34、根据摄像机内参和外参，构建世界坐标到像素坐标的映射关系，通过坐标转换计算目标最小三维矩形框顶点空间坐标在目标图像上的二维投影像素坐标，完成目标最小三维矩形框的标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457966.3A CN111739137A (zh) | 2020-05-26 | 2020-05-26 | 一种三维姿态估计数据集的生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457966.3A CN111739137A (zh) | 2020-05-26 | 2020-05-26 | 一种三维姿态估计数据集的生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111739137A true CN111739137A (zh) | 2020-10-02 |
Family
ID=72647737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010457966.3A Pending CN111739137A (zh) | 2020-05-26 | 2020-05-26 | 一种三维姿态估计数据集的生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111739137A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112613397A (zh) * | 2020-12-21 | 2021-04-06 | 中国人民解放军战略支援部队航天工程大学 | 多视角光学卫星遥感影像目标识别训练样本集构建方法 |
| CN112686948A (zh) * | 2020-12-25 | 2021-04-20 | 北京像素软件科技股份有限公司 | 编辑器操作方法、装置和电子设备 |
| CN112818990A (zh) * | 2021-01-29 | 2021-05-18 | 中国人民解放军军事科学院国防科技创新研究院 | 目标检测框的生成方法、图像数据自动标注方法及系统 |
| CN113191388A (zh) * | 2021-03-31 | 2021-07-30 | 中国船舶重工集团公司第七一九研究所 | 用于目标检测模型训练的图像采集系统及样本生成方法 |
| CN114216482A (zh) * | 2021-12-14 | 2022-03-22 | Oppo广东移动通信有限公司 | 轨迹外参真值确定方法及装置、存储介质、电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104103081A (zh) * | 2014-07-14 | 2014-10-15 | 西安电子科技大学 | 一种虚拟的多摄像机目标跟踪视频素材产生方法 |
| CN107452060A (zh) * | 2017-06-27 | 2017-12-08 | 西安电子科技大学 | 全角度自动采集生成虚拟数据集方法 |
| CN110390258A (zh) * | 2019-06-05 | 2019-10-29 | 东南大学 | 图像目标三维信息标注方法 |
| US20200005083A1 (en) * | 2018-07-02 | 2020-01-02 | Mastercard International Incorporated | Methods for generating a dataset of corresponding images for machine vision learning |
| CN110853103A (zh) * | 2019-11-12 | 2020-02-28 | 佛山智能装备技术研究院 | 一种用于深度学习姿态估计的数据集制作方法 |
-
2020
- 2020-05-26 CN CN202010457966.3A patent/CN111739137A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104103081A (zh) * | 2014-07-14 | 2014-10-15 | 西安电子科技大学 | 一种虚拟的多摄像机目标跟踪视频素材产生方法 |
| CN107452060A (zh) * | 2017-06-27 | 2017-12-08 | 西安电子科技大学 | 全角度自动采集生成虚拟数据集方法 |
| US20200005083A1 (en) * | 2018-07-02 | 2020-01-02 | Mastercard International Incorporated | Methods for generating a dataset of corresponding images for machine vision learning |
| CN110390258A (zh) * | 2019-06-05 | 2019-10-29 | 东南大学 | 图像目标三维信息标注方法 |
| CN110853103A (zh) * | 2019-11-12 | 2020-02-28 | 佛山智能装备技术研究院 | 一种用于深度学习姿态估计的数据集制作方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112613397A (zh) * | 2020-12-21 | 2021-04-06 | 中国人民解放军战略支援部队航天工程大学 | 多视角光学卫星遥感影像目标识别训练样本集构建方法 |
| CN112613397B (zh) * | 2020-12-21 | 2022-11-29 | 中国人民解放军战略支援部队航天工程大学 | 多视角光学卫星遥感影像目标识别训练样本集构建方法 |
| CN112686948A (zh) * | 2020-12-25 | 2021-04-20 | 北京像素软件科技股份有限公司 | 编辑器操作方法、装置和电子设备 |
| CN112818990A (zh) * | 2021-01-29 | 2021-05-18 | 中国人民解放军军事科学院国防科技创新研究院 | 目标检测框的生成方法、图像数据自动标注方法及系统 |
| CN112818990B (zh) * | 2021-01-29 | 2023-08-22 | 中国人民解放军军事科学院国防科技创新研究院 | 目标检测框的生成方法、图像数据自动标注方法及系统 |
| CN113191388A (zh) * | 2021-03-31 | 2021-07-30 | 中国船舶重工集团公司第七一九研究所 | 用于目标检测模型训练的图像采集系统及样本生成方法 |
| CN113191388B (zh) * | 2021-03-31 | 2023-08-25 | 中国船舶重工集团公司第七一九研究所 | 用于目标检测模型训练的图像采集系统及样本生成方法 |
| CN114216482A (zh) * | 2021-12-14 | 2022-03-22 | Oppo广东移动通信有限公司 | 轨迹外参真值确定方法及装置、存储介质、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111739137A (zh) | 一种三维姿态估计数据集的生成方法 | |
| CN108629831B (zh) | 基于参数化人体模板和惯性测量的三维人体重建方法及系统 | |
| US10984554B2 (en) | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium | |
| WO2019219012A1 (zh) | 联合刚性运动和非刚性形变的三维重建方法及装置 | |
| WO2019219013A1 (zh) | 联合优化人体体态与外观模型的三维重建方法及系统 | |
| CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
| CN110458932B (zh) | 图像处理方法、装置、系统、存储介质和图像扫描设备 | |
| SG189284A1 (en) | Rapid 3d modeling | |
| WO2019219014A1 (zh) | 基于光影优化的三维几何与本征成份重建方法及装置 | |
| CN110544273B (zh) | 运动捕捉方法、装置以及系统 | |
| WO2022088881A1 (en) | Method, apparatus and system for generating a three-dimensional model of a scene | |
| CN110458964B (zh) | 一种现实环境动态光照的实时计算方法 | |
| CN114066983A (zh) | 一种基于两轴转台的智能补扫方法和计算机可读存储介质 | |
| CN111880649A (zh) | Ar观景仪的演示方法、系统及计算机可读储存介质 | |
| CN112270702A (zh) | 体积测量方法及装置、计算机可读介质和电子设备 | |
| CN109214350B (zh) | 一种光照参数的确定方法、装置、设备及存储介质 | |
| CN115527016A (zh) | 一种三维gis视频融合注册方法、系统、介质、设备及终端 | |
| CN112991457B (zh) | 手术导航中投影仪空间位置和内外参标定方法、装置 | |
| Corsini et al. | Stereo light probe | |
| CN109859255B (zh) | 大动作运动物体的多视角非同时采集与重建方法 | |
| CN101751654A (zh) | 真实环境中采集的灯光信息在虚拟现实中的应用 | |
| CN111882590A (zh) | 一种基于单张图片定位的ar场景应用方法 | |
| CN109166176B (zh) | 三维人脸图像的生成方法与装置 | |
| CN116797733A (zh) | 实时三维物体动态重建方法 | |
| CN107478227B (zh) | 交互式大型空间的定位算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |