CN111951333A - 六维姿态数据集自动生成方法、系统、终端以及存储介质 - Google Patents
六维姿态数据集自动生成方法、系统、终端以及存储介质 Download PDFInfo
- Publication number
- CN111951333A CN111951333A CN202010734849.7A CN202010734849A CN111951333A CN 111951333 A CN111951333 A CN 111951333A CN 202010734849 A CN202010734849 A CN 202010734849A CN 111951333 A CN111951333 A CN 111951333A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- dimensional model
- data set
- automatic generation
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000008859 change Effects 0.000 claims abstract description 10
- 239000003086 colorant Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 12
- 238000013519 translation Methods 0.000 description 6
- 230000014616 translation Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000010146 3D printing Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种六维姿态数据集自动生成方法、系统、终端以及存储介质。包括：构建基于OpenGL虚拟环境的数据集自动生成平台；获取物体的三维模型以及所述三维模型的六维姿态参数，并将所述三维模型以及六维姿态参数导入所述数据集自动生成平台；所述数据集自动生成平台根据所述六维姿态参数控制所述三维模型在OpenGL虚拟环境中变动姿态，并通过虚拟相机采集所述三维模型在各个六维姿态下的形态，生成各个六维姿态下所述物体的RGB彩色图像和对应的深度图像，并标注所述图像的六维姿态标签。本申请通过简单的操作以高效的生成物体不同六维姿态下的RGB彩色图像和深度图像以及六维姿态标签，耗时低，并节约了人力和金钱的成本消耗。
Description
技术领域
本申请属于六维姿态估计技术领域，特别涉及一种六维姿态数据集自动生成方法、系统、终端以及存储介质。
背景技术
在计算机视觉中的六维姿态估计的深度学习任务中，需要有大量RGB彩色图像、深度图像及对应的六维姿态标签的数据集来进行训练。传统方法中，获取数据集的方式为：通过人工手持相机、手机等拍摄设备围着物体从不同的角度进行拍摄，然后计算出每张照片中被拍摄物体相对于拍摄设备的六维姿态标签，以获取到用于训练的数据集。具体如图1所示，为传统方法中获取六维姿态数据集的流程图。然而，由于深度学习的数据集通常需要大量的图像以及精准的标签，传统的数据集获取方法需要花费大量的时间、人力、金钱等，操作繁琐且计算复杂度高。
发明内容
本申请提供了一种六维姿态数据集自动生成方法、系统、终端以及存储介质，旨在解决现有数据集获取方法存在的需要花费大量的时间、人力、金钱，操作繁琐且计算复杂度高的技术问题。
为了解决上述问题，本申请提供了如下技术方案：
一种六维姿态数据集自动生成方法，包括以下步骤：
步骤a：构建基于OpenGL虚拟环境的数据集自动生成平台；
步骤b：获取物体的三维模型以及所述三维模型的六维姿态参数，并将所述三维模型以及六维姿态参数导入所述数据集自动生成平台；
步骤c：所述数据集自动生成平台根据所述六维姿态参数控制所述三维模型在OpenGL虚拟环境中变动姿态，并通过所述OpenGL虚拟环境中的虚拟相机采集所述三维模型在各个六维姿态下的形态，生成各个六维姿态下所述物体的RGB彩色图像和对应的深度图像，并标注所述图像的六维姿态标签。
本申请实施例采取的技术方案还包括：所述步骤a中，所述获取物体的三维模型以及所述三维模型的六维姿态参数还包括：
将所述三维模型和六维姿态参数转换成导入所述数据集自动生成平台的统一文件格式。
本申请实施例采取的技术方案还包括：在所述步骤a中，所述将所述三维模型以及六维姿态参数导入所述数据集自动生成平台还包括：
设置所述三维模型在所述OpenGL虚拟环境中的世界坐标系中的初始位置，并根据每个面片顶点的x，y，z坐标、法线坐标和颜色将所述三维模型的初始形态绘制在所述世界坐标系中；
设置所述虚拟相机在所述OpenGL虚拟环境中的世界坐标系中的位置、朝向、法线、视角、拍摄图片的长宽比、近截面以及远截面。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述三维模型在各个六维姿态下的形态为所述三维模型初始形态下各顶点的坐标(x,y,z)乘上六维姿态[R|t]，即
本申请实施例采取的技术方案还包括：在所述步骤c中，所述生成各个六维姿态下所述物体的RGB彩色图像包括：
利用所述虚拟相机的成像原理，将所述近截面与远截面之间的物体正射投影到所述近截面上，并以二进制整型数字存储到颜色缓存中；
获取所述颜色缓存中的二进制整型数字，并将所述二进制整型数字按顺序分配为每个像素上的R、G、B值，生成所述RGB彩色图像。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述生成各个六维姿态下所述物体的深度图像包括：
对所述近截面到远截面之间分配深度值，得到所述物体前表面的深度值，并将所述深度值以浮点型数值存储到深度缓存中；
获取所述深度缓存中的浮点型数值，对所述浮点型数值进行计算，得到所述三维模型的前表面距所述虚拟相机的真实距离，并将所述浮点型数值按顺序分配到每个像素上，得到对应的深度图像。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述生成各个六维姿态下所述物体的RGB彩色图像和对应的深度图像，并标注所述图像的六维姿态标签还包括：
保存所述虚拟相机采集的RGB彩色图像和深度图像，并将采集图像时对应的六维姿态作为所述RGB彩色图像和深度图像的六维姿态标签。
本申请实施例采取的另一技术方案为：一种六维姿态数据集自动生成系统，包括：
平台构建模块：用于构建基于OpenGL虚拟环境的数据集自动生成平台；
模型及参数获取模块：用于获取物体的三维模型以及所述三维模型的六维姿态参数；
数据导入模块：用于将所述三维模型以及六维姿态参数导入所述数据集自动生成平台；
图像采集模块：用于根据所述六维姿态参数控制所述三维模型在OpenGL虚拟环境中变动姿态，并通过所述OpenGL虚拟环境中的虚拟相机采集所述三维模型在各个六维姿态下的形态，生成各个六维姿态下所述物体的RGB彩色图像和对应的深度图像，并标注所述图像的六维姿态标签。
本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述六维姿态数据集自动生成方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制六维姿态数据集自动生成。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述六维姿态数据集自动生成方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的六维姿态数据集自动生成方法、系统、终端以及存储介质通过将物体的三维模型和六维姿态参数导入基于OpenGL虚拟环境的数据集自动生成平台，该平台根据六维姿态参数控制三维模型在虚拟环境中不断变动姿态，并由虚拟相机自动拍摄每个六维姿态下该物体的RGB彩色图像和对应的深度图像，并自动标注六维姿态标签。相对于现有技术，本申请实施例通过简单的操作以高效的生成三维模型不同的六维姿态下的RGB彩色图像和深度图像以及六维姿态标签，耗时低，并节约了人力和金钱的成本消耗。
附图说明
图1为传统方法中获取六维姿态数据集的流程图；
图2是本申请实施例的六维姿态数据集自动生成方法的流程图；
图3是本申请实施例的数据集自动生成平台的工作原理图；
图4是本申请实施例的虚拟相机设置示意图；
图5为本申请实施例的六维姿态数据集自动生成系统结构示意图；
图6为本申请实施例的stl格式的三维模型的实验结果示意图；其中，(a)为真实物体；(b)是将真实物体的stl三维模型导入本申请实施例的自动生成平台得到的RGB彩色图像，(c)是由(b)中的三维模型进行一定的姿态变换所得到的RGB彩色图像；(d)是该物体的stl三维模型的真实三维点云的正视图和左视图；(e)是真实物体的stl三维模型导入本申请实施例的自动生成平台得到的深度图像，再将其转化成三维点云的正视图和左视图；
图7为本申请实施例的ply格式的三维模型的实验结果示意图；其中，(a)为真实物体，(b)为虚拟相机拍摄的ply三维模型，(c)是由(b)中的三维模型进行一定的姿态变换所得到的RGB彩色图像；(d)是该物体的ply三维模型的真实三维点云的正视图和左视图；(e)是该物体的ply三维模型导入本申请实施例的自动生成平台得到的深度图像，再将其转化成三维点云的正视图和左视图；
图8为本申请实施例的终端结构示意图；
图9为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
为了解决现有技术的不足，本申请实施例的六维姿态数据集自动生成方法通过构建一个基于OpenGL(Open Graphics Library，开放图形库)虚拟环境的数据集自动生成平台，将物体的三维模型和相对于虚拟相机的六维姿态参数导入该平台，该平台根据六维姿态参数控制三维模型在虚拟环境中不断变动姿态，由虚拟相机自动拍摄每个六维姿态下该物体的RGB彩色图像和对应的深度图像，并自动标注六维姿态标签。
具体的，请参阅图2，是本申请实施例的六维姿态数据集自动生成方法的流程图。本申请实施例的六维姿态数据集自动生成方法包括以下步骤：
步骤100：构建基于OpenGL虚拟环境的数据集自动生成平台；
步骤200：获取物体的三维模型以及该三维模型相对于虚拟相机的六维姿态参数；
步骤200中，六维姿态[R|t]是相对于拍摄设备的三维平移和三维旋转。三维平移是从拍摄设备坐标系原点开始沿着X、Y、Z轴移动到所观察物体的坐标系原点之间的距离。三维平移可以表示为一个三维的向量
而三维旋转可以看作是从拍摄设备坐标系到所观察物体的坐标系分别绕着X、Y、Z轴所旋转的角度，可以用一个3×3的矩阵来表示，即R∈SO(3)。假设该三维模型绕其原始的X、Y、Z轴所旋转的角度分别为γ、β、α，而沿其原始的X、Y、Z轴平移的距离为a、b、c，则该三维模型的六维姿态[R|t]可以表示为：
通过设置γ、β、α、a、b、c的取值范围以及取值间隔，即可得到一系列的六维姿态参数值。
步骤300：对三维模型和六维姿态参数进行预处理，将其转换成为导入数据集自动生成平台的统一文件格式；
步骤300中，三维模型的文件格式包括stl、ply、obj等，由于不同文件格式所存储的三维模型的各种信息模式都不一样，不便于数据集自动生成平台的处理。例如，stl格式的三维模型是三维打印的通用格式，该格式的文件用一个一个的三角面片组合成三角网格来表现三维物体，以文本文件或者二进制文件的形式依次保存构成该三维模型的每一个三角面片的法线坐标和其三个顶点的x，y，z坐标。而ply格式的三维模型，通过多边形面片的集合来描绘三维物体，并以文本文件或者二进制文件的形式保存了每个顶点的x，y，z坐标、法线坐标、颜色、透明度等，以及每个多边形的顶点数和每个顶点的编号。为了在虚拟环境中绘制出三维模型，需要按照一个一个面片的顺序提取出不同格式文件中面片顶点的x，y，z坐标，法线坐标以及颜色信息等等主要信息。因此本申请实施例通过将不同格式的三维模型和六维姿态参数转换为统一的文件格式，便于不同格式的三维模型导入虚拟环境以及后续的姿态变动控制。
步骤400：将预处理后的三维模型和六维姿态参数导入数据集自动生成平台，对OpenGL虚拟环境中的三维模型和虚拟相机进行设置；
步骤400中，如图3所示，是本申请实施例的数据集自动生成平台的工作原理图。在OpenGL虚拟环境中有一个大的三维坐标系，即世界坐标系，通过该坐标系进行虚拟相机的设置。具体包括：
1、设置三维模型在该坐标系中的初始位置(通常初始位置为该坐标系的原点处)，并根据每个面片顶点的x，y，z坐标、法线坐标和颜色等将三维模型的初始形态绘制在该坐标系中。
2、设置虚拟相机在该坐标系中的位置(通常设置为该坐标系的原点处)、朝向、法线、视角、拍摄图片的长宽比以及近截面、远截面等，具体如图4所示。
步骤500：根据各个六维姿态参数控制三维模型在OpenGL虚拟环境中循环变动姿态，得到各个六维姿态下的三维模型，并通过虚拟相机采集三维模型在各个六维姿态下的形态，生成各个六维姿态下物体的RGB彩色图像和对应的深度图像；
步骤500中，三维模型在各个六维姿态下的形态即为该三维模型初始形态下各顶点的坐标(x,y,z)乘上六维姿态[R|t]，即
RGB彩色图像和深度图像生成原理具体包括：
1、得到不同姿态下的三维模型后，利用虚拟相机的成像原理，将近截面与远截面之间的物体正射投影到近截面上，并以二进制整型数字存储到颜色缓存中；
2、获取颜色缓存中的二进制整型数字，并将二进制整型数字按顺序分配为每个像素上的R、G、B值，组成RGB彩色图像；其中，由于从颜色缓存中读取的二进制整型数字是按照一张图片中从左到右、从下到上的每个像素点的R，G，B值进行排列的，因此，二进制整型数字的分配顺序与其排列顺序相同。
3、对近截面到远截面之间分配深度值，其中近截面深度值为0，远截面深度值为1，从而得到物体前表面(物体朝向虚拟相机的面为前表面，背向虚拟相机的面为后表面)的深度值，并将深度值以浮点型数值存储到深度缓存中；
4、获取深度缓存中的浮点型数值，对该浮点型数值进行计算，得到三维模型的前表面距所述虚拟相机的真实距离，并将浮点型数值按顺序分配到每个像素上，得到对应的深度图像；其中，真实距离计算公式为：
上述中，其中，由于从深度缓存中读取的浮点型数值是按照一张图片中从左到右、从下到上的每个像素点的深度值进行排列的，因此，浮点型数值的分配顺序与其排列顺序相同。
步骤600：保存虚拟相机采集的RGB彩色图像和深度图像，并将采集图像时对应的六维姿态[R|t]作为RGB彩色图像和深度图像的六维姿态标签。
请参阅图5，是本申请实施例的六维姿态数据集自动生成系统的结构示意图。本申请实施例的六维姿态数据集自动生成系统包括：
平台构建模块：用于构建基于OpenGL虚拟环境的数据集自动生成平台；
模型及参数获取模块：用于获取物体的三维模型以及该三维模型相对于虚拟相机的六维姿态参数；
其中，六维姿态[R|t]是相对于拍摄设备的三维平移和三维旋转。三维平移是从拍摄设备坐标系原点开始沿着X、Y、Z轴移动到所观察物体的坐标系原点之间的距离。三维平移可以表示为一个三维的向量
而三维旋转可以看作是从拍摄设备坐标系到所观察物体的坐标系分别绕着X、Y、Z轴所旋转的角度，可以用一个3×3的矩阵来表示，即R∈SO(3)。假设该三维模型绕其原始的X、Y、Z轴所旋转的角度分别为γ、β、α，而沿其原始的X、Y、Z轴平移的距离为a、b、c，则该三维模型的六维姿态[R|t]可以表示为：
通过设置γ、β、α、a、b、c的取值范围以及取值间隔，即可得到一系列的六维姿态参数值。
数据预处理模块：用于对三维模型和六维姿态参数进行预处理，将其转换成为导入数据集自动生成平台的统一文件格式；其中，三维模型的文件格式包括stl、ply、obj等，由于不同文件格式所存储的三维模型的各种信息模式都不一样，不便于数据集自动生成平台的处理。例如，stl格式的三维模型是三维打印的通用格式，该格式的文件用一个一个的三角面片组合成三角网格来表现三维物体，以文本文件或者二进制文件的形式依次保存构成该三维模型的每一个三角面片的法线坐标和其三个顶点的x，y，z坐标。而ply格式的三维模型，通过多边形面片的集合来描绘三维物体，并以文本文件或者二进制文件的形式保存了每个顶点的x，y，z坐标、法线坐标、颜色、透明度等，以及每个多边形的顶点数和每个顶点的编号。为了在虚拟环境中绘制出三维模型，需要按照一个一个面片的顺序提取出不同格式文件中面片顶点的x，y，z坐标，法线坐标以及颜色信息等等主要信息。因此本申请实施例通过将不同格式的三维模型和六维姿态参数转换为统一的文件格式，便于不同格式的三维模型导入虚拟环境以及后续的姿态变动控制。
数据导入模块：用于将预处理后的三维模型和六维姿态参数导入数据集自动生成平台，对OpenGL虚拟环境中的三维模型和虚拟相机进行设置；其中，在OpenGL虚拟环境中有一个大的三维坐标系，即世界坐标系，通过该坐标系进行虚拟相机的设置。具体包括：
1、设置三维模型在该坐标系中的初始位置(通常初始位置为该坐标系的原点处)，并根据每个面片顶点的x，y，z坐标、法线坐标和颜色等将三维模型的初始形态绘制在该坐标系中。
2、设置虚拟相机在该坐标系中的位置(通常设置为该坐标系的原点处)、朝向、法线、视角、拍摄图片的长宽比以及近截面、远截面等，具体如图4所示。
图像采集模块：用于根据各个六维姿态参数控制三维模型在OpenGL虚拟环境中循环变动姿态，得到各个六维姿态下的三维模型，并通过虚拟相机采集三维模型在各个六维姿态下的形态，生成各个六维姿态下物体的RGB彩色图像和对应的深度图像；其中，三维模型在各个六维姿态下的形态即为该三维模型初始形态下各顶点的坐标(x,y,z)乘上六维姿态[R|t]，即
RGB彩色图像和深度图像生成原理具体包括：
1、得到不同姿态下的三维模型后，利用虚拟相机的成像原理，将近截面与远截面之间的物体正射投影到近截面上，并以二进制整型数字存储到颜色缓存中；
2、获取颜色缓存中的二进制整型数字，并将二进制整型数字按顺序分配为每个像素上的R、G、B值，组成RGB彩色图像；其中，由于从颜色缓存中读取的二进制整型数字是按照一张图片中从左到右、从下到上的每个像素点的R，G，B值进行排列的，因此，二进制整型数字的分配顺序与其排列顺序相同。
3、对近截面到远截面之间分配深度值，其中近截面深度值为0，远截面深度值为1，从而得到物体前表面(物体朝向虚拟相机的面为前表面，背向虚拟相机的面为后表面)的深度值，并将深度值以浮点型数值存储到深度缓存中；
4、获取深度缓存中的浮点型数值，对该浮点型数值进行计算，得到三维模型的前表面距所述虚拟相机的真实距离，并将浮点型数值按顺序分配到每个像素上，得到对应的深度图像；其中，真实距离计算公式为：
上述中，其中，由于从深度缓存中读取的浮点型数值是按照一张图片中从左到右、从下到上的每个像素点的深度值进行排列的，因此，浮点型数值的分配顺序与其排列顺序相同。
图像保存模块：用于保存虚拟相机采集的RGB彩色图像和深度图像，并将采集图像时对应的六维姿态[R|t]作为RGB彩色图像和深度图像的六维姿态标签。
为了验证本申请实施例的可行性和有效性，以下分别对stl，ply格式的三维模型进行了实验。如图6所示，为stl格式的三维模型的实验结果，(a)为真实物体；(b)是将真实物体的stl三维模型导入本申请实施例的自动生成平台得到的RGB彩色图像，可以看出其和(a)中的真实物体基本一样；(c)是由(b)中的三维模型进行一定的姿态变换所得到的RGB彩色图像；(d)是该物体的stl三维模型的真实三维点云的正视图和左视图；(e)是真实物体的stl三维模型导入本申请实施例的自动生成平台得到的深度图像，再将其转化成三维点云的正视图和左视图，可以看出与(d)中的真实三维点云所呈现的三维形状基本一致，但由于深度图像只获取物体前表面(物体朝向虚拟相机的那部分表面)的深度值，因而转换的点云只有物体前表面有点云。
图7为ply格式的三维模型的实验结果图，其中，(a)为真实物体，(b)为虚拟相机拍摄的ply三维模型，(c)是由(b)中的三维模型进行一定的姿态变换所得到的RGB彩色图像；(d)是该物体的ply三维模型的真实三维点云的正视图和左视图；(e)是该物体的ply三维模型导入本申请实施例的自动生成平台得到的深度图像，再将其转化成三维点云的正视图和左视图。实验结果表明，本申请实施例对stl，ply格式的三维模型都能准确得到不同六维姿态下的RGB彩色图像和深度图像。
请参阅图8，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述六维姿态数据集自动生成方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制六维姿态数据集自动生成。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图9，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
本申请实施例的六维姿态数据集自动生成方法、系统、终端以及存储介质通过将物体的三维模型和六维姿态参数导入基于OpenGL虚拟环境的数据集自动生成平台，该平台根据六维姿态参数控制三维模型在虚拟环境中不断变动姿态，并由虚拟相机自动拍摄每个六维姿态下该物体的RGB彩色图像和对应的深度图像，并自动标注六维姿态标签。相对于现有技术，本申请实施例通过简单的操作以高效的生成三维模型不同的六维姿态下的RGB彩色图像和深度图像以及六维姿态标签，耗时低，并节约了人力和金钱的成本消耗。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种六维姿态数据集自动生成方法，其特征在于，包括以下步骤：
步骤a：构建基于OpenGL虚拟环境的数据集自动生成平台；
步骤b：获取物体的三维模型以及所述三维模型的六维姿态参数，并将所述三维模型以及六维姿态参数导入所述数据集自动生成平台；
步骤c：所述数据集自动生成平台根据所述六维姿态参数控制所述三维模型在OpenGL虚拟环境中变动姿态，并通过所述OpenGL虚拟环境中的虚拟相机采集所述三维模型在各个六维姿态下的形态，生成各个六维姿态下所述物体的RGB彩色图像和对应的深度图像，并标注所述图像的六维姿态标签。
2.根据权利要求1所述的六维姿态数据集自动生成方法，其特征在于，所述步骤a中，所述获取物体的三维模型以及所述三维模型的六维姿态参数还包括：
将所述三维模型和六维姿态参数转换成导入所述数据集自动生成平台的统一文件格式。
3.根据权利要求1所述的六维姿态数据集自动生成方法，其特征在于，在所述步骤a中，所述将所述三维模型以及六维姿态参数导入所述数据集自动生成平台还包括：
设置所述三维模型在所述OpenGL虚拟环境中的世界坐标系中的初始位置，并根据每个面片顶点的x，y，z坐标、法线坐标和颜色将所述三维模型的初始形态绘制在所述世界坐标系中；
设置所述虚拟相机在所述OpenGL虚拟环境中的世界坐标系中的位置、朝向、法线、视角、拍摄图片的长宽比、近截面以及远截面。
4.根据权利要求3所述的六维姿态数据集自动生成方法，其特征在于，在所述步骤c中，所述三维模型在各个六维姿态下的形态为所述三维模型初始形态下各顶点的坐标(x,y,z)乘上六维姿态[R|t]，即
5.根据权利要求4所述的六维姿态数据集自动生成方法，其特征在于，在所述步骤c中，所述生成各个六维姿态下所述物体的RGB彩色图像包括：
利用所述虚拟相机的成像原理，将所述近截面与远截面之间的物体正射投影到所述近截面上，并以二进制整型数字存储到颜色缓存中；
获取所述颜色缓存中的二进制整型数字，并将所述二进制整型数字按顺序分配为每个像素上的R、G、B值，生成所述RGB彩色图像。
6.根据权利要求5所述的六维姿态数据集自动生成方法，其特征在于，在所述步骤c中，所述生成各个六维姿态下所述物体的深度图像包括：
对所述近截面到远截面之间分配深度值，得到所述物体前表面的深度值，并将所述深度值以浮点型数值存储到深度缓存中；
获取所述深度缓存中的浮点型数值，对所述浮点型数值进行计算，得到所述三维模型的前表面距所述虚拟相机的真实距离，并将所述浮点型数值按顺序分配到每个像素上，得到对应的深度图像。
7.根据权利要求1至6任一项所述的六维姿态数据集自动生成方法，其特征在于，在所述步骤c中，所述生成各个六维姿态下所述物体的RGB彩色图像和对应的深度图像，并标注所述图像的六维姿态标签还包括：
保存所述虚拟相机采集的RGB彩色图像和深度图像，并将采集图像时对应的六维姿态作为所述RGB彩色图像和深度图像的六维姿态标签。
8.一种六维姿态数据集自动生成系统，其特征在于，包括：
平台构建模块：用于构建基于OpenGL虚拟环境的数据集自动生成平台；
模型及参数获取模块：用于获取物体的三维模型以及所述三维模型的六维姿态参数；
数据导入模块：用于将所述三维模型以及六维姿态参数导入所述数据集自动生成平台；
图像采集模块：用于根据所述六维姿态参数控制所述三维模型在OpenGL虚拟环境中变动姿态，并通过所述OpenGL虚拟环境中的虚拟相机采集所述三维模型在各个六维姿态下的形态，生成各个六维姿态下所述物体的RGB彩色图像和对应的深度图像，并标注所述图像的六维姿态标签。
9.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-7任一项所述的六维姿态数据集自动生成方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制六维姿态数据集自动生成。
10.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至7任一项所述六维姿态数据集自动生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010734849.7A CN111951333A (zh) | 2020-07-27 | 2020-07-27 | 六维姿态数据集自动生成方法、系统、终端以及存储介质 |
| PCT/CN2020/139761 WO2022021782A1 (zh) | 2020-07-27 | 2020-12-26 | 六维姿态数据集自动生成方法、系统、终端以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010734849.7A CN111951333A (zh) | 2020-07-27 | 2020-07-27 | 六维姿态数据集自动生成方法、系统、终端以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111951333A true CN111951333A (zh) | 2020-11-17 |
Family
ID=73339629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010734849.7A Pending CN111951333A (zh) | 2020-07-27 | 2020-07-27 | 六维姿态数据集自动生成方法、系统、终端以及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111951333A (zh) |
| WO (1) | WO2022021782A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022021782A1 (zh) * | 2020-07-27 | 2022-02-03 | 中国科学院深圳先进技术研究院 | 六维姿态数据集自动生成方法、系统、终端以及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114683288B (zh) * | 2022-05-07 | 2023-05-30 | 法奥意威(苏州)机器人系统有限公司 | 机器人展示和控制方法、装置及电子设备 |
| CN116502548B (zh) * | 2023-06-29 | 2023-09-15 | 湖北工业大学 | 一种基于深度学习的三维玩具设计方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160063178A1 (en) * | 2013-04-05 | 2016-03-03 | Molecular Design Frontier Co. Ltd. | Analysis of Biomolecular Solvation Sites by the 3D-RISM Theory |
| CN109636856A (zh) * | 2019-01-17 | 2019-04-16 | 天津大学 | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 |
| CN110660101A (zh) * | 2019-08-19 | 2020-01-07 | 浙江理工大学 | 基于rgb图像和坐标系变换的物体6d姿势预测方法 |
| CN111161387A (zh) * | 2019-12-31 | 2020-05-15 | 华东理工大学 | 堆叠场景下合成图像的方法及系统、存储介质、终端设备 |
| CN111415389A (zh) * | 2020-03-18 | 2020-07-14 | 清华大学 | 基于强化学习的无标签六维物体姿态预测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951333A (zh) * | 2020-07-27 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 六维姿态数据集自动生成方法、系统、终端以及存储介质 |
-
2020
- 2020-07-27 CN CN202010734849.7A patent/CN111951333A/zh active Pending
- 2020-12-26 WO PCT/CN2020/139761 patent/WO2022021782A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160063178A1 (en) * | 2013-04-05 | 2016-03-03 | Molecular Design Frontier Co. Ltd. | Analysis of Biomolecular Solvation Sites by the 3D-RISM Theory |
| CN109636856A (zh) * | 2019-01-17 | 2019-04-16 | 天津大学 | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 |
| CN110660101A (zh) * | 2019-08-19 | 2020-01-07 | 浙江理工大学 | 基于rgb图像和坐标系变换的物体6d姿势预测方法 |
| CN111161387A (zh) * | 2019-12-31 | 2020-05-15 | 华东理工大学 | 堆叠场景下合成图像的方法及系统、存储介质、终端设备 |
| CN111415389A (zh) * | 2020-03-18 | 2020-07-14 | 清华大学 | 基于强化学习的无标签六维物体姿态预测方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 陈乙宽: "采用随机蕨回归的工业零件六维姿态估计", 《中国知网学位论文》 * |
| 陈乙宽: "采用随机蕨回归的工业零件六维姿态估计", 《中国知网学位论文》, 15 August 2018 (2018-08-15) * |
| 高腾飞等: "基于OpenGL的空间目标图像序列仿真", 《计算机工程与设计》, vol. 35, no. 11, 16 November 2014 (2014-11-16), pages 2 - 4 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022021782A1 (zh) * | 2020-07-27 | 2022-02-03 | 中国科学院深圳先进技术研究院 | 六维姿态数据集自动生成方法、系统、终端以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022021782A1 (zh) | 2022-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109697688B (zh) | 一种用于图像处理的方法和装置 | |
| US10861232B2 (en) | Generating a customized three-dimensional mesh from a scanned object | |
| EP3614340B1 (en) | Methods and devices for acquiring 3d face, and computer readable storage media | |
| US9652880B2 (en) | 2D animation from a 3D mesh | |
| US8457442B1 (en) | Methods and apparatus for facial feature replacement | |
| CN104854426B (zh) | 用于为了三维图像生成来标记图像的系统和方法 | |
| CN111951333A (zh) | 六维姿态数据集自动生成方法、系统、终端以及存储介质 | |
| US20150325044A1 (en) | Systems and methods for three-dimensional model texturing | |
| US10169891B2 (en) | Producing three-dimensional representation based on images of a person | |
| CN109711472B (zh) | 训练数据生成方法和装置 | |
| US20170213396A1 (en) | Virtual changes to a real object | |
| CN112651881B (zh) | 图像合成方法、装置、设备、存储介质以及程序产品 | |
| Brown et al. | Restoring 2D content from distorted documents | |
| US20200057778A1 (en) | Depth image pose search with a bootstrapped-created database | |
| WO2023093739A1 (zh) | 一种多视图三维重建的方法 | |
| CN115187715A (zh) | 贴图方法、装置、设备及存储介质 | |
| Wang et al. | Synthetic data generation and adaption for object detection in smart vending machines | |
| CN115008454A (zh) | 一种基于多帧伪标签数据增强的机器人在线手眼标定方法 | |
| CN114913308A (zh) | 摄像机跟踪方法、装置、设备及存储介质 | |
| US20240212239A1 (en) | Logo Labeling Method and Device, Update Method and System of Logo Detection Model, and Storage Medium | |
| WO2018151612A1 (en) | Texture mapping system and method | |
| Casas et al. | Props alive: a framework for augmented reality stop motion animation | |
| JP5865092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN116664895B (zh) | 一种基于ar/ai/3dgis技术的图像与模型的匹配方法 | |
| US20210365730A1 (en) | Method for generating training data and an electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |