CN114625343A - 数据生成方法及装置 - Google Patents

数据生成方法及装置 Download PDF

Info

Publication number
CN114625343A
CN114625343A CN202210135524.6A CN202210135524A CN114625343A CN 114625343 A CN114625343 A CN 114625343A CN 202210135524 A CN202210135524 A CN 202210135524A CN 114625343 A CN114625343 A CN 114625343A
Authority
CN
China
Prior art keywords
data
spatial position
image data
game engine
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210135524.6A
Other languages
English (en)
Inventor
付强
马世奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202210135524.6A priority Critical patent/CN114625343A/zh
Publication of CN114625343A publication Critical patent/CN114625343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • G06F8/24Object-oriented
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供一种数据生成方法及装置,该方法:将主体对象的属性参数导入到游戏引擎中,以通过游戏引擎构建出对应的虚拟模型;通过游戏引擎的场景捕捉组件采集虚拟模型的图像数据以及空间位置数据;将空间位置数据标注到图像数据中,得到包含空间位置数据的图像数据集。这样,既无需借助测量设备即可获取到虚拟模型的空间位置数据,大大简化了空间位置数据的获取流程,也无需人工标注即可形成包含空间位置数据的图像数据集,大大简化空间位置数据的标注方式,提高数据集生成效率。

Description

数据生成方法及装置
技术领域
本公开涉及数据处理技术领域,尤其涉及一种数据生成方法及装置。
背景技术
随着机器学习的发展,机器学习的应用场景越来越广泛。尤其是,在智能机器人领域中常会应用到机器学习模型实现各种功能。
在机器学习模型的训练过程中,训练数据集的质量会直接影响到机器学习模型的性能。相关技术中,通常需要依靠人工对机器学习模型的训练数据集的部分数据进行标注。但是,机器学习模型的训练数据集往往数据量较为庞大,常以万为单位,导致相关技术中训练数据集的生成过程较为繁琐,生成效率低。
综上,如何提高训练数据集的生成效率,成为本公开所要解决的技术问题。
发明内容
本公开提供一种数据生成方法及装置,用以形成包含空间位置数据的图像数据集,提高数据集生成效率。
根据本公开实施例的第一方面,本公开提供一种数据生成方法,包括:
将主体对象的属性参数导入到游戏引擎中,以通过游戏引擎构建出对应的虚拟模型;
通过游戏引擎的场景捕捉组件,采集虚拟模型的图像数据以及空间位置数据;
将空间位置数据标注到图像数据中,得到包含空间位置数据的图像数据集。
根据本公开实施例的第二方面,本公开提供一种数据生成装置,包括:
导入模块,被配置为将主体对象的属性参数导入到游戏引擎中,以通过游戏引擎构建出对应的虚拟模型;
采集模块,被配置为通过游戏引擎的场景捕捉组件,采集虚拟模型的图像数据以及空间位置数据;
标注模块,被配置为将空间位置数据标注到图像数据中,得到包含空间位置数据的图像数据集。
根据本公开实施例的第三方面,提供一种电子设备,其中包括处理器和存储器,其中,存储器上存储有可执行代码,当可执行代码被处理器执行时,使处理器至少可以实现第一方面中的数据生成方法。
根据本公开实施例的第四方面,提供了一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备执行时,使得电子设备能够执行至少可以实现第一方面中的数据生成方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现第一方面中的数据生成方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开中,针对需要标注的主体对象,将主体对象的属性参数导入到游戏引擎中,以通过游戏引擎构建出对应的虚拟模型,进而通过游戏引擎的场景捕捉组件采集虚拟模型的图像数据以及空间位置数据。这样,无需借助测量设备即可获取到虚拟模型的空间位置数据,大大简化了空间位置数据的获取流程。进而,将空间位置数据标注到图像数据中,得到包含空间位置数据的图像数据集,从而无需人工标注即可形成包含空间位置数据的图像数据集,大大简化空间位置数据的标注方式,提高数据集生成效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种数据生成方法的流程示意图。
图2是根据一示例性实施例示出的一种数据生成方法的原理示意图。
图3是根据一示例性实施例示出的一种标注图像的示意图。
图4是根据一示例性实施例示出的一种数据生成装置的结构示意图。
图5是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
如前文所述,随着机器学习的发展,机器学习的应用场景越来越广泛。尤其是,在智能机器人领域中常会应用到机器学习模型实现各种功能。
在机器学习模型的训练过程中,训练数据集的质量会直接影响到机器学习模型的性能。相关技术中,通常需要依靠人工对机器学习模型的训练数据集的部分数据进行标注。但是,机器学习模型的训练数据集往往数据量较为庞大,常以万为单位,导致相关技术中训练数据集的生成过程较为繁琐,生成效率低。
例如,在机器人的手部姿态识别场景中,为训练手部姿态识别模型,需要借助陀螺仪等位姿传感器来测量实际场景中机器人的手部数据,从而基于测量结果在机器人手部图像上人工标注出机器人的手部姿态数据,形成手部姿态识别模型所需的训练数据集。显然,此方式中借助外部传感器测量手部数据以及人工标注手部图像的流程,均使得训练数据集的生成过程较为繁琐,降低训练数据集的生成效率。
因而,如何提高训练数据集的生成效率,成为本公开所要解决的技术问题。
为解决相关技术中存在的至少一个技术问题,本公开提供了一种数据生成方法及装置。
上述技术方案的核心思想是:针对需要标注的主体对象,将主体对象的属性参数导入到游戏引擎中,以通过游戏引擎构建出对应的虚拟模型,进而通过游戏引擎的场景捕捉组件采集虚拟模型的图像数据以及空间位置数据。这样,无需借助测量设备即可获取到虚拟模型的空间位置数据,大大简化了空间位置数据的获取流程。进而,将空间位置数据标注到图像数据中,得到包含空间位置数据的图像数据集,从而无需人工标注即可形成包含空间位置数据的图像数据集,大大简化空间位置数据的标注方式,提高数据集生成效率。
本公开中,上述方案可以由一个电子设备实现,该电子设备可以是诸如电脑、手机、机器人等终端设备。例如,机器人可以是仓储机器人、扫地机器人、服务机器人(如应用于传菜场景、室内导航场景等服务场景的机器人)。具体地,可调用搭载在终端设备中的专用应用程序实现,也可调用终端设备中设置的其他应用程序实现,还可通过终端设备调用云服务器实现。实际应用中,终端设备中搭载的专用应用程序例如是游戏引擎。例如,终端设备以调用游戏引擎执行上述方案,从而输出执行结果(即包含空间位置数据的图像数据集)。
考虑到实现效率,上述方案也可以由服务器实现。例如,服务器可以调用游戏引擎执行上述方案,从而输出执行结果(即包含空间位置数据的图像数据集)。当然,也可以将执行结果输入到需要训练的神经网络模型中。还可以将执行结果发送到终端设备中,以调度终端设备通过该执行结果实现神经网络模型的训练过程。该服务器可以是包含一独立主机的物理服务器,或者也可以为主机集群承载的虚拟服务器,或者也可以为云服务器,本公开并不限定。
基于前文介绍的核心思想,本公开实施例提供了一种数据生成方法,图1为本公开一示例性实施例提供的数据生成方法的流程示意图。如图1所示,该方法包括:
101、将主体对象的属性参数导入到游戏引擎中,以通过游戏引擎构建出对应的虚拟模型;
102、通过游戏引擎的场景捕捉组件,采集虚拟模型的图像数据以及空间位置数据;
103、将空间位置数据标注到图像数据中,得到包含空间位置数据的图像数据集。
上述方法中,通过游戏引擎构建出主体对象对应的虚拟模型,进而通过游戏引擎的场景捕捉组件采集该虚拟模型的图像数据以及空间位置数据。这样,能够避免借助测量设备获取空间位置数据导致效率低下的问题,大大简化了空间位置数据的获取流程,有助于提高数据集生成效率。并且,上述方法中还可在游戏引擎中直接将空间位置数据标注到图像数据中,得到包含空间位置数据的图像数据集,从而无需人工标注即可形成包含空间位置数据的图像数据集,大大简化空间位置数据的标注方式,同样也有助于提高数据集生成效率。
下面结合具体实施例介绍数据生成方法中的各个步骤。
101中,将主体对象的属性参数导入到游戏引擎中,以通过游戏引擎构建出对应的虚拟模型。
102中,通过游戏引擎的场景捕捉组件,采集虚拟模型的图像数据以及空间位置数据。
本公开中,主体对象是指待标注的对象。例如,在机器人手部识别场景中,训练识别模型时需要输入标注有机器人手部关键点信息的图像数据集。该图像数据集包括机器人手部的彩色(RGBD)图像,RGBD图像中标注有机器人手部21个关键点的3D位姿信息。其中,机器人手部的21个关键点如图2所示。
需要说明的是,除了机器人手部的图像数据集,本公开还可应用于获取其他类型的数据集,例如机器人其他待识别部件的标注数据,还可以用于标注虚拟环境中的任何想要训练识别的物体。例如,在追踪场景中,训练追踪模型时需要输入标注有追踪对象外形信息(例如轮廓信息、关键点位置信息)的图像数据集。
本公开中,游戏引擎是为开发实时技术而存在的开发工具,可应用于三维建模渲染、游戏开发等领域。游戏引擎包括但不限于虚幻引擎(Unreal Engine,UE)4、UE5、Cocos、Unity中的任意一种。实际应用中,根据所需获取的数据类型不同,主体对象类型不同,采用的游戏引擎也不同。可选地,根据游戏引擎中的组件类型,选取适用主体对象的游戏引擎。
具体来说,假设主体对象包括机器人,属性参数包括机器人部件参数以及机器人关节参数。
101中,将主体对象的属性参数导入到游戏引擎中,以通过游戏引擎构建出对应的虚拟模型的步骤,可以实现为:
基于机器人部件参数在游戏引擎中创建初始三维模型;根据关节堆叠方式将机器人关节参数导入到初始三维模型中,并基于机器人关节参数对初始三维模型中的机器人部件模型进行拼接,以构建出机器人在虚拟空间中对应的虚拟机器人模型。
进而,通过游戏引擎构建出主体对象对应的虚拟模型之后,102中,游戏引擎的场景捕捉组件采集虚拟模型的图像数据以及空间位置数据的步骤,可以实现为:
基于场景捕捉组件建立针对虚拟模型的虚拟相机;通过虚拟相机获取虚拟模型中包含的待标注对象的图像数据;将待标注对象中的关键点绑定到对应的角色对象中,并通过场景捕捉组件从角色对象中获取关键点的空间位置数据以得到待标注对象的空间位置数据。
上述实现方式中,基于场景捕捉组件建立针对虚拟模型的虚拟相机的步骤实现为,利用场景捕捉组件(如UE4中的SceneCaptureComponent2D),建立相机模块。具体来说,通过SceneCaptureComponent2D实现场景捕捉,并将捕捉结果渲染到二维贴图(如TextureRenderTarget2D)中。进而,选取合适的捕捉资源(Capture Source)重新组织RGBD图像数据以及深度数据,从而通过该场景捕捉组件同时获取到对应的RGBD图像和深度图像。进而,从渲染目标处读取图像数据,再进行彩色图像的通道隔离和深度图像的单位统一,得到标准RGBD图像数据。
实际应用中,相机模块可以绑定到虚拟环境的角色对象(actor)中,继而实时输出该角色对象的RGBD图像以及相关参数。并且,该相机模块还支持相机内参的修改,以便保证RGBD图像和真实相机得到的RGBD图像一致。在UE中,角色对象类是可以放到游戏场景中基本游戏对象类型,简单来说,如果需要在游戏场景中放置任何东西都需要继承角色对象类。角色对象类本身即可被蓝图化。
进而,通过相机模块获取虚拟模型中包含的待标注对象的RGBD图像。具体地,可以利用一个关节控制模块将机器人手部(即虚拟模型中包含的待标注对象)移动到该相机模块的视野范围内,并控制机器人手部做随机动作,以供采集足够数量可用RGBD图像。
进而,将机器人手部(即虚拟模型中包含的待标注对象)中的关键点绑定到对应的角色对象中,具体而言,以机器人的左手为例,如图2所示,将图2示出的21个关键点处分别建立并绑定角色对象。在图2中,21个关键点即手部的21个骨节点。其中,骨节点包括:尖端关节(tip)、远侧指间关节(distal interphalangeal point,DIP)、近侧指间关节(proximal interphalangeal point,PIP)、掌指关节(metacarpophalangeal point,MCP)、手腕关节(wrist)。通过21个关键点的位置坐标信息可以描述出各个手部动作下的手部姿态变化,从而为手部动作识别、手部动作分析等处理提供基础。
需要说明的是,除了机器人手部之外,待标注对象还可以是其他部位或虚拟角色。以机器人为例,待标注对象还可以是脚部、脸部、腿部,甚至机器人整体。对于其他类型的待标注对象,关键点的设置方式、类型、数量均有所区别,可按照实际应用场景需求对待标注对象包含的关键点进行设置。当然,随着实际场景需求的变化,同一类型待标注对象中所需标注的关键点也会存在区别。例如,对于机器人手部,可以采用21关键点进行标注,也可以采用简化的手部轮廓点进行标注。
接着,通过场景捕捉组件从角色对象中获取关键点的空间位置数据以得到待标注对象的空间位置数据。具体而言,通过场景捕捉组件监控角色对象,以得到角色对象绑定的关键点在虚拟空间中的第一位置坐标;将关键点在虚拟空间中的第一位置坐标转换为关键点在相机坐标系中的第二位置坐标,并将关键点的第二位置坐标存储为待标注对象的空间位置数据。
仍以机器人手部为例,通过场景捕捉组件实时读取各个角色对象在虚拟空间中的位置坐标(即在虚拟空间中的第一位置坐标)。在UE4中编写蓝图对象,通过蓝图对象将机器人手部的21个关键点在虚拟空间中的位置坐标,转换为21个关键点在相机坐标系中的位置坐标(即关键点在相机坐标系中的第二位置坐标)。最后,按照预设顺序将21个关键点在相机坐标系中的位置坐标存储到机器人手部的空间位置文件中。
进而,103中,获取虚拟模型的图像数据以及空间位置数据之后,将空间位置数据标注到图像数据中,得到包含空间位置数据的图像数据集。
具体而言,在一可选实施例中,建立待标注对象的图像数据与待标注对象的空间位置数据的对应关系;基于场景捕捉组件的相机内参矩阵以及对应关系,将待标注对象中关键点的第二位置坐标从相机坐标系转换到待标注对象的图像空间中,以得到关键点在图像空间中的第三位置坐标;根据第三位置坐标在待标注对象的图像数据中标注出关键点,以得到包含第三位置坐标的图像数据集。
仍以机器人手部为例,建立相机模块采集的RGBD图像与21个关键点在相机坐标系中的位置坐标的对应关系。具体而言,在一可选实施例中,获取各个RGBD图像的采集时间,以及21个关键点在各个采集时间下的的位置坐标,从而,基于采集时序建立各个RGBD图像与21个关键点的位置坐标的对应关系。实际应用中,对于不同的手部动作,可以获取各个手部动作对应的RGBD图像集合,并将RGBD图像集合中各个RGBD图像与对应的21个关键点位置坐标进行绑定,为后续标注处理提供基础。
然后,将21个关键点在相机坐标系中的位置坐标,利用场景捕捉组件的相机内参矩阵,转换到包含机器人手部图像的RGBD图像空间中。进而,标出每个关键点在RGBD图像中的位置坐标,得到包含21个关键点位置坐标的图像数据集,从而确定机器人手部在RGBD图像中的范围。如图3所示,机器人手部的标注图像中,可以采用标注框包围机器人手部的范围,同时在各个关键点处标注对应的位置坐标以及深度信息。
本公开中可选地,103之后,还将包含空间位置数据的图像数据集输入到姿态预测模型中,以通过姿态预测模型输出对应的姿态预测结果。值得说明的是,除了姿态预测模型之外,采用本方法得到数据集还可应用于其他机器学习模型,例如手部识别模型、人像检测模型。无论数据集最终应用于何种模型,采用本方案均可提高数据集的标注效率,保证数据集质量。
通过图1示出的数据生成方法中,既无需借助测量设备即可获取到虚拟模型的空间位置数据,大大简化了空间位置数据的获取流程,也无需人工标注即可形成包含空间位置数据的图像数据集,大大简化空间位置数据的标注方式,提高数据集生成效率。
图4为本公开实施例提供的一种数据生成装置。如图4所示,其中该数据生成装置包括:
导入模块401,被配置为将主体对象的属性参数导入到游戏引擎中,以通过游戏引擎构建出对应的虚拟模型;
采集模块402,被配置为通过游戏引擎的场景捕捉组件,采集虚拟模型的图像数据以及空间位置数据;
标注模块403,被配置为将空间位置数据标注到图像数据中,得到包含空间位置数据的图像数据集。
可选地,所述主体对象包括机器人,所述属性参数包括机器人部件参数以及机器人关节参数。基于此,导入模块401将主体对象的属性参数导入到游戏引擎中,以通过所述游戏引擎构建出对应的虚拟模型的过程中,被配置为:
基于机器人部件参数在所述游戏引擎中创建初始三维模型;
根据关节堆叠方式将机器人关节参数导入到所述初始三维模型中,并基于机器人关节参数对所述初始三维模型中的机器人部件模型进行拼接,以构建出所述机器人在虚拟空间中对应的虚拟机器人模型。
可选地,采集模块402通过所述游戏引擎的场景捕捉组件,采集所述虚拟模型的图像数据以及空间位置数据的过程中,被配置为:
基于所述场景捕捉组件建立针对所述虚拟模型的虚拟相机;
通过所述虚拟相机获取所述虚拟模型中包含的待标注对象的图像数据;
将所述待标注对象中的关键点绑定到对应的角色对象中,并通过所述场景捕捉组件从所述角色对象中获取所述关键点的空间位置数据以得到所述待标注对象的空间位置数据。
可选地,采集模块402通过所述场景捕捉组件从所述角色对象中获取所述关键点的空间位置数据以得到所述待标注对象的空间位置数据的过程中,被配置为:
通过所述场景捕捉组件监控所述角色对象,以得到所述角色对象绑定的关键点在虚拟空间中的第一位置坐标;
将所述关键点在虚拟空间中的第一位置坐标转换为所述关键点在相机坐标系中的第二位置坐标,并将所述关键点的第二位置坐标存储为所述待标注对象的空间位置数据。
可选地,标注模块403将所述空间位置数据标注到所述图像数据中,得到包含所述空间位置数据的图像数据集的过程中,被配置为:
建立所述待标注对象的图像数据与所述待标注对象的空间位置数据的对应关系;
基于所述场景捕捉组件的相机内参矩阵以及所述对应关系,将所述待标注对象中所述关键点的第二位置坐标从相机坐标系转换到所述待标注对象的图像空间中,以得到所述关键点在所述图像空间中的第三位置坐标;
根据所述第三位置坐标在所述待标注对象的图像数据中标注出所述关键点,以得到包含所述第三位置坐标的图像数据集。
可选地,还包括训练模块,被配置为将包含所述空间位置数据的图像数据集输入到姿态预测模型中,以通过所述姿态预测模型输出对应的姿态预测结果。
上述数据生成装置可以执行前述各实施例中提供的系统或方法,本实施例未详细描述的部分,可参考前述实施例的相关说明,在此不再赘述。
在一个可能的设计中,上述数据生成装置的结构可实现为一电子设备。如图5所示,该电子设备可以包括:处理器21、存储器22。其中,存储器22上存储有可执行代码,当可执行代码被处理器21执行时,至少使处理器21可以实现如前述实施例中提供的数据生成方法。
其中,该电子设备的结构中还可以包括通信接口23,用于与其他设备或通信网络通信。
另外,本公开还提供了一种包括指令的计算机可读存储介质,介质上存储有可执行代码,当可执行代码被无线路由器的处理器执行时,使处理器执行前述各实施例中提供基于神经网络的特征数据处理方法。可选地,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,包括计算机程序/指令,计算机程序/指令被处理器执行时实现前述各实施例中提供基于神经网络的特征数据处理方法。该计算机程序/指令是由运行在终端或服务器上的程序实现的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据生成方法,其特征在于,包括:
将主体对象的属性参数导入到游戏引擎中,以通过所述游戏引擎构建出对应的虚拟模型;
通过所述游戏引擎的场景捕捉组件,采集所述虚拟模型的图像数据以及空间位置数据;
将所述空间位置数据标注到所述图像数据中,得到包含所述空间位置数据的图像数据集。
2.根据权利要求1所述的方法,其特征在于,所述主体对象包括机器人,所述属性参数包括机器人部件参数以及机器人关节参数;
所述将主体对象的属性参数导入到游戏引擎中,以通过所述游戏引擎构建出对应的虚拟模型,包括:
基于机器人部件参数在所述游戏引擎中创建初始三维模型;
根据关节堆叠方式将机器人关节参数导入到所述初始三维模型中,并基于机器人关节参数对所述初始三维模型中的机器人部件模型进行拼接,以构建出所述机器人在虚拟空间中对应的虚拟机器人模型。
3.根据权利要求1所述的方法,其特征在于,所述通过所述游戏引擎的场景捕捉组件,采集所述虚拟模型的图像数据以及空间位置数据,包括:
基于所述场景捕捉组件建立针对所述虚拟模型的虚拟相机;
通过所述虚拟相机获取所述虚拟模型中包含的待标注对象的图像数据;
将所述待标注对象中的关键点绑定到对应的角色对象中,并通过所述场景捕捉组件从所述角色对象中获取所述关键点的空间位置数据以得到所述待标注对象的空间位置数据。
4.根据权利要求3所述的方法,其特征在于,所述通过所述场景捕捉组件从所述角色对象中获取所述关键点的空间位置数据以得到所述待标注对象的空间位置数据,包括:
通过所述场景捕捉组件监控所述角色对象,以得到所述角色对象绑定的关键点在虚拟空间中的第一位置坐标;
将所述关键点在虚拟空间中的第一位置坐标转换为所述关键点在相机坐标系中的第二位置坐标,并将所述关键点的第二位置坐标存储为所述待标注对象的空间位置数据。
5.根据权利要求4所述的方法,其特征在于,所述将所述空间位置数据标注到所述图像数据中,得到包含所述空间位置数据的图像数据集,包括:
建立所述待标注对象的图像数据与所述待标注对象的空间位置数据的对应关系;
基于所述场景捕捉组件的相机内参矩阵以及所述对应关系,将所述待标注对象中所述关键点的第二位置坐标从相机坐标系转换到所述待标注对象的图像空间中,以得到所述关键点在所述图像空间中的第三位置坐标;
根据所述第三位置坐标在所述待标注对象的图像数据中标注出所述关键点,以得到包含所述第三位置坐标的图像数据集。
6.根据权利要求1所述的方法,其特征在于,还包括:
将包含所述空间位置数据的图像数据集输入到姿态预测模型中,以通过所述姿态预测模型输出对应的姿态预测结果。
7.一种数据生成装置,其特征在于,包括:
导入模块,被配置为将主体对象的属性参数导入到游戏引擎中,以通过所述游戏引擎构建出对应的虚拟模型;
采集模块,被配置为通过所述游戏引擎的场景捕捉组件,采集所述虚拟模型的图像数据以及空间位置数据;
标注模块,被配置为将所述空间位置数据标注到所述图像数据中,得到包含所述空间位置数据的图像数据集。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6任一项所述的数据生成方法。
9.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备执行时,使得电子设备能够执行如权利要求1至6任一项所述的数据生成方法。
10.一种计算机程序产品,包括计算机程序/指令,其特征在于,所述计算机程序/指令被处理器执行时实现权利要求1至6任一项所述的数据生成方法。
CN202210135524.6A 2022-02-14 2022-02-14 数据生成方法及装置 Pending CN114625343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210135524.6A CN114625343A (zh) 2022-02-14 2022-02-14 数据生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210135524.6A CN114625343A (zh) 2022-02-14 2022-02-14 数据生成方法及装置

Publications (1)

Publication Number Publication Date
CN114625343A true CN114625343A (zh) 2022-06-14

Family

ID=81898835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210135524.6A Pending CN114625343A (zh) 2022-02-14 2022-02-14 数据生成方法及装置

Country Status (1)

Country Link
CN (1) CN114625343A (zh)

Similar Documents

Publication Publication Date Title
CN110221690B (zh) 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN110648397B (zh) 场景地图生成方法、装置、存储介质及电子设备
TW201915943A (zh) 對圖像內目標物體進行自動標註的方法、裝置及系統
CN111708366B (zh) 机器人及其行动控制方法、装置和计算机可读存储介质
CN111652974B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN110866977B (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
JP2023106284A (ja) 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
CN109446927A (zh) 基于先验知识的双人交互行为识别方法
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN105023266A (zh) 增强现实实现方法、装置和终端设备
KR20220160066A (ko) 이미지 처리 방법 및 장치
CN112308910B (zh) 一种数据生成方法、装置及存储介质
CN111178170B (zh) 一种手势识别方法和一种电子设备
CN115170749A (zh) 基于Cesium的WEBGIS三维可视化构建方法及系统
CN114169546A (zh) 一种基于深度学习的mr远程协同装配系统及方法
CN111179408B (zh) 三维建模的方法及设备
CN111079535B (zh) 一种人体骨架动作识别方法、装置及终端
WO2023103883A1 (zh) 对象自动标注方法、装置、电子设备及存储介质
Kiyokawa et al. Efficient collection and automatic annotation of real-world object images by taking advantage of post-diminished multiple visual markers
CN114625343A (zh) 数据生成方法及装置
Englert et al. Enhancing the ar experience with machine learning services
CN115937751A (zh) 一种面向机器人学习动作表达的数据处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination