CN112308910B - 一种数据生成方法、装置及存储介质 - Google Patents

一种数据生成方法、装置及存储介质 Download PDF

Info

Publication number
CN112308910B
CN112308910B CN202011076496.2A CN202011076496A CN112308910B CN 112308910 B CN112308910 B CN 112308910B CN 202011076496 A CN202011076496 A CN 202011076496A CN 112308910 B CN112308910 B CN 112308910B
Authority
CN
China
Prior art keywords
image data
rgbd
data
game engine
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011076496.2A
Other languages
English (en)
Other versions
CN112308910A (zh
Inventor
付强
杜国光
马世奎
彭飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202011076496.2A priority Critical patent/CN112308910B/zh
Publication of CN112308910A publication Critical patent/CN112308910A/zh
Priority to PCT/CN2021/119393 priority patent/WO2022073415A1/zh
Priority to US17/563,692 priority patent/US20220126447A1/en
Application granted granted Critical
Publication of CN112308910B publication Critical patent/CN112308910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37537—Virtual sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37572—Camera, tv, vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40309—Simulation of human hand motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了数据生成方法、装置及计算机可读存储介质，该方法包括：使用游戏引擎导入机器人模型；通过所述游戏引擎中的场景捕捉组件模拟RGBD相机；利用所述游戏引擎中的关节控制模块控制所导入的机器人模型的人手在所述RGBD相机的视野范围内动作；利用所述RGBD相机采集RGBD图像数据；根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集。

Description

一种数据生成方法、装置及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种数据生成方法、装置及计算机可读存储介质。
背景技术
当前，机器学习和深度学习被广泛应用到社会的各个方面，在机器人领域应用尤其广泛。质量好的数据集可以让算法发挥最大的性能实现最好的效果。但是，数据集的生成是一个比较繁琐的过程，一般数据集的数量都比较大(以万为单位)，而且标注的工作比较繁琐，许多还是要靠人手动标注。另外，对于一些数据的采集并不方便，比如对于一些3D位姿的获取，在实际情况下需要借助额外的传感器等设备。
发明内容
本发明实施例为了解决现有机器人设备与用户进行信息交互时所存在的问题，创造性地提供了一种数据生成方法、装置及计算机可读存储介质。
根据本发明第一方面，创造性地提供了一种数据生成方法，所述方法包括：使用游戏引擎导入机器人模型；通过所述游戏引擎中的场景捕捉组件模拟RGBD相机；利用所述游戏引擎中的关节控制模块控制所导入的机器人模型的人手在所述RGBD相机的视野范围内动作；利用所述RGBD相机采集RGBD图像数据；根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集。
根据本发明一实施方式，所述使用游戏引擎导入机器人模型，包括：根据机器人3D模型按照关节堆叠的方式将机器人的各个关节分别导入游戏引擎中。
根据本发明一实施方式，通过所述游戏引擎中的场景捕捉组件模拟RGBD相机，包括：利用场景捕捉组件对场景进行捕捉，得到图像数据；渲染所述图像数据到贴图渲染组件；选择捕捉数据源将所述图像数据中的彩色图像数据和深度图像数据进行重组，得到重组后的图像数据；对所述重组后的图像数据进行彩色图像数据的通道隔离和深度图像数据的单位统一处理，以模拟得到RGBD相机。
根据本发明一实施方式，所述RGBD图像包括2D彩色图像和深度图像；根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集，包括：将所述21个关键点的3D位姿的坐标转换到所述2D彩色图像中，以标注每个关键点在所述2D彩色图像中的位置；利用所述深度图像获得各个关键点的深度信息。
根据本发明一实施方式，在将所述21个关键点的3D位姿的坐标转换到所述2D彩色图像中之前，所述方法还包括：将21个关键点的3D位姿的坐标转换为在所述RGBD相机坐标系下的坐标，获得21个关键点的相对坐标；将所述RGBD图像数据和21个关键点的相对坐标进行对应。
根据本发明第二方面，还提供了一种数据生成装置，所述装置包括：模型导入模块，用于使用游戏引擎导入机器人模型；相机模拟模块，用于通过所述游戏引擎中的场景捕捉组件模拟RGBD相机；关节控制模块，用于控制所导入的机器人模型的人手在所述RGBD相机的视野范围内动作；图像采集控制模块，用于利用所述RGBD相机采集RGBD图像数据；数据生成模块，用于根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集。
根据本发明一实施方式，所述模型导入模块，具体用于根据机器人3D模型按照关节堆叠的方式将机器人的各个关节分别导入游戏引擎中。
根据本发明一实施方式，所述相机模拟模块，具体用于利用场景捕捉组件对场景进行捕捉，得到图像数据；渲染所述图像数据到贴图渲染组件；选择捕捉数据源将所述图像数据中的彩色图像数据和深度图像数据进行重组，得到重组后的图像数据；对所述重组后的图像数据进行彩色图像数据的通道隔离和深度图像数据的单位统一处理，以模拟得到RGBD相机。
根据本发明一实施方式，所述RGBD图像包括2D彩色图像和深度图像；所述数据生成模块，具体用于将所述21个关键点的3D位姿的坐标转换到所述2D彩色图像中，以标注每个关键点在所述2D彩色图像中的位置；利用所述深度图像获得各个关键点的深度信息。
根据本发明一实施方式，所述数据生成模块，还用于在将所述21个关键点的3D位姿的坐标转换到所述2D彩色图像中之前，将21个关键点的3D位姿的坐标转换为在所述RGBD相机坐标系下的坐标，获得21个关键点的相对坐标；将所述RGBD图像数据和21个关键点的相对坐标进行对应。
根据本发明第三方面，又提供了一种数据生成装置，包括：一个或多个处理器；存储器，用于存储一个或多个程序，所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一数据生成方法。
根据本发明第四方面，又提供了一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行上述任一数据生成方法。
本发明实施例数据生成方法、装置及计算机可读存储介质，首先使用游戏引擎导入机器人模型；再通过所述游戏引擎中的场景捕捉组件模拟RGBD相机；接着利用所述游戏引擎中的关节控制模块控制所导入的机器人模型的人手在所述RGBD相机的视野范围内动作，以采集RGBD图像数据；最后根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集。如此，本发明通过游戏引擎生成在实际场景中较难提供的包含机器人手的RGBD图像和手上21个关键点的3D位姿的数据集，可以非常迅速且准确的生成带有21个关键点坐标的数据集，且生成的数据集是已经标注完成的。这样，本发明将本来需要耗时几天甚至几周才能生成的包括数万张图像的数据集可以在半天的时间内完成，极大地提高了效率。另外，生成的仿真数据集可以用来验证学习算法的性能，而且游戏引擎的高还原度建模也使得仿真中生成的数据集在实际场景中也有应用价值。
需要理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到的有益效果。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1示出了本发明实施例数据生成方法的实现流程示意图；
图2示出了本发明一应用实例21个关键点位置的显示效果图；
图3示出了本发明一应用实例生成的标注后的数据的场景效果图；
图4示出了本发明实施例数据生成装置的组成结构示意图；
图5示出了本发明实施例提供的电子设备的组成结构示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
图1示出了本发明实施例数据生成方法的实现流程示意图；图2示出了本发明一应用实例21个关键点位置的显示效果图；图3示出了本发明一应用实例生成的标注后的数据的场景效果图。
参考图1，本发明实施例提供了一种数据生成方法，该方法包括如下步骤：
步骤101，使用游戏引擎导入机器人模型。
具体地，电子设备使用游戏引擎(Unreal Engine 4，UE4)导入机器人模型。UE4游戏引擎可以保证导入的机器人模型和真实机器人的高还原度。
这里，电子设备可以是任意形式的安装有游戏引擎的智能设备。
步骤102，通过所述游戏引擎中的场景捕捉组件模拟RGBD相机。
具体地，电子设备利用场景捕捉组件对场景进行捕捉，得到图像数据；渲染所述图像数据到贴图渲染组件；选择捕捉数据源将所述图像数据中的彩色图像数据和深度图像数据进行重组，得到重组后的图像数据；对所述重组后的图像数据进行彩色图像数据的通道隔离和深度图像数据的单位统一处理，以模拟得到RGBD相机。
在一应用示例中，电子设备利用UE4游戏引擎中的场景捕捉组件(SceneCaptureComponent2D)场景捕捉组件开发了自定义的相机模块。SceneCaptureComponent2D可以将场景捕捉并渲染到贴图渲染组件(TextureRenderTarget2D)，选择合适的捕捉数据源(CaptureSource)并将彩色数据和深度数据进行重新组织，使得利用同一个场景捕捉组件可以同时获取彩色图像和深度图像数据。之后，从渲染的目标处读取到图像数据后再进行彩色图像的通道隔离和深度图像的单位统一，就能得到标准的RGBD数据。该相机模拟模块应用特别简单，可作为一个内部组件直接绑定到某个动作节点(actor)上，就能和实际相机一样实时传出RGBD图像，同时该相机模拟模块支持修改相机的内参，可以保证生成的图像和真实相机一致。
这样，电子设备通过游戏引擎中的场景捕捉组件模拟出RGBD相机。在RGBD相机模型过程中，使用了真实相机的内参矩阵，使得仿真中的数据和真实相机的图像数据可以保持一致。
步骤103，利用所述游戏引擎中的关节控制模块控制所导入的机器人模型的人手在所述RGBD相机的视野范围内动作。
具体地，电子设备可以利用游戏引擎中的关节控制模块控制所导入的机器人模型的人手，如左手或右手在RGBD相机的视野范围内做随机动作，以供采集大量的可用数据图像。
步骤104，利用所述RGBD相机采集RGBD图像数据。
其中，所述RGBD图像包括2D彩色图像和深度图像。
步骤105，根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集。
具体地，电子设备将所述21个关键点的3D位姿的坐标转换到所述2D彩色图像中，以标注每个关键点在所述2D彩色图像中的位置；利用所述深度图像获得各个关键点的深度信息。
当然，在进行步骤105之前，电子设备会通过游戏引擎获得21个关键点的3D位姿的坐标信息；将21个关键点的3D位姿的坐标转换为在所述RGBD相机坐标系下的坐标，获得21个关键点的相对坐标；将所述RGBD图像数据和21个关键点的相对坐标进行对应。
在一应用示例中，参考图2所示的机器人模型左手的21个关键点的位置，各绑定一个空角色，游戏引擎能实时获得各个空角色的坐标信息。接着，在UE4中编写蓝图，将21个关键点的3D位姿的坐标转换为在RGBD相机坐标系下的坐标，并按照一定顺序存入文件中。将采集的RGBD图像数据和获得的21个关键点的相对坐标对应起来，并将21个关键点的3D坐标利用相机内参矩阵转换到2D彩色图像中，标出每个关键点在2D图像中的位置，从而确定手在图像中的范围，以达到标注的目的。完成标注的图像如下图3所示，用特定颜色的标注框完全包围住手的范围，再利用深度图像获得各个关键点的深度信息。
本发明实施例数据生成方法，首先使用游戏引擎导入机器人模型；再通过所述游戏引擎中的场景捕捉组件模拟RGBD相机；接着利用所述游戏引擎中的关节控制模块控制所导入的机器人模型的人手在所述RGBD相机的视野范围内动作，以采集RGBD图像数据；最后根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集。如此，本发明通过游戏引擎生成在实际场景中较难提供的包含机器人手的RGBD图像和手上21个关键点的3D位姿的数据集，可以非常迅速且准确的生成带有21个关键点坐标的数据集，且生成的数据集是已经标注完成的。这样，本发明将本来需要耗时几天甚至几周才能生成的包括数万张图像的数据集可以在半天的时间内完成，极大地提高了效率。另外，生成的仿真数据集可以用来验证学习算法的性能，而且游戏引擎的高还原度建模也使得仿真中生成的数据集在实际场景中也有应用价值。
图4示出了本发明实施例数据生成装置的组成结构示意图。
参考图4，本发明实施例数据生成装置40，包括：模型导入模块401，用于使用游戏引擎导入机器人模型；相机模拟模块402，用于通过所述游戏引擎中的场景捕捉组件模拟RGBD相机；关节控制模块403，用于控制所导入的机器人模型的人手在所述RGBD相机的视野范围内动作；图像采集控制模块404，用于利用所述RGBD相机采集RGBD图像数据；数据生成模块405，用于根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集。
在一可实施方式中，模型导入模块401，具体用于根据机器人3D模型按照关节堆叠的方式将机器人的各个关节分别导入游戏引擎中。
在一可实施方式中，相机模拟模块402，具体用于利用场景捕捉组件对场景进行捕捉，得到图像数据；渲染所述图像数据到贴图渲染组件；选择捕捉数据源将所述图像数据中的彩色图像数据和深度图像数据进行重组，得到重组后的图像数据；对所述重组后的图像数据进行彩色图像数据的通道隔离和深度图像数据的单位统一处理，以模拟得到RGBD相机。
在一可实施方式中，所述RGBD图像包括2D彩色图像和深度图像；数据生成模块405，具体用于将所述21个关键点的3D位姿的坐标转换到所述2D彩色图像中，以标注每个关键点在所述2D彩色图像中的位置；利用所述深度图像获得各个关键点的深度信息。
在一可实施方式中，数据生成模块405，还用于在将所述21个关键点的3D位姿的坐标转换到所述2D彩色图像中之前，将21个关键点的3D位姿的坐标转换为在所述RGBD相机坐标系下的坐标，获得21个关键点的相对坐标；将所述RGBD图像数据和21个关键点的相对坐标进行对应。
图5示出了本发明实施例提供的电子设备的组成结构示意图。
下面，参考图5来描述根据本公开实施例的电子设备。该电子设备可以是数据生成装置40或与它独立的单机设备，该单机设备可以与数据生成装置40进行通信，以从它们接收所采集到的输入信号。
图5图示了根据本公开实施例的电子设备的框图。
如图5所示，电子设备11包括一个或多个处理器111和存储器112。
处理器111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。
存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本公开的各个实施例的支持动态意图的控制方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是支持动态意图的控制装置60时，该输入装置113可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置113可以是通信网络连接器，用于从数据生成装置40接收所采集的输入信号。
此外，该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。
当然，为了简化，图5中仅示出了该电子设备11中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的多任务模型的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的多任务模型的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (6)

1.一种数据生成方法，其特征在于，所述方法包括：
使用游戏引擎导入机器人模型；
通过所述游戏引擎中的场景捕捉组件模拟RGBD相机；
利用所述游戏引擎中的关节控制模块控制所导入的机器人模型的人手在所述RGBD相机的视野范围内动作；
利用所述RGBD相机采集RGBD图像数据；
根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集；
其中，所述通过所述游戏引擎中的场景捕捉组件模拟RGBD相机，包括：
利用场景捕捉组件对场景进行捕捉，得到图像数据；渲染所述图像数据到贴图渲染组件；选择捕捉数据源将所述图像数据中的彩色图像数据和深度图像数据进行重组，得到重组后的图像数据；对所述重组后的图像数据进行彩色图像数据的通道隔离和深度图像数据的单位统一处理，以模拟得到RGBD相机；
所述RGBD图像包括2D彩色图像和深度图像；根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集，包括：
将所述21个关键点的3D位姿的坐标转换为在所述RGBD相机坐标系下的坐标，获得所述21个关键点的相对坐标；将所述RGBD图像数据和所述21个关键点的相对坐标进行对应；将所述21个关键点的3D位姿的坐标转换到所述2D彩色图像中，以标注每个关键点在所述2D彩色图像中的位置；利用所述深度图像获得各个关键点的深度信息。
2.根据权利要求1所述的方法，其特征在于，所述使用游戏引擎导入机器人模型，包括：
根据机器人3D模型按照关节堆叠的方式将机器人的各个关节分别导入游戏引擎中。
3.一种数据生成装置，其特征在于，所述装置包括：
模型导入模块，用于使用游戏引擎导入机器人模型；
相机模拟模块，用于通过所述游戏引擎中的场景捕捉组件模拟RGBD相机；
关节控制模块，用于控制所导入的机器人模型的人手在所述RGBD相机的视野范围内动作；
图像采集控制模块，用于利用所述RGBD相机采集RGBD图像数据；所述RGBD图像包括2D彩色图像和深度图像；
数据生成模块，用于根据所述RGBD图像数据和21个关键点的3D位姿的坐标信息，生成带有21个关键点坐标的标注数据集；
其中，所述相机模拟模块，具体用于利用场景捕捉组件对场景进行捕捉，得到图像数据；渲染所述图像数据到贴图渲染组件；选择捕捉数据源将所述图像数据中的彩色图像数据和深度图像数据进行重组，得到重组后的图像数据；对所述重组后的图像数据进行彩色图像数据的通道隔离和深度图像数据的单位统一处理，以模拟得到RGBD相机；
所述数据生成模块，具体用于将所述21个关键点的3D位姿的坐标转换为在所述RGBD相机坐标系下的坐标，获得所述21个关键点的相对坐标；将所述RGBD图像数据和所述21个关键点的相对坐标进行对应；将所述21个关键点的3D位姿的坐标转换到所述2D彩色图像中，以标注每个关键点在所述2D彩色图像中的位置；利用所述深度图像获得各个关键点的深度信息。
4.根据权利要求3所述的装置，其特征在于，
所述模型导入模块，具体用于根据机器人3D模型按照关节堆叠的方式将机器人的各个关节分别导入游戏引擎中。
5.一种数据生成装置，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序，所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至2任一项所述的数据生成方法。
6.一种计算机可读存储介质，其特征在于，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行权利要求1至2任一项所述的数据生成方法。
CN202011076496.2A 2020-10-10 2020-10-10 一种数据生成方法、装置及存储介质 Active CN112308910B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011076496.2A CN112308910B (zh) 2020-10-10 2020-10-10 一种数据生成方法、装置及存储介质
PCT/CN2021/119393 WO2022073415A1 (zh) 2020-10-10 2021-09-18 一种数据生成方法、装置及存储介质
US17/563,692 US20220126447A1 (en) 2020-10-10 2021-12-28 Data generation method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011076496.2A CN112308910B (zh) 2020-10-10 2020-10-10 一种数据生成方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112308910A CN112308910A (zh) 2021-02-02
CN112308910B true CN112308910B (zh) 2024-04-05

Family

ID=74489531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011076496.2A Active CN112308910B (zh) 2020-10-10 2020-10-10 一种数据生成方法、装置及存储介质

Country Status (3)

Country Link
US (1) US20220126447A1 (zh)
CN (1) CN112308910B (zh)
WO (1) WO2022073415A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308910B (zh) * 2020-10-10 2024-04-05 达闼机器人股份有限公司 一种数据生成方法、装置及存储介质
CN115167534B (zh) * 2022-07-11 2023-06-20 深圳市乐唯科技开发有限公司 一种游艺游戏设备的多方位转向控制系统及方法
CN115578236A (zh) * 2022-08-29 2023-01-06 上海智能制造功能平台有限公司 基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530619A (zh) * 2013-10-29 2014-01-22 北京交通大学 基于rgb-d数据构成的少量训练样本的手势识别方法
WO2018140656A1 (en) * 2017-01-26 2018-08-02 Matterport, Inc. Capturing and aligning panoramic image and depth data
CN108399634A (zh) * 2018-01-16 2018-08-14 达闼科技（北京）有限公司 基于云端计算的rgb-d数据生成方法及装置
CN108564642A (zh) * 2018-03-16 2018-09-21 中国科学院自动化研究所 基于ue引擎的无标记表演捕捉系统
CN108776773A (zh) * 2018-05-04 2018-11-09 华南理工大学 一种基于深度图像的三维手势识别方法及交互系统
CN110751716A (zh) * 2019-05-08 2020-02-04 叠境数字科技（上海）有限公司 基于单视角rgbd传感器的虚拟试鞋方法
CN110956065A (zh) * 2019-05-11 2020-04-03 初速度（苏州）科技有限公司 一种用于模型训练的人脸图像处理方法及装置
CN111161387A (zh) * 2019-12-31 2020-05-15 华东理工大学 堆叠场景下合成图像的方法及系统、存储介质、终端设备
CN111274927A (zh) * 2020-01-17 2020-06-12 北京三快在线科技有限公司 一种训练数据的生成方法、装置、电子设备和存储介质
CN111368667A (zh) * 2020-02-25 2020-07-03 达闼科技（北京）有限公司 一种数据采集方法、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796489B1 (en) * 2017-09-13 2020-10-06 Lucasfilm Entertainment Company Ltd. Game engine responsive to motion-capture data for mixed-reality environments
WO2020061432A1 (en) * 2018-09-21 2020-03-26 Cubic Corporation Markerless human movement tracking in virtual simulation
CN111414409B (zh) * 2020-03-17 2024-03-15 网易（杭州）网络有限公司 游戏引擎之间数据交换方法及装置、存储介质及电子设备
CN112308910B (zh) * 2020-10-10 2024-04-05 达闼机器人股份有限公司 一种数据生成方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530619A (zh) * 2013-10-29 2014-01-22 北京交通大学 基于rgb-d数据构成的少量训练样本的手势识别方法
WO2018140656A1 (en) * 2017-01-26 2018-08-02 Matterport, Inc. Capturing and aligning panoramic image and depth data
CN108399634A (zh) * 2018-01-16 2018-08-14 达闼科技（北京）有限公司 基于云端计算的rgb-d数据生成方法及装置
CN108564642A (zh) * 2018-03-16 2018-09-21 中国科学院自动化研究所 基于ue引擎的无标记表演捕捉系统
CN108776773A (zh) * 2018-05-04 2018-11-09 华南理工大学 一种基于深度图像的三维手势识别方法及交互系统
CN110751716A (zh) * 2019-05-08 2020-02-04 叠境数字科技（上海）有限公司 基于单视角rgbd传感器的虚拟试鞋方法
CN110956065A (zh) * 2019-05-11 2020-04-03 初速度（苏州）科技有限公司 一种用于模型训练的人脸图像处理方法及装置
CN111161387A (zh) * 2019-12-31 2020-05-15 华东理工大学 堆叠场景下合成图像的方法及系统、存储介质、终端设备
CN111274927A (zh) * 2020-01-17 2020-06-12 北京三快在线科技有限公司 一种训练数据的生成方法、装置、电子设备和存储介质
CN111368667A (zh) * 2020-02-25 2020-07-03 达闼科技（北京）有限公司 一种数据采集方法、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Camera-to-Robot Pose Estimation from a Single Image;Timothy E. Lee，et al;《2020 IEEE International Conference on Robotics and Automation》;20200915;9426-9432页 *
三维点云场景数据获取及其场景理解关键技术综述;李勇 等;激光与光电子学进展;20190228;第56卷(第4期);1-14页 *

Also Published As

Publication number Publication date
WO2022073415A1 (zh) 2022-04-14
US20220126447A1 (en) 2022-04-28
CN112308910A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112308910B (zh) 一种数据生成方法、装置及存储介质
US12017145B2 (en) Method and system of automatic animation generation
CN106200983B (zh) 一种结合虚拟现实与bim实现虚拟现实场景建筑设计的系统
CN110969685A (zh) 使用渲染图的可定制渲染管线
CN109271153B (zh) 一种基于编程教育系统获取编程语言的方法以及电子设备
US11354774B2 (en) Facial model mapping with a neural network trained on varying levels of detail of facial scans
CN111027407B (zh) 针对遮挡情况的彩色图像手部姿态估计方法
CN113297701B (zh) 多种类工业零件堆叠场景的仿真数据集生成方法及装置
Ortiz-Sanz et al. D3mobile metrology world league: training secondary students on smartphone-based photogrammetry
CN112950759B (zh) 基于房屋全景图的三维房屋模型构建方法及装置
CN112911266A (zh) 基于增强现实技术的物联网实训系统的实现方法及系统
CN117315102A (zh) 虚拟主播处理方法、装置、计算设备及存储介质
CN112991208A (zh) 图像处理方法及装置、计算机可读介质和电子设备
WO2024000480A1 (zh) 3d虚拟对象的动画生成方法、装置、终端设备及介质
CN112652056B (zh) 一种3d信息展示方法及装置
CN112686990B (zh) 一种三维模型显示方法、装置、存储介质和计算机设备
CN115239856A (zh) 3d虚拟对象的动画生成方法、装置、终端设备及介质
CN115018975A (zh) 数据集生成方法、装置、电子设备及存储介质
CN109360274A (zh) 沉浸式虚拟现实构建方法、装置、智能升降桌及存储介质
CN112634439B (zh) 一种3d信息展示方法及装置
CN113269831B (zh) 基于场景坐标回归网络的视觉重定位方法、系统、装置
US11710039B2 (en) Systems and methods for training image detection systems for augmented and mixed reality applications
CN112233208B (zh) 机器人状态处理方法、装置、计算设备和存储介质
CN112150615A (zh) 基于三维人脸模型的人脸图像生成方法、装置及存储介质
CN114972615A (zh) 一种光影的绘制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dayu robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant