CN115578236A - 基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法 - Google Patents

基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法 Download PDF

Info

Publication number
CN115578236A
CN115578236A CN202211041995.7A CN202211041995A CN115578236A CN 115578236 A CN115578236 A CN 115578236A CN 202211041995 A CN202211041995 A CN 202211041995A CN 115578236 A CN115578236 A CN 115578236A
Authority
CN
China
Prior art keywords
simulation
scene
collision
pose
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211041995.7A
Other languages
English (en)
Inventor
孙长江
付傲然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Platform For Smart Manufacturing Co Ltd
Original Assignee
Shanghai Platform For Smart Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Platform For Smart Manufacturing Co Ltd filed Critical Shanghai Platform For Smart Manufacturing Co Ltd
Priority to CN202211041995.7A priority Critical patent/CN115578236A/zh
Priority to PCT/CN2022/125014 priority patent/WO2024045273A1/zh
Publication of CN115578236A publication Critical patent/CN115578236A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，包括：搭建或加载虚拟场景和仿真物料；将所述仿真物料在所述虚拟场景中进行碰撞仿真；所述碰撞仿真结束后在相机视角下进行渲染；生成渲染后的所述虚拟场景和所述仿真物料的彩色图像、灰度图像和深度图像并保存；导出所述虚拟场景中所述仿真物料在相机坐标下的三维位姿。本发明能够以低成本的方式生成包括物料三维位姿结果的位姿估计虚拟场景数据集，用于深度学习类位姿估计方法的训练和各类位姿估计方法的测试和准确性评估，相比于传统的真实数据集大大降低数据采集和结果标注的成本，从而提高了算法训练和测试效率。

Description

基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法
技术领域
本发明涉及位姿估计方法训练和测试技术领域，具体地，涉及一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法。
背景技术
随着工业4.0与智能制造的发展，提升生产制造过程的自动化、智能化水平已成为制造业企业升级转型的重要方向。其中，利用工业机器人进行散乱堆叠零件的无序抓取是制造业企业智能化转型的一个重要技术。其中零件识别和位姿估计方法的准确性和精度是影响机器人抓取效率和抓取成功率的关键因素。近年来，深度学习类的位姿估计方法有了飞速的发展，为了训练深度学习网络、评价位姿估计方法的准确率和精度，需要构建大量包括点云、深度图、场景图像和场景中目标物体真实位置和姿态的多源数据集。
真实数据集往往采用人工标注的方式，对场景中的各个物体进行框选、分割，对于点云中的物体需要手动配准获取物体真实位姿。由于真实场景的数据集制作难度大，可提供的场景和目标物体有限，并不能完全满足不同场景下位姿估计方法的深度神经网络训练和方法精度测试需求。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法。
根据本发明的一个方面，提供一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，包括：
搭建或加载虚拟场景和仿真物料；
将所述仿真物料在所述虚拟场景中进行碰撞仿真；
所述碰撞仿真结束后在相机视角下进行渲染；
生成渲染后的所述虚拟场景和所述仿真物料的彩色图像、灰度图像和深度图像并保存；
导出所述虚拟场景中所述仿真物料在相机坐标下的三维位姿。
优选地，所述搭建或加载虚拟场景和仿真物料，包括：
建立场景模型和仿真物料模型；
建立物理仿真的物理场景；
设置所述物理场景的环境参数配置；
设置相机参数配置；
将所述场景模型添加到所述物理场景并调整位姿；
将所述仿真物料模型添加到完成了场景模型添加的所述物理场景中。
优选地，所述将所述仿真物料在所述虚拟场景中进行碰撞仿真，包括：
设置需要添加的仿真物料数量、仿真物料初始的随机位置范围和姿态范围；
仿真物料之间进行仿真碰撞；
对于每对发生碰撞的仿真物料，通过计算两个仿真物料模型的三维网格是否发生重叠得到其最深碰撞点；
通过所述最深碰撞点的碰撞深度计算物体间接触力，并通过动力学求解和运动积分获得每个仿真物料碰撞后的位置。
优选地，所述碰撞仿真结束后在相机视角下进行渲染，通过开源图形库绘制虚拟场景中及仿真物料在当前相机视角下的图像。
优选地，所述通过开源图形库绘制虚拟场景中及仿真物料在当前相机视角下的图像，包括：
获取每一帧仿真物料在虚拟场景中的位姿，得到仿真物料各个顶点的坐标；
通过所述每个仿真物料的各个顶点坐标的位姿变换和透视变换计算得到仿真物料在投影平面的二维坐标；
所述二维坐标作为三角面片的顶点坐标，所述三角面片构成场景图形；
通过图形渲染管线，将渲染得到的所述场景图形绘制在屏幕上。
优选地，所述各个顶点坐标的位姿变换和透视变换，包括：
读取相机在三维空间中的位置和姿态，并记作齐次变换矩阵Hc；
读取完成碰撞后的场景中需要渲染的每个仿真物料的位置和姿态，并记作齐次变换矩阵Hp；
计算仿真物料坐标系下的每个顶点为Pm在相机坐标系下的位置：Pc＝Hc*Hp*Pm；
定义透视变换矩阵
Figure BDA0003820689610000031
其中：
Figure BDA0003820689610000032
FOV表示相机视角范围，W表示近裁剪平面的宽度，H表示近裁剪平面的高度，Znear表示相机中心到近裁剪平面的距离，Zfar表示相机中心到远裁剪平面的距离；
通过透视变换矩阵，得到二维的近裁剪平面，并计算空间点投影到所述近裁剪平面后的二维坐标Ps：
Ps＝Mproj*Pc＝Mproj*Hc*HP*Pm。
优选地，所述深度图形的获取，包括：
从开源图形库的渲染管线中读取得到仿真物料的二维的近裁剪平面中每个像素的深度缓存数据z；
根据相机模型参数将缓存深度恢复为场景的真实深度：
Figure BDA0003820689610000033
其中，z'为真实深度，z为深度缓存数据。
优选地，所述仿真物料模型和场景模型为有贴图模型或者无贴图模型。
根据本发明的第二个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行任一项所述的方法。
根据本发明的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行任一项所述的方法。
与现有技术相比，本发明具有如下的有益效果：
本发明实施例中的基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，能够以低成本的方式生成包括物料三维位姿结果的位姿估计虚拟场景数据集，用于深度学习类位姿估计方法的训练和各类位姿估计方法的测试和准确性评估，相比于传统的真实数据集大大降低数据采集和结果标注的成本，从而提高了方法训练和测试效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中的基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法的流程图；
图2为本发明一优选实施例的基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法的优选流程图；
图3为本发明一优选实施例中的物料盒模型；
图4为本发明一优选实施例中的物料包装盒模型；
图5为本发明一优选实施例中的物理仿真流程图；
图6为本发明一优选实施例中的模型透视变换原理图；
图7为本发明一优选实施例中的场景渲染效果图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示，为本发明实施例提供的一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法的流程图，包括：
S100，搭建或加载虚拟场景和仿真物料；
S200，将1200中的仿真物料在S100中的虚拟场景中进行碰撞仿真；
S300，S200进行的碰撞仿真结束后在相机视角下进行渲染；
S400，生成渲染后的虚拟场景和仿真物料的彩色图像、灰度图像和深度图像并保存；
S500,导出S400完成渲染后的虚拟场景中仿真物料在相机坐标下的三维位姿。
本实施例结合物理仿真技术和图形渲染技术，降低了位姿估计方法数据集生成的难度和成本。
基于上述实施例进一步优化得到如图2所示优选流程。在本发明的一个优选实施例中，实施S100，具体的过程如下：
S101，建立场景需要的物体模型。其中，建立的物体模型如图,3和图4所示，该物体模型可以是贴图模型也可以是无贴图模型；物体模型包括场景模型和仿真物料模型，图3是场景模型的示例--物料盒，该模型是无贴图模型，图4是仿真物料模型的示例--包装盒，该模型通过在包装盒的六个表面添加贴图使得最终渲染场景更加逼真；
S102，场景初始化，建立用于物理仿真的物理场景。该步骤建立了一个空的物理场景，后续通过将S101中建立的物体模型加载到物理场景中，即可进行仿真物料和场景模型的物理仿真；
S103，场景环境参数配置。设置物理场景的背景颜色、场景环境光颜色、光源位置等环境参数。为了使得渲染的场景更加接近真实场景和使得场景光线效果更加丰富，该实施例向场景中添加了一个环境光源和四个点光源，光源用于控制渲染出的场景的颜色、亮度等效果，通过设置不同光源的位置、颜色等环境参数，可以实现不同的渲染效果；
S104，相机参数配置。设置用于渲染图像的相机位置、图像分辨率等相机参数；
S105，添加场景模型。将用于搭建仿真场景的场景模型模型添加到场景中，如图2中的物料盒；
S106，设置场景模型位姿。将添加到场景中的场景模型的位置和姿态调整至合适的位置；
S107，添加仿真物料模型。将用于物理仿真的仿真物料模型添加到场景中，并设置仿真物料的物理参数(质量、摩擦系数)，如图4中的包装盒模型；对于无贴图模型还需要设置模型的颜色以易于区分；如采用CAD建模的大部分工业零件模型。
需要说明的是，其中S104中相机参数的设置，在进行场景渲染之间均可设置，并不仅限一上述的顺序要求。
在本发明的一个优选实施例中，基于上述实施例构建的虚拟场景和仿真物料，实施S200，进行仿真碰撞。具体的过程如下：
S201，仿真参数设置。设置需要添加的仿真物料数量、仿真物料初始的随机位置范围和姿态范围，现随机位姿落料的形式向场景中添加仿真物料；
S202，物理仿真。如图5所示，首先，进行每对仿真物料之间的碰撞检测；接着，对于每对发生碰撞的仿真物料，通过计算两个仿真物料模型的三维网格是否发生重叠得到其最深碰撞点，并通过碰撞深度计算仿真物料间接触力；最后，通过动力学求解和运动积分获得每个仿真物料完成碰撞后的新一时刻的位置。
在本发明的一个优选实施例中，实施S300，将上是实施例中完成的仿真碰撞后的场景进行图像渲染。通过开源图形库绘制场景中每个物体在当前相机视角下的图像，本实施例中图形库选用OpenGL，相机视角选用俯视视角，即相机位于物料盒上方垂直看向物料盒；其他实施例中，选用其他图形库如DirectX。
根据上述S202中的每一帧仿真物料的位姿，通过仿真物料模型各个顶点坐标的位姿变换和透视变换计算得到仿真物料在投影平面的二维坐标，通过图形渲染管线，将渲染得到的场景图形绘制在屏幕上。
较佳实施例中，上述的相机视角下的仿真物料模型顶点坐标变换需要如下步骤：
步骤a,相机位姿读取，读取相机在三维空间中的位置和姿态，并记作齐次变换矩阵Hc(变换矩阵中使用12个参数表示相机在三维空间中的位置和姿态)；
步骤b,模型位姿读取，读取S202计算得到的场景中需要渲染的每个仿真物料模型的位置和姿态，并记作齐次变换矩阵Hp(每个模型的位置和姿态通过各子的齐次变换矩阵的中参数来表示)；
步骤c,模型顶点坐标变换，三维模型在计算机中是由一系列顶点(vertex)、连线(line)和面片(face)组成,对于模型坐标系下的每个顶点Pm,计算其在相机坐标系下的位置:
Pc＝Hc*Hp*Pm
步骤d,顶点透视投影变换，如图6所示，由于最终需要将三维空间中的场景渲染至一个二维平面中，因此需要对相机坐标系下的模型顶点进行透视投影变换，定义透视变换矩阵
Figure BDA0003820689610000061
其中：
Figure BDA0003820689610000062
其中：FOV表示相机视角范围，W表示近裁剪平面的宽度，H表示近裁剪平面的高度，Znear表示相机中心到近裁剪平面的距离，Zfar表示相机中心到远裁剪平面的距离
通过透视变换矩阵，就可以计算得到空间点投影到近裁剪平面后的二维坐标Ps,
Ps＝Mproj*Pc＝Mproj*Hc*HP*Pm。
在本发明的另一个优选实施例中，实施S400。
S401，渲染场景彩色图像、灰度图像和深度图像。物理仿真完成后，根据S104设置的相机参数，渲染得到相机视角下的场景彩色图像、灰度图像和深度图像；
较佳实施例中，深度图形渲染的过程如下：
步骤a，深度数据读取。在图形渲染过程中渲染场景的深度图可以从OpenGL图形渲染管线中读取得到图形每个像素的深度缓存数据z，其中，缓存数据z是非线性映射得到的深度值，是根据相机坐标系下的坐标Pc计算得到的；
步骤b，深度数据变换。根据相机模型参数可以将缓存深度恢复为场景的真实深度：
Figure BDA0003820689610000071
其中，z'为真实深度，z为深度缓存数据。
S402，导出图像数据。将S401渲染得到的场景彩色图像、灰度图像和深度图像保存至计算机本地，本发明实施例最终渲染得到的场景图形如图7所示；
在本发明的一个优选实施例中，实施S500，生成仿真物料位姿。从S100搭建的虚拟物理场景中读取仿真物料在场景中的空间位置和姿态并采用统一的序列格式将仿真物料位姿保存在本地文件中。其中，空间位置和姿态为Hc*Hp。
基于上述S400和S500，获得了虚拟数据集，包括场景的彩色图形、灰度图像和深度图像和仿真物料位姿，用于深度学习类位姿估计方法的训练和各类位姿估计方法的测试和准确性评估，相比于传统的真实数据集大大降低数据采集和结果标注的成本，从而提高了方法训练和测试效率。
基于相同的发明构思，本发明其他实施例中还提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行任一项所述的方法。
基于相同的发明构思，本发明其他实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行任一项所述的方法。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，其特征在于，包括：
搭建或加载虚拟场景和仿真物料；
将所述仿真物料在所述虚拟场景中进行碰撞仿真；
所述碰撞仿真结束后在相机视角下进行渲染；
生成渲染后的所述虚拟场景和所述仿真物料的彩色图像、灰度图像和深度图像并保存；
导出所述虚拟场景中所述仿真物料在相机坐标下的三维位姿。
2.根据权利要求1所述的一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，其特征在于，所述搭建或加载虚拟场景和仿真物料，包括：
建立场景模型和仿真物料模型；
建立物理仿真的物理场景；
设置所述物理场景的环境参数配置；
设置相机参数配置；
将所述场景模型添加到所述物理场景并调整位姿；
将所述仿真物料模型添加到完成了场景模型添加的所述物理场景中。
3.根据权利要求1所述的一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，其特征在于，所述将所述仿真物料在所述虚拟场景中进行碰撞仿真，包括：
设置需要添加的仿真物料数量、仿真物料初始的随机位置范围和姿态范围；
仿真物料之间进行仿真碰撞；
对于每对发生碰撞的仿真物料，通过计算两个仿真物料模型的三维网格是否发生重叠得到其最深碰撞点；
通过所述最深碰撞点的碰撞深度计算物体间接触力，并通过动力学求解和运动积分获得每个仿真物料碰撞后的位置。
4.根据权利要求3所述的一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，其特征在于，所述碰撞仿真结束后在相机视角下进行渲染，通过开源图形库绘制虚拟场景中及仿真物料在当前相机视角下的图像。
5.根据权利要求4所述的一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，其特征在于，所述通过开源图形库绘制虚拟场景中及仿真物料在当前相机视角下的图像，包括：
获取每一帧仿真物料在虚拟场景中的位姿，得到仿真物料各个顶点的坐标；
通过所述每个仿真物料的各个顶点坐标的位姿变换和透视变换计算得到仿真物料在投影平面的二维坐标；
所述二维坐标作为三角面片的顶点坐标，所述三角面片构成场景图形；
通过图形渲染管线，将渲染得到的所述场景图形绘制在屏幕上。
6.根据权利要求5所述的一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，其特征在于，所述各个顶点坐标的位姿变换和透视变换，包括：
读取相机在三维空间中的位置和姿态，并记作齐次变换矩阵Hc；
读取完成碰撞后的场景中需要渲染的每个仿真物料的位置和姿态，并记作齐次变换矩阵Hp；
计算仿真物料坐标系下的每个顶点为Pm在相机坐标系下的位置：Pc＝Hc*Hp*Pm；
定义透视变换矩阵
Figure FDA0003820689600000021
其中：
Figure FDA0003820689600000022
FOV表示相机视角范围，W表示近裁剪平面的宽度，H表示近裁剪平面的高度，Znear表示相机中心到近裁剪平面的距离，Zfar表示相机中心到远裁剪平面的距离；
通过透视变换矩阵，得到二维的近裁剪平面，并计算空间点投影到所述近裁剪平面后的二维坐标Ps：
Ps＝Mproj*Pc＝Mproj*Hc*HP*Pm。
7.根据权利要求6所述的一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，其特征在于，所述深度图形的获取，包括：
从开源图形库的渲染管线中读取得到仿真物料的二维的近裁剪平面中每个像素的深度缓存数据z；
根据相机模型参数将缓存深度恢复为场景的真实深度：
Figure FDA0003820689600000023
其中，z'为真实深度，z为深度缓存数据。
8.根据权利要求1-7任一项所述的一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，其特征在于，所述仿真物料模型和场景模型为有贴图模型或者无贴图模型。
9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-8中任一项所述的方法。
CN202211041995.7A 2022-08-29 2022-08-29 基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法 Pending CN115578236A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211041995.7A CN115578236A (zh) 2022-08-29 2022-08-29 基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法
PCT/CN2022/125014 WO2024045273A1 (zh) 2022-08-29 2022-10-13 基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211041995.7A CN115578236A (zh) 2022-08-29 2022-08-29 基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法

Publications (1)

Publication Number Publication Date
CN115578236A true CN115578236A (zh) 2023-01-06

Family

ID=84580092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211041995.7A Pending CN115578236A (zh) 2022-08-29 2022-08-29 基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法

Country Status (2)

Country Link
CN (1) CN115578236A (zh)
WO (1) WO2024045273A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237575A (zh) * 2023-11-10 2023-12-15 光轮智能(北京)科技有限公司 室内场景生成方法、控制装置及可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154760B (zh) * 2024-05-10 2024-08-02 山东捷瑞数字科技股份有限公司 一种基于三维引擎在模型表面的实时交互方法及系统
CN118269108A (zh) * 2024-05-31 2024-07-02 科弛医疗科技(北京)有限公司 手术机器人的机械臂碰撞检测方法和系统、以及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523629B (zh) * 2018-11-27 2023-04-07 上海交通大学 一种基于物理仿真的物体语义和位姿数据集生成方法
CN112308910B (zh) * 2020-10-10 2024-04-05 达闼机器人股份有限公司 一种数据生成方法、装置及存储介质
CN113297701B (zh) * 2021-06-10 2022-12-20 清华大学深圳国际研究生院 多种类工业零件堆叠场景的仿真数据集生成方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237575A (zh) * 2023-11-10 2023-12-15 光轮智能(北京)科技有限公司 室内场景生成方法、控制装置及可读存储介质
CN117237575B (zh) * 2023-11-10 2024-02-06 光轮智能(北京)科技有限公司 室内场景生成方法、控制装置及可读存储介质

Also Published As

Publication number Publication date
WO2024045273A1 (zh) 2024-03-07

Similar Documents

Publication Publication Date Title
CN115578236A (zh) 基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法
CN108062784B (zh) 三维模型纹理贴图转换方法与装置
Hepp et al. Learn-to-score: Efficient 3d scene exploration by predicting view utility
JP2018136632A (ja) 形状推定装置
US20200057831A1 (en) Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation
CN109003325A (zh) 一种三维重建的方法、介质、装置和计算设备
CN111161349A (zh) 物体姿态估计方法、装置与设备
CN111079565B (zh) 视图二维姿态模板的构建方法及识别方法、定位抓取系统
CN113345063B (zh) 基于深度学习的pbr三维重建方法、系统与计算机存储介质
US12112494B2 (en) Robotic manipulation using domain-invariant 3D representations predicted from 2.5D vision data
CN110910452B (zh) 一种基于深度学习的低纹理工业零件位姿估计方法
CN115457188A (zh) 一种基于注视点的3d渲染显示方法及系统
JP7294788B2 (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
CN106447763A (zh) 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法
CN112085835A (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
US20220405448A1 (en) Deep parameterization for 3d shape optimization
CN117456128A (zh) 三维重建方法、装置、设备及存储介质
EP3980975B1 (en) Method of inferring microdetail on skin animation
CN117769724A (zh) 使用深度学习的对象检测和分类的合成数据集创建
JP2832463B2 (ja) ３次元モデルの再構成方法および表示方法
JP5165819B2 (ja) 画像処理方法および画像処理装置
CN116484585A (zh) 缺陷样本数据集的仿真生成方法、计算机可读存储介质
Frank et al. Learning deformable object models for mobile robot navigation using depth cameras and a manipulation robot
CN116647657A (zh) 响应式视频画布生成
CN114049423A (zh) 一种自动的真实感三维模型纹理映射方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination