CN116822100B - 一种数字孪生建模方法及其仿真试验系统 - Google Patents

一种数字孪生建模方法及其仿真试验系统 Download PDF

Info

Publication number
CN116822100B
CN116822100B CN202311107303.9A CN202311107303A CN116822100B CN 116822100 B CN116822100 B CN 116822100B CN 202311107303 A CN202311107303 A CN 202311107303A CN 116822100 B CN116822100 B CN 116822100B
Authority
CN
China
Prior art keywords
target
mechanical arm
digital twin
point cloud
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311107303.9A
Other languages
English (en)
Other versions
CN116822100A (zh
Inventor
贺亮
侯月阳
卢山
张文婧
程浩
宋婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Taicang Yangtze River Delta Research Institute of Northwestern Polytechnical University
Original Assignee
Shanghai Aerospace Control Technology Institute
Taicang Yangtze River Delta Research Institute of Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute, Taicang Yangtze River Delta Research Institute of Northwestern Polytechnical University filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN202311107303.9A priority Critical patent/CN116822100B/zh
Publication of CN116822100A publication Critical patent/CN116822100A/zh
Application granted granted Critical
Publication of CN116822100B publication Critical patent/CN116822100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种数字孪生建模方法及其仿真试验系统，所述数字孪生建模方法，包括如下步骤：S1：初始条件设定，选择机械臂、深度相机以及目标；S2：根据步骤S1的设定，完成机械臂操作数字孪生场景的构建；S3：根据步骤S1的设定，通过所述机械臂辅助深度相机获取目标各个位置的照片以及深度图像；S4：根据步骤S1和步骤S3的设定，完成目标三维重建；S5：根据步骤S2和步骤S4的结果，完成目标与机械臂操作数字孪生场景的融合。本发明所述的数字孪生建模方法及其仿真试验系统，将场景数字孪生与目标数字孪生相结合，实现快速数字孪生，可应用在任务前的操控训练模拟、任务中的操控场景实时观察、任务后的操控状态回放、复盘。

Description

一种数字孪生建模方法及其仿真试验系统
技术领域
本发明属于空间操控技术领域，具体涉及一种数字孪生建模方法及其仿真试验系统。
背景技术
空间操控是近年来的航天热门领域之一，在轨维修、碎片清除、轨道延寿等航天任务变得越来越重要。在这些任务的实现过程中，对于操控目标的数字孪生建模是一项重要技术，通过数字孪生模型，地面的操作员可以直观感受被操作对象，数字孪生模型可以指导操作员控制机械臂对目标进行操作。
现有技术中，解决操作场景问题的方法主要有两种：一是在机械臂末端安装有手眼相机，操作时，通过手眼相机拍摄的图像在地面进行分析，这种方法的主要问题在于手眼相机拍摄的目标的为局部图像，无法建立全局的场景；二是通过在地面预先通过三维造型软件进行三维建模，然后对模型进行补光、渲染等处理得到数字孪生场景，这种场景可以非常精细，但问题在于通过三维造型软件设计目标速度较慢，难以满足当前任务多发阶段的设计周期。
因此，为了解决快速数字孪生的技术问题，本发明提供一种面向在轨操作的数字孪生建模方法及其仿真试验系统，将场景数字孪生与目标数字孪生相结合，为快速数字孪生提供一种新思路，可为空间操控技术提供支撑。
发明内容
发明目的：为了克服以上不足，本发明的目的是提供一种数字孪生建模方法及其仿真试验系统，将场景数字孪生与目标数字孪生相结合，通过对未知目标的三维重建建模方法，实现快速数字孪生场景生成，达到一比一模拟在轨场景的效果，可应用在任务前的操控训练模拟、任务中的操控场景实时观察、任务后的操控状态回放、复盘，应用前景广泛。
本发明的目的是通过以下技术方案实现的：
一种数字孪生建模方法，所述数字孪生建模方法，包括如下步骤：
S1：初始条件设定，选择机械臂、深度相机以及目标；
S2：根据步骤S1的设定，通过三维造型软件对机械臂以及常规场景进行建模，完成机械臂操作数字孪生场景的构建；
S3：根据步骤S1的设定，通过所述机械臂辅助深度相机获取目标各个位置的照片以及深度图像；
S4：根据步骤S1和步骤S3的设定，完成目标三维重建；
S5：将步骤S4形成的目标三维重建的模型导入到步骤S2形成的机械臂操作数字孪生场景，完成目标与机械臂操作数字孪生场景的融合。
本发明所述数字孪生建模方法，首先通过三维造型软件对机械臂及常规场景进行建模，实现操作场景的数字孪生，然后根据机械臂辅助深度相机获取目标各个位置的照片以及深度图像进行目标三维重建并且导出，形成操作目标的数字孪生，整合场景和目标模型，实现快速数字孪生，为快速数字孪生提供一种新思路，可为空间操控技术提供支撑。
上述设计的优点：1、数字孪生方法的快速性：通过深度相机拍摄实现建模，并且融合到数字孪生场景中；2、已知场景的可靠性：对于已知的场景、设备，例如机械臂采取通过三维造型软件预先建模的方式进行数字孪生场景搭建，充分保证了现有场景的精细化和准确度。
进一步的，上述的数字孪生建模方法，所述步骤S2中，机械臂操作数字孪生场景的构建包括模型优化与处理、碰撞检测设计、图形用户界面的开发三部分，具体包括如下内容：
S21 模型优化与处理：机械臂与约束桁架的三维造型通过三维造型软件设计导入，先进行粗优化，然后再进行部件优化，最后进行精优化；
S22碰撞检测设计：先进行粗碰撞检测，然后再进行精细碰撞检测，以减小运算量；
S23图形用户界面的开发：将管理器功能分解，使职责相近的功能模块集中于单一的管理器中，将所有管理器类抽象后，统一继承于单例类，交由总管理器进行统一维护。
进一步的，上述的数字孪生建模方法，所述步骤S3中，所述机械臂的自由度和杆长确定后，其操作空间也确定，所述机械臂在操作空间内采用示教扫描和/或规划扫描的方式实现对目标的自动拍照扫描。
进一步的，上述的数字孪生建模方法，所述示教扫描的方式，具体包括如下内容：对于新的目标，将目标放置在深度相机周围，由操作员对所述机械臂进行示教，在所述机械臂带动深度相机的同时观测所述深度相机的成像情况，带动多次，形成对目标所需重建面进行扫描拍照的多个位置、姿态，记录下所述机械臂实时运动的关节角，形成所述机械臂带动深度相机拍照的多组运动路径。
进一步的，上述的数字孪生建模方法，所述规划扫描的方式，具体包括如下内容：根据预先估计的目标的尺寸范围，规划所述机械臂的各个位置、姿态，确保所述机械臂可以带动深度相机对目标进行拍照。
进一步的，上述的数字孪生建模方法，所述步骤S4中，三维重建计算机采集所述深度相机拍摄目标的深度图像，经过预处理、点云计算、点云配准、数据融合、表面生成步骤，对获取到的每一帧深度图像均进行上述步骤操作，直到处理完若干帧，完成目标三维重建，具体包括如下内容：
S41预处理：对深度图像进行图像增强；
S42点云计算：经过预处理后的深度图像具有二维信息，像素点的值是深度信息，将所述深度图像的像素点转化为二维坐标，所述二维坐标与其对应的深度值组成三维坐标，每个三维坐标表示一个空间中的点，计算出大量三维坐标形成的空间点的集合，获得目标点云；
S43点云配准：以目标的公共部分为基准，把不同时间、角度、照度获取的多帧深度图像叠加匹配到统一的坐标系中，计算出相应的平移向量与旋转矩阵，同时消除冗余信息，采用先粗糙配准，再精细配准进行点云配准；
S44数据融合：对经过点云配准后的点云数据进行融合处理；以传感器的初始位置为原点构造体积网格，网格把点云空间分割成若干体素，通过为所有体素赋予SDF值，以来得到隐式的模拟表面，SDF值为该体素到重建表面的最小距离值，然后通过TSDF算法采用了最小二乘法进行优化；
S45表面生成：采用经典体素级重建算法生成完整的三维表面。
进一步的，上述的数字孪生建模方法，所述步骤S43中，粗糙配准具体包括如下内容：先提取两帧深度图像之间的特征点，然后根据特征方程实现粗糙配准，粗糙配准后的点云和目标点云处于同一尺度与参考坐标系内，通过自动记录坐标，得到粗匹配初始值。
进一步的，上述的数字孪生建模方法，所述步骤S43中，精细配准包括如下内容：采用ICP算法，先计算初始点云上所有点与目标点云的距离，保证这些点和目标点云的最近点相互对应，同时构造残差平方和的目标函数，基于最小二乘法对目标函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值。
本发明还涉及一种基于所述数字孪生建模方法的仿真试验系统，所述仿真试验系统包括机械臂、深度相机、主控计算机、数孪生计算机、三维重建计算机；所述深度相机安装在机械臂末端并且机械臂带动深度相机对目标进行扫描成像，所述主控计算机实现对机械臂和深度相机的控制，步骤S2的机械臂操作数字孪生场景的构建在所述数孪生计算机中完成，步骤S3的目标三维重建在所述三维重建计算机中完成，步骤S5的目标与机械臂操作数字孪生场景的融合在所述数孪生计算机中完成。
机械臂可实现全方位操作，深度相机对目标进行扫描成像，主控计算机实现对机械臂和深度相机的控制，主要是控制机械臂运动以及深度相机的自动拍照。三维重建计算机实现对目标的深度图像的处理，形成可导入到数字孪生计算机中的三维模型文件。
与现有技术相比，本发明具有如下的有益效果：
（1）本发明所述的数字孪生建模方法及其仿真试验系统，设计合理，将场景数字孪生与目标数字孪生相结合，先通过三维造型软件对机械臂及常规场景进行建模，实现操作场景的数字孪生，之后通过深度相机采集目标的深度图像并处理获得目标3D点云，进行目标三维重建并导出，形成操作目标的数字孪生，整合场景和目标模型，实现快速数字孪生；
（2）本发明所述的数字孪生建模方法及其仿真试验系统，可以应用在天地大回路人机协同空间操控领域，通过对未知目标的三维重建建模方法实现快速数字孪生场景生成，达到一比一模拟在轨场景的效果，可应用在任务前的操控训练模拟、任务中的操控场景实时观察、任务后的操控状态回放、复盘，为空间操控技术提供支撑。
附图说明
图1为本发明实施例1的基于空间体的点云融合图；
图2为本发明实施例1的目标三维重建结果示意图；
图3为本发明所述数字孪生建模方法及其仿真试验系统的流程示意图；
图中：机械臂1、深度相机2、主控计算机3、数孪生计算机4、三维重建计算机5。
具体实施方式
下面将附图1-3、实施例1、实施例2对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明的保护范围。
以下实施例1提供了一种面向在轨操作的快速数字孪生建模方法。
实施例1
实施例1为面向在轨操作的快速数字孪生建模方法，包括如下步骤：
S1：初始条件设定，选择机械臂1、深度相机2以及目标；机械臂1可以实现全方位操作；深度相机2安装在机械臂1末端，机械臂1可以带动深度相机2对目标进行扫描成像；目标为空间操控所需操作的目标。
S2：根据步骤S1的设定，通过三维造型软件对机械臂1以及常规场景进行建模，完成机械臂操作数字孪生场景的构建。
机械臂操作数字孪生场景的构建包括模型优化与处理、碰撞检测设计、图形用户界面的开发三部分，具体包括如下内容：
S21模型优化与处理：将已知的机械臂1模型及框架模型导入三维造型软件，在三维造型软件中建立1:1的仿真的模型，之后导入到Unity动画制作软件中进行优化与处理，先进行粗优化，然后再进行部件优化，最后进行精优化。
1）粗优化：以最快的速度在中等细节程度上对模型进行大规模减面，以免在精优化阶段滞留过多的计算量。
2）部件优化：进入部件后，拆分出各种零件，将一些隐藏在内部的零件直接消除；对于一些规则的物体如细长圆柱体，可以直接简化为棱柱；对于具有复杂边界的零件视对航天器整体形状的影响程度大小进行迭代优化，直到减面率收敛到0%。
3）精优化：对一些小零件可以对模型迭代优化，直到减面率优化收敛到0%，这样就能节省大量内存并显著提高软件流畅度。
S22碰撞检测设计：对于活动部件，例如机械臂1的关节是可能发生碰撞的，先进行粗碰撞检测，然后再进行精细碰撞检测，以减小运算量。对于复杂的非凸物体需要多个凸碰撞体组合。
碰撞检测最关键的技术在于生成包围盒（Box），也称碰撞体，一般采用正方体、胶囊体、球/椭球体和圆锥体一系列的凸物体作为包围盒。对于复杂的物体，首先OBB-Box（oriented bounding box，有向包围盒，该包围盒随着被包围的物体旋转而旋转）进行粗碰撞检测，然后再进行精细碰撞检测，以减小运算量。
1）粗碰撞检测：是指杆件、框架的OBB-Box之间互相检测，因为整个场景大的杆件较少，通过杆件之间以及杆件与框架之间仅有少量的OBB-Box需要检测距离，因此，此时的碰撞检测计算量较小，当粗检测有碰撞时，再进入精细碰撞检测。
2）精细碰撞检测：对于复杂的非凸物体需要多个凸碰撞体组合，并且单个碰撞体不能超过256个面。对于机械臂1而言，其外形非常复杂，且不是凸物体，在精细碰撞检测时，需要拆分出最小凸单元，并单独在软件中进行绘制，之后组装到机械臂1生成完整的碰撞体；为了区别机械臂1的自我干涉和与外界的碰撞，需要对机械臂1的各部件标记为一个组，对外界障碍物标记为另一个组，这样机械臂1的各部件便具有碰撞体属性。
S23图形用户界面的开发：将庞大的管理器功能分解，使职责相近的功能模块集中于单一的管理器中，将所有管理器类抽象后，统一继承于单例类，交由总管理器进行统一维护。各分管理器之间无耦合，主管理器负责与引擎的连接，并作为核心部件负责整个软件的启动、协调和运转。消息模块屏蔽了底层的业务逻辑，二次开发时仅需要关心新场景或者新协议的内容设计即可，无需关注和其他模块的交互，这一部分全部由消息模块完成，大幅提升了系统的开发效率和可维护性。
S3：根据步骤S1的设定，通过所述机械臂1辅助深度相机2获取目标各个位置的照片以及深度图像。
机械臂1的自由度和杆长确定后，其操作空间也确定，机械臂1可在操作空间内对目标进行自动拍照扫描。为了实现这一功能，有两种方法可以实现，分别为示教扫描和规划扫描。
（1）示教扫描：对于新的目标，将目标放置在深度相机2周围，由操作员对所述机械臂1进行示教，在所述机械臂1带动深度相机2的同时观测所述深度相机2的成像情况，带动多次，形成对目标所需重建面进行扫描拍照的多个位置、姿态，记录下所述机械臂1实时运动的关节角，形成所述机械臂1带动深度相机2拍照的多组运动路径。（2）规划扫描：根据预先估计的目标的尺寸范围，规划所述机械臂1的各个位置、姿态，确保所述机械臂1可以带动深度相机2对目标进行拍照。
S4：根据步骤S1和步骤S3的设定，完成目标三维重建。
三维重建计算机5采集深度相机2拍摄目标的深度图，经过预处理（深度图像增强）、点云计算、点云配准、数据融合、表面生成等步骤，完成目标三维重建，对获取到的每一帧深度图像均进行上述步骤操作，直到处理完若干帧。
S41预处理：通过深度相机2获得深度图像，由于受到设备分辨率等限制，目标的深度信息也存在着许多缺点。为了更好的促进后续基于深度图像的应用，必须对深度图像进行去噪和修复等图像增强过程。这部分采用现有技术的专业内常规技术，可参考相关教材，不再赘述。
S42点云计算：经过预处理后的深度图像具有二维信息，像素点的值是深度信息，表示物体表面到传感器之间的直线距离，以毫米为单位。像素点需要转换成现实世界中的二维坐标。以摄像机成像原理为基础，可以计算出世界坐标系与图像像素坐标系之间的转换关系，得到深度相机2的内参数矩阵。以摄像机作为世界坐标系，即，则深度值即为世界坐标系中的值，与之对应的图像坐标就是图像平面的点。深度图像中的像素点转化的二维坐标与其对应的深度值可组成三维坐标，每个三维坐标表示一个空间中的点，计算出大量三维坐标形成的空间点的集合可获得目标点云。
S43点云配准：对于多帧通过不同角度拍摄的目标深度图像，各帧之间包含一定的公共部分。为了利用深度图像进行三维重建，需要对深度图像进行分析，求解各帧之间的变换参数。深度图像的配准是以目标的公共部分为基准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中。计算出相应的平移向量与旋转矩阵，同时消除冗余信息。点云配准除了会制约三维重建的速度，也会影响到最终模型的精细程度和全局效果。因此，需要提升点云配准算法的性能。
为了解决上述技术问题，本发明采用先粗糙配准，再精细配准进行点云配准。
1）粗糙配准：粗糙配准研究的是多帧从不同角度采集的深度图像。首先提取两帧深度图像之间的特征点，这种特征点可以是直线、拐点、曲线曲率等显式特征，也可以是自定义的符号、旋转图形、轴心等类型的特征。然后，根据特征方程实现初步的配准。粗糙配准后的初始点云和目标点云将处于同一尺度(像素采样间隔)与参考坐标系内，通过自动记录坐标，得到粗匹配估计值，包括点云的旋转矩阵R和平移矩阵T。
2）精细配准：精细配准是一种更深层次的配准方法。经过前一步的粗糙配准，得到了变换估计值R和T，将此值作为初始值，在经过不断收敛与迭代的精细配准后，达到更加精准的效果。
采用ICP（Iterative Closest Point，迭代最近点）算法，首先计算初始点云上所有点与目标点云的距离，保证这些点和目标点云的最近点相互对应，同时构造残差平方和的目标函数。
令初始点云的集合为：
。其中，/>为初始点云中的点坐标，长度为3×1，n为点云里点坐标的个数。令目标点云的集合为：
。其中，/>为目标点云中的点坐标，长度为3×1，n含义同上。
初始点云与目标点云的残差为：
。
初始点云和目标点云的残差平方和的目标函数构造为：
。
基于最小二乘法对目标函数进行最小化处理，得到一个优化问题，即下式：
。
上式中，arg min表示令目标函数最小所得到的R和T的值。
上式经过反复迭代，可得到满足均方误差小于设定的阈值（令阈值为E0）条件的R与T。
迭代过程为：
（1）首先给定初始R，T，得到E；
（2）通过对F求偏导数可得到使得E最小的一组R和T；
（3）对比E和阈值E0，如果E≤E0，则迭代结束，如果E＞E0，则将这一组R和T带入目标函数E中，即转到（1），继续迭代，直到E≤E0。
ICP算法能够获得精正确无误的配准结果，对自由形态曲面配准问题具有重要意义。
S44数据融合：经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息。因此，需要对点云数据进行融合处理，以获得更加精细的重建模型。
本发明中，以传感器的初始位置为原点构造体积网格，网格把点云空间分割成极多的细小立方体，这种立方体叫做体素。通过为所有体素赋予SDF（Signed DistanceField，有效距离场）值，以得到隐式的模拟表面。
SDF值等于此体素到重建表面的最小距离值。当SDF值大于零，表示该体素在表面前；当SDF小于零时，表示该体素在表面后；当SDF值越接近于零，表示该体素越贴近于场景的真实表面。该技术虽然对场景的重建具有高效实时的性能，但是其可重建的空间范围却较小，主要体现在消耗了极大的空间用来存取数目繁多的体素。
为了解决体素占用大量空间的问题，采用TSDF (Truncated Signed DistanceField，截断符号距离场)算法，该方法只存储距真实表面较近的数层体素，而非所有体素。因此能够大幅降低内存消耗，减少模型冗余点。
TSDF算法采用栅格立方体代表三维空间，每个栅格中存放的是其到物体表面的距离。TSDF值的正负分别代表被遮挡面与可见面，而表面上的点则经过零点，如图1所示，左侧展示的是栅格立方体中的某个模型，若有另外的模型进入立方体，则进行融合处理。
鉴于TSDF算法采用了最小二乘法进行了优化，点云融合时又利用了权重值，所有该算法对点云数据有着明显的降噪功能。
S45表面生成：表面生成的目的是为了构造物体的可视等值面，常用体素级方法直接处理原始灰度体数据。采用经典体素级重建算法，即MC（Marching Cube，移动立方体）法。移动立方体法首先将数据场中八个位置相邻的数据分别存放在一个四面体体元的八个顶点处。
对于一个边界体素上一条棱边的两个端点而言，当其值一个大于给定的常数T，另一个小于T时，则这条棱边上一定有等值面的一个顶点。
然后计算该体元中十二条棱和等值面的交点，并构造体元中的三角面片，所有的三角面片把体元分成了等值面内与等值面外两块区域。最后连接此数据场中的所有体元的三角面片，构成等值面。合并所有立方体的等值面便可生成完整的三维表面。
如图2所示，展示了三维重建的某个目标，所述目标上端放置一条状目标，通过三维重建该整体目标，获得三维重建的结果数据，然后对数据中条状目标进行尺寸测量，测量结果为1147.9mm。
S5：将步骤S4形成的目标三维重建的模型导入到步骤S2形成的机械臂操作数字孪生场景，完成目标与机械臂操作数字孪生场景的融合。
由上可得，步骤S2已形成机械臂操作数字孪生场景，但其中并没有目标，对于一个空间操控项目而言，设计阶段就确定了机械臂1的构型，因此，机械臂1的构型可以预先导入进行数字孪生场景的构建，而目标则有可能是变化的，所以再通过步骤S4形成的目标三维重建模型导入到步骤S2形成的机械臂操作数字孪生场景，这样就完成了目标与机械臂操作数字孪生场景的融合，实现目标在数字孪生场景中的动态配置。上述配置方式的设计可以有效提高数字孪生场景的开发效率。
以下实施例2提供了一种基于实施例1的数字孪生建模方法的仿真试验系统。
实施例2
如图3所示，实施例2为一种基于数字孪生建模方法的仿真试验系统，基于实施例1的快速数字孪生建模方法的步骤S5的结果搭建快速数字孪生仿真试验系统，所述仿真试验系统包括机械臂1、深度相机2、主控计算机3、数孪生计算机4、三维重建计算机5；所述深度相机2安装在机械臂1末端并且机械臂1带动深度相机2对目标进行扫描成像，所述主控计算机3实现对机械臂1和深度相机2的控制，实施例1的步骤S2的机械臂操作数字孪生场景的构建在所述数孪生计算机4中完成，实施例1的步骤S3的目标三维重建在所述三维重建计算机5中完成，实施例1的步骤S5的目标与机械臂操作数字孪生场景的融合在所述数孪生计算机4中完成。机械臂1可实现全方位操作，深度相机2对目标进行扫描成像，主控计算机3实现对机械臂1和深度相机2的控制，主要是控制机械臂1运动以及深度相机2的自动拍照。三维重建计算机5实现对目标的深度图像的处理，形成可导入到数字孪生计算机4中的三维模型文件。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式。应当指出，以上实施例仅用于说明本发明，而并不用于限制本发明的保护范围。对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (8)

1.一种数字孪生建模方法，其特征在于，包括如下步骤：
S1：初始条件设定，选择机械臂（1）、深度相机（2）以及目标；
S2：根据步骤S1的设定，通过三维造型软件对机械臂（1）以及常规场景进行建模，完成机械臂操作数字孪生场景的构建；所述机械臂操作数字孪生场景的构建包括模型优化与处理、碰撞检测设计、图形用户界面的开发三部分，具体包括如下内容：
S21模型优化与处理：机械臂（1）与约束桁架的三维造型通过三维造型软件设计导入，先进行粗优化，然后再进行部件优化，最后进行精优化；
S22碰撞检测设计：先进行粗碰撞检测，然后再进行精细碰撞检测，以减小运算量；
S23图形用户界面的开发：将管理器功能分解，使职责相近的功能模块集中于单一的管理器中，将所有管理器类抽象后，统一继承于单例类，交由总管理器进行统一维护；
S3：根据步骤S1的设定，通过所述机械臂（1）辅助深度相机（2）获取目标各个位置的照片以及深度图像；
S4：根据步骤S1和步骤S3的设定，完成目标三维重建；由三维重建计算机（5）采集所述深度相机（2）拍摄目标的深度图像，经过预处理、点云计算、点云配准、数据融合、表面生成步骤，对获取到的每一帧深度图像均进行上述步骤操作，直到处理完若干帧，完成目标三维重建；
S5：将步骤S4形成的目标三维重建的模型导入到步骤S2形成的机械臂操作数字孪生场景，完成目标与机械臂操作数字孪生场景的融合。
2.根据权利要求1所述数字孪生建模方法，其特征在于，所述步骤S3中，所述机械臂（1）的自由度和杆长确定后，其操作空间也确定，所述机械臂（1）在操作空间内采用示教扫描和/或规划扫描的方式实现对目标的自动拍照扫描。
3.根据权利要求2所述数字孪生建模方法，其特征在于，所述示教扫描的方式，具体包括如下内容：对于新的目标，将目标放置在深度相机（2）周围，由操作员对所述机械臂（1）进行示教，在所述机械臂（1）带动深度相机（2）的同时观测所述深度相机（2）的成像情况，带动多次，形成对目标所需重建面进行扫描拍照的多个位置、姿态，记录下所述机械臂（1）实时运动的关节角，形成所述机械臂（1）带动深度相机（2）拍照的多组运动路径。
4.根据权利要求2所述数字孪生建模方法，其特征在于，所述规划扫描的方式，具体包括如下内容：根据预先估计的目标的尺寸范围，规划所述机械臂（1）的各个位置、姿态，确保所述机械臂（1）可以带动深度相机（2）对目标进行拍照。
5.根据权利要求1所述数字孪生建模方法，其特征在于，所述步骤S4中，目标三维重建具体包括如下内容：
S41预处理：对深度图像进行图像增强；
S42点云计算：经过预处理后的深度图像具有二维信息，像素点的值是深度信息，将所述深度图像的像素点转化为二维坐标，所述二维坐标与其对应的深度值组成三维坐标，每个三维坐标表示一个空间中的点，计算出大量三维坐标形成的空间点的集合，获得目标点云；
S43点云配准：以目标的公共部分为基准，把不同时间、角度、照度获取的多帧深度图像叠加匹配到统一的坐标系中，计算出相应的平移向量与旋转矩阵，同时消除冗余信息，采用先粗糙配准，再精细配准进行点云配准；
S44数据融合：对经过点云配准后的点云数据进行融合处理；以传感器的初始位置为原点构造体积网格，网格把点云空间分割成若干体素，通过为所有体素赋予SDF值，以来得到隐式的模拟表面，SDF值为该体素到重建表面的最小距离值，然后通过TSDF算法采用了最小二乘法进行优化；
S45表面生成：采用经典体素级重建算法生成完整的三维表面。
6.根据权利要求5所述数字孪生建模方法，其特征在于，所述步骤S43中，粗糙配准具体包括如下内容：先提取两帧深度图像之间的特征点，然后根据特征方程实现粗糙配准，粗糙配准后的点云和目标点云处于同一尺度与参考坐标系内，通过自动记录坐标，得到粗匹配初始值。
7.根据权利要求6所述数字孪生建模方法，其特征在于，所述步骤S43中，精细配准包括如下内容：采用ICP算法，先计算初始点云上所有点与目标点云的距离，保证这些点和目标点云的最近点相互对应，同时构造残差平方和的目标函数，基于最小二乘法对目标函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值。
8.一种基于权利要求1-7任意一项所述数字孪生建模方法的仿真试验系统，其特征在于，所述仿真试验系统包括机械臂（1）、深度相机（2）、主控计算机（3）、数孪生计算机（4）、三维重建计算机（5）；所述深度相机（2）安装在机械臂（1）末端并且机械臂（1）带动深度相机（2）对目标进行扫描成像，所述主控计算机（3）实现对机械臂（1）和深度相机（2）的控制，步骤S2的机械臂操作数字孪生场景的构建在所述数孪生计算机（4）中完成，步骤S3的目标三维重建在所述三维重建计算机（5）中完成，步骤S5的目标与机械臂操作数字孪生场景的融合在所述数孪生计算机（4）中完成。
CN202311107303.9A 2023-08-31 2023-08-31 一种数字孪生建模方法及其仿真试验系统 Active CN116822100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311107303.9A CN116822100B (zh) 2023-08-31 2023-08-31 一种数字孪生建模方法及其仿真试验系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311107303.9A CN116822100B (zh) 2023-08-31 2023-08-31 一种数字孪生建模方法及其仿真试验系统

Publications (2)

Publication Number Publication Date
CN116822100A CN116822100A (zh) 2023-09-29
CN116822100B true CN116822100B (zh) 2023-11-24

Family

ID=88114935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311107303.9A Active CN116822100B (zh) 2023-08-31 2023-08-31 一种数字孪生建模方法及其仿真试验系统

Country Status (1)

Country Link
CN (1) CN116822100B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117234138B (zh) * 2023-11-10 2024-01-19 北京开运联合信息技术集团股份有限公司 一种太空碎片防护的数字孪生控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114505852A (zh) * 2021-12-07 2022-05-17 中国科学院沈阳自动化研究所 基于数字孪生的人机协同固体燃料整形系统及建立方法
CN116052864A (zh) * 2023-02-03 2023-05-02 广东工业大学 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法
CN116225640A (zh) * 2022-12-16 2023-06-06 上海交通大学 焊接数字孪生三维场景模型并发构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114505852A (zh) * 2021-12-07 2022-05-17 中国科学院沈阳自动化研究所 基于数字孪生的人机协同固体燃料整形系统及建立方法
CN116225640A (zh) * 2022-12-16 2023-06-06 上海交通大学 焊接数字孪生三维场景模型并发构建方法
CN116052864A (zh) * 2023-02-03 2023-05-02 广东工业大学 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法

Also Published As

Publication number Publication date
CN116822100A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
Fu et al. Geo-neus: Geometry-consistent neural implicit surfaces learning for multi-view reconstruction
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN111986307B (zh) 使用光度网格表示的3d对象重建
CN108648269B (zh) 三维建筑物模型的单体化方法和系统
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN110288695B (zh) 基于深度学习的单帧图像三维模型表面重建方法
Jin et al. 3d reconstruction using deep learning: a survey
Lu et al. Attention-based dense point cloud reconstruction from a single image
CN107481313A (zh) 一种基于学习有效点云生成的密集三维物体重建方法
CN116822100B (zh) 一种数字孪生建模方法及其仿真试验系统
CN110942512B (zh) 基于元学习的室内场景重建方法
CN116958453B (zh) 基于神经辐射场的三维模型重建方法、设备和介质
US20220351463A1 (en) Method, computer device and storage medium for real-time urban scene reconstruction
Liu et al. High-quality textured 3D shape reconstruction with cascaded fully convolutional networks
CN117671138A (zh) 一种基于SAM大模型与NeRF的数字孪生建模方法及系统
Wei et al. GeoDualCNN: Geometry-supporting dual convolutional neural network for noisy point clouds
DE102022113244A1 (de) Gemeinsame Form- und Erscheinungsbildoptimierung durch Topologieabtastung
CN114863061A (zh) 一种远程监护医学图像处理的三维重建方法及系统
Jeon et al. Struct-MDC: Mesh-refined unsupervised depth completion leveraging structural regularities from visual SLAM
Liu et al. Sparse-to-dense coarse-to-fine depth estimation for colonoscopy
CN115661367B (zh) 基于照片采集的动态混合变形的建模方法及系统
Hyeon et al. Automatic spatial template generation for realistic 3d modeling of large-scale indoor spaces
Lyu et al. 3DOPFormer: 3D occupancy perception from multi-camera images with directional and distance enhancement
CN114491697A (zh) 一种基于深度学习的树木点云补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant