CN111369670A - 一种实时构建实训数字孪生模型的方法 - Google Patents

一种实时构建实训数字孪生模型的方法 Download PDF

Info

Publication number
CN111369670A
CN111369670A CN202010174216.5A CN202010174216A CN111369670A CN 111369670 A CN111369670 A CN 111369670A CN 202010174216 A CN202010174216 A CN 202010174216A CN 111369670 A CN111369670 A CN 111369670A
Authority
CN
China
Prior art keywords
target object
dimensional
grid model
dimensional grid
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010174216.5A
Other languages
English (en)
Inventor
罗军
张筱澍
杨卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Kejun Industrial Co ltd
Original Assignee
Jiangxi Kejun Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Kejun Industrial Co ltd filed Critical Jiangxi Kejun Industrial Co ltd
Priority to CN202010174216.5A priority Critical patent/CN111369670A/zh
Publication of CN111369670A publication Critical patent/CN111369670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种实时构建实训数字孪生模型的方法，包括：通过通用型移动设备的惯性测量单元，利用Visual Inertial Odometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，并建立相应的三维网格模型；通过可微渲染器对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型；利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割算法中的代价函数，对三维网格模型中的所有面片进行判别，以去除三维网格模型的杂质；在实训工作中，通过实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分建模，并映射到之前的三维网格模型中。该方法具有普适性、易用性及精确性的优点。

Description

一种实时构建实训数字孪生模型的方法
技术领域
本发明涉及三维建模技术领域，尤其涉及一种实时构建实训数字孪生模型的方法。
背景技术
随着计算机软硬件技术的不断发展，增强现实、虚拟现实、混合现实的不断普及，三维建模的需求量正在呈指数级的增加，这对三维模型的速度、复杂度和真实感提出了新的要求。传统三维建模工具虽然日益改进，但构建比较复杂的、动态的三维模型依然是一件非常耗时的专业工作。
现有主流三维建模主要以手工建模及图像点云建模方式实现。
1)手工建模方式需要大量具备专业建模素质的人员进行创作，时间周期长，仿真度则根据从业人员能而参差不齐，创作周期长。
2)图像点云建模方式则通过专业图像采集设备先进行图像采集，再运用超强算力的计算机和专业软件进行建模，该技术由于受到专业设备限制、算力限制，且成功精度不足等问题，这些建模技术一直未得到有效推广和大众化运用。
随着虚拟现实、增强现实技术不断发展，而三维模型又是这些产品中的核心组成要素，所以，怎样快速的、精确的、实时的、动态的建模技术必将推进虚拟现实、增强现实的市场化、产业化进程，并服务于各行各业。
发明内容
本发明的目的是提供一种实时构建实训数字孪生模型的方法，具有普适性、易用性及精确性的优点。
本发明的目的是通过以下技术方案实现的：
一种实时构建实训数字孪生模型的方法，包括：
步骤1、通过通用型移动设备内置的惯性测量单元采集拍摄目标物体时的姿态信息，从而估算目标物体的三维特征，并利用Visual Inertial Odometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型；
步骤2、通过可微渲染器对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型；
步骤3、利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割算法中的代价函数，对三维网格模型中的所有面片进行判别，以判别含有杂质的片面，并从三维网格模型中去除，获得优化后的三维网格模型；
步骤4、在实训工作中，通过通用型移动设备实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分采用步骤1～步骤3的方式建模，并映射到之前获得的优化后的三维网格模型中。
由上述本发明提供的技术方案可以看出，可以通过通用型移动设备，对目标对象进行实时动态建模，降低三维建模门槛，能够应用于制造、教育、文化、健康、娱乐等多个领域，促进这些领域的生产力提升。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种实时构建实训数字孪生模型的方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种实时构建实训数字孪生模型的方法，如图1所示，该方法主要包括：
步骤1、通过通用型移动设备内置的惯性测量单元(Inertial Measurement Unit)采集拍摄目标物体时的姿态信息，从而估算目标物体的三维特征，并利用Visual InertialOdometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型。
本发明实施例中，所述通用型移动设备为智能手机或者平板电脑。
本发明实施例中，所述惯性测量单元包括加速度计与陀螺仪。
本发明实施例中，估算目标物体的三维特征的优选实施方式如下：
步骤11、通过通用型移动设备(具体可以是移动端计算程序)根据姿态信息计算每一个连续影像帧拍摄时的位置与旋转角度，同时抽取连续影像帧的高维特征点，并计算出目标物体相应特征点的三维坐标，异步构建连续影像帧的特征点数据库。
步骤12、判断从目标物体中提取的特征点总数目是否达到要求，若是，则转入步骤15；若否，则转入步骤13。
本发明实施例中，特征点数目与特征点类型相关，总数目会根据目标物体的不同而发生变化。对于不同目标物体都可以预先标定特征点总数目(具体数值根据情况自行设定)，因此，在步骤12中可以直接比较标定的总数目数值与步骤11中提取出的特征点数目的数值来判断是否达到要求。
本发明实施例中，拍摄目标物体时可以使用视频拍摄和照片拍摄两种方式，视频拍摄方式采集到的是连续影像帧，照片拍摄方式采集到的为离散影像帧。在拍摄完成后的视频中截取关键帧，因为同一移动设备拍摄的连续影像帧和离散影像帧分辨率会有差距，离散影像帧分辨率要高于连续影像帧分辨率，当连续影像帧的关键帧分辨率过低无法提取足够的特征点时，补充拍摄离散影像帧，用于补偿提取特征点。
对于视频拍摄和照片拍摄采集到的每一影像帧，惯性测量单元都会记录相应的姿态信息。
步骤13、通过后处理计算程序(可以设置在计算机中)根据姿态信息计算离散影像帧的拍摄时的位置与旋转角度；同时抽取离散影像帧的高维特征点，并计算出目标物体相应特征点的三维坐标，构建离散影像帧的特征点数据库。
步骤14、将离散影像帧的特征点数据库与连续影像帧的特征点数据库匹配并合并，获得合并后的特征点数据库。
步骤15、通过Visual Inertial Odometry技术，结合获得的特征点数据库(也即步骤12或者步骤14的结果)，恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型。
步骤2、通过可微渲染器(Differentiable Renderer)对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型。
本发明实施例中，通过为三维网格模型进行纹理贴图渲染，可以得到较为逼真的三维模型。
步骤3、利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割(Graph Cut)算法中的代价函数，对三维网格模型中的所有面片进行判别，以判别含有杂质的片面，并从三维网格模型中去除，获得优化后的三维网格模型。
本发明实施例中，构建图割(Graph Cut)算法中的代价函数的具体实现过程可参见现有技术，不再赘述。
本发明实施例中，通过代价函数对所有片面进行判别，以区分所有片面中哪些属于符合要求片面，哪些属于含有杂质的片面，从而去除含有杂质片面。
本步骤中，三维网格模型几何信息来自于步骤1中得到的目标物体的实际三维大小，纹理信息也即步骤2中进行纹理贴图时产生的纹理信息。
步骤4、在实训工作中，通过通用型移动设备实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分采用步骤1～步骤3的方式建模，并映射到之前获得的优化后的三维网格模型中。
本发明实施例中，实训工作中可以包含各种目标物体，比如，机械对象、生物对象(例如，人物面部)、零部件等。
本步骤中，通用型移动设备利用已经获得的特征点数据库实时识别拍摄的其他连续影像帧是否包含目标物体，若是，则估计目标物体在影像帧中的位置，并抽取相应特征点以检测目标物体是否与优化后的三维网格模型发生变化；当拍摄到包含目标物体在优化后的三维网格模型缺失部分的低分辨率连续影像帧时，根据估计得到的目标物体在影像帧中的位置，自动通过照片拍摄方式拍摄高分辨率离散影像帧，并利用高分辨率离散影像帧构建目标物体缺失部分的三维网格模型；这部分工作的具体实现过程可以参见前述步骤1中的步骤13与步骤15；即，从离散影像帧抽取缺失部分的特征点，并计算相应特征点的三维坐标，构建离散影像帧的特征点数据库，通过Visual Inertial Odometry技术构建缺失部分的三维网格模型。
如之前所述，离散影像帧分辨率高于连续影像帧分辨率，因此，可以称为低分辨率连续影像帧，与高分辨率离散影像帧；此处的高、低分辨率主要体现两种拍摄方式下影像帧分辨率的相对高低，并不关注分辨率的具体数值大小。
在获得缺失部分的三维网格模型后，通过步骤2与步骤3进行渲染与优化，映射到之前得到的优化后的三维网格模型中。
在实际的应用中，通过上述方法可以为身份信息识别模块和虚拟仿真教学模块提供数字孪生实时动态建模成果，通过服务终端模块并利用5G技术实现双网互联发布，最终实现数据实时更新。
在具体应用中，目标物体如果是人物面部三维模型，此时可以由身份信息识别模块根据人物面部三维模型的特征点进行匹配，从而实现身份识别的。
本发明实时上述方案，可以利用智能手机、平板等常见的通用型移动设备，对目标对象进行实时动态建模，降低三维建模门槛；同时，通过多种图像算法，完成真实刻画及描述建模，可以提高建模效率和精度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种实时构建实训数字孪生模型的方法，其特征在于，包括：
步骤1、通过通用型移动设备内置的惯性测量单元采集拍摄目标物体时的姿态信息，从而估算目标物体的三维特征，并利用Visual Inertial Odometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型；
步骤2、通过可微渲染器对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型；
步骤3、利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割算法中的代价函数，对三维网格模型中的所有面片进行判别，以判别含有杂质的片面，并从三维网格模型中去除，获得优化后的三维网格模型；
步骤4、在实训工作中，通过通用型移动设备实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分采用步骤1～步骤3的方式建模，并映射到之前获得的优化后的三维网格模型中。
2.根据权利要求1所述的一种实时构建实训数字孪生模型的方法，其特征在于，所述通用型移动设备为智能手机或者平板电脑。
3.根据权利要求1所述的一种实时构建实训数字孪生模型的方法，其特征在于，所述惯性测量单元包括加速度计与陀螺仪。
4.根据权利要求1所述的一种实时构建实训数字孪生模型的方法，其特征在于，所述估算目标物体的三维特征的步骤包括：
步骤11、通过通用型移动设备；根据姿态信息计算每一个连续影像帧拍摄时的位置与旋转角度，同时抽取连续影像帧的特征点，并计算出目标物体相应特征点的三维坐标，异步构建连续影像帧的特征点数据库；
步骤12、判断从目标物体中提取的特征点总数目是否达到要求，若是，则转入步骤15；若否，则转入步骤13；
步骤13、通过后处理计算程序根据姿态信息计算离散影像帧的拍摄时的位置与旋转角度，同时抽取离散影像帧的高维特征点，并计算出目标物体相应特征点的三维坐标，构建离散影像帧的特征点数据库；
步骤14、将离散影像帧的特征点数据库与连续影像帧的特征点数据库匹配并合并，获得合并后的特征点数据库；
步骤15、通过Visual Inertial Odometry技术，结合获得的特征点数据库，恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型。
5.根据权利要求4所述的一种实时构建实训数字孪生模型的方法，其特征在于，在步骤4中，通用型移动设备利用已经获得的特征点数据库实时识别拍摄的其他连续影像帧是否包含目标物体，若是，则估计目标物体在影像帧中的位置，并抽取相应特征点以检测目标物体是否与优化后的三维网格模型发生变化；当拍摄到包含目标物体在优化后的三维网格模型缺失部分的连续影像帧时，根据估计得到的目标物体在影像帧中的位置，自动通过照片拍摄方式拍摄离散影像帧，并利用离散影像帧构建目标物体缺失部分的三维网格模型；即，从离散影像帧抽取缺失部分的特征点，并计算相应特征点的三维坐标，构建离散影像帧的特征点数据库，通过Visual Inertial Odometry技术构建缺失部分的三维网格模型。
CN202010174216.5A 2020-03-13 2020-03-13 一种实时构建实训数字孪生模型的方法 Pending CN111369670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010174216.5A CN111369670A (zh) 2020-03-13 2020-03-13 一种实时构建实训数字孪生模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010174216.5A CN111369670A (zh) 2020-03-13 2020-03-13 一种实时构建实训数字孪生模型的方法

Publications (1)

Publication Number Publication Date
CN111369670A true CN111369670A (zh) 2020-07-03

Family

ID=71211858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010174216.5A Pending CN111369670A (zh) 2020-03-13 2020-03-13 一种实时构建实训数字孪生模型的方法

Country Status (1)

Country Link
CN (1) CN111369670A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113970910A (zh) * 2021-09-30 2022-01-25 中国电子技术标准化研究院 一种数字孪生装备构建方法和系统
CN114463505A (zh) * 2022-02-15 2022-05-10 中国人民解放军战略支援部队航天工程大学士官学校 一种外层空间环境要素模型构建方法及系统
US11455767B1 (en) * 2021-05-19 2022-09-27 Zhengzhou University Of Light Industry Intelligent material completeness detection and configuration method based on digital twin and augmented reality (AR)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455767B1 (en) * 2021-05-19 2022-09-27 Zhengzhou University Of Light Industry Intelligent material completeness detection and configuration method based on digital twin and augmented reality (AR)
CN113970910A (zh) * 2021-09-30 2022-01-25 中国电子技术标准化研究院 一种数字孪生装备构建方法和系统
CN113970910B (zh) * 2021-09-30 2024-03-19 中国电子技术标准化研究院 一种数字孪生装备构建方法和系统
CN114463505A (zh) * 2022-02-15 2022-05-10 中国人民解放军战略支援部队航天工程大学士官学校 一种外层空间环境要素模型构建方法及系统
CN114463505B (zh) * 2022-02-15 2023-01-31 中国人民解放军战略支援部队航天工程大学士官学校 一种外层空间环境要素模型构建方法及系统

Similar Documents

Publication Publication Date Title
CN112002014B (zh) 面向精细结构的三维人脸重建方法、系统、装置
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
WO2019157924A1 (zh) 三维物体的实时检测方法及系统
CN111369670A (zh) 一种实时构建实训数字孪生模型的方法
CN110458895B (zh) 图像坐标系的转换方法、装置、设备及存储介质
CN113012293B (zh) 石刻模型构建方法、装置、设备及存储介质
CN103268629B (zh) 三维人体形态和姿态的无标记点实时复原方法
CN102708385B (zh) 用于视频监控场景的三维车型比对识别的方法和系统
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN109754464B (zh) 用于生成信息的方法和装置
CN110176079B (zh) 一种基于准共形映射的三维模型变形算法
CN116229019A (zh) 面向数字孪生的大场景融合三维重建方法及系统
CN111612880A (zh) 基于二维画作的三维模型构建方法、电子设备及存储介质
CN110009745B (zh) 根据平面基元和模型驱动对点云提取平面的方法
CN104299241A (zh) 基于 Hadoop 的遥感图像显著性目标检测方法及系统
CN107610239A (zh) 一种脸谱的虚拟试戴方法及装置
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
CN113610958A (zh) 一种基于风格迁移的3d图像构建方法、装置及终端
Yin et al. [Retracted] Virtual Reconstruction Method of Regional 3D Image Based on Visual Transmission Effect
CN116051980B (zh) 基于倾斜摄影的建筑识别方法、系统、电子设备及介质
CN115222895B (zh) 图像生成方法、装置、设备以及存储介质
CN116503538A (zh) 基于倾斜摄影的单体建模方法、系统、终端及存储介质
CN110543845A (zh) 一种三维人脸的人脸级联回归模型训练方法及重建方法
Yang et al. Human bas-relief generation from a single photograph
CN109118576A (zh) 基于bds位置服务的大型场景三维重建系统及重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination