CN112380704A - 一种基于机器视觉的数字孪生模型修正方法与系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的数字孪生模型修正方法与系统，该方法包括：设计数字孪生模型匹配模块，该模块基于目标识别实现对待修正目标的识别、数字孪生模型的匹配和调用；设计基于机器视觉的数字孪生模型修正控制模块，该模块实现对数字孪生模型修正策略的制定和执行控制，以及数字孪生模型的版本管理与更新；设计数字孪生三维模型修正模块，该模块基于图像识别对数字孪生三维模型是否需要修正进行判断并执行修正操作；设计数字孪生运动模型修正模块，该模块基于动作捕捉对数字孪生运动模型是否需要修正进行判断并执行修正操作。

Description

一种基于机器视觉的数字孪生模型修正方法与系统

技术领域

本发明属于工业数字化和计算机科学领域，具体涉及一种基于机器视觉的数字孪生模型修正方法与系统。

背景技术

模型是数字孪生的核心要素，包括三维模型、运动行为模型、物理属性模型、规则约束模型、预测分析模型等，其精度直接决定着数字孪生系统的功能和性能。数字孪生模型构建后，需要根据物理对象的实际状况进行模型的修正，以保证模型对物理对象的精准映射，同时，在数字孪生系统运行一段时间后，也需要根据物理对象的当前状况进行模型的再次修正，以保证模型与物理对象的一致性，因此，数字孪生模型的修正是伴随数字孪生系统全生命周期的关键问题。

当前数字孪生模型修正存在以下问题：①针对数字孪生三维模型的修正，目前几何尺寸、表面材质、异常问题的修正仍需要大量人工操作，且缺乏功能集成，导致修正过程效率较低；②针对数字孪生运动模型的修正，目前运动机构结构的调整、运动信号的映射关系仍以人工调整为主，修正过程繁复且效率较低；③缺乏有效的数字孪生模型修正流程的控制与管理，以及各模型间的模型修正关联、协同与管理。针对上述问题，本发明借助机器视觉相关技术对数字孪生模型修正方法与系统进行改进与集成，在一定程度上提升了数字孪生模型修正的效率。

发明内容

本发明要解决的技术问题为：①针对数字孪生三维模型的修正，目前几何尺寸、表面材质、异常问题的修正仍需要大量人工操作，且缺乏功能集成，导致修正过程效率较低；②针对数字孪生运动模型的修正，目前运动机构结构的调整、运动信号的映射关系仍以人工调整为主，修正过程繁复且效率较低；③缺乏有效的数字孪生模型修正流程的控制与管理，以及各模型间的模型修正关联、协同与管理。

本发明解决其技术问题是采取以下技术方案实现的：一种基于机器视觉的数字孪生模型修正方法，包括：

步骤(1)、进行数字孪生模型匹配，基于目标识别实现对待修正目标的识别、数字孪生模型的匹配和调用，具体包括：

(1.1)首先借助图像目标识别对待修正目标进行识别判断，确定待修正目标是否为系统中的要素并存在数字孪生模型；

(1.2)在模型库中查找并匹配待修正目标的数字孪生模型；

(1.3)将待修正目标的数字孪生模型从模型库中调出，用于后续的修正执行；

步骤(2)、进行基于机器视觉的数字孪生模型修正控制，实现对数字孪生模型修正策略的制定和执行控制，以及数字孪生模型的版本管理与更新，具体包括：

(2.1)根据待修正目标的外观复杂度、材质特性、运动特性、功能性能、数字孪生模型需求制定数字孪生模型修正策略；

(2.2)根据制定的数字孪生模型修正策略以及策略的执行状态，跳转至步骤(3)或步骤(4)执行具体模型修正操作；

(2.3)判断数字孪生模型修正策略是否执行完毕，如执行完毕，进入步骤(2.4)，如未执行完毕，返回步骤(2.2)；

(2.4)根据数字孪生模型修正策略的执行情况，判断是否需要执行其他模型修正，包括：动作模型修正后需要对控制系统模型进行修正、三维模型修正后需要对物理属性模型进行修正、三维模型在修正中发现缺陷需要对故障预测模型进行修正，如需要执行其他模型修正，进入步骤(2.5)，如不需要，进入步骤(2.6)；

(2.5)调用其他模型修正系统对数字孪生模型做进一步修正；

(2.6)对数字孪生模型进行版本管理与更新，包括修正前的数字孪生模型记录、备份，修正后的数字孪生模型的修正记录、更新、功能对接；

步骤(3)、进行数字孪生三维模型修正，基于图像识别对数字孪生三维模型是否需要修正进行判断并执行修正操作，具体包括：

(3.1)基于待修正目标状态对图像识别策略进行确认，设置物理空间中待修正目标图像扫描的软硬件环境，并在虚拟空间中设置相同的扫描条件；

(3.2)对待修正目标进行图像扫描，包括三维点云扫描以及各角度的图像采集；

(3.3)在虚拟空间中以相同角度对待修正目标的数字孪生三维模型进行虚拟扫描并生成图像；

(3.4)对物理扫描图像与虚拟扫描图像进行预处理，包括点云数据生成三维模型，采集图像的待修正目标分割，图像几何特征提取等，并对预处理后的物理扫描图像、模型与虚拟扫描图像、模型进行比对，判断并记录差异；

(3.5)根据比对结果判断是否需要修正数字孪生三维模型，如需要，进入步骤(3.6)，如不需要，进入步骤(2.2)；

(3.6)基于比对结果与待修正目标状态定位修正点，对数字孪生三维模型进行修正，包括对如下异常状态进行修正：几何结构与尺寸修正，表面材质状态修正，磨损、腐蚀、裂纹、断裂缺陷状态修正，修正完成后返回步骤(3.3)；

步骤(4)、进行数字孪生运动模型修正，基于动作捕捉对数字孪生运动模型是否需要修正进行判断并执行修正操作，具体包括：

(4.1)基于待修正目标状态对动作捕捉策略进行确认，设置物理空间中待修正目标动作捕捉的软硬件环境，并设置数字孪生模型与待修正目标动作信号的数据连接；

(4.2)待修正目标依据动作捕捉策略执行动作，进行动作捕捉，并采集待修正目标相关动作信号，包括线位移、线速度、线加速度、角位移、角速度、角加速度等；

(4.3)数字孪生模型基于待修正目标动作信号执行动作，并记录动作数据；

(4.4)对待修正目标动作捕捉数据与数字孪生模型动作数据进行预处理，生成待修正目标与数字孪生模型的机构运动图，并对待修正目标与数字孪生模型的机构运动图与动作数据进行比对，判断并记录差异；

(4.5)根据比对结果判断是否需要修正数字孪生运动模型，如需要，进入步骤(4.6)，如不需要，进入步骤(2.2)；

(4.6)基于动作比对结果与待修正目标状态定位修正点，对数字孪生运动模型进行修正，包括运动机构结构与运动形式、运动边界、物理动作信号映射逻辑，修正完成后返回步骤(4.3)。

根据本发明的另一方面，设计一种基于机器视觉的数字孪生模型修正系统，其特征在于包括：

数字孪生模型匹配模块，该模块实现对待修正目标进行识别判断，确定待修正目标是否为系统中的要素并存在数字孪生模型，同时借助系统接口实现在模型库中查找并匹配待修正目标的数字孪生模型，并将数字孪生模型从模型库中调出，用于后续的修正执行；

基于机器视觉的数字孪生模型修正控制模块，该模块根据待修正目标的外观复杂度、材质特性、运动特性、功能性能、数字孪生模型需求制定数字孪生模型修正策略，依据修正策略控制数字孪生三维模型修正模块与数字孪生运动模型修正模块的执行，数字孪生模型修正策略执行完毕后根据策略的执行情况，判断是否需要执行其他模型修正，并调用其他模型修正系统，最后对数字孪生模型进行版本管理与更新；

数字孪生三维模型修正模块，该模块通过接收基于机器视觉的数字孪生模型修正控制模块的控制指令和修正策略，对修正策略进行确认后设置待修正目标与数字孪生三维模型的图像扫描环境，执行待修正目标与数字孪生三维模型的图像扫描并进行扫描图像预处理，对预处理后的物理扫描图像、模型与虚拟扫描图像、模型进行比对，基于比对结果判断并执行数字孪生三维模型修正；

数字孪生运动模型修正模块，该模块通过接收基于机器视觉的数字孪生模型修正控制模块的控制指令和修正策略，对修正策略进行确认后设置待修正目标动作捕捉软硬件环境以及数字孪生模型与待修正目标动作信号的数据连接，待修正目标执行动作指令并对其进行动作捕捉，同时数字孪生模型基于待修正目标的动作信号执行动作并记录动作数据，生成待修正目标与数字孪生模型的机构运动图，并对待修正目标与数字孪生模型的机构运动图与动作数据进行比对，基于比对结果判断并执行数字孪生运动模型修正。

本发明与现有技术相比的优点在于：

(1)设计数字孪生三维模型修正模块，借助图像识别技术实现三维模型修正问题与修正点的快速判断与定位，将几何尺寸、表面材质、异常问题的修正功能进行集成，并减少了人工判断与操作，一定程度上提升了数字孪生三维模型的修正效率；

(2)设计数字孪生运动模型修正模块，借助动作捕捉技术实现运动模型修正问题与修正点的快速判断与定位，自动生成的机构运动图与动作比对减少了人工判断与调整，一定程度上提升了数字孪生运动模型的修正效率；

(3)设计基于机器学习的数字孪生模型修正控制模块，制定模型的修正策略并对修正过程进行监控控制，同时会根据修正策略的执行情况调用其他模型修正系统，保证模型修正的有效性和覆盖性，并对数字孪生模型进行版本管理和更新，一定程度上提升了模型修正的效率和可靠性。

附图说明

图1为本发明的一种基于机器视觉的数字孪生模型修正方法流程图；

图2为本发明的数字孪生三维模型修正模块运行流程图；

图3为本发明的数字孪生运动模型修正模块运行流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

根据本发明的一个实施例，本发明的一种基于机器视觉的数字孪生模型修正方法，图1为本发明的一种基于机器视觉的数字孪生模型修正方法流程图，图2为本发明的数字孪生三维模型修正模块运行流程图，图3为本发明的数字孪生运动模型修正模块运行流程图，具体实施方式包括：

步骤S1，进行数字孪生模型匹配，基于目标识别实现对待修正目标的识别、数字孪生模型的匹配和调用，具体包括：

①首先借助图像目标识别对待修正目标进行识别判断，目标识别硬件设备为便携式摄像头，软件可基于图像比对或标签码识别进行实现，采集待修正目标图像后进行检测与比对，确定待修正目标是否为系统中的要素并存在数字孪生模型；

②在模型库中查找并匹配待修正目标的数字孪生模型；

③将待修正目标的数字孪生模型从模型库中调出，用于后续的修正执行；

步骤S2，进行基于机器视觉的数字孪生模型修正控制，实现对数字孪生模型修正策略的制定和执行控制，以及数字孪生模型的版本管理与更新，具体包括：

①根据待修正目标的外观复杂度、材质特性、运动特性、功能性能、数字孪生模型需求制定数字孪生模型修正策略，包括依据外观和材质情况决定图像扫描的位置、角度、精度，依据运动特性决定动作捕捉的动作执行指令、有无标记、捕捉精度，依据功能性能和数字孪生模型需求决定是部分修正或整体修正、是否执行三维模型修正、是否执行运动模型修正、模型修正的先后顺序；

②根据制定的数字孪生模型修正策略以及策略的执行状态，跳转至步骤S3或步骤S4执行具体模型修正操作；

③判断数字孪生模型修正策略是否执行完毕，如执行完毕，进入④，如未执行完毕，返回②；

④根据数字孪生模型修正策略的执行情况，判断是否需要执行其他模型修正，包括：动作模型修正后需要对控制系统模型进行修正、三维模型修正后需要对物理属性模型进行修正、三维模型在修正中发现缺陷需要对故障预测模型进行修正，如需要执行其他模型修正，进入⑤，如不需要，进入步骤⑥；

⑤调用其他模型修正系统对数字孪生模型做进一步修正；

⑥对数字孪生模型进行版本管理与更新，包括修正前的数字孪生模型记录、备份，修正后的数字孪生模型的修正记录、更新、功能对接；

步骤S3，如图2所示，进行数字孪生三维模型修正，基于图像识别对数字孪生三维模型是否需要修正进行判断并执行修正操作，具体包括：

①基于待修正目标状态对图像识别策略进行确认，设置物理空间中待修正目标图像扫描的软硬件环境，包括三维点云扫描设备的布置，各角度图像采集摄像头的分辨率、镜头方向、视场角、光谱范围等，同时在虚拟空间中设置相同的位置设备虚拟摄像头，并采用相同的分辨率、镜头方向、视场角、光谱滤镜等；

②对待修正目标进行图像扫描，包括三维点云扫描以及各角度摄像头的图像采集；

③在虚拟空间中以相同角度对待修正目标的数字孪生三维模型进行虚拟扫描并生成图像；

④对物理扫描图像与虚拟扫描图像进行预处理，包括点云数据生成三维模型，采集图像的待修正目标分割，图像几何特征提取等，并对预处理后的物理扫描图像、模型与虚拟扫描图像、模型进行比对，判断并记录差异；

⑤根据比对结果判断是否需要修正数字孪生三维模型，如需要，进入⑥，如不需要，进入步骤S2的②；

⑥基于比对结果与待修正目标状态定位修正点，对数字孪生三维模型进行修正，包括对如下异常状态进行修正：几何结构与尺寸修正，表面材质状态修正，磨损、腐蚀、裂纹、断裂缺陷状态修正，修正完成后返回③；

步骤S4，如图3所示，进行数字孪生运动模型修正，基于动作捕捉对数字孪生运动模型是否需要修正进行判断并执行修正操作，具体包括：

①基于待修正目标状态对动作捕捉策略进行确认，设置物理空间中待修正目标动作捕捉的软硬件环境，包括动作捕捉摄像头的布置，根据待修正目标特点布置动作捕捉标记点等，并将待修正目标的数据接口与模型修正系统对接，建立数字孪生模型与待修正目标动作信号的数据连接；

②待修正目标依据动作捕捉策略执行动作，进行动作捕捉，并采集待修正目标相关动作信号，包括线位移、线速度、线加速度、角位移、角速度、角加速度；

③数字孪生模型基于待修正目标动作信号执行动作，并记录动作数据；

④对待修正目标动作捕捉数据与数字孪生模型动作数据进行预处理，生成待修正目标与数字孪生模型的机构运动图，并对待修正目标与数字孪生模型的机构运动图与动作数据进行比对，判断并记录差异；

⑤根据比对结果判断是否需要修正数字孪生运动模型，如需要，进入⑥，如不需要，进入步骤S2的②；

⑥基于动作比对结果与待修正目标状态定位修正点，对数字孪生运动模型进行修正，包括运动机构结构与运动形式、运动边界、物理动作信号映射逻辑，修正完成后返回③。

根据本发明的另一实施例，提出一种基于机器视觉的数字孪生模型修正系统，其具体实施方式包括：

数字孪生模型匹配模块，该模块包含图像目标识别的软硬件环境、软件系统及交互界面，实现对待修正目标进行识别判断，确定待修正目标是否为系统中的要素并存在数字孪生模型，同时借助系统接口实现在模型库中查找并匹配待修正目标的数字孪生模型，并将数字孪生模型从模型库中调出，用于后续的修正执行；

基于机器视觉的数字孪生模型修正控制模块，该模块包含软件系统及交互界面、与其他模型修正系统的接口，根据待修正目标的外观复杂度、材质特性、运动特性、功能性能、数字孪生模型需求制定数字孪生模型修正策略，依据修正策略控制数字孪生三维模型修正模块与数字孪生运动模型修正模块的执行，数字孪生模型修正策略执行完毕后根据策略的执行情况，判断是否需要执行其他模型修正，并调用其他模型修正系统，最后对数字孪生模型进行版本管理与更新；

数字孪生三维模型修正模块，该模块包含图像识别与扫描的软硬件环境、软件系统及交互界面，通过接收基于机器视觉的数字孪生模型修正控制模块的控制指令和修正策略，对修正策略进行确认后设置待修正目标与数字孪生三维模型的图像扫描环境，执行待修正目标与数字孪生三维模型的图像扫描并进行扫描图像预处理，对预处理后的物理扫描图像、模型与虚拟扫描图像、模型进行比对，基于比对结果判断并定位修正点，在软件交互界面根据修正点对数字孪生三维模型进行修正；

数字孪生运动模型修正模块，该模块包含动作捕捉的软硬件环境、软件系统级交互界面，通过接收基于机器视觉的数字孪生模型修正控制模块的控制指令和修正策略，对修正策略进行确认后设置待修正目标动作捕捉软硬件环境以及数字孪生模型与待修正目标动作信号的数据连接，待修正目标执行动作指令并对其进行动作捕捉，同时数字孪生模型基于待修正目标的动作信号执行动作并记录动作数据，生成待修正目标与数字孪生模型的机构运动图，并对待修正目标与数字孪生模型的机构运动图与动作数据进行比对，基于比对结果判断并执行数字孪生运动模型修正。

综上所述，本发明公开了一种基于机器视觉的数字孪生模型修正方法与系统，包括数字孪生模型匹配模块、基于机器视觉的数字孪生模型修正控制模块、数字孪生三维模型修正模块、数字孪生运动模型修正模块，能够在一定程度上解决当前数字孪生模型修正上存在的问题，提升数字孪生模型修正的效率。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于机器视觉的数字孪生模型修正方法，其特征在于，具体修正方法步骤如下：

步骤(1)、进行数字孪生模型匹配，基于目标识别实现对待修正目标的识别、数字孪生模型的匹配和调用，具体包括：

(1.1)首先借助图像目标识别对待修正目标进行识别判断，确定待修正目标是否为系统中的要素并存在数字孪生模型；

(1.2)在模型库中查找并匹配待修正目标的数字孪生模型；

(1.3)将待修正目标的数字孪生模型从模型库中调出，用于后续的修正执行；

步骤(2)、进行基于机器视觉的数字孪生模型修正控制，实现对数字孪生模型修正策略的制定和执行控制，以及数字孪生模型的版本管理与更新，具体包括：

(2.1)根据待修正目标的外观复杂度、材质特性、运动特性、功能性能、数字孪生模型需求制定数字孪生模型修正策略；

(2.2)根据制定的数字孪生模型修正策略以及策略的执行状态，跳转至步骤(3)或步骤(4)执行具体模型修正操作；

(2.3)判断数字孪生模型修正策略是否执行完毕，如执行完毕，进入步骤(2.4)，如未执行完毕，返回步骤(2.2)；

(2.4)根据数字孪生模型修正策略的执行情况，判断是否需要执行其他模型修正，包括：动作模型修正后需要对控制系统模型进行修正、三维模型修正后需要对物理属性模型进行修正、三维模型在修正中发现缺陷需要对故障预测模型进行修正，如需要执行其他模型修正，进入步骤(2.5)，如不需要，进入步骤(2.6)；

(2.5)调用其他模型修正系统对数字孪生模型做进一步修正；

(2.6)对数字孪生模型进行版本管理与更新，包括修正前的数字孪生模型记录、备份，修正后的数字孪生模型的修正记录、更新、功能对接；

步骤(3)、进行数字孪生三维模型修正，基于图像识别对数字孪生三维模型是否需要修正进行判断并执行修正操作，具体包括：

(3.1)基于待修正目标状态对图像识别策略进行确认，设置物理空间中待修正目标图像扫描的软硬件环境，并在虚拟空间中设置相同的扫描条件；

(3.2)对待修正目标进行图像扫描，包括三维点云扫描以及各角度的图像采集；

(3.3)在虚拟空间中以相同角度对待修正目标的数字孪生三维模型进行虚拟扫描并生成图像；

(3.4)对物理扫描图像与虚拟扫描图像进行预处理，包括点云数据生成三维模型，采集图像的待修正目标分割，图像几何特征提取等，并对预处理后的物理扫描图像、模型与虚拟扫描图像、模型进行比对，判断并记录差异；

(3.5)根据比对结果判断是否需要修正数字孪生三维模型，如需要，进入步骤(3.6)，如不需要，进入步骤(2.2)；

(3.6)基于比对结果与待修正目标状态定位修正点，对数字孪生三维模型进行修正，包括对如下异常状态进行修正：几何结构与尺寸修正，表面材质状态修正，磨损、腐蚀、裂纹、断裂缺陷状态修正，修正完成后返回步骤(3.3)；

步骤(4)、进行数字孪生运动模型修正，基于动作捕捉对数字孪生运动模型是否需要修正进行判断并执行修正操作，具体包括：

(4.1)基于待修正目标状态对动作捕捉策略进行确认，设置物理空间中待修正目标动作捕捉的软硬件环境，并设置数字孪生模型与待修正目标动作信号的数据连接；

(4.2)待修正目标依据动作捕捉策略执行动作，进行动作捕捉，并采集待修正目标相关动作信号，包括线位移、线速度、线加速度、角位移、角速度、角加速度；

(4.3)数字孪生模型基于待修正目标动作信号执行动作，并记录动作数据；

(4.4)对待修正目标动作捕捉数据与数字孪生模型动作数据进行预处理，生成待修正目标与数字孪生模型的机构运动图，并对待修正目标与数字孪生模型的机构运动图与动作数据进行比对，判断并记录差异；

(4.5)根据比对结果判断是否需要修正数字孪生运动模型，如需要，进入步骤(4.6)，如不需要，进入步骤(2.2)；

(4.6)基于动作比对结果与待修正目标状态定位修正点，对数字孪生运动模型进行修正，包括运动机构结构与运动形式、运动边界、物理动作信号映射逻辑，修正完成后返回步骤(4.3)。

2.一种基于机器视觉的数字孪生模型修正系统，其特征在于，包括：

数字孪生模型匹配模块，该模块实现对待修正目标进行识别判断，确定待修正目标是否为系统中的要素并存在数字孪生模型，同时借助系统接口实现在模型库中查找并匹配待修正目标的数字孪生模型，并将数字孪生模型从模型库中调出，用于后续的修正执行；

基于机器视觉的数字孪生模型修正控制模块，该模块根据待修正目标的外观复杂度、材质特性、运动特性、功能性能、数字孪生模型需求制定数字孪生模型修正策略，依据修正策略控制数字孪生三维模型修正模块与数字孪生运动模型修正模块的执行，数字孪生模型修正策略执行完毕后根据策略的执行情况，判断是否需要执行其他模型修正，并调用其他模型修正系统，最后对数字孪生模型进行版本管理与更新；

数字孪生三维模型修正模块，该模块通过接收基于机器视觉的数字孪生模型修正控制模块的控制指令和修正策略，对修正策略进行确认后设置待修正目标与数字孪生三维模型的图像扫描环境，执行待修正目标与数字孪生三维模型的图像扫描并进行扫描图像预处理，对预处理后的物理扫描图像、模型与虚拟扫描图像、模型进行比对，基于比对结果判断并执行数字孪生三维模型修正；

数字孪生运动模型修正模块，该模块通过接收基于机器视觉的数字孪生模型修正控制模块的控制指令和修正策略，对修正策略进行确认后设置待修正目标动作捕捉软硬件环境以及数字孪生模型与待修正目标动作信号的数据连接，待修正目标执行动作指令并对其进行动作捕捉，同时数字孪生模型基于待修正目标的动作信号执行动作并记录动作数据，生成待修正目标与数字孪生模型的机构运动图，并对待修正目标与数字孪生模型的机构运动图与动作数据进行比对，基于比对结果判断并执行数字孪生运动模型修正。

Images