CN116681871B - 一种面向数字孪生的模型视觉辅助定位方法及装置 - Google Patents

Abstract

本发明公开了一种面向数字孪生的模型视觉辅助定位方法及装置，属于三维可视化技术领域。方法特征在于，响应于对场景内某一模型的操作，触发投影方法将被操作模型的二维投影实时动态显示于另一载体模型表面：创建采集相机；采集场景中各模型表面与采集相机之间的距离信息并记录为距离数据集；识别被操作模型的所有数据以及载体模型未被所述被操作模型投影覆盖的点；取载体模型表面朝向采集相机方向的各点与载体模型未被影覆盖的各点的反集，得到投影区域；将投影材质渲染到投影区域。本发明实现了操作人员场景搭建过程中的模型视觉辅助定位，减轻了对碰撞检测的依赖，提升了工作效率和程序运行性能。

Description

一种面向数字孪生的模型视觉辅助定位方法及装置

技术领域

本发明涉及一种面向数字孪生的模型视觉辅助定位方法及装置，属于三维可视化技术领域。

背景技术

数字孪生技术是指以物理实体为基础，运用数字化技术手段对其进行数字化建模，形成与之相对应的虚拟物体。目前数字孪生技术已广泛应用于多个领域，如机械制造、建筑设计、医疗诊断等，具有广阔的应用前景。

在数字孪生的三维场景搭建过程中，受限于数字三维模型本身特性及计算机运算能力，模型之间极易出现互相穿透、出现重合面等问题，导致操作人员需要耗费大量精力对模型的摆放位置及各模型之间的三维空间关系进行人工干预，如果操作人员观察不到位或操作精度不够高就会出现诸如模型穿模、模型腾空之类的问题。

目前常规的办法是通过多角度放大或抵近观察及模型增加碰撞检测等，对人工要求比较高，碰撞检测需要增加碰撞体模型，增加场景资源数量，影响程序运行性能。此外，现有技术和方法在对三维空间内的模型物体进行位置移动实现三维场景搭建时，由于操作人员通常一次只能从一个角度观察，很容易因观察不到位或操作精度不够高出现模型之间互相穿透或未按要求对齐等问题。

发明内容

为了解决上述问题，本发明公开了一种面向数字孪生的模型视觉辅助定位方法及装置，通过被操作模型对附近模型进行二维投影，并将投影面高亮显示在附近模型的相邻面上以实现操作人员视觉辅助定位。本发明可以帮助操作人员同时进行多角度观察，可以实现模型之间像素级定位，极大提升操作人员工作效率，并可以一定程度减轻对碰撞检测的依赖，提升程序运行性能。

本发明解决其技术问题采取的技术方案是：

第一方面，本发明提供一种面向数字孪生的模型视觉辅助定位方法，其特殊之处在于，包括以下步骤：

响应于对场景内某一模型的操作，触发以下投影方法将被操作模型的二维投影实时动态显示于另一载体模型表面：

在被操作模型投影方向的反方向的最大渲染距离处创建采集相机；

通过采集相机沿其朝向方向采集从相机位置坐标到场景中各模型表面的点坐标之间的距离信息，将采集到的所有距离信息记录为距离数据集；

获取相机到被操作模型表面的顶点距离L1以及被操作模型包围盒在投影方向上的模型长度L2；循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据所对应的点识别为所述载体模型未被所述被操作模型投影覆盖的点；

获取载体模型表面朝向采集相机方向的各点，将其与所述载体模型未被所述被操作模型投影覆盖的各点取反集，得到的各点所对应的载体模型的表面区域，即确定为投影区域；

将预设的投影材质叠加渲染到所述投影区域内，即得被操作模型在载体模型上的二维投影。

进一步地，仅当被操作模型获取用户操作的焦点时开启投影，失去焦点时关闭投影，以此提升性能。

进一步地，当且仅当被操作模型X、Y、Z轴方向与当前相机中心视角方向夹角<90度时显示投影，并随模型转动或相机移动实时计算。

进一步地，所述获取相机到被操作模型表面的顶点距离L1以及被操作模型包围盒在投影方向上的模型长度L2；循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据所对应的点识别为所述载体模型未被所述被操作模型投影覆盖的点，具体步骤如下：

将被操作模型中心点坐标中与投影轴对应的坐标值，减去采集相机坐标中与投影轴对应的坐标值，可得二者中心点之间的距离，再减去被操作模型包围盒在投影轴方向上长度的一半，计算可得采集相机到被操作模型的表面顶点的距离，也即相机到被操作模型表面的顶点距离L1；

获取被操作模型包围盒在投影方向上的模型长度L2；

循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据记录为数据集modelBList，所述数据集modelBList中的数据所对应的点即为所述载体模型未被所述被操作模型投影覆盖的点。

进一步地，所述获取载体模型表面朝向采集相机方向的各点，将其与所述载体模型未被所述被操作模型投影覆盖的各点取反集，具体步骤包括：

将载体模型表面朝向采集相机方向的各点记录为数据集dotBList；

以坐标值作为匹配条件，循环遍历数据集modelBList中的所有数据，若数据集modelBList中存在匹配数据，则从数据集dotBList中删除该条数据，直至遍历完数据集modelBList的所有数据，数据集dotBList中最终剩余的数据即为所述载体模型未被所述被操作模型投影覆盖的各点的反集。

第二方面，本发明提供一种面向数字孪生的模型视觉辅助定位装置，其特殊之处在于，包括：

方法执行模块，用以响应对场景内某一模型的操作，触发投影方法通过以下功能单元将被操作模型的二维投影实时动态显示于另一载体模型表面：

相机创建单元，用以在被操作模型投影方向的反方向的最大渲染距离处创建采集相机；

数据采集单元，用以通过采集相机沿其朝向方向采集从相机位置坐标到场景中各模型表面的点坐标之间的距离信息，将采集到的所有距离信息记录为距离数据集；

第一计算单元，用以获取相机到被操作模型表面的顶点距离L1以及被操作模型包围盒在投影方向上的模型长度L2；循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据所对应的点识别为所述载体模型未被所述被操作模型投影覆盖的点；

第二计算单元，用以获取载体模型表面朝向采集相机方向的各点，将其与所述载体模型未被所述被操作模型投影覆盖的各点取反集，得到的各点所对应的载体模型的表面区域，即确定为投影区域；

投影单元，用以将预设的投影材质叠加渲染到所述投影区域内，即得被操作模型在载体模型上的二维投影。

进一步地，所述第一计算单元具体用于：

将被操作模型中心点坐标中与投影轴对应的坐标值，减去采集相机坐标中与投影轴对应的坐标值，可得二者中心点之间的距离，再减去被操作模型包围盒在投影轴方向上长度的一半，计算可得采集相机到被操作模型的表面顶点的距离，也即相机到被操作模型表面的顶点距离L1；

获取被操作模型包围盒在投影方向上的模型长度L2；

循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据记录为数据集modelBList，所述数据集modelBList中的数据所对应的点即为所述载体模型未被所述被操作模型投影覆盖的点。

进一步地，所述第二计算单元具体用于：

将载体模型表面朝向采集相机方向的各点记录为数据集dotBList；

以坐标值作为匹配条件，循环遍历数据集modelBList中的所有数据，若数据集modelBList中存在匹配数据，则从数据集dotBList中删除该条数据，直至遍历完数据集modelBList的所有数据，数据集dotBList中最终剩余的数据即为所述载体模型未被所述被操作模型投影覆盖的各点的反集。

本发明的发明构思及有益效果如下：

本发明提供一种模型视觉辅助定位方法，通过被操作模型向附近模型进行二维投影，并将投影面高亮显示在附近模型的相邻面上以实现操作人员视觉辅助定位。本发明可以帮助操作人员同时进行多角度观察，可以实现模型之间像素级定位，极大提升操作人员工作效率，并可以一定程度减轻对碰撞检测的依赖，提升程序运行性能。

附图说明

图1是实施例一的一种面向数字孪生的模型视觉辅助定位方法流程示意图；

图2是实施例一的一种面向数字孪生的模型视觉辅助定位装置结构示意图；

图3是采集相机在场景内的设置效果示意图；

图4是采集相机采集模型各表面距离信息示意图；

图5是模型长度L2的示意图；

图6是模型A向模型B方向投影的效果示意图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明：

为能清楚说明本发明方案的技术特点，下面将通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

实施例一

本实施例以两个数字孪生模型为例，详细介绍本发明的一种面向数字孪生的模型视觉辅助定位方法，在以下内容中，本实施例的两个数字孪生模型分别用模型A和模型B表示，模型A在图中为空调挂机，模型B为建筑物，将模型A设定为被操作模型，附近需要与之有交互关系的模型B设定为接收并显示投影的载体模型。

可以理解的是，模型A在场景内可向X、Y、Z 3个轴共6个方向进行投影，由于观察视角限制，同时最多只需要显示3个方向的投影；当且仅当模型A的X、Y、Z轴方向与当前相机中心视角方向的夹角<90度时显示投影，并随模型A转动或相机移动进行实时计算和动态显示。

本实施例以模型A向模型B的单一轴（Z轴）方向投影为例，其他轴方向投影步骤相同并可以同时执行。

一种面向数字孪生的模型视觉辅助定位方法，流程如图1所示，具体包括以下步骤：

步骤1：设置投影材质

预先设置投影区域的表面材质，包括纹理、颜色、自发光亮度等，以下称为投影材质；

步骤2：开启投影功能

用户在场景中触控操作模型A，模型A随即获取用户操作的焦点并同时开启投影功能；

步骤3：设置采集相机

首先在模型A投影方向的反方向，场景参数设置的最大渲染距离处设置深度相机DepthCamera，以下称采集相机，所述采集相机的设置朝向为面向模型A投影方向，如图3所示；

步骤4：采集数据

使用采集相机沿其朝向方向采集场景深度信息，即采集从相机位置坐标到场景中各模型表面的点坐标之间的距离信息，并将采集到的所有距离信息记录为距离数据集，以下称lengthList（见表1）；

表1：距离数据集lengthList部分数据示例，id自动生成

步骤5：识别模型B未被模型A投影覆盖的点

将模型A中心点坐标的Z轴坐标值，减去采集相机坐标的Z轴坐标值，可得二者中心点之间的距离，再减去模型A包围盒在Z轴方向上长度的一半，计算可得采集相机到模型A表面的顶点距离L1；如图4所示，空调挂机距采集相机最近的部位是规则的平面表面，则本实施例的顶点距离L1为100；

获取模型A包围盒在投影方向上的模型长度L2，如图5所示，本实施例中的模型长度L2为20；

实例化一个空白的数据集modelBList，所述数据集modelBList的数据格式与所述距离数据集lengthList相同，通过编程语言提供的循环函数遍历距离数据集lengthList中的所有数据，将距离数据集lengthList中大于L1+L2（即d>100+20）的数据插入数据集modelBList，直至遍历完距离数据集lengthList所有数据为止，最终得到的数据集modelBList中的数据所对应的点即为模型B未被模型A投影覆盖的点。

步骤6：确定投影区域

将模型B表面朝向采集相机方向的各点记录为数据集dotBList（见表2），将其与步骤5得到的模型B未被模型A投影覆盖的各点取反集，具体方法如下：

通过编程语言提供的循环函数遍历数据集modelBList中所有数据，每遍历一条数据则以坐标x、y、z值作为匹配条件到数据集dotBList中查询是否有匹配数据，如果有则从数据集dotBList中删除该条数据，直至遍历完数据集modelBList的所有数据为止，数据集dotBList中剩余的数据则为模型B未被模型A投影覆盖的各点的反集。

所述数据集dotBList中剩余的数据所对应的各点即为模型B表面的投影区域，如图2所示；

当数据集dotBList中的所有数据都被删除时，最终产出的是一个空白数据集，此时则表示模型B表面不会产生投影。

表2：数据集dotBList部分数据示例

步骤7：渲染投影

采用三维引擎自带的材质和纹理贴图渲染方法将步骤1预设的投影材质叠加渲染到步骤6确定的投影区域内，模型A的二维投影将实时动态的显示在模型B上，以辅助操作人员观察调整。

本实施例的一种面向数字孪生的模型视觉辅助定位方法，通过将被操作模型向附近模型进行二维投影，并将投影面高亮显示在附近模型的相邻面上，借助于二维投影来观察并实时调整模型位置，以实现操作人员在场景搭建时的模型视觉辅助定位，投影视觉辅助定位的方式能够同时进行多角度观察，实现模型之间的像素级定位，极大提升操作人员工作效率，并可以一定程度减轻对碰撞检测的依赖，提升程序运行性能。定位过程中，仅当模型A获取用户操作的焦点时开启投影，失去焦点时关闭投影以提升性能。

实施例二

一种面向数字孪生的模型视觉辅助定位装置，结构如图2所示，具体包括：

方法执行模块，用以响应对场景内某一模型的操作，触发投影方法通过以下功能单元将被操作模型的二维投影实时动态显示于另一载体模型表面：

相机创建单元，用以在被操作模型投影方向的反方向的最大渲染距离处创建采集相机；

数据采集单元，用以通过采集相机沿其朝向方向采集从相机位置坐标到场景中各模型表面的点坐标之间的距离信息，将采集到的所有距离信息记录为距离数据集；

第一计算单元，用以获取相机到被操作模型表面的顶点距离L1以及被操作模型包围盒在投影方向上的模型长度L2；循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据所对应的点识别为所述载体模型未被所述被操作模型投影覆盖的点；具体步骤为：

将被操作模型中心点坐标中与投影轴对应的坐标值，减去采集相机坐标中与投影轴对应的坐标值，可得二者中心点之间的距离，再减去被操作模型包围盒在投影轴方向上长度的一半，计算可得采集相机到被操作模型的表面顶点的距离，也即相机到被操作模型表面的顶点距离L1；

获取被操作模型包围盒在投影方向上的模型长度L2；

循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据记录为数据集modelBList，所述数据集modelBList中的数据所对应的点即为所述载体模型未被所述被操作模型投影覆盖的点。

第二计算单元，用以获取载体模型表面朝向采集相机方向的各点，将其与所述载体模型未被所述被操作模型投影覆盖的各点取反集，得到的各点所对应的载体模型的表面区域，即确定为投影区域；其中，获取载体模型表面朝向采集相机方向的各点，将其与所述载体模型未被所述被操作模型投影覆盖的各点取反集的具体步骤为：

将载体模型表面朝向采集相机方向的各点记录为数据集dotBList；

以坐标值作为匹配条件，循环遍历数据集modelBList中的所有数据，若数据集modelBList中存在匹配数据，则从数据集dotBList中删除该条数据，直至遍历完数据集modelBList的所有数据，数据集dotBList中最终剩余的数据即为所述载体模型未被所述被操作模型投影覆盖的各点的反集。

投影单元，用以将预设的投影材质叠加渲染到所述投影区域内，即得被操作模型在载体模型上的二维投影。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种面向数字孪生的模型视觉辅助定位方法，其特征在于，响应于对场景内某一模型的操作，触发以下投影方法将被操作模型的二维投影实时动态显示于另一载体模型表面：

在被操作模型投影方向的反方向的最大渲染距离处创建采集相机；

通过采集相机沿其朝向方向采集从相机位置坐标到场景中各模型表面的点坐标之间的距离信息，将采集到的所有距离信息记录为距离数据集；

获取相机到被操作模型表面的顶点距离L1以及被操作模型包围盒在投影方向上的模型长度L2；循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据所对应的点识别为所述载体模型未被所述被操作模型投影覆盖的点；

获取载体模型表面朝向采集相机方向的各点，将其与所述载体模型未被所述被操作模型投影覆盖的各点取反集，得到的各点所对应的载体模型的表面区域，即确定为投影区域；

将预设的投影材质叠加渲染到所述投影区域内，即得被操作模型在载体模型上的二维投影。

2.如权利要求1所述的一种面向数字孪生的模型视觉辅助定位方法，其特征在于，

仅当被操作模型获取用户操作的焦点时开启投影，失去焦点时关闭投影。

3.如权利要求1所述的一种面向数字孪生的模型视觉辅助定位方法，其特征在于，

当且仅当被操作模型X、Y、Z轴方向与当前相机中心视角方向夹角<90度时显示投影，并随模型转动或相机移动实时计算。

4.如权利要求1所述的一种面向数字孪生的模型视觉辅助定位方法，其特征在于，所述获取相机到被操作模型表面的顶点距离L1以及被操作模型包围盒在投影方向上的模型长度L2；循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据所对应的点识别为所述载体模型未被所述被操作模型投影覆盖的点，具体步骤如下：

将被操作模型中心点坐标中与投影轴对应的坐标值，减去采集相机坐标中与投影轴对应的坐标值，可得二者中心点之间的距离，再减去被操作模型包围盒在投影轴方向上长度的一半，计算可得采集相机到被操作模型的表面顶点的距离，也即相机到被操作模型表面的顶点距离L1；

获取被操作模型包围盒在投影方向上的模型长度L2；

循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据记录为数据集modelBList，所述数据集modelBList中的数据所对应的点即为所述载体模型未被所述被操作模型投影覆盖的点。

5.如权利要求4所述的一种面向数字孪生的模型视觉辅助定位方法，其特征在于，所述获取载体模型表面朝向采集相机方向的各点，将其与所述载体模型未被所述被操作模型投影覆盖的各点取反集，具体步骤包括：

将载体模型表面朝向采集相机方向的各点记录为数据集dotBList；

以坐标值作为匹配条件，循环遍历数据集modelBList中的所有数据，若数据集modelBList中存在匹配数据，则从数据集dotBList中删除该条数据，直至遍历完数据集modelBList的所有数据，数据集dotBList中最终剩余的数据即为所述载体模型未被所述被操作模型投影覆盖的各点的反集。

6.一种面向数字孪生的模型视觉辅助定位装置，其特征在于，包括：

方法执行模块，用以响应对场景内某一模型的操作，触发投影方法通过以下功能单元将被操作模型的二维投影实时动态显示于另一载体模型表面：

相机创建单元，用以在被操作模型投影方向的反方向的最大渲染距离处创建采集相机；

数据采集单元，用以通过采集相机沿其朝向方向采集从相机位置坐标到场景中各模型表面的点坐标之间的距离信息，将采集到的所有距离信息记录为距离数据集；

第一计算单元，用以获取相机到被操作模型表面的顶点距离L1以及被操作模型包围盒在投影方向上的模型长度L2；循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据所对应的点识别为所述载体模型未被所述被操作模型投影覆盖的点；

第二计算单元，用以获取载体模型表面朝向采集相机方向的各点，将其与所述载体模型未被所述被操作模型投影覆盖的各点取反集，得到的各点所对应的载体模型的表面区域，即确定为投影区域；

投影单元，用以将预设的投影材质叠加渲染到所述投影区域内，即得被操作模型在载体模型上的二维投影。

7.如权利要求6所述的一种面向数字孪生的模型视觉辅助定位装置，其特征在于，所述第一计算单元进一步用于：

将被操作模型中心点坐标中与投影轴对应的坐标值，减去采集相机坐标中与投影轴对应的坐标值，可得二者中心点之间的距离，再减去被操作模型包围盒在投影轴方向上长度的一半，计算可得采集相机到被操作模型的表面顶点的距离，也即相机到被操作模型表面的顶点距离L1；

获取被操作模型包围盒在投影方向上的模型长度L2；

循环遍历距离数据集中的所有数据，将距离数据集中大于L1+L2的数据记录为数据集modelBList，所述数据集modelBList中的数据所对应的点即为所述载体模型未被所述被操作模型投影覆盖的点。

8.如权利要求7所述的一种面向数字孪生的模型视觉辅助定位装置，其特征在于，所述第二计算单元进一步用于：

将载体模型表面朝向采集相机方向的各点记录为数据集dotBList；

以坐标值作为匹配条件，循环遍历数据集modelBList中的所有数据，若数据集modelBList中存在匹配数据，则从数据集dotBList中删除该条数据，直至遍历完数据集modelBList的所有数据，数据集dotBList中最终剩余的数据即为所述载体模型未被所述被操作模型投影覆盖的各点的反集。