CN113936122A - 一种虚实融合维修性试验场景构建方法、装置和设备 - Google Patents

Abstract

本申请涉及一种虚实融合维修性试验场景构建方法、装置和计算机设备。所述方法包括：通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流，以及获取虚拟维修场景的虚拟场景信息，分别提取维修对象实物的第一特征信息和维修对象虚拟模型的第二特征信息，通过IPC算法进行维修对象实物和虚拟维修场景的配准，得到维修对象实物和虚拟维修场景之间位姿变换关系的变换矩阵，将虚拟维修场景注册到真实维修场景中，完成虚实融合维修性试验场景的构建。本发明利用增强现实技术可将实物设备和虚拟舱室环境无缝融合，形成一体化的虚实融合维修性试验环境，兼顾了准确性和经济性，具有巨大的应用前景。

Description

一种虚实融合维修性试验场景构建方法、装置和设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种面向维修性评估的虚实融合维修性试验场景构建方法、装置和计算机设备。

背景技术

维修性是反映产品维修是否方便、快捷和经济的重要质量特性。为确保产品具有较高的可用性和较低的全寿命周期成本，产品必须具备良好的可维修性，从而降低其维修期间对人力、时间和维修资源的要求。因此，工业产品在研制过程中必须进行充分的维修性试验，对其维修性进行验证和评估，确保达到规定的维修性要求。

传统基于实物样机进行维修性评估的方法过度依赖实物样机，代价高且有时不切实际；而利用数字样机进行维修性仿真评估的方法，由于准确的人机力觉交互非常困难，导致难以准确评估维修受力特性和维修时间指标。现有技术存在适应性不佳的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够增强维修性评估适应性的面向维修性评估的虚实融合维修性试验场景构建方法、装置和计算机设备。

一种虚实融合维修性试验场景构建方法，所述方法包括：

通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流；所述三维视觉视频流图像中包括维修对象实物；

根据所述三维视觉视频流图像提取所述维修对象实物的第一特征信息；

获取所述待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息；所述虚拟场景信息中包括维修对象虚拟模型；

根据所述虚拟场景信息提取所述维修对象虚拟模型的第二特征信息；

根据所述第一特征信息和所述第二特征信息，通过IPC算法进行所述维修对象实物和所述虚拟维修场景的配准，得到所述维修对象实物和所述虚拟维修场景之间位姿变换关系的变换矩阵；

根据所述变换矩阵将所述虚拟维修场景注册到所述真实维修场景中，完成虚实融合维修性试验场景的构建。

在其中一个实施例中，还包括：通过获取真实人在所述虚实融合维修性试验场景中的真实人维修动作信息，在所述数字样机中同步生成虚拟人维修动作信息；

根据所述虚拟人维修动作信息获取虚拟维修评价信息；所述虚拟维修评价信息包括：虚拟维修可视性指标信息、虚拟维修可达性指标信息、虚拟维修舒适度指标信息和虚拟维修时间信息。

在其中一个实施例中，还包括：根据所述虚拟人维修动作信息获取虚拟维修评价信息之后，获取真实人完成维修后填写的真人维修评价信息；所述真人维修评价信息为数据表格式，所述真人维修评价信息包括：真人维修可视性指标信息、真人维修可达性指标信息、真人维修舒适度指标信息和真人维修时间信息；

根据所述虚拟维修评价信息和所述真人维修评价信息，经相容性检验和可信度分析后，根据预设权重进行加权融合，得到所述待维修设备维修性的虚实融合评估结果。

在其中一个实施例中，还包括：根据所述三维视觉视频流图像，通过ORB特征提取方法提取所述维修对象实物的第一特征信息。

在其中一个实施例中，还包括：根据所述虚拟场景信息，通过ORB特征提取方法提取所述维修对象虚拟模型的第二特征信息。

在其中一个实施例中，还包括：获取所述第一特征信息的集合K₁＝{k_1i∈R³,i＝1,2,…,n}和所述第二特征信息的集合K₂＝{k_2i∈R³,i＝1,2,…,n}；

对集合K₁进行采样，得到

K₁₀表示集合K₁中的一个子集；

在集合K₂中进行查找，找到与K₁₀中的每个点的最近点，得到K₁和K₂的最初始的对应关系；

去除掉错误的对应点对；

根据所述对应关系计算K₁和K₂之间的变换关系，使目标函数的值最小，并将计算得出的变换矩阵作用于K₁₀，得出变化后的更新的K₁₀'；

根据

判断迭代是否终止，若d大于预先设置的阈值，则继续迭代，若d小于预先设置的阈值或者达到设置的迭代次数，则迭代停止，得到所述维修对象实物和所述虚拟维修场景之间位姿变换关系的变换矩阵。

在其中一个实施例中，还包括：所述目标函数为：

其中，R表示旋转变换矩阵，T表示平移变换矩阵。

一种虚实融合维修性试验场景构建装置，所述装置包括：

真实维修场景获取模块，用于通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流；所述三维视觉视频流图像中包括维修对象实物；

第一特征信息提取模块，用于根据所述三维视觉视频流图像提取所述维修对象实物的第一特征信息；

虚拟维修场景获取模块，用于获取所述待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息；所述虚拟场景信息中包括维修对象虚拟模型；

第二特征信息提取模块，用于根据所述虚拟场景信息提取所述维修对象虚拟模型的第二特征信息；

变换矩阵确定模块，用于根据所述第一特征信息和所述第二特征信息，通过IPC算法进行所述维修对象实物和所述虚拟维修场景的配准，得到所述维修对象实物和所述虚拟维修场景之间位姿变换关系的变换矩阵；

虚实融合场景构建模块，用于根据所述变换矩阵将所述虚拟维修场景注册到所述真实维修场景中，完成虚实融合维修性试验场景的构建。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流；所述三维视觉视频流图像中包括维修对象实物；

根据所述三维视觉视频流图像提取所述维修对象实物的第一特征信息；

获取所述待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息；所述虚拟场景信息中包括维修对象虚拟模型；

根据所述虚拟场景信息提取所述维修对象虚拟模型的第二特征信息；

根据所述第一特征信息和所述第二特征信息，通过IPC算法进行所述维修对象实物和所述虚拟维修场景的配准，得到所述维修对象实物和所述虚拟维修场景之间位姿变换关系的变换矩阵；

根据所述变换矩阵将所述虚拟维修场景注册到所述真实维修场景中，完成虚实融合维修性试验场景的构建。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流；所述三维视觉视频流图像中包括维修对象实物；

根据所述三维视觉视频流图像提取所述维修对象实物的第一特征信息；

获取所述待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息；所述虚拟场景信息中包括维修对象虚拟模型；

根据所述虚拟场景信息提取所述维修对象虚拟模型的第二特征信息；

根据所述第一特征信息和所述第二特征信息，通过IPC算法进行所述维修对象实物和所述虚拟维修场景的配准，得到所述维修对象实物和所述虚拟维修场景之间位姿变换关系的变换矩阵；

根据所述变换矩阵将所述虚拟维修场景注册到所述真实维修场景中，完成虚实融合维修性试验场景的构建。

上述虚实融合维修性试验场景构建方法、装置、计算机设备和存储介质，通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流，以及获取待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息，分别提取维修对象实物的第一特征信息和维修对象虚拟模型的第二特征信息，通过IPC算法进行维修对象实物和虚拟维修场景的配准，得到维修对象实物和虚拟维修场景之间位姿变换关系的变换矩阵，将虚拟维修场景注册到真实维修场景中，完成虚实融合维修性试验场景的构建。本发明利用增强现实技术可将实物设备和虚拟舱室环境无缝融合，形成一体化的虚实融合维修性试验环境，既可以真实表现出设备的维修动力学特性，又可以表现舱室环境对维修空间和维修过程的影响，实现了可靠的维修性评估，同时可以降低硬件规模，兼顾了准确性和经济性，具有巨大的应用前景。

附图说明

图1为一个实施例中虚实融合维修性试验场景构建方法的流程示意图；

图2为一个具体实施例中YN92柴油发动机实物，其中a为YN92柴油发动机实物轴测图，b为YN92柴油发动机实物左视图；

图3为一个具体实施例中舰船辅机舱虚拟维修场景示意图；

图4为一个具体实施例中ORB方法柴油机特征提取结果示意图；

图5为一个具体实施例中设备模型分别去除一些零件后的模型对比展示示意图，其中a为原始模型，b为去除左气缸盖模型2，c为继续去除右气缸盖模型3，d为继续去除小电机模型4，e为继续去除空滤芯盖板模型5，f为继续去除启动电机模型6；

图6为一个具体实施例中得到的虚实融合舰船发动机维修场景图；

图7为一个具体实施例中启动电机维修过程操作步骤流程图；

图8为另一个具体实施例中基于虚实融合维修场景维修性试验评估总体流程图；

图9为一个实施例中虚实融合维修性试验场景构建装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的虚实融合维修性试验场景构建方法，可以应用于如下应用环境中。其中，终端执行一种虚实融合维修性试验场景构建方法，包括通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流，以及获取待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息，分别提取维修对象实物的第一特征信息和维修对象虚拟模型的第二特征信息，通过IPC算法进行维修对象实物和虚拟维修场景的配准，得到维修对象实物和虚拟维修场景之间位姿变换关系的变换矩阵，将虚拟维修场景注册到真实维修场景中，完成虚实融合维修性试验场景的构建。其中，终端可以但不限于是各种个人计算机、笔记本电脑、平板电脑和便携式可穿戴设备。

在一个实施例中，如图1所示，提供了一种虚实融合维修性试验场景构建方法，包括以下步骤：

步骤102，通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流。

步骤104，根据三维视觉视频流图像提取维修对象实物的第一特征信息。

在对摄像头内参完成标定的基础上，提取视频图像的特征。

步骤106，获取待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息。

在产品虚实融合维修性试验过程中，通常会具备产品的全套数字样机作为试验的信息基础条件，数字样机中反映了实物产品与周边环境的位姿关系。

步骤108，根据虚拟场景信息提取维修对象虚拟模型的第二特征信息。

步骤110，根据第一特征信息和第二特征信息，通过IPC算法进行维修对象实物和虚拟维修场景的配准，得到维修对象实物和虚拟维修场景之间位姿变换关系的变换矩阵。

为了将虚拟维修环境模型叠加到实物产品对象的周边，使其确信是维修环境的组成部分，必须要识别出实物产品并使得虚拟世界和实物世界完全对准。

步骤112，根据变换矩阵将虚拟维修场景注册到真实维修场景中，完成虚实融合维修性试验场景的构建。

上述虚实融合维修性试验场景构建方法中，通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流，以及获取待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息，分别提取维修对象实物的第一特征信息和维修对象虚拟模型的第二特征信息，通过IPC算法进行维修对象实物和虚拟维修场景的配准，得到维修对象实物和虚拟维修场景之间位姿变换关系的变换矩阵，将虚拟维修场景注册到真实维修场景中，完成虚实融合维修性试验场景的构建。本发明利用增强现实技术可将实物设备和虚拟舱室环境无缝融合，形成一体化的虚实融合维修性试验环境，既可以真实表现出设备的维修动力学特性，又可以表现舱室环境对维修空间和维修过程的影响，实现了可靠的维修性评估，同时可以降低硬件规模，兼顾了准确性和经济性，具有巨大的应用前景。

在其中一个实施例中，还包括：通过获取真实人在虚实融合维修性试验场景中的真实人维修动作信息，在数字样机中同步生成虚拟人维修动作信息；根据虚拟人维修动作信息获取虚拟维修评价信息；虚拟维修评价信息包括：虚拟维修可视性指标信息、虚拟维修可达性指标信息、虚拟维修舒适度指标信息和虚拟维修时间信息。

根据虚拟人维修动作信息获取虚拟维修评价信息之后，获取真实人完成维修后填写的真人维修评价信息；真人维修评价信息为数据表格式，真人维修评价信息包括：真人维修可视性指标信息、真人维修可达性指标信息、真人维修舒适度指标信息和真人维修时间信息；根据虚拟维修评价信息和真人维修评价信息，经相容性检验和可信度分析后，根据预设权重进行加权融合，得到待维修设备维修性的虚实融合评估结果。

在理论上，真人体验的评价结果比软件的虚拟评价结果具有更高的可信度，本实施例以真人体验为主、以虚拟评价结果为辅助，对虚实数据样本开展加权平均计算，实现维修性评价结果的虚实信息融合。

接下来介绍一些主要指标的评价方法：

(1)维修可视性

维修可视性就是维修时维修部位的可见情况。维护部位良好的可视性便于维修人员观察部件使用状况、降低维护难度、方便维修人员完成维修任务。相反，如果维修部位看不到或不容易看到，则会极大地增加维修难度并加大维修人员工作疲劳强度，甚至会影响维修任务的完成。可视性指标主观评价对应的量值如表1所示。

表1可视性指标的评价量值及标准

可视性指标评价标准	可视性指标量值
		双眼完全可见	0.8—1.0
双眼部分可见	0.7
		单眼完全可见	0.5
单眼部分可见	0.3
		不可见	0.1

(2)维修可达性

维修可达性是指装备维修时维修人员接近维修部位的难易程度，可以反映作业空间、维修通道、零部件布局等对维修操作的影响。可达性的好坏直接影响装备检查和维修，因此要充分重视维修可达性。可达性指标主观评价对应的量值如表2所示。

表2可达性指标的评价量值及标准

(3)操作空间

操作空间关系到实施维修的可行性和简便性，其主要通过设备或零部件安装布置来保证。装备要有一定的维修操作空间，以便于进行维修操作。同样，操作空间指标主观评价对应的量值如表3所示。

表3操作空间指标的评价等级及标准

(4)平均修复性维修时间

平均修复性维修时间即排除故障所需要实际修复时间的平均值，是装备维修性的一种基本参数，又称为平均修复时间，常用时间累计预计法进行度量^[8]。

累加模型用基本维修作业合成为维修活动时间T_mnj,维修活动时间合成为各主要可更换单元在各故障检测与隔离输出下的平均修复时间R_nj(n代表第n单元，j代表第j种输出)，即为：

式中：M_nj为第n个RI发生故障并由第j个FD&I检出后排除故障维修的活动数。包括各项维修活动，即：准备、隔离等等。其中可能包含对于由第j个故障隔离结果中检出的其它RI的操作(例如:用交替更换确定第j个RI)

T_mnj为对由第j个FD&I输出检出的第n个RI进行第m项排除故障维修活动的平均时间。

然后采用均值模型求平均修复时间，即：

式中：J为各种FD&I输出总数；λ_nj为在第j个FD&I输出时能检测出第n个RI的故障率；R_nj为在第j个FD&I输出时检出的第n个RI的故障修复时间。

平均修复时间的计算方法为：

在其中一个实施例中，还包括：根据三维视觉视频流图像，通过ORB特征提取方法提取维修对象实物的第一特征信息；通过ORB特征提取方法提取维修对象虚拟模型的第二特征信息。

在其中一个实施例中，还包括：基于ORB的维修性试验对象图像特征提取过程如下：

FAST特征点是不带有方向性的，通过获取特征点邻域的重心确定方向参数。邻域矩为：

式中I(x,y)为点(x,y)处的灰度值，x,y∈[-r,r]，r为圆域半径，p和q是非负整数，当p为1，q为0时，可得到I在x方向的值I_x，当p为0，q为1时，可得到I在y方向的值I_y，以此得到图像重心C坐标为:

特征点与重心的夹角定义为FAST特征点的方向：

ORB根据上式求得的方向参数提取BRIEF描述子。但是由于环境的因素和噪声的引入，特征点方向会发生变化，随机像素块对的相关性会比较大，从而降低描述子的判别性。ORB采取贪心算法寻找相关性较低的随机像素块对，一般选取256个相关性最低像素块对，构成256bit特征描述子。记两个描述子：

K₁＝x₀x₁…x₂₅₅,K₂＝y₀y₁…y₂₅₅

目前很多局部特征如SIFT、SURF、ORB、BRISK、FREAK等被广泛应用于图像匹配和物体识别等领域。由于维修性试验过程的对象通常是机械产品，其表面有时缺少丰富的纹理特征，考虑基于特征点提取和匹配的稳定性和快速性，本实施例选用ORB局部特征。ORB局部特征采用FAST作为特征点检测子，采用改进的BRIEF作为特征描述子，采用BF模式匹配算法进行特征描述符匹配。

在其中一个实施例中，还包括：实物设备特征的匹配识别与虚拟环境注册过程如下：

从真实维修性试验对象和虚拟维修环境模型中分别提取ORB特征集合，求出对应的特征描述子K₁,K₂通过汉明距离之间的异或之和表征两个ORB特征描述子的相似程度：

D(K₁,K₂)越小说明相似度越高，二者描述同一个特征的概率越大。反之相似度越低，二者越可能不是描述同一个特征。

使用BF匹配器得到所有可能的匹配特征对，假设特征对最小汉明距离为MIN_DIST。为了选取最佳匹配对和提高运行效率，选取合适的阈值，选出小于阈值的匹配对进行接下来的摄像机位姿估计。阈值不能选取太小，影响最终效果，需要通过对图像帧进行实验选取最佳阈值。

已知K₁中的点k_1i，从K₂中查找距离k_1i欧氏距离最短的点k_2i，并以k_1i和k_2i作为对应点获取变换矩阵，通过不断迭代，使得下式最小，则迭代终止，最终得到最优变换矩阵，使二者重合。

式中，R表示旋转变换矩阵，表示平移变换矩阵。

ICP算法的本质是计算出特征集合之间的变换矩阵，通过旋转和平移的方式使二者之间的配准误差最小，达到最佳的配准效果。假设两特征点集合K₁＝{k_1i∈R³,i＝1,2,…,n}和K₂＝{k_2i∈R³,i＝1,2,…,n}，下面对二者使用ICP算法的配准过程进行介绍：

(1)对集合K₁进行采样，

K₁₀表示集合K₁中的一个子集；

(2)在集合K₂中进行查找，找到与K₁₀中的每个点的最近点，得到K₁和K₂的最初始的对应关系；

(3)利用算法或限定条件去除掉错误的对应点对；

(4)根据步骤(2)中的对应关系来计算二者之间的变换关系，使目标函数的值最小，并将计算得出的变换矩阵作用于K₁₀，得出变化后的新的K₁₀；

(5)根据

来判断迭代是否终止，若d大于预先设置的阈值，则返回(2)继续迭代，若d小于预先设置的阈值或者达到设置的迭代次数，则迭代停止。

通过以上步骤求得变换矩阵，即可得到实物设备与虚拟维修性试验环境之间的位姿变换关系，进而可以进行虚拟注册，完成虚实融合维修性试验环境的搭建。

在一个具体实施例中，以某舰船的辅机舱为案例开展试验验证，来检验本文所研究的虚实融合维修性试验评估方法的正确性和适用性。该辅机舱以柴油机为动力进行发电，柴油机由曲柄连杆机构、配气结构、燃油系统、润滑系统、冷却系统、启动系统等组成。该发动机需要更换燃油滤清器、空气滤清器等消耗件，并且气缸和启动电机有一定的故障率，需要对其进行良好的维修性设计以保证舰员级的快速维修。

在舰船舱室环境下，设备的维修过程有一定的复杂性，设备周边的其他设备、外围管路线缆容易造成维修对象可达性和操作空间不够。为此，在该发动机的维修性试验过程中，要能够模拟实际的舱室维修场景和维修空间，充分考虑各类操作障碍对维修性的影响，以获取较为准确的维修性试验结果。

由于建立1：1的全实物的维修性试验条件代价非常高、周期也很长，所以采用本论文所研究的虚实融合维修性试验评估方法，利用少部分的实物设备和大量的虚拟环境来逼真模拟完整的试验场景。试验过程中，所具备的试验条件包括YN92型实物柴油发动机、该辅机舱室的完整数字模型，如图2、图3所示，其中图2a为YN92柴油发动机实物(轴测图)，图2b为YN92柴油发动机实物(左视图)，图3为舰船辅机舱虚拟维修场景。接下来主要以维修更换启动电机为例进行验证。

(1)为了构建较为逼真的虚实融合维修场景，需要考虑多种因素对虚拟环境注册精度的影响。其中特征提取方法是影响注册精度的一个重要因素。

首先对柴油机进行特征提取和识别，不同特征提取方法特征提取结果不同。用ORB方法对柴油机进行特征提取，得到的柴油机特征提取结果如图4所示。

(2)要保证虚拟环境注册精度，还要考虑实物对象与其对应的模型不完全一致时的匹配效果。在CAD环境下修改实物对象的模型，在特征提取的基础上，计算并分析匹配正确率。图5是设备模型分别去除一些零件后的模型对比展示，其中a为原始模型，b为去除左气缸盖模型2(尺寸变化约5％)，c为继续去除右气缸盖模型3(尺寸变化约10％)，d为继续去除小电机模型4(尺寸变化约15％)，e为继续去除空滤芯盖板模型5(尺寸变化约20％)，f为继续去除启动电机模型6(尺寸变化约25％)。

下表是设备模型去除一些零件后进行匹配的结果如表5所示。

表5不同模型的匹配结果

由表5可知，模型与实物越相似，匹配正确率越高，进行虚拟环境注册时既要保证注册精度又要防止模型和实物不完全一致而导致注册失败，所以要选择合适的匹配阈值。经过综合分析可知，阈值2较为合适，其即可保证一定的注册精度又可避免注册失败。

将特征提取算法和特征匹配识别算法注入到AR眼镜中，通过眼镜的双目镜头获取实物设备的三维视觉信息，再进行特征提取并与虚拟模型逐一匹配，得到的虚实融合舰船舱室维修场景如图6所示。

接下来根据所建立的YN92型实物柴油发动机虚实融合维修性试验场景，开展更换启动电机维修性操作试验。试验人员佩戴AR眼镜对其进行维修性试验操作，并获取基础试验数据。其维修过程操作步骤如图7所示。

一共开展5组试验，每组试验又分别在真实环境、虚实融合和无周围环境三种场景下进行维修操作，得到维修试验的维修性(可视性、可达性、操作空间、操作时间)结果，所获取的维修性试验数据如表6所示。

表6启动电机的部分维修性试验数据结果统计

经计算得虚实融合场景下的三个维修性定性指标平均误差为9.90％，维修时间平均误差为3.25％。无周围环境场景下的三个维修性定性指标误差为22.29％，维修时间平均误差为9.45％。可以发现，虚实融合维修性评估结果与无周围环境试验的结果对比，相对误差明显减小。因为虚实融合维修试验中维修人员通过视觉能感受到周围舱室设备的存在，维修时为了避免碰撞虚拟舱室设备，胳膊的弯曲角度会更小，动作幅度不会很大，维修人员的姿势要做出相应调整，更接近真实维修情况，所以误差更小，更接近真实维修。而虚实融合维修试验所存在的误差主要原因是受到维修人员的心理因素的影响，还有可能存在维修人员维修时穿越了虚拟环境而没有及时纠正动作。由以上可知，虚实融合维修性评估方法考虑到了周围环境的影响，明显增强了试验评估结果的准确性与可信性。

在另一个具体实施例中，如图8所示，提供了基于虚实融合维修场景维修性试验评估总体流程图，包括：

根据真实摄像机运动，获取试验对象图像，提取目标特征，与虚拟维修环境样机对象图像进行特征识别与匹配，得到位姿数据，根据位姿数据控制虚拟摄像机运动得到变换后的虚拟维修环境，将真实维修性试验对象和变换后的虚拟维修环境进行融合显示，得到虚实融合维修性试验场景，根据在虚实融合维修性试验场景中进行的维修性试验，得到维修性试验数据，得到维修性评估结果。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9示，提供了一种虚实融合维修性试验场景构建装置，包括：真实维修场景获取模块902、第一特征信息提取模块904、虚拟维修场景获取模块906、第二特征信息提取模块908、变换矩阵确定模块910和虚实融合场景构建模块912，其中：

真实维修场景获取模块902，用于通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流；三维视觉视频流图像中包括维修对象实物；

第一特征信息提取模块904，用于根据三维视觉视频流图像提取维修对象实物的第一特征信息；

虚拟维修场景获取模块906，用于获取待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息；虚拟场景信息中包括维修对象虚拟模型；

第二特征信息提取模块908，用于根据虚拟场景信息提取维修对象虚拟模型的第二特征信息；

变换矩阵确定模块910，用于根据第一特征信息和第二特征信息，通过IPC算法进行维修对象实物和虚拟维修场景的配准，得到维修对象实物和虚拟维修场景之间位姿变换关系的变换矩阵；

虚实融合场景构建模块912，用于根据变换矩阵将虚拟维修场景注册到真实维修场景中，完成虚实融合维修性试验场景的构建。

虚实融合场景构建模块912还用于通过获取真实人在虚实融合维修性试验场景中的真实人维修动作信息，在数字样机中同步生成虚拟人维修动作信息；根据虚拟人维修动作信息获取虚拟维修评价信息；虚拟维修评价信息包括：虚拟维修可视性指标信息、虚拟维修可达性指标信息、虚拟维修舒适度指标信息和虚拟维修时间信息。

虚实融合场景构建模块912还用于获取真实人完成维修后填写的真人维修评价信息；真人维修评价信息为数据表格式，真人维修评价信息包括：真人维修可视性指标信息、真人维修可达性指标信息、真人维修舒适度指标信息和真人维修时间信息；根据虚拟维修评价信息和真人维修评价信息，经相容性检验和可信度分析后，根据预设权重进行加权融合，得到待维修设备维修性的虚实融合评估结果。

第一特征信息提取模块904还用于根据三维视觉视频流图像，通过ORB特征提取方法提取维修对象实物的第一特征信息。

第二特征信息提取模块908还用于根据虚拟场景信息，通过ORB特征提取方法提取维修对象虚拟模型的第二特征信息。

变换矩阵确定模块910还用于获取第一特征信息的集合K₁＝{k_1i∈R³,i＝1,2,…,n}和第二特征信息的集合K₂＝{k_2i∈R³,i＝1,2,…,n}；

对集合K₁进行采样，得到

K₁₀表示集合K₁中的一个子集；

在集合K₂中进行查找，找到与K₁₀中的每个点的最近点，得到K₁和K₂的最初始的对应关系；

去除掉错误的对应点对；

根据对应关系计算K₁和K₂之间的变换关系，使目标函数的值最小，并将计算得出的变换矩阵作用于K₁₀，得出变化后的更新的K₁₀'；

根据

判断迭代是否终止，若d大于预先设置的阈值，则继续迭代，若d小于预先设置的阈值或者达到设置的迭代次数，则迭代停止，得到维修对象实物和虚拟维修场景之间位姿变换关系的变换矩阵。

关于虚实融合维修性试验场景构建装置的具体限定可以参见上文中对于虚实融合维修性试验场景构建方法的限定，在此不再赘述。上述虚实融合维修性试验场景构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种虚实融合维修性试验场景构建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种虚实融合维修性试验场景构建方法，其特征在于，所述方法包括：

通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流；所述三维视觉视频流图像中包括维修对象实物；

根据所述三维视觉视频流图像提取所述维修对象实物的第一特征信息；

获取所述待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息；所述虚拟场景信息中包括维修对象虚拟模型；

根据所述虚拟场景信息提取所述维修对象虚拟模型的第二特征信息；

根据所述第一特征信息和所述第二特征信息，通过IPC算法进行所述维修对象实物和所述虚拟维修场景的配准，得到所述维修对象实物和所述虚拟维修场景之间位姿变换关系的变换矩阵；

根据所述变换矩阵将所述虚拟维修场景注册到所述真实维修场景中，完成虚实融合维修性试验场景的构建。

2.根据权利要求1所述的方法，其特征在于，在完成虚实融合维修性试验场景的构建之后，还包括：

通过获取真实人在所述虚实融合维修性试验场景中的真实人维修动作信息，在所述数字样机中同步生成虚拟人维修动作信息；

根据所述虚拟人维修动作信息获取虚拟维修评价信息；所述虚拟维修评价信息包括：虚拟维修可视性指标信息、虚拟维修可达性指标信息、虚拟维修舒适度指标信息和虚拟维修时间信息。

3.根据权利要求2所述的方法，其特征在于，根据所述虚拟人维修动作信息获取虚拟维修评价信息之后，还包括：

获取真实人完成维修后填写的真人维修评价信息；所述真人维修评价信息为数据表格式，所述真人维修评价信息包括：真人维修可视性指标信息、真人维修可达性指标信息、真人维修舒适度指标信息和真人维修时间信息；

根据所述虚拟维修评价信息和所述真人维修评价信息，经相容性检验和可信度分析后，根据预设权重进行加权融合，得到所述待维修设备维修性的虚实融合评估结果。

4.根据权利要求1所述的方法，其特征在于，根据所述三维视觉视频流图像提取所述维修对象实物的第一特征信息，包括：

根据所述三维视觉视频流图像，通过ORB特征提取方法提取所述维修对象实物的第一特征信息。

5.根据权利要求4所述的方法，其特征在于，根据所述虚拟场景信息提取所述维修对象虚拟模型的第二特征信息，包括：

根据所述虚拟场景信息，通过ORB特征提取方法提取所述维修对象虚拟模型的第二特征信息。

6.根据权利要求5所述的方法，其特征在于，根据所述第一特征信息和所述第二特征信息，通过IPC算法进行所述维修对象实物和所述虚拟维修场景的配准，得到所述维修对象实物和所述虚拟维修场景之间位姿变换关系的变换矩阵，包括：

获取所述第一特征信息的集合K₁＝{k_1i∈R³,i＝1,2,…,n}和所述第二特征信息的集合K₂＝{k_2i∈R³,i＝1,2,…,n}；

对集合K₁进行采样，得到

K₁₀表示集合K₁中的一个子集；

在集合K₂中进行查找，找到与K₁₀中的每个点的最近点，得到K₁和K₂的最初始的对应关系；

去除掉错误的对应点对；

根据所述对应关系计算K₁和K₂之间的变换关系，使目标函数的值最小，并将计算得出的变换矩阵作用于K₁₀，得出变化后的更新的K₁₀'；

根据

判断迭代是否终止，若d大于预先设置的阈值，则继续迭代，若d小于预先设置的阈值或者达到设置的迭代次数，则迭代停止，得到所述维修对象实物和所述虚拟维修场景之间位姿变换关系的变换矩阵。

7.根据权利要求6所述的方法，其特征在于，所述目标函数为：

其中，R表示旋转变换矩阵，T表示平移变换矩阵。

8.一种虚实融合维修性试验场景构建装置，其特征在于，所述装置包括：

真实维修场景获取模块，用于通过AR眼镜的双目镜头获取待维修设备真实维修场景的三维视觉视频流；所述三维视觉视频流图像中包括维修对象实物；

第一特征信息提取模块，用于根据所述三维视觉视频流图像提取所述维修对象实物的第一特征信息；

虚拟维修场景获取模块，用于获取所述待维修设备预设的数字样机中虚拟维修场景的虚拟场景信息；所述虚拟场景信息中包括维修对象虚拟模型；

第二特征信息提取模块，用于根据所述虚拟场景信息提取所述维修对象虚拟模型的第二特征信息；

变换矩阵确定模块，用于根据所述第一特征信息和所述第二特征信息，通过IPC算法进行所述维修对象实物和所述虚拟维修场景的配准，得到所述维修对象实物和所述虚拟维修场景之间位姿变换关系的变换矩阵；

虚实融合场景构建模块，用于根据所述变换矩阵将所述虚拟维修场景注册到所述真实维修场景中，完成虚实融合维修性试验场景的构建。

9.根据权利要求8所述的装置，其特征在于，所述第一特征信息提取模块还用于根据所述三维视觉视频流图像，通过ORB特征提取方法提取所述维修对象实物的第一特征信息。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

Images