CN114299390A - 一种确定维修部件演示视频的方法及装置、安全帽 - Google Patents

Abstract

本发明公开了一种确定维修部件演示视频的方法及装置、安全帽。该发明包括：采集操作现场数据，并依据操作现场数据确定操作目标的信息；将操作目标的信息映射至与操作目标对应的三维模型上，其中，三维模型为以下任意之一：点云模型、数字孪生模型；依据映射在三维模型上的操作目标的信息，确定操作目标在数字孪生模型上对应的位置；依据操作目标在数字孪生模型上对应的位置，确定并播放操作目标在数字孪生模型上的操作演示视频。通过本发明，解决了相关技术中设备维修人员受限于专业技术以及维修经验等条件经常需要边操作设备边手动查看手册，导致操作难度大、效率低的技术问题。

Description

一种确定维修部件演示视频的方法及装置、安全帽

技术领域

本发明涉及设备维修领域，具体而言，涉及一种确定维修部件演示视频的方法及装置、安全帽。

背景技术

相关技术中，在井场设备维修过程中，维修工作人员受限于专业技术以及维修经验、维修场地等条件经常需要边操作设备边手动查看手册，这样导致操作难度大、效率低。

针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种确定维修部件演示视频的方法及装置、安全帽，以解决相关技术中设备维修人员受限于专业技术以及维修经验等条件经常需要边操作设备边手动查看手册，导致操作难度大、效率低的技术问题。

为了实现上述目的，根据本发明的一个方面，提供了一种确定维修部件演示视频的方法。该发明包括：采集操作现场数据，并依据操作现场数据确定操作目标的信息，操作目标的信息至少包括以下内容：操作目标相对于操作人员的位置、方向以及距离、操作目标的姿态、操作目标对应的点云数据，操作目标为以下任意一种：操作部件、操作设备；将操作目标的信息映射至与操作目标对应的三维模型上，其中，三维模型为以下任意之一：点云模型、数字孪生模型；依据映射在三维模型上的操作目标的信息，确定操作目标在数字孪生模型上对应的位置；依据操作目标在数字孪生模型上对应的位置，确定并播放操作目标在数字孪生模型上的操作演示视频，其中，数字孪生模型是与操作目标对应的虚拟模型，数字孪生模型上的设备以及部件与真实操作空间中的设备或者部件之间具有预设比例。

进一步地，采集操作现场数据，并依据操作现场数据确定操作目标的信息包括：采集现场视频，对现场视频中的现场图像进行识别以识别出操作目标；采集操作人员的位置，并依据操作人员的位置确定操作目标相对于操作人员的位置、方向以及距离；采集操作目标的信息，并依据操作目标的信息确定操作目标的姿态。

进一步地，采集现场视频，对现场视频中的现场图像进行识别以识别出操作目标包括：对现场视频中的现场图像进行识别；当现场图像中存在多个部件或设备时，确定现场图像中出现次数最多和/或在现场图像中的面积占比最大的部件为操作目标。

进一步地，当三维模型是点云模型时，在将操作目标的信息映射至与操作目标对应的三维模型上之前，该方法包括：构建操作目标对应的点云模型；构建操作目标对应的数字孪生模型；建立点云模型上的各个部件或设备与数字孪生模型上的各个部件或设备对应的操作演示视频之间的映射关系。

进一步地，当三维模型是数字孪生模型时，在将操作目标的信息映射至与操作目标对应的三维模型上之前，该方法包括：构建操作目标对应的数字孪生模型；对数字孪生模型的多个面进行截图操作，并依据sift算法对多个截图进行特征点检测以得到多组第一特征点构成的特征向量库。

进一步地，将操作目标的信息映射至与操作目标对应的三维模型上，包括：对现场图像进行操作目标的识别，并确定包含有操作目标图像的目标区域；对目标区域进行sift特征点检测以获得多组第二特征点；计算多组第一特征点与多组第二特征点之间的相似度；将相似度最高的一组第一特征点与一组第二特征点之间建立关联关系，并依据关联关系确定操作目标在真实空间内的真实位置；依据真实位置与数字孪生模型上操作目标对应的位置，确定操作目标的位置是否发生移动；在确定操作目标的位置发生移动的情况下，调整数字孪生模型的位置。

进一步地，构建操作目标对应的数字孪生模型包括：采集真实操作空间中操作目标的现场图像，并对现场图像进行类别标注；对标注过的现场图像进行训练以构建与操作目标对应的数字孪生模型。

进一步地，构建操作目标对应的点云模型包括：采集操作目标对应的多组点云数据，并对多组点云数据进行信息匹配以得到匹配结果，其中，匹配结果至少包括每一个点云的空间位置以及在预设坐标系下的计算位置；获取点云的计算位置，并结合传感器信息得到点云的测量位置；对点云的计算位置以及测量位置进行均值化处理修正以得到调整后的点云位置；对每个点云位置对应的点云数据进行融合处理以构建与操作目标对应的点云模型。

进一步地，在依据操作目标在数字孪生模型上对应的位置，无法确定并播放操作目标在数字孪生模型上的操作演示视频的情况下，该方法还包括：将操作现场数据发送至远程服务器，并获取依据操作现场数据得到的远程专家做出的可视化指导信息。

进一步地，将操作现场数据发送至远程服务器，包括：将操作现场数据的坐标转换至预设坐标系下，并将转换至预设坐标系下的操作现场数据绑定为一组融合数据；将融合数据发送至远程服务器。

为了实现上述目的，根据本发明的一个方面，提供了一种确定维修部件演示视频的装置。该装置包括：采集模块，用于采集操作现场数据，并依据操作现场数据确定操作目标的信息，操作目标的信息至少包括以下内容：操作目标相对于操作人员的位置、方向以及距离、操作目标的姿态、操作目标对应的点云数据，操作目标为以下任意一种：操作部件、操作设备；处理模块，用于将操作目标的信息映射至与操作目标对应的三维模型上，其中，三维模型为以下任意之一：点云模型、数字孪生模型；处理模块，还用于依据映射在三维模型上的操作目标的信息，确定操作目标在数字孪生模型上对应的位置；显示模块，用于依据操作目标在数字孪生模型上对应的位置，确定并播放操作目标在数字孪生模型上的操作演示视频，其中，数字孪生模型是与操作目标对应的虚拟模型，数字孪生模型上的设备以及部件与真实操作空间中的设备或者部件之间具有预设比例

为了实现上述目的，根据本发明的一个方面，提供了一种安全帽，其特征在于，包括一种确定维修部件演示视频的装置，用于执行一种确定维修部件演示视频的方法。

为了实现上述目的，根据本发明的一个方面，提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述一种确定维修部件演示视频的方法。

为了实现上述目的，根据本发明的另一方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述一种确定维修部件演示视频的方法。

通过本发明，采用以下步骤：采集操作现场数据，并依据操作现场数据确定操作目标的信息，操作目标的信息至少包括以下内容：操作目标相对于操作人员的位置、方向以及距离、操作目标的姿态、操作目标对应的点云数据，操作目标为以下任意一种：操作部件、操作设备；将操作目标的信息映射至与操作目标对应的三维模型上，其中，三维模型为以下任意之一：点云模型、数字孪生模型；依据映射在三维模型上的操作目标的信息，确定操作目标在数字孪生模型上对应的位置；依据操作目标在数字孪生模型上对应的位置，确定并播放操作目标在数字孪生模型上的操作演示视频，其中，数字孪生模型是与操作目标对应的虚拟模型，数字孪生模型上的设备以及部件与真实操作空间中的设备或者部件之间具有预设比例，解决了相关技术中设备维修人员受限于专业技术以及维修经验等条件经常需要边操作设备边手动查看手册，导致操作难度大、效率低的技术问题，达到了提高井下设备的维修效率的技术效果。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例提供的一种确定维修部件演示视频的方法的流程图；以及

图2是根据本发明实施例提供的一种通过数字孪生模型获取操作指导视频的流程图；

图3是根据本发明实施例提供的一种通过点云模型获取远程专家的指导操作的步骤的示意图；

图4为是根据本发明实施例提供的一种安全帽的结构示意图；

图5是根据本发明实施例的一种确定维修部件演示视频的装置的示意图；

还包括如下附图标记：

1：可拆卸显示屏，2：显示屏连接线，3：摄像头组件；

4：UWB定位标签模块；5：IMU模块。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明的实施例，提供了一种确定维修部件演示视频的方法。

图1是根据本发明实施例提供的一种确定维修部件演示视频的方法的流程图。如图1所示，该发明包括以下步骤：

步骤S101，采集操作现场数据，并依据操作现场数据确定操作目标的信息，操作目标的信息至少包括以下内容：操作目标相对于操作人员的位置、方向以及距离、操作目标的姿态、操作目标对应的点云数据，操作目标为以下任意一种：操作部件、操作设备；

步骤S102，将操作目标的信息映射至与操作目标对应的三维模型上，其中，三维模型为以下任意之一：点云模型、数字孪生模型；

步骤S103，依据映射在三维模型上的操作目标的信息，确定操作目标在数字孪生模型上对应的位置；

步骤S104，依据操作目标在数字孪生模型上对应的位置，确定并播放操作目标在数字孪生模型上的操作演示视频，其中，数字孪生模型是与操作目标对应的虚拟模型，数字孪生模型上的设备以及部件与真实操作空间中的设备或者部件之间具有预设比例。

上述地，本申请提供了一种确定维修部件的延时视屏的方法，其中，基于数字孪生模型上的部件或者设备的操作演示过程可以指导维修人员进行维修作业，维修现场环境复杂每个维修步骤完成后的人机交互会存在一些出错的可能，借助模型操作演示无法解决的问题可以寻求专家的远程指导能够提高设备维修效率。

本申请提供了一种井场中常用设备以及零部件的数字孪生模型，模型与真实的井场中的设备、零部件比例均为1:1，建立数字孪生中的设备、零部件模型与真实空间中设备、零部件的相对位置映射关系，在本申请中通过采集的现场数据确定操作目标后，将操作目标的信息映射在数字孪生模型上，并确定操作人员操作的目标为设备还是零部件，并确定操作目标在数字孪生模型上对应的位置，数字孪生模型会相应调取操作目标在数字孪生模型上的操作演示视频，操作演示视频在显示模块播放以指导操作人员进行维修或者操作。

本发明实施例提供的一种确定维修部件演示视频的方法，通过采集操作现场数据，并依据操作现场数据确定操作目标的信息，操作目标的信息至少包括以下内容：操作目标相对于操作人员的位置、方向以及距离、操作目标的姿态、操作目标对应的点云数据，操作目标为以下任意一种：操作部件、操作设备；将操作目标的信息映射至与操作目标对应的三维模型上，其中，三维模型为以下任意之一：点云模型、数字孪生模型；依据映射在三维模型上的操作目标的信息，确定操作目标在数字孪生模型上对应的位置；依据操作目标在数字孪生模型上对应的位置，确定并播放操作目标在数字孪生模型上的操作演示视频，其中，数字孪生模型是与操作目标对应的虚拟模型，数字孪生模型上的设备以及部件与真实操作空间中的设备或者部件之间具有预设比例，解决了相关技术中设备维修人员受限于专业技术以及维修经验等条件经常需要边操作设备边手动查看手册，导致操作难度大、效率低的技术问题，达到了提高井下设备的维修效率的技术效果。

可选地，采集操作现场数据，并依据操作现场数据确定操作目标的信息包括：采集现场视频，对现场视频中的现场图像进行识别以识别出操作目标；采集操作人员的位置，并依据操作人员的位置确定操作目标相对于操作人员的位置、方向以及距离；采集操作目标的信息，并依据操作目标的信息确定操作目标的姿态。

上述地，在本申请中提供的可选的实施例中，通过图像采集设备采集现场的视频或者图像，采集设备上安装有视觉传感器、测距传感器(包括激光雷达，等)、姿态测量传感器(IMU、陀螺仪)、高精度定位装置(GPS、UWB融合器)进行数据的采集，其中，操作目标的姿态为操作目标相对于操作人员的维修位置以及方向。

通过上述采集设备可以采集现场数据，并确定操作目标相对于操作人员的位置信息、姿态信息、方向以及距离信息，同时，还能通过现场视频或者图像确定操作人员操作的操作目标为哪个零部件或设备。

在本申请一个可选的实施例中提供了一种安全帽，操作人员下到井下进行操作时，佩戴安全帽，安全帽上设置有安装视觉传感器、测距传感器(包括激光雷达)、姿态测量传感器(IMU、陀螺仪)、高精度定位装置(GPS、UWB融合)进行数据的采集。

可选地，采集现场视频，对现场视频中的现场图像进行识别以识别出操作目标包括：对现场视频中的现场图像进行识别；当现场图像中存在多个部件或设备时，确定现场图像中出现次数最多和/或在现场图像中的面积占比最大的部件为操作目标。

上述地，对于操作目标的识别，本申请提供了一种通过现场图像确定操作目标的方法，具体包括以下步骤：

S201：通过摄像头组件采集现场视频，并通过采集的视频确定现场图像，或者通过深度相机直接采集现场图像，其中，本申请中提供的采集设备中包括摄像头组件和/或深度相机。

S202：在获取到现场图像后，利用训练好的部件识别模型对视频中的图像进行部件识别，当图像中存在多个部件时选择所有图像中出现次数最多、占比最大的部件作为操作目标；

S203：处理模块自动选择与操作目标相关的维修操作指导视频；

S204：当维修视频存在多个的时候，判断是否对应多个设备，如果对应多个设备、利用训练好的设备识别模型对采集视频中的图像进行设备识别，选择所有图像中出现次数最多，占比最大的设备作为操作目标。

本申请还提供了另一种通过定位对操作目标进行识别的方法，具体步骤如下：

S301：基于高精度定位装置确定当前位置点在数字孪生空间对应的位置点；

S302：使用姿态测量传感器确定当前维修工作人员持有的采集装置的姿态；

S303：利用真实空间中操作目标的位置、姿态在数字孪生空间中确定对应的维修设备及维修部件。

在基于设备、零部件的识别、定位无法直接确实维修操作指导视频时，通过人机交互的方式确定维修操作指导视频，人工交互方式包括语音、手势、触屏、按键。

可选地，当三维模型是点云模型时，在将操作目标的信息映射至与操作目标对应的三维模型上之前，该方法包括：构建操作目标对应的点云模型；构建操作目标对应的数字孪生模型；建立点云模型上的各个部件或设备与数字孪生模型上的各个部件或设备对应的操作演示视频之间的映射关系。

在本申请一种可选的实施例中，通过采集设备中的深度相机或者激光雷达采集操作目标对应的多组点云数据来构建点云模型，其中点云模型与数字孪生模型之间存在映射关系，也即通过点云数据构建的操作目标对应的点云模型可以找到操作目标在数字孪生模型上对应的操作演示视频，也即通过采集设备采集到的点云数据首先构建操作目标的点云模型，进而依据点云模型与数字孪生模型之间的映射关系确定操作目标在数字孪生模型上的演示视频，其中，点云模型的具体构建步骤为以下步骤：

S401：采集操作目标对应的多组点云数据，并对多组点云数据进行信息匹配以得到匹配结果，其中，匹配结果至少包括每一个点云的空间位置以及在预设坐标系下的计算位置；

在一种可选的实施例中，通过深度相机或者激光雷达采集操作目标对应的多组点云数据；

S402：获取点云的计算位置，并结合传感器信息得到点云的测量位置；

在一种可选的实施例中，通过ICP算法对多组点云数据进行信息匹配以得到匹配结果，其中，匹配结果至少包括每一个点云的空间位置以及在预设坐标系下的计算位置；

S403：对点云的计算位置以及测量位置进行均值化处理修正以得到调整后的点云位置；

S404：对每个点云位置对应的点云数据进行融合处理以构建与操作目标对应的点云模型。

可选地，当三维模型是数字孪生模型时，在将操作目标的信息映射至与操作目标对应的三维模型上之前，该方法包括：构建操作目标对应的数字孪生模型；对数字孪生模型的多个面进行截图操作，并依据sift算法对多个截图进行特征点检测以得到多组第一特征点构成的特征向量库。

可选地，将操作目标的信息映射至与操作目标对应的三维模型上，包括：对现场图像进行操作目标的识别，并确定包含有操作目标图像的目标区域；对目标区域进行sift特征点检测以获得多组第二特征点；计算多组第一特征点与多组第二特征点之间的相似度；将相似度最高的一组第一特征点与一组第二特征点之间建立关联关系，并依据关联关系确定操作目标在真实空间内的真实位置；依据真实位置与数字孪生模型上操作目标对应的位置，确定操作目标的位置是否发生移动；在确定操作目标的位置发生移动的情况下，调整数字孪生模型的位置。

上述地，本申请还提供了另一种可选的实施例，本实施例中不构建点云模型，而是直接将操作目标的信息映射至数字孪生模型上。

具体地，对数字孪生空间中的模型目标从前后左右上下六个面在数字孪生空间中截图，对截图使用sift算法进行特征点检测，sift算法对旋转、尺度缩放、亮度变化保持不变，对视角变化、仿射变换、噪声也保持一定程度的稳定性，通过点选的方式建立截图中特征点与数字孪生空间模型上对应位置点的关系，本申请中对特征点的选择数量进行限定，每个平面最多选择五个特征点，六个方向的所有特征点组合得到该模型目标的特征向量库。

需要说明的是，截图是数量最少为6个。

维修工作人员作业过程中基于模型目标对视觉传感器采集图像中进行维修目标识别，操作目标是模型对应的真实零部件，图像中识别到的目标区域进行sift特征点检测，利用余弦相似度计算检测到的特征向量与特征向量库中特征向量的相似度，余弦公式为：

检测到的每个特征向量与特征向量库中的所有的特征向量分别计算相似度，特征向量与对应特征向量库中相似度最高的特征向量建立关联，选择相似度最高的两组关联向量，即存在两个检测到特征点对应的特征向量与数字孪生空间中的特征向量库中的特征向量相似度最高，真实空间图像中的两个特征点是数字孪生截图上的两个特征点，利用多传感器融合确定真实空间图像上的两个点在真实空间的精确位置，利用高精度定位装置确定采集装置的当前位置，利用姿态测量传感器确定采集装置的姿态，视觉传感器得到图像位置信息，利用测距传感器得到相对距离信息，测距传感器与视觉传感器提前进行标定，进而实现了操作目标信息到数字孪生模型的映射，并且实现对维修、拆装操作目标中两个点的精确定位。

需要说明的是，利用计算得到真实空间的两个空间特征点来确定零部件的当前位置，将真实空间的零部件转换到数字孪生空间的位置上来判断设备是否发生了移动。如果设备发生了移动，则对孪生空间该设备上的模型进行位置调整，拆零部件时该零部件的在数字孪生空间中的固定区域与当前区域不存在交集时，则该步骤执行完成。装零部件时数字孪生空间中的零部件当前区域与固定区域交集超过规定的重叠体积范围则说明安装完成，此处设置体积重叠范围为95％。

其中，构建操作目标对应的数字孪生模型包括以下步骤：

S501：采集真实操作空间中操作目标的现场图像，并对现场图像进行类别标注；

S501：对标注过的现场图像进行训练以构建与操作目标对应的数字孪生模型。

在本申请提供的一个实施例中，在显示模块上放置一个定位装置，当每一步操作步骤完成，利用采集装置上的定位模块与姿态测量传感器确认人的视线与显示模块是否存在交集，存在时则维修操作指导视频自动播放下一操作步骤，指导维修工作人员进行下一步操作。

本申请还提供了一种通过数字孪生模型获取操作指导视频的流程图，如图2所示。

在本申请提供的实施例中，通过现场数据的实时采集可以自动逐步显示操作目标对应的演示视频的操作步骤并执行反馈，播放模型的维修操作指导视频，维修操作指导视频播放设置预览模式与应用模型两种模式，预览模式会对维修操作指导视频进行连续播放，以此确定维修方案是所需方案。当选择应用模式时维修操作指导视频中的维修操作步骤逐步骤显示，维修工作人员按照维修操作指导视频进行该步骤的实际操作，结果反馈模块来判断该步骤是否执行完成，完成后维修操作指导视频自动显示维修的下一操作步骤，指导维修人员继续维修作业，维修人员根据需要可通过人机交互的方式进入下一操作步骤。判断维修操作步骤自动跳转的传感器信息、人机交互信息可以根据需要保存到存储模块或上传到远程服务器，以此初步确定维修人员的维修作业进度。

可选地，在依据操作目标在数字孪生模型上对应的位置，无法确定并播放操作目标在数字孪生模型上的操作演示视频的情况下，该方法还包括：将操作现场数据发送至远程服务器，并获取依据操作现场数据得到的远程专家做出的可视化指导信息。

可选地，将操作现场数据发送至远程服务器，包括：将操作现场数据的坐标转换至预设坐标系下，并将转换至预设坐标系下的操作现场数据绑定为一组融合数据；将融合数据发送至远程服务器。

具体地，当现场维修操作人员遇到无法通过查看维修操作指导视频进行维修作业的情况时需要专家的远程指导，利用处理模块进行远程通讯，远程通讯面临平面显示信息不足问题，远程指导专家需要不断指导操作人员到不同的位置拍摄设备中实际零部件的图像，以此确定零部件的相对位置关系，本专利考虑将实时采集的图像、距离信息、定位模块、姿态测量传感器计算得到的数据信息进行坐标变换，统一到同一坐标系下，数据绑定后作为一组融合数据，上传多组融合数据到远程服务器。为节省井场中使用处理模块的运算资源，处理模块绑定融合数据后传输到远程服务器，数据的融合过程在远程服务器上进行，融合完成后融合结果发送给远程专家进行维修作业指导，远程专家做出的可视化的指导信息经远程服务器传输到处理模块。

进一步地，本申请提供了一种通过数字孪生模型获取远程专家的指导操作的步骤，包括：基于维修操作步骤自动跳转的传感器信以及人机交互信息确定当前的操作步骤，对应得到当前设备拆装到指定步骤后的数字孪生模型，此时的数字孪生模型以及RGB图像从远程服务器上发送给远程指导专家，专家根据采集到的图像以及当前数字孪生模型中零部件的位置关系来确实存在的故障以及操作步骤，远程专家在数字孪生空间中对目标模型进行操作。操作过程保存后经远程服务器发送到处理模块，显示在维修作业人员持有的显示设备上,作为操作流程中的步骤进行模型演示，指导维修作业人员进行拆装、维修作业。

本申请提供了一种通过点云模型获取远程专家的指导操作的步骤，具体步骤如图3所示，包括：通过点云数据重建点云模型，将重建的立体结构以及RGB图像从远程服务器上发送给远程指导专家，专家根据采集到的图像以及立体结构中零部件的位置关系来确实存在的故障以及下一步的维修步骤，通过在图像上对操作目标进行框选以及语音对话来指导维修工作人员进行维修作业。

本申请还提供了一种安全帽。图4为安全帽的结构示意图，具体如图4所示，其中，1为可拆卸显示屏，2为显示屏连接线，3为摄像头组件，摄像头组件中包括同时具有视觉传感器、测距传感器的功能的深度相机。

4为UWB定位标签模块,

5为IMU模块。可拆卸显示屏用来显示维修操作指导视频，显示屏和连接线以及连接线和安全帽之间均可活动连接，比如通过卡扣等。同时，显示屏上设置有磁吸结构，能够吸在带有磁性的设备上，方便维修人员查看维修操作指导视频。可替换的，显示屏上也可以安装有表带，维修人员可以戴在手上，便于在没有空间放置显示屏的地方不影响正常维修工作。

安全帽集成摄像头组件，该组件可拆卸式安装，可灵活搭配。如搭配可见光和热成像摄像头或可见光和红外摄像头。可见光摄像头以及红外摄像头，红外热成像摄像头能够在晚上或者视线不好的情况下进行视频录像采集。

同时，安全帽上设有灯光补偿装置，既可以满足照明也可以满足可见光摄像头的补光。

本申请还提供了另一种安全帽。具体包括一种确定维修部件演示视频的装置，用于执行一种的一种确定维修部件演示视频的方法。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例还提供了一种确定维修部件演示视频的装置，需要说明的是，本发明实施例的一种确定维修部件演示视频的装置可以用于执行本发明实施例所提供的用于一种确定维修部件演示视频的方法。以下对本发明实施例提供的一种确定维修部件演示视频的装置进行介绍。

图5是根据本发明实施例的一种确定维修部件演示视频的装置的示意图。如图5所示，该装置包括：采集模块501，用于采集操作现场数据，并依据操作现场数据确定操作目标的信息，操作目标的信息至少包括以下内容：操作目标相对于操作人员的位置、方向以及距离、操作目标的姿态、操作目标对应的点云数据，操作目标为以下任意一种：操作部件、操作设备；处理模块502，用于将操作目标的信息映射至与操作目标对应的三维模型上，其中，三维模型为以下任意之一：点云模型、数字孪生模型；处理模块502，还用于依据映射在三维模型上的操作目标的信息，确定操作目标在数字孪生模型上对应的位置；显示模块503，用于依据操作目标在数字孪生模型上对应的位置，确定并播放操作目标在数字孪生模型上的操作演示视频，其中，数字孪生模型是与操作目标对应的虚拟模型，数字孪生模型上的设备以及部件与真实操作空间中的设备或者部件之间具有预设比例。

可选地，采集模块501包括：第一采集子模块，用于采集现场视频，对现场视频中的现场图像进行识别以识别出操作目标；第二采集子模块，用于采集操作人员的位置，并依据操作人员的位置确定操作目标相对于操作人员的位置、方向以及距离；第三采集子模块，用于采集操作目标的信息，并依据操作目标的信息确定操作目标的姿态。

可选地，第一采集子模块包括：识别子单元，用于对现场视频中的现场图像进行识别；确定子单元，用于当现场图像中存在多个部件或设备时，确定现场图像中出现次数最多和/或在现场图像中的面积占比最大的部件为操作目标。

可选地，该装置包括：第一构建模块，用于当三维模型是点云模型时，在将操作目标的信息映射至与操作目标对应的三维模型上之前，构建操作目标对应的点云模型；第二构建模块，用于构建操作目标对应的数字孪生模型；建立模块，用于建立点云模型上的各个部件或设备与数字孪生模型上的各个部件或设备对应的操作演示视频之间的映射关系

可选地，该装置包括：第二构建模块，还用于当三维模型是数字孪生模型时，在将操作目标的信息映射至与操作目标对应的三维模型上之前，构建操作目标对应的数字孪生模型；检测模块，用于对数字孪生模型的多个面进行截图操作，并依据sift算法对多个截图进行特征点检测以得到多组第一特征点构成的特征向量库。

可选地，处理模块502包括：第二确定子模块，用于对现场图像进行操作目标的识别，并确定包含有操作目标图像的目标区域；检测子模块，用于对目标区域进行sift特征点检测以获得多组第二特征点；计算子模块，用于计算多组第一特征点与多组第二特征点之间的相似度；关联子模块，用于将相似度最高的一组第一特征点与一组第二特征点之间建立关联关系，并依据关联关系确定操作目标在真实空间内的真实位置；第三确定子模块，用于依据真实位置与数字孪生模型上操作目标对应的位置，确定操作目标的位置是否发生移动；调整子模块，用于在确定操作目标的位置发生移动的情况下，调整数字孪生模型的位置。

可选地，第二构建模块包括：标注子模块，用于采集真实操作空间中操作目标的现场图像，并对现场图像进行类别标注；第三构建模块，用于对标注过的现场图像进行训练以构建与操作目标对应的数字孪生模型。

可选地，第一构建子模块包括：采集单元，用于采集操作目标对应的多组点云数据，并对多组点云数据进行信息匹配以得到匹配结果，其中，匹配结果至少包括每一个点云的空间位置以及在预设坐标系下的计算位置；获取单元，用于获取点云的计算位置，并结合传感器信息得到点云的测量位置；均值化处理单元，用于对点云的计算位置以及测量位置进行均值化处理修正以得到调整后的点云位置；融合处理单元，用于对每个点云位置对应的点云数据进行融合处理以构建与操作目标对应的点云模型。

可选地，该装置还包括：获取模块，用于在依据操作目标在数字孪生模型上对应的位置，无法确定并播放操作目标在数字孪生模型上的操作演示视频的情况下，将操作现场数据发送至远程服务器，并获取依据操作现场数据得到的远程专家做出的可视化指导信息。

可选地，获取模块包括：转换子模块，用于将操作现场数据的坐标转换至预设坐标系下，并将转换至预设坐标系下的操作现场数据绑定为一组融合数据；发送子模块，用于将融合数据发送至远程服务器。

本发明实施例提供的一种确定维修部件演示视频的装置，通过采集模块501，用于采集操作现场数据，并依据操作现场数据确定操作目标的信息，操作目标的信息至少包括以下内容：操作目标相对于操作人员的位置、方向以及距离、操作目标的姿态、操作目标对应的点云数据，操作目标为以下任意一种：操作部件、操作设备；处理模块502，用于将操作目标的信息映射至与操作目标对应的三维模型上，其中，三维模型为以下任意之一：点云模型、数字孪生模型；处理模块502，还用于依据映射在三维模型上的操作目标的信息，确定操作目标在数字孪生模型上对应的位置；显示模块503，用于依据操作目标在数字孪生模型上对应的位置，确定并播放操作目标在数字孪生模型上的操作演示视频，其中，数字孪生模型是与操作目标对应的虚拟模型，数字孪生模型上的设备以及部件与真实操作空间中的设备或者部件之间具有预设比例，解决了相关技术中设备维修人员受限于专业技术以及维修经验等条件经常需要边操作设备边手动查看手册，导致操作难度大、效率低的技术问题，达到了提高井下设备的维修效率的技术效果。

一种确定维修部件演示视频的装置包括处理器和存储器，上述采集模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决相关技术中设备维修人员受限于专业技术以及维修经验等条件经常需要边操作设备边手动查看手册，导致操作难度大、效率低的技术问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现一种确定维修部件演示视频的方法。

本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行一种确定维修部件演示视频的方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现一种确定维修部件演示视频的方法。本文中的设备可以是服务器、PC、PAD、手机等。

本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化一种确定维修部件演示视频的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (14)

1.一种确定维修部件演示视频的方法，其特征在于，包括：

采集操作现场数据，并依据所述操作现场数据确定操作目标的信息，所述操作目标的信息至少包括以下内容：所述操作目标相对于操作人员的位置、方向以及距离、所述操作目标的姿态、所述操作目标对应的点云数据，所述操作目标为以下任意一种：操作部件、操作设备；

将所述操作目标的信息映射至与所述操作目标对应的三维模型上，其中，所述三维模型为以下任意之一：点云模型、数字孪生模型；

依据映射在所述三维模型上的所述操作目标的信息，确定所述操作目标在所述数字孪生模型上对应的位置；

依据所述操作目标在所述数字孪生模型上对应的位置，确定并播放所述操作目标在所述数字孪生模型上的操作演示视频，其中，所述数字孪生模型是与所述操作目标对应的虚拟模型，所述数字孪生模型上的设备以及部件与真实操作空间中的设备或者部件之间具有预设比例。

2.根据权利要求1所述的方法，其特征在于，采集操作现场数据，并依据所述操作现场数据确定操作目标的信息包括：

采集现场视频，对所述现场视频中的现场图像进行识别以识别出所述操作目标；

采集所述操作人员的位置，并依据所述操作人员的位置确定所述操作目标相对于所述操作人员的位置、方向以及距离；

采集所述操作目标的信息，并依据所述操作目标的信息确定所述操作目标的姿态。

3.根据权利要求2所述的方法，其特征在于，采集现场视频，对所述现场视频中的现场图像进行识别以识别出所述操作目标包括：

对所述现场视频中的现场图像进行识别；

当所述现场图像中存在多个部件或设备时，确定所述现场图像中出现次数最多和/或在所述现场图像中的面积占比最大的部件为所述操作目标。

4.根据权利要求1所述的方法，其特征在于，当所述三维模型是所述点云模型时，在将所述操作目标的信息映射至与所述操作目标对应的三维模型上之前，所述方法包括：

构建所述操作目标对应的所述点云模型；

构建所述操作目标对应的所述数字孪生模型；

建立所述点云模型上的各个部件或设备与所述数字孪生模型上的各个部件或设备对应的操作演示视频之间的映射关系。

5.根据权利要求2所述的方法，其特征在于，当所述三维模型是所述数字孪生模型时，在将所述操作目标的信息映射至与所述操作目标对应的三维模型上之前，所述方法包括：

构建所述操作目标对应的所述数字孪生模型；

对所述数字孪生模型的多个面进行截图操作，并依据sift算法对多个截图进行特征点检测以得到多组第一特征点构成的特征向量库。

6.根据权利要求5所述的方法，其特征在于，将所述操作目标的信息映射至与所述操作目标对应的三维模型上，包括：

对所述现场图像进行所述操作目标的识别，并确定包含有所述操作目标图像的目标区域；

对所述目标区域进行sift特征点检测以获得多组第二特征点；

计算多组所述第一特征点与多组所述第二特征点之间的相似度；

将相似度最高的一组第一特征点与一组第二特征点之间建立关联关系，并依据所述关联关系确定所述操作目标在真实空间内的真实位置；

依据所述真实位置与所述数字孪生模型上所述操作目标对应的位置，确定所述操作目标的位置是否发生移动；

在确定所述操作目标的位置发生移动的情况下，调整所述数字孪生模型的位置。

7.根据权利要求4或5中任意一项所述的方法，其特征在于，构建所述操作目标对应的所述数字孪生模型包括：

采集真实操作空间中所述操作目标的现场图像，并对所述现场图像进行类别标注；

对标注过的所述现场图像进行训练以构建与所述操作目标对应的数字孪生模型。

8.根据权利要求4所述的方法，其特征在于，构建所述操作目标对应的所述点云模型包括：

采集所述操作目标对应的多组点云数据，并对多组所述点云数据进行信息匹配以得到匹配结果，其中，所述匹配结果至少包括每一个所述点云的空间位置以及在预设坐标系下的计算位置；

获取所述点云的计算位置，并结合传感器信息得到所述点云的测量位置；

对所述点云的所述计算位置以及所述测量位置进行均值化处理修正以得到调整后的点云位置；

对每个所述点云位置对应的点云数据进行融合处理以构建与所述操作目标对应的所述点云模型。

9.根据权利要求2所述的方法，其特征在于，在依据所述操作目标在所述数字孪生模型上对应的位置，无法确定并播放所述操作目标在所述数字孪生模型上的操作演示视频的情况下，所述方法还包括：

将所述操作现场数据发送至远程服务器，并获取依据所述操作现场数据得到的远程专家做出的可视化指导信息。

10.根据权利要求9所述的方法，其特征在于，将所述操作现场数据发送至远程服务器，包括：

将所述操作现场数据的坐标转换至预设坐标系下，并将转换至所述预设坐标系下的所述操作现场数据绑定为一组融合数据；

将所述融合数据发送至所述远程服务器。

11.一种确定维修部件演示视频的装置，其特征在于，包括：

采集模块，用于采集操作现场数据，并依据所述操作现场数据确定操作目标的信息，所述操作目标的信息至少包括以下内容：所述操作目标相对于操作人员的位置、方向以及距离、所述操作目标的姿态、所述操作目标对应的点云数据，所述操作目标为以下任意一种：操作部件、操作设备；

处理模块，用于将所述操作目标的信息映射至与所述操作目标对应的三维模型上，其中，所述三维模型为以下任意之一：点云模型、数字孪生模型；

所述处理模块，还用于依据映射在所述三维模型上的所述操作目标的信息，确定所述操作目标在所述数字孪生模型上对应的位置；

显示模块，用于依据所述操作目标在所述数字孪生模型上对应的位置，确定并播放所述操作目标在所述数字孪生模型上的操作演示视频，其中，所述数字孪生模型是与所述操作目标对应的虚拟模型，所述数字孪生模型上的设备以及部件与真实操作空间中的设备或者部件之间具有预设比例。

12.一种安全帽，其特征在于，包括一种确定维修部件演示视频的装置，用于执行权利要求1至10中任意一种所述的一种确定维修部件演示视频的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至10中任意一种所述的一种确定维修部件演示视频的方法。

14.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至10中任意一种所述的一种确定维修部件演示视频的方法。

Images