CN115657896B

CN115657896B - 一种基于mr设备采集图像的信息提示方法及相关设备

Info

Publication number: CN115657896B
Application number: CN202211670793.9A
Authority: CN
Inventors: 郭媛君; 饶建波; 刘祥飞; 杨之乐; 谭勇; 朱俊丞
Original assignee: Zhongke Hangmai CNC Software Shenzhen Co Ltd
Current assignee: Zhongke Hangmai CNC Software Shenzhen Co Ltd
Priority date: 2022-12-26
Filing date: 2022-12-26
Publication date: 2023-05-09
Anticipated expiration: 2042-12-26
Also published as: CN115657896A

Abstract

本发明公开了一种基于MR设备采集图像的信息提示方法及相关设备，方法包括：获取采集图像，对所述采集图像进行识别，获取所述采集图像中的运行状态信息，所述运行状态信息反映所述采集图像中的设备的运行状态；根据所述运行状态信息，获取操作目标信息；基于所述操作目标信息在所述采集图像中确定目标区域，对所述目标区域进行标记后显示所述采集图像。本发明可以实现直观提示信息，提高操作效率。

Description

一种基于MR设备采集图像的信息提示方法及相关设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于MR设备采集图像的信息提示方法及相关设备。

背景技术

大型设备上往往有很多的操作部件，而根据设备多种不同的运行状态，对应的操作不同，在现有技术中，这种设备需要长久的经验才能够熟练操作，在操作员不熟练或者遇到不常见的运行状态时，操作员需要花费时间去查阅操作手册，效率低。

因此，现有技术还有待改进和提高。

发明内容

针对现有技术的上述缺陷，本发明提供一种基于MR设备采集图像的信息提示方法，旨在解决现有技术中操作员需要查阅操作手册获取操作信息，效率低的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

本发明的第一方面，提供一种基于MR设备采集图像的信息提示方法，所述方法包括：

获取采集图像，对所述采集图像进行识别，获取所述采集图像中的运行状态信息，所述运行状态信息反映所述采集图像中的设备的运行状态；

根据所述运行状态信息，获取操作目标信息；

基于所述操作目标信息在所述采集图像中确定目标区域，对所述目标区域进行标记后显示所述采集图像。

所述的基于MR设备采集图像的信息提示方法，其中，所述对所述采集图像进行识别，获取所述采集图像中的运行状态信息，包括：

将所述采集图像输入至已训练的分类模型，获取所述分类模型输出的所述采集图像中的设备所占的图像区域以及设备类型；

根据所述设备类型确定参考运行状态区域；

根据所述参考运行状态区域在所述采集图像中确定状态信息采集区域，基于所述状态信息采集区域确定所述运行状态信息。

所述的基于MR设备采集图像的信息提示方法，其中，所述根据所述设备类型确定参考运行状态区域，包括：

根据所述设备类型确定参考图像；

获取所述参考图像中的标记区域作为所述参考运行状态区域。

所述的基于MR设备采集图像的信息提示方法，其中，所述根据所述参考运行状态区域在所述采集图像中确定状态信息采集区域，包括：

确定第一区域，所述第一区域是在所述参考图像中以所述参考运行状态区域的中心点为中心，区域范围大于所述参考运行状态区域的区域；

在所述采集图像中通过滑动窗口确定多个第二区域，所述第二区域的中心点在所述采集图像中设备所占区域中，所述第二区域的尺寸与所述第一区域相同；

获取所述第二区域与所述第一区域的相似性信息，确定所述第一区域对应的所述第二区域，根据所述第一区域对应的所述第二区域确定所述状态信息采集区域。

所述的基于MR设备采集图像的信息提示方法，其中，所述根据所述运行状态信息，获取操作目标信息，包括：

读取运行计划，根据所述运行计划确定目标运行状态；

根据所述目标运行状态和所述运行状态信息确定所述操作目标信息。

所述的基于MR设备采集图像的信息提示方法，其中，所述基于所述操作目标信息在所述采集图像中确定目标区域，包括：

基于所述操作目标信息确定操作件名称，根据所述操作件名称在所述参考图像中确定参考操作区域；

根据所述参考操作区域在所述采集图像中确定所述目标区域。

所述的基于MR设备采集图像的信息提示方法，其中，所述对所述目标区域进行标记，包括：

对所述目标区域进行着色处理，并添加所述目标区域对应的操作提示信息。

本发明的第二方面，提供一种MR设备，包括：图像采集模块，用于获取采集图像；

状态识别模块，用于对所述采集图像进行识别，获取所述采集图像中的运行状态信息，所述运行状态信息反映所述采集图像中的设备的运行状态；

信息获取模块，用于根据所述运行状态信息，获取操作目标信息；

信息提示模块，用于基于所述操作目标信息在所述采集图像中确定目标区域，对所述目标区域进行标记后显示所述采集图像。

本发明的第三方面，提供一种终端，包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的基于MR设备采集图像的信息提示方法的步骤。

本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的基于MR设备采集图像的信息提示方法的步骤。

与现有技术相比，本发明提供了一种基于MR设备采集图像的信息提示方法，所述的基于MR设备采集图像的信息提示方法，对采集的图像进行识别，获取采集图像中的设备的运行状态信息，基于运行状态信息，获取当前设备的运行状态下设备的操作目标信息，基于操作目标信息在采集图像中对区域进行标记后显示采集图像，这样可以直观地将操作信息提示给操作人员，不需要操作人员手动查阅资料，提升了操作效率。

附图说明

图1为本发明提供的基于MR设备采集图像的信息提示方法的实施例的流程图；

图2为本发明提供的MR设备的实施例的结构原理图；

图3为本发明提供的终端的实施例的结构原理图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，所述基于MR设备采集图像的信息提示方法的一个实施例中，包括步骤：

S100、获取采集图像，对所述采集图像进行识别，获取所述采集图像中的运行状态信息，所述运行状态信息反映所述采集图像中的设备的运行状态。

所述采集图像可以是MR设备上的摄像机拍摄得到的图像，操作人员可以佩戴MR设备，所述采集图像中的设备为操作人员需要操作的设备。所述运行状态信息反映所述采集图像中的设备的运行状态，具体地，所述运行状态信息包括设备中的提示灯是否亮起、指示灯颜色、仪表和显示屏的读数、显示屏显示的故障类型代码等。

所述对所述采集图像进行识别，获取所述采集图像中的运行状态信息，包括：

根据所述设备类型确定参考运行状态区域；

在一种可能的实现方式中，可以采用神经网络模型直接对所述采集图像进行目标识别，输出所述采集图像中的状态信息采集区域，但是由于不同的设备，反映运行状态信息的区域不同，也就是说，对于不同的设备，需要识别不同的区域，并且，这些区域占图像的比例较小，例如有些指示灯，在设备图像中只占很小的区域，如果需要精确识别这些区域，需要更复杂的神经网络，训练过程中也需要更多的训练样本。发明人发现，由于在操作过程中，操作人员基本上都是正对设备，也就是说，MR设备采集图像的角度基本上都是一致的，因此，可以通过预先只对设备采集操作角度的图像，然后进行状态采集区域标记，之后通过图像对比的方式就可以确定采集图像中的状态采集区域，这样就只需要进行设备类型的区分即可，而在采集图像中，设备所占区域较大，可以采用已有的成熟的分类模型，采用少量的带有设备类型和所占区域标签的训练样本进行微调，就可以用于分辨设备类型，这样可以大大降低神经网络模型训练以及运行中的计算量和消耗时间。

具体地，在获取到分类模型输出的所述采集图像中的设备所占的图像区域以及设备类型之后，根据所述设备类型确定参考运行状态区域，包括：

根据所述设备类型确定参考图像；

对于每一种设备，设置一张参考图像，在所述参考图像中对能够反映设备运行状态的区域进行标记，得到所述标记区域。在确定所述设备类型后，获取所述设备类型对应的所述参考图像，将所述参考图像中的标记区域作为所述参考运行状态区域。

所述根据所述参考运行状态区域在所述采集图像中确定状态信息采集区域，包括：

依次获取所述第二区域与所述第一区域的相似性信息，确定所述第一区域对应的所述第二区域，根据所述第一区域对应的所述第二区域确定所述状态信息采集区域。

所述采集图像和所述参考图像虽然拍摄角度相似，但不会完全相同，因此，不能直接将所述参考运行状态区域在所述参考图像中的位置作为所述状态信息采集区域在所述参考图像中的位置。所述参考图像中可能包括不止一个所述参考运行状态区域，对应地，也需要在所述采集图像中确定不止一个的所述状态信息采集区域，下面说明每个所述参考运行状态区域对应的所述状态信息采集区域的确定过程：

在所述参考图像中，以所述参考运行状态区域的中心点为中心，扩大一定范围，例如1.2倍、1.3倍等，得到所述第一区域。在所述采集图像中，确定多个第二区域，正如前文所说明的，所述采集图像和所述参考图像的拍摄角度相似，因此，在本实施例中，并不在所述采集图像中全局查找，而是在一定范围内查找，所述在所述采集图像中，确定多个第二区域，包括：

获取所述参考运行状态区域在所述参考图像中的坐标位置，根据所述坐标位置在所述采集图像中确定查找范围，在所述查找范围内通过滑动窗口确定多个所述第二区域。

具体地，根据所述参考运行状态区域的中心点在所述参考图像中的坐标位置在所述采集图像中确定查找中心点，所述查找中心点在所述采集图像中的坐标位置与所述参考运行状态区域的中心点在所述参考图像中的坐标位置相同。获取所述参考运行状态区域占所述参考图像的比例，根据所述比例确定查找区域大小。具体地，当所述比例小于第一预设值时，所述查找区域大小为所述采集图像的1/4，当所述第一比例大于所述第一预设值，小于第二预设值时，所述查找区域大小为所述采集图像的1/2，当所述第一比例大于所述第二预设值时，所述查找区域大小等于所述采集图像的大小。所述第一预设值、所述第二预设值和所述第三预设值可以根据实验确定，例如将所述第一预设值设置为1/8，所述第二预设值设置为1/4，所述第三预设值设置为1/2。根据所述查找中心点和所述查找区域大小，确定所述查找范围。

在所述查找范围内，依次以在所述采集图像中设备所占区域内的点为中心点确定所述第二区域。这样可以得到多个所述第二区域。之后依次获取每个所述第二区域与所述第一区域的相似性信息，将相似性信息最大的所述第二区域作为所述第一区域对应的所述第二区域。得到所述第二区域后，对所述第二区域按比例进行缩小，得到所述状态信息采集区域，为了防止误差带来的影响，对于所述第二区域进行缩小的倍数小于对所述参考运行状态区域进行放大得到所述第一区域的倍数。

得到所述状态信息采集区域后，根据所述状态信息采集区域确定所述运行状态信息，具体地，获取所述状态信息采集区域中的像素值，确定指示灯是否亮起，以及指示灯颜色，对所述状态信息采集区域进行文本识别，确定仪表和显示屏中的指标读数、显示屏中的故障代码等。

再次参阅图1，本实施例提供的方法，还包括步骤：

S200、根据所述运行状态信息，获取操作目标信息。

步骤S200具体包括：

读取运行计划，根据所述运行计划确定目标运行状态；

根据所述采集图像中的设备的运行计划，得到所述目标运行状态，所述目标运行状态反映当前所述采集图像中的设备应当处于什么运行状态，所述目标运行状态中包括所述采集图像中的设备的各个指示灯状态、显示屏显示内容等。

所述操作目标信息中包括基于当前的运行状态转变至所述目标运行状态所需要的操作，所述操作目标信息可以基于逻辑编译工具得到，例如protégé逻辑编译工具，具体地，使用逻辑编辑工具，嵌入数控机床操作的经验逻辑规则（逻辑规则使用描述逻辑编写），根据上一步图像识别到的控制按钮、状态以及仪表读数，作为变量输入逻辑规则中，protégé可自动推理下一步应该执行的操作。

本实施例提供过的方法，还包括步骤：

S300、基于所述操作目标信息在所述采集图像中确定目标区域，对所述目标区域进行标记后显示所述采集图像。

具体地，所述基于所述操作目标信息在所述采集中确定目标区域，包括：

所述操作目标信息中包括需要操作的操作件名称以及对应的操作，例如，按下按键A、将B键拨至右边等。读取所述操作目标信息中的操作件，根据所述操作件名称在所述参考图像中确定参考操作区域，具体地，对于每种设备类型的参考图像中，将所有操作件进行标记，并关联对应的操作件名称，这样，得到所述操作件名称后，可以在所述参考图像中确定操作件的位置，得到所述参考操作区域。根据所述参考操作区域在所述采集图像中确定所述目标区域的过程与根据所述参考运行状态区域在所述采集图像中确定状态信息采集区域一致。

在得到所述目标区域后，对所述目标区域进行标记，具体包括：

为了给操作人员直观的操作提示，得到所述目标区域后，对所述目标区域进行着色，并在所述目标区域旁边添加所述目标区域对应的操作提示信息，及所述目标区域中的操作件应该如何操作的信息。

对所述目标区域进行标记后，得到处理后的所述采集图像，显示所述采集图像，具体地，将所述采集图像发送至MR设备的显示屏进行显示，这样，操作人员可以直接看到增加了提示信息后的所述采集图像。

综上所述，本实施例提供一种基于MR设备采集图像的信息提示方法，对采集的图像进行识别，获取采集图像中的设备的运行状态信息，基于运行状态信息，获取当前设备的运行状态下设备的操作目标信息，基于操作目标信息在采集图像中对区域进行标记后显示采集图像，这样可以直观地将操作信息提示给操作人员，不需要操作人员手动查阅资料，提升了操作效率。

应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

实施例二

基于上述实施例，本发明还相应提供了一种MR设备，如图2所示，所述MR设备包括：

图像采集模块，用于获取采集图像，具体如实施例一中所述；

状态识别模块，用于对所述采集图像进行识别，获取所述采集图像中的运行状态信息，所述运行状态信息反映所述采集图像中的设备的运行状态，具体如实施例一中所述；

信息获取模块，用于根据所述运行状态信息，获取操作目标信息，具体如实施例一中所述；

信息提示模块，用于基于所述操作目标信息在所述采集图像中确定目标区域，对所述目标区域进行标记后显示所述采集图像，具体如实施例一中所述。

实施例三

基于上述实施例，本发明还相应提供了一种终端，如图3所示，所述终端包括处理器10以及存储器20。图3仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于MR设备采集图像的信息提示程序30，该基于MR设备采集图像的信息提示程序30可被处理器10所执行，从而实现本申请中基于MR设备采集图像的信息提示方法。

所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于MR设备采集图像的信息提示方法等。

在一实施例中，当处理器10执行所述存储器20中基于MR设备采集图像的信息提示程序30时实现以下步骤：

根据所述运行状态信息，获取操作目标信息；

其中，所述对所述采集图像进行识别，获取所述采集图像中的运行状态信息，包括：

根据所述设备类型确定参考运行状态区域；

其中，所述根据所述设备类型确定参考运行状态区域，包括：

根据所述设备类型确定参考图像；

其中，所述根据所述参考运行状态区域在所述采集图像中确定状态信息采集区域，包括：

其中，所述根据所述运行状态信息，获取操作目标信息，包括：

读取运行计划，根据所述运行计划确定目标运行状态；

其中，所述基于所述操作目标信息在所述采集图像中确定目标区域，包括：

其中，所述对所述目标区域进行标记，包括：

实施例四

本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于MR设备采集图像的信息提示方法的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于MR设备采集图像的信息提示方法，其特征在于，所述方法包括：

根据所述运行状态信息，获取操作目标信息；

基于所述操作目标信息在所述采集图像中确定目标区域，对所述目标区域进行标记后显示所述采集图像；

根据所述设备类型确定参考运行状态区域；

根据所述参考运行状态区域在所述采集图像中确定状态信息采集区域，基于所述状态信息采集区域确定所述运行状态信息；

所述根据所述设备类型确定参考运行状态区域，包括：

根据所述设备类型确定参考图像；

获取所述参考图像中的标记区域作为所述参考运行状态区域；

获取所述第二区域与所述第一区域的相似性信息，确定所述第一区域对应的所述第二区域，根据所述第一区域对应的所述第二区域确定所述状态信息采集区域；

所述根据所述参考运行状态区域在所述采集图像中确定状态信息采集区域，还包括：

根据所述参考运行状态区域的中心点在所述参考图像中的坐标位置在所述采集图像中确定查找中心点，所述查找中心点在所述采集图像中的坐标位置与所述参考运行状态区域的中心点在所述参考图像中的坐标位置相同；

获取所述参考运行状态区域占所述参考图像的比例，根据所述比例确定查找区域大小；

当所述比例小于第一预设值时，所述查找区域大小为所述采集图像的1/4；

当所述比例大于所述第一预设值，小于第二预设值时，所述查找区域大小为所述采集图像的1/2；

当所述比例大于所述第二预设值时，所述查找区域大小等于所述采集图像的大小；

根据所述查找中心点和所述查找区域大小，确定查找范围；

在所述查找范围内，依次以在所述采集图像中设备所占区域内的点为中心点确定所述第二区域；

得到所述第二区域后，对所述第二区域按比例进行缩小，得到所述状态信息采集区域，并且对于所述第二区域进行缩小的倍数小于对所述参考运行状态区域进行放大得到所述第一区域的倍数；

所述根据所述运行状态信息，获取操作目标信息，包括：

读取运行计划，根据所述运行计划确定目标运行状态；

根据所述目标运行状态和所述运行状态信息确定所述操作目标信息；

所述基于所述操作目标信息在所述采集图像中确定目标区域，包括：

2.根据权利要求1所述的基于MR设备采集图像的信息提示方法，其特征在于，所述对所述目标区域进行标记，包括：

3.一种MR设备，其特征在于，包括：

图像采集模块，用于获取采集图像；

信息提示模块，用于基于所述操作目标信息在所述采集图像中确定目标区域，对所述目标区域进行标记后显示所述采集图像；

所述状态识别模块，用于：

根据所述设备类型确定参考运行状态区域；

所述根据所述设备类型确定参考运行状态区域，包括：

根据所述设备类型确定参考图像；

根据所述查找中心点和所述查找区域大小，确定查找范围；

所述信息获取模块，用于：

读取运行计划，根据所述运行计划确定目标运行状态；

所述信息提示模块，包括：

4.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-2任一项所述的基于MR设备采集图像的信息提示方法的步骤。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-2任一项所述的基于MR设备采集图像的信息提示方法的步骤。