CN108645637A - 一种基于增强现实技术应用的设备异响检测系统 - Google Patents

Abstract

本发明涉及一种基于增强现实技术应用的设备异响检测系统结构，包括：AR眼镜、声信号采集器、图像采集器、微型投影仪和中央控制器；本发明的系统通过将增强现实技术应用于设备异响检测功能上，具有较高程度的智能控制和自主分析功能，能够为使用者提供一系列可视化的分析数据，使用者不需要运用较为丰富的维修经验对设备异响进行分析，即可获知异响所对应的故障类型及发生异响的具体位置信息，提高了系统的人群适用范围，同时也降低了人为辨识所带来的误差，避免给后续的维修带来错误导向；另外，本系统还可根据故障的类型，适当地给予维修策略，指导使用者完成故障部件拆卸、更换或紧固等操作，避免设备因长时间停产而产生的经济损失。

Description

一种基于增强现实技术应用的设备异响检测系统

技术领域

本发明涉及设备异响检测领域，具体涉及一种基于增强现实技术应用的设备异响检测系统。

背景技术

目前，在工程机械设备出现故障时，一般需要急召检修人员进行故障诊断及检修。但是，由于急召检修人员可能需要耗费大量资金和时间，或检修人员身在外地，短时间内无法迅速赶往故障地点，只能延迟检修，导致设备无法进行生产作业。

众所周知，世间所有物体皆存在固有频率，当外界震动频率达到物体固有频率时，该物体就会发生共振，进而产生异响。发生异响的原因为：当物体发生共振时，由于物体与物体之间存在碰触，而无缓冲，极易发生小范围内振动撞击而产生异响。对于机械设备而言，如果故障部件在较长时间内始终处于碰撞状态，必然会给设备的运行效果和部件的寿命造成不良的影响。

而在设备发生故障的早期，有些部件会在运行时产生这种异响，具有丰富经验的使用者能够根据当前所发出的声音快速判定故障类型，并准确定位故障点，以减少设备损坏的程度。但是经验丰富的使用者毕竟占比不多，大多经验欠缺的使用者甚至是维修人员只能根据维修流程逐一进行排查，进行故障诊断，造成长时间停产检修，造成较大的经济损失。

因此，在设备出现异响的情况下，如果方便设备使用人员或检修人员快速诊断故障类型，是目前工程机械故障诊断中亟待解决的技术问题。

发明内容

本发明的目的在于，为克服现有技术中无法实现以设备异响作为故障监测依据，以确定故障类型及其定位的问题，提供一种基于增强现实技术应用的设备异响检测系统，本发明的系统以采集的设备异响进行数据分析，能够快速、准确的判定故障类型，并对故障点进行精确定位及可视化显示。

为实现上述目的，本发明提供的一种基于增强现实技术应用的设备异响检测系统，该系统具体包括：AR眼镜、声信号采集器、图像采集器、微型投影仪和中央控制器；

所述AR眼镜的两侧镜架上对称设置有至少两个图像采集器，所述的图像采集器用于采集其可视范围内的图像，并将生成的图像数据发送至中央控制器；

所述声信号采集器的信号输出端与中央控制器连接，在设备周围不同的位置上设置有至少两个声信号采集器，用于采集设备发出的异响，将其转化为声信号并发送至中央控制器；

所述的中央控制器利用接收到的图像数据构建设备所处环境的三维空间模型，并在所述的三维空间模型中对异响部位进行空间定位，生成定位数据，同时从接收到的声信号中提取出异响的特征数据，通过对特征数据进行辨识以判定引起异响的故障类型，同时将含有故障类型的数据进行图像转化，获得虚拟显示对象，结合真实场景对虚拟显示对象进行渲染，并通过微型投影仪将渲染后的虚拟显示对象按定位数据指示的坐标位置进行投影，该中央控制器还用于从接收的图像数据中识别出人体的手势数据，通过对手势数据进行分析后生成对应的动作数据，并利用该动作数据执行人机交互操作；

所述微型投影仪的信号输入端与中央控制器连接，该微型投影仪的投射端与AR眼镜上设置的半透射镜相对，用于将中央控制器输出的图像投影至半透射镜上。

作为上述技术方案的进一步改进，所述的中央控制器包括：图像信号处理模块、声信号处理模块、空间模型构建模块、特征提取模块、故障判定模块、故障定位模块、图像渲染模块和手势辨识模块；

所述图像信号处理模块用于接收图像采集器输出的图像信号，并将图像信号进行处理，生成供空间模型构建模块和手势辨识模块识别的图像数据；

所述的声信号处理模块用于接收声信号采集器输出的声信号，并将声信号进行处理，生成供特征提取模块识别的声波数据；

所述的空间模型构建模块利用图像数据构建设备所处环境的三维空间模型；

所述的特征提取模块用于在声波数据中提取出异响的特征数据，并将获得的特征数据发送至故障判定模块，所述的特征数据包括异响的音频、幅度和相位；

所述的故障判定模块用于从特征数据中识别获得故障类型，生成故障类型数据；

所述的故障定位模块以各声信号采集器在三维空间模型中对应的坐标位置，及接收异响的方向对设备异响部位进行空间定位，生成定位数据；

所述的图像渲染模块用于将故障类型数据进行图像转化，获得虚拟显示对象，并以定位数据指示的坐标位置选定虚拟显示对象的显示位置，同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染；

所述的手势辨识模块用于在图像数据中识别出人体的手势数据，并通过对手势数据进行分析后生成对应的动作数据。

作为上述技术方案的进一步改进，所述的中央控制器还包括策略匹配模块和策略存储模块；

所述的策略匹配模块用于将故障类型数据与策略存储模块中存储的特征组合序列进行匹配，提取经匹配的特征组合序列所对应的故障维修策略；

所述的策略存储模块用于存储各种特征组合序列，所述的特征组合序列为故障类型数据与故障维修策略之间的映射。

作为上述技术方案的进一步改进，所述的图像信号处理模块包括：A/D转换器、信号放大器和滤波器，用于将图像采集器输出的图像信号依次进行模数转换、放大和滤波处理。

作为上述技术方案的进一步改进，所述的声信号处理模块包括：A/D转换器、信号放大器、功分器、低通滤波器和高通滤波器，所述的A/D转换器和信号放大器用于将声信号采集器输出的声信号依次进行模数转换和放大处理，并将处理后的信号经功分器分两路输出至低通滤波器和高通滤波器，所述的低通滤波器和高通滤波器用于将接收到的信号进行低通滤波和高通滤波处理，并将处理后的信号输出至特征提取模块。

作为上述技术方案的进一步改进，所述的图像采集器采用CCD摄像头对图像进行采集。

作为上述技术方案的进一步改进，所述的声信号采集器为沿同一平面分布的若干个麦克风组成的阵列。

本发明的一种基于增强现实技术应用的设备异响检测系统优点在于：

本发明的系统通过将增强现实技术应用于设备异响检测功能上，与传统的人工检测方法及使用的检测设备相比，本系统具有较高程度的智能控制和自主分析功能，能够为使用者提供一系列可视化的分析数据，使用者不需要运用较为丰富的维修经验对设备异响进行分析，即可获知异响所对应的故障类型及发生异响的具体位置信息，提高了系统的人群适用范围，同时也降低了人为辨识所带来的误差，避免给后续的维修带来错误导向；另外，本系统还可根据故障的类型，适当地给予维修策略，指导使用者完成故障部件拆卸、更换或紧固等操作，避免设备因长时间停产而产生的经济损失。

附图说明

图1为本发明提供的一种基于增强现实技术应用的设备异响检测系统结构示意图；

图2为本发明一个实施例中提供的中央控制器结构示意图；

图3为本发明另一个实施例中提供的中央控制器结构示意图；

图4为本发明实施例中提供的声信号处理模块结构示意图；

图5为本发明实施例中提供的图像信号处理模块结构示意图；

图6a为本发明实施例中提供的AR眼镜佩戴示意图；

图6b为本发明实施例中提供的AR眼镜外部结构示意图；

图7为利用本发明实施例中提供的AR眼镜进行虚拟成像的效果图。

附图标记

1、AR眼镜 2、图像采集器 3、微型投影仪

4、半透射镜

具体实施方式

下面结合附图和实施例对本发明所述的一种基于增强现实技术应用的设备异响检测系统进行详细说明。

如图1所示，本发明提供的一种基于增强现实技术应用的设备异响检测系统结构，包括：AR眼镜、声信号采集器、图像采集器、微型投影仪和中央控制器。

如图6b所示，所述AR眼镜1的两侧镜架上对称设置有至少两个图像采集器2，所述的图像采集器2用于采集其可视范围内的图像，并将生成的图像数据发送至中央控制器；

所述声信号采集器的信号输出端与中央控制器连接，在设备周围不同的位置上设置有至少两个声信号采集器，用于采集设备发出的异响，将其转化为声信号并发送至中央控制器；

所述的中央控制器利用接收到的图像数据构建设备所处环境的三维空间模型，并在所述的三维空间模型中对异响部位进行空间定位，生成定位数据，同时从接收到的声信号中提取出异响的特征数据，通过对特征数据进行辨识以判定引起异响的故障类型，同时将含有故障类型的数据进行图像转化，获得虚拟显示对象，结合真实场景对虚拟显示对象进行渲染，并通过微型投影仪将渲染后的虚拟显示对象按定位数据指示的坐标位置进行投影，该中央控制器还用于从接收的图像数据中识别出人体的手势数据，通过对手势数据进行分析后生成对应的动作数据，并利用该动作数据执行人机交互操作；

所述微型投影仪的信号输入端与中央控制器连接，如图6b所示，该微型投影仪3的投射端与AR眼镜1上设置的半透射镜4相对，用于将中央控制器输出的图像投影至半透射镜4上，并由半透射镜4将虚拟显示对象反射至人的眼部；

所述的半透射镜4能够使微型投影仪3射出的光进行反射，而使外界环境入射的光进行透射，从而将真实场景与虚拟对象在人眼部实现了图像融合。

AR技术作为目前虚拟现实技术的前端体验，在各个行业有着广泛的应用。它是一种图像处理的概念，与相关视觉工具相互结合便成为一门技术，也就是人们常说的增强现实。这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，在实现效果上需要将摄像头等多媒体、传感器与场景融合，增强现实技术不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。

本发明将上述AR技术应用到设备异响检测系统中，通过对设备所处现实环境的图像采集，以采集得到的图像数据构建设备所处环境的三维空间模型，然后在三维空间模型中对异响部位进行空间定位，从接收到的声信号中提取出异响的特征数据，通过对特征数据进行辨识以判定引起异响的故障类型，同时将故障类型数据进行图像转化，获得虚拟显示对象，结合真实场景将虚拟显示对象按定位的坐标位置直接显示在AR眼镜上，以指示异响在设备上发生的具体位置。

相比于采用现有的故障检测设备及人工检测方法，本发明的系统将异响定位、故障识别与AR技术相结合，不在需要具有丰富经验的使用者通过听觉来逐一排查异响发出的位置及可能存在的故障，仅需佩戴可移动的AR视觉眼镜，在设备周围行走即可随时观察到图像化的故障定位标记及故障类型显示信息。与此同时，结合人体手势的感知功能，能够实现人机交互操作，便于生产者手动控制系统的运行。

为了实现上述中央控制器的智能控制功能，如图2所示，本实施例中的中央控制器包括：图像信号处理模块、声信号处理模块、空间模型构建模块、特征提取模块、故障判定模块、故障定位模块、图像渲染模块和手势辨识模块；

所述图像信号处理模块用于接收图像采集器输出的图像信号，并将图像信号进行处理，生成供空间模型构建模块和手势辨识模块识别的图像数据；

所述的声信号处理模块用于接收声信号采集器输出的声信号，并将声信号进行处理，生成供特征提取模块识别的声波数据；

所述的空间模型构建模块利用图像数据构建设备所处环境的三维空间模型；

所述的特征提取模块用于在声波数据中提取出异响的特征数据，并将获得的特征数据发送至故障判定模块，所述的特征数据包括异响的音频、幅度和相位；

所述的故障判定模块用于从特征数据中识别获得故障类型，生成故障类型数据；

所述的故障定位模块以各声信号采集器在三维空间模型中对应的坐标位置，及接收异响的方向对设备异响部位进行空间定位，生成定位数据；

所述的图像渲染模块用于将故障类型数据进行图像转化，获得虚拟显示对象，并以定位数据指示的坐标位置选定虚拟显示对象的显示位置，同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染；

所述的手势辨识模块用于在图像数据中识别出人体的手势数据，并通过对手势数据进行分析后生成对应的动作数据。

当通过AR眼镜标记出故障类型及具体位置时，为了避免设备损害程度的加剧，需要在停机报修后，等待维修人员拆机维修。通常因设备故障的类型及维修人员的日程安排等待数天时间，从而导致设备需要长时间停产等待检修，造成较大的经济损失。而在异响发生的初期，一般都是设备内零部件松动、小型零件丢失所引起的，对于这种常规故障由使用者自身即可处理，从而避免给生产带来不必要的延误。

为此，如图3所示，本发明实施例中的中央控制器还包括策略匹配模块和策略存储模块；所述的策略匹配模块用于将故障类型数据与策略存储模块中存储的特征组合序列进行匹配，提取经匹配的特征组合序列所对应的故障维修策略；所述的策略存储模块用于存储各种特征组合序列，所述的特征组合序列为故障类型数据与故障维修策略之间的映射。针对常规故障的检修，可在故障检修策略中设定设备的拆卸步骤，并给予可视化的图像指示，此时使用者可按拆卸步骤对发生故障的部位进行拆卸，根据指引更换故障部件或对局部进行加固、拧紧。

另外，如图3所示，本发明系统中的图像采集器可采用CCD摄像头对图像进行采集。CCD是Charge Coupled Device(电荷耦合器件)的缩写，它是一种半导体成像器件，因而具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点；另外，本发明通过运用CCD摄像头实现图像采集，能够获得分辨率较高的清晰图像，为中央控制器后续的数据分析提供保障。

同时，为了提高声信号采集及异响定位的准确性，本实施例中的声信号采集器为沿同一平面分布的若干个麦克风组成的阵列，通过多点采集同一声源发出的声波信号并进行统计、分析，能够减小单一采集点收集声波时所带来的误差。

如图4所示，所述的声信号处理模块可通过设置的A/D转换器，将其接收的模拟信号转换为供特征提取模块识别的数字信号；同时，为了降低信号的噪声干扰，提高信号的探测精度，所述的声信号处理模块还可包括信号放大器和滤波器，用于将图像采集器输出的信号进行放大和滤波处理。

在异响的实际探测过程中，可能会存在多处异响共存的状态，由于不同种声波之间的干涉作用，使得采集得到的异响发生混叠，进而给后续的故障辨识带来困难。众所周知，不同种异响具有不同的频带特性，通过音频过滤设备能够将混叠在一起的低频、高频声波相互分离，具体地，本发明的系统将放大的声波数据经设置的功分器分两路输出至低通滤波器和高通滤波器，所述的低通滤波器和高通滤波器用于将接收到的信号进行低通滤波和高通滤波处理，并将处理后的信号输出至特征提取模块，以便将不同种音频的声波信号分别进行辨识处理，从而提高了系统的音频辨识能力。

如图5所示，所述的信号处理模块可通过设置的A/D转换器，将其接收的模拟信号转换为供空间模型构建模块及手势辨识模块识别的数字信号；同时，为了降低信号的噪声干扰，提高信号的探测精度，所述的信号处理模块还可包括信号放大器和滤波器，用于将图像采集器输出的信号进行放大和滤波处理。

下面以复印机为例(如图7所示)，利用上述结构的系统实施复印机异响检测的具体实施过程为：

当使用者感知到复印机存在异响时，佩戴好AR眼镜1(如图6a所示)并启动本发明的系统；通过AR眼镜能够将设备异响的具体位置及故障类型显示在眼前，如图7所示，该图显示的是AR眼镜虚拟成像的效果，其显示了转印器故障，并给予箭头指示了故障发生的具体位置。

另外，通过策略匹配模块用于将故障类型数据与策略存储模块中存储的特征组合序列进行匹配，以提取经匹配的特征组合序列所对应的故障维修策略，并依次故障维修策略显示于AR眼镜上，显示效果如图7所示，具体指示为“处理步骤1打开上盖板”，并给予箭头指示打开的具体位置，便于使用者自行拆卸及维修。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于增强现实技术应用的设备异响检测系统结构，其特征在于，包括：AR眼镜、声信号采集器、图像采集器、微型投影仪和中央控制器；

所述AR眼镜(1)的两侧镜架上对称设置有至少两个图像采集器(2)，所述的图像采集器(2)用于采集其可视范围内的图像，并将生成的图像数据发送至中央控制器；

所述声信号采集器的信号输出端与中央控制器连接，在设备周围不同的位置上设置有至少两个声信号采集器，用于采集设备发出的异响，将其转化为声信号并发送至中央控制器；

所述的中央控制器利用接收到的图像数据构建设备所处环境的三维空间模型，并在所述的三维空间模型中对异响部位进行空间定位，生成定位数据，同时从接收到的声信号中提取出异响的特征数据，通过对特征数据进行辨识以判定引起异响的故障类型，同时将含有故障类型的数据进行图像转化，获得虚拟显示对象，结合真实场景对虚拟显示对象进行渲染，并通过微型投影仪(3)将渲染后的虚拟显示对象按定位数据指示的坐标位置进行投影，该中央控制器还用于从接收的图像数据中识别出人体的手势数据，通过对手势数据进行分析后生成对应的动作数据，并利用该动作数据执行人机交互操作；

所述微型投影仪(3)的信号输入端与中央控制器连接，该微型投影仪(3)的投射端与AR眼镜(1)上设置的半透射镜(4)相对，用于将中央控制器输出的图像投影至半透射镜(4)上。

2.根据权利要求1所述的基于增强现实技术应用的设备异响检测系统结构，其特征在于，所述的中央控制器包括：图像信号处理模块、声信号处理模块、空间模型构建模块、特征提取模块、故障判定模块、故障定位模块、图像渲染模块和手势辨识模块；

所述图像信号处理模块用于接收图像采集器(2)输出的图像信号，并将图像信号进行处理，生成供空间模型构建模块和手势辨识模块识别的图像数据；

所述的声信号处理模块用于接收声信号采集器输出的声信号，并将声信号进行处理，生成供特征提取模块识别的声波数据；

所述的空间模型构建模块利用图像数据构建设备所处环境的三维空间模型；

所述的特征提取模块用于在声波数据中提取出异响的特征数据，并将获得的特征数据发送至故障判定模块，所述的特征数据包括异响的音频、幅度和相位；

所述的故障判定模块用于从特征数据中识别获得故障类型，生成故障类型数据；

所述的故障定位模块以各声信号采集器在三维空间模型中对应的坐标位置，及接收异响的方向对设备异响部位进行空间定位，生成定位数据；

所述的图像渲染模块用于将故障类型数据进行图像转化，获得虚拟显示对象，并以定位数据指示的坐标位置选定虚拟显示对象的显示位置，同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染；

所述的手势辨识模块用于在图像数据中识别出人体的手势数据，并通过对手势数据进行分析后生成对应的动作数据。

3.根据权利要求2所述的基于增强现实技术应用的设备异响检测系统结构，其特征在于，所述的中央控制器还包括策略匹配模块和策略存储模块；

所述的策略匹配模块用于将故障类型数据与策略存储模块中存储的特征组合序列进行匹配，提取经匹配的特征组合序列所对应的故障维修策略；

所述的策略存储模块用于存储各种特征组合序列，所述的特征组合序列为故障类型数据与故障维修策略之间的映射。

4.根据权利要求2所述的基于增强现实技术应用的设备异响检测系统结构，其特征在于，所述的图像信号处理模块包括：A/D转换器、信号放大器和滤波器，用于将图像采集器(2)输出的图像信号依次进行模数转换、放大和滤波处理。

5.根据权利要求1所述的基于增强现实技术应用的设备异响检测系统结构，其特征在于，所述的声信号处理模块包括：A/D转换器、信号放大器、功分器、低通滤波器和高通滤波器，所述的A/D转换器和信号放大器用于将声信号采集器输出的声信号依次进行模数转换和放大处理，并将处理后的信号经功分器分两路输出至低通滤波器和高通滤波器，所述的低通滤波器和高通滤波器用于将接收到的信号进行低通滤波和高通滤波处理，并将处理后的信号输出至特征提取模块。

6.根据权利要求1所述的基于增强现实技术应用的设备异响检测系统结构，其特征在于，所述的图像采集器(2)采用CCD摄像头对图像进行采集。

7.根据权利要求1所述的基于增强现实技术应用的设备异响检测系统结构，其特征在于，所述的声信号采集器为沿同一平面分布的若干个麦克风组成的阵列。