CN109584232B - 基于图像识别的设备使用状态在线监测方法、系统及终端 - Google Patents

Abstract

本发明公开了一种基于图像识别的设备使用状态在线监测方法、系统及终端，属于仪器仪表设备监测技术领域，方法包括按一定时间间隔及时间顺序获取检测设备的检测信号；将检测信号转化为图像；判断图像之间的相似度；根据图像之间的相似度判断被监测设备的使用状态。系统包括检测信号获取单、图像采集单元、相似度判断单元和被监测设备使用状态判断单元。终端包括存储器和处理器。本发明能实现对被监测设备使用状态的在线监测，具有快捷、自动化的特点。

Description

基于图像识别的设备使用状态在线监测方法、系统及终端

技术领域

本发明涉及仪器仪表设备监测技术领域，尤其涉及一种基于图像相似度变化识别技术的仪器设备使用状态在线监测方法、系统及终端。

背景技术

在测试测量技术领域，通常需要检测仪器仪表设备的使用状态，此处以示波器为例(但不局限于示波器)。在用示波器测量被监测设备时，可以通过波形变化观察出被监测设备是否在工作。如果波形没有变化，则说明设备长时间处于一个状态；如果波形发生明显变化，则说明设备的使用状态发生变化。

目前通过波形判断设备使用状态的常规方法主要有以下几种：

通过人工观察示波器波形变化，来判断设备的使用状态是否发生变化；通过采集示波器测量波形的原始数据，计算出每次测量数据的极指，最值，均值，方差等数学指标，并比较这些数学指标以此来判断设备工作状态是否发生变化；使用较广的方法是通过对波形原始数据的计算，来判断设备使用状态，此方法在实际应用中存在以下几个缺点：

(1)需要计算很多数学指标，比如极值、最值、均值、方差等，应用起来不够简便；

(2)需要对比不同数学指标的变化来判断设备使用状态的变化，且对于不同的设备需要对比不同的指标及不同的组合指标，十分繁琐；

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于图像识别的设备使用状态在线监测方法、系统及终端。

本发明的目的是通过以下技术方案来实现的：基于图像识别的设备使用状态在线监测方法，方法包括：按一定时间间隔及时间顺序获取检测设备的检测信号；将检测信号转化为图像；判断图像之间的相似度；根据图像间的相似度判断被监测设备使用状态。

具体地，检测设备的检测信号为检测设备获取到的被监测设备工作过程中产生的状态信号。

具体地，将检测信号转化为图像为将检测设备检测到的被监测设备工作过程中产生的状态波形转化为图像。

具体地，判断图像之间的相似度包括以下子步骤：

将采集的图像进行灰度处理得到新图像；统计灰度每张新图像的所有像素点，并计算每张图像的平均颜色值；根据每张图像的平均颜色值计算出图像的指纹序列；通过两幅图像的指纹序列来计算两张图像的之间的汉明距离，并通过汉明距离得到这两张图像的相似度。

具体地，根据图像之间的相似度判断被监测设备的使用状态包括以下子步骤：

将图像相似度存成一个序列，然后进行差分运算，得到图像相似度的变化率；根据图像相似度的变化率的大小，判断被监测设备的使用状态是否发生变化并输出显示。

作为一选项，将采集的图像进行灰度处理的步骤和统计灰度每张图像的所有像素点的步骤之间还包括以下步骤：将完成灰度处理的图像进行尺寸大小缩放。

具体地，进行灰度转换能够减小图像原始数据量，减轻后续对图像进行处理时的计算量，灰度转换的公式为：

其中，其中，R、G、B分别为该像素的红色、绿色和蓝色像素值，Gray表示图像的灰度值。

具体地，平均颜色值计算公式为：

即对所有像素点灰度值进行求和再除以像素点总个数；其中，公式中average表示图像的平均颜色值，pixels表示图像像素值，i表示起始像素点，n表示图像中像素点总个数。

具体地，指纹序列的获取方法是：

Fingers[i]＝pixels[i]＞average？1:0

若某点像素值大于平均值，那么该像素点值为1，反之，该像素点值为0；其中，公式中Fingers[i]表示图像指纹序列的第i个点，pixels[i]表示图像某个像素点的颜色值。

具体地，汉明距离的计算公式是：

其中，公式中f₁和f₂分别表示不同两张图像的指纹序列，

D(f_1，f₂)表示两张图像指纹序列的汉明距离；

表示模2加运算。

具体地，相似度计算公式是：

其中，公式中sim(f_1，f2)表示不同两张图像的指纹序列的相似度，n表示指纹序列长度。

具体地，差分运算的计算公式为：

其中，公式中|Δf(x)|表示对两张图像的相似度序列进行差分运算，f(x)表示前一个相似度，其中h＝1，所以f(x+h)表示的是后一个相似度，具体的，所述相似度计算结果代入差分运算公式|Δf(x)|得到：

|Δsim|＝|sim(f₃,f₂)-sim(f₂,f₁)|

其中|Δsim|表示相似度的变化率。

具体地，判断被监测设备的使用状态的方法为：对相似度变化率设定阈值，若相似度变化率大于所设定阈值则就判定被监测设备使用状态发生变化；如果相似度变化率小于等于所设定阈值，则就判定被监测设备的使用状态没有发生变化。

进一步地，一种基于图像识别的仪器设备使用状态在线监测系统，系统包括检测信号获取单元，用于按一定时间间隔及时间顺序获取检测设备的检测信号；

图像采集单元，包括图像采集模块，用于将检测信号转化为图像；

相似度判断单元，包括灰度转换模块、像素统计模块、图像指纹模块和图像相似度模块，用于判断图像之间的相似度；

被监测设备使用状态判断单元，包括判断模块和输出模块，用于根据图像的相似度判断被监测设备使用状态。

具体地，图像采集模块采集示波器输出的被监测设备工作过程中的波形图像并上传至灰度转换模块，经灰度转换模块对图像进行灰度处理、像素统计模块统计图像像素点平均值、图像指纹模块计算图像指纹序列、图像相似度模块比较两张图像的相似度、判断模块通过图像的相似度变化率大小判断设备的使用状态并传输至输出模块，输出模块对判断结果进行显示；

具体地，检测设备包括示波器、频谱仪，用于将被监测设备的工作状态以波形变化的形式表现；被监测设备包括仪器、仪表和实验设备；检测设备与被监测设备输出端连接。

与现有技术相比，本发明有益效果是：

(1)本发明能够实现对仪器设备使用状态的在线监测，不需要参考过多参数，具有快捷、自动化的特点。

(2)本发明中将采集到的图像进行灰度处理，能够达到减小图像原始数据量，减轻后续对图像进行处理时的计算量的效果。

(3)本发明中将图像进行缩放处理，能够达到去除图片的细节，只保留结构、明暗信息，摒弃不同尺寸、比例带来的图像差异的效果。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1为本发明实施例1的方法流程图；

图2为本发明实施例1中采集到的设备工作状态波形图；

图3为本发明实施例1中灰度处理后的的设备工作状态波形图；

图4为本发明实施例1中图像相似度序列图；

图5为本发明实施例1中相似度差分序列图；

图6为本发明实施例1中设备使用状态监测结果图；

图7为本发明实施例1中进行尺寸缩放后的波形图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面结合附图进一步详细描述本发明的技术方案，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

本实施例涉及一种基于图像识别的设备使用状态在线监测方法，该方法应用于仪器仪表及设备的在线监测，实现被监测设备使用状态的实时在线监测，具有快捷、自动化的特点。

如图1所示，一种基于图像识别的设备使用状态在线监测方法，方法包括：按一定时间间隔及时间顺序获取检测设备的检测信号；将检测信号转化为图像；判断图像之间的相似度；根据图像的相似度判断被监测设备使用状态。

更为具体地，检测设备的检测信号为检测设备获取到的被监测设备工作过程中产生的状态信号。

更为具体地，将检测信号转化为图像为将检测设备检测到的被监测设备工作过程中产生的状态波形转化为图像。其中，图2表示9个在按照一定时间间隔及时间顺序获取到的检测设备的检测信号，其中，图中横坐标表示时间，纵坐标表示幅值，可以明显看出，图1_b.png与其他8个图像(1.png～8.png)的不相同，即被监测设备的使用状态发生变化。

更为具体地，判断图像之间的相似度包括以下子步骤：

S01：将采集的图像进行灰度处理得到新图像；其中，进行灰度处理的计算公式为：

其中，R、G、B分别为该像素的红色、绿色和蓝色像素值，Gray灰度值范围在0-255间。彩色图像转换为灰度图像可以减小图像原始数据量，减轻后续对图像进行处理时的计算量，对采集到的波形图像进行灰度处理后得到如图3所示的图形，图中横坐标表示时间，纵坐标表示幅值，图3中的图像相对于图2中的对应图像只有颜色值上产生了变化，其余参数保持不变。

S02：统计灰度处理后的新图像的所有像素点，并计算每张图像的平均颜色值；其中，在本实施例中，统计灰度图3中1.png图像所有像素点的灰度值数组统计如下：

[-1907998,-855310,-1250068,-1052689,-1052689,-65794,-1,-1,-1,-1,-1,-1,pixels＝......-1,-1,-1250068,-1315861,-1315861]

对所有像素的灰度值进行平均颜色计算，公式如下：

其中，公式中average表示图像的平均颜色值，pixels表示图像像素值，i表示起始像素点，n表示图像中像素点总个数，即对所有像素点灰度值进行求和再除以像素点总个数。

S03：根据每张图像的平均颜色值计算出图像的指纹序列；其中，指纹序列的计算方法如下：

Fingers[i]＝pixels[i]＞average？1:0

其中，公式中Fingers[i]表示图像指纹序列，pixels[i]表示图像某个像素点的颜色值，即若某个像素点的灰度值大于平均颜色值，那么该像素点值为1为1，反之，则为零，即可得到一个具体的指纹序列。

S04：通过两幅图像的指纹序列来计算两张图像的之间的汉明距离，并通过汉明距离得到这两张图像的相似度。其中，汉明距离是信息论中的基本概念，用于描述两个n长字节码f₁＝[f₁ ¹,f₁ ²,f₁ ³,...f₁ ⁱ...,f₁ ^n-1,f₁ ⁿ]和

之间的距离，判断两个序列是否相似，即判断两个序列是否有不同的位数，汉明距离的计算公式为：

其中，公式中f₁和f₂分别表示不同两张图像的指纹序列，

D(f_1，f₂)表示两张图像指纹序列的汉明距离；

表示模2加运算，模2加运算即对两个序列进行异或运算，并统计结果为1的个数，若两个序列有一位不同，那么汉明距离为1，若两个序列有两位不同，那么汉明距离为2，以此类推。对于计算机来讲，运算速度是极快的，因此本方法一种基于图像相似度的仪器设备使用状态在线监测方法能够快速跟踪被测设备的工作状态变化。

得到汉明距离后，进一步计算相邻时间点的图像相似度，计算相似度的公式为：

其中，公式中sim(f_1，f₂)表示不同两张图像的指纹序列的相似度，n表示指纹序列长度，根据以上算法实际得到相似度序列，如图4所示，图中横坐标表示相似度序列，纵坐标表示相似度值。

更为具体地，根据图像之间的相似度判断被监测设备的使用状态包括以下子步骤：

S05：将图像相似度存成一个序列，然后进行差分运算，得到图像相似度的变化率；其中，对相似度序列进行差分运算的公式为：

其中，公式中|Δf(x)|表示对两张图像的相似度序列进行差分运算，f(x)表示的是前一个相似度，其中h＝1,所以f(x+h)表示的是后一个相似度，实际得到的差分相似度序列如图5所示，图中横坐标表示按时间顺序采样的被监测设备的波形图像序列，纵坐标表示相邻时间点的图像序列的相似度。

更进一步地，将相似度计算结果代入差分运算公式|Δf(x)|得到：

|Δsim|＝|sim(f₃,f₂)-sim(f₂,f₁)|

其中|Δsim|表示相似度的变化率。

S06：根据图像相似度的变化率的大小，判断被监测设备的使用状态是否发生变化并输出显示。其中，被监测设备工作时的使用状态变化通过输出模块显示。

进一步地，判断模块判断被监测设备的使用状态是否发生变化通过对相似度的变化率设定阈值的方式实现，若相似度的变化率大于设定阈值则就判定被监测设备使用状态发生变化，反之，则说明被监测设备的使用状态没有变化。如图6所示，图中横坐标表示相似度序列，纵坐标表示相似度和相似度变化率，从相邻时间点的图像相似度变化数据看出，存在相邻时间点图像相似度变化存在突变的情况；若设置的相似度的变化率阈值为20％，则很明显图中40.13>20％，说明仪器设备的使用状态发生了变化；除此以外变化率小于20％的情况，说明仪器的使用状态没有发生变化。显而易见地，图6中第九取样点到第十取样点，即在取样时间点S9到S10被监测设备的工作状态发生了变化，同样地，在取样时间点S11到S12被监测设备的工作状态发生了变化。本发明一种基于图像识别的设备使用状态在线监测方法实现了对被监测设备、仪器仪表工作状态的自动、快捷的在线监测。

作为一选项，步骤S01和步骤S02之间还包括以下步骤：

步骤S01’：将完成灰度处理的图像进行尺寸大小缩放。其中，尺寸缩放模块将采集到的图像缩放至32×32像素，去除图片的细节，只保留结构、明暗信息，摒弃不同尺寸、比例带来的图像差异。如图7所示，左边为缩小前的图像，右边为是缩小至32×32像素的图像。

实施例2

本实施例涉及一种基于图像识别的设备使用状态在线监测系统，是在实施例1的基础上作出的进一步优化，系统包括：

检测信号获取单元，用于按一定时间间隔及时间顺序获取检测设备的检测信号；

图像采集单元，包括图像采集模块，用于将检测信号转化为图像；

相似度判断单元，包括灰度转换模块、像素统计模块、图像指纹模块和图像相似度模块，用于判断图像之间的相似度；

被监测设备使用状态判断单元，包括判断模块和输出模块，用于根据图像的相似度判断被监测设备使用状态。

本发明基于图像相似度的仪器设备使用状态在线监测系统，图像采集模块按一定时间间隔及时间顺序采集检测设备检测到的信号波形，并将其转化为图像，然后灰度转换模块对采集到的图像进行灰度处理、像素统计模块再统计缩放后图片的像素点并进行平均化处理，图像指纹模块再根据平均像素颜色值计算出图像指纹序列，然后图像相似度模块比较两张图片之间的指纹序列，得出两张图片之间的汉明距离并计算出图像之间的相似度。以此继续下去，判断模块得到一个相似度序列，对相似度序列进行差分运算，得出相似度变化率，通过设定阈值的方式判断出设备使用状态的变化情况，即：如果相似度变化率大于所设定阈值，则就判定设备使用状态发生变化；如果相似度变化率小于等于所设定阈值，则就判定设备使用状态没有发生变化。

作为一优选项，相似度判断单元还包括尺寸缩放模块，用于对图像进行缩放变化，摒弃不同尺寸、比例带来的图像差异。

实施例3

本实施例涉及一种终端，是在实施例1的基础上作出的进一步优化，终端包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令；处理器运行所述计算机指令时执行实施例1基于图像识别的设备使用状态在线监测方法中的所有步骤。

以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。

Claims (9)

1.基于图像识别的设备使用状态在线监测方法，其特征在于，方法包括：

按一定时间间隔及时间顺序获取检测设备的检测信号；

将检测信号转化为图像；

判断图像之间的相似度；

根据图像之间的相似度判断被监测设备的使用状态；

所述检测设备的检测信号为检测设备获取到的被监测设备工作过程中产生的状态信号；所述将检测信号转化为图像为将检测设备检测到的被监测设备工作过程中产生的状态波形转化为图像。

2.根据权利要求1所述的基于图像识别的设备使用状态在线监测方法，其特征在于，所述判断图像之间的相似度包括以下子步骤：

将采集的图像进行灰度处理得到新图像；

统计灰度处理后的新图像的所有像素点，并计算每张新图像的平均颜色值；

根据每张新图像的平均颜色值计算出图像的指纹序列；

通过两幅图像的指纹序列来计算两张图像的之间的汉明距离，并通过汉明距离得到这两张图像的相似度。

3.根据权利要求2所述的基于图像识别的设备使用状态在线监测方法，其特征在于，所述根据图像之间的相似度判断被监测设备的使用状态包括以下子步骤：

将图像相似度存成一个序列，然后进行差分运算，得到图像相似度的变化率；

根据图像相似度的变化率的大小，判断被监测设备的使用状态是否发生变化并输出显示。

4.根据权利要求2所述的基于图像识别的设备使用状态在线监测方法，其特征在于，将采集的图像进行灰度处理的步骤和统计灰度处理后的新图像的所有像素点步骤之间还包括以下步骤：

将完成灰度处理的图像进行尺寸大小缩放。

5.根据权利要求3所述的基于图像识别的设备使用状态在线监测方法，其特征在于，所述平均颜色值计算公式为：

其中，公式中average表示图像的平均颜色值，pixels表示图像像素值，i表示起始像素点，n表示图像中像素点总个数；

所述指纹序列的获取方法是：

Fingers[i]＝pixels[i]＞average？1:0

其中，公式中Fingers[i]表示图像指纹序列的第i个点，pixels[i]表示图像某个像素点的颜色值。

6.根据权利要求5所述的基于图像识别的设备使用状态在线监测方法，其特征在于，所述汉明距离的计算公式是：

其中，公式中f₁和f₂分别表示连续两张图像的指纹序列，

D(f₁,f₂)表示连续两张图像指纹序列的汉明距离；

表示模2加运算；

所述相似度计算公式是：

其中，公式中sim(f₁，f₂)表示两张图像的指纹序列的相似度，n表示指纹序列长度。

7.根据权利要求6所述的基于图像识别的设备使用状态在线监测方法，其特征在于，所述差分运算的计算公式为：

其中，公式中|Δf(x)|表示对两张图像的相似度序列进行差分运算，f(x)表示前一个相似度，其中h＝1,所以f(x+h)表示的是后一个相似度。

8.基于图像识别的设备使用状态在线监测系统，其特征在于，系统包括：

检测信号获取单元，用于按一定时间间隔及时间顺序获取检测设备的检测信号；所述检测设备的检测信号为检测设备获取到的被监测设备工作过程中产生的状态信号；

图像采集单元，包括图像采集模块，用于将检测信号转化为图像；所述将检测信号转化为图像为将检测设备检测到的被监测设备工作过程中产生的状态波形转化为图像；

相似度判断单元，包括灰度转换模块、像素统计模块、图像指纹模块和图像相似度模块，用于判断图像之间的相似度；

被监测设备使用状态判断单元，包括判断模块和输出模块，用于根据图像的相似度判断被监测设备使用状态。

9.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至7中任一项所述的基于图像识别的设备使用状态在线监测方法的步骤。

Images