CN112488099B - 一种基于视频的电力液晶仪表上数字的检测提取装置 - Google Patents

Abstract

本发明涉及一种基于视频的电力液晶仪表上数字的检测提取装置，检测提取装置安装在待检测的既有电力液晶仪表上，包括标签、图像采集模块和图像处理模块，标签固定在电力液晶仪表上，图像采集模块和图像处理模块相连，图像采集模块设有摄像头，摄像头的镜头对准电力液晶仪表上的待检测区域，所有标签均在摄像头的视野内。与现有技术相比，本发明具有准确性高、误识率低、精度高等优点。

Description

一种基于视频的电力液晶仪表上数字的检测提取装置

技术领域

本发明涉及数字的区域检测提取技术领域，尤其是涉及一种基于视频的电力液晶仪表上数字的检测提取装置。

背景技术

目前，电力液晶仪表是变电站中应用频率较高的设备之一，用于显示电力设备在运行过程中的各种参数值，对各个位置的电力设备仪表中各参数数据的准确读取有利于掌握电力设备的工作状态，且能够有效、及时地发现电力设备在运行过程中出现的不良状况。随着科技的不断发展，智能化电力仪表检测在变电站中的应用极大地提高了变电站工作效率及运营水平，也降低了电力液晶仪表读数获取的复杂程度。但由于外界扰动或者人为不可控因素，即便使传统的识别系统中的摄像头做到相对固定，也可能导致摄像头与待识别的液晶面板出现距离移动或水平错位，这就对事先设定出来的待识别感兴趣区域(ROI)区域造成影响，距离的移动导致ROI区域变大或者变小，水平移动导致ROI区域错位，均会造成仪表数字的漏识别或误识别，导致检测识别的精度较低。

中国专利CN110717462A中公开了一种数字仪表读数识别方法，该专利中的仪表读数识别采用神经网络完成，虽然提高了识别准确度，但该方法未考虑上述摄像头与液晶面板出现的错位问题，导致识别精度较低。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种准确性高、误识率低、精度高的基于视频的电力液晶仪表上数字的检测提取装置。

本发明的目的可以通过以下技术方案来实现：

一种基于视频的电力液晶仪表上数字的检测提取装置，该装置安装在待检测的既有电力液晶仪表上，所述的检测提取装置包括标签、图像采集模块和图像处理模块；所述的标签固定在电力液晶仪表上；所述的图像采集模块和图像处理模块相连；所述的图像采集模块设有摄像头，摄像头的镜头对准电力液晶仪表上的待检测区域，所有标签均在摄像头的视野内。

优选地，所述的标签的数量为三个，三个标签的形状、大小和颜色均相同，分别固定在待检测电力液晶仪表屏区域矩形框的左上角、左下角以及右上角。

更加优选地，所述的三个标签的中心位置分别位于待检测电力液晶仪表屏区域的相应对角线的延长线上，三个标签的中心点相连构成直角三角形，且直角处所对应的点为设置在左上角的标签的中心点。

优选地，所述的图像处理模块内嵌有：

三点定位区域提取子模块，用于获取待测ROI区域；

数字字符识别子模块，用于对待测ROI区域内的数字字符进行识别；

所述的三点定位区域提取子模块与数字字符识别子模块相连；

所述的三点定位区域提取子模块包括依次相连的标记物目标检测单元、标签点坐标顺位定向单元、ROI区域偏角计算与校正单元和待识别ROI区域提取单元。

优选地，所述的标记物目标检测单元具体为：

通过轻量级EF-YOLOv4目标检测算法对设置在电力液晶仪表屏周围的三个标签进行识别和定位区域识别矩形框的中心点，并分别记录下每个中心点坐标。

更加优选地，所述的轻量级EF-YOLOV4网络结构使用Efficient-DNet为主干特征网络，并定义激活函数为LeakyReLU，网络提取两个特征作为输入，由PANet-tiny进行特征融合，最后将融合后的特征信息传入Yolo Head中进行回归预测。

更加优选地，所述的标签点坐标顺位定向单元具体为：

三个标签P₁、P₂和P₃中心点像素的坐标值为(x₁,y₁)、(x₂,y₂)和(x₃,y₃)，计算三角形三边的长度值L₁、L₂和L₃：

进一步由三角形余弦公式分别求出对应于三角形三边L₁、L₂和L₃的三个角度∠1、∠2和∠3的大小：

液晶仪表区域为矩形区域，通过对∠1、∠2和∠3的大小比较，确定三个标签P₁、P₂和P₃的顺序。

更加优选地，所述的ROI区域偏角计算与校正单元具体为：

判断ROI区域是否水平，首先校准标签中心点的坐标位置，计算ROI区域的偏移角度并判断偏移程度，偏移角度即P₂P₃与x轴的夹角，以点P₂P₃为斜边构造直角三角形，另外两条直角边的长度分别为n和m，以逆时针为正，求解图像的偏移角度γ，即：

其中，

若偏移角度的绝对值与预设阈值的大小，若|γ|＞φ_T，则将原图像进行旋转，若|γ|≤φ_T，则直接执行后续步骤，具体为：

若γ为正，即偏移角度为沿逆时针偏移|γ|，则将图像沿顺时针旋转|γ|，完成图像校正；

若γ为负，即偏移角度沿顺时针偏移|γ|，则将图像沿逆时针旋转|γ|，完成图像校正；

图像校正后再次通过轻量级EF-YOLOV4算法检测图像中的标记点，记录三个中心点坐标位置并对标志矩形框三个中心坐标点的顺序并进行排序，分别记录确定对应的P₁、P₂和P₃坐标值(X₁,Y₁)、(X₂,Y₂)和(X₃,Y₃)。

更加优选地，所述的待识别ROI区域提取单元具体为：

P₁＝(X₁,Y₁)

P₂＝(X₂,Y₂)

P₃＝(X₃,Y₃)

由P₁、P₂和P₃三点围成的三角形与待识别ROI区域的三个顶点Q₁、Q₂和Q₃围成的三角形为相似三角形，计算Q₁、Q₂和Q₃的坐标值：

Q₁＝(X₁+rcos(θ),Y₁-rsin(θ))

Q₂＝(X₂+rcos(θ),Y₁+rsin(θ))

Q₃＝(X₃-rcos(θ),Y₁+rsin(θ))

其中，r为标签的半径，θ为斜边P₁P₃与直角边P₂P₃的夹角；

然后可以根据计算出的Q₁、Q₂和Q₃坐标值获取待识别ROI区域的行首尾坐标值row₁和row₂以及列首尾坐标值col₂和col₃。

更加优选地，所述的数字字符识别子模块内嵌有既有的用于分割待识别ROI区域的图像分割算法以及用于识别数字字符的卷积神经网络算法。

与现有技术相比，本发明具有以下有益效果：

一、准确性高：本发明中的检测提取装置通过三点标记检测法可以自动检测并校准待测ROI识别区域的位置，避免了由于摄像头位置移动导致待测ROI区域的错误定位，提升了区域目标检测的准确性。

二、降低误识率：本发明中的检测提取装置可检测并判断摄像头是否倾斜，并使在倾斜状态下的待测仪表ROI区域得到位置修正，提高后续字符识别处理精度，降低了误识率。

三、检测精度高：本发明中的检测提取装置通过轻量级EF-YOLOV4目标检测算法，通过结合YOLOV4-Tiny的小参数特点以及EfficientNet高特征提取能力，在降低边缘计算单元运算成本以及运算时间的同时，提高了检测精度。

附图说明

图1为本发明中检测提取装置的模块结构示意图；

图2为本发明中选定的待识别区域以及标签设置位置的示意图；

图3为本发明实施例中轻量级EF-YOLOV4网络结构图；

图4为本发明实施例中轻量级EF-YOLOV4网络的MBC Block的结构示意图；

图5为本发明实施例中标签中心点与待识别区域的三角关系示意图；

图6为本发明实施例中坐标点位排序示意图；

图7为本发明实施例中图像偏移角度示意图；

图8为本发明实施例中图像偏移角度反向示意图；

图9为本发明中检测提取装置提取数字符号的具体流程示意图。

图中标号所示：

1、图像采集模块，2、图像处理模块，21、三点定位区域提取子模块，22、数字字符识别子模块，211、标记物目标检测单元，212、标签点坐标顺位定向单元，213、ROI区域偏角计算与校正单元，214、待识别ROI区域提取单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

一种基于视频的电力液晶仪表上数字的检测提取装置，其结构如图1所示，包括标签、图像采集模块1和图像处理模块2，标签固定在电力液晶仪表上，图像采集模块1和图像处理模块2相连，图像采集模块1设有摄像头，摄像头的镜头对准电力液晶仪表上的待检测区域，所有标签均在摄像头的视野内。

本实施例中标签的设置位置如图2所示，标签的数量为三个，三个标签的形状、大小和颜色均相同，分别固定在待检测电力液晶仪表屏区域矩形框的左上角、左下角以及右上角。三个标签的中心位置分别位于待检测电力液晶仪表屏区域的相应对角线的延长线上，三个标签的中心点相连构成直角三角形，且直角处所对应的点为设置在左上角的标签的中心点。

本实施例中设置的标签为圆形标签，圆形是一种典型形状，本领域技术人员可以使用其他标签形状应用于本装置。

图像处理模块2的结构如图1和图9所示，内嵌有：

三点定位区域提取子模块21，用于获取待测ROI区域，数字字符识别子模块22，用于对待测ROI区域内的数字字符进行识别，三点定位区域提取子模块21与数字字符识别子模块22相连，三点定位区域提取子模块21包括依次相连的标记物目标检测单元211、标签点坐标顺位定向单元212、ROI区域偏角计算与校正单元213和待识别ROI区域提取单元214。

下面对各算法模块进行详细描述：

一、标记物目标检测单元211

通过轻量级EF-YOLOv4目标检测算法对设置在电力液晶仪表屏周围的三个标签进行识别和定位区域识别矩形框的中心点，并分别记录下每个中心点坐标。

本实施例中轻量级EF-YOLOv4目标检测算法的网络结构如图3和图4所示，使用Efficient-DNet为主干特征网络，并定义激活函数为LeakyReLU，网络提取两个特征作为输入，由PANet-tiny进行特征融合，最后将融合后的特征信息传入Yolo Head中进行回归预测。

Efficient-DNet内部由1个Stem、16个MBC块堆叠以及一个DCBL块构成。其中，DCBL块由一个卷积层、BN层以及LeakyReLU激活函数组成；MBC块是由Inverted residuals结构和残差结构构成。如图4，MBC块首先通过CBS块利用1×1卷积将输入特征升维、池化和激活，进入包括3×3或者5×5网络结构的DepCBS层，通过一个关于通道的注意力机制GRCC，最后利用1×1卷积降维后增加一个大残差边。利用Efficient-Dnet主干特征提取网络获得多尺度的有效特征层，传入加强特征提取网络PANet-Tiny中进行两层特征融合。

PANet-Tiny主要是对Efficient-DNet主干特征网络提取的多尺度特征层进行特征融合。PANet-Tiny将最后一个Shape为(13,13,512)的有效特征层卷积后进行上采样，并与Shape为(26,26,256)的有效特征层进行堆叠并卷积；将得到的特征进行尺度调整后输入到YOLO Head中进行预测。

通过参数计算可知，深度学习目标检测YoloV4网络共有约6000万参数，而本实施例中轻量级EF-YOLOV4网络结构则只有1400万参数，参数减少了76.67％。

二、标签点坐标顺位定向单元212

因识别三个标记的顺序与ROI区域是否倾斜判断点P₁、P₂和P₃顺序不一定一致，故在检测到三个识别点的位置坐标后，通过坐标排序单元重新对标记点坐标的顺序进行排序，得到确定的P₁、P₂和P₃坐标值，具体确定对应的P₁、P₂和P₃坐标值方法如下：

如图5所示，三个标签P₁、P₂和P₃中心点像素的坐标值为(x₁,y₁)、(x₂,y₂)和(x₃,y₃)，计算三角形三边的长度值L₁、L₂和L₃：

进一步由三角形余弦公式分别求出对应于三角形三边L₁、L₂和L₃的三个角度∠1、∠2和∠3的大小：

液晶仪表区域为矩形区域，通过对∠1、∠2和∠3的大小比较，确定三个标签P₁、P₂和P₃的顺序。

如图6所示，图中的α、β和θ的角度大小满足：

θ＜α＜β

进一步由角度大小的关系便可以判断出三点所对应的具体位置，即得到三个对应的坐标点顺序。

例如：若∠1＜∠2＜∠3，由上述计算方法则可以确定图6中三个角α、β和θ的具体数值大小，即：

α＝∠2

β＝∠3

θ＝∠1

进一步便可以确切的得出以上三个角度所对应的坐标值为(x₁,y₁)、(x₂,y₂)和(x₃,y₃)，通过上述角度α、β和θ的大小顺序，可以得出三个坐标与点P₁,P₂,P₃相对应，结论如下：

P₁＝(x₁,y₁)

P₂＝(x₂,y₂)

P₃＝(x₃,y₃)

三、ROI区域偏角计算与校正单元213

判断ROI区域是否水平，首先校准标签中心点的坐标位置，计算ROI区域的偏移角度并判断偏移程度，偏移角度即P₂P₃与x轴的夹角，如图7和图8所示，以点P₂P₃为斜边构造直角三角形，另外两条直角边的长度分别为n和m，以逆时针为正，求解图像的偏移角度γ，即：

其中，

若偏移角度的绝对值与预设阈值的大小，若|γ|＞φ_T，则将原图像进行旋转，若|γ|≤φ_T，则直接执行后续步骤，具体为：

若γ为正，即偏移角度为沿逆时针偏移|γ|，则将图像沿顺时针旋转|γ|，完成图像校正；

若γ为负，即偏移角度沿顺时针偏移|γ|，则将图像沿逆时针旋转|γ|，完成图像校正；

本实施例中的预设阈值φ_T＝3°，本领域技术人员可根据需要自行修改阈值大小。

图像校正后再次通过轻量级EF-YOLOV4算法检测图像中的标记点，记录三个中心点坐标位置并对标志矩形框三个中心坐标点的顺序并进行排序，分别记录确定对应的P₁、P₂和P₃坐标值(X₁,Y₁)、(X₂,Y₂)和(X₃,Y₃)。

四、待识别ROI区域提取单元214

通过上述偏角校正，此时待识别ROI区域已经水平，如图5所示。

P₁＝(X₁,Y₁)

P₂＝(X₂,Y₂)

P₃＝(X₃,Y₃)

由P₁、P₂和P₃三点围成的三角形与待识别ROI区域的三个顶点Q₁、Q₂和Q₃围成的三角形为相似三角形，可由三角函数公式

计算Q₁、Q₂和Q₃的坐标值：

Q₁＝(X₁+rcos(θ),Y₁-rsin(θ))

Q₂＝(X₂+rcos(θ),Y₁+rsin(θ))

Q₃＝(X₃-rcos(θ),Y₁+rsin(θ))

其中，r为标签的半径，θ为斜边P₁P₃与直角边P₂P₃的夹角；

然后可以根据计算出的Q₁、Q₂和Q₃坐标值获取待识别ROI区域的行首尾坐标值row₁和row₂以及列首尾坐标值col₂和col₃。

五、数字字符识别子模块22

内嵌有用于分割待识别ROI区域的图像分割算法以及用于识别数字字符的卷积神经网络算法。

本实施例中使用的图像分割算法和卷积神经网络算法均为既有算法，如文献《基于纹理特征及投影法的车牌识别的研究》中所述的图像分割算法以及文献《DenselyConnected Convolutional Networks》中所述的卷积神经网络算法。

由上述步骤获得的行与列的首尾坐标值，通过图像分割算法从图像中分割出待识别ROI区域，完成在采集的视频帧图像中检测、提取仪表屏ROI区域过程，保存提取的ROI区域图像。最后通过卷积神经网络算法识别出仪表ROI区域内数字字符。

上述方法解决了由于原始设定ROI区域的错位或距离改变而不能准确地对数字进行识别的问题。与传统的检测方法相比，轻量级EF-YOLOV4网络的小参数特点，减少了本地运算成本；其高特征提取特点，提升了区域检测的准确性，避免了由于外界扰动或者人为不可控因素对电力仪表的待识别区域造成的误识别、漏识别等影响。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于视频的电力液晶仪表上数字的检测提取装置，该装置安装在待检测的既有电力液晶仪表上，其特征在于，所述的检测提取装置包括标签、图像采集模块(1)和图像处理模块(2)；所述的标签固定在电力液晶仪表上；所述的图像采集模块(1)和图像处理模块(2)相连；所述的图像采集模块(1)设有摄像头，摄像头的镜头对准电力液晶仪表上的待检测区域，所有标签均在摄像头的视野内；

所述的标签的数量为三个，三个标签的形状、大小和颜色均相同，分别固定在待检测电力液晶仪表屏区域矩形框的左上角、左下角以及右上角；

所述的三个标签的中心位置分别位于待检测电力液晶仪表屏区域的相应对角线的延长线上，三个标签的中心点相连构成直角三角形，且直角处所对应的点为设置在左上角的标签的中心点；

所述的图像处理模块(2)内嵌有：

三点定位区域提取子模块(21)，用于获取待测ROI区域；

数字字符识别子模块(22)，用于对待测ROI区域内的数字字符进行识别；

所述的三点定位区域提取子模块(21)与数字字符识别子模块(22)相连；

所述的三点定位区域提取子模块(21)包括依次相连的标记物目标检测单元(211)、标签点坐标顺位定向单元(212)、ROI区域偏角计算与校正单元(213)和待识别ROI区域提取单元(214)；

所述的标签点坐标顺位定向单元(212)具体为：

三个标签P₁、P₂和P₃中心点像素的坐标值为(x₁,y₁)、(x₂,y₂)和(x₃,y₃)，计算三角形三边的长度值L₁、L₂和L₃：

进一步由三角形余弦公式分别求出对应于三角形三边L₁、L₂和L₃的三个角度∠1、∠2和∠3的大小：

液晶仪表区域为矩形区域，通过对∠1、∠2和∠3的大小比较，确定三个标签P₁、P₂和P₃的顺序。

2.根据权利要求1所述的一种基于视频的电力液晶仪表上数字的检测提取装置，其特征在于，所述的标记物目标检测单元(211)具体为：

通过轻量级EF-YOLOv4目标检测算法对设置在电力液晶仪表屏周围的三个标签进行识别和定位区域识别矩形框的中心点，并分别记录下每个中心点坐标。

3.根据权利要求2所述的一种基于视频的电力液晶仪表上数字的检测提取装置，其特征在于，所述的轻量级EF-YOLOV4网络结构使用Efficient-DNet为主干特征网络，并定义激活函数为LeakyReLU，网络提取两个特征作为输入，由PANet-tiny进行特征融合，最后将融合后的特征信息传入Yolo Head中进行回归预测。

4.根据权利要求1所述的一种基于视频的电力液晶仪表上数字的检测提取装置，其特征在于，所述的ROI区域偏角计算与校正单元(213)具体为：

判断ROI区域是否水平，首先校准标签中心点的坐标位置，计算ROI区域的偏移角度并判断偏移程度，偏移角度即P₂P₃与x轴的夹角，以点P₂P₃为斜边构造直角三角形，另外两条直角边的长度分别为n和m，以逆时针为正，求解图像的偏移角度γ，即：

其中，

若偏移角度的绝对值与预设阈值的大小，若|γ|＞φ_T，则将原图像进行旋转，若|γ|≤φ_T，则直接执行后续步骤，具体为：

若γ为正，即偏移角度为沿逆时针偏移|γ|，则将图像沿顺时针旋转|γ|，完成图像校正；

若γ为负，即偏移角度沿顺时针偏移|γ|，则将图像沿逆时针旋转|γ|，完成图像校正；

图像校正后再次通过轻量级EF-YOLOV4算法检测图像中的标记点，记录三个中心点坐标位置并对标志矩形框三个中心坐标点的顺序并进行排序，分别记录确定对应的P₁、P₂和P₃坐标值(X₁,Y₁)、(X₂,Y₂)和(X₃,Y₃)。

5.根据权利要求1所述的一种基于视频的电力液晶仪表上数字的检测提取装置，其特征在于，所述的待识别ROI区域提取单元(214)具体为：

P₁＝(X₁,Y₁)

P₂＝(X₂,Y₂)

P₃＝(X₃,Y₃)

由P₁、P₂和P₃三点围成的三角形与待识别ROI区域的三个顶点Q₁、Q₂和Q₃围成的三角形为相似三角形，计算Q₁、Q₂和Q₃的坐标值：

Q₁＝(X₁+rcos(θ),Y₁-rsin(θ))

Q₂＝(X₂+rcos(θ),Y₁+rsin(θ))

Q₃＝(X₃-rcos(θ),Y₁+rsin(θ))

其中，r为标签的半径，θ为斜边P₁P₃与直角边P₂P₃的夹角；

然后可以根据计算出的Q₁、Q₂和Q₃坐标值获取待识别ROI区域的行首尾坐标值row₁和row₂以及列首尾坐标值col₂和col₃。

6.根据权利要求1所述的一种基于视频的电力液晶仪表上数字的检测提取装置，其特征在于，所述的数字字符识别子模块(22)内嵌有既有的用于分割待识别ROI区域的图像分割算法以及用于识别数字字符的卷积神经网络算法。

Images