CN114519694A - 基于深度学习的七段数码管液晶显示屏识别方法及系统 - Google Patents

基于深度学习的七段数码管液晶显示屏识别方法及系统 Download PDF

Info

Publication number
CN114519694A
CN114519694A CN202111631707.9A CN202111631707A CN114519694A CN 114519694 A CN114519694 A CN 114519694A CN 202111631707 A CN202111631707 A CN 202111631707A CN 114519694 A CN114519694 A CN 114519694A
Authority
CN
China
Prior art keywords
image
liquid crystal
crystal display
display screen
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111631707.9A
Other languages
English (en)
Inventor
何欣
刘红阳
陈永超
于俊洋
王光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202111631707.9A priority Critical patent/CN114519694A/zh
Publication of CN114519694A publication Critical patent/CN114519694A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

本发明公开了一种基于深度学习的七段数码管液晶显示屏识别方法及系统，该方法步骤如下：(1)识别图像的预处理操作：对输入图像进行归一化、灰度化、高斯滤波、自适应阈值分割、图像去噪等一系列操作；(2)液晶显示屏中七段数码管定位操作：使用YOLOv3对液晶显示屏中的数码管进行区域定位；(3)图像增强操作：对图像进行腐蚀、膨胀操作，以减少图像中的干扰区域，以及使前后背景更加分离，消除数码管之间的空洞；(4)图像识别操作：对处理出来的感兴趣区域进行数字字符分割操作，使每一个数字单独分割为一张图片，然后使用穿线法进行识别。本发明可以更加精确的读取七段数码管液晶显示屏中的相关内容。

Description

基于深度学习的七段数码管液晶显示屏识别方法及系统
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种基于深度学习的七段数码管液晶显示屏识别方法及系统。
背景技术
七段数码管类显示屏以其价格便宜、使用简单、精度高等优点在现实生活中有着广泛的应用，但是在一些环境中需要工作人员对显示屏中的内容进行监控和记录。在人工情况下，不仅容易丢失数据而且工作量较大、成本较高无法做到实时采集。如何使用计算机视觉相关技术解决这类问题是各行各业现如今普遍面临的一个难题。
发明内容
本发明针对人工监控和记录显示屏数据情况下，不仅容易丢失数据而且工作量较大、成本较高无法做到实时采集问题，提出一种基于深度学习的七段数码管液晶显示屏识别方法及系统，可以实现各种七段数码管液晶显示屏中数字的识别，特别是对智能电表、水表等相关仪表识别的准确度以及速度有了一个很大的提升。
为了实现上述目的，本发明采用以下技术方案：
本发明一方面提出一种基于深度学习的七段数码管液晶显示屏识别方法，包括：
步骤1：采用加权平均值的归一化方法将图像转换成255个灰度值表示的单通道灰度图像，然后通过双边高斯滤波对图像进行降噪，并通过固定阈值二值化增加图像前景和背景信息的区分度；
步骤2：对步骤1处理后的图像使用YOLOv3进行液晶显示屏的区域定位；YOLOv3通过Darknet-53网络提取浅层特征，通过上采样分离深层特征，并将提取的深层特征和浅层特征进行融合；
步骤3：对二值化后的图像进行腐蚀处理，使目标区域即感兴趣区域更加突出；再进行图形膨胀处理，消除每段数码管之间的空白区域，填补数字之间的空洞区域；
步骤4：采用阈值分割方法，将步骤3处理后的图像不同位置对应不同灰度值，将目标区域与背景区域即不感兴趣区域转换成两个不同的灰度级，依次完成目标区域的分离提取；然后再用投影法将各数字分割为单独的图片；最后使用穿线法识别出每个数字，然后拼接在一起。
进一步地，所述步骤1还包括：将RGB图像转换成HSV图像，然后再对HSV图像进行分离，分别分离出H、S、V图像。
进一步地，所述加权平均值的归一化方法包括：
W(a,b)＝(MR*G(a,b)R+MG*G(a,b)G+MB*G(a,b)B)/3
其中W(a,b)表示归一化后的像素点(a,b)的像素值，MR、MG、MB分别表示G(a,b)R、G(a,b)G、G(a,b)B的权重值，G(a,b)R、G(a,b)G、G(a,b)B分别表示像素点(a,b)中的R、G、B三个分量。
进一步地，所述双边高斯滤波的计算如下：
Figure BDA0003440424360000021
其中Mm是一个标准量：
Figure BDA0003440424360000022
其中EP[J]表示灰度值J的双边高斯滤波，Mm为高斯双边滤波的归一化系数，Jm和Jn分别为需要处理图像中的像素点坐标分别为m和n对应的灰度值，σr表示在卷积运算中高斯滤波的图像亮度标准差，σd表示高斯函数的标准差，
Figure BDA0003440424360000023
为双边滤波器中的空间邻近度函数，
Figure BDA0003440424360000024
为双边滤波器中的灰度相似度函数；S表示在初始图像中将图像转换到HSV域，选取S通道图像进行二值化得到的图像范围。
进一步地，所述步骤2包括：
在整个YOLOv3网络中的3个不同位置的3种不同尺度特征图上检测需要的区域，使用多个独立的逻辑分类器代替YOLOv3的Sofmax函数，通过Darknet-53网络提取浅层特征，通过上采样提取深层特征，在通道纬度上进行拼接实现深层特征与浅层特征的融合。
进一步地，所述步骤3包括：
按照下式进行腐蚀处理：
Figure BDA0003440424360000031
其中Q是点(a,b)通过腐蚀后得到的新值，G表示二值化后的图像，Hab表示结构元素H从原点移动到点(a,b)处，W为连通域；当结构元素H从原点移动到(a,b)处时，如果
Figure BDA0003440424360000032
则在腐蚀处理后将该点值定义为1，反之定义为0；
按照下式进行膨胀处理：
Figure BDA0003440424360000033
其中Q′是点(a,b)通过膨胀后得到的新值，G′表示腐蚀后的二值图像，H′ab表示结构元素H′从原点移动到点(a,b)处，W′为连通域；如果H′与W′有交集，则膨胀后将该点值定义为1，反之定义为0。
进一步地，所述步骤4包括：
步骤4.1：计算出图像中所有像素点的阈值即灰度值，然后再计算出全局阈值，如果某一像素点的阈值与全局阈值相差数值大，直接使用全局阈值对该点进行二值化，反之利用局部阈值分割的方法对该点进行二值化；
步骤4.2：阈值分割后，再遍历感兴趣区域中的轮廓，去掉面积小于固定值的轮廓；
步骤4.3：进行水平投影分割，选出感兴趣区域所在的位置，再对选出的位置进行垂直投影分割，将各数字分割为单个图片；
步骤4.4：判断识别出的数字是否是1和8，若否将垂线个数相同的数字放在一起，再按照穿线法、通过位置和垂线个数判断出所识别的数字。
本发明另一方面提出一种基于深度学习的七段数码管液晶显示屏识别系统，包括：
预处理模块，用于采用加权平均值的归一化方法将图像转换成255个灰度值表示的单通道灰度图像，然后通过双边高斯滤波对图像进行降噪，并通过固定阈值二值化增加图像前景和背景信息的区分度；
特征提取模块，用于对预处理模块处理后的图像使用YOLOv3进行液晶显示屏的区域定位；YOLOv3通过Darknet-53网络提取浅层特征，通过上采样分离深层特征，并将提取的深层特征和浅层特征进行融合；
腐蚀、膨胀处理模块，用于对二值化后的图像进行腐蚀处理，使目标区域即感兴趣区域更加突出；再进行图形膨胀处理，消除每段数码管之间的空白区域，填补数字之间的空洞区域；
数字识别模块，用于采用阈值分割方法，将腐蚀、膨胀处理模块处理后的图像不同位置对应不同灰度值，将目标区域与背景区域即不感兴趣区域转换成两个不同的灰度级，依次完成目标区域的分离提取；然后再用投影法将各数字分割为单独的图片；最后使用穿线法识别出每个数字，然后拼接在一起。
进一步地，所述预处理模块还用于将RGB图像转换成HSV图像，然后再对HSV图像进行分离，分别分离出H、S、V图像。
进一步地，所述加权平均值的归一化方法包括：
W(a,b)＝(MR*G(a,b)R+MG*G(a,b)G+MB*G(a,b)B)/3
其中W(a,b)表示归一化后的像素点(a,b)的像素值，MR、MG、MB分别表示G(a,b)R、G(a,b)G、G(a,b)B的权重值，G(a,b)R、G(a,b)G、G(a,b)B分别表示像素点(a,b)中的R、G、B三个分量。
进一步地，所述双边高斯滤波的计算如下：
Figure BDA0003440424360000041
其中Mm是一个标准量：
Figure BDA0003440424360000042
其中EP[J]表示灰度值J的双边高斯滤波，Mm为高斯双边滤波的归一化系数，Jm和Jn分别为需要处理图像中的像素点坐标分别为m和n对应的灰度值，σr表示在卷积运算中高斯滤波的图像亮度标准差，σd表示高斯函数的标准差，
Figure BDA0003440424360000043
为双边滤波器中的空间邻近度函数，
Figure BDA0003440424360000044
为双边滤波器中的灰度相似度函数；S表示在初始图像中将图像转换到HSV域，选取S通道图像进行二值化得到的图像范围。
进一步地，所述特征提取模块具体用于：
在整个YOLOv3网络中的3个不同位置的3种不同尺度特征图上检测需要的区域，使用多个独立的逻辑分类器代替YOLOv3的Sofmax函数，通过Darknet-53网络提取浅层特征，通过上采样提取深层特征，在通道纬度上进行拼接实现深层特征与浅层特征的融合。
进一步地，所述腐蚀、膨胀处理模块具体用于：
按照下式进行腐蚀处理：
Figure BDA0003440424360000051
其中Q是点(a,b)通过腐蚀后得到的新值，G表示二值化后的图像，Hab表示结构元素H从原点移动到点(a,b)处，W为连通域；当结构元素H从原点移动到(a,b)处时，如果
Figure BDA0003440424360000053
则在腐蚀处理后将该点值定义为1，反之定义为0；
按照下式进行膨胀处理：
Figure BDA0003440424360000052
其中Q′是点(a,b)通过膨胀后得到的新值，G′表示腐蚀后的二值图像，H′ab表示结构元素H′从原点移动到点(a,b)处，W′为连通域；如果H′与W′有交集，则膨胀后将该点值定义为1，反之定义为0。
进一步地，所述数字识别模块具体用于：
步骤4.1：计算出图像中所有像素点的阈值即灰度值，然后再计算出全局阈值，如果某一像素点的阈值与全局阈值相差数值大，直接使用全局阈值对该点进行二值化，反之利用局部阈值分割的方法对该点进行二值化；
步骤4.2：阈值分割后，再遍历感兴趣区域中的轮廓，去掉面积小于固定值的轮廓；
步骤4.3：进行水平投影分割，选出感兴趣区域所在的位置，再对选出的位置进行垂直投影分割，将各数字分割为单个图片；
步骤4.4：判断识别出的数字是否是1和8，若否将垂线个数相同的数字放在一起，再按照穿线法、通过位置和垂线个数判断出所识别的数字。
与现有技术相比，本发明具有的有益效果：
本发明在图像预处理中采用了加权平均值的归一化操作将图像变成255个灰度值表示的单通道灰度图像，方便后续图像的处理。在紧接着的滤波降噪处理的过程中，我们通过不断试验，发现了高斯双边滤波对该场景下的应用效果最高。该方法可以根据不同图片的不同情况，保留图片的亮度等信息，将各像素点中的R、G、B三个分量分别与不同的权重值相乘，最后单通道灰度图像的像素值和R、G、B三通道中的像素加权平均值的和相等；处理后的图片采用双边高斯滤波在尽可能的保留有用信息的情况下去除噪声。
本发明在检测感兴趣区域时使用了YOLOv3方法，YOLOv3通过上采样提取深层特征，在与浅层特征融合过程中达到纬度相同，但是深层特征和浅层特征的通道数不同，在通道纬度上进行拼接实现特征融合，这样就能提高整个网络的非线性程度，增加在预测过程中的泛化性能，又可以有效的提升整个网络的精度，减少整个模型的参数数量，提高整个模型的实时性，就能更大限度提高小目标检测的精度。
在检测到感兴趣区域后，本发明通过腐蚀操作将检测到的感兴趣区域收缩，消除小和干扰图像块；然后使用了膨胀操作将检测到的图像做放大操作，可以填充图像块中物体内的一些空白区域，使图像的前后背景更加分离，有利于进一步的分割。
常规方法下，图像的阈值分割主要可以分为两种方法：全局阈值分割法和局部阈值分割法。通过实验我们发现，单一的阈值分割方法的效果低于两种阈值分割方法结合的方法。本发明将全局阈值分割法和局部阈值分割法相结合，进一步提高了阈值分割的效果。
基于投影的图像分割算法需要对图像进行水平和垂直两种分割才能将字符分割出来，这就会造成在在垂直分割中感兴趣区域会被分割成多张图片，再进行水平分割会造成大量的计算量。为了降低计算，本发明首先进行水平投影分割，选出感兴趣区域所在的位置，再对选出的位置进行垂直投影分割，将数字字符分割为单个图片。
综上，本发明可以实现各种七段数码管液晶显示屏中数字的识别，特别是对智能电表、水表等相关仪表识别的准确度以及速度有了一个很大的提升，且节约了成本、降低了工作量。
附图说明
图1为本发明实施例一种基于深度学习的七段数码管液晶显示屏识别方法的流程图；
图2为穿线法示意图；
图3为穿线法中不同数字的数码管所对应的位置和垂线个数；
图4为本发明效果示例图之一；
图5为本发明效果示例图之二；
图6为本发明实施例一种基于深度学习的七段数码管液晶显示屏识别系统架构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明：
如图1所示，一种基于深度学习的七段数码管液晶显示屏识别方法，包括：
步骤S101：采用加权平均值的归一化方法将图像转换成255个灰度值表示的单通道灰度图像，然后通过双边高斯滤波对图像进行降噪，尽可能的去除图片中的噪声区域，并通过固定阈值二值化增加图像前景和背景信息的区分度。具体地，由于彩色图像(RGB图像)中携带的数据量过多，所以在处理过程中先将RGB图像转换成HSV图像，减少图片的信息量，然后再对HSV进行分离，分别分离出H、S、V图像；
步骤S102：对步骤S101处理后的图像使用YOLOv3进行液晶显示屏的区域定位；YOLOv3通过Darknet-53网络提取浅层特征，通过上采样分离深层特征，将提取的深层特征和浅层特征进行融合，增加检测到目标区域的准确度；
步骤S103：对二值化后的图像进行腐蚀处理，腐蚀处理后的图片使目标图形进一步收缩，更大限度的消除了小且无意义的目标，进一步使目标区域更加突出；再进行图形膨胀处理，将目标图像放大，消除每段数码管之间的空白区域，填补数字之间的空洞区域；
步骤S104：采用阈值分割方法，将步骤S103处理后的图像的长宽给定一个固定的阈值(W≥5and 99≥H≥30)用于判断相关图像块是否是感兴趣区域，图像不同位置对应不同灰度值，将目标区域与背景区域即不感兴趣区域转换成两个不同的灰度级，依次完成目标区域的分离提取；然后再用投影法将各数字分割为单独的图片；最后使用穿线法识别出每个数字，然后拼接在一起。
进一步地，步骤S101中的加权平均值的归一化方法和双边高斯滤波的计算如下：
W(a,b)＝(MR*G(a,b)R+MG*G(a,b)G+MB*G(a,b)B)/3
其中，MR、MG、MB对应的是图片像素点(a,b)中的G(a,b)R、G(a,b)G、G(a,b)B的权重值，G(a,b)R、G(a,b)G、G(a,b)B分别表示像素点(a,b)中的R、G、B三个分量。该方法可以根据不同图片的不同情况，保留图片的亮度等信息，将各像素点中的R、G、B三个分量分别与不同的权重值相乘，最后单通道灰度图像的像素值和R、G、B三通道中的像素加权平均值的和相等；处理后的图片采用双边高斯滤波在尽可能的保留有用信息的情况下去除噪声，双边滤波的计算如下：
Figure BDA0003440424360000081
其中Mm是一个标准量：
Figure BDA0003440424360000082
在上面的式子中EP[J]表示灰度值J的双边高斯滤波，Mm为高斯双边滤波的归一化系数，Jm和Jn则为需要处理图像中的像素点坐标为m和n对应的灰度值，σr表示在卷积运算中高斯滤波的图像亮度标准差，σd表示高斯函数的标准差。
Figure BDA0003440424360000083
为双边滤波器中的空间邻近度函数，是一个空间函数。
Figure BDA0003440424360000084
为双边滤波器中的灰度相似度函数，是一个范围函数。S表示在初始图像中将图像转换到HSV域，选取S通道图像进行二值化得到的图像范围。
进一步地，步骤S102中YOLOv3的检测方法具体包括为：
在本方法中YOLOv3采用和FPN(Feature Pyramid Network)相仿的方法进行图像的多尺度预测，在整个网络中的3个不同位置的3种不同尺度特征图上检测我们需要的区域，再使用多个独立的逻辑分类器代替其中的Sofmax函数，此外YOLOv3通过使用Darknet-53网络提取浅层特征，通过上采样分离深层特征，在与浅层特征融合过程中达到纬度相同，但是深层特征和浅层特征的通道数不同，在通道纬度上进行拼接实现特征融合，这样就能提高整个网络的非线性程度，增加在预测过程中的泛化性能，又可以有效的提升整个网络的精度，减少整个模型的参数数量，提高整个模型的实时性，就能更大限度提高小目标检测的精度。
具体地，所述步骤S103包括：
步骤S103中的腐蚀操作是在图像二值化后将检测到的感兴趣区域收缩，消除小和干扰图像块，假设二值化后的图像为G，通常设其连通域设为W，结构元素为H，当一个结构元素H从原点移动到点(a,b)处时，记作Hab。此时图像G被结构元素腐蚀的运算可以表示为：
Figure BDA0003440424360000091
Q是点(a,b)通过腐蚀后得到的新的值。该式的意义为，当结构元素H从原点移动到(a,b)处时，如果
Figure BDA0003440424360000093
则我们在腐蚀后将该点值定义为1，反之定义为0。通过我们不断反复的测试，在腐蚀后图像中一些小的干扰细节消失不见了，一些大的图像块收缩变小。
对于膨胀操作，主要目的是将检测到的图像做放大操作，可以填充图像块中物体内的一些空白区域。设腐蚀操作后的二值图像为G′，其连通区域设为W’，结构元素为H’，当一个结构元素H’从原点移动到点(a,b)处时，记作H’ab。此时图像G′被结构元素腐蚀的运算可以表示为如下：
Figure BDA0003440424360000092
Q′是点(a,b)通过膨胀后得到的新值，该式的意义是，当结构元素H′从原点移动到(a,b)处时，如果H′与W′有交集，则我们在膨胀后将该点值定义为1，反之定义为0。该操作会影响感兴趣区域中白色部分的分离，同时还会使感兴趣区域中的白色干扰部分面积增大。
进一步地，所述步骤S104包括：
通过前几步骤已经完成对感兴趣区域的分割，排除了感兴趣区域之外的干扰，接下来的任务就是在此基础上，进一步完成对图像中感兴趣区域中的数字字符的分割和识别。为了让该方法能够适配更复杂的环境，考虑到许多环境下大多数液晶显示屏会出现曝光和光照不足等情况，虽然对识别图片进行了高斯滤波处理，基本排除了噪声干扰，但是这也会对二值化后的图片产生很大的干扰。在此步骤中我们使用图像的阈值分割，就是根据在不同的区域，图像对应的灰度值不同将感兴趣区域与无关区域转成两个不同的灰度级，然后再依次完成对感兴趣区域的提取和分离。常规方法下，图像的阈值分割主要可以分为两种方法：全局阈值分割法和局部阈值分割法。通过实验我们发现，单一的阈值分割方法的效果低于两种阈值分割方法结合的方法。该算法的主要步骤如下：先计算出图像中所有像素点的阈值，然后再计算出全局阈值，如果某一点的像素的阈值与全局阈值相差数值很大，直接使用全局阈值对该点进行二值化，倘若差距不大则利用局部阈值分割的方法对这点进行二值化。经进行过阈值分割后，再遍历感兴趣区域中的轮廓，去掉面积小于固定阈值的轮廓。相关分步骤如下：
1)首先计算出全局阈值A1读取像素点灰度值W(a,b)，若存在W(a,b)≤(1-x)A1或者W(a,b)≥(1+x)A1，可以用全局阈值A1对该点进行二值化，其中x是经验参数；作为一种可实施方式，采用全局阈值分割法中的最大熵法；
2)如果存在(1-x)A1<W(a,b)<(1+x)A1，则使用计算局部阈值的方法使用局部阈值A2对此点进行二值化；
3)遍历二值化后图像中存在的所有轮廓，去除其中面积小于m的轮廓。其中m在此设置为经验参数。
经过以上处理的图片，基本上已经完成字符与屏幕背景的分离操作，接下来就是要对感兴趣区域的数字字符进行分割操作，使感兴趣区域内的数字分离为一张一张单个的图片，以便后续进行识别。考虑到七段数码管中的字符中每段数码管之间是不连通的，直接对分割后的图片进行识别会造成识别结果不准确的问题。本方法中在之前的步骤已经大范围排除了相关因素的干扰，并且需要识别的字符在感兴趣区域中相对集中，与其他干扰的因素相差较大，并且每个字符之间的间隙比较大，因此经过反复试验，我们发现采用基于投影的分割算法分割精度最高。因为基于投影的图像分割算法需要对图像进行水平和垂直两种分割才能将字符分割出来，这就会造成在垂直分割中感兴趣区域会被分割成多张图片，再进行水平分割会造成大量的计算量。为了降低计算，我们在设计算法时，首先进行水平投影分割，选出感兴趣区域所在的位置，再对选出的位置进行垂直投影分割，将数字字符分割为单个图片。
现有的数字识别方法已经很成熟，因此结合该方法的整体需求我们选用了穿线法进行最后的数字识别。本方法中改进了现有的穿线法，穿线法主要是通过定义的垂直于七条数码管的七条垂线和数码管之间的相交个数来确定是哪个数字。如图2所示。
图3是罗列出的每个数字中所对应的垂线个数。从图3我们可以发现规律，数字1和8所对应的数码管条数不同于其他数字，所以我们可以首先判断识别的数字是否是1和8。若不是，我们再将垂线个数相同的数字放在一起，再通过位置和垂线个数判断出所识别的数字。
作为一种示例，本发明的识别效果如图4、图5所示。
在上述实施例的基础上，如图6所示，本发明另一方面提出一种基于深度学习的七段数码管液晶显示屏识别系统，包括：
预处理模块，用于采用加权平均值的归一化方法将图像转换成255个灰度值表示的单通道灰度图像，然后通过双边高斯滤波对图像进行降噪，并通过固定阈值二值化增加图像前景和背景信息的区分度；
特征提取模块，用于对预处理模块处理后的图像使用YOLOv3进行液晶显示屏的区域定位；YOLOv3通过Darknet-53网络提取浅层特征，通过上采样分离深层特征，并将提取的深层特征和浅层特征进行融合；
腐蚀、膨胀处理模块，用于对二值化后的图像进行腐蚀处理，使目标区域即感兴趣区域更加突出；再进行图形膨胀处理，消除每段数码管之间的空白区域，填补数字之间的空洞区域；
数字识别模块，用于采用阈值分割方法，将腐蚀、膨胀处理模块处理后的图像不同位置对应不同灰度值，将目标区域与背景区域即不感兴趣区域转换成两个不同的灰度级，依次完成目标区域的分离提取；然后再用投影法将各数字分割为单独的图片；最后使用穿线法识别出每个数字，然后拼接在一起。
进一步地，所述预处理模块还用于将RGB图像转换成HSV图像，然后再对HSV图像进行分离，分别分离出H、S、V图像。
进一步地，所述加权平均值的归一化方法包括：
W(a,b)＝(MR*G(a,b)R+MG*G(a,b)G+MB*G(a,b)B)/3
其中W(a,b)表示归一化后的像素点(a,b)的像素值，MR、MG、MB分别表示G(a,b)R、G(a,b)G、G(a,b)B的权重值，G(a,b)R、G(a,b)G、G(a,b)B分别表示像素点(a,b)中的R、G、B三个分量。
进一步地，所述双边高斯滤波的计算如下：
Figure BDA0003440424360000121
其中Mm是一个标准量：
Figure BDA0003440424360000122
其中EP[J]表示灰度值J的双边高斯滤波，Mm为高斯双边滤波的归一化系数，Jm和Jn分别为需要处理图像中的像素点坐标分别为m和n对应的灰度值，σr表示在卷积运算中高斯滤波的图像亮度标准差，σd表示高斯函数的标准差，
Figure BDA0003440424360000123
为双边滤波器中的空间邻近度函数，
Figure BDA0003440424360000124
为双边滤波器中的灰度相似度函数；S表示在初始图像中将图像转换到HSV域，选取S通道图像进行二值化得到的图像范围。
进一步地，所述特征提取模块具体用于：
在整个YOLOv3网络中的3个不同位置的3种不同尺度特征图上检测需要的区域，使用多个独立的逻辑分类器代替YOLOv3的Sofmax函数，通过Darknet-53网络提取浅层特征，通过上采样提取深层特征，在通道纬度上进行拼接实现深层特征与浅层特征的融合。
进一步地，所述腐蚀、膨胀处理模块具体用于：
按照下式进行腐蚀处理：
Figure BDA0003440424360000125
其中Q是点(a,b)通过腐蚀后得到的新值，G表示二值化后的图像，Hab表示结构元素H从原点移动到点(a,b)处，W为连通域；当结构元素H从原点移动到(a,b)处时，如果
Figure BDA0003440424360000126
则在腐蚀处理后将该点值定义为1，反之定义为0；
按照下式进行膨胀处理：
Figure BDA0003440424360000131
其中Q′是点(a,b)通过膨胀后得到的新值，G′表示腐蚀后的二值图像，H′ab表示结构元素H′从原点移动到点(a,b)处，W′为连通域；如果H′与W′有交集，则膨胀后将该点值定义为1，反之定义为0。
进一步地，所述数字识别模块具体用于：
步骤4.1：计算出图像中所有像素点的阈值即灰度值，然后再计算出全局阈值，如果某一像素点的阈值与全局阈值相差数值大，直接使用全局阈值对该点进行二值化，反之利用局部阈值分割的方法对该点进行二值化；
步骤4.2：阈值分割后，再遍历感兴趣区域中的轮廓，去掉面积小于固定值的轮廓；
步骤4.3：进行水平投影分割，选出感兴趣区域所在的位置，再对选出的位置进行垂直投影分割，将各数字分割为单个图片；
步骤4.4：判断识别出的数字是否是1和8，若否将垂线个数相同的数字放在一起，再按照穿线法、通过位置和垂线个数判断出所识别的数字。
综上，本发明在图像预处理中采用了加权平均值的归一化操作将图像变成255个灰度值表示的单通道灰度图像，方便后续图像的处理。在紧接着的滤波降噪处理的过程中，我们通过不断试验，发现了高斯双边滤波对该场景下的应用效果最高。该方法可以根据不同图片的不同情况，保留图片的亮度等信息，将各像素点中的R、G、B三个分量分别与不同的权重值相乘，最后单通道灰度图像的像素值和R、G、B三通道中的像素加权平均值的和相等；处理后的图片采用双边高斯滤波在尽可能的保留有用信息的情况下去除噪声。
本发明在检测感兴趣区域时使用了YOLOv3方法，YOLOv3通过上采样提取深层特征，在与浅层特征融合过程中达到纬度相同，但是深层特征和浅层特征的通道数不同，在通道纬度上进行拼接实现特征融合，这样就能提高整个网络的非线性程度，增加在预测过程中的泛化性能，又可以有效的提升整个网络的精度，减少整个模型的参数数量，提高整个模型的实时性，就能更大限度提高小目标检测的精度。
在检测到感兴趣区域后，本发明通过腐蚀操作将检测到的感兴趣区域收缩，消除小和干扰图像块；然后使用了膨胀操作将检测到的图像做放大操作，可以填充图像块中物体内的一些空白区域，使图像的前后背景更加分离，有利于进一步的分割。
常规方法下，图像的阈值分割主要可以分为两种方法：全局阈值分割法和局部阈值分割法。通过实验我们发现，单一的阈值分割方法的效果低于两种阈值分割方法结合的方法。本发明将全局阈值分割法和局部阈值分割法相结合，进一步提高了阈值分割的效果。
基于投影的图像分割算法需要对图像进行水平和垂直两种分割才能将字符分割出来，这就会造成在在垂直分割中感兴趣区域会被分割成多张图片，再进行水平分割会造成大量的计算量。为了降低计算，本发明首先进行水平投影分割，选出感兴趣区域所在的位置，再对选出的位置进行垂直投影分割，将数字字符分割为单个图片。
本发明可以实现各种七段数码管液晶显示屏中数字的识别，特别是对智能电表、水表等相关仪表识别的准确度以及速度有了一个很大的提升，且节约了成本、降低了工作量。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于深度学习的七段数码管液晶显示屏识别方法，其特征在于，包括：
步骤1：采用加权平均值的归一化方法将图像转换成255个灰度值表示的单通道灰度图像，然后通过双边高斯滤波对图像进行降噪，并通过固定阈值二值化增加图像前景和背景信息的区分度；
步骤2：对步骤1处理后的图像使用YOLOv3进行液晶显示屏的区域定位；YOLOv3通过Darknet-53网络提取浅层特征，通过上采样分离深层特征，并将提取的深层特征和浅层特征进行融合；
步骤3：对二值化后的图像进行腐蚀处理，使目标区域即感兴趣区域更加突出；再进行图形膨胀处理，消除每段数码管之间的空白区域，填补数字之间的空洞区域；
步骤4：采用阈值分割方法，将步骤3处理后的图像不同位置对应不同灰度值，将目标区域与背景区域即不感兴趣区域转换成两个不同的灰度级，依次完成目标区域的分离提取；然后再用投影法将各数字分割为单独的图片；最后使用穿线法识别出每个数字，然后拼接在一起。
2.根据权利要求1所述的基于深度学习的七段数码管液晶显示屏识别方法，其特征在于，所述步骤1还包括：将RGB图像转换成HSV图像，然后再对HSV图像进行分离，分别分离出H、S、V图像。
3.根据权利要求1或2所述的基于深度学习的七段数码管液晶显示屏识别方法，其特征在于，所述加权平均值的归一化方法包括：
W(a,b)＝(MR*G(a,b)R+MG*G(a,b)G+MB*G(a,b)B)/3
其中W(a,b)表示归一化后的像素点(a,b)的像素值，MR、MG、MB分别表示G(a,b)R、G(a,b)G、G(a,b)B的权重值，G(a,b)R、G(a,b)G、G(a,b)B分别表示像素点(a,b)中的R、G、B三个分量。
4.根据权利要求2所述的基于深度学习的七段数码管液晶显示屏识别方法，其特征在于，所述双边高斯滤波的计算如下：
Figure FDA0003440424350000011
其中Mm是一个标准量：
Figure FDA0003440424350000021
其中EP[J]表示灰度值J的双边高斯滤波，Mm为高斯双边滤波的归一化系数，Jm和Jn分别为需要处理图像中的像素点坐标分别为m和n对应的灰度值，σr表示在卷积运算中高斯滤波的图像亮度标准差，σd表示高斯函数的标准差，
Figure FDA0003440424350000023
为双边滤波器中的空间邻近度函数，
Figure FDA0003440424350000024
为双边滤波器中的灰度相似度函数；S表示在初始图像中将图像转换到HSV域，选取S通道图像进行二值化得到的图像范围。
5.根据权利要求1所述的基于深度学习的七段数码管液晶显示屏识别方法，其特征在于，所述步骤2包括：
在整个YOLOv3网络中的3个不同位置的3种不同尺度特征图上检测需要的区域，使用多个独立的逻辑分类器代替YOLOv3的Sofmax函数，通过Darknet-53网络提取浅层特征，通过上采样提取深层特征，在通道纬度上进行拼接实现深层特征与浅层特征的融合。
6.根据权利要求4所述的基于深度学习的七段数码管液晶显示屏识别方法，其特征在于，所述步骤3包括：
按照下式进行腐蚀处理：
Figure FDA0003440424350000025
其中Q是点(a,b)通过腐蚀后得到的新值，G表示二值化后的图像，Hab表示结构元素H从原点移动到点(a,b)处，W为连通域；当结构元素H从原点移动到(a,b)处时，如果
Figure FDA0003440424350000026
则在腐蚀处理后将该点值定义为1，反之定义为0；
按照下式进行膨胀处理：
Figure FDA0003440424350000022
其中Q′是点(a,b)通过膨胀后得到的新值，G′表示腐蚀后的二值图像，H′ab表示结构元素H′从原点移动到点(a,b)处，W′为连通域；如果H′与W′有交集，则膨胀后将该点值定义为1，反之定义为0。
7.根据权利要求1所述的基于深度学习的七段数码管液晶显示屏识别方法，其特征在于，所述步骤4包括：
步骤4.1：计算出图像中所有像素点的阈值即灰度值，然后再计算出全局阈值，如果某一像素点的阈值与全局阈值相差数值大，直接使用全局阈值对该点进行二值化，反之利用局部阈值分割的方法对该点进行二值化；
步骤4.2：阈值分割后，再遍历感兴趣区域中的轮廓，去掉面积小于固定值的轮廓；
步骤4.3：进行水平投影分割，选出感兴趣区域所在的位置，再对选出的位置进行垂直投影分割，将各数字分割为单个图片；
步骤4.4：判断识别出的数字是否是1和8，若否将垂线个数相同的数字放在一起，再按照穿线法、通过位置和垂线个数判断出所识别的数字。
8.一种基于深度学习的七段数码管液晶显示屏识别系统，其特征在于，包括：
预处理模块，用于采用加权平均值的归一化方法将图像转换成255个灰度值表示的单通道灰度图像，然后通过双边高斯滤波对图像进行降噪，并通过固定阈值二值化增加图像前景和背景信息的区分度；
特征提取模块，用于对预处理模块处理后的图像使用YOLOv3进行液晶显示屏的区域定位；YOLOv3通过Darknet-53网络提取浅层特征，通过上采样分离深层特征，并将提取的深层特征和浅层特征进行融合；
腐蚀、膨胀处理模块，用于对二值化后的图像进行腐蚀处理，使目标区域即感兴趣区域更加突出；再进行图形膨胀处理，消除每段数码管之间的空白区域，填补数字之间的空洞区域；
数字识别模块，用于采用阈值分割方法，将腐蚀、膨胀处理模块处理后的图像不同位置对应不同灰度值，将目标区域与背景区域即不感兴趣区域转换成两个不同的灰度级，依次完成目标区域的分离提取；然后再用投影法将各数字分割为单独的图片；最后使用穿线法识别出每个数字，然后拼接在一起。
CN202111631707.9A 2021-12-28 2021-12-28 基于深度学习的七段数码管液晶显示屏识别方法及系统 Pending CN114519694A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111631707.9A CN114519694A (zh) 2021-12-28 2021-12-28 基于深度学习的七段数码管液晶显示屏识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111631707.9A CN114519694A (zh) 2021-12-28 2021-12-28 基于深度学习的七段数码管液晶显示屏识别方法及系统

Publications (1)

Publication Number Publication Date
CN114519694A true CN114519694A (zh) 2022-05-20

Family

ID=81597107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111631707.9A Pending CN114519694A (zh) 2021-12-28 2021-12-28 基于深度学习的七段数码管液晶显示屏识别方法及系统

Country Status (1)

Country Link
CN (1) CN114519694A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116307300A (zh) * 2023-05-23 2023-06-23 四川都得利管业有限公司 一种塑胶管道的生产工艺优化方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116307300A (zh) * 2023-05-23 2023-06-23 四川都得利管业有限公司 一种塑胶管道的生产工艺优化方法及系统
CN116307300B (zh) * 2023-05-23 2023-08-08 四川都得利管业有限公司 一种塑胶管道的生产工艺优化方法及系统

Similar Documents

Publication Publication Date Title
Liu et al. Single image dehazing via large sky region segmentation and multiscale opening dark channel model
CN112036254B (zh) 基于视频图像的运动车辆前景检测方法
CN109934224B (zh) 基于马尔科夫随机场和视觉对比机制的小目标检测方法
CN110866879B (zh) 一种基于多密度雨纹感知的图像去雨方法
CN106815583B (zh) 一种基于mser和swt相结合的夜间车辆车牌定位方法
CN106682665B (zh) 一种基于计算机视觉的七段式数显仪表数字识别方法
CN110991310B (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN104599256A (zh) 基于单幅图像的去除图像雨线的方法和系统
CN111539980B (zh) 一种基于可见光的多目标追踪方法
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
CN112489055A (zh) 融合亮度-时序特征的卫星视频动态车辆目标提取方法
Kumari et al. Fast and efficient visibility restoration technique for single image dehazing and defogging
CN111626145A (zh) 一种简捷有效的残缺表格识别及跨页拼接方法
CN111369570A (zh) 一种视频图像的多目标检测跟踪方法
CN114519694A (zh) 基于深度学习的七段数码管液晶显示屏识别方法及系统
CN108898561B (zh) 一种含天空区域雾天图像的去雾方法、服务器及系统
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
CN113111878B (zh) 一种复杂背景下的红外弱小目标检测方法
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
Jeong et al. Fast fog detection for de-fogging of road driving images
CN116883868A (zh) 基于自适应图像去雾的无人机智能巡航检测方法
CN115797327A (zh) 一种缺陷检测方法、装置、终端设备及存储介质
CN115546799A (zh) 照明条件不良情况下无背光水表液晶屏示数识别方法
CN113205469A (zh) 一种基于改进暗通道的单幅图像去雾方法
Kang et al. Specular highlight region restoration using image clustering and inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination