CN113159027A - 基于最小外接矩形变体的七段式数显仪表识别方法 - Google Patents
基于最小外接矩形变体的七段式数显仪表识别方法 Download PDFInfo
- Publication number
- CN113159027A CN113159027A CN202110394449.0A CN202110394449A CN113159027A CN 113159027 A CN113159027 A CN 113159027A CN 202110394449 A CN202110394449 A CN 202110394449A CN 113159027 A CN113159027 A CN 113159027A
- Authority
- CN
- China
- Prior art keywords
- digital
- image
- outer contour
- point set
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000006870 function Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 4
- 229910052782 aluminium Inorganic materials 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241001637516 Polygonia c-album Species 0.000 description 1
- 238000003723 Smelting Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开一种基于最小外接矩形变体的七段式数显仪表识别方法，采用了最小外接矩形变体算法，准确提取出数显仪表的数字区域，从而为七段式特征数字识别提供了保障，有效地解决了因噪声、旋转而造成的数字误检，提高了数字识别的鲁棒性和精确性。
Description
技术领域
本发明属于数字仪表识别领域，特别涉及一种基于最小外接矩形变体的七段式数显仪表识别方法。
背景技术
随着科技的进步发展，生产制造业的管理手段逐渐由人工管理转变为自动化或半自动化的管理。在铝业制造行业的熔炉车间有专门用于称量铝渣的仪器，该仪器是由地磅和液晶数字显示仪表组成，地磅为设置在地面上的大磅秤用于放置铝渣，经由LED数显仪表显示其重量。但限制于环境和仪器无法安装微型计算机接口来输出读数，因此是由车间员工进行人工读数。人工读数的缺点一方面需要大量人力，另一方面会存在误读的情况导致重量统计不准确。
目前七段式数显仪表识别方法主要有传统数字图像处理技术和深度学习数字识别技术，深度学习数字识别技术需要大量的数据集和较高的硬件成本，此场景下不予考虑。传统数字图像处理识别算法主要有穿线法、模板匹配法、七段特征提取法，它们实现精确识别的前提是准确定位出数字部分。而现有的定位方法有通过Hough线确定旋转角度将数字置于水平或垂直，再对图像进行水平和垂直投影来获取每个数字。更多的是固定了图像的拍摄角度，按照固定角度旋转以矫正数字区域，再通过投影法或最小绑定矩形获取数字区域。然而在复杂的工业环境下，采集到的数字显示仪表图像往往会因为人为因素或环境因素而出现偏移、旋转、噪声，单纯地对原图像进行预处理或固定角度是无法实现稳定准确的定位和识别。
发明内容
本发明的目的在于提供一种基于最小外接矩形变体的七段式数显仪表识别方法，以解决现有技术在复杂的工业场景下无法稳定准确定位出七段式数码管数字。
为了解决上述问题，本发明提供如下技术方案：
一种基于最小外接矩形变体的七段式数码管仪表识别方法包括以下步骤：
步骤(1)、摄像头实时采集数字显示仪表区域的图像数据，并对图像进行预处理，得到二值化仪表区域图像；
步骤(2)、对步骤(1)二值化仪表区域图像进行数字定位，得到最佳外接矩形内的数字二值化图像；其中所述数字定位包括获取外轮廓点集过程、获取外轮廓凸包点集过程、获取最佳外接矩形过程；
所述获取外轮廓点集过程用于获取按照数字字符顺序排序的数字外轮廓列表；
所述获取外轮廓凸包点集过程用于根据数字外轮廓列表获取数字外轮廓凸包点集列表；
所述获取最佳外接矩形过程用于对获取外轮廓凸包点集过程得到的数字外轮廓凸包点集列表中的每个数字进行点集区域划分、凸包点集旋转，获取数字的最佳外接矩形，具体如下：
1)点集区域划分：
单个数字外轮廓凸包点集Mc的起始点从左上角开始，顺时针至右上角、右下角、左下角，将其划分为4个区域；每个区域代表着数字的一条边点集；
2)凸包点集旋转：
将同一区域内每个点两两组合构成Di条旋转边，其中
ni为同一区域内的点集个数，i表示第i个区域；遍历四个区域，构成D条旋转边，其中D＝D1+D2+D3+D4；让单个数字外轮廓凸包点集Mc绕旋转中心点旋转θj度得到多个旋转变换后单个数字的外轮廓凸包点集
其中j＝1,2,…,D，D表示旋转边个数，θj表示以旋转中心点旋转至与x轴垂直或平行的角度，旋转中心点为旋转边的端点；
3)获取最佳外接矩形
对于上述每个旋转变换结果
所组成的最小绑定矩形，其四个顶点坐标按顺时针方向记为
对四个顶点按照其原始旋转中心点逆时针旋转θj度，得到逆向旋转后的顶点坐标
根据逆向旋转后的顶点坐标共生成D个候选外接矩形框；
计算每个候选外接矩形框Q个像素点内的白色像素点个数Cj，然后从上述D个候选外接矩形框Cj值中选取最大者记为Cmax，其旋转角度记为θcmax，其旋转后的最小绑定矩形为该数字字符的最佳外接矩形，对应4个顶点记为
4)使用Opencv库函数getRotationMatrix2D()和warpAffine()将步骤(1)处理后的仪表区域二值化图像顺时针旋转θcmax度，然后根据坐标
裁剪出对应最佳外接矩形内的数字二值化图像；
5)遍历所有数字的外轮廓凸包点集，重复上述步骤1)至2)；
步骤(3)、数字识别
3-1七段特征区域设计：
构建七段式数字的水平和竖直向的匹配模板；
3-2七段特征提取识别：
1)判断步骤(2)获取的最佳外接矩形内数字二值化图像的高和宽，当图像的高大于宽，认为该图像中数字为竖直方向，反之为水平方向；
2)当数字为水平方向时高宽比小于0.4,则为数字1，否则为其他数字；当数字为竖直方向时宽高比小于0.4,则为数字1，否则为其他数字；
3)若为其他数字时，当数字为水平方向时采用水平向的匹配模板进行匹配，反之采用竖直向的匹配模板进行匹配，判定图像中数字。
作为优选，步骤(1)中图像预处理包括图像ROI裁剪、图像灰度化、图像Gamma化、图像二值化。
作为优选，步骤(2)中获取外轮廓点集方法具体是：
使用Opencv库函数findContours()分析步骤(1)二值化仪表区域图像的拓扑结构，提取出图像中每个数字连通区域的外轮廓点集；按照每个数字外轮廓的最小横坐标进行递增排序，得到按照数字字符顺序排序的数字外轮廓列表；
其中Opencv库函数findContours()封装了Suzuki轮廓跟踪算法。
作为优选，步骤(2)中获取外轮廓凸包点集方法具体是：
利用Opencv库函数convexHull()对获取外轮廓点集过程得到的数字外轮廓列表中每个数字外轮廓进行处理，得到按照数字字符顺序排序的数字外轮廓凸包点集列表；
其中Opencv库函数convexHull()封装了格雷厄姆扫描法。
作为优选，步骤3)中每个矩形外边界框Q个像素点内的白色像素点个数计算方法如下：
3-1)候选外接矩形框的每条边Pm1m2的起始点为
终点为
xm1＜xm2；其中m1，m2为坐标编号，取值为1,2,3,4；计算每条边Pm1m2的外边界框Q个像素点内的白色像素点个数：
b＝kxm1-ym1
其中
为旋转角度为θj度下当前候选外接矩形框的第m条外边界Q个像素点内的白色像素个数，m＝1,2,3,4，M为二值化图像矩阵，M[y][x]为二值化图像矩阵中(x，y)处的像素值；
3-2)重复步骤3-1)获取候选外接矩形框的4条边对应的
然后相加后得到候选外接矩形框的Q个像素点内的白色像素点个数Cj，即
作为优选，步骤3)中顶点坐标逆时针旋转变换公式如下：
其中
为逆向旋转后坐标点，
为MBR顶点坐标，m＝1,2,3,4，P0为旋转中心点，θj为逆向旋转角度。
作为优选，步骤(3)中七段特征提取识别中利用匹配模板进行匹配的方法是通过在匹配模板中设置的七段特征白色区域位置，依次判断步骤(2)获取的数字二值化数字图像在七段特征白色区域位置内每个区域的白色像素占比，根据阈值判断法判定图像中数字。
本发明的另一个目的是提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现上述的方法。
本发明的又一个目的是提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述的方法。
本发明的有益效果：该发明用于复杂工业环境下的七段式特征数显仪表的数字识别。本方法采用了最小外接矩形变体算法，准确提取出数显仪表的数字区域，从而为七段式特征数字识别提供了保障，有效地解决了因噪声、旋转而造成的数字误检，提高了数字识别的鲁棒性和精确性。
附图说明
图1为本发明的总体流程图；
图2为本发明图像预处理的结果示例；
图3为本发明旋转边分类图；
图4为本发明竖直和水平模板匹配图；
图5为本发明的实验对比图；其中(1)为最小外接矩形算法，(2)为本发明方法。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明是使用开源计算机视觉库Opencv进行实验，发明中使用和提出的公式都是基于图像坐标系而非直角坐标系。
本发明基于最小外接矩形变体的七段式数显仪表识别方法的总体流程图如图1所示，将七段式数显仪表的识别问题分为图像预处理、数字定位和数字识别三个步骤。图2为本发明图像预处理的结果示例。
步骤(1)、摄像头实时采集数字显示仪表区域的图像数据，并对图像进行预处理，得到二值化数字区域图像；其中图像预处理包括图像ROI裁剪、图像灰度化、图像Gamma化、图像二值化。
1-1实时采集数字显示仪表区域的图像数据：
本发明采集的图像是利用网络摄像头所拍摄的照片。本发明所使用的摄像头为400W像素，从原理上分析，采用的摄像头分辨率越高，所采集的图像数字信息越多，数字识别的准确度越高，但是会增加算法的计算量。事实上，当像素增加到一个阈值时，其数字识别的准确度达到了峰值，一味地增加像素不但不会增加识别准确度，反而造成算法识别时间的增加。
1-2图像ROI裁剪：
步骤1-1采集到的原图像是包含环境背景的数显仪表图像，利用数显仪表的颜色特征，调用Opencv库函数cvtColor()将采集到的原图像从BGR转换成HSV。
通过HSV色彩空间表得出红色区间为[156，43，46]至[180，255，255]的区间和[0，43，46]至[10，255，255]的区间，将在此区间内的像素值置255，其余像素值置0，记为图像2。
对图像2调用Opencv库函数findContours()获取所有连通区域的外接矩形，取面积最大者记其坐标位置为(p1，p2)，其中p1为矩形左上角坐标点，p2为矩形右下角坐标点。
在原图像中裁剪出(p1，p2)区域即为仪表区域。
1-3图像灰度化：
步骤1-1采集到的原图像为24位真彩图，调用Opencv库函数cvtColor()将步骤1-2裁剪后的仪表区域真彩图转换成8位的灰度图。
1-4图像Gamma化：
Gamma变换能增强数字区域和背景区域的对比度，从而消除数字区域周围的噪声。其变换公式为：
其中g表示步骤1-3灰度图中每个像素点的灰度值，Mh×w为高为h、宽为w的灰度图像素矩阵，g′为Gamma变换后的灰度值，max(Mh×w)为获取Mh×w中最大像素值。
1-4图像二值化：
数字图像二值化一般指的是将图像上的像素点灰度值设置为0或255，也就是转化成黑白两色的二值图像。本发明通过设定固定阈值240，将步骤1-4处理后图像灰度值大于240的像素点置255，小于240的像素点置0，从而获得仪表区域的二值化图像。
步骤(2)、对步骤(1)二值化仪表区域图像进行数字定位，得到数字的最佳外接矩形。其中所述数字定位部分包括获取外轮廓点集、获取外轮廓凸包点集、获取最佳外接矩形。
2-1获取外轮廓点集：
图像的外轮廓一般指的是一系列相连的点组成的曲线，代表了图像中该连通区域的基本外形。使用Opencv库函数findContours()分析步骤(1)二值化仪表区域图像的拓扑结构，提取出图像中每个数字连通区域的外轮廓点集。
其中Opencv库函数findContours()封装了Suzuki轮廓跟踪算法。
本发明所需的轮廓仅为外轮廓及其所有点，因此在调用该函数时的参数为cv2.RETR_EXTERNAL、cv2.CHAIN_APPROX_NONE，进而获取到二值化图像中每个连通区域的外轮廓点集，遍历每个连通域外轮廓点集并计算其最小绑定矩形面积，剔除面积小于300的轮廓，保留的轮廓为数字轮廓，按照每个数字轮廓的最小横坐标进行递增排序，得到按照数字字符顺序排序的数字轮廓列表。
2-2获取外轮廓凸包点集：
给定平面上的一个有限点集，包含点集中所有点的最小面积的凸多边形被称为该点集的凸包。利用Opencv库函数convexHull()对步骤2-1数字轮廓列表中每个数字轮廓进行处理，得到按照数字字符顺序排序的数字轮廓凸包点集列表。
其中Opencv库函数convexHull()封装了格雷厄姆扫描法。
2-3对步骤2-2数字轮廓凸包点集列表中的每个数字进行点集区域划分、凸包点集旋转，获取数字的最佳外接矩形。每个数字的处理操作相同，单个数字处理具体如下：
2-3-1点集区域划分：
单个数字外轮廓凸包点集Mc的起始点从左上角开始，顺时针至右上角、右下角、左下角，将其划分为4个区域；其中c表示步骤2-2中数字轮廓凸包点集列表的长度即数字字符的个数。上述4个区域分别是左上角点顺时针至右上角点的凸包点集、右上角点顺时针至右下角点的凸包点集、右下角点顺时针至左下角点的凸包点集、左下角点顺时针至左上角点的凸包点集，每个区域代表着数字的一条边点集。
2-3-2凸包点集旋转：
将同一区域内每个点两两组合构成Di条旋转边，其中
ni为同一区域内的点集个数，i＝1,2,3,4。遍历四条边即四个区域，构成D条旋转边，其中D＝D1+D2+D3+D4。计算出以旋转边dj的左端点为旋转中心点旋转至与x轴垂直或平行的角度记为θj，让单个数字外轮廓凸包点集Mc绕旋转中心点旋转θj度得到旋转变换后的单个数字的外轮廓凸包点集
其中j＝1,2,…,D，D表示旋转边个数。具体如下：
如图3所示，同一区域内坐标点A＝(x0，y0)与坐标点B＝(x1，y1)连接成旋转边dj，旋转边dj绕旋转中心点A顺时针旋转θj度至d'j，上述变换存在两种情况，分别为左端点在右端点上方和左端点在右端点下方(以纵坐标比较)。为规范旋转策略，旋转方向为顺时针，对于第一种情况使其顺时针旋转至垂直于x坐标轴，其旋转角度的正弦值和余弦值可由如下公式确定：
对于第二种情况使其顺时针旋转至平行于x坐标轴，其旋转θj角度的正弦值和余弦值可由如下公式确定：
在图像坐标系中，一个点(x1，y1)绕旋转中心点(x0，y0)顺时针旋转θj度后点的坐标点(x2，y2)由下方公式确定：
本方法中对所获取的单个数字外轮廓凸包点集Mc绕旋转边dj左端点旋转θj度后得出旋转变换结果
其变换公式如下：
其中
为单个数字外轮廓凸包点集中n个点的坐标矩阵，(xn，yn)为其中一点的坐标值。
2-3-3计算步骤2-3-2旋转变换结果
中最小横坐标
最小纵坐标
最大横坐标
和最大纵坐标
获取
所组成的最小绑定矩形(Minimum BoundingRectangle，简称MBR)，得出四个顶点坐标按顺时针方向记为
其中左上角坐标
右上角坐标
右下角坐标
左下角坐标
对四个顶点按照其原始旋转中心点逆时针旋转θj度，得到MBR四个顶点逆向旋转后的坐标
其中j＝1,2,…,D，D表示旋转边个数。其逆时针旋转变换公式如下：
其中，
为逆向旋转后坐标点，
为MBR顶点坐标，m＝1,2,3,4，P0为原始旋转中心点，θj为逆向旋转角度。
对每个旋转变换结果
提取上述4个逆向旋转坐标点
所组成的矩形，共生成D个候选外接矩形框，计算每个候选外接矩形框的每条外边界框Q个像素点内的白色像素点个数(其中Q为人为定义参数，本实施例选为2或3)。其计算方法如下：
由于θj是锐角，故旋转后的坐标点的相对位置不会发生改变，因此四个点的位置依然是
为左上角坐标点，
为右上角坐标点，
为右下角坐标点，
为左下角坐标点。将逆向旋转θj度后的坐标点
按顺时针方向依次组合，构成矩形的4条边。
每条边Pm1m2的起始点为
终点为
xm1＜xm2；其中m1，m2为坐标编号，取值为1,2,3,4。计算每条边Pm1m2的外边界框Q个像素点内的白色像素点个数：
b＝kxm1-ym1
其中，
为旋转角度为θj度下当前候选外接矩形框的第m条外边界Q个像素点内的白色像素个数，m＝1,2,3,4，M为二值化图像矩阵，M[y][x]为二值化图像矩阵中(x，y)处的像素值，在Opencv计算机视觉库下获取图像矩阵中任意一点像素值需要交换横纵坐标点顺序。
按照上述方法依次计算另外3条边对应的
并将它们相加得出Cj，Cj对应着由
所确定的矩形在其边界框Q个像素点内的白色像素点总数。其中
从上述D个候选外接矩形框值中选取最大者记为Cmax，其旋转角度记为θcmax，其旋转后的最小绑定矩形4个顶点记为
并称该矩形为该数字字符的最佳外接矩形。
使用Opencv库函数getRotationMatrix2D()和warpAffine()将步骤(1)处理后的二值化图像顺时针旋转θcmax度后根据坐标
裁剪出对应最佳外接矩形内的数字二值化图像。
2-3-3遍历所有数字的外轮廓凸包点集，重复上述步骤2-3-1至2-3-2。
步骤(三)：数字识别。数字识别部分包括七段特征区域设计、七段特征匹配识别。
本发明使用的数字匹配方法是七段特征提取法，此方法鲁棒性强适用于竖直或水平的七段式数码数字。
3-1七段特征区域设计：
构建七段式数字的水平和竖直向的匹配模板，如图4所示是设计的两套模板。
3-2七段特征提取识别：
判断步骤2-3-3获取的最佳外接矩形内数字二值化图像的高和宽，当图像的高大于宽，认为该图像中数字为竖直方向，反之为水平方向。
其次判断是否为数字1，当数字为水平方向且高宽比小于0.4,则为数字1，否则为其他数字。当数字为竖直方向且宽高比小于0.4,则为数字1，否则为其他数字。
若为其他数字时，当数字为水平方向时采用水平向的匹配模板进行匹配，反之采用竖直向的匹配模板进行匹配。其匹配方法是通过在模板中设置的七段特征白色区域位置，依次判断步骤2-3-3获取的数字二值化数字图像在此七个区域内每个区域的白色像素占比，根据阈值判断法判定图像中数字。
本发明可以设置阈值为0.5，如若白色像素占比大于阈值则将判定数组中该区域对应的索引位置值置1，反之置0。
表1判定数组表
| 对应数字 | r1 | r2 | r3 | r4 | r5 | r6 | r7 |
| 2 | 1 | 0 | 1 | 1 | 1 | 0 | 1 |
| 3 | 1 | 0 | 1 | 1 | 0 | 1 | 1 |
| 4 | 0 | 1 | 1 | 1 | 0 | 1 | 0 |
| 5 | 1 | 1 | 0 | 1 | 0 | 1 | 1 |
| 6 | 1 | 1 | 0 | 1 | 1 | 1 | 1 |
| 7 | 1 | 0 | 1 | 0 | 0 | 1 | 0 |
| 8 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 9 | 1 | 1 | 1 | 1 | 0 | 1 | 1 |
| 0 | 1 | 1 | 1 | 0 | 1 | 1 | 1 |
七段特征区域遍历完成后得出该数字的判定数组，将其作为健输入到数字字典中输出其对应的数字结果。
本实施例对本发明方法和现有传统最小外接矩形算法做了对比，如图5所示，图5(1)为使用最小外接矩形算法获得的矩形框，由于数字9右下角出现了残缺，导致数字定位后的矩形框出现弯曲，虽然此框是最小面积外接矩形框，但是显然无法通过七段式特征法识别出正确的数字结果。图5(2)为使用本发明获得的矩形框，鉴于七段式特征数字的边缘特征，应用本发明后矩形框内的白色数字不会出现扭曲，通过使用七段式特征法依然能够稳定识别出正确结果。
Claims (10)
1.基于最小外接矩形变体的七段式数显仪表识别方法，其特征在于包括以下步骤：
步骤(1)、摄像头实时采集数字显示仪表区域的图像数据，并对图像进行预处理，得到二值化仪表区域图像；
步骤(2)、对步骤(1)二值化仪表区域图像进行数字定位，得到最佳外接矩形内的数字二值化图像；其中所述数字定位包括获取外轮廓点集过程、获取外轮廓凸包点集过程、获取最佳外接矩形过程；
所述获取外轮廓点集过程用于获取按照数字字符顺序排序的数字外轮廓列表；
所述获取外轮廓凸包点集过程用于根据数字外轮廓列表获取数字外轮廓凸包点集列表；
所述获取最佳外接矩形过程用于对获取外轮廓凸包点集过程得到的数字外轮廓凸包点集列表中的每个数字进行点集区域划分、凸包点集旋转，获取数字的最佳外接矩形，具体如下：
1)点集区域划分：
单个数字外轮廓凸包点集Mc的起始点从左上角开始，顺时针至右上角、右下角、左下角，将其划分为4个区域；每个区域代表着数字的一条边点集；
2)凸包点集旋转：
将同一区域内每个点两两组合构成Di条旋转边，其中
ni为同一区域内的点集个数，i表示第i个区域；遍历四个区域，构成D条旋转边，其中D＝D1+D2+D3+D4；让单个数字外轮廓凸包点集Mc绕旋转中心点旋转θj度得到多个旋转变换后单个数字的外轮廓凸包点集
其中j＝1，2，...，D，D表示旋转边个数，θj表示以旋转中心点旋转至与x轴垂直或平行的角度，旋转中心点为旋转边的端点；
3)获取最佳外接矩形
对于上述每个旋转变换结果
听组成的最小绑定矩形，其四个顶点坐标按顺时针方向记为
对四个顶点按照其原始旋转中心点逆时针旋转θj度，得到逆向旋转后的顶点坐标
根据逆向旋转后的顶点坐标共生成D个候选外接矩形框；
计算每个候选外接矩形框Q个像素点内的白色像素点个数Cj，然后从上述D个候选外接矩形框Cj值中选取最大者记为Cmax，其旋转角度记为θcmax，其旋转后的最小绑定矩形为该数字字符的最佳外接矩形，对应4个顶点记为
4)将步骤(1)处理后的仪表区域二值化图像顺时针旋转θcmax度，然后根据坐标
裁剪出对应最佳外接矩形内的数字二值化图像；
5)遍历所有数字的外轮廓凸包点集，重复上述步骤1)至2)；
步骤(3)、数字识别。
2.根据权利要求1所述的基于最小外接矩形变体的七段式数显仪表识别方法，其特征在于步骤(1)中图像预处理包括图像ROI裁剪、图像灰度化、图像Gamma化、图像二值化。
3.根据权利要求1所述的基于最小外接矩形变体的七段式数显仪表识别方法，其特征在于步骤(2)中获取外轮廓点集方法具体是：
使用Opencv库函数findContours()分析步骤(1)二值化仪表区域图像的拓扑结构，提取出图像中每个数字连通区域的外轮廓点集；按照每个数字外轮廓的最小横坐标进行递增排序，得到按照数字字符顺序排序的数字外轮廓列表；
其中Opencv库函数findContours()封装了Suzuki轮廓跟踪算法。
4.根据权利要求1或3所述的基于最小外接矩形变体的七段式数显仪表识别方法，其特征在于步骤(2)中获取外轮廓凸包点集方法具体是：
利用Opencv库函数convexHull()对获取外轮廓点集过程得到的数字外轮廓列表中每个数字外轮廓进行处理，得到按照数字字符顺序排序的数字外轮廓凸包点集列表；
其中Opencv库函数convexHull()封装了格雷厄姆扫描法。
5.根据权利要求1所述的基于最小外接矩形变体的七段式数显仪表识别方法，其特征在于步骤(2)中每个矩形外边界框Q个像素点内的白色像素点个数计算方法如下：
3-1)候选外接矩形框的每条边Pm1m2的起始点为
终点为
Xm1＜Xm2；其中m1，m2为坐标编号，取值为1，2，3，4；计算每条边Pm1m2的外边界框Q个像素点内的白色像素点个数：
b＝kXm1-ym1
其中
为旋转角度为θj度下当前候选外接矩形框的第m条外边界Q个像素点内的白色像素个数，m＝1，2，3，4，M为二值化图像矩阵，M[y][x]为二值化图像矩阵中(x，y)处的像素值；
3-2)重复步骤3-1)获取候选外接矩形框的4条边对应的
然后相加后得到候选外接矩形框的Q个像素点内的白色像素点个数Cj，即
6.根据权利要求1所述的基于最小外接矩形变体的七段式数显仪表识别方法，其特征在于步骤(2)中顶点坐标逆时针旋转变换公式如下：
其中
为逆向旋转后坐标点，
为MBR顶点坐标，m＝1，2，3，4，P0为旋转中心点，θj为逆向旋转角度。
7.根据权利要求1所述的基于最小外接矩形变体的七段式数显仪表识别方法，其特征在于步骤(3)具体如下：
3-1七段特征区域设计：
构建七段式数字的水平和竖直向的匹配模板；
3-2七段特征提取识别：
1)判断步骤(2)获取的最佳外接矩形内数字二值化图像的高和宽，当图像的高大于宽，认为该图像中数字为竖直方向，反之为水平方向；
2)当数字为水平方向时高宽比小于0.4，则为数字1，否则为其他数字；当数字为竖直方向时宽高比小于0.4，则为数字1，否则为其他数字；
3)若为其他数字时，当数字为水平方向时采用水平向的匹配模板进行匹配，反之采用竖直向的匹配模板进行匹配，判定图像中数字。
8.根据权利要求7所述的基于最小外接矩形变体的七段式数显仪表识别方法，其特征在于步骤(3)中七段特征提取识别中利用匹配模板进行匹配的方法是通过在匹配模板中设置的七段特征白色区域位置，依次判断步骤(2)获取的数字二值化数字图像在七段特征白色区域位置内每个区域的白色像素占比，根据阈值判断法判定图像中数字。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-8任一项所述的方法。
10.一种机器可读存储介质，其特征在于，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110394449.0A CN113159027B (zh) | 2021-04-13 | 2021-04-13 | 基于最小外接矩形变体的七段式数显仪表识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110394449.0A CN113159027B (zh) | 2021-04-13 | 2021-04-13 | 基于最小外接矩形变体的七段式数显仪表识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113159027A true CN113159027A (zh) | 2021-07-23 |
| CN113159027B CN113159027B (zh) | 2024-02-09 |
Family
ID=76890167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110394449.0A Active CN113159027B (zh) | 2021-04-13 | 2021-04-13 | 基于最小外接矩形变体的七段式数显仪表识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113159027B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657410A (zh) * | 2021-08-18 | 2021-11-16 | 深圳壹账通智能科技有限公司 | 基于人工智能的图像轮廓提取方法及相关设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574531A (zh) * | 2015-12-11 | 2016-05-11 | 中国电力科学研究院 | 一种基于交点特征提取的数字识别方法 |
| CN106951900A (zh) * | 2017-04-13 | 2017-07-14 | 杭州申昊科技股份有限公司 | 一种避雷器仪表读数的自动识别方法 |
| CN108133216A (zh) * | 2017-11-21 | 2018-06-08 | 武汉中元华电科技股份有限公司 | 基于机器视觉的可实现小数点读取的数码管读数识别方法 |
| CN112348018A (zh) * | 2020-11-16 | 2021-02-09 | 杭州安森智能信息技术有限公司 | 基于巡检机器人的数显式仪表读数识别方法 |
-
2021
- 2021-04-13 CN CN202110394449.0A patent/CN113159027B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574531A (zh) * | 2015-12-11 | 2016-05-11 | 中国电力科学研究院 | 一种基于交点特征提取的数字识别方法 |
| CN106951900A (zh) * | 2017-04-13 | 2017-07-14 | 杭州申昊科技股份有限公司 | 一种避雷器仪表读数的自动识别方法 |
| CN108133216A (zh) * | 2017-11-21 | 2018-06-08 | 武汉中元华电科技股份有限公司 | 基于机器视觉的可实现小数点读取的数码管读数识别方法 |
| CN112348018A (zh) * | 2020-11-16 | 2021-02-09 | 杭州安森智能信息技术有限公司 | 基于巡检机器人的数显式仪表读数识别方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657410A (zh) * | 2021-08-18 | 2021-11-16 | 深圳壹账通智能科技有限公司 | 基于人工智能的图像轮廓提取方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113159027B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112949564B (zh) | 一种基于深度学习的指针式仪表自动读数方法 | |
| US20220148213A1 (en) | Method for fully automatically detecting chessboard corner points | |
| CN108764229B (zh) | 一种基于计算机视觉技术的水尺图像自动识别方法 | |
| CN111626190A (zh) | 基于聚类分区进行刻度识别的水位监测方法 | |
| CN109426814B (zh) | 一种发票图片特定板块的定位、识别方法、系统、设备 | |
| CN110210477B (zh) | 一种数字式仪表读数识别方法 | |
| CN109948135B (zh) | 一种基于表格特征归一化图像的方法及设备 | |
| CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
| CN110288612B (zh) | 铭牌定位与校正方法及设备 | |
| CN111539330B (zh) | 一种基于双svm多分类器的变电站数显仪表识别方法 | |
| CN116958125B (zh) | 基于图像处理的电竞主机电源元件缺陷视觉检测方法 | |
| CN112560837A (zh) | 一种指针式仪表的读数方法、装置、设备和存储介质 | |
| CN111222507A (zh) | 数字式仪表读数的自动识别方法、计算机可读存储介质 | |
| CN110659637A (zh) | 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法 | |
| CN110276759B (zh) | 一种基于机器视觉的手机屏坏线缺陷诊断方法 | |
| CN116030453A (zh) | 一种数字电气表计的识别方法、装置及设备 | |
| CN113159027B (zh) | 基于最小外接矩形变体的七段式数显仪表识别方法 | |
| CN112836726B (zh) | 一种基于视频信息的指针类仪表示数读取方法及装置 | |
| CN112200822A (zh) | 表格重建方法、装置、计算机设备及存储介质 | |
| CN114742849B (zh) | 一种基于图像增强的水准仪距离测量方法 | |
| CN108388920B (zh) | 一种融合hog和lbph特征的身份证复印件检测方法 | |
| CN113591875B (zh) | 一种高精度指针式仪表识别方法 | |
| CN115471650A (zh) | 一种气体压力仪表读数方法、装置、设备及介质 | |
| CN114663681A (zh) | 用于对指针式仪表进行读数的方法及其相关产品 | |
| CN110263597B (zh) | 一种快速准确的qr码校正方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |