CN110097062B - 一种利用指针中心点的指针识别方法 - Google Patents

Abstract

本发明公开了一种利用指针中心点的指针识别方法，包括：在样本图片上标注定位框和指针中心点作为模板图片；以模板图片为基准，定位出待识别图片上与模板图片相对应定位框和指针中心点；选取中心点区域，从中心点区域自适应计算得到Canny算子的上阈值和下阈值；对待识别图片应用Canny算子提取边缘；从中心点区域出发，查找相邻边缘并膨胀连接得到连接边缘图，搜索连接边缘图的边缘的外接矩，过滤掉外接矩面积较小的区域；使用Hough变换提取直线；选取关于指针中心点对称的两条直线作为最终指针。本发明从指针中心点出发识别指针，能够保证对指针边缘信息的完整提取，在表面情况比较复杂的情况下仍能较准确识别指针读数。

Description

一种利用指针中心点的指针识别方法

技术领域

本发明涉及图像识别领域，具体涉及一种利用指针中心点的指针识别方法。

背景技术

在多种工业场合有着对固定位置的指针型仪表进行识别读数的需求。目前的主流方式是采集一张模板图片，标注出仪表位置，然后在实际任务运行时通过匹配定位等方式在任务图片上定位出对应仪表，然后提取出指针进行识别。

由于指针型仪表的指针是随时间变化的，所以不能够同样通过匹配定位的方式来定位出指针。同样也不能通过机器学习的方式来定位到指针。

专利申请号为：200510032946.7，专利名为一种仪表指针自动检测识别方法及自动读数方法的中国专利中，公开了一种仪表指针识别方法，使用Hough变换提取直线并通过中心投影的方法确定指针位置，但因为Hough变换提取直线数目可能很多，这种方法在表面文字较多/表盘脏污的时候会受到严重干扰。

因此我们希望能够找到一种更为鲁棒的算法，以提高识别的正确率。

发明内容

为了解决上述问题，本发明提出了一种利用指针中心点的指针识别方法，其特征在于，包括以下步骤：

在样本图片上标注定位框和指针中心点作为模板图片；

以模板图片为基准，通过算法定位出待识别图片上与模板图片相对应定位框和指针中心点；

从待识别图片中选取中心点区域，从中心点区域自适应计算得到Canny算子的上阈值和下阈值；

以上阈值和下阈值作为输入参数，应用Canny算子对待识别图片提取边缘，得到初始边缘图；

从中心点区域出发，对初始边缘图查找相邻边缘并膨胀连接得到连接边缘图，搜索连接边缘图的边缘的外接矩，过滤掉外接矩面积较小的区域，得到边缘图；所述过滤掉外接矩面积较小的区域为小于定位框面积百分之五的区域；

使用Hough变换从边缘图中提取直线，构成直线集；

从直线集中选取关于指针中心点对称的两条直线作为最终指针。

进一步地，中心点区域的选取方法具体为：

对待识别图片，以指针中心点为中心，从中选择一个较小的中心点区域；

所述较小的中心点区域具体为：

对MxN的待识别图片，以指针中心点为中心，从中选择(M/24)x(N/13.5)的中心点区域；所述M为待识别图片的水平像素，N为待识别图片的垂直像素。

进一步地，计算上阈值和下阈值的方法具体为：

对中心点区域在水平方向和竖直方向分别用Sobel算子计算水平方向梯度和竖直方向梯度，计算水平方向梯度和竖直方向梯度的绝对值和作为边缘强度图，并计算出边缘最大值。

进一步地，

Sobel水平方向算子Sobel(h)为：

Sobel竖直方向算子Sobel(v)为：

水平方向梯度为dx＝G*Sobel(h),竖直方向梯度为dy＝G*Sobel(v),G为待识别图片，*为卷积操作，待识别图片G的边缘强度图为S＝abs(dx)+abs(dy),边缘最大值maxe＝max(S)，其中，abs为绝对值函数；

对边缘强度图计算直方图，统计直方图中bin个数为n，将直方图每个bin的边缘强度从小到大排序，将排序后的bin的边缘个数依次累加，边缘个数累加和首次超过边缘总数的70％时的已累加的bin的个数为i；

上阈值为(i+1)*maxe/n；下阈值为((i+1)*maxe/n)*0.4。

进一步地，从直线集中选取关于指针中心点对称的两条直线作为最终指针具体为：

搜索直线集，若存在两条直线沿指针中心点对称，则将这两条直线作为一个指针候选加入候选队列，选取候选队列中直线长度最长的指针候选作为最终指针。

与现有技术相比，本发明具有以下有益效果：

本发明从指针中心点出发识别指针，能够保证对指针边缘信息的完整提取，尽可能地排除干扰，在表面情况比较复杂的情况下仍能较准确识别指针读数，提高了识别精度。

附图说明

图1为本发明一实施例的待识别图片

图2为本发明一实施例的利用Canny边缘算子提取边缘后的初始边缘图

图3为本发明一实施例的利用膨胀连接得到的连接边缘图

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的识别仪表指针的图像处理方法包括如下具体步骤：

步骤一：在样本图片上标注定位框和指针中心点作为模板图片；

步骤二：以模板图片为基准，通过模板匹配或特征匹配等算法定位出待识别图片上与模板图片相对应定位框和指针中心点；

步骤三：选取中心点区域，从中心点区域自适应计算Canny边缘算子的上下边界阈值，具体为：

以指针中心点为中心，选择一个80X80的中心点区域(对应1920X1080的任务图片，其他分辨率的图片按比率换算)，统计这个中心点区域内的边缘强度直方图，计算后续提取边缘所需的阈值。阈值包括上阈值和下阈值。因为对于选定的指针类型，这个中心点区域通常将指针的旋转轴部分包含在内，且指针的旋转轴和指针本体间具有相似的纹理和颜色信息。所计算出的阈值可以保证整个指针的边缘都可以被提取到，不会因为图片中环境因素的影响而导致指针边缘的缺失。计算阈值的方法具体为：

对中心点区域在水平方向和竖直方向分别用Sobel算子计算水平方向梯度和竖直方向梯度，计算水平方向梯度和竖直方向梯度的绝对值和作为边缘强度图，并计算出边缘最大值maxe。

Sobel水平方向算子Sobel(h)为：

Sobel竖直方向算子Sobel(v)为：

水平方向梯度为dx＝G*Sobel(h),竖直方向梯度为dy＝G*Sobel(v),G为待识别图片，*为卷积操作，待识别图片G的边缘强度图为S＝abs(dx)+abs(dy),边缘最大值maxe＝max(S)，其中，abs为绝对值函数；

对边缘强度图计算直方图，统计直方图中bin个数为n，将直方图每个bin的边缘强度从小到大排序，将排序后的bin的边缘个数依次累加，边缘个数累加和首次超过边缘总数的70％时的已累加的bin的个数为i；

上阈值为(i+1)*maxe/n；下阈值为((i+1)*maxe/n)*0.4。

步骤四：对待识别图片应用Canny算子提取边缘；以上阈值和下阈值作为输入参数，通过opencv(一个基于BSD许可(开源)发行的跨平台计算机视觉库)算法库的Canny函数从待识别图片中提取边缘，提取后的图片如图2所示。

步骤五：从中心点区域出发，查找相邻边缘并膨胀连接得到连接边缘图，搜索连接边缘图的边缘的外接矩，过滤掉外接矩面积较小的区域，得到边缘图。所述过滤掉的外接矩面积较小的区域为小于定位框面积百分之五的区域。因为从步骤三提取出的边缘可能过多，我们依据指针边缘的相邻性，滤除不相邻的边缘，以减少后续判断的复杂度，边缘图如图3所示。

步骤六：使用Hough变换从边缘图中提取直线

通过opencv算法库里的HoughLines函数从图像中提取直线，构成直线集。

步骤七：从直线集中选取关于指针中心点对称的两条直线作为最终指针。

搜索直线集，若存在两条直线沿指针中心点对称，则将这两条直线作为一个指针候选加入候选队列，选取候选队列中直线长度最长的指针候选作为最终指针。

本发明从指针中心点出发识别指针，能够保证对指针边缘信息的完整提取，尽可能地排除干扰，在表面情况比较复杂的情况下仍能较准确识别指针读数，提高了识别精度。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种利用指针中心点的指针识别方法，其特征在于，包括以下步骤：

在样本图片上标注定位框和指针中心点作为模板图片；

以模板图片为基准，定位出待识别图片上与模板图片相对应定位框和指针中心点；

从待识别图片中选取中心点区域，从中心点区域自适应计算得到Canny算子的上阈值和下阈值；

以上阈值和下阈值作为输入参数，应用Canny算子对待识别图片提取边缘，得到初始边缘图；

从中心点区域出发，对初始边缘图查找相邻边缘并膨胀连接得到连接边缘图，搜索连接边缘图的边缘的外接矩，过滤掉外接矩面积较小的区域，得到边缘图；所述过滤掉外接矩面积较小的区域为小于定位框面积百分之五的区域；

使用Hough变换从边缘图中提取直线，构成直线集；

从直线集中选取关于指针中心点对称的两条直线作为最终指针。

2.根据权利要求1所述的利用指针中心点的指针识别方法，其特征在于，中心点区域的选取方法具体为：

对待识别图片，以指针中心点为中心，从中选择一个较小的中心点区域；所述较小的中心点区域具体为：

对MxN的待识别图片，以指针中心点为中心，从中选择(M/24)x(N/13.5)的中心点区域；所述M为待识别图片的水平像素，N为待识别图片的垂直像素。

3.根据权利要求2所述的利用指针中心点的指针识别方法，其特征在于，计算上阈值和下阈值的方法具体为：

对中心点区域在水平方向和竖直方向分别用Sobel算子计算水平方向梯度和竖直方向梯度，计算水平方向梯度和竖直方向梯度的绝对值和作为边缘强度图，并计算出边缘最大值。

4.根据权利要求3所述的利用指针中心点的指针识别方法，其特征在于，

Sobel水平方向算子Sobel(h)为：

Sobel竖直方向算子Sobel(v)为：

水平方向梯度为dx＝G*Sobel(h),竖直方向梯度为dy＝G*Sobel(v),G为待识别图片，*为卷积操作，待识别图片G的边缘强度图为S＝abs(dx)+abs(dy),边缘最大值maxe＝max(S)，其中，abs为绝对值函数；

对边缘强度图计算直方图，统计直方图中bin个数为n，将直方图每个bin的边缘强度从小到大排序，将排序后的bin的边缘个数依次累加，边缘个数累加和首次超过边缘总数的70％时的已累加的bin的个数为i；

上阈值为(i+1)*maxe/n；下阈值为((i+1)*maxe/n)*0.4。

5.根据权利要求4所述的利用指针中心点的指针识别方法，其特征在于，从直线集中选取关于指针中心点对称的两条直线作为最终指针具体为：

搜索直线集，若存在两条直线沿指针中心点对称，则将这两条直线作为一个指针候选加入候选队列，选取候选队列中直线长度最长的指针候选作为最终指针。

Images