CN110909772B - 一种高精度实时多尺度表盘指针检测方法和系统 - Google Patents

Abstract

本发明公开了一种高精度实时多尺度表盘指针检测方法，属于图像处理技术。本发明方法对训练集中的表盘图片进行标记，记录表盘图片中指针区域的位置；再对训练集中的表盘图片进行数据增强操作；之后将训练集输入至FaceBoxes网络，训练得到表盘指针检测模型；最后将待测图像输入至表盘指针检测模型，输出待测图像中的指针框，再由表盘盘心和指针框中心点确定指针指向；同时通过对检测到的指针框使用自适应霍夫直线检测进一步精修指针指向，综合以上两种指针指向提取方法，给出指针的择优指向信息；本发明还公开了一种高精度实时多尺度表盘指针检测系统，本发明不仅大大的提高了指针检测的效率和准确度，而且算法更加稳定、鲁棒性更好。

Description

一种高精度实时多尺度表盘指针检测方法和系统

技术领域

本发明属于图像识别技术领域，更具体地，涉及一种高精度实时多尺度表盘指针检测方法和系统。

背景技术

传统的指针提取算法有差影法、霍夫变换直线检测等。差影法是图像分割算法中最简单的方法之一。它的思想是对比图像的差异，然后通过对图像灰度的差异进行比较或直方图的统计来判断不同的图像。差影法经常用在动态检测和目标识别与跟踪，通过差异对比，可以实现消除背景的效果。差影法的优势在于其算法简单，速度快，结果精确。但是缺点也很明显，有很多严格的前提条件，它要求原图与对比图只有指针位置的差异，其余完全相同，否则其效果会下降很大。考虑到本专利的应用场景，所获取的图像在尺寸大小、光照强弱与角度偏转等方面均有差异，所以无法满足差影法的前提条件，无法使用差影法对指针进行分割。

卷积神经网络近年来在视觉相关领域得到了广泛的应用，在图像分类和人脸识别等多种计算机视觉任务中取得了显著的进展。基于深度学习在计算机视觉任务中的良好表现，近年来提出了一些基于深度学习的人脸检测方法，然而由于其复杂的网络结构，这种方法在实践中是费时的。CNN作为特征提取器被成功地引入到人脸检测任务中。此外，一些人脸检测器从通用的对象检测方法中继承了有效的技术，如更快的R-CNN。这些基于CNN的人脸检测方法对人脸外观的巨大变化具有很强的鲁棒性，并显示了最先进的性能。但它们都太耗时，无法实现实时目标检测。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种高精度实时多尺度表盘指针检测方法和系统，其目的在于本发明采用了人脸检测领域优秀的FaceBoxes网络结构来处理不同尺度的表盘，其结构轻量但功能强大，实现了实时检测。

为实现上述目的，本发明提供了一种高精度实时多尺度表盘指针检测方法和系统，所述方法包括以下步骤：

(1)选取一定数量的表盘图片作为训练集；对选取的表盘图片进行标记，记录表盘图片中指针区域的位置；

(2)对训练集中的表盘图片进行数据增强操作，以获取更多数量和更多类型的表盘图片；所述类型包括图片颜色、图片尺寸和图片方向；

(3)将训练集输入至FaceBoxes网络，FaceBoxes网络训练得到表盘指针检测模型；

(4)将待测图像输入至表盘指针检测模型，输出待测图像中的指针框，再由表盘盘心和指针框中心点确定指针指向。

进一步地，所述方法还包括以下步骤：

(5)对待测图像中的指针框进行自适应霍夫直线检测，得到指针所在直线，再由所述直线和表盘盘心确定指针精确指向；

(6)判断所述指针指向和所述指针精确指向之间的夹角是否超过阈值角，若是则输出所述指针指向；否则输出所述指针精确指向。

进一步地，所述对选取的表盘图片进行标记，记录表盘图片中指针区域的位置具体为：选取表盘图片中指针区域，并记录指针区域的左上角坐标与右下角坐标。

进一步地，所述数据增强操作具体包括以下操作：

(21)对训练集中的表盘图片进行颜色失真处理；

(22)再对表盘图片进行随机裁剪，将一个表盘图片裁剪成多个表盘图片；

(23)将表盘图片的大小统一；

(24)将表盘图片随机水平翻转；

(25)过滤掉表盘指针框小于预设值的表盘图片。

进一步地，所述步骤(3)的FaceBoxes网络训练中包括以下方法：

将每个表盘匹配到具有最佳jaccard重叠的锚点，然后将锚点匹配到高于设定阈值的表盘；

采用一个2类softmax损失函数进行分类，平滑L1损失函数进行回归；

在锚匹配步骤完成后，根据损失值对正例和负例进行由优到劣的排序，并截取排序队列前端预设数量的正例和负例进行后续训练，所截取负例和正例数量比不超过3：1。

进一步地，所述步骤(4)中由表盘盘心和指针框中心点确定指针指向具体为：所述表盘盘心o和所述指针框中心点的连线和所述指针框相较于a，b两点，若oa<ob，则ob为指针指向；否则oa为指针指向。

进一步地，所述步骤(5)中对待测图像中的指针框进行自适应霍夫直线检测，得到指针所在直线具体包括以下步骤：

(51)对指针框图像进行二值化操作；

(52)再进行骨架细化操作；

(53)调用Opencv函数houghLines对细化的图像进行自适应霍夫直线检测，其中将指针框长边的一半作为霍夫直线检测的自适应阈值。

进一步地，所述步骤(5)中由所述直线和表盘盘心确定指针精确指向具体为：所述直线和指针框相较于a，b两点，表盘盘心为o，若oa<ob，则ob为指针指向；否则oa为指针指向。

进一步地，根据所述指针指向确定表盘读数，在表盘上预设多个刻度，所述刻度在表盘上的读数已知，根据指针指向和所述刻度之间的角度位置关系推算得到指针指向的表盘读数。

按照本发明的另一方面，本发明提供了一种高精度实时多尺度表盘指针检测系统，所述系统具体包括以下部分：

第一模块，用于选取一定数量的表盘图片作为训练集；对选取的表盘图片进行标记，记录表盘图片中指针区域的位置；

第二模块，用于对训练集中的表盘图片进行数据增强操作，以获取更多数量和更多类型的表盘图片；所述类型包括图片颜色、图片尺寸和图片方向；

第三模块，用于将训练集输入至FaceBoxes网络，FaceBoxes网络训练得到表盘指针检测模型；

第四模块，用于将待测图像输入至表盘指针检测模型，输出待测图像中的指针框，再由表盘盘心和指针框中心点确定指针指向；

第五模块，用于对待测图像中的指针框进行自适应霍夫直线检测，得到指针所在直线，再由所述直线和表盘盘心确定指针精确指向；

第六模块，用于判断所述指针指向和所述指针精确指向之间的夹角是否超过阈值角，若是则输出所述指针指向；否则输出所述指针精确指向。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

(1)本发明采用了人脸检测领域优秀的FaceBoxes网络结构来处理不同尺度的表盘，只包含一个完整的卷积神经网络来进行端到端的训练，结构轻量但功能强大，达到了实时检测的效果；

(2)本发明中FaceBoxes网络训练时通过使用锚点匹配策略，使不同类型的锚点在输入图像上具有相同的密度，显著提高了小表盘的召回率，可以实现高精度多尺度检测的效果；

(3)本发明将FaceBoxes指针检测模型检测到指针框之后，通过盘心和指针框中心的关系得到指针指向，再通过对检测到的表盘指针框使用指针细化与自适应霍夫直线检测，并结合盘心两边的线段长短，进一步精修指针指向；最后，综合以上两种指针指向提取方法，给出指针的择优指向信息，解决了在受到光照和遮挡等干扰的情况下，霍夫直线检测可能会出现误检或者漏检的问题；通过将两种提取指针指向信息方法结合起来，不仅大大的提高了指针检测的效率和准确度，而且算法更加稳定、鲁棒性更好；

(4)本发明自适应霍夫直线检测不再是传统的设置一个固定阈值，而是一种自适应性的直线检测，设置大于检测到的指针框长边的一半作为直线检测的自适应阈值，该方法使得霍夫直线检测结果更加准确。

附图说明

图1是本发明总体流程图；

图2是本发明中FaceBoxes网络框架图以及锚策略的相关信息；

图3是本发明中Inception模块结构示意图；

图4是本发明中FaceBoxes检测模型检测表盘指针框效果图；

图5是本发明中表盘指针框的三种类型；

图6是本发明中表盘指针提取效果图；

图7是本发明实施例中有遮挡的指针霍夫直线检测示意图；

图8是本发明中表盘指针所指示数计算的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

现结合附图和实施例对本发明方法进行进一步的说明：

一种高精度实时多尺度表盘指针检测方法的实施例，如图1所示，该实施例具体包括以下步骤：

步骤1，表盘数据集样本的制作：选取1000张不同类型的表盘样本图片作为表盘样本的训练集；

步骤2，标签标定：用标图软件labelme对表盘指针区域进行标签的标定，表盘指针区域的标签标定即表盘指针区域的左上角坐标与右下角坐标，生成json标定文件，然后转换成实验所用的xml文件格式；

步骤3，数据增强操作：对训练集中每张训练图像进行数据增强操作，所述数据增强操作包括以下一种方法或多种方法组合：

1、颜色失真：应用一些光度量失真；

2、随机裁剪：从原始图像中随机裁剪出5个正方形的图像：其中一个是原始图像中最大的正方形图像，其它的图像的边长尺寸在原始图像的短尺寸范围内[0.3,1]；然后为后续操作任意选择一个图像；

3、尺度变换：随机裁剪后，将选中的图像大小调整为1024×1024；

4、水平翻转：以0.5的概率将选中的图像进行水平翻转；

5、表盘指针框过滤器：识别图像中的表盘指针框，过滤掉高度或宽度小于20像素的表盘指针框。

步骤4，表盘数据集的训练：将数据增强操作后的表盘数据集输入到FaceBoxes网络，得到FaceBoxes网络训练的表盘指针检测模型。FaceBoxes网络结构以及锚策略的相关信息如图2所示。

RDCL设计的作用是将图像的尺度快速的降下去，相对于其它的网络，通道数减少，从而保证实现实时检测的效果：快速降低输入的空间尺度是通过对卷积层与池化层加入大的步幅实现的，如图2所示，Conv1,Pool1,Conv2和Pool2的步幅分别为4、2、2、2，所以总的RDCL等于32，即输入图片的空间尺度减小了32倍。想要加速，网络刚开始的层的核尺度应该小，同时还不能太小，以弥补空间尺度的减小造成的信息损失。如图2，Conv1,Conv2,Conv3的卷积核大小之所以选择7*7、5*5、3*3,是为了保持高效。减少输出的通道数是利用激活函数CReLU。使用CReLU不仅可以明显提高速度，而且精度也没有下降。

MSCL设计主要是遵循基于网络深度的多尺度设计与基于网络宽度的多尺度设计两个维度。如图2所示，是对基于网络深度的多尺度设计，MSCL包括的这些层，其尺寸上是在逐渐减小，从而形成一个多尺度的feature map。这里默认的锚即关联多尺度的图谱，也就是Inception3,Conv3_2,Conv4_2。基于网络宽度的多尺度设计则是为了学习不同尺度的目标，关联锚的层所输出的特征应该与不同尺度的感受野对应起来，Inception模块就可以实现这个目标。如图3是对Inception模块的介绍。

图2中，Inception3层当中锚的尺度分别为32、64、128，Conv3_2和Conv4_2层中锚的尺度则是256和512。图像中锚点的平铺间距等于对应的关联锚层的步幅大小。例如：Conv3_2的步幅是64，它所对应的锚大小为256*256，这表示对于输入图片中的每64个像素点就有一个大小为256*256的锚。锚的平铺密度A_density定义为：

A_density＝A_scale/A_interval

其中A_scale代表锚的尺度，A_interval代表锚的平铺间距。在这里默认锚的平铺间距分别为32、32、32、64、128。根据上述公式，其相应的密度分别为1、2、4、4、4。可以看出，不同尺度的锚会出现平铺密度不平衡的情况。相比于大的锚，比如128*128、256*256、512*512，像32*32、64*64这样小的锚就会比较稀疏，从而出现小目标的低召回率。为解决这个问题，应用一种新的锚增密策略。尤其是为了对一个类型的锚增密n次,只平铺一个锚是不够的，需要在一个感受野中心周围均匀的平铺A_number＝n²个锚。

步骤5，将待测图片输入用步骤4训练得出的表盘指针检测模型，得到待测图片中的指针框。检测效果如图4所示。

步骤6，结合步骤5检测到的表盘指针框，并结合表盘盘心的位置，初步判断得出指针的大致指向信息。同时，通过对检测到的表盘指针框使用指针细化与自适应霍夫直线检测，并结合盘心两边的线段长短，进一步精修指针指向。最后，综合以上两种指针指向提取方法，给出指针的择优指向信息。

根据所检测到的表盘指针区域的类型，可以将其分为三种：有两种情况是表盘指针检测框的左右对角线即是指针的位置；最后一种特殊的情况是指针与表盘指针检测框平行。如图5所示，最左边的情况是盘心在指针框中心的右下方，所以指针框的左对角线即为指针的位置，指针在盘心左边更长，所以指向为左上方；中间的情况是盘心在指针框的左下方，所以指针框的右对角线即为指针的位置，指针在盘心右边更长，所以指向为右上方；右边的情况是盘心在指针框重心的下方，所以盘心和指针框重心连线的延长线既是指针的位置，指针在盘心上方更长，所以指向为上方。综合来看，对于以上三种情况指针指向的初步判定，均需要结合盘心位置和表盘检测框重心位置作为约束，即以通过盘心位置和表盘检测框重心位置的连线作为指针的大致位置，而该连线与表盘检测框必定相交于两点，再结合盘心到两个交点的距离得出指针的具体指向。

结合初步判断得出的指针指向信息，可以进一步对检测到的表盘指针框使用指针细化与自适应霍夫直线检测的方法，并结合盘心两边的线段长短，进一步精修指针指向。需要注意的是，这里的霍夫直线检测不再是传统的设置一个固定阈值，而是一种自适应性的直线检测，设置大于检测到的指针框长边的一半作为直线检测的自适应阈值。操作的步骤为：先对指针区域图像进行二值化操作，再进行骨架细化操作，最后调用Opencv函数houghLines对细化的图像进行自适应霍夫直线检测。指针区域图像、图像二值化、骨架细化和指针的霍夫直线检测效果如图6所示。若霍夫方案检测到的指针直线与FaceBoxes方案确定的指针直线之间的夹角比较小，则可以用霍夫方案检测到的指针直线方向作为择优结果，这样可以有效校准和精修FaceBoxes方案可能出现的定位偏差，提高了算法的鲁棒性。但是，如果两种方案确定的指针直线之间夹角很大，那么则以FaceBoxes方案确定的指针直线为择优结果，防止霍夫直线检测由于光照、遮挡等因素所导致的失效。

最后判断指针的指向信息，是以FaceBoxes方案和霍夫方案择优选出的指针直线为准，该直线的延长线与表盘检测框必定相交于两点，再结合盘心到两个交点的线段距离得出指针的具体指向。这里，如果择优结果选择的是霍夫方案检测到的指针直线，之所以不直接使用该直线与盘心的关系来判断指针指向，是因为霍夫直线检测有很大的局限性，在受到光照和遮挡等干扰的情况下，可能会出现误检或者漏检，如图7所示，霍夫直线检测到盘心左侧的指针线段比右侧长，而实际的指向结果是盘心右侧的指针比左侧的指针更长。

步骤7，在步骤6得到指针的确切指向信息之后，可以通过角度的比例关系直接计算得出表盘的示数。表盘的起始刻度、中间刻度以及终止刻度的位置坐标以及刻度数的大小是已知的，所以得到指针所指的方向信息之后，可以通过角度的比例关系直接得出表盘的刻度示数。利用角度的比例关系计算表盘指针所指示数的示意图如图8所示。

为了减小进行整个表盘读数识别带来的误差，增加结果的准确性，现预设X，Y，Z三个点，三个点的表盘读数已知，三个点将表盘平均分成3个部分，当指针所指的位置位于起始点X与中间点Y之间时，即图8左侧示意图时，指针所指的刻度示数S的计算公式为：

当指针所指的位置位于中间点Y与终止点Z之间时，即图8右侧示意图时，指针所指的刻度示数S的计算公式为：

综上所述，本发明使用FaceBoxes网络结构对仪表盘指针区域进行了高精度实时多尺度检测，并且提高了小表盘指针的召回率。一方面结合表盘检测框重心位置和盘心位置作为约束来确定指针的大致指向信息，另一方面通过使用指针细化与自适应霍夫直线检测进一步精修指针指向。最后，将两种提取指针指向信息方法结合起来，不仅大大的提高了指针检测的效率和准确度，而且算法更加稳定、鲁棒性更好。

另一方面，本发明公开了一种高精度实时多尺度表盘指针检测系统，所述系统具体包括以下部分：

第一模块，用于选取一定数量的表盘图片作为训练集；对选取的表盘图片进行标记，记录表盘图片中指针区域的位置；

第二模块，用于对训练集中的表盘图片进行数据增强操作，以获取更多数量和更多类型的表盘图片；所述类型包括图片颜色、图片尺寸和图片方向；

第三模块，用于将训练集输入至FaceBoxes网络，FaceBoxes网络训练得到表盘指针检测模型；

第四模块，用于将待测图像输入至表盘指针检测模型，输出待测图像中的指针框，再由表盘盘心和指针框中心点确定指针指向；

第五模块，用于对待测图像中的指针框进行自适应霍夫直线检测，得到指针所在直线，再由所述直线和表盘盘心确定指针精确指向；

第六模块，用于判断所述指针指向和所述指针精确指向之间的夹角是否超过阈值角，若是则输出所述指针指向；否则输出所述指针精确指向。

以上内容本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种高精度实时多尺度表盘指针检测方法，其特征在于，所述方法包括以下步骤：

(1)选取一定数量的表盘图片作为训练集；对选取的表盘图片进行标记，记录表盘图片中指针区域的位置；

(2)对训练集中的表盘图片进行数据增强操作，以获取更多数量和更多类型的表盘图片；所述类型包括图片颜色、图片尺寸和图片方向；

(3)将训练集输入至FaceBoxes网络，FaceBoxes网络训练得到表盘指针检测模型；

(4)将待测图像输入至表盘指针检测模型，输出待测图像中的指针框，再由表盘盘心和指针框中心点确定指针指向；

所述方法还包括以下步骤：

(5)对待测图像中的指针框进行自适应霍夫直线检测，得到指针所在直线，再由所述直线和表盘盘心确定指针精确指向；

(6)判断所述指针指向和所述指针精确指向之间的夹角是否超过阈值角，若是则输出所述指针指向；否则输出所述指针精确指向。

2.根据权利要求1所述的一种高精度实时多尺度表盘指针检测方法，其特征在于，所述对选取的表盘图片进行标记，记录表盘图片中指针区域的位置具体为：选取表盘图片中指针区域，并记录指针区域的左上角坐标与右下角坐标。

3.根据权利要求1所述的一种高精度实时多尺度表盘指针检测方法，其特征在于，所述数据增强操作具体包括以下操作：

(21)对训练集中的表盘图片进行颜色失真处理；

(22)再对表盘图片进行随机裁剪，将一个表盘图片裁剪成多个表盘图片；

(23)将表盘图片的大小统一；

(24)将表盘图片随机水平翻转；

(25)过滤掉表盘指针框小于预设值的表盘图片。

4.根据权利要求1所述的一种高精度实时多尺度表盘指针检测方法，其特征在于，所述步骤(3)的FaceBoxes网络训练中包括以下方法：

将每个表盘匹配到具有最佳jaccard重叠的锚点，然后将锚点匹配到高于设定阈值的表盘；

采用一个2类softmax损失函数进行分类，平滑L1损失函数进行回归；

在锚匹配步骤完成后，根据损失值对正例和负例进行由优到劣的排序，并截取排序队列前端预设数量的正例和负例进行后续训练，所截取负例和正例数量比不超过3：1。

5.根据权利要求1所述的一种高精度实时多尺度表盘指针检测方法，其特征在于，所述步骤(4)中由表盘盘心和指针框中心点确定指针指向具体为：所述表盘盘心o和所述指针框中心点的连线和所述指针框相较于a，b两点，若oa<ob，则ob为指针指向；否则oa为指针指向。

6.根据权利要求1所述的一种高精度实时多尺度表盘指针检测方法，其特征在于，所述步骤(5)中对待测图像中的指针框进行自适应霍夫直线检测，得到指针所在直线具体包括以下步骤：

(51)对指针框图像进行二值化操作；

(52)再进行骨架细化操作；

(53)调用Opencv函数houghLines对细化的图像进行自适应霍夫直线检测，其中将指针框长边的一半作为霍夫直线检测的自适应阈值。

7.根据权利要求1所述的一种高精度实时多尺度表盘指针检测方法，其特征在于，所述步骤(5)中由所述直线和表盘盘心确定指针精确指向具体为：所述直线和指针框相较于a，b两点，表盘盘心为o，若oa<ob，则ob为指针指向；否则oa为指针指向。

8.根据权利要求1或2所述的一种高精度实时多尺度表盘指针检测方法，其特征在于，根据所述指针指向确定表盘读数，在表盘上预设多个刻度，所述刻度在表盘上的读数已知，根据指针指向和所述刻度之间的角度位置关系推算得到指针指向的表盘读数。

9.一种高精度实时多尺度表盘指针检测系统，其特征在于，所述系统具体包括以下部分：

第一模块，用于选取一定数量的表盘图片作为训练集；对选取的表盘图片进行标记，记录表盘图片中指针区域的位置；

第二模块，用于对训练集中的表盘图片进行数据增强操作，以获取更多数量和更多类型的表盘图片；所述类型包括图片颜色、图片尺寸和图片方向；

第三模块，用于将训练集输入至FaceBoxes网络，FaceBoxes网络训练得到表盘指针检测模型；

第四模块，用于将待测图像输入至表盘指针检测模型，输出待测图像中的指针框，再由表盘盘心和指针框中心点确定指针指向；

第五模块，用于对待测图像中的指针框进行自适应霍夫直线检测，得到指针所在直线，再由所述直线和表盘盘心确定指针精确指向；

第六模块，用于判断所述指针指向和所述指针精确指向之间的夹角是否超过阈值角，若是则输出所述指针指向；否则输出所述指针精确指向。

Images