CN107239743B - 一种基于投影法的刻度线读数自动检测方法 - Google Patents

Abstract

本发明属于仪表刻度线读数技术领域，具体公开一种基于投影法的刻度线读数自动检测方法，具体包括以下步骤：1）、匹配刻度条模板图和当前图像，定位刻度条；2）、刻度条色彩特征训练，以及根据色彩训练结果进行的当前图像的色彩置信度计算；3)、基于水平投影发计算倾斜角并矫正图像；4)、基于垂直投影定位刻度线位置；5）、对刻度条属于暗刻度、亮刻度以及无刻度的识别判断，并统计刻度条总数目统计；本发明基于投影法处理仪表刻度盘图像，实现了仪表刻度盘刻度线的准确自动化读数。

Description

一种基于投影法的刻度线读数自动检测方法

技术领域

本发明属于仪表刻度线读数技术领域，具体公开一种基于投影法的刻度线读数自动检测方法。

背景技术

仪表盘是人们在获得设备仪器性能信息的重要门户渠道，通过仪表盘记录各种数据可以判断当下仪器设备状况和功能完备效率，提高设备和仪器的安全性和正确性。随着汽车检测研究技术的发展，对仪表信息的显示功能要求和标准也日趋严格规范化，如何快速检测判断汽车仪表显示车载信息正确性的研究方法就成为当代汽车检测技术的新研究内容。传统的仪表检测主要依靠于检测人员的主观判断，通过观测表针与刻度的匹配度来断定仪表精度误差是否合格。这种人工检测方法非常容易受到观测角度、距离范围的影响，同时检测人员的疲惫程度和工作经验也是引起检测误差的关键因素，所以此种校验方法的误差大，精准可靠性也极差。

发明内容

本发明针对现有技术的缺陷和不足，提供一种基于投影法的刻度线读数自动检测方法。

基于投影法的刻度线读数自动检测方法，其特征在于，包括以下步骤：

1)、匹配图像，定位刻度条：在模板图中截取刻度条图像，作为匹配的刻度条模板；将刻度条模板在当前图像中逐像素遍历，计算每个像素位置色彩值差异之和；差异最小的位置，是刻度条的精确位置；

2)、刻度条色彩特征训练，以及当前图像的色彩置信度计算和基于置信度的图像归一化处理：提取刻度条像素，对其区域色彩分布进行高斯建模，逐像素分析当前图像色彩置信度，基于色彩置信度将最大亮度值和最小亮度值分别归一化为255和0，实现当前图像的色彩特征提取，得到色彩置信度图像；

2.1)、色彩特征的训练

对刻度条区域的色彩分布，建立单一的高斯模型。为了得到用于训练的像素样本，采用人工采集的方案，提取像素：用鼠标在每个刻度线的中心区域，点击或者划线。将点击的位置，或者划线的位置，周边一定范围内的像素，作为训练样本；将训练样本的色彩值，变换到HSV空间；分别计算H、S、V三个色彩通道的均值和方差，作为训练结果；

2.2)、色彩置信度计算

在当前刻度条的彩色图像中，逐像素分析其色彩值，计算属于步骤2.1)中高斯模型的概率，即色彩置信度，得到当前图像的概率图，然后将当前图像的概率图进行亮度拉伸，将最大亮度值和最小亮度值分别归一化为255和0，实现当前图像的色彩特征提取，得到色彩置信度图像；

3)、遍历倾斜角并旋转图像，每次旋转后的图像水平投影，根据投影曲线计算刻度条倾斜角，根据倾斜角矫正图像；

拍摄图片的相机，往往很容易出现细微的倾斜，导致刻度条并不是绝对的水平，而是出现一定的倾斜；此时需要对图像进行倾斜矫正，本发明采用遍历角度和水平投影的方法，来实现倾斜角的检测和图像倾斜矫正；

一般刻度条的倾斜角不会太大，因此可以限定倾斜角在[-30°，30°]之间。在该区间，对倾斜角进行遍历，每隔1°遍历一次，同时，针对被遍历角度，对图像进行旋转；

由于投影法可以降低噪声的干扰可以提高计算图像旋转角度的精度，所以对每次旋转后的刻度条图像进行水平投影得到投影曲线，根据投影曲线计算当前图像中刻度条倾斜角；

水平投影，具体为：计算刻度条图像中，每一行像素亮度的总和。

刻度条倾斜角的计算时，充分考虑刻度条形状的特殊性，即：不管图像旋转到哪一个角度，得到的投影曲线的形状，都类似于高坡，中间高，两侧低；同时，不同角度对应的投影曲线，在高坡两侧的斜坡区域，会有所差异；越接近水平的图像，斜坡过渡区域越窄；偏离水平图像越远，斜坡过渡区域越宽，利用这个特性，可以计算得到最优的倾斜角；

根据投影曲线计算当前图像中刻度条倾斜角是指根据通过投影曲线的能量集中度计算计算倾斜角，在计算之前需要对投影曲线的上下边界进行定位，以确定刻度条的上下边界的，具体计算方法如下：

a)、统计投影曲线的最大值minVal和最小值maxVal；

b)、计算分界阈值：阈值的计算公式：th＝0.8*minVal+0.2*maxVal；

c)、刻度条上下边界计算：从上往下遍历刻度条投影曲线，投影值从阈值下变为阈值之上的位置，就是上边界。从下往上遍历刻度条投影曲线，投影值从阈值下变为阈值之上的位置，就是下边界。

d)、能量集中度的计算：统计上下边界之间，投影曲线值的平均值，作为能量集中度。

e)、搜索最优倾斜角：在所有可能的倾斜角度值之中，能量集中度最高情形所对应的角度值就是刻度条的倾斜角度。

在得到合适的倾斜角之后，利用该角度对图像进行旋转，得到刻度条不再倾斜的图像。后续步骤在该图像上进行处理，实现刻度线的定位和刻度数目的统计；

4)、将刻度条图像进行垂直投影，得到投影曲线，基于投影曲线进行刻度条起始位置以及线宽遍历，确定起始位置参数以及线宽参数，对起始位置参数以及线宽参数组合确定的刻度条进行高斯曲线形状拟合，并根据高斯模型拟合总误差进行刻度线定位，总误差最小的参数组合对应的参数位置，是最终的刻度线定位位置；

水平刻度条是由多个尺寸相同的刻度线构成的，每个刻度线都是一个小矩形。两个相邻的刻度线之间，存在一定的间隙。但是，在相机拍摄过程中，刻度线之间的间隙，往往会被两侧的刻度线的亮度所干扰，在图像上形成一个亮度稍暗的细长条，这种现象给刻度线的定位，造成较大的影响，而简单的二值化和连通域检测的方法，无法实现刻度线的切分，所以本发明采用对垂直投影曲线进行参数遍历的方法，实现刻度线的定位，具体如下：

通过对当前图像的色彩置信度图像的垂直投影，得到投影曲线图，投影曲线图中的每一个刻度线呈现出高斯曲线的外形，同时由于刻度条中，某些刻度线的亮度较暗，投影形成的峰，峰高会比较亮的刻度线对应的峰高要低；

垂直投影，具体为：计算刻度条图像中，每一列像素亮度的总和。

由于刻度条的定位精度有限，刻度条图像中的第一列像素，并不是刻度线的最左边像素，因此对刻度条起始位置进行遍历，确定最合适的起始位置参数；

实际图像中，刻度线的宽度，也经常与经验值设定的刻度线宽度有所差异；因此对刻度线宽度值进行遍历搜索，确定最合适的宽度参数；

刻度条区域的垂直投影曲线中，每一个刻度线对应的曲线，形状上与高斯曲线非常接近，因此对通过起始位置参数和宽度参数组合确定的刻度条进行高斯曲线形状拟合，并计算高斯模型拟合总误差，总误差最小的参数组合，是最终的刻度线定位结果；所述的高斯曲线形状拟合方法如下：

a)、计算左右边界和中间线

根据起始位置参数设置以及宽度参数设置，计算该设置对应的刻度线的左右边界和中间线坐标；

b)、提取该刻度下的左右边界之间的垂直投影曲线值；

c)、随机设定高斯曲线的均值和方差初始参数：均值的初始值设定为中间刻度线坐标；方差随机设定；如果当前刻度线不是左边第一个，则可以利用前一个刻度线的拟合结果作为初始值；

d)、利用粒子群优化算法(PSO算法)，搜索得到最合适的高斯曲线参数；

所述PSO算法的每个粒子包含了一组均值和方差的参数组合；粒子所对应的适应度按照如下方法计算：

(1)根据高斯曲线的均值和方差，计算出左右边界之间的每个坐标上的高斯曲线的值；(2)计算每个坐标点上的高斯曲线用于实际的投影曲线值的差异；c)统计总的误差，作为当前粒子的适应度；

e)、统计所有的刻度线的拟合误差之和；

f)、找到最小拟合误差对应的参数组合。

5)、对刻度条属于暗刻度、亮刻度以及无刻度的识别判断验证，并统计刻度条总数目统计；具体如下：

在完成刻度线的定位之后，还需要统计当前刻度线的总数目，每个刻度线可能呈现出三种情形：a)、暗刻度：这种现象，其实是由于刻度线的闪烁造成的。拍摄图像时，相机的曝光时间一般都长达800毫秒，在这800毫秒之间，刻度线会发生1-2次亮灭，从而导致整体亮度下降，变成暗刻度；b)、亮刻度：刻度线没有亮灭的现象发生。因此所拍摄的图像中，刻度线亮度值较高；c)、无刻度：刻度线完全熄灭，在图像中呈现出漆黑一片；先进行有刻度和无刻度的判断，之后对有刻度的情况，进行暗刻度或亮刻度的判断，具体为，图线全黑，判断为无刻度，否则为有刻度；对有刻度的情况，进行刻度条的高斯曲线拟合，并将拟合到的高斯曲线的方差和经验值进行比较，这里经验值设为25，如果当前刻度线的高斯拟合曲线的方差大于经验值，则判定为暗刻度，小于经验值，则判定为亮刻度；

为了进一步提高准确性，根据刻度条上刻度线的分布位置规律进行判断结果验证，所述分布规律具体为：a)、无刻度是相邻的，而且至位于刻度条最右侧；b)、暗刻度彼此相邻，位于刻度条最左侧或者最右侧；c)、暗刻度高斯曲线形状一致；d)、亮刻度也是彼此相邻的；e)、亮刻度高斯曲线形状一致；三种刻度线的分类结果，如果不满足上述规律，则说明判断结果不对，需要重新判断，或者直接进行预警，以防止最终的刻度数目统计结果发生错误；

将亮刻度和暗刻度的总数目相加统计确定最终的刻度条总数目。

本发明基于投影法处理仪表刻度盘图像，分别进行了图像的水平投影和竖直投影处理，实现了仪表刻度盘刻度线的准确自动化确定。

附图说明

图1为本发明流程图。

具体实施方式

如图1所示的基于投影法的刻度线读数自动检测方法，其特征在于，包括以下步骤：

1)、匹配图像，定位刻度条：在模板图中截取刻度条图像，作为匹配的刻度条模板；将刻度条模板在当前图像中逐像素遍历，计算每个像素位置色彩值差异之和；差异最小的位置，是刻度条的精确位置；

2)、刻度条色彩特征训练，以及当前图像的色彩置信度计算和基于置信度的图像归一化处理：提取刻度条像素，对其区域色彩分布进行高斯建模，逐像素分析当前图像色彩置信度，基于色彩置信度将最大亮度值和最小亮度值分别归一化为255和0，实现当前图像的色彩特征提取，得到色彩置信度图像；

2.1)、色彩特征的训练

对刻度条区域的色彩分布，建立单一的高斯模型。为了得到用于训练的像素样本，采用人工采集的方案，提取像素：用鼠标在每个刻度线的中心区域，点击或者划线。将点击的位置，或者划线的位置，周边一定范围内的像素，作为训练样本；将训练样本的色彩值，变换到HSV空间；分别计算H、S、V三个色彩通道的均值和方差，作为训练结果；

2.2)、色彩置信度计算

在当前刻度条的彩色图像中，逐像素分析其色彩值，计算属于步骤2.1)中高斯模型的概率，即色彩置信度，得到当前图像的概率图，然后将当前图像的概率图进行亮度拉伸，将最大亮度值和最小亮度值分别归一化为255和0，实现当前图像的色彩特征提取，得到色彩置信度图像；

3)、遍历倾斜角并旋转图像，每次旋转后的图像水平投影，根据投影曲线计算刻度条倾斜角，根据倾斜角矫正图像；

拍摄图片的相机，往往很容易出现细微的倾斜，导致刻度条并不是绝对的水平，而是出现一定的倾斜；此时需要对图像进行倾斜矫正，本发明采用遍历角度和水平投影的方法，来实现倾斜角的检测和图像倾斜矫正；

一般刻度条的倾斜角不会太大，因此可以限定倾斜角在[-30°，30°]之间。在该区间，对倾斜角进行遍历，每隔1°遍历一次，同时，针对被遍历角度，对图像进行旋转；

由于投影法可以降低噪声的干扰可以提高计算图像旋转角度的精度，所以对每次旋转后的刻度条图像进行水平投影得到投影曲线，根据投影曲线计算当前图像中刻度条倾斜角；

水平投影，具体为：计算刻度条图像中，每一行像素亮度的总和。

刻度条倾斜角的计算时，充分考虑刻度条形状的特殊性，即：不管图像旋转到哪一个角度，得到的投影曲线的形状，都类似于高坡，中间高，两侧低；同时，不同角度对应的投影曲线，在高坡两侧的斜坡区域，会有所差异；越接近水平的图像，斜坡过渡区域越窄；偏离水平图像越远，斜坡过渡区域越宽，利用这个特性，可以计算得到最优的倾斜角；

根据投影曲线计算当前图像中刻度条倾斜角是指根据通过投影曲线的能量集中度计算计算倾斜角，在计算之前需要对投影曲线的上下边界进行定位，以确定刻度条的上下边界的，具体计算方法如下：

a)、统计投影曲线的最大值minVal和最小值maxVal；

b)、计算分界阈值：阈值的计算公式：th＝0.8*minVal+0.2*maxVal；

c)、刻度条上下边界计算：从上往下遍历刻度条投影曲线，投影值从阈值下变为阈值之上的位置，就是上边界。从下往上遍历刻度条投影曲线，投影值从阈值下变为阈值之上的位置，就是下边界。

d)、能量集中度的计算：统计上下边界之间，投影曲线值的平均值，作为能量集中度。

e)、搜索最优倾斜角：在所有可能的倾斜角度值之中，能量集中度最高情形所对应的角度值就是刻度条的倾斜角度。

在得到合适的倾斜角之后，利用该角度对图像进行旋转，得到刻度条不再倾斜的图像。后续步骤在该图像上进行处理，实现刻度线的定位和刻度数目的统计；

4)、将刻度条图像进行垂直投影，得到投影曲线，基于投影曲线进行刻度条起始位置以及线宽遍历，确定起始位置参数以及线宽参数，对起始位置参数以及线宽参数组合确定的刻度条进行高斯曲线形状拟合，并根据高斯模型拟合总误差进行刻度线定位，总误差最小的参数组合对应的参数位置，是最终的刻度线定位位置；

水平刻度条是由多个尺寸相同的刻度线构成的，每个刻度线都是一个小矩形。两个相邻的刻度线之间，存在一定的间隙。但是，在相机拍摄过程中，刻度线之间的间隙，往往会被两侧的刻度线的亮度所干扰，在图像上形成一个亮度稍暗的细长条，这种现象给刻度线的定位，造成较大的影响，而简单的二值化和连通域检测的方法，无法实现刻度线的切分，所以本发明采用对垂直投影曲线进行参数遍历的方法，实现刻度线的定位，具体如下：

通过对当前图像的色彩置信度图像的垂直投影，得到投影曲线图，投影曲线图中的每一个刻度线呈现出高斯曲线的外形，同时由于刻度条中，某些刻度线的亮度较暗，投影形成的峰，峰高会比较亮的刻度线对应的峰高要低；

垂直投影，具体为：计算刻度条图像中，每一列像素亮度的总和。

由于刻度条的定位精度有限，刻度条图像中的第一列像素，并不是刻度线的最左边像素，因此对刻度条起始位置进行遍历，确定最合适的起始位置参数；

实际图像中，刻度线的宽度，也经常与经验值设定的刻度线宽度有所差异；因此对刻度线宽度值进行遍历搜索，确定最合适的宽度参数；

刻度条区域的垂直投影曲线中，每一个刻度线对应的曲线，形状上与高斯曲线非常接近，因此对通过起始位置参数和宽度参数组合确定的刻度条进行高斯曲线形状拟合，并计算高斯模型拟合总误差，总误差最小的参数组合，是最终的刻度线定位结果；所述的高斯曲线形状拟合方法如下：

a)、计算左右边界和中间线

根据起始位置参数设置以及宽度参数设置，计算该设置对应的刻度线的左右边界和中间线坐标；

b)、提取该刻度下的左右边界之间的垂直投影曲线值；

c)、随机设定高斯曲线的均值和方差初始参数：均值的初始值设定为中间刻度线坐标；方差随机设定；如果当前刻度线不是左边第一个，则可以利用前一个刻度线的拟合结果作为初始值；

d)、利用粒子群优化算法(PSO算法)，搜索得到最合适的高斯曲线参数；

所述PSO算法的每个粒子包含了一组均值和方差的参数组合；粒子所对应的适应度按照如下方法计算：

(1)根据高斯曲线的均值和方差，计算出左右边界之间的每个坐标上的高斯曲线的值；(2)计算每个坐标点上的高斯曲线用于实际的投影曲线值的差异；c)统计总的误差，作为当前粒子的适应度；

e)、统计所有的刻度线的拟合误差之和；

f)、找到最小拟合误差对应的参数组合。

5)、对刻度条属于暗刻度、亮刻度以及无刻度的识别判断验证，并统计刻度条总数目统计；具体如下：

在完成刻度线的定位之后，还需要统计当前刻度线的总数目，每个刻度线可能呈现出三种情形：a)、暗刻度：这种现象，其实是由于刻度线的闪烁造成的。拍摄图像时，相机的曝光时间一般都长达800毫秒，在这800毫秒之间，刻度线会发生1-2次亮灭，从而导致整体亮度下降，变成暗刻度；b)、亮刻度：刻度线没有亮灭的现象发生。因此所拍摄的图像中，刻度线亮度值较高；c)、无刻度：刻度线完全熄灭，在图像中呈现出漆黑一片；先进行有刻度和无刻度的判断，之后对有刻度的情况，进行暗刻度或亮刻度的判断，具体为，图线全黑，判断为无刻度，否则为有刻度；对有刻度的情况，进行刻度条的高斯曲线拟合，并将拟合到的高斯曲线的方差和经验值进行比较，这里经验值设为25，如果当前刻度线的高斯拟合曲线的方差大于经验值，则判定为暗刻度，小于经验值，则判定为亮刻度；

为了进一步提高准确性，根据刻度条上刻度线的分布位置规律进行判断结果验证，所述分布规律具体为：a)、无刻度是相邻的，而且只位于刻度条最右侧；b)、暗刻度彼此相邻，位于刻度条最左侧或者最右侧；c)、暗刻度高斯曲线形状一致；d)、亮刻度也是彼此相邻的；e)、亮刻度高斯曲线形状一致；三种刻度线的分类结果，如果不满足上述规律，则说明判断结果不对，需要重新判断，或者直接进行预警，以防止最终的刻度数目统计结果发生错误；

将亮刻度和暗刻度的总数目相加统计确定最终的刻度条总数目。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于投影法的刻度线读数自动检测方法，其特征在于，包括以下步骤：

1）、匹配刻度条模板图和当前图像，定位刻度条；

2）、刻度条色彩特征训练，以及当前图像的色彩置信度计算和基于置信度的图像归一化处理：提取刻度条像素，对其区域色彩分布进行高斯建模，逐像素分析当前图像色彩置信度，基于色彩置信度将最大亮度值和最小亮度值分别归一化为255和0，实现当前图像的色彩特征提取，得到色彩置信度图像；

3)、遍历倾斜角并旋转色彩置信度图像，每次旋转后的图像水平投影，根据投影曲线计算刻度条倾斜角，根据倾斜角矫正图像；

4)、将矫正后的刻度条图像进行垂直投影，得到投影曲线，基于投影曲线进行刻度条起始位置以及线宽遍历，确定起始位置参数以及线宽参数，对起始位置参数以及线宽参数组合确定的刻度条进行高斯曲线形状拟合，并根据高斯模型拟合总误差进行刻度线定位，总误差最小的参数组合对应的参数位置，是最终的刻度线定位位置；

5）、对刻度条属于暗刻度、亮刻度以及无刻度进行识别判断，并统计刻度条总数目统计。

2.根据权利要求1所述的基于投影法的刻度线读数自动检测方法，其特征在于，步骤3）中所述的根据投影曲线计算当前图像中刻度条倾斜角是指根据通过投影曲线的能量集中度计算计算倾斜角，具体计算方法如下：

a)、统计投影曲线值的最大值minVal和最小值maxVal；

b)、计算分界阈值：阈值的计算公式：th = 0.8 * minVal + 0.2 * maxVal；

c)、刻度条上下边界计算：从上往下遍历刻度条投影曲线，投影曲线值从阈值下变为阈值之上的位置，就是上边界；从下往上遍历刻度条投影曲线，投影曲线值从阈值下变为阈值之上的位置，就是下边界；

d)、能量集中度的计算：统计上下边界之间，投影曲线值的平均值，作为能量集中度；

e)、搜索最优倾斜角：能量集中度最高情形所对应的角度值就是刻度条的倾斜角度。

3.根据权利要求1所述的基于投影法的刻度线读数自动检测方法，其特征在于，步骤4）中所述的高斯曲线形状拟合方法如下：

a)、根据起始位置参数设置以及宽度参数设置，计算该设置对应的刻度线的左右边界和中间线坐标；

b)、提取该刻度下的左右边界之间的垂直投影曲线值；

c)、随机设定高斯曲线的均值和方差初始参数：均值的初始值设定为中间线坐标；方差随机设定；

d)、利用粒子群优化算法，搜索得到最合适的高斯曲线参数；

e)、统计所有的刻度线的高斯曲线拟合误差之和；

f)、找到最小拟合误差对应的参数组合。

4.根据权利要求1所述的基于投影法的刻度线读数自动检测方法，其特征在于，步骤5）中所述的刻度条属于暗刻度、亮刻度以及无刻度的识别判断是指先进行有刻度和无刻度的判断，在进行暗刻度和亮刻度判断。

5.根据权利要求1所述的基于投影法的刻度线读数自动检测方法，其特征在于，步骤5）中在进行刻度条总数目统计之前还包括根据度条上刻度线的分布位置规律进行的判断结果验证步骤。