CN111832565B - 一种基于决策树的数码管识别方法 - Google Patents

Abstract

本发明公开了一种基于决策树的数码管识别方法，其特征在于，包括如下步骤：1）图像采集；2）预处理；3）数码管识别。这种方法适用于工业场景，能够提高复杂环境下数码管识别的效率。

Description

一种基于决策树的数码管识别方法

技术领域

本发明涉及计算机图像处理技术领域，具体是一种基于决策树的数码管识别方法。

背景技术

现有技术中，数码管识别技术难点主要是在复杂工业环境中，常用的识别方法无法完成数字区域与背景区域的高精度分割，进而影响后续识别的准确度。在数码管识别方面，有仅适用于带背光显示器的数字识别检测算法，该算法无法适应无背光的数码管识别；有针对干净图片采用笔画宽度变换定位感兴趣区域，并使用支持向量机来进一步筛选的算法，但算法的输入图片较为理想，并不是在现实情况下捕获的；有利用OCR技术从数字万用表和其他类似的数字显示设备中获取自动数据的系统，此系统可以自动检测小数点和负号，不过该系统只针对七段显示数码管。目前基于图像的数码管自动识别方法在复杂的工业环境中存在模型失配、适应性不强、准确度较低的问题。

发明内容

本发明的目的在于针对现有技术的不足，而提供一种基于决策树的数码管识别方法。这种方法适用于工业场景，能够提高复杂环境下数码管识别的效率。

实现本发明目的的技术方案是：

一种基于决策树的数码管识别方法，包括如下步骤：

1)图像采集：图像采集就是获取图像中图案的扫描图像即数字图像的过程，假设捕获图像中的数码管所在区域即数码管ROI为已知，从采集到的图像中提取出数码管区域，用于后续处理；

2)预处理：对步骤1)得到的数码管ROI进行预处理，首先，对数码管ROI进行灰度化得到灰度图，计算灰度图的Tsallis熵，采用基于决策树的二值化方法对数码管ROI的灰度图进行二值化处理，图像二值化后进行噪声消除,采用边缘消除、膨胀和填充去除图像中噪点，最后对不同尺寸的数码管ROI进行尺寸归一，方便后续处理；

3)数码管识别：对步骤2)得到的尺寸归一后的数码管ROI进行识别，包括三个过程：数字分割、特征提取和数值判定，以数码管色块分布特征为依据进行实时自适应的数字分割，最后估计特征编码数值。

步骤2)中所述的决策树的二值化方法为：

2-1)计算数码管ROI对应的灰度频数分布，数码管ROI对应的灰度频数分布为公式(1)所示：

其中I，J分别为数码管ROI的行像素数与列像素数，Q(k)为对应特定灰度的像素点数和，k＝1，2，3...256；

2-2)计算数码管ROI灰度均值：数码管ROI灰度均值为公式(2)所示：

其中k为灰度值，P(k)为相应灰度值的灰度频数；

2-3)计算Tsallis熵：Tsallis熵为公式(3)所示：

其中，q为Tsallis熵的系数，Tsallis熵是香农熵的扩展，当可调参数q→1时，Tsallis熵等价为香农熵，通过调整q值可以在图像分析中更好地度量图像中不同特征区域的状态差异；

2-4)在Tsallis熵-灰度均值平面上，正常光线、过度曝光、设备关机三种状态下图像度量值能够被决策树分割，依据这一特征，采用灰度均值和Tsallis熵构建双层决策树，在Tsallis熵-灰度均值平面上将正常光线、过度曝光、设备关机三种状态下的图像度量值分开，过程为：

依据决策树判断图片所属场景，进而采用适配不同场景的灰度图二值化方法，并计算门限值∈，其中，场景包括：

2-4-1)设备关机：二值化门限选为灰度最大值，使得二值化图片中数码管区域与背景区域一致：∈＝max_i,jp(i,j)；

2-4-2)过度曝光：采用Otsu算法计算二值化门限基准，并附加余量减少过度曝光的影响：

∈＝ε+δ，其中ε，δ分别为Otsu算法门限和附加余量；

2-4-3)正常光线：根据Otsu算法计算二值化门限。

步骤3)中所述的数字分割包括：

3-1)由于数码管上每个数字间存在间隔，假设每个数字分割处像素和的特征与数字所在区域不同，依据这种特征上的区别，可以分割出单个数码管，数码管ROI二值化图中每列的像素和，定义如下：

其中i，j表示ROI区域内像素点坐标，第i行、第j列的像素值为p(i,j)；

3-2)数字分割点出现在峰值点之间，采用步骤3-1)中c(i)的峰值点计算数字的分割点，计算方法如下：

其中dⁱ为第i个分割点，mⁱ为c(i)第i个峰值点。

针对复杂工业场景，为提高数码管识别应用时的可靠性，本技术方案首先从设备采集图像中提取数码管所在区域即ROI，然后对ROI区域进行灰度化，计算灰度图的Tsallis熵，因为不同Tsallis熵值对应于不同的工作环境、数码管状态，然后基于Tsallis熵值，选择预设的二值化算法，完成灰度图的二值化，由于数码管中的数字往往多于一个，需要对数字区域分别识别，因此二值化后，利用数字定位算法对数码管区域进行切分，最后分别对每个数字区域进行识别，分别计算七段数码管所在区域点亮的数码管区域比例，并将其作为识别特征，然后将七段数码管的特征组合为一个向量，使用支持向量机(support vectormachine,简称SVM)完成数字的识别。

这种方法适用于工业场景，能够提高复杂环境下数码管识别的效率。

附图说明

图1为实施例方法的流程示意图；

图2为实施例中正常光照条件下数码管及其灰度直方图；

图3为实施例中过度曝光条件下数码管及其灰度直方图；

图4为实施例中设备关机条件下数码管及其灰度直方图；

图5为实施例中均值、Tsallis熵分布图；

图6为实施例中决策树示意图；

图7为实施例中基于像素和的数字分割示意图。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的说明，但不是对本发明的限定。

实施例：

参照图1，一种基于决策树的数码管识别方法，包括如下步骤：

1)图像采集：图像采集就是获取图像中图案的扫描图像即数字图像的过程，假设捕获图像中的数码管所在区域即数码管ROI为已知，从采集到的图像中提取出数码管区域，用于后续处理；

2)预处理：对步骤1)得到的数码管ROI进行预处理，首先，对数码管ROI进行灰度化得到灰度图，计算灰度图的Tsallis熵，采用基于决策树的二值化方法对数码管ROI的灰度图进行二值化处理，三种光线条件下的灰度统计直方图如图2、图3、图4所示，图像二值化后完成噪声消除，采用边缘消除、膨胀和填充去除图像中噪点，最后对不同尺寸的数码管ROI进行尺寸归一，方便后续处理；

3)数码管识别：对步骤2)得到的尺寸归一后的数码管ROI进行识别，包括三个过程：数字分割、特征提取和数值判定，由于实际工作中的数码管位数差异较大，甚至是时变的，以数码管色块分布特征为依据进行实时自适应的数字分割，最后估计特征编码数值。

步骤2)中所述的决策树的二值化方法为：

2-1)计算数码管ROI对应的灰度频数分布，数码管ROI对应的灰度频数分布为公式(1)所示：

其中I，J分别为数码管ROI的行像素数与列像素数，Q(k)为对应特定灰度的像素点数和，k＝1，2，3...256；

2-2)计算数码管ROI灰度均值：数码管ROI灰度均值为公式(2)所示：

其中i为灰度值，P(k)为相应灰度值的灰度频数；

2-3)计算Tsallis熵：Tsallis熵为公式(3)所示：

其中，q为Tsallis熵的系数，Tsallis熵是香农熵的扩展，当可调参数q→1时，Tsallis熵等价为香农熵，通过调整q值可以在图像分析中更好地度量图像中不同特征区域的状态差异，本例中，图片主要差异表现在亮度较高的数码管区域，这一区域占整个ROI的比例通常较低，因此，为突出差异，选择q值为0.5，不同实际场景图片的灰度期望、Tsallis熵值分布图如图5所示；

2-4)在Tsallis熵-灰度均值平面上，正常光线、过度曝光、设备关机三种状态下图像度量值能够被决策树分割，依据这一特征，采用均值和Tsallis熵构建双层决策树，在Tsallis熵-灰度均值平面上将正常光线、过度曝光、设备关机三种状态下的图像度量值分开，本例所构建的双层决策树如图6所示，其中，灰度均值阈值为21、Tsallis熵阈值为40，过程为：

依据决策树判断图片所属场景，进而采用适配不同场景的灰度图二值化方法，并计算门限值∈，其中，场景包括：

2-4-1)设备关机：二值化门限选为灰度最大值，使得二值化图片中数码管区域与背景区域一致：∈＝max_i,jp(i,j)；

2-4-2)过度曝光：采用Otsu算法计算二值化门限基准，并附加余量减少过度曝光的影响：

∈＝ε+δ，其中ε，δ分别为Otsu算法门限和附加余量；

2-4-3)正常光线：根据Otsu算法计算二值化门限。

步骤3)中所述的数字分割包括：

3-1)由于数码管上每个数字间存在间隔，假设每个数字分割处像素和的特征与数字所在区域不同，依据这种特征上的区别，可以分割出单个数码管，数码管ROI二值化图中每列的像素和，定义如下：

其中i，j表示ROI区域内像素点坐标，第i行、第j列的像素值为p(i,j)；

3-2)数字分割点出现在峰值点之间，采用步骤3-1)中c(i)的峰值点计算数字的分割点，计算方法如下：

其中dⁱ为第i个分割点，mⁱ为c(i)第i个峰值点，本例中基于像素和的数字分割如图7所示。

本例中采集原始数据集包含七段数码管，共2000张数码管图片，采集图像设备为200万像素网络摄像头，图像中无显示屏闪烁或反射，数据集中有1000张图片为白天均匀光线采集，其中600张为数码管开启，400张图片为数码管关闭；1000张为白天非均匀光照情况采集，其中800张为数码管开启，200张图片为数码管关闭，数据集规格及其性质分别如表1、表2所示，总计捕获数字个数为5903个：

表1数据集拍摄参数

参数项	说明
		拍摄设备	200万像素网络摄像头
焦距	2.6mm
		色彩制式	RGB
分辨率	1080p
		比特数	12

，

表2数据集统计参数

采用本例决策树对图像进行分类，选择1000张图片训练决策树，剩余1000张图片进行测试，训练集中包含500张白天均匀光线采集图片，其中300张为数码管开启，200张图片为数码管关闭；500张为白天非均匀光照情况采集，其中400张为数码管开启，100张图片为数码管关闭，训练集与测试集均采用随机方式，决策树分类准确性如表3所示，本例方法能够较好的应对复杂环境中的数字识别，在不同光线下，识别精度达到97.9％以上，数字识别准确度如表4所示，由环境噪声带来的灰度分布变化多样，传统的二值化方法无法给出最佳的二值化门限，采用本文提出的基于决策树的二值化方法后，数码管识别准确性可提高至90％以上，

表3决策树分类准确度

	测试图片数	分类准确度
			正常光线	300	99.8％
过度曝光	400	99.9％
			数码管关闭	300	100％

表4数码管识别准确度

数字位置	出现次数	识别准确度
			数字1	843	99.2％
数字2	591	98.6％
			数字3	495	98.5％
数字4	596	98.1％
			数字5	572	98.6％
数字6	551	98.5％
			数字7	587	97.7％
数字8	496	98.3％
			数字9	634	98.5％
数字0	578	98.4％
			总体	5903	98.4％

。

Claims (1)

1.一种基于决策树的数码管识别方法，其特征在于，包括如下步骤：

1)图像采集：假设捕获图像中的数码管所在区域即数码管ROI为已知，从采集到的图像中提取出数码管区域；

2)预处理：对步骤1)得到的数码管ROI进行预处理，首先，对数码管ROI进行灰度化得到灰度图，计算灰度图的Tsallis熵，采用基于决策树的二值化方法对数码管ROI的灰度图进行二值化处理，图像二值化后进行噪声消除，采用边缘消除、膨胀和填充去除图像中噪点，最后对不同尺寸的数码管ROI进行尺寸归一；

3)数码管识别：对步骤2)得到的尺寸归一后的数码管ROI进行识别，包括三个过程：数字分割、特征提取和数值判定，以数码管色块分布特征为依据进行实时自适应的数字分割，最后估计特征编码数值；

步骤2)中所述的基于决策树的二值化方法为：

2-1)计算数码管ROI对应的灰度频数分布，数码管ROI对应的灰度频数分布为公式(1)所示：

其中I，J分别为数码管ROI的行像素数与列像素数，Q(k)为对应特定灰度的像素点数和，k＝1，2，3...256；

2-2)计算数码管ROI灰度均值：数码管ROI灰度均值为公式(2)所示：

其中k为灰度值，P(k)为相应灰度值的灰度频数；

2-3)计算Tsallis熵：Tsallis熵为公式(3)所示：

其中，q为Tsallis熵的系数，Tsallis熵是香农熵的扩展，当可调参数q→1时，Tsallis熵等价为香农熵；

2-4)采用灰度均值和Tsallis熵构建双层决策树，在Tsallis熵-灰度均值平面上将正常光线、过度曝光、设备关机三种状态下的图像度量值分开，过程为：

依据决策树判断图片所属场景，灰度均值不大于阈值时为正常光线，灰度均值大于阈值时当Tsallis熵小于阈值时为过度曝光、当Tsallis熵不小于阈值时为设备关机，采用适配不同场景的灰度图二值化方法，并计算门限值∈，其中，场景包括：

2-4-1)设备关机：二值化门限选为灰度最大值，使得二值化图片中数码管区域与背景区域一致：∈＝max_i,jp(i,j)；

2-4-2)过度曝光：采用Otsu算法计算二值化门限基准，并附加余量减少过度曝光的影响：∈＝ε+δ，其中ε，δ分别为Otsu算法门限和附加余量；

2-4-3)正常光线：根据Otsu算法计算二值化门限；

步骤3)中所述的数字分割包括：

3-1)数码管上每个数字间存在间隔，假设每个数字分割处像素和的特征与数字所在区域不同，依据这种特征上的区别，分割出单个数码管，数码管ROI二值化图中每列的像素和，定义如下：

其中i，j表示ROI区域内像素点坐标，第i列、第j行的像素值为p(i,j)；

3-2)数字分割点在峰值点之间，采用步骤3-1)中c(i)的峰值点计算数字的分割点，计算方法如下：

其中dⁱ为第i个分割点，mⁱ为c(i)第i个峰值点。

Images