CN111401358A - 一种基于神经网络的仪表表盘校正方法 - Google Patents

一种基于神经网络的仪表表盘校正方法 Download PDF

Info

Publication number
CN111401358A
CN111401358A CN202010114874.5A CN202010114874A CN111401358A CN 111401358 A CN111401358 A CN 111401358A CN 202010114874 A CN202010114874 A CN 202010114874A CN 111401358 A CN111401358 A CN 111401358A
Authority
CN
China
Prior art keywords
loss
layer
instrument dial
combined
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010114874.5A
Other languages
English (en)
Other versions
CN111401358B (zh
Inventor
田联房
郭月阳
杜启亮
陈承隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Original Assignee
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Zhuhai Institute of Modern Industrial Innovation of South China University of Technology filed Critical South China University of Technology SCUT
Priority to CN202010114874.5A priority Critical patent/CN111401358B/zh
Publication of CN111401358A publication Critical patent/CN111401358A/zh
Application granted granted Critical
Publication of CN111401358B publication Critical patent/CN111401358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的仪表表盘校正方法，包括步骤：1)仪表表盘数字数据集的构建与预处理；2)针对识别对象及应用场景的特点，设计匹配的神经网络；3)对设计的神经网络模型装载训练参数进行训练，训练过程中进行在线数据增强，训练完毕后得到数字定位模型；4)将待识别的仪表表盘图像经预处理后输入已训练的数字定位模型中，得到图像中数字的位置与类别实现仪表表盘数字粗定位，使用图像处理技术进行数字精定位；5)利用数字精定位位置信息使用图像处理技术进行椭圆拟合以及特征点位置提取；6)由特征点位置求取变换矩阵，通过仿射变换完成仪表表盘校正。本发明可在保证泛化能力的同时得到高精度的仪表表盘校正效果。

Description

一种基于神经网络的仪表表盘校正方法
技术领域
本发明涉及图像处理与人工智能的技术领域，尤其是指一种基于神经网络的仪表表盘校正方法。
背景技术
仪表作为一种检测设备，被广泛应用于工业、农业、基础建设、国防以及社会生活等诸多领域，在经济建设和生产生活中具有保障安全稳定发展的重要意义，对仪表设备的日常维护也显得非常重要。随着图像处理技术和深度学习技术的迅猛发展，基于图像采集设备的自动巡检方法相较于传统的人工巡检方法具有效率高、稳定性高以及精度高等优势，正在逐步应用。但在大部分实际生产环境中，由于图像采集设备如机器人、摄像机等不能保证每次均获取仪表的正面图像，从而导致自动巡检方法稳定性下降，因此对仪表表盘校正技术进行研究，具有非常重要的意义。
目前对于仪表表盘校正的研究难点主要集中在表盘特征点的提取上，大部分研究采用外挂特定标志的方法实现表盘特征点的提取，从而利用特征点位置信息获取变换矩阵并通过仿射变换以实现仪表表盘校正，这种方法具有较高的精度，但需要对每个仪表进行外挂标志安装，这使得仪表自动巡检方法的成本增高，同时在一些特殊场合如高温、高压以及雨雪天气等环境中，外挂标志的特征点提取易受到影响，从而使得校正方法失去可行性和稳定性。针对以上方法得缺陷以及大多数仪表表盘均包含数字信息的特点，通过检测数字位置来提取特征点的方法具有更高的普适性和稳定性。
综合以上论述，发明一种具备高鲁棒性和高精度的仪表表盘校正方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的不足，提出了一种基于神经网络的仪表表盘校正方法，主要利用深度学习技术设计实现仪表表盘数字粗定位功能，再使用图像处理技术进行仪表表盘数字精定位、椭圆拟合以及特征点提取功能，最终通过仿射变换完成仪表表盘校正，整个过程简单可靠，可在保证泛化能力的同时得到高精度的仪表表盘校正效果。
为实现上述目的，本发明提供的技术方案为：一种基于神经网络的仪表表盘校正方法，包括以下步骤：
1)仪表表盘数字数据集的构建与预处理；
2)针对识别对象及应用场景的特点，设计匹配的神经网络；
3)对设计的神经网络装载训练参数进行训练，训练过程中进行在线数据增强，训练完毕后得到数字定位模型；
4)将待识别的仪表表盘图像经预处理后输入已训练的数字定位模型中，得到图像中数字的位置与类别实现仪表表盘数字粗定位，使用图像处理技术进行数字精定位；
5)利用数字精定位位置信息使用图像处理技术进行椭圆拟合以及特征点位置提取；
6)由特征点位置求取变换矩阵，通过仿射变换完成仪表表盘校正。
在步骤1)中，通过图像采集设备采集不同场景下的仪表表盘图像数据，构建原始数据集，然后再将其中影响神经网络训练及识别的干扰数据剔除，包括存在模糊、脏污以及异常光照现象的数据，并对其余数据进行标注，标注内容为数字位置及类别。
在步骤2)中，结合识别对象及应用场景的特点构建相匹配的神经网络，包括以下步骤：
2.1)构建特征提取网络
根据高鲁棒性和高精度要求构建特征提取网络，该特征提取网络主要由多个组合卷积模块组成，其结构为：
第一层为组合卷积模块A，它由一个卷积层、一个批归一化层和一个激活层组成；
第二层为组合卷积模块D，它由两个组合卷积模块B和一个组合卷积模块C组成，其中组合卷积模块B由三个卷积层、三个批归一化层、两个激活层和一个叠加层组成，组合卷积模块C由三个卷积层、三个批归一化层、两个激活层组成；
第三层为组合卷积模块E，它由两个组合卷积模块B和一个组合卷积模块C组成；
第四层为组合卷积模块F，它由五个组合卷积模块B和一个组合卷积模块C组成；
第五层为组合卷积模块E；
2.2)构建预测网络
根据特征提取网络不同层的输出构建预测网络，输入为特征提取网络第四层输出和第五层输出，该预测网络主要由多种组合卷积模块和卷积层组成，其结构为：
第一层为组合卷积模块G，它由五个组合卷积模块A组成；
第二层为特征融合模块，它由一个组合卷积模块A、一个上采样层和一个张量拼接层组成；
第三层为组合卷积模块G；
第四层为组合卷积模块A；
第五层为一个卷积层；
最后将预测网络的输出通过非极大值抑制层得到预测目标位置和类别；
2.3)设置损失函数
设置损失函数为中心坐标损失函数、宽高损失函数、置信度损失与类别损失函数的求和均值，损失函数公式如下：
Loss＝(Lossxy+Losswh+Lossconfidence+Losscls)/numf
式中，Loss代表总损失，Lossxy代表中心坐标损失，Losswh代表宽高损失，Lossconfidence代表置信度损失，Losscls代表类别损失，numf代表输入总数的浮点数；各个损失函数公式如下：
Lossxy＝markobject*(2-w*h)*Losslog(xytrue,xypredict)
Losswh＝0.5*markobject*(2-w*h)*(whtrue-whpredict)2
Lossconfidence＝markobject*Losslog(markobject,cpredict)
+(1-markobject)*Losslog(markobject,cpredict)*markignore
Losscls＝markobject*Losslog(clstrue,clspredict)
中心坐标损失函数公式如下：
Lossxy＝markobject*(2-w*h)*Losslog(xytrue,xypredict)
式中，markobject代表锚点框否存在物体的标志位，w代表锚点框的宽，h代表锚点框的高，Losslog代表二值交叉熵损失，xytrue代表真实中心坐标值，xypredict代表预测中心坐标值，whtrue代表真实宽高值，whpredict代表预测宽高值，cpredict代表预测框的置信度值，markignore代表IOU小于阈值的锚点框的标志位，clstrue代表真实类别，clspredict代表预测类别。
在步骤3)中，训练所设计的神经网络，包括以下步骤：
3.1)设置训练参数
设置训练优化器为SGD、初始学习率为0.001、迭代次数为300、批次大小为8；
3.2)在线数据增强
对输入图像进行数据增强，扩充数字数据集，数据增强包括：
a、随机仿射变换
对输入图像进行随机仿射变换；
b、添加噪声
针对输入图像，在面积大小能够选定、位置随机的矩形区域上丢失信息实现转换，所有通道的信息丢失产生黑色矩形块，部分通道的信息丢失产生彩色噪声；
c、RGB颜色扰动
将输入图像从RGB颜色空间转换到另一颜色空间，随机增加或减少颜色参数后返回RGB颜色空间；
3.3)设置训练完成标志
设置验证集间隔检测训练精确度，训练完成标志为达到最大迭代次数以及精确度满足要求，训练完成后保存网络模型结构及参数即得数字定位模型。
在步骤4)中，由数字定位模型输出得到数字位置和类别信息，将数字按照欧式距离判据组合为量程数字，同时得到量程数字位置和类别，再通过图像处理技术获取各个量程数字中心位置，具体如下：
将待识别的仪表表盘图像经限制对比度的自适应直方图均衡化算法和高斯滤波算法进行图像增强后输入至数字定位模型中，输出得到各个数字的位置和类别信息，根据各个数字位置在x轴和y轴方向上的距离来判断两个数字是否属于同一量程数字，具体判据为两个数字之间的像素距离是否小于100且x轴或y轴方向的距离不大于20，从而将多个数字按照左右和上下关系组合为量程数字，其中位于左方的数字为高位数字，最终得到各个量程数字的位置和类别信息，再通过最大类间方差法对图像进行阈值化，由轮廓检索算法得到每个量程数字区域的最大连通域，最后由灰度重心法得到量程数字的中心位置。
在步骤5)中，由各个量程数字中心位置通过最小二乘法进行椭圆拟合得到表盘区域的椭圆方程，从而得到椭圆轮廓的中心、长轴端点以及短轴端点位置，即特征点位置。
在步骤6)中，由特殊特征点位置和预期校正后特征点位置计算得到变换矩阵，其中，特殊特征点选用椭圆轮廓的长轴端点和短轴端点，预期校正后特征点特征为两长轴端点保持竖直对齐、两短轴端点保持水平对齐以及短轴端点与中心位置距离拉伸为长轴长度，最终通过仿射变换完成仪表表盘的校正。
本发明与现有技术相比，具有如下优点与有益效果：
1、采用大多数仪表均具有的数字信息完成仪表表盘校正，较外挂标志法更具实用价值和经济价值，泛化能力和精度也更高。
2、使用神经网络完成仪表表盘数字位置和类别信息的提取，可以在复杂环境下准确识别不同背景和不同类别的数字位置和类别信息，且准确率高于基于传统图像处理技术的方法。
3、所设计的神经网络采用具有线性瓶颈的逆残差结构，并融合了多层特征，具有较强的特征利用率。
4、设计的损失函数可以有效的消除正负样本不均衡问题以及难易样本不易区分问题对训练所带来的影响。
附图说明
图1为本发明方法的流程图。
图2a为组合卷积模块A示意图。
图2b为组合卷积模块B示意图。
图2c为组合卷积模块C示意图。
图2d为组合卷积模块D示意图。
图2e为组合卷积模块E示意图。
图2f为组合卷积模块F示意图。
图2g为组合卷积模块G示意图。
图3为特征融合模块示意图。
具体实施方式
下面结合具体实施例对本发明做进一步的说明。
如图1所示，本实施例所提供的基于神经网络的仪表表盘校正方法，包括以下步骤：
1)通过图像采集设备采集不同场景下的仪表表盘图像数据，构建原始数据集，然后再将其中影响神经网络训练及识别的干扰数据剔除，包括存在模糊、脏污以及异常光照等现象的数据，并使用开源标注工具labelImg对其余数据中的数字位置和类别进行标注，并对数据通过限制对比度的自适应直方图均衡化算法和高斯滤波算法进行图像增强，构建数字定位训练集。
2)根据具体应用场景和识别对象的特点，设计符合实际要求的神经网络，以下卷积层的padding参数若无特殊声明则均为same。包括以下步骤：
2.1)构建特征提取网络
根据高鲁棒性和高精度要求构建特征提取网络，该特征提取网络主要由多个组合卷积模块组成。
特征提取网络结构如下：
输入图像为416×416×3。
第一层为组合卷积模块A，如图2a所示。组合卷积模块A经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为2，滤波器数量为16，激活层为ReLU6激活函数，输出为208×208×16。
第二层为组合卷积模块D，如图2d所示。组合卷积模块D首先经过第一个组合卷积模块B，如图2b所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为16，激活层为ReLU6激活函数，输出为208×208×16，再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为16，激活层为ReLU6激活函数，输出为208×208×16，再经过经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，，滤波器数量为16，激活层为ReLU6激活函数，输出为208×208×16，最后与第二层输入一起经过叠加层，输出为208×208×16；然后经过组合卷积模块C，如图2c所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为64，激活层为ReLU6激活函数，输出为208×208×64，再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为2，滤波器数量为64，激活层为ReLU6激活函数，输出为104×104×64，再经过经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为24，激活层为ReLU6激活函数，输出为104×104×24；最后经过第二个组合卷积模块B，如图2b所示，其中各层滤波器数量分别为72、72和24，其它参数与第一个组合卷积模块B相同，输出为104×104×24，最后与第二个组合卷积模块B的输入一起经过叠加层，输出为104×104×24。
第三层为组合卷积模块E，如图2e所示。组合卷积模块E首先经过组合卷积模块C，如图2c所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为72，激活层为ReLU6激活函数，输出为104×104×72，再经过卷积层、批归一化层和激活层，卷积核为(5，5)，步长为2，滤波器数量为72，激活层为ReLU6激活函数，输出为52×52×72，再经过经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为40，激活层为ReLU6激活函数，输出为52×52×40；然后经过第一个组合卷积模块B，如图2b所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为120，激活层为ReLU6激活函数，输出为52×52×120，再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为120，激活层为ReLU6激活函数，输出为52×52×120，再经过经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为40，激活层为ReLU6激活函数，输出为52×52×40，最后与第一个组合卷积模块B的输入一起经过叠加层，输出为52×52×40；最后经过第二个组合卷积模块B，如图2b所示，其中各参数与第一个组合卷积模块B相同，输出为52×52×40，最后与第二个组合卷积模块B的输入一起经过叠加层，输出为52×52×40。
第四层为组合卷积模块F，如图2f所示。组合卷积模块F首先经过组合卷积模块C，如图2c所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为240，激活层为ReLU6激活函数，输出为52×52×240，再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为2，滤波器数量为240，激活层为ReLU6激活函数，输出为26×26×240，再经过经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为80，激活层为ReLU6激活函数，输出为26×26×80；然后经过第一个组合卷积模块B，如图2b所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为200，激活层为ReLU6激活函数，输出为26×26×200，再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为200，激活层为ReLU6激活函数，输出为26×26×200，再经过经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为80，激活层为ReLU6激活函数，输出为26×26×80，最后与第一个组合卷积模块B的输入一起经过叠加层，输出为26×26×80；然后经过第二个组合卷积模块B，如图2b所示，其中各层滤波器数量分别为184、184和80，其它参数与第一个组合卷积模块B相同，输出为26×26×80，最后与第二个组合卷积模块B的输入一起经过叠加层，输出为26×26×80；然后经过第三个组合卷积模块B，如图2b所示，其中各层滤波器数量分别为184、184和80，其它参数与第一个组合卷积模块B相同，输出为26×26×80，最后与第三个组合卷积模块B的输入一起经过叠加层，输出为26×26×80；然后经过第四个组合卷积模块B，如图2b所示，其中各层滤波器数量分别为480、480和112，其它参数与第一个组合卷积模块B相同，输出为26×26×112，最后与第四个组合卷积模块B的输入一起经过叠加层，输出为26×26×112；最后经过第五个组合卷积模块B，如图2b所示，其中各层滤波器数量分别为670、670和112，其它参数与第一个组合卷积模块B相同，输出为26×26×112，最后与第五个组合卷积模块B的输入一起经过叠加层，输出为26×26×112。
第五层为组合卷积模块E，如图2e所示。组合卷积模块E首先经过组合卷积模块C，如图2c所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为672，激活层为Sigmoid激活函数，输出为26×26×672，再经过卷积层、批归一化层和激活层，卷积核为(5，5)，步长为2，滤波器数量为672，激活层为Sigmoid激活函数，输出为13×13×672，再经过经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为160，激活层为Sigmoid激活函数，输出为13×13×160；然后经过第一个组合卷积模块B，如图2b所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为960，激活层为Sigmoid激活函数，输出为13×13×960，再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为960，激活层为Sigmoid激活函数，输出为13×13×960，再经过经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为160，激活层为Sigmoid激活函数，输出为13×13×160，最后与第一各组合卷积模块B的输入一起经过叠加层，输出为13×13×160；最后经过第二个组合卷积模块B，如图2b所示，其中各参数与第一个组合卷积模块B相同，输出为13×13×160，最后与第二个组合卷积模块B的输入一起经过叠加层，输出为13×13×160。
2.2)构建预测网络
根据特征提取网络不同层的输出构建输出预测网络，输入为特征提取网络第四层输出和第五层输出。
输入图像为特征提取网络第四层输出26×26×112和第五层输出13×13×160。
预测网络主要由多种组合卷积模块和卷积层组成，其结构为：
第一层为组合卷积模块G，如图2g所示。组合卷积模块G依次经过五个组合卷积模块A，如图2a所示。在第一个组合卷积模块A中，经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，激活层为LeakyReLU激活函数，输出为13×13×512；在第二个组合卷积模块A中，经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为512，激活层为LeakyReLU激活函数，输出为13×13×512；之后交替输入两种不同参数的组合卷积模块A后，输出为13×13×512。
第二层为特征融合模块，如图3所示。特征融合模块第一个输入为预测网络第一层输出13×13×512，首先经过组合卷积模块A，如图2a所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为112，激活层为LeakyReLU激活函数，输出为13×13×112；再经过上采样层，采样因子为2，输出为26×26×112。最后上采样层输出和特征提取网络第四层输出经过张量拼接层，输出为26×26×224。
第三层为组合卷积模块G，如图2g所示。组合卷积模块G依次经过五个组合卷积模块A，如图2a所示。在第一个组合卷积模块A中，经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为224，激活层为LeakyReLU激活函数，输出为26×26×224；在第二个组合卷积模块A中，经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为224，激活层为LeakyReLU激活函数，输出为26×26×224；之后交替输入两种不同参数的组合卷积模块A后，输出为26×26×224。
第四层为组合卷积模块A，如图2a所示。组合卷积模块A经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为255，激活层为LeakyReLU激活函数，输出为26×26×255。
第五层为一个卷积层。卷积核为(1，1)，步长为1，滤波器数量为255，输出为26×26×255。
最后将预测网络的输出26×26×255通过非极大值抑制层得到预测目标位置和类别。
2.3)设置损失函数
设置损失函数为中心坐标损失函数、宽高损失函数、置信度损失与类别损失函数的求和均值。损失函数公式如下：
Loss＝(Lossxy+Losswh+Lossconfidence+Losscls)/numf
其中Loss代表总损失，Lossxy代表中心坐标损失，Losswh代表宽高损失，Lossconfidence代表置信度损失，Losscls代表类别损失，numf代表输入总数的浮点数。各个损失函数公式如下：
Lossxy＝markobject*(2-w*h)*Losslog(xytrue,xypredict)
Losswh＝0.5*markobject*(2-w*h)*(whtrue-whpredict)2
Lossconfidence＝markobject*Losslog(markobject,cpredict)
+(1-markobject)*Losslog(markobject,cpredict)*markignore
Losscls＝markobject*Losslog(clstrue,clspredict)
中心坐标损失函数公式如下：
Lossxy＝markobject*(2-w*h)*Losslog(xytrue,xypredict)
其中markobject代表锚点框否存在物体的标志位，w代表锚点框的宽，h代表锚点框的高，Losslog代表二值交叉熵损失，xytrue代表真实中心坐标值，xypredict代表预测中心坐标值，whtrue代表真实宽高值，whpredict代表预测宽高值，cpredict代表预测框的置信度值，markignore代表IOU小于阈值的锚点框的标志位，clstrue代表真实类别，clspredict代表预测类别。
3)训练所设计的神经网络，包括以下步骤：
3.1)设置训练参数
设置训练优化器为SGD、初始学习率为0.001、迭代次数为300、批次大小为8。
3.2)在线数据增强
对输入图像进行数据增强，扩充数字数据集，数据增强包括：
a、随机仿射变换
对输入图像进行随机仿射变换；
b、添加噪声
针对输入图像，在面积大小可选定、位置随机的矩形区域上丢失信息实现转换，所有通道的信息丢失产生黑色矩形块，部分通道的信息丢失产生彩色噪声；
c、RGB颜色扰动
将输入图像从RGB颜色空间转换到另一颜色空间，随机增加或减少颜色参数后返回RGB颜色空间。
3.3)设置训练完成标志
采用5折交叉验证法训练精确度，训练完成标志为达到最大迭代次数300或者精确度满足99％要求，训练完成后保存网络模型结构及参数即得数字定位模型。
4)将待识别的仪表表盘图像经限制对比度的自适应直方图均衡化算法和高斯滤波算法进行图像增强后输入至数字定位模型中，输出得到各个数字的位置和类别信息，根据各个数字位置在x轴和y轴方向上的距离来判断两个数字是否属于同一量程数字，具体判据为两个数字之间的像素距离是否小于100且x轴或y轴方向的距离不大于20，从而将多个数字按照左右和上下关系组合为量程数字，其中位于左方的数字为高位数字，最终得到各个量程数字的位置和类别信息，再通过最大类间方差法对图像进行阈值化，由轮廓检索算法得到每个量程数字区域的最大连通域，最后由灰度重心法得到量程数字的中心位置。
5)由各个量程数字中心位置通过最小二乘法进行椭圆拟合得到表盘区域的椭圆方程，从而得到椭圆轮廓的中心、长轴端点以及短轴端点位置，即特征点位置。
6)由特殊特征点位置和预期校正后特征点位置计算得到变换矩阵，其中，特殊特征点选用椭圆轮廓的长轴端点和短轴端点，预期校正后特征点特征为两长轴端点保持竖直对齐、两短轴端点保持水平对齐以及短轴端点与中心位置距离拉伸为长轴长度，最终通过仿射变换完成仪表表盘的校正。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (7)

1.一种基于神经网络的仪表表盘校正方法，其特征在于，包括以下步骤：
1)仪表表盘数字数据集的构建与预处理；
2)针对识别对象及应用场景的特点，设计匹配的神经网络；
3)对设计的神经网络装载训练参数进行训练，训练过程中进行在线数据增强，训练完毕后得到数字定位模型；
4)将待识别的仪表表盘图像经预处理后输入已训练的数字定位模型中，得到图像中数字的位置与类别实现仪表表盘数字粗定位，使用图像处理技术进行数字精定位；
5)利用数字精定位位置信息使用图像处理技术进行椭圆拟合以及特征点位置提取；
6)由特征点位置求取变换矩阵，通过仿射变换完成仪表表盘校正。
2.根据权利要求1所述的一种基于神经网络的仪表表盘校正方法，其特征在于，在步骤1)中，通过图像采集设备采集不同场景下的仪表表盘图像数据，构建原始数据集，然后再将其中影响神经网络训练及识别的干扰数据剔除，包括存在模糊、脏污以及异常光照现象的数据，并对其余数据进行标注，标注内容为数字位置及类别。
3.根据权利要求1所述的一种基于神经网络的仪表表盘校正方法，其特征在于，在步骤2)中，结合识别对象及应用场景的特点构建相匹配的神经网络，包括以下步骤：
2.1)构建特征提取网络
根据高鲁棒性和高精度要求构建特征提取网络，该特征提取网络主要由多个组合卷积模块组成，其结构为：
第一层为组合卷积模块A，它由一个卷积层、一个批归一化层和一个激活层组成；
第二层为组合卷积模块D，它由两个组合卷积模块B和一个组合卷积模块C组成，其中组合卷积模块B由三个卷积层、三个批归一化层、两个激活层和一个叠加层组成，组合卷积模块C由三个卷积层、三个批归一化层、两个激活层组成；
第三层为组合卷积模块E，它由两个组合卷积模块B和一个组合卷积模块C组成；
第四层为组合卷积模块F，它由五个组合卷积模块B和一个组合卷积模块C组成；
第五层为组合卷积模块E；
2.2)构建预测网络
根据特征提取网络不同层的输出构建预测网络，输入为特征提取网络第四层输出和第五层输出，该预测网络主要由多种组合卷积模块和卷积层组成，其结构为：
第一层为组合卷积模块G，它由五个组合卷积模块A组成；
第二层为特征融合模块，它由一个组合卷积模块A、一个上采样层和一个张量拼接层组成；
第三层为组合卷积模块G；
第四层为组合卷积模块A；
第五层为一个卷积层；
最后将预测网络的输出通过非极大值抑制层得到预测目标位置和类别；
2.3)设置损失函数
设置损失函数为中心坐标损失函数、宽高损失函数、置信度损失与类别损失函数的求和均值，损失函数公式如下：
Loss＝(Lossxy+Losswh+Lossconfidence+Losscls)/numf
式中，Loss代表总损失，Lossxy代表中心坐标损失，Losswh代表宽高损失，Lossconfidence代表置信度损失，Losscls代表类别损失，numf代表输入总数的浮点数；各个损失函数公式如下：
Lossxy＝markobject*(2-w*h)*Losslog(xytrue,xypredict)
Losswh＝0.5*markobject*(2-w*h)*(whtrue-whpredict)2
Lossconfidence＝markobject*Losslog(markobject,cpredict)+(1-markobject)*Losslog(markobject,cpredict)*markignore
Losscls＝markobject*Losslog(clstrue,clspredict)
中心坐标损失函数公式如下：
Lossxy＝markobject*(2-w*h)*Losslog(xytrue,xypredict)
式中，markobject代表锚点框否存在物体的标志位，w代表锚点框的宽，h代表锚点框的高，Losslog代表二值交叉熵损失，xytrue代表真实中心坐标值，xypredict代表预测中心坐标值，whtrue代表真实宽高值，whpredict代表预测宽高值，cpredict代表预测框的置信度值，markignore代表IOU小于阈值的锚点框的标志位，clstrue代表真实类别，clspredict代表预测类别。
4.根据权利要求1所述的一种基于神经网络的仪表表盘校正方法，其特征在于，在步骤3)中，训练所设计的神经网络，包括以下步骤：
3.1)设置训练参数
设置训练优化器为SGD、初始学习率为0.001、迭代次数为300、批次大小为8；
3.2)在线数据增强
对输入图像进行数据增强，扩充数字数据集，数据增强包括：
a、随机仿射变换
对输入图像进行随机仿射变换；
b、添加噪声
针对输入图像，在面积大小能够选定、位置随机的矩形区域上丢失信息实现转换，所有通道的信息丢失产生黑色矩形块，部分通道的信息丢失产生彩色噪声；
c、RGB颜色扰动
将输入图像从RGB颜色空间转换到另一颜色空间，随机增加或减少颜色参数后返回RGB颜色空间；
3.3)设置训练完成标志
设置验证集间隔检测训练精确度，训练完成标志为达到最大迭代次数以及精确度满足要求，训练完成后保存网络模型结构及参数即得数字定位模型。
5.根据权利要求1所述的一种基于神经网络的仪表表盘校正方法，其特征在于，在步骤4)中，由数字定位模型输出得到数字位置和类别信息，将数字按照欧式距离判据组合为量程数字，同时得到量程数字位置和类别，再通过图像处理技术获取各个量程数字中心位置，具体如下：
将待识别的仪表表盘图像经限制对比度的自适应直方图均衡化算法和高斯滤波算法进行图像增强后输入至数字定位模型中，输出得到各个数字的位置和类别信息，根据各个数字位置在x轴和y轴方向上的距离来判断两个数字是否属于同一量程数字，具体判据为两个数字之间的像素距离是否小于100且x轴或y轴方向的距离不大于20，从而将多个数字按照左右和上下关系组合为量程数字，其中位于左方的数字为高位数字，最终得到各个量程数字的位置和类别信息，再通过最大类间方差法对图像进行阈值化，由轮廓检索算法得到每个量程数字区域的最大连通域，最后由灰度重心法得到量程数字的中心位置。
6.根据权利要求1所述的一种基于神经网络的仪表表盘校正方法，其特征在于，在步骤5)中，由各个量程数字中心位置通过最小二乘法进行椭圆拟合得到表盘区域的椭圆方程，从而得到椭圆轮廓的中心、长轴端点以及短轴端点位置，即特征点位置。
7.根据权利要求1所述的一种基于神经网络的仪表表盘校正方法，其特征在于，在步骤6)中，由特殊特征点位置和预期校正后特征点位置计算得到变换矩阵，其中，特殊特征点选用椭圆轮廓的长轴端点和短轴端点，预期校正后特征点特征为两长轴端点保持竖直对齐、两短轴端点保持水平对齐以及短轴端点与中心位置距离拉伸为长轴长度，最终通过仿射变换完成仪表表盘的校正。
CN202010114874.5A 2020-02-25 2020-02-25 一种基于神经网络的仪表表盘校正方法 Active CN111401358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010114874.5A CN111401358B (zh) 2020-02-25 2020-02-25 一种基于神经网络的仪表表盘校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010114874.5A CN111401358B (zh) 2020-02-25 2020-02-25 一种基于神经网络的仪表表盘校正方法

Publications (2)

Publication Number Publication Date
CN111401358A true CN111401358A (zh) 2020-07-10
CN111401358B CN111401358B (zh) 2023-05-09

Family

ID=71432687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010114874.5A Active CN111401358B (zh) 2020-02-25 2020-02-25 一种基于神经网络的仪表表盘校正方法

Country Status (1)

Country Link
CN (1) CN111401358B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570631A (zh) * 2021-08-28 2021-10-29 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备
CN113673509A (zh) * 2021-07-28 2021-11-19 华南理工大学 一种基于图像文本的仪表检测分类方法
CN113673508A (zh) * 2021-07-28 2021-11-19 华南理工大学 一种指针式仪表图像数据合成方法
CN115546799A (zh) * 2022-10-17 2022-12-30 山东厚德测控技术股份有限公司 照明条件不良情况下无背光水表液晶屏示数识别方法
CN116682072A (zh) * 2023-08-04 2023-09-01 四川公路工程咨询监理有限公司 一种桥梁病害监测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107195024A (zh) * 2016-06-08 2017-09-22 南京航空航天大学 通用型车辆行驶数据记录系统和处理方法
CN110348376A (zh) * 2019-07-09 2019-10-18 华南理工大学 一种基于神经网络的行人实时检测方法
CN110427832A (zh) * 2019-07-09 2019-11-08 华南理工大学 一种基于神经网络的小数据集手指静脉识别方法
CN110543878A (zh) * 2019-08-07 2019-12-06 华南理工大学 一种基于神经网络的指针仪表读数识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107195024A (zh) * 2016-06-08 2017-09-22 南京航空航天大学 通用型车辆行驶数据记录系统和处理方法
CN110348376A (zh) * 2019-07-09 2019-10-18 华南理工大学 一种基于神经网络的行人实时检测方法
CN110427832A (zh) * 2019-07-09 2019-11-08 华南理工大学 一种基于神经网络的小数据集手指静脉识别方法
CN110543878A (zh) * 2019-08-07 2019-12-06 华南理工大学 一种基于神经网络的指针仪表读数识别方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673509A (zh) * 2021-07-28 2021-11-19 华南理工大学 一种基于图像文本的仪表检测分类方法
CN113673508A (zh) * 2021-07-28 2021-11-19 华南理工大学 一种指针式仪表图像数据合成方法
CN113673508B (zh) * 2021-07-28 2023-05-26 华南理工大学 一种指针式仪表图像数据合成方法
CN113673509B (zh) * 2021-07-28 2023-06-09 华南理工大学 一种基于图像文本的仪表检测分类方法
CN113570631A (zh) * 2021-08-28 2021-10-29 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备
CN113570631B (zh) * 2021-08-28 2024-04-26 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备
CN115546799A (zh) * 2022-10-17 2022-12-30 山东厚德测控技术股份有限公司 照明条件不良情况下无背光水表液晶屏示数识别方法
CN115546799B (zh) * 2022-10-17 2024-08-23 山东厚德测控技术股份有限公司 照明条件不良情况下无背光水表液晶屏示数识别方法
CN116682072A (zh) * 2023-08-04 2023-09-01 四川公路工程咨询监理有限公司 一种桥梁病害监测系统
CN116682072B (zh) * 2023-08-04 2023-10-20 四川公路工程咨询监理有限公司 一种桥梁病害监测系统

Also Published As

Publication number Publication date
CN111401358B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
CN111401358A (zh) 一种基于神经网络的仪表表盘校正方法
CN110570396B (zh) 一种基于深度学习的工业产品缺陷检测方法
CN111368825B (zh) 一种基于语义分割的指针定位方法
CN110188774B (zh) 一种基于深度学习的电涡流扫描图像分类识别方法
CN113673509B (zh) 一种基于图像文本的仪表检测分类方法
CN114549981A (zh) 一种基于深度学习的智能巡检指针式仪表识别及读数方法
CN109190625B (zh) 一种大角度透视变形的集装箱箱号识别方法
CN113808180B (zh) 一种异源图像配准方法、系统及装置
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN116823664B (zh) 一种遥感图像云去除方法及系统
CN116229052B (zh) 一种基于孪生网络的变电站设备状态变化检测方法
Zhang et al. Multi-scale defect detection of printed circuit board based on feature pyramid network
CN114495098B (zh) 一种基于显微镜图像的盘星藻类细胞统计方法及系统
CN116071560A (zh) 一种基于卷积神经网络的水果识别方法
CN117036243A (zh) 刨花板表面缺陷检测的方法、装置、设备和存储介质
CN117911350A (zh) 一种基于改进YOLOv7-tiny的PCB表面缺陷检测方法
CN117541908B (zh) 光学检测图像预测模型的训练方法、装置及预测方法
CN111091534A (zh) 一种基于目标检测的pcb板缺陷检测与定位方法
CN118279272A (zh) 一种基于改进YOLOv8的钢板表面缺陷检测方法
CN114241310A (zh) 基于改进yolo模型的堤防管涌险情智能识别方法
CN111126173B (zh) 一种高精度人脸检测方法
CN117079272A (zh) 一种结合手工特征和学习特征的弹底窝痕特征识别方法
CN115375966A (zh) 一种基于联合损失函数的图像对抗样本生成方法及系统
CN114419443A (zh) 一种遥感影像耕地地块自动提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant