CN111368825B - 一种基于语义分割的指针定位方法 - Google Patents

一种基于语义分割的指针定位方法 Download PDF

Info

Publication number
CN111368825B
CN111368825B CN202010114861.8A CN202010114861A CN111368825B CN 111368825 B CN111368825 B CN 111368825B CN 202010114861 A CN202010114861 A CN 202010114861A CN 111368825 B CN111368825 B CN 111368825B
Authority
CN
China
Prior art keywords
layer
pointer
image
convolution module
combined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010114861.8A
Other languages
English (en)
Other versions
CN111368825A (zh
Inventor
田联房
郭月阳
杜启亮
陈承隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Original Assignee
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Zhuhai Institute of Modern Industrial Innovation of South China University of Technology filed Critical South China University of Technology SCUT
Priority to CN202010114861.8A priority Critical patent/CN111368825B/zh
Publication of CN111368825A publication Critical patent/CN111368825A/zh
Application granted granted Critical
Publication of CN111368825B publication Critical patent/CN111368825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Abstract

本发明公开了一种基于语义分割的指针定位方法，包括步骤：1)指针式仪表数据的预处理与数据集的构建；2)针对识别对象及应用场景的特点，设计匹配的语义分割网络；3)对所设计的语义分割网络装载训练参数进行训练，训练完毕后得到指针分割模型；4)将待识别图像经预处理之后输入已训练的指针分割模型中，得到指针的像素级分割区域；5)通过图像处理技术对指针的像素级分割区域进行直线提取，并拟合出指针的位置方程以实现指针定位。本发明整个方法过程简单可靠，可以对各种复杂环境下的各种类型的指针进行精细分割。

Description

一种基于语义分割的指针定位方法
技术领域
本发明涉及图像处理与深度学习的技术领域，尤其是指一种基于语义分割的指针定位方法。
背景技术
指针式仪表作为一种监测装置具有读数方式简单、示数稳定和不易受干扰等多个优点，它也被广泛应用于工业生产和社会生活的各个方面，为生产生活提供了极大的便利。通过图像采集设备采集仪表图像进行自动读数的指针式仪表巡检方法相较于人工巡检方法具有适用范围广、精度高和稳定性高等优势，随着图像处理技术和深度学习技术的发展，这种方法也在逐步成为主流，该方法中的关键环节就包括指针的定位，指针定位信息的精确与否对于指针式仪表的最终读数具有重要影响。
目前对于指针定位方法的研究与实现，主要集中在传统图像处理技术的应用上，具体通过滤波、灰度化、阈值化、边缘检测和直线检测等一系列图像处理技术实现指针定位信息的获取，这种方法虽然简单易行，但是泛化能力不足，对于不同环境下的各类型指针式仪表的指针定位并不具有普适性，需要频繁更换参数，而且精度不高。随着近年来深度学习技术的迅猛发展，使得使用神经网络进行指针定位成为可能，其中主要有目标检测法和语义分割法两种方法，目标检测法主要通过神经网络对指针进行矩形框定位，再通过图像处理技术实现指针定位，而语义分割法则直接对每个像素进行分类，从而得到更加精细的指针分割区域，实现指针定位信息获取。
综合以上论述，发明一种具备实时性和高精度的指针定位方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的不足，提出了一种基于语义分割的指针定位方法，主要利用语义分割技术设计实现指针的像素级分割，再通过图像处理技术提取指针区域的方向矢量，并拟合出指针的位置方程以实现指针定位，整个方法过程简单可靠，可以对各种复杂环境下的各种类型的指针进行精细分割。
为实现上述目的，本发明提供的技术方案为：一种基于语义分割的指针定位方法，包括以下步骤：
1)指针式仪表数据的预处理与数据集的构建；
2)针对识别对象及应用场景的特点，设计匹配的语义分割网络；
3)对所设计的语义分割网络装载训练参数进行训练，训练完毕后得到指针分割模型；
4)将待识别图像经预处理之后输入已训练的指针分割模型中，得到指针的像素级分割区域；
5)通过图像处理技术对指针的像素级分割区域进行直线提取，并拟合出指针的位置方程以实现指针定位。
在步骤1)中，通过摄像机采集不同环境下的指针式仪表图像数据，并裁剪出表盘区域图像，通过图像处理技术对表盘区域图像进行滤波、图像增强和灰度化这些预处理操作，从而构建原始数据集，然后再将其中影响语义分割网络训练及测试的异常数据剔除，包括存在表面脏污、光照极端以及拍摄不全这些异常情况的原始数据，再对其余数据进行标注，标注内容为指针位置和类别，并对标注后数据进行数据增强以扩充数据集，其中数据增强包括：
a、添加随机频域噪声
在频域中用随机指数对噪声映射进行加权，再转换到空间域；
b、超像素法
在最大分辨率处生成图像的若干个超像素，并将其调整到原始大小，再将原始图像中所有超像素区域按设定比例替换为超像素，其它区域不改变；
c、随机镜像翻转
对输入图像进行随机镜像翻转。
在步骤2)中，结合识别对象及应用场景的特点构建相匹配的语义分割网络，包括以下步骤：
2.1)构建编码器网络
根据实时性和高精度要求构建编码器网络，该编码器网络主要由多个组合卷积模块组成，其结构为：
第一层为卷积层和激活层；
第二层为组合卷积模块A，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
第三层为最大池化层；
第四层为组合卷积模块B，它由两个组合卷积模块A组成；
第五层为最大池化层；
第六层为组合卷积模块B；
第七层为最大池化层；
第八层为组合卷积模块C，它由一个组合卷积模块D和一个组合卷积模块A组成，其中组合卷积模块D由四个卷积层、三个批归一化层、两个激活层和一个叠加层组成；
第九层为最大池化层；
第十层为组合卷积模块C；
2.2)构建解码器网络
根据编码器网络不同层的输出构建解码器网络，该解码器网络主要由多个组合卷积模块组成，其结构为：
第一层为组合卷积模块E，它由一个组合卷积模块F和一个组合卷积模块C组成，其中组合卷积模块F由一个上采样层、一个卷积层和一个张量拼接层组成；
第二层为组合卷积模块E；
第三层为组合卷积模块G，它由一个组合卷积模块F和一个组合卷积模块B组成；
第四层为组合卷积模块G；
第五层为卷积层和激活层；
第六层为卷积层和激活层；
2.3)设置损失函数
设置损失函数为交叉熵损失函数，损失函数公式如下：
Loss＝-(ytruelog(yout)+(1-ytrue)log(1-yout))
式中，Loss为损失函数值，ytrue为标签真实值，yout为解码器网络输出值。
在步骤3)中，装载训练参数训练所设计的语义分割网络，训练参数的设置为：设置训练优化器为Adam、权重初始化方法为Xavier、初始学习率为0.001、最大训练周期为200以及批次大小为4，并设置验证集间隔检测训练精确度，训练完成标志为达到最大训练周期或均交并比满足要求，训练完成后保存网络模型结构及参数即为指针分割模型。
在步骤4)中，使用中值滤波算法在保持边缘信息的情况下对待识别图像进行滤波，从而滤除杂点，而后再通过灰度化算法得到灰度图像，最后通过拉普拉斯算子进行边缘检测得到边缘图像，将边缘图像与灰度图像相加从而实现图像增强得到网络输入图像，将其输入至指针分割模型中通过前向传播得到指针的像素级分割区域。
在步骤5)中，通过霍夫直线检测算法检测出指针的像素级分割区域内的所有直线，并按照斜率相似判据将所有直线划分为多个直线集合，其中斜率相似判据为两直线斜率差距小于0.5即判定两直线属于同一集合，然后对每个直线集合通过最小二乘法拟合出各自的直线方程，在将其中斜率异常的直线方程去除，对其余的直线方程进行拟合得到最终的指针位置方程以实现指针定位。
本发明与现有技术相比，具有如下优点与有益效果：
1、使用深度学习方法实现指针分割，其与传统图像处理方法相比具有更高的精度、更全面的分割效果以及更好的泛化能力，可以对各种复杂环境下的各种类型的指针进行精细分割。
2、使用语义分割网络实现指针的像素级分割，与目标检测方法相比可以得到更加精确的位置信息，且无需进一步滤除背景信息。
3、在所设计的语义分割网络中采用了深度可分离卷积代替部分普通卷积，可以有效降低网络参数量和计算量，从而提高网络的实时性。
4、在语义分割网络的较深层采用了瓶颈结构设计，从而减少网络参数量和计算量，并实现更加有效的特征提取功能。
附图说明
图1为本发明方法的流程图。
图2a为组合卷积模块A示意图。
图2b为组合卷积模块B示意图。
图2c为组合卷积模块C示意图。
图2d为组合卷积模块D示意图。
图2e为组合卷积模块E示意图。
图2f为组合卷积模块F示意图。
图2g为组合卷积模块G示意图。
图3为待识别图像示意图。
图4为指针的像素级分割示意图。
具体实施方式
下面结合具体实施例对本发明做进一步的说明。
如图1所示，本实施例所提供的基于语义分割的指针定位方法，包括以下步骤：
1)通过摄像机采集不同光照、雨雪天气以及高温高压等环境下的各类型指针式仪表数据，并对其进行ROI裁剪得到表盘区域图像，对表盘区域图像使用中值滤波算法在保持边缘信息的情况下进行滤波，再通过灰度化算法得到灰度图像，最后通过拉普拉斯算子进行边缘检测得到边缘图像，将边缘图像与灰度图像相加从而实现图像增强得到预处理图像，由预处理图像构建原始数据集，然后再将其中影响语义分割网络训练及测试的异常数据剔除，包括存在表面脏污、光照极端以及拍摄不全等异常情况的预处理图像数据，再使用开源标注工具labelme对其余数据进行标注，标注内容为指针位置和类别，并对标注后数据进行数据增强以扩充数据集，其中数据增强包括：
a、添加随机频域噪声
在频域中用随机指数对噪声映射进行加权，再转换到空间域。
b、超像素法
在最大分辨率处生成图像的若干个超像素，并将其调整到原始大小，再将原始图像中所有超像素区域按一定比例替换为超像素，其它区域不改变。
c、随机镜像翻转
对输入图像进行随机镜像翻转。
2)根据具体应用场景和识别对象的特点，设计符合实际要求的语义分割网络，以下激活层若未额外声明，均为Leaky Relu激活函数，包括以下步骤：
2.1)构建编码器网络
根据实时性和高精度要求构建编码器网络，该编码器网络主要由多个组合卷积模块组成，其结构如下：
输入图像为416×416×1。
第一层为卷积层和激活层，卷积核为(1，1)，步长为1，滤波器数量为64，使用填充使得输入输出大小一致，输出为416×416×64。
第二层为组合卷积模块A，如图2a所示。首先经过深度卷积、批归一化层和激活层，深度卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为416×416×64，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为64，使用填充使得输入输出大小一致，输出为416×416×64。
第三层为最大池化层，池化核为(2，2)，步长为2，输出为208×208×64。
第四层为组合卷积模块B，如图2b所示。组合卷积模块B首先经过第一个组合卷积模块A，如图2a所示，其中经过深度卷积、批归一化层和激活层，深度卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为208×208×64，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为208×208×128；最后经过第二个组合卷积模块A，如图2a所示，其中各层参数与第一个组合卷积模块A相同，输出为208×208×128。
第五层为最大池化层，池化核为(2，2)，步长为2，输出为104×104×128。
第六层为组合卷积模块B，如图2b所示。组合卷积模块B首先经过第一个组合卷积模块A，如图2a所示，其中经过深度卷积、批归一化层和激活层，深度卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为104×104×128，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为104×104×256；最后经过第二个组合卷积模块A，如图2a所示，其中各层参数与第一个组合卷积模块A相同，输出为104×104×256。
第七层为最大池化层，池化核为(2，2)，步长为2，输出为52×52×256。
第八层为组合卷积模块C，如图2c所示。组合卷积模块C首先经过组合卷积模块D，如图2d所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为52×52×256，再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为52×52×256，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为52×52×512，再经过叠加层，叠加层另一输入为第七层输出经过卷积层和批归一化层得到，卷积核为(1，1)，滤波器数量为512，使用填充使得输入输出大小一致，输出为52×52×512，叠加层输出为52×52×512；最后经过组合卷积模块A，如图2a所示，其中经过深度卷积、批归一化层和激活层，深度卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为52×52×512，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为52×52×512。
第九层为最大池化层，池化核为(2，2)，步长为2，输出为26×26×512。
第十层为组合卷积模块C，如图2c所示。组合卷积模块C首先经过组合卷积模块D，如图2d所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为26×26×512，再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为26×26×512，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为1024，使用填充使得输入输出大小一致，输出为26×26×1024，再经过叠加层，叠加层另一输入为第七层输出经过卷积层和批归一化层得到，卷积核为(1，1)，滤波器数量为1024，使用填充使得输入输出大小一致，输出为26×26×1024，叠加层输出为26×26×1024；最后经过组合卷积模块A，如图2a所示，其中经过深度卷积、批归一化层和激活层，深度卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为26×26×1024，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为1024，使用填充使得输入输出大小一致，输出为26×26×1024。
2.2)构建解码器网络
根据编码器网络不同层的输出构建解码器网络，该解码器网络主要由多个组合卷积模块组成，其结构如下：
第一层为组合卷积模块E，如图2e所示。组合卷积模块E首先经过组合卷积模块F，如图2f所示，其中输入为编码器网络第十层输出26×26×1024和第八层输出52×52×512，由编码器网络第十层输出经过上采样层，采样因子为2，输出为52×52×1024，再经过卷积层，卷积核为(3，3)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为52×52×512，然后和编码器第八层输出一起经过张量拼接层，输出为52×52×1024；最后经过组合卷积模块C，如图2c所示，组合卷积模块C首先经过组合卷积模块D，如图2d所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为1024，使用填充使得输入输出大小一致，输出为52×52×1024，再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为1024，使用填充使得输入输出大小一致，输出为52×52×1024，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为52×52×512，再经过叠加层，叠加层另一输入为组合卷积模块F输出经过卷积层和批归一化层得到，卷积核为(1，1)，滤波器数量为512，使用填充使得输入输出大小一致，输出为52×52×512，叠加层输出为52×52×512；最后经过组合卷积模块A，如图2a所示，其中经过深度卷积、批归一化层和激活层，深度卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为52×52×512，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为52×52×512。
第二层为组合卷积模块E，如图2e所示。组合卷积模块E首先经过组合卷积模块F，如图2f所示，其中输入为解码器网络第一层输出52×52×512和编码器第六层输出104×104×256，由解码器网络第一层输出经过上采样层，采样因子为2，输出为104×104×512，再经过卷积层，卷积核为(3，3)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为104×104×256，然后和编码器第六层输出一起经过张量拼接层，输出为104×104×512；最后经过组合卷积模块C，如图2c所示，组合卷积模块C首先经过组合卷积模块D，如图2d所示，其中经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为104×104×512，再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为104×104×512，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为104×104×256，再经过叠加层，叠加层另一输入为组合卷积模块F输出经过卷积层和批归一化层得到，卷积核为(1，1)，滤波器数量为256，使用填充使得输入输出大小一致，输出为104×104×256，叠加层输出为104×104×256；最后经过组合卷积模块A，如图2a所示，其中经过深度卷积、批归一化层和激活层，深度卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为104×104×256，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为104×104×256。
第三层为组合卷积模块G，如图2g所示。组合卷积模块G首先经过组合卷积模块F，如图2f所示，其中输入为解码器网络第二层输出104×104×256和编码器第四层输出208×208×128，由解码器网络第二层输出经过上采样层，采样因子为2，输出为208×208×256，再经过卷积层，卷积核为(3，3)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为208×208×128，然后和编码器第四层输出一起经过张量拼接层，输出为208×208×256；最后经过组合卷积模块B，如图2b所示，组合卷积模块B首先经过第一个组合卷积模块A，如图2a所示，其中经过深度卷积、批归一化层和激活层，深度卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为208×208×256，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为208×208×128；最后经过第二个组合卷积模块A，如图2a所示，其中各层参数与第一个组合卷积模块A相同，输出为208×208×128。
第四层为组合卷积模块G，如图2g所示。组合卷积模块G首先经过组合卷积模块F，如图2f所示，其中输入为解码器网络第三层输出208×208×128和编码器第二层输出416×416×64，由解码器网络第三层输出经过上采样层，采样因子为2，输出为416×416×128，再经过卷积层，卷积核为(3，3)，步长为1，滤波器数量为64，使用填充使得输入输出大小一致，输出为416×416×64，然后和编码器第二层输出一起经过张量拼接层，输出为416×416×128；最后经过组合卷积模块B，如图2b所示，组合卷积模块B首先经过第一个组合卷积模块A，如图2a所示，其中经过深度卷积、批归一化层和激活层，深度卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为416×416×128，再经过卷积层、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为64，使用填充使得输入输出大小一致，输出为416×416×64；最后经过第二个组合卷积模块A，如图2a所示，其中各层参数与第一个组合卷积模块A相同，输出为416×416×64。
第五层为卷积层和激活层，卷积核为(3，3)，步长为1，滤波器数量为2，使用填充使得输入输出大小一致，输出为416×416×2。
第六层为卷积层和激活层，卷积核为(1，1)，步长为1，滤波器数量为1，使用填充使得输入输出大小一致，激活层为Sigmoid激活函数，输出为416×416×1。
2.3)设置损失函数
设置损失函数为更易于收敛的交叉熵损失函数，损失函数公式如下：
Loss＝-(ytruelog(yout)+(1-ytrue)log(1-yout))
式中，Loss为损失函数值，ytrue为标签真实值，yout为解码器网络输出值。
3)装载训练参数训练所设计的语义分割网络，训练参数的设置为：设置训练优化器为Adam、权重初始化方法为Xavier、初始学习率为0.001、最大训练周期为200以及批次大小为4。并设置验证集间隔检测训练精确度，训练完成标志为达到最大训练周期200或均交并比mIOU达到60要求，训练完成后保存网络模型结构及参数即为指针分割模型。
4)使用中值滤波算法在保持边缘信息的情况下对待识别图像进行滤波，从而滤除杂点，待识别图像如图3所示，再通过灰度化算法得到灰度图像，最后通过拉普拉斯算子进行边缘检测得到边缘图像，将边缘图像与灰度图像相加从而实现图像增强得到网络输入图像，将其输入至指针分割模型中通过前向传播得到指针的像素级分割区域，如图4所示。
5)通过霍夫直线检测算法检测出指针的像素级分割区域内的所有直线，并按照斜率相似判据将所有直线划分为多个直线集合，其中斜率相似判据为两直线斜率差距小于0.5即判定两直线属于同一集合，然后对每个直线集合通过最小二乘法拟合出各自的直线方程，在将其中斜率异常的直线方程去除，对其余的直线方程进行拟合得到最终的指针位置方程以实现指针定位。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于语义分割的指针定位方法，其特征在于，包括以下步骤：
1）指针式仪表数据的预处理与数据集的构建；
2）结合识别对象及应用场景的特点构建相匹配的语义分割网络，包括以下步骤：
2.1）构建编码器网络
根据实时性和高精度要求构建编码器网络，该编码器网络主要由多个组合卷积模块组成，其结构为：
第一层为卷积层和激活层；
第二层为组合卷积模块A，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
第三层为最大池化层；
第四层为组合卷积模块B，它由两个组合卷积模块A组成；
第五层为最大池化层；
第六层为组合卷积模块B；
第七层为最大池化层；
第八层为组合卷积模块C，它由一个组合卷积模块D和一个组合卷积模块A组成，其中组合卷积模块D由四个卷积层、三个批归一化层、两个激活层和一个叠加层组成；
第九层为最大池化层；
第十层为组合卷积模块C；
2.2）构建解码器网络
根据编码器网络不同层的输出构建解码器网络，该解码器网络主要由多个组合卷积模块组成，其结构为：
第一层为组合卷积模块E，它由一个组合卷积模块F和一个组合卷积模块C组成，其中组合卷积模块F由一个上采样层、一个卷积层和一个张量拼接层组成；
第二层为组合卷积模块E；
第三层为组合卷积模块G，它由一个组合卷积模块F和一个组合卷积模块B组成；
第四层为组合卷积模块G；
第五层为卷积层和激活层；
第六层为卷积层和激活层；
2.3）设置损失函数
设置损失函数为交叉熵损失函数，损失函数公式如下：
Loss=-(y true log(y out )+(1-y true ) log(1-y out ))
式中，Loss为损失函数值，y true 为标签真实值，y out 为解码器网络输出值；
3）对所设计的语义分割网络装载训练参数进行训练，训练完毕后得到指针分割模型；
4）将待识别图像经预处理之后输入已训练的指针分割模型中，得到指针的像素级分割区域，具体如下：
使用中值滤波算法在保持边缘信息的情况下对待识别图像进行滤波，从而滤除杂点，而后再通过灰度化算法得到灰度图像，最后通过拉普拉斯算子进行边缘检测得到边缘图像，将边缘图像与灰度图像相加从而实现图像增强得到网络输入图像，将其输入至指针分割模型中通过前向传播得到指针的像素级分割区域；
5）通过图像处理技术对指针的像素级分割区域进行直线提取，并拟合出指针的位置方程以实现指针定位，具体如下：
通过霍夫直线检测算法检测出指针的像素级分割区域内的所有直线，并按照斜率相似判据将所有直线划分为多个直线集合，其中斜率相似判据为两直线斜率差距小于0.5即判定两直线属于同一集合，然后对每个直线集合通过最小二乘法拟合出各自的直线方程，在将其中斜率异常的直线方程去除，对其余的直线方程进行拟合得到最终的指针位置方程以实现指针定位。
2.根据权利要求1所述的一种基于语义分割的指针定位方法，其特征在于，在步骤1）中，通过摄像机采集不同环境下的指针式仪表图像数据，并裁剪出表盘区域图像，通过图像处理技术对表盘区域图像进行滤波、图像增强和灰度化这些预处理操作，从而构建原始数据集，然后再将其中影响语义分割网络训练及测试的异常数据剔除，包括存在表面脏污、光照极端以及拍摄不全这些异常情况的原始数据，再对其余数据进行标注，标注内容为指针位置和类别，并对标注后数据进行数据增强以扩充数据集，其中数据增强包括：
a、添加随机频域噪声
在频域中用随机指数对噪声映射进行加权，再转换到空间域；
b、超像素法
在最大分辨率处生成图像的若干个超像素，并将其调整到原始大小，再将原始图像中所有超像素区域按设定比例替换为超像素，其它区域不改变；
c、随机镜像翻转
对输入图像进行随机镜像翻转。
3.根据权利要求1所述的一种基于语义分割的指针定位方法，其特征在于，在步骤3）中，装载训练参数训练所设计的语义分割网络，训练参数的设置为：设置训练优化器为Adam、权重初始化方法为Xavier、初始学习率为0.001、最大训练周期为200以及批次大小为4，并设置验证集间隔检测训练精确度，训练完成标志为达到最大训练周期或均交并比满足要求，训练完成后保存网络模型结构及参数即为指针分割模型。
CN202010114861.8A 2020-02-25 2020-02-25 一种基于语义分割的指针定位方法 Active CN111368825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010114861.8A CN111368825B (zh) 2020-02-25 2020-02-25 一种基于语义分割的指针定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010114861.8A CN111368825B (zh) 2020-02-25 2020-02-25 一种基于语义分割的指针定位方法

Publications (2)

Publication Number Publication Date
CN111368825A CN111368825A (zh) 2020-07-03
CN111368825B true CN111368825B (zh) 2023-04-18

Family

ID=71206427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010114861.8A Active CN111368825B (zh) 2020-02-25 2020-02-25 一种基于语义分割的指针定位方法

Country Status (1)

Country Link
CN (1) CN111368825B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950605A (zh) * 2020-07-28 2020-11-17 北京恒通智控机器人科技有限公司 表计识别模型的学习方法、装置、设备和表计识别方法
CN113566863B (zh) * 2021-06-11 2023-12-26 北京眸视科技有限公司 一种指针表的读取方法和装置
CN113673508B (zh) * 2021-07-28 2023-05-26 华南理工大学 一种指针式仪表图像数据合成方法
CN113673509B (zh) * 2021-07-28 2023-06-09 华南理工大学 一种基于图像文本的仪表检测分类方法
CN113724271B (zh) * 2021-08-30 2023-09-29 上海大学 一种用于复杂环境移动机器人场景理解的语义分割模型训练方法
WO2023193175A1 (zh) * 2022-04-07 2023-10-12 中国科学院深圳先进技术研究院 一种基于超声图像的穿刺针实时检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348376A (zh) * 2019-07-09 2019-10-18 华南理工大学 一种基于神经网络的行人实时检测方法
CN110543878A (zh) * 2019-08-07 2019-12-06 华南理工大学 一种基于神经网络的指针仪表读数识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348376A (zh) * 2019-07-09 2019-10-18 华南理工大学 一种基于神经网络的行人实时检测方法
CN110543878A (zh) * 2019-08-07 2019-12-06 华南理工大学 一种基于神经网络的指针仪表读数识别方法

Also Published As

Publication number Publication date
CN111368825A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111368825B (zh) 一种基于语义分割的指针定位方法
CN107239751B (zh) 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法
CN110852225B (zh) 基于深度卷积神经网络的遥感影像红树林提取方法及系统
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
CN112949565B (zh) 基于注意力机制的单样本部分遮挡人脸识别方法及系统
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN107944353B (zh) 基于轮廓波bspp网络的sar图像变化检测方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
CN113673509B (zh) 一种基于图像文本的仪表检测分类方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN111401358B (zh) 一种基于神经网络的仪表表盘校正方法
CN113160139A (zh) 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN114067219A (zh) 一种基于语义分割与超像素分割融合的农田作物识别方法
CN112215263B (zh) 基于深度卷积神经网络的钢轨波磨检测方法
CN115049640B (zh) 一种基于深度学习的道路裂缝检测方法
CN111563577B (zh) 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN115797813A (zh) 基于航拍图像的水环境污染检测方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
Peng et al. Litchi detection in the field using an improved YOLOv3 model
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及系统
CN108764287B (zh) 基于深度学习和分组卷积的目标检测方法及系统
CN115984632A (zh) 一种高光谱塑料垃圾材质快速分类方法、装置及存储介质
CN114187477A (zh) 一种基于监督自对比学习的小样本高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant