CN115239952A - 基于YOLOV5及U2-Net框架辅助读取工业表的方法 - Google Patents

基于YOLOV5及U2-Net框架辅助读取工业表的方法 Download PDF

Info

Publication number
CN115239952A
CN115239952A CN202210667985.8A CN202210667985A CN115239952A CN 115239952 A CN115239952 A CN 115239952A CN 202210667985 A CN202210667985 A CN 202210667985A CN 115239952 A CN115239952 A CN 115239952A
Authority
CN
China
Prior art keywords
pointer
image
scale
dial
scale mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210667985.8A
Other languages
English (en)
Inventor
张剑华
郭烈烽
肖峰
姜振杰
于洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN202210667985.8A priority Critical patent/CN115239952A/zh
Publication of CN115239952A publication Critical patent/CN115239952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

一种基于YOLOV5及U2‑Net框架辅助读取工业表的方法，包括以下步骤：S1:利用YOLOV5定位出图像中的工业表得到工业表图像；S2：利用U2‑Net来分割出工业表图中的指针和刻度线得到指针刻度线图像；S3：根据图像先腐蚀锐化等预处理使得指针和刻度线便于后续处理；S4：将预处理后的图像中的表盘展开为矩形图像；S5：将S4依据指针和刻度线的像素值将得到的矩形图像转为一维数组且用均值来二值化；S6：依据指针和刻度线的值来定位指针相对刻度线的位置，根据刻度线的根数判断表盘类型获取表盘量程；S7：根据指针相对位置与量程做乘积得到目标读数。本发明可适用于任何倾斜的表盘，且能精确得到表盘的读数。

Description

基于YOLOV5及U2-Net框架辅助读取工业表的方法
技术领域
本发明涉及到计算机视觉、深度学习等技术领域，具体涉及基于YOLOV5 及U2-Net框架辅助读取工业表的方法。
背景技术
现如今，几乎电力能源厂都需要定期地监测工业表盘读数，以保证工程能正常运行及保证周围的安全，但工业表分布分散，人工查表效率低下，且有些工作环境不适合人类作业，针对以上问题，可以使用机器人巡航工厂，通过摄像头得到表盘数据进行自动读数达成目标。
随着科技不断地进步，机器人的使用愈来愈普及，成本也愈发亲民，特别适合由机器人代替人工识别。在工业生产领域，工业表盘的智能化识别具有重要的应用价值。目前对于工业仪表的智能化识别方案主要是通过工业相机采集工业仪表图像数据，再由后续的图像处理算法完成对工业仪表的读数识别与记录。
发明内容
为了克服现有技术的不足，本发明提供基于YOLOV5及U2-Net框架辅助读取工业表的方法，使机器人巡航能够读取到工业表，从而使得将工作人员从危险的环境解放出来且大大降低了人工成本，同时该方法可以减少人为读表带来的主观因素，使得读数的效率和准确度得到提升，具有较好的实用性、鲁棒性。
为了解决上述技术问题本发明提供如下的技术方案：
一种基于YOLOV5及U2-Net框架辅助读取工业表的方法，包括以下步骤：
步骤S1：往训练好的YOLOV5模型输入相机拍得的图像，然后检测出表盘的位置并获取工业表盘目标图像；
步骤S2：往训练好的U2-Net模型输入表盘目标图像，然后分割出目标图像中的指针和刻度线，将刻度线和指针分别用绿色和红色来分割，这是便于后续能依据像素值区分刻度线和指针，最后输出分割出有刻度线及指针的图像；
步骤S3：将得到的刻度线指针图像进行图像预处理，主要包括图像缩放至固定大小、图像腐蚀、图像锐化，使得刻度线和指针信息更易于区分来，输出得到；
步骤S4：将预处理后的图像通过极坐标转换到笛卡尔系坐标，以表盘环形底部为起点，将环状转换为矩形图像；
步骤S5：将矩形图像又二维数组转换为一维数组，得到指针和刻度线一维数组，且将指针和刻度线的一维数组进行均值二值化操作；
步骤S6：根据S5得到二值化后的一维数组计算出指针对应刻度线的位置，依据刻度线数组的值推出出表盘的量程；
步骤S7：依据指针相对位置和量程计算出工业表数值。
进一步，所述步骤S1包含以下步骤：
步骤S11：构建训练集与测试集：首先挑选出合适数量的数据集，要求不同的表盘，不同的量程都要选入数据集，选择80％的数据作为数据集；
步骤S12：训练集图像数据标注：利用LabelImg对训练集中的图像进行标注，选出图像中工业表盘的位置；
步骤S13：模型多轮训练：设置训练的轮数为10论，迭代的次数为4；
步骤S14：通过测试集检验训练效果：将测试集数据进行校验。
再进一步，所述步骤S2中，使用U2-Net分割出指针和刻度线，同样使用LabelImg对训练集中的图像进行标注，标出刻度线和指针的位置。最后分割出刻度线和指针的图像，以黑色为背景，刻度线使用绿色来分割，而指针采用红色来分割，以便于后续依据像素值来区分指针以及刻度线；
更进一步，所述步骤S3的过程为：将分割得到刻度线和指针图像设置固定大小[512,512]，然后进行图像腐蚀，图像腐蚀的卷积核大小设为1，预处理后便于后续操作读数；
所述步骤S4中，将预处理后的图像以表盘圆环为圆通过公式(1)、公式 (2)使得极坐标转换到对应的笛卡尔系坐标
x＝r+r×cos(θ) (1)
y＝r-r×sin(θ) (2)
其中，x是转化后的笛卡尔系坐标，r是极坐标中的极径，θ是极坐标中的角度值，y是转换后的笛卡尔系坐标。
所述步骤S5包含以下步骤：
步骤S51：依据指针和刻度线像素值的不同来判断指针和刻度线的位置，指针的像素值范围设为[70,80]，而刻度线的像素范围设为[100,200]，背景像素值设为0，因为像素值差大，使得能很好判断指针和刻度线，也就从二维数组降维成一维数组，其中一维数组的长度为512，用一维数组分别表示指针和刻度线；
步骤S52：在判断出指针和刻度线后得到指针和刻度线的一维数组，先对数组中的值求出平均值，然后遍历数组比较数组中的值是否大于平均值，如果大于平均值则设为1，反之设为0，同样二值化后的指针数组和刻度线数组的长度为512。
所述步骤S6中，依据二值化后的指针数组和刻度线数组来定位出指针的相对位置，首先找出刻度线的起始位置，也就是刻度线中的前两个连续非零值，注意是要前两个连续非零值，因为可能会有噪声，且线在图像中的像素位置也是连续表示的，然后计算指针数组中的非零值位置得到相对刻度线的位置；同时依据刻度线的数量求出该表盘的量程，量程需要提前设定好。
所述步骤S7中，依据量程信息和指针相对位置通过公式(3)计算得到表盘数值
M＝t×(l÷s) (3)
其中M是表盘数值，t是图像中指针的相对位置，l是标准表盘的量程，s 是标准表盘刻度线的数量，量程除以刻度线的数量表示一刻度的单位值。
本发明的有益效果主要表现在：本发明能够很好的识别出图像中的表盘，分割出指针和刻度线，依据得到的指针和刻度线分割图像，能精确无误地识别出指针相对刻度线的位置，从而读出图像中表盘的数值。可以适用于任何倾斜工业表盘进行读数，鲁棒性和实用性更强。
附图说明
图1为基于YOLOV5及U2-Net框架辅助读取工业表的方法的流程示意图。
图2为工业表的识别结果图。
图3为工业表的分割结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
参照图1～图3，一种基于YOLOV5及U2-Net框架辅助读取工业表的方法，图1为流程示意图，所述方法一共包含三个模块，分别为利用YOLOV5识别工业表、利用U2-Net分割表盘中的指针和刻度线、工业表盘读数，所述方法包括以下步骤。
步骤S1：YOLOV5算法的输入为整张图像，直接在输出层回归候选框 (boundingbox)的位置和候选框所属的类别。将一幅图像分成S×S个网格(grid cell)，通过这些网格完成对待检测目标的检测任务。将机器人获取的图像输入到 YOLOV5进行表盘识别，得到原始图像中的表盘，图2展示了识别结果。
步骤S2：首先使用labelme标注工具对指针仪表的刻度、指针进行标注。以压力表为例，经过标注，得到了指针仪表语义分割数据集500张，使用经过 U2-Net对指针仪表进行训练，训练过程中将图片尺寸调整为512×512，训练时设置超参数学习率为0.0001，每次迭代处理的batch size为4，训练200epoch结束，然后将识别出的表盘图像输入到U2-Net进行语义分割，得到了指针工业表的指针和刻度线图像，设置为以黑色为背景，红色线段是指针信息，绿色线段是刻度线信息，如图3展示了分割结果。
步骤S3：首先将U2-Net模型分割得到刻度线和指针图像设置固定大小 [512,512]，然后进行图像腐蚀，图像腐蚀的卷积核大小设为1，预处理后便于后续操作读数。
步骤S4：首先要确定好图像中的圆心，应该是经过表盘识别的得到的图片，所以我们设图像中心为表盘圆心[256,256]，同时定义圆的半径是250，圆的周长 d是1570，然后设角度θ和图像的公式(1)，预处理后的图像以表盘圆环为圆通过(公式(2)、公式(3))使得极坐标转换到对应的笛卡尔系坐标，展示了转换效果。
θ＝2×π×t÷d (1)
x＝r+r×cos(θ) (2)
y＝r-r×sin(θ) (3)
其中，t是图像中圆周长的遍历值[1,1570]；d是理想中圆的周长，设为1570；x是转化后的笛卡尔系坐标；r是极坐标中的极径；θ是极坐标中的角度值；y 是转换后的笛卡尔系坐标。
步骤S5：将矩形图像又二维数组转换为一维数组，得到指针和刻度线一维数组，且将指针和刻度线的一维数组进行均值二值化操作；过程如下：
步骤S51：依据指针和刻度线像素值的不同来判断指针和刻度线的位置，指针的像素值范围设为[70,80]，而刻度线的像素范围设为[100,200]，背景像素值设为0。首先，分别创建长度和图像宽一致的指针和刻度线数组，然后遍历图像将符合像素值范围的像素所在的列值记下来，将图像中该列所有符合范围的都累加到对应指针和刻度线数组，因为像素值差大，使得能很好判断指针和刻度线，也就从二维数组降维成一维数组，其中一维数组的长度为512，用一维数组分别表示指针和刻度线；
步骤S52：在判断出指针和刻度线后得到指针和刻度线的一维数组，首先对数组中的值求出平均值，然后遍历数组比较数组中的值是否大于平均值，如果大于平均值则设为1，反之设为0，同样二值化后的指针数组和刻度线数组的长度为512，二值化后得到的数组会是刻度线和指针所在图像中的列均为1，便于后面计算出指针相对刻度线的位置。
步骤S6：根据S5得到二值化后的一维数组计算出指针对应刻度线的位置，依据刻度线数组的值推出表盘的量程；过程如下：
步骤S61：依据二值化后的指针数组和刻度线数组来定位出指针的相对位置，首先在遍历二值化数组时，找出刻度线的起始位置，记下起始位置的index，也就是刻度线中的前两个连续非零值，注意是要前两个连续非零值，因为可能会有噪声，且线在图像中的像素位置也是连续表示的，然后依次进行遍历二值化数组，得到每个刻度线的中心位置通过数组表示。
同时，通过同样的方法，计算出图像中指针的中心位置，与刻度线不同的是，因为刻度线比较细小，所以判断两个像素以上连续就可以认为是刻度线了，而指针显得较为粗大，可以设定判断四个像素以上连续就认定为指针，然后计算连续像素的中心位置。
如此便得到了刻度线和指针在图像中的位置。
步骤S62：首先通过遍历刻度线数组，判断出指针的所在index两侧附近的刻度线夹住，记住小于且最接近指针index的刻度线，通过公式(4)计算指针数组中的非零值位置得到相对刻度线的位置；
t＝i+(p-s)÷(S-s) (4)
其中，i是指针前面的刻度线为第i个刻度线，p是指针所在的index，s是第 i个刻度线所在index，S是第i+1个刻度线所在的index。
步骤S7：首先判断刻度线根数，来选择对应的量程和一刻度单位值，然后结合所给的指针相对位置通过公式(5)计算得到表盘数值
M＝t×(l÷s) (5)
其中M是表盘数值，t是图像中指针的相对位置，l是标准表盘的量程，s是标准表盘刻度线的数量，量程除以刻度线的数量表示一刻度的单位值。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (8)

1.一种基于YOLOV5及U2-Net框架辅助读取工业表的方法，其特征在于，所述方法包括以下步骤：
步骤S1：往训练好的YOLOV5模型输入相机拍得的图像，然后检测出表盘的位置并获取工业表盘目标图像；
步骤S2：往训练好的U2-Net模型输入表盘目标图像，然后分割出目标图像中的指针和刻度线，将刻度线和指针分别用绿色和红色来分割，这是便于后续能依据像素值区分刻度线和指针，最后输出分割出有刻度线及指针的图像；
步骤S3：将得到的刻度线指针图像进行图像预处理，主要包括图像缩放至固定大小、图像腐蚀、图像锐化，使得刻度线和指针信息更易于区分来，输出得到；
步骤S4：将预处理后的图像通过极坐标转换到笛卡尔系坐标，以表盘环形底部为起点，将环状转换为矩形图像；
步骤S5：将矩形图像又二维数组转换为一维数组，得到指针和刻度线一维数组，且将指针和刻度线的一维数组进行均值二值化操作；
步骤S6：根据S5得到二值化后的一维数组计算出指针对应刻度线的位置，依据刻度线数组的值推出出表盘的量程；
步骤S7：依据指针相对位置和量程计算出工业表数值。
2.根据权利要求1所述的基于YOLOV5及U2-Net框架辅助读取工业表的方法，其特征在于，所述步骤S1包含以下步骤：
步骤S11：构建训练集与测试集：首先挑选出合适数量的数据集，要求不同的表盘，不同的量程都要选入数据集，选择80％的数据作为数据集；
步骤S12：训练集图像数据标注：利用LabelImg对训练集中的图像进行标注，选出图像中工业表盘的位置；
步骤S13：模型多轮训练：设置训练的轮数为10论，迭代的次数为4；
步骤S14：通过测试集检验训练效果：将测试集数据进行校验。
3.根据权利要求1或2所述的基于YOLOV5及U2-Net框架辅助读取工业表的方法，其特征在于，所述步骤S2中，使用U2-Net分割出指针和刻度线，同样使用LabelImg对训练集中的图像进行标注，标出刻度线和指针的位置。最后分割出刻度线和指针的图像，以黑色为背景，刻度线使用绿色来分割，而指针采用红色来分割，以便于后续依据像素值来区分指针以及刻度线；
4.根据权利要求1或2所述的基于YOLOV5及U2-Net框架辅助读取工业表的方法，其特征在于，所述步骤S3的过程为：将分割得到刻度线和指针图像设置固定大小[512,512]，然后进行图像腐蚀，图像腐蚀的卷积核大小设为1，预处理后便于后续操作读数。
5.根据权利要求1或2所述的基于YOLOV5及U2-Net框架辅助读取工业表的方法，其特征在于，所述步骤S4中，将预处理后的图像以表盘圆环为圆通过公式(1)、公式(2)使得极坐标转换到对应的笛卡尔系坐标
x＝r+r×cos(θ) (1)
y＝r-r×sin(θ) (2)
其中，x是转化后的笛卡尔系坐标，r是极坐标中的极径，θ是极坐标中的角度值，y是转换后的笛卡尔系坐标。
6.根据权利要求1或2所述的基于YOLOV5及U2-Net框架辅助读取工业表的方法，其特征在于，所述步骤S5包含以下步骤：
步骤S51：依据指针和刻度线像素值的不同来判断指针和刻度线的位置，指针的像素值范围设为[70,80]，而刻度线的像素范围设为[100,200]，背景像素值设为0，因为像素值差大，使得能很好判断指针和刻度线，也就从二维数组降维成一维数组，其中一维数组的长度为512，用一维数组分别表示指针和刻度线；
步骤S52：在判断出指针和刻度线后得到指针和刻度线的一维数组，先对数组中的值求出平均值，然后遍历数组比较数组中的值是否大于平均值，如果大于平均值则设为1，反之设为0，同样二值化后的指针数组和刻度线数组的长度为512。
7.根据权利要求1或2所述的基于YOLOV5及U2-Net框架辅助读取工业表的方法，其特征在于，所述步骤S6中，依据二值化后的指针数组和刻度线数组来定位出指针的相对位置，首先找出刻度线的起始位置，也就是刻度线中的前两个连续非零值，注意是要前两个连续非零值，因为可能会有噪声，且线在图像中的像素位置也是连续表示的，然后计算指针数组中的非零值位置得到相对刻度线的位置；同时依据刻度线的数量求出该表盘的量程，量程需要提前设定好。
8.根据权利要求1或2所述的基于YOLOV5及U2-Net框架辅助读取工业表的方法，其特征在于，所述步骤S7中，依据量程信息和指针相对位置通过公式(3)计算得到表盘数值
M＝t×(l÷s) (3)
其中M是表盘数值，t是图像中指针的相对位置，l是标准表盘的量程，s是标准表盘刻度线的数量，量程除以刻度线的数量表示一刻度的单位值。
CN202210667985.8A 2022-06-14 2022-06-14 基于YOLOV5及U2-Net框架辅助读取工业表的方法 Pending CN115239952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210667985.8A CN115239952A (zh) 2022-06-14 2022-06-14 基于YOLOV5及U2-Net框架辅助读取工业表的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210667985.8A CN115239952A (zh) 2022-06-14 2022-06-14 基于YOLOV5及U2-Net框架辅助读取工业表的方法

Publications (1)

Publication Number Publication Date
CN115239952A true CN115239952A (zh) 2022-10-25

Family

ID=83669653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210667985.8A Pending CN115239952A (zh) 2022-06-14 2022-06-14 基于YOLOV5及U2-Net框架辅助读取工业表的方法

Country Status (1)

Country Link
CN (1) CN115239952A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024093287A1 (zh) * 2022-11-01 2024-05-10 南京邮电大学 一种基于改进u2型网络的仪表识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024093287A1 (zh) * 2022-11-01 2024-05-10 南京邮电大学 一种基于改进u2型网络的仪表识别方法

Similar Documents

Publication Publication Date Title
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN112906694B (zh) 变电站倾斜式指针式仪表图像的读数矫正系统及方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN109635806B (zh) 基于残差网络的电表数值识别方法
CN112149667B (zh) 一种基于深度学习的指针式仪表的自动读数的方法
CN110909738A (zh) 一种基于关键点检测的指针仪表自动读数方法
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN112801094B (zh) 一种指针式仪表图像倾斜校正方法
He et al. A value recognition algorithm for pointer meter based on improved Mask-RCNN
CN111723821A (zh) 一种电厂仪表图像的检测识别方法及装置
CN113269193A (zh) 指针式表计的示数读取方法、装置及存储介质
CN116844147A (zh) 一种基于深度学习的指针式仪表识别和异常警报方法
CN115239952A (zh) 基于YOLOV5及U2-Net框架辅助读取工业表的方法
CN115457556A (zh) 一种核电厂圆盘指针式仪表读数方法
WO2024093287A1 (zh) 一种基于改进u2型网络的仪表识别方法
CN116543376B (zh) 一种指针式仪表读数方法和系统
CN112990190A (zh) 指针式仪表读数的识别方法、装置
CN115661446A (zh) 基于深度学习的指针式仪表示数自动读取系统及方法
CN114757922A (zh) 一种应用于指针式压力表的仪表读数方法及装置
CN114255458A (zh) 一种巡检场景下指针仪表读数的识别方法与系统
CN113869112A (zh) 一种基于机器视觉的仪表自动读数方法装置
US20240005639A1 (en) Instrument recognition method based on improved u2 network
Rao et al. A real-time auto-recognition method for pointer-meter under uneven illumination
CN216791052U (zh) 一种基于机器视觉的三维位移传感器
CN112560983B (zh) 一种仪表识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination