CN110929710B - 一种基于视觉的仪表指针读数自动识别方法与系统 - Google Patents

一种基于视觉的仪表指针读数自动识别方法与系统 Download PDF

Info

Publication number
CN110929710B
CN110929710B CN201911042962.2A CN201911042962A CN110929710B CN 110929710 B CN110929710 B CN 110929710B CN 201911042962 A CN201911042962 A CN 201911042962A CN 110929710 B CN110929710 B CN 110929710B
Authority
CN
China
Prior art keywords
watch
pointer
center
point
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911042962.2A
Other languages
English (en)
Other versions
CN110929710A (zh
Inventor
余洪山
曹思佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Of Hunan University
Hunan University
Original Assignee
Shenzhen Research Institute Of Hunan University
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Of Hunan University, Hunan University filed Critical Shenzhen Research Institute Of Hunan University
Priority to CN201911042962.2A priority Critical patent/CN110929710B/zh
Publication of CN110929710A publication Critical patent/CN110929710A/zh
Application granted granted Critical
Publication of CN110929710B publication Critical patent/CN110929710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本发明公开了一种基于视觉的仪表指针读数自动识别方法及系统，方法为：首先采集手表图像，利用神经网络对手表的指针和各区域进行分割提取，然后利用边缘检测，筛选出刻度质心，拟合表盘内圆，确定表盘中心，再检测指针的中心线，以表盘中心点为基准点，以基准点和12点位的质心为基准线，计算中心线相对基准线的旋转角，再将计算后的角度换算成手表读数，将当前手表读数存入数据库。

Description

一种基于视觉的仪表指针读数自动识别方法与系统
技术领域
本发明涉及一种基于视觉的仪表指针读数自动识别方法与系统。
背景技术
机械手表作为一种具有摆轮游丝振荡系统的计时工具，它的走时精度每时每刻都在变化之中，根据机械手表评价细则，高精度的机械手表需满足《高精度机械手表SQL/HSTU009-2017》标准才可获得认证。为了保证手表的走时精度，每个手表出厂之前都需要进行16天的走时测试，即在连续16天的走时中，每天通过读取手表与标准计时的走时差来计算手表精度，同时利用手表在不同位置走时的不同的精度误差，可以纠正手表的快慢趋势。目前这一步骤主要用人工方式来操作，该方式每天仅能检测200～300只成表，效率低，人力成本高，同时检测的准确率易受工作人员的熟练程度和工作状态影响。现有的自动化读数技术主要应用在仪表上，难以解决手表多个指针的相互重叠和相互遮挡的问题，同时手表由于款式和设计的不同，表盘存在大量的花纹，会极大影响指针的识别，指针的多样性也使得指针中轴线的检测难度大大提高。
所以，研究一种快速，精确的自动化机械表读数检测技术能够大大提升企业的生产速度，提高精度机械手表的出品量。
发明内容：
本发明公开了一种基于视觉的仪表指针读数自动识别方法及方法，该方法中：首先采集手表图像，利用神经网络实现对手表指针和各区域的分割提取，再检测指针的中心线，同时确定表盘中心，以表盘中心点为基准点，以基准点和 12点位的质心为基准线，计算中心线相对基准线的旋转角，再将计算后的角度换算成手表读数，该方法适用于手表读数，精度高，效率高。
一种基于视觉的仪表指针读数自动识别方法，包括以下步骤：
步骤1：搭建硬件平台用于图像采集，在固定的光源条件下，使用相机进行拍照，采集手表图像；
步骤2：对步骤1中采集到的图像进行标记，送进神经网络中进行训练，不断调参直至得到最优的网络模型；
步骤3：实时采集手表图像，使用训练好的神经网络模型进行时针、分针、秒针和12点位，6点位的分割提取；
步骤4：对步骤3中采集到的图像进行边缘检测并确定各连通域的质心，根据各区域质心到12点位与6点位连线中点的距离关系，筛选出刻度质心，拟合表盘内圆，确定表盘中心；
步骤5：对步骤3中提取的指针区域进行中心线的检测；
步骤6：对步骤3中提取到的指针区域和12点位进行质心的提取；
步骤7：根据指针质心，定位指针方向，计算指针中心线相对于表盘中心与 12点位质心的连线的旋转角；
步骤8：将旋转角换算成手表读数，进行误差校正；
步骤9：将手表读数存入数据库。
一种基于视觉的仪表指针读数自动识别系统，该系统用于实施基于视觉的仪表指针读数自动识别方法。
有益效果：
本发明可实现对手表的读数的自动化检测，可有效满足机械表生产过程中的走时测试问题，大大提高钟表企业机械表的出厂率。
与现有自动化读数检测技术相比，本发明的先进性表现在，1)发明采用神经网络对多指针进行分割提取，有效降低了指针遮挡和重叠的识别难度。2)传统的自动化读数检测技术对直线型指针更为有效，本发明针对非直线型的对称性指针，提出了有效的指针中心线检测技术。3)本发明提出了适用于手表读数识别的读数计算方法，并提出了误差校正准则。
附图说明：
图1为本发明整体流程图；
图2为硬件平台搭建图，用于采集图像
图3为指针和12点位，6点位的标记图
图4为改进后的maskrcnn网络结构图
图5为maskrcnn底层框架图，用于提取图像特征
图6为maskrcnn分割结果图，其中图(a)为整体分割图；图(b)为分割出来的时针图；图(c)为分割出来的分针图；图(d)为分割出来的秒针图；
图(e)为分割出来的12点位图；图(f)为分割出来的6点位图
图7为表盘中心定位结果图
图8为指针中心线检测结果图
具体实施方式：
下面将结合附图和实施例对本发明做进一步的说明。
如图1所示，为本发明的流程图，一种基于视觉的仪表指针读数自动识别方法与系统，包括以下步骤：
步骤1：搭建硬件平台用于图像采集，在固定的光源条件下，使用相机进行拍照，采集手表图像。
所述硬件平台如图2所示，硬件平台由相机、镜头，光源组成。采集图片时，将手表置于表盒内，将表盒固定在卡座上，用光源进行照明，由相机进行拍照。打光主视图如图1所示。
步骤2：对步骤1中采集到的图像进行时针，分针，秒针，12点位，6点位进行标记，送进神经网络中进行训练，不断调参直至得到最优的网络模型。
所述标记为用labelme软件对时针，分针，秒针，12点位，6点位进行标记，标记即为用多边形的框包围住指针和12点位和6点位，如图3所示
所述神经网络为可用于分割的神经网络，如maskrcnn网络，本发明对mask-rcnn网络进行了改进，改进后网络结构如图4所示。
1)首先使用CNN网络即卷积神经网络提取手表的特征图，在底层卷积网络中加入了FPN网络来生成不同尺度的特征图。底层框架图如图5所示。
2)在FPN生成的不同特征图上用RPN网络生成候选区域即有可能存在手表的区域。对特征图的每一个位置，以下简称锚点，生成以锚点为中心的三种面积 (128,256,512)，三种长宽比(1:1,1:2,2:1)的9个可能的候选窗口。对每一个候选框，计算候选框A与标记好的矩形框B之间的重叠度IOU。
Figure GDA0003494555630000031
如果IOU大于所设定的阈值，则该候选框属于前景，可能存在手表，否则该候选框属于背景，同时输出候选框与标记框之间的坐标，宽度和高度的变化百分数。如果找出来的候选框相互重叠，则根据分类器的分类概率做排序。
首先选出具有最高概率分数的候选框A，从剩下的候选框中找出与候选框A 交并比大于所设定阈值的候选框进行去除。用同样的方法找出第二个，第三个具有最高概率分数的候选框，这样我们就得到了最终的候选框，并根据标记框对其位置和尺寸进行精调。最后将最终的区域建议映射到卷积网络的最后一层特征图。生成ROI区域。
3)ROI区域通过ROIalign层生成固定尺寸的特征图。ROIalign层中首先遍历每一个候选区域，再将候选区域分割成k*k个单元，在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作，得到固定尺寸的特征图。
4)将ROIalign层输出的结果向两个分支输出，一个利用全连接层将卷积层产生的特征图映射成一个固定长度的特征向量，输出分类和检测结果。另一个用 FCN层对ROIalign特征图进行像素级的分类，输出K层的mask图，每一层为1 类。对每一个ROI,如果检测得到ROI属于哪一个分类，就只使用哪一个分支的相对熵误差做为误差值进行计算。
5)手表图片和标记好的图片送入神经网络进行训练，训练向着减小损失的方向进行。在测试集上准确率最高的模型为相对最优模型，准确率为92.9％。而用现有的模板匹配法来确定指针区域时准确率只有50％左右。相比较而言，我们的方法大大提升了手表指针分割的精度。
6)本发明所做改进为在FCN分支中将原有的四层卷积神经网络改成了八层卷积神经网络，同时将第三层与第八层卷积神经网络结合在一起，进行了特征融合，充分利用了图片的特征信息，提高了分割精度。
步骤3：采用步骤1中搭建的硬件平台实时采集手表图像，使用训练好的神经网络模型进行时针、分针、秒针、12点位和6点位的分割提取指针区域提取结果如图6所示。a，b，c，d，e，f分别为分割结果图，分割出来的时针，分针，秒针,12点位和6点位图。
步骤4：对步骤3中采集到的图像采用刻度质心拟合表盘内圆的方式来确定表盘中心。
首先，对表盘进行边缘检测，得到各连通域，通过计算连通域质心与12点位与6点位连线中点的距离，筛选出刻度质心，用刻度质心拟合表盘内圆，确定表盘中心。
步骤5：对步骤3中提取的指针区域使用ransac最小二乘距离进行中心线的检测
在分割出来的指针区域上进行中心线的提取。本发明采用ransac最小二乘距离法来检测指针中心线。ransac最小二乘距离法检测过程如下：
假定直线方程为
Figure GDA0003494555630000051
平方损失函数为点到直线的距离之和的平方
Figure GDA0003494555630000052
(1)反复选择指针区域中的一组随机点去拟合直线，使得损失函数Q最小的直线方程为中心线。
(2)用直线模型去测试其它点，如果某个点也在直线上，认为它也是局内点
(3)再用所有假设的局内点去拟合直线，得到新的直线方程
(4)最后，通过估计局内点和模型的错误率来评估直线
上述过程重复执行，直到找到最好的中心线
拟合出的中心线如图8所示
步骤6：对步骤3中提取到的指针区域和12点位，6点位进行质心的提取
提取出来的区域为灰度图，已二值化，白色区域为提取区域。计算各分割区域的零阶和一阶矩：
零阶矩：
Figure GDA0003494555630000053
v(i,j)只有0或1两个取值，当前点为黑色时取0，为白色时取1
一阶矩：
Figure GDA0003494555630000061
Figure GDA0003494555630000062
各区域质心为：
Figure GDA0003494555630000063
步骤7：根据指针质心，定位指针方向，计算指针中心线相对于表盘中心与 12点位质心的连线的旋转角
Figure GDA0003494555630000064
指针的方向由指针的质心相对圆心的位置来确定。
该旋转角指的是从向量p1(由表盘圆心指向指针质心的向量)开始，逆时针旋转到向量p2(表盘圆心指向12点位中心的向量)时，所转过的角度，范围是0～360度
首先求出两向量的夹角θ
Figure GDA0003494555630000065
根据两向量的叉乘，判断两向量的位置关系
若p1×p2>0，则p1在p2的顺时针方向，旋转角即为夹角θ
若p1×p2<0，则p1在p2的逆时针方向，旋转角即为360-θ
若p1×p2＝0，则p1与p2共线，同向时旋转角为0度，反向时旋转角为180度，
步骤8：将旋转角换算成手表读数，进行误差校正
已知旋转角
Figure GDA0003494555630000066
可求得对应的时间
Figure GDA0003494555630000067
Figure GDA0003494555630000068
Figure GDA0003494555630000069
h，m，s分别为时针，分针，秒针的读数，
Figure GDA00034945556300000610
分别为时针，分针，秒针相对于基准线的旋转角
误差校正
Figure GDA0003494555630000071
Figure GDA0003494555630000072
hr，mr为指针超过上一刻度的角度数
机械表盘中，分针每秒走的度数为时针每秒走的度数的12倍。时针走6度时，分针走了72度，分针走6度时，秒针走了360度
误差校正原则设定如下：
当hr>＝24时，分针的角度应该在288度与360度之间，如果此时测得的分针角度在0度与120度之间，则时针读数加1
当hr<＝6时，分针的角度应该在0度与72度之间，如果此时测得的分针角度在270度与360度之间，则时针读数减1
当mr>＝5时，秒针的角度应该在300度与360度之间，如果此时测得的秒针角度在0度与60度之间，则分针读数加1
当mr＜＝1时，秒针的角度应该在0度与60度之间，如果此时测得的秒针角度在300度与360度之间，则分针读数减1
步骤9：将手表读数存入数据库
每个手表需要经过16天的走时测试，根据自动读数与标准时间的差值，可以计算以下各指标，满足各指标要求的即为精密手表。
Figure GDA0003494555630000073
Figure GDA0003494555630000081
其中，平均日差为前10天所测日差的算术平均值，日差为当天测试值与前 24h的测试值之差；平均日变差为前10天在5个测试位置得到的5个日变差绝对值的平均值，日变差为两个连续的日差之间的差值；最大日变差为前10天在 5个测试位置得到的5个日变差的最大绝对值；平立位差为手表放置在水平位置和垂直位置时的日差之差；温度系数是38℃的日差与8摄氏度的日差之差除以温度的差值；复原差为测试最后1天的日差与测试最初2天日差平均值的差值。

Claims (2)

1.一种基于视觉的仪表指针读数自动识别方法，其特征在于，包括以下步骤：
步骤1：搭建硬件平台用于图像采集，在固定的光源条件下，使用相机进行拍照，采集手表图像；
步骤2：对步骤1中采集到的图像进行标记，送进神经网络中进行训练，不断调参直至得到最优的网络模型；
步骤3：实时采集手表图像，使用训练好的神经网络模型进行时针、分针、秒针和12点位，6点位的分割提取；
步骤4：对步骤3中采集到的图像进行边缘检测并确定各连通域的质心，根据各区域质心到12点位与6点位连线中点的距离关系，筛选出刻度质心，拟合表盘内圆，确定表盘中心；
步骤5：对步骤3中提取的指针区域进行中心线的检测；
步骤6：对步骤3中提取到的指针区域和12点位，6点位进行质心的提取
步骤7：根据指针质心，定位指针方向，计算指针中心线相对于表盘中心与12点位质心的连线的旋转角；
步骤8：将旋转角换算成手表读数，进行误差校正；
步骤9：将手表读数存入数据库。
2.一种基于视觉的仪表指针读数自动识别系统，其特征在于，该系统用于实施权利要求1所述的基于视觉的仪表指针读数自动识别方法。
CN201911042962.2A 2019-10-29 2019-10-29 一种基于视觉的仪表指针读数自动识别方法与系统 Active CN110929710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911042962.2A CN110929710B (zh) 2019-10-29 2019-10-29 一种基于视觉的仪表指针读数自动识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911042962.2A CN110929710B (zh) 2019-10-29 2019-10-29 一种基于视觉的仪表指针读数自动识别方法与系统

Publications (2)

Publication Number Publication Date
CN110929710A CN110929710A (zh) 2020-03-27
CN110929710B true CN110929710B (zh) 2022-04-01

Family

ID=69849861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911042962.2A Active CN110929710B (zh) 2019-10-29 2019-10-29 一种基于视觉的仪表指针读数自动识别方法与系统

Country Status (1)

Country Link
CN (1) CN110929710B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563931A (zh) * 2020-05-13 2020-08-21 飞亚达精密科技股份有限公司 计算时间的方法及装置
CN112052745B (zh) * 2020-08-13 2021-11-26 飞亚达精密科技股份有限公司 一种判断手表走时精度是否合格的视觉测试方法及系统
CN112130443B (zh) * 2020-09-29 2022-02-08 徐州市质量技术监督综合检验检测中心(徐州市标准化研究中心) 一种可适用于校准石英电子秒表日差的装置和实验方法
CN112464986B (zh) * 2020-10-30 2023-01-24 山东浪潮科学研究院有限公司 一种指针型圆盘仪表的读数方法及设备
CN113029220A (zh) * 2021-01-28 2021-06-25 开放智能机器（上海）有限公司 一种工业仪表盘的状态识别系统及方法
CN113776408B (zh) * 2021-09-13 2022-09-13 北京邮电大学 一种闸门开度尺读数方法
CN115995080B (zh) * 2023-03-22 2023-06-02 曲阜市检验检测中心 基于ocr识别的档案智能管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006011141A2 (en) * 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
CN105091922A (zh) * 2014-05-04 2015-11-25 广东工业大学 一种基于虚拟表盘的指针表读数识别方法
CN105809179A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种指针式仪表的读数识别方法及装置
CN106599897A (zh) * 2016-12-09 2017-04-26 广州供电局有限公司 基于机器视觉的指针式仪表读数识别方法及装置
CN107038447A (zh) * 2017-04-26 2017-08-11 大连理工大学 一种基于机器视觉的指针式仪表识别方法
CN109543682A (zh) * 2018-11-23 2019-03-29 电子科技大学 一种基于深度学习的指针式仪表读数方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006011141A2 (en) * 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
CN105091922A (zh) * 2014-05-04 2015-11-25 广东工业大学 一种基于虚拟表盘的指针表读数识别方法
CN105809179A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种指针式仪表的读数识别方法及装置
CN106599897A (zh) * 2016-12-09 2017-04-26 广州供电局有限公司 基于机器视觉的指针式仪表读数识别方法及装置
CN107038447A (zh) * 2017-04-26 2017-08-11 大连理工大学 一种基于机器视觉的指针式仪表识别方法
CN109543682A (zh) * 2018-11-23 2019-03-29 电子科技大学 一种基于深度学习的指针式仪表读数方法

Also Published As

Publication number Publication date
CN110929710A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110929710B (zh) 一种基于视觉的仪表指针读数自动识别方法与系统
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN109658398B (zh) 一种基于三维测量点云的零件表面缺陷识别与评估方法
CN111950330A (zh) 一种基于目标检测的指针式仪表示数检测方法
CN104236498B (zh) 一种道岔钢轨件端面尺寸的测量方法
CN103759758A (zh) 一种基于机械角度和刻度识别的汽车仪表指针的位置检测方法
CN109409290B (zh) 一种温度表检定读数自动识别系统及方法
CN108918526A (zh) 一种柔性ic封装基板线路的缺口缺陷检测方法
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN106228161A (zh) 一种指针式表盘自动读数方法
CN110189314A (zh) 基于机器视觉的汽车仪表盘图像定位方法
CN103295239A (zh) 一种基于平面基准影像的激光点云数据的自动配准方法
CN109523585A (zh) 一种基于方向相位一致性的多源遥感影像特征匹配方法
CN104657711A (zh) 一种鲁棒的指针式仪表读数自动识别方法
CN111738229B (zh) 一种指针表盘刻度的自动读取方法
CN111288890A (zh) 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法
CN115063579B (zh) 基于二维图像和三维点云投影的列车定位销松动检测方法
CN111415376A (zh) 汽车玻璃亚像素轮廓提取方法及汽车玻璃检测方法
CN112801094A (zh) 一种指针式仪表图像倾斜校正方法
CN110309828B (zh) 一种倾斜车牌矫正方法
CN116844147A (zh) 一种基于深度学习的指针式仪表识别和异常警报方法
CN114399677A (zh) 一种基于文本区域读取的指针仪表识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant