CN106845514B - 一种基于深度学习的指针式表盘的读数判断方法和装置 - Google Patents

一种基于深度学习的指针式表盘的读数判断方法和装置 Download PDF

Info

Publication number
CN106845514B
CN106845514B CN201611106580.8A CN201611106580A CN106845514B CN 106845514 B CN106845514 B CN 106845514B CN 201611106580 A CN201611106580 A CN 201611106580A CN 106845514 B CN106845514 B CN 106845514B
Authority
CN
China
Prior art keywords
dial
image
client
neural network
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611106580.8A
Other languages
English (en)
Other versions
CN106845514A (zh
Inventor
谢柯
徐泽明
苏波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Augmented Reality Technology Co ltd
Original Assignee
Shenzhen Augmented Reality Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Augmented Reality Technology Co ltd filed Critical Shenzhen Augmented Reality Technology Co ltd
Priority to CN201611106580.8A priority Critical patent/CN106845514B/zh
Publication of CN106845514A publication Critical patent/CN106845514A/zh
Application granted granted Critical
Publication of CN106845514B publication Critical patent/CN106845514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Abstract

本发明公开一种基于深度学习的指针式表盘的读数判断方法和装置，通过对卷积神经网络的训练并结合不同表盘的先验知识所得到表盘模型，同时辅以AR技术，使工人能够准确的判断表盘读数及安全范围，取得了通用性强、能够真实反映用户体验且更加高效的有益效果。

Description

一种基于深度学习的指针式表盘的读数判断方法和装置
技术领域
本发明涉及增强现实技术领域，具体涉及一种基于深度学习的指针式表盘的读数判断方法和装置。
背景技术
通常仪表可分为数字式仪表和非数字式仪表两大类，其中数字式仪表显示的测量值为数字，因此具有读数简单、直观、准确的特点；非数字式仪表的外观、读数方式多种多样，常见的非数字式仪表多为指针式仪表，例如家用水表、汽车的速度指示表、指针式欧姆表等，指针式仪表中包含至少一个指针和与该指针对应的刻度盘，通过人为判断指针与该指针对应的刻度盘的交点，结合交点处刻度盘上的标识来进行读数。
为了解决对指针式仪表进行读数时不直观、操作复杂的缺陷，现有技术提出了一种基于数字图像的指针式仪表自动读数方法，其基本实现原理为：通过摄像头等图像获取设备获取指针式仪表的数字图像，并将获取到的数字图像与预定的图像匹配模板进行比较，若比较结果一致，通过进一步分析表针和刻度盘的位置来确定指针式仪表的读数，若比较结果不一致，则无法进行读数。因此要求摄像头获取图像时的角度与获取预定图像匹配模板时相同，以使指针式仪表表盘在获取到的图像中的位置应与指针式仪表表盘在预定的图像匹配模板中的位置相同，否则就无法进行读数。
由于不同指针式仪表的外观、结构均存在差异，根据上述现有技术的实现原理，现有技术只能解决预定图像匹配模板对应类型的指针式仪表的读数问题，通用性较差，而且使用不灵活。
发明内容
本发明为了克服现有技术的不足，提出一种基于深度学习的指针式表盘的读数判断方法和装置，用以解决现有指针式仪表的自动读数技术通用性较差，使用不灵活的问题。
为了解决上述的技术问题，本发明提出的基本技术方案为：
一种基于深度学习的指针式表盘的读数判断方法，包括以下步骤：
提供一云服务端及一客户端；
采集不同拍摄条件下的样本表盘图像，根据预设的图像分割方法分割所述样本表盘图像，在云服务端创造训练集；
根据所述训练集在云服务端构建卷积神经网络并进行深度训练，得到训练好的卷积神经网络；
获取各类表盘的正圆图像，对所述正圆图像在客户端根据安全示数范围和危险示数范围进行区域划分并分别叠加不同的颜色，以生成表盘模型图像集；
基于所述训练好的卷积神经网络，在云服务端对实际的表盘图像进行识别，得到表盘轮廓并返回至客户端；
根据所述表盘轮廓，从所述表盘模型图像集中获取与之相匹配的表盘模型并将所述表盘模型与实际的表盘图像进行AR叠加。
本发明实施例还提供一种指针式仪表的读数判断装置，其包括一个云服务端和一个客户端，其中
其中，所述云服务端包括：
采集模块，用于采集不同拍摄条件下的样本表盘图像，根据预设的图像分割方法分割所述样本表盘图像，在云服务端创造训练集；
深度训练模块，用于根据所述训练集在云服务端构建卷积神经网络并进行深度训练，得到训练好的卷积神经网络；
表盘图像识别模块，基于所述训练好的卷积神经网络，在云服务端对实际的表盘图像进行识别，得到表盘轮廓并返回至客户端；
所述客户端包括：
建模模块，用于获取各类表盘的正圆图像，对所述正圆图像在客户端根据安全示数范围和危险示数范围进行区域划分并分别叠加不同的颜色，以生成表盘模型图像集；
AR叠加模块，用于根据所述表盘轮廓从所述表盘模型图像集中获取与之相匹配的表盘模型并将所述表盘模型与实际的表盘图像进行AR叠加。
本发明的有益效果是：本发明实施例提供的基于深度学习的指针式表盘的读数判断方法和装置，其基于深度学习和卷积神经网络的训练并结合不同表盘的先验知识所得到表盘模型，同时辅以AR技术，使工人能够准确的判断表盘读数及安全范围，取得了通用性强、能够真实反映用户体验且更加高效的有益效果。
附图说明
图1为本发明实施例提供的基于深度学习的指针式表盘的读数判断方法流程图。
图2a为本发明实施例所采集的样本表盘图像示例图。
图2b为本发明实施例所提供的训练数据示意图。
图3为本发明施例提供的基于深度学习的指针式表盘的读数判断装置结构示意图。
具体实施方式
以下将结合附图和实施例对本发明做进一步的说明，但不应以此来限制本发明的保护范围。
如图1所示，本发明实施例公开一种基于深度学习的指针式表盘的读数判断方法，包括以下步骤：
步骤S101：提供一个云服务端和一个客户端。
步骤S102：采集不同拍摄条件下的样本表盘图像，根据预设的图像分割方法分割所述样本表盘图像，在云服务端创造训练集。
在训练集的创建中，具体来说，收集各种不同客观条件下的指针式仪表的表盘图片，所述不同客观条件，包括视角、几何形变、光照、遮挡、场景等不同条件及上述条件的组合变化，且所采集到的表盘图片应与待判断读数的表盘形状一致，如，同为圆形或同为正方形。
图2a、2b为本本发明实施例提供的样本表盘图像分割示例图，从图中可以看出，圆形表盘经分割后得到仅包含有表盘轮廓的图像。
需要说明的是，在本发明的实施例中对样本表盘图像进行分割可采用现有技术中的一些分割方法，再次不在赘述。
步骤S103：根据所述训练集在云服务端构建卷积神经网络并进行深度训练，得到训练好的卷积神经网络。
在步骤S103中，将所述训练集中的样本表盘图像依次输入所构建好的卷积神经网络，所述卷积神经网络进行大量的学习和训练，得到训练好的卷积神经网络，该神经网络模型包含有大量神经网络权值参数数据。
步骤S104：获取各类表盘的正圆图像，对所述正圆图像在客户端根据安全示数范围和危险示数范围进行区域划分并分别叠加不同的颜色，以生成表盘模型图像集。
在步骤S104中，针对每一类表盘，获取一张正圆的模板图，并指出表盘圆心的像素点和半径长。根据每一类表盘的安全读数范围，在客户端确定表盘指针的起始位置和终止位置，该起始位置和终止位置所形成的扇形区域即为表盘的安全范围，除安全范围以外的表盘区域即为读数的危险范围。确定好安全示数范围和危险示数范围之后，可以在安全示数范围的区域和危险示数范围的区域叠加不同的颜色，以提醒工人判断读数是否正常。
具体的，在本实施例中，可以在安全范围的表盘指针区域上叠加一层绿色，在危险范围的区域叠加一层红色。
值得说明的是，本实施例中的颜色叠加，可采用现有技术中UI界面设计的常用操作，在这里不再赘述。
步骤S105：基于所述训练好的卷积神经网络，在云服务端对实际的表盘图像进行识别，得到表盘轮廓并返回至客户端。
客户传输含有圆形表盘的图片到云服务器，云服务器会根据训练好的神经网络对图片进行像素级别的判定，确定图片中哪些像素集合构成了表盘，将该表盘的轮廓像素点集合发送回客户端，作下一步处理。
步骤S106：根据所述表盘轮廓，从所述表盘模型图像集中获取与之相匹配的表盘模型并将所述表盘模型与实际的表盘图像进行AR叠加。
通过AR叠加之后，工人就能一目了解的知道指针的读数是否正常。在本实施例中，当观察到的指针处于绿色区域时，为安全读数，当观察到的指针处于红色区域时，为危险读数，这样，就不用去记忆各种表盘的安全范围，且其正确率高，不会因为工人记错读数而导致出现安全隐患。
在本发明的某些实施例中，所述判断方法还包括如下步骤：
获取所述训练集在客户端构建卷积神经网络并进行深度训练，得到训练好的卷积神经网络；
基于所述训练好的卷积神经网络，在客户端对实际的表盘图像进行识别，得到表盘轮廓。
这样，在客户端就可以直接进行识别而不需要经过云服务端，以满足部分用户想要保护工业机密的需求。
在本发明的某些实施例中，所述判断方法还包括下述步骤：
当得到的表盘轮廓为非圆形时，将非圆形的表盘轮廓与所述正圆图像通过SURF算法进行特征提取并匹配求出单应矩阵，利用该单应矩阵将非圆形的表盘轮廓矫正为圆形。
由于用户在观察表盘时不是正对着表盘，因而得到的表盘轮廓并不是圆形，可以证明也不一定是椭圆形，因此需要把非正圆的轮廓图像矫正为正圆轮廓以便准确的查找与之相匹配的轮廓图像。
如图3所示，本发明实施例还公开一种基于深度学习的指针式表盘的读数判断装置，其包括一个云服务端200和一个客户端300，
其中，所述云服务端包括：
采集模块201，用于采集不同拍摄条件下的样本表盘图像，根据预设的图像分割方法分割所述样本表盘图像，在云服务端创造训练集；
深度训练模块202，用于根据所述训练集在云服务端构建卷积神经网络并进行深度训练，得到训练好的卷积神经网络；
表盘图像识别模块203，基于所述训练好的卷积神经网络，在云服务端对实际的表盘图像进行识别，得到表盘轮廓并返回至客户端；
所述客户端300包括：
建模模块301，用于获取各类表盘的正圆图像，对所述正圆图像在客户端根据安全示数范围和危险示数范围进行区域划分并分别叠加不同的颜色，以生成表盘模型图像集；
AR叠加模块302，用于根据所述表盘轮廓从所述表盘模型图像集中获取与之相匹配的表盘模型并将所述表盘模型与实际的表盘图像进行AR叠加。
在本发明的某些实施例中，所述客户端还包括深度训练模块和表盘图像识别模块，其中
所述深度训练模块用于根据所述训练集在客户端构建卷积神经网络并进行深度训练，得到训练好的卷积神经网络；
所述表盘图像识别模块基于所述训练好的卷积神经网络在客户端对实际的表盘图像进行识别，得到圆形表盘轮廓。
在本发明的某些实施例中，所述客户端还包括一个矫正模块，用于将非圆形的表盘轮廓与所述正圆图像通过SURF算法进行特征提取并匹配求出单应矩阵，利用该单应矩阵将非圆形的表盘轮廓矫正为圆形。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (6)

1.一种基于深度学习的指针式表盘的读数判断方法，其特征在于，包括以下步骤：
提供一云服务端及一客户端；
采集不同拍摄条件下的样本表盘图像，根据预设的图像分割方法分割所述样本表盘图像，在云服务端创造训练集；
根据所述训练集在云服务端构建卷积神经网络并进行深度训练，得到训练好的卷积神经网络；
获取各类表盘的正圆图像，根据所述各类表盘的每一类表盘的安全示数范围，在客户端确定表盘指针的起始位置和终止位置，将所述表盘指针的起始位置和终止位置形成的扇形区域确定为安全示数范围的区域，将除安全示数范围的区域以外的表盘区域确定为危险示数范围的区域，在安全示数范围的区域和危险示数范围的区域叠加不同的颜色，其中，所述安全示数范围的区域和所述危险示数范围的区域固定不变，以生成表盘模型图像集；
基于所述训练好的卷积神经网络，在云服务端对实际的表盘图像进行识别，得到表盘轮廓并返回至客户端；
根据所述表盘轮廓，从所述表盘模型图像集中获取与之相匹配的表盘模型并将所述表盘模型与实际的表盘图像进行AR叠加。
2.如权利要求1所述的基于深度学习的指针式表盘的读数判断方法，其特征在于，所述方法还包括：
获取所述训练集在客户端构建卷积神经网络并进行深度训练，得到训练好的卷积神经网络；
基于所述训练好的卷积神经网络，在客户端对实际的表盘图像进行识别，得到表盘轮廓。
3.如权利要求1或2所述的基于深度学习的指针式表盘的读数判断方法，其特征在于，根据所述表盘轮廓，从所述表盘模型图像集中获取与之相匹配的表盘模型并将所述表盘模型与实际的表盘图像进行AR叠加之前还包括：当得到的表盘轮廓为非圆形时，将非圆形的表盘轮廓与所述正圆图像通过SURF算法进行特征提取并匹配求出单应矩阵，利用该单应矩阵将非圆形的表盘轮廓矫正为圆形。
4.一种基于深度学习的指针式表盘的读数判断装置，其特征在于，包括一个云服务端和一个客户端，
其中，所述云服务端包括：
采集模块，用于采集不同拍摄条件下的样本表盘图像，根据预设的图像分割方法分割所述样本表盘图像，在云服务端创造训练集；
深度训练模块，用于根据所述训练集在云服务端构建卷积神经网络并进行深度训练，得到训练好的卷积神经网络；
表盘图像识别模块，基于所述训练好的卷积神经网络，在云服务端对实际的表盘图像进行识别，得到表盘轮廓并返回至客户端；
所述客户端包括：
建模模块，用于获取各类表盘的正圆图像，根据所述各类表盘的每一类表盘的安全示数范围，在客户端确定表盘指针的起始位置和终止位置，将所述表盘指针的起始位置和终止位置形成的扇形区域确定为安全示数范围的区域，将除安全示数范围的区域以外的表盘区域确定为危险示数范围的区域，在安全示数范围的区域和危险示数范围的区域叠加不同的颜色，其中，所述安全示数范围的区域和所述危险示数范围的区域固定不变，以生成表盘模型图像集；
AR叠加模块，用于根据所述表盘轮廓从所述表盘模型图像集中获取与之相匹配的表盘模型并将所述表盘模型与实际的表盘图像进行AR叠加。
5.如权利要求4所述的基于深度学习的指针式表盘的读数判断装置，其特征在于，所述客户端还包括：
深度训练模块，用于根据所述训练集在客户端构建卷积神经网络并进行深度训练，得到训练好的卷积神经网络；
表盘图像识别模块，基于所述训练好的卷积神经网络，在客户端对实际的表盘图像进行识别，得到圆形表盘轮廓。
6.如权利要求4所述的基于深度学习的指针式表盘的读数判断装置，其特征在于，所述客户端还包括矫正模块，用于将非圆形的表盘轮廓与所述正圆图像通过SURF算法进行特征提取并匹配求出单应矩阵，利用该单应矩阵将非圆形的表盘轮廓矫正为圆形。
CN201611106580.8A 2016-12-06 2016-12-06 一种基于深度学习的指针式表盘的读数判断方法和装置 Active CN106845514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611106580.8A CN106845514B (zh) 2016-12-06 2016-12-06 一种基于深度学习的指针式表盘的读数判断方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611106580.8A CN106845514B (zh) 2016-12-06 2016-12-06 一种基于深度学习的指针式表盘的读数判断方法和装置

Publications (2)

Publication Number Publication Date
CN106845514A CN106845514A (zh) 2017-06-13
CN106845514B true CN106845514B (zh) 2020-06-16

Family

ID=59145562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611106580.8A Active CN106845514B (zh) 2016-12-06 2016-12-06 一种基于深度学习的指针式表盘的读数判断方法和装置

Country Status (1)

Country Link
CN (1) CN106845514B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967471A (zh) * 2017-09-20 2018-04-27 北京工业大学 一种基于机器视觉的表具自动识别方法
CN108229480A (zh) * 2017-12-25 2018-06-29 新智数字科技有限公司 一种数字表读数的识别方法、装置及设备
CN108388894A (zh) * 2017-12-26 2018-08-10 新智数字科技有限公司 一种数字表读数的识别方法、装置及设备
CN108345889B (zh) * 2018-02-27 2022-02-11 国网上海市电力公司 一种利用树莓派对通信机柜进行示数识别的应用方法
CN109492573A (zh) * 2018-11-05 2019-03-19 四川华雁信息产业股份有限公司 一种指针读取方法及装置
CN111368823B (zh) * 2018-12-26 2023-06-23 沈阳新松机器人自动化股份有限公司 一种指针式仪表读数识别方法及装置
CN110232376B (zh) * 2019-06-11 2021-04-20 重庆邮电大学 一种利用投影回归的齿轮式数字仪表识别方法
CN110543880A (zh) * 2019-08-21 2019-12-06 上海小猬科技有限公司 一种基于人工智能的多指针表盘自动读数系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2607579Y (zh) * 2003-02-25 2004-03-24 付电明 指示醒目的电车电表
US7529390B2 (en) * 2005-10-03 2009-05-05 Microsoft Corporation Automatically cropping an image
CN101498592B (zh) * 2009-02-26 2013-08-21 北京中星微电子有限公司 指针式仪表的读数方法及装置
CN102799861B (zh) * 2012-06-29 2015-07-01 上海大学 一种利用颜色快速识别仪表读数的方法
CN104298994B (zh) * 2014-02-28 2017-12-05 郑州金惠计算机系统工程有限公司 一种指针式仪表读数识别方法及装置
CN104008399B (zh) * 2014-06-12 2017-03-01 哈尔滨工业大学 一种仪表检测中基于支持向量机的仪表指针抖动的识别方法
CN104778851B (zh) * 2015-02-16 2017-05-03 北京交通大学 一种基于行驶轨迹的生态驾驶优化方法和系统
CN105893938A (zh) * 2016-03-28 2016-08-24 国网浙江省电力公司宁波供电公司 一种油温表的读数方法及系统

Also Published As

Publication number Publication date
CN106845514A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106845514B (zh) 一种基于深度学习的指针式表盘的读数判断方法和装置
CN102521560B (zh) 高鲁棒仪表指针图像识别方法
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN110246124B (zh) 基于深度学习的目标尺寸测量方法及系统
CN103994786B (zh) 圆弧标尺线指针式仪表刻度的图像检测方法
CN109900711A (zh) 基于机器视觉的工件缺陷检测方法
CN110123257A (zh) 一种视力检测方法、装置、视力检测仪及计算机存储介质
CN103604371A (zh) 移动终端及其物体测量方法
CN104298994B (zh) 一种指针式仪表读数识别方法及装置
US20150339819A1 (en) Method for processing local information
CN108510528B (zh) 一种可见光和红外图像配准融合的方法及装置
CN109745014B (zh) 温度测量方法及相关产品
CN110617772A (zh) 一种非接触式线径测量装置及方法
CN109034170A (zh) 一种开关柜检测装置的圆形指针式仪表读数方法
JP2022054521A (ja) 巡視点検作業評価システム、巡視点検作業評価装置、操作端末、位置検出端末、及び巡視点検作業評価方法
JP2011069797A (ja) 変位量測定装置及び変位量測定方法
CN205607423U (zh) 一种汽车仪表指针指示值的自动识别装置
KR100808536B1 (ko) 패턴 영상을 이용한 캘리브레이션 방법
CN109359637B (zh) 基于机器视觉的指针式仪表读值方法
CN110602299A (zh) 基于不同倾斜角度的外观缺陷检测方法
JP2017023474A (ja) 皮膚毛穴解析装置，皮膚毛穴解析方法および該装置に用いるプログラム
JP7116770B2 (ja) アナログメータの指針の指示値の読み取り方法およびアナログメータの指針の指示値の読み取りシステム
CN115900578A (zh) 一种基于压力容器设计的三维模型可视化系统
CN106123808B (zh) 一种用于汽车后视镜镜面角度偏转测量的方法
EP4054187A1 (en) Calibration method of a portable electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant