CN112818973B - 一种用于表计识别的定位及读数的复查方法 - Google Patents

一种用于表计识别的定位及读数的复查方法 Download PDF

Info

Publication number
CN112818973B
CN112818973B CN202110103550.6A CN202110103550A CN112818973B CN 112818973 B CN112818973 B CN 112818973B CN 202110103550 A CN202110103550 A CN 202110103550A CN 112818973 B CN112818973 B CN 112818973B
Authority
CN
China
Prior art keywords
meter
identified
rechecking
picture
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110103550.6A
Other languages
English (en)
Other versions
CN112818973A (zh
Inventor
武诗洋
林文益
李修亮
余宗杰
姚谦
兰骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Guozi Robot Technology Co Ltd
Original Assignee
Zhejiang Guozi Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Guozi Robot Technology Co Ltd filed Critical Zhejiang Guozi Robot Technology Co Ltd
Priority to CN202110103550.6A priority Critical patent/CN112818973B/zh
Publication of CN112818973A publication Critical patent/CN112818973A/zh
Application granted granted Critical
Publication of CN112818973B publication Critical patent/CN112818973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于表计识别的定位及读数的复查方法，解决了现有技术的不足，包括以下步骤：步骤1，系统创建表计识别模板，表计识别模板包括表头图像和表计数值信息，系统读取带有表头图像和表计数值信息的待识别图片，待识别图片通过表计识别模板进行匹配，对待识别图片的表头图像进行识别，完成表头定位；步骤2，对表头定位进行复查，通过冗余定位投票机制，调用若干种定位复查算法，验证表头图像识别是否正确；步骤3，对待识别图片的表计数值信息进行识别，读取表计数值读数；步骤4，对表计数值读数进行复查，通过置信度算法，判断表计数值信息识别是否出现错误。

Description

一种用于表计识别的定位及读数的复查方法
技术领域
本发明涉及图像识别技术领域，尤其是指一种用于表计识别的定位及读数的复查方法。
背景技术
随着智能巡检机器人在各工业领域的普及，定位并识别各种表计(含指针表，数字表油位表等)已是其重要功能之一。现有的程序算法无法从算法方面判断识别结果是否正确，针对表记的巡检结果都由人工逐张复查，以保证巡检结果一切正常。此过程耗费人工成本较大，成为无人化作业的主要障碍。
现有的产品，专利及厂商的着重点在于识别算法及识别率，即使在特殊的识别环境下(例如模糊，夜间，待测图片中没有应识别的表计等)，也将输出一个识别结果，然而算法的鲁棒性及容错度往往不能满足在各种各样的特殊环境下，输出相对可靠置信度得分。CN110097062A，CN106529537B等专利中所提到的数字表及指针表的识别算法中，并没有相关定位得分和定位置信度，在没有判断定位准确度的情况下进行识别读数，若定位偏移或错位，将导致读数的错误；同时识别读数的置信度没有明确的判断机制，读数结果只能依靠人工进行复查，相对成本较高且耗时。
发明内容
本发明的目的是克服现有技术中的缺点，提供一种用于表计识别的定位及读数的复查方法。
本发明的目的是通过下述技术方案予以实现：
一种用于表计识别的定位及读数的复查方法，包括以下步骤：
步骤1，系统创建表计识别模板，表计识别模板包括表头图像和表计数值信息，系统读取带有表头图像和表计数值信息的待识别图片，待识别图片通过表计识别模板进行匹配，对待识别图片的表头图像进行识别，完成表头定位；
步骤2，对表头定位进行复查，通过冗余定位投票机制，调用若干种定位复查算法，验证表头图像识别是否正确，若验证正确，则表头定位复查通过，则跳转至步骤3，若验证不正确，则返回表头定位复查标志位，提示相关工作人员进行人工验证；
步骤3，对待识别图片的表计数值信息进行识别，读取表计数值读数；
步骤4，对表计数值读数进行复查，通过置信度算法，判断表计数值信息识别是否出现错误，若出现错误，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若没有出现错误，则表计数值读数复查完成，判断表计识别正确。
对于在实际表计识别过程中，可能会出现定位和识别读数结果存在错误的情况，若未正确定位到表头或者拍偏导致表头不存在时，现有算法无法无法有效判别表头是否存在，算法会继续识别读数，导致表头定位出错情况下识别结果错误的情况。本方案中，引入冗余定位投票机制，调用多种定位算法，并计算他们的一致性，排除大部分定位和识别读数结果存在错误的情况。人工验证过程为现场查看、调试摄像头是否偏移或者失焦。对于表计数值读数进行复查的过程中，设置了不同的置信度算法，判断出模糊、有干扰或者读数错误可能性较高的识别结果，为人工复查提供较为可靠的重点复查对象及复查建议，从而可以有效的减少人工成本。
作为一种优选方案，所述的步骤1中，待识别图片的表头图像进行识别具体方法为通过基于梯度方向特征的模板匹配技术结合多尺度视角快速搜索技术对表头图像进行识别。
作为一种优选方案，所述的步骤2中，定位复查算法包括孪生追踪网络匹配算法和全图特征点定位配准算法。
作为一种优选方案，所述的步骤2中，验证表头图像识别是否正确具体包括以下子步骤：
子步骤1，通过孪生追踪网络匹配算法寻找相似度最高的目标，基于表计识别模板的表头图像，寻找并匹配待识别图片中与表计识别模板的表头图像相似度最高的目标，该目标即为孪生追踪网络匹配算法识别的表头图像，孪生追踪网络匹配算法识别的表头图像和表计识别模板的表头图像进行匹配程度打分，同时对孪生追踪网络匹配算法识别的表头图像和步骤1中进行识别后的表头图像之间进行重叠区域判别，若匹配打分高于设定的第一阈值，且重叠区域大于设定的第二阈值，则表头定位复查通过，跳转至步骤3，若匹配打分不高于设定的第一阈值或重叠区域不大于设定的第二阈值，则跳转至子步骤2；孪生追踪网络速度快，由于是一对一判别，误检率低，但是抗干扰能力较弱，在模糊及光照等因素影响下存在无法定位物体的情况，且没有尺度变化的检测能力，故适用于定位复查算法。
子步骤2，通过全图特征点定位配准算法对待识别图片与表计识别模板进行配准，对待识别图片进行特征点的提取，提取的特征点与表计识别模板进行配准，得出定位区域，定位区域即为全图特征点定位配准算法识别的表头图像，对定位区域、孪生追踪网络匹配算法识别的表头图像和步骤1中进行识别后的表头图像三者之间进行两两验证重叠区域，若所有的重叠区域大于等于设定的第三阈值，则表头定位复查通过，跳转至步骤3，若有重叠区域小于设定的第三阈值，则返回表头定位复查标志位，提示相关工作人员进行人工验证。全图特征点定位配准算法在特征点提取充分的情况下准确率较高，但是在特征点提取不足的情况下会失效，所以在复查算法中应用全图特征点定位配准算法，若配准失败，则证明该图模糊。
作为一种优选方案，所述的步骤3中，所述的表计数值为指针表计指示数值、液位类表计液位指示数值、数字表计指示数值或其他基于神经网络识别的表计数值。基于神经网络识别的表计数值还可以为压板，空开，刀闸，指示灯的数值，神经网络包括分类神经网络，孪生神经网络，目标识别网络等。
作为一种优选方案，所述的步骤3中，指针表计指示数值信息进行识别的具体方法具体包括以下子步骤：
子步骤a，针对表计识别模板区域，提取canny图像并提取线性边缘，得出指针边缘图像位置；提取线性边缘的方法包括霍夫直线检测、LSD直线检测或梯度角度特征的直线拟合算法等，基于对表计识别模板信息已建模给出的指针角度及指针中心线，根据对称性补线，并根据与中心线的角度关系过滤噪声线段，可以得到较为完整且噪声较少的指针边缘图像位置。
子步骤b，针对待识别图片的指针搜索区域，提取canny图像并提取线性边缘，并根据边缘线段与锚点之间的角度约束过滤噪声线段；
子步骤c，计算表计识别模板区域和待识别图片的指针搜索区域的梯度幅值及梯度方向角度，并根据指针边缘图像及自适应的梯度幅值阈值，筛选表计识别模板区域指针和待识别图片的指针搜索区域的特征点；
子步骤d，以锚点为中心，在待识别图片的指针搜索区域内旋转模板指针的特征点，并与相应的表计识别模板区域计算梯度角度相似度得分，即根据表计识别模板区域特征点的梯度角度和其对应的待识别图片的指针搜索区域像素点的角度相差的余弦值判断特征点的一致性与相似性；
子步骤e，最高得分的区域为待识别图片的指针区域，指针区域对应的数值即为指针表计指示数值。
作为一种优选方案，所述的步骤4具体为：设置区域边缘复杂度及指针长度两个权重参数，若区域边缘复杂度较高，则在相似度得分中降低待识别图片的指针边缘线的得分权重，若指针长度较短，则在相似度得分中降低待识别图片的指针边缘线的得分权重，在置信度算法完成后最高得分的区域仍与子步骤e中的最高得分的区域一致，则表计数值读数复查完成，判断表计识别正确；在置信度算法完成后最高得分的区域仍与子步骤e中的最高得分的区域不一致，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证。
作为一种优选方案，表计数值为液位类表计液位指示数值，则所述的步骤4具体为：
步骤4-1，对表计识别模板液位区域及待识别图片液面搜索区域提取边缘并保留直线线段边缘；
步骤4-2，根据水平液面应为水平的特性及拍摄角度之类的误差，添加边缘线段的角度约束，删除噪声线段；
步骤4-3，根据表计识别模板液位的线性边缘，在待识别图片液面搜索区域的线性边缘图上计算相似度得分图；
步骤4-4，根据得分及液面位置，取该定位区域与表计识别模板液面的线性边缘相似度为相关系数，与得分综合计算后得到复查置信度；若小于置信度阈值，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若大于等于置信度阈值，则判断表计识别正确。
对于液位类表计，在前面定位配准的过程中，需要通过平行四边形校正的算法校正表头，保证水平液面表头的水平特性。
作为一种优选方案，表计数值具体为数字表计指示数值，则所述的步骤4具体为：以优化置信度为目标，基于大数据进行网络模型置信度优化并进行测试，以网络输出得分作为置信度，分析并设置置信度阈值作为复查阈值，若置信度小于复查阈值，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若置信度大于复查阈值，则判断表计识别正确。
本发明的有益效果是：本发明引入冗余定位投票机制，调用多种定位算法，并计算他们的一致性，排除大部分定位和识别读数结果存在错误的情况。对于表计数值读数进行复查的过程中，设置了不同的置信度算法，判断出模糊、有干扰或者读数错误可能性较高的识别结果，为人工复查提供较为可靠的重点复查对象及复查建议，从而可以有效的减少人工成本。
附图说明
图1是本发明的一种流程图；
图2是本发明验证表头图像识别是否正确的流程图；
图3是本发明指针表计指示数值信息进行识别的流程图；
图4是本发明液位类表计数值读数进行复查的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步描述。
实施例：
一种用于表计识别的定位及读数的复查方法，如图1所示，包括以下步骤：
步骤1，系统创建表计识别模板，表计识别模板包括表头图像和表计数值信息，系统读取带有表头图像和表计数值信息的待识别图片，待识别图片通过表计识别模板进行匹配，对待识别图片的表头图像进行识别，完成表头定位；
步骤2，对表头定位进行复查，通过冗余定位投票机制，调用若干种定位复查算法，验证表头图像识别是否正确，若验证正确，则表头定位复查通过，则跳转至步骤3，若验证不正确，则返回表头定位复查标志位，提示相关工作人员进行人工验证；
步骤3，对待识别图片的表计数值信息进行识别，读取表计数值读数；
步骤4，对表计数值读数进行复查，通过置信度算法，判断表计数值信息识别是否出现错误，若出现错误，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若没有出现错误，则表计数值读数复查完成，判断表计识别正确。
对于在实际表计识别过程中，可能会出现定位和识别读数结果存在错误的情况，若未正确定位到表头或者拍偏导致表头不存在时，现有算法无法有效判别表头是否存在，算法会继续识别读数，导致表头定位出错情况下识别结果错误的情况。本方案中，引入冗余定位投票机制，调用多种定位算法，并计算他们的一致性，排除大部分定位和识别读数结果存在错误的情况。人工验证过程为现场查看、调试摄像头是否偏移或者失焦。对于表计数值读数进行复查的过程中，设置了不同的置信度算法，判断出模糊、有干扰或者读数错误可能性较高的识别结果，为人工复查提供较为可靠的重点复查对象及复查建议，从而可以有效的减少人工成本。
所述的步骤1中，待识别图片的表头图像进行识别具体方法为通过基于梯度方向特征的模板匹配技术结合多尺度视角快速搜索技术对表头图像进行识别。
所述的步骤2中，定位复查算法包括孪生追踪网络匹配算法和全图特征点定位配准算法。
如图2所示，所述的步骤2中，验证表头图像识别是否正确具体包括以下子步骤：
子步骤1，通过孪生追踪网络匹配算法寻找相似度最高的目标，基于表计识别模板的表头图像，寻找并匹配待识别图片中与表计识别模板的表头图像相似度最高的目标，该目标即为孪生追踪网络匹配算法识别的表头图像，孪生追踪网络匹配算法识别的表头图像和表计识别模板的表头图像进行匹配程度打分，同时对孪生追踪网络匹配算法识别的表头图像和步骤1中进行识别后的表头图像之间进行重叠区域判别，若匹配打分高于设定的第一阈值，且重叠区域大于设定的第二阈值，则表头定位复查通过，跳转至步骤3，若匹配打分不高于设定的第一阈值或重叠区域不大于设定的第二阈值，则跳转至子步骤2；孪生追踪网络速度快，由于是一对一判别，误检率低，但是抗干扰能力较弱，在模糊及光照等因素影响下存在无法定位物体的情况，且没有尺度变化的检测能力，故适用于定位复查算法。
子步骤2，通过全图特征点定位配准算法对待识别图片与表计识别模板进行配准，对待识别图片进行特征点的提取，提取的特征点与表计识别模板进行配准，得出定位区域，定位区域即为全图特征点定位配准算法识别的表头图像，对定位区域、孪生追踪网络匹配算法识别的表头图像和步骤1中进行识别后的表头图像三者之间进行两两验证重叠区域，若所有的重叠区域大于等于设定的第三阈值，则表头定位复查通过，跳转至步骤3，若有重叠区域小于设定的第三阈值，则返回表头定位复查标志位，提示相关工作人员进行人工验证。全图特征点定位配准算法在特征点提取充分的情况下准确率较高，但是在特征点提取不足的情况下会失效，所以在复查算法中应用全图特征点定位配准算法，若配准失败，则证明该图模糊。
所述的步骤3中，所述的表计数值为指针表计指示数值、液位类表计液位指示数值、数字表计指示数值或其他基于神经网络识别的表计数值。
如图3所示，所述的步骤3中，指针表计指示数值信息进行识别的具体方法具体包括以下子步骤：
子步骤a，针对表计识别模板区域，提取canny图像并提取线性边缘，得出指针边缘图像位置；提取线性边缘的方法包括霍夫直线检测、LSD直线检测或梯度角度特征的直线拟合算法等，基于对表计识别模板信息已建模给出的指针角度及指针中心线，根据对称性补线，并根据与中心线的角度关系过滤噪声线段，可以得到较为完整且噪声较少的指针边缘图像位置。
子步骤b，针对待识别图片的指针搜索区域，提取canny图像并提取线性边缘，并根据边缘线段与锚点之间的角度约束过滤噪声线段；
子步骤c，计算表计识别模板区域和待识别图片的指针搜索区域的梯度幅值及梯度方向角度，并根据指针边缘图像及自适应的梯度幅值阈值，筛选表计识别模板区域指针和待识别图片的指针搜索区域的特征点；
子步骤d，以锚点为中心，在待识别图片的指针搜索区域内旋转模板指针的特征点，并与相应的表计识别模板区域计算梯度角度相似度得分，即根据表计识别模板区域特征点的梯度角度和其对应的待识别图片的指针搜索区域像素点的角度相差的余弦值判断特征点的一致性与相似性；
子步骤e，最高得分的区域为待识别图片的指针区域，指针区域对应的数值即为指针表计指示数值。
所述的步骤4具体为：设置区域边缘复杂度及指针长度两个权重参数，若区域边缘复杂度较高，则在相似度得分中降低待识别图片的指针边缘线的得分权重，若指针长度较短，则在相似度得分中降低待识别图片的指针边缘线的得分权重，在置信度算法完成后最高得分的区域仍与子步骤e中的最高得分的区域一致，则表计数值读数复查完成，判断表计识别正确；在置信度算法完成后最高得分的区域仍与子步骤e中的最高得分的区域不一致，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证。
如图4所示，表计数值为液位类表计液位指示数值，则所述的步骤4具体为：
步骤4-1，对表计识别模板液位区域及待识别图片液面搜索区域提取边缘并保留直线线段边缘；
步骤4-2，根据水平液面应为水平的特性及拍摄角度之类的误差，添加边缘线段的角度约束，删除噪声线段；
步骤4-3，根据表计识别模板液位的线性边缘，在待识别图片液面搜索区域的线性边缘图上计算相似度得分图；
步骤4-4，根据得分及液面位置，取该定位区域与表计识别模板液面的线性边缘相似度为相关系数，与得分综合计算后得到复查置信度；若小于置信度阈值，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若大于等于置信度阈值，则判断表计识别正确。
对于液位类表计，在前面定位配准的过程中，需要通过平行四边形校正的算法校正表头，保证水平液面表头的水平特性。
表计数值具体为数字表计指示数值，则所述的步骤4具体为：以优化置信度为目标，基于大数据进行网络模型置信度优化并进行测试，以网络输出得分作为置信度，分析并设置置信度阈值作为复查阈值，若置信度小于复查阈值，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若置信度大于复查阈值，则判断表计识别正确。
本发明基于海量标注数据及进行测试，测试数据涵盖室内及室外的各种类型的表记，其中包含下雨，雾天等天气情况下的识别场景，以及白日与夜间等光照条件。测试结果如下表格所示，其中需要复查率为本发明所述的复查机制认为置信度较低的测试结果，推荐人工复查。假阳率则表示复查算法认为正确但实际错误的测试结果。液位表由于室外的各种条件影响，复查率较高，同时也证明了复查机制能较为有效的判断是否需要复查。测试结果显示，在复查机制的辅助下，表计识别巡检流程的人工成本降低，巡检效率提高。
指针表 油位表 数字表 状态识别式表计
预置位 359 315 181 160
测试图片数 17850 14895 7984 6411
需要复查率 4.21％ 12％ 4.53％ 5.05％
假阳率 0.25％ 0.97％ 0.14％ 0.09％
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (7)

1.一种用于表计识别的定位及读数的复查方法，其特征是，包括以下步骤：
步骤1，系统创建表计识别模板，表计识别模板包括表头图像和表计数值信息，系统读取带有表头图像和表计数值信息的待识别图片，待识别图片通过表计识别模板进行匹配，对待识别图片的表头图像进行识别，完成表头定位；
步骤2，对表头定位进行复查，通过冗余定位投票机制，调用若干种定位复查算法，验证表头图像识别是否正确，若验证正确，则表头定位复查通过，则跳转至步骤3，若验证不正确，则返回表头定位复查标志位，提示相关工作人员进行人工验证；
步骤3，对待识别图片的表计数值信息进行识别，读取表计数值读数；
步骤4，对表计数值读数进行复查，通过置信度算法，判断表计数值信息识别是否出现错误，若出现错误，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若没有出现错误，则表计数值读数复查完成，判断表计识别正确；
所述的步骤2中，定位复查算法包括孪生追踪网络匹配算法和全图特征点定位配准算法；
所述的步骤2中，验证表头图像识别是否正确具体包括以下子步骤：
子步骤1，通过孪生追踪网络匹配算法寻找相似度最高的目标，基于表计识别模板的表头图像，寻找并匹配待识别图片中与表计识别模板的表头图像相似度最高的目标，该目标即为孪生追踪网络匹配算法识别的表头图像，孪生追踪网络匹配算法识别的表头图像和表计识别模板的表头图像进行匹配程度打分，同时对孪生追踪网络匹配算法识别的表头图像和步骤1中进行识别后的表头图像之间进行重叠区域判别，若匹配打分高于设定的第一阈值，且重叠区域大于设定的第二阈值，则表头定位复查通过，跳转至步骤3，若匹配打分不高于设定的第一阈值或重叠区域不大于设定的第二阈值，则跳转至子步骤2；
子步骤2，通过全图特征点定位配准算法对待识别图片与表计识别模板进行配准，对待识别图片进行特征点的提取，提取的特征点与表计识别模板进行配准，得出定位区域，定位区域即为全图特征点定位配准算法识别的表头图像，对定位区域、孪生追踪网络匹配算法识别的表头图像和步骤1中进行识别后的表头图像三者之间进行两两验证重叠区域，若所有的重叠区域大于等于设定的第三阈值，则表头定位复查通过，跳转至步骤3，若有重叠区域小于设定的第三阈值，则返回表头定位复查标志位，提示相关工作人员进行人工验证。
2.根据权利要求1所述的一种用于表计识别的定位及读数的复查方法，其特征是，所述的步骤1中，待识别图片的表头图像进行识别具体方法为通过基于梯度方向特征的模板匹配技术结合多尺度视角快速搜索技术对表头图像进行识别。
3.根据权利要求1所述的一种用于表计识别的定位及读数的复查方法，其特征是，所述的步骤3中，所述的表计数值为指针表计指示数值、液位类表计液位指示数值、数字表计指示数值或其他基于神经网络识别的表计数值。
4.根据权利要求3所述的一种用于表计识别的定位及读数的复查方法，其特征是，所述的步骤3中，指针表计指示数值信息进行识别的具体方法具体包括以下子步骤：
子步骤a，针对表计识别模板区域，提取canny图像并提取线性边缘，得出指针边缘图像位置；
子步骤b，针对待识别图片的指针搜索区域，提取canny图像并提取线性边缘，并根据边缘线段与锚点之间的角度约束过滤噪声线段；
子步骤c，计算表计识别模板区域和待识别图片的指针搜索区域的梯度幅值及梯度方向角度，并根据指针边缘图像及自适应的梯度幅值阈值，筛选表计识别模板区域指针和待识别图片的指针搜索区域的特征点；
子步骤d，以锚点为中心，在待识别图片的指针搜索区域内旋转模板指针的特征点，并与相应的表计识别模板区域计算梯度角度相似度得分，即根据表计识别模板区域特征点的梯度角度和其对应的待识别图片的指针搜索区域像素点的角度相差的余弦值判断特征点的一致性与相似性；
子步骤e，最高得分的区域为待识别图片的指针区域，指针区域对应的数值即为指针表计指示数值。
5.根据权利要求4所述的一种用于表计识别的定位及读数的复查方法，其特征是，所述的步骤4具体为：设置区域边缘复杂度及指针长度两个权重参数，若区域边缘复杂度较高，则在相似度得分中降低待识别图片的指针边缘线的得分权重，若指针长度较短，则在相似度得分中降低待识别图片的指针边缘线的得分权重，在置信度算法完成后最高得分的区域仍与子步骤e中的最高得分的区域一致，则表计数值读数复查完成，判断表计识别正确；在置信度算法完成后最高得分的区域仍与子步骤e中的最高得分的区域不一致，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证。
6.根据权利要求3所述的一种用于表计识别的定位及读数的复查方法，其特征是，表计数值为液位类表计液位指示数值，则所述的步骤4具体为：
步骤4-1，对表计识别模板液位区域及待识别图片液面搜索区域提取边缘并保留直线线段边缘；
步骤4-2，添加边缘线段的角度约束，删除噪声线段；
步骤4-3，根据表计识别模板液位的线性边缘，在待识别图片液面搜索区域的线性边缘图上计算相似度得分图；
步骤4-4，根据得分及液面位置，取该定位区域与表计识别模板液面的线性边缘相似度为相关系数，与得分综合计算后得到复查置信度；若小于置信度阈值，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若大于等于置信度阈值，则判断表计识别正确。
7.根据权利要求3所述的一种用于表计识别的定位及读数的复查方法，其特征是，表计数值具体为数字表计指示数值，则所述的步骤4具体为：以优化置信度为目标，基于大数据进行网络模型置信度优化并进行测试，以网络输出得分作为置信度，分析并设置置信度阈值作为复查阈值，若置信度小于复查阈值，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若置信度大于复查阈值，则判断表计识别正确。
CN202110103550.6A 2021-01-26 2021-01-26 一种用于表计识别的定位及读数的复查方法 Active CN112818973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110103550.6A CN112818973B (zh) 2021-01-26 2021-01-26 一种用于表计识别的定位及读数的复查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110103550.6A CN112818973B (zh) 2021-01-26 2021-01-26 一种用于表计识别的定位及读数的复查方法

Publications (2)

Publication Number Publication Date
CN112818973A CN112818973A (zh) 2021-05-18
CN112818973B true CN112818973B (zh) 2022-09-09

Family

ID=75859378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110103550.6A Active CN112818973B (zh) 2021-01-26 2021-01-26 一种用于表计识别的定位及读数的复查方法

Country Status (1)

Country Link
CN (1) CN112818973B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017218428A1 (en) * 2016-06-17 2017-12-21 Water Pigeon Inc. Systems and methods for automated meter reading
CN106169080B (zh) * 2016-07-04 2019-04-19 重庆大学 一种基于图像的燃气指数自动识别方法
CN106529537B (zh) * 2016-11-22 2018-03-06 亿嘉和科技股份有限公司 一种数字仪表读数图像识别方法
CN109508709B (zh) * 2018-09-29 2021-09-21 中国南方电网有限责任公司超高压输电公司检修试验中心 一种基于机器视觉的单指针仪表读数方法
CN109409385B (zh) * 2018-10-16 2021-02-19 南京鑫和汇通电子科技有限公司 一种指针式仪表自动识别方法
CN111652244A (zh) * 2020-04-27 2020-09-11 合肥中科类脑智能技术有限公司 一种基于无监督特征提取和匹配的指针式表计识别方法
CN111738631B (zh) * 2020-08-25 2021-01-26 北京康斯特仪表科技股份有限公司 仪表管理系统、管理平台、工业仪表及方法

Also Published As

Publication number Publication date
CN112818973A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN108460327B (zh) 一种基于图像处理的指针式仪表读数自动识别方法
TWI796681B (zh) 基於深度學習的二維ｐｃｂ外觀缺陷實時自動檢測之方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
JP3799408B1 (ja) 画像処理装置および画像処理方法
CN111368906A (zh) 一种基于深度学习的指针式油位计读数识别方法
CN111476785B (zh) 基于位置记录的夜间红外反光水尺检测方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN114994060B (zh) 一种机器视觉下的磁环外观缺陷智能检测系统及方法
JPH0765152A (ja) 監視装置および監視方法
CN114841920A (zh) 基于图像处理的火焰识别方法、装置及电子设备
CN115019294A (zh) 一种指针式仪表读数识别方法及系统
CN112818973B (zh) 一种用于表计识别的定位及读数的复查方法
CN112036391A (zh) 一种基于页岩气田生产站场的电子巡检方法及系统
CN116128853A (zh) 一种产线装配检测方法、系统、计算机及可读存储介质
CN116310285B (zh) 一种基于深度学习的指针式仪表自动读数方法及系统
CN112766253A (zh) 一种基于图像的复杂环境下全自动仪表分析的智能系统
CN110689028A (zh) 现场图测评方法、现场勘查记录测评方法及其装置
CN115631169A (zh) 产品检测方法、装置、电子设备及存储介质
CN111460198A (zh) 一种图片时间戳的审核方法及装置
CN112329770B (zh) 一种仪表刻度识别方法及装置
CN113537197B (zh) 基于机器视觉的表计自动建模方法
CN112163546A (zh) 基于视觉识别系统的水表数值判定方法及装置
TWI811096B (zh) 多表頭自動辨識系統與多表頭自動辨識方法
CN114429550B (zh) 一种基于计算机视觉的风电机舱圆表油位监测方法
CN117974619B (zh) 基于cctv技术的管道非开挖修复过程中缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant