CN107590498B - 一种基于字符分割级联二分类器的自适应汽车仪表检测方法 - Google Patents

一种基于字符分割级联二分类器的自适应汽车仪表检测方法 Download PDF

Info

Publication number
CN107590498B
CN107590498B CN201710891277.1A CN201710891277A CN107590498B CN 107590498 B CN107590498 B CN 107590498B CN 201710891277 A CN201710891277 A CN 201710891277A CN 107590498 B CN107590498 B CN 107590498B
Authority
CN
China
Prior art keywords
pointer
character
image
instrument
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710891277.1A
Other languages
English (en)
Other versions
CN107590498A (zh
Inventor
高会军
伊明
于金泳
郭丰钰
王大钊
刘金泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201710891277.1A priority Critical patent/CN107590498B/zh
Publication of CN107590498A publication Critical patent/CN107590498A/zh
Priority to US16/144,845 priority patent/US10922572B2/en
Application granted granted Critical
Publication of CN107590498B publication Critical patent/CN107590498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G01D18/002—Automatic recalibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60—Structural details of dashboards or instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于字符分割级联二分类器的自适应汽车仪表检测方法，涉及汽车仪表指针视觉检测技术领域。本发明是为了解决现有的仪表检测系统在汽车仪表检测领域存在的问题。本发明对原始图像进行阈值分割，形态学及连通域分析处理；采用基于轮廓分析的方法精提取指针，建立指针信息列表；构建由HOG/SVM二分类器、字符滤波器和CNN数字分类器级联组成的字符分割级联二分类器；采用级联二分类器识别仪表数字字符区域；以数字字符区域中心为基础进行局部分析提取刻度点，确定刻度点对应的角度位置；建立仪表指针角度与响应值之间的牛顿插值线性描述关系，确定指针对应的响应值，进而判断仪表是否合格。本发明适用于汽车仪表指针视觉检测领域。

Description

一种基于字符分割级联二分类器的自适应汽车仪表检测方法
技术领域
本发明属于汽车仪表指针视觉检测技术领域。
背景技术
汽车仪表作为汽车和驾驶员的人机交互界面，是汽车的重要组成部分。汽车仪表对信号的响应精度会直接影响驾驶过程中的安全性以及舒适性。机械式指针仪表上对指针的检测是仪表检测中最为重要的检测项之一，仪表指针对速度指令信号的响应精度直接决定了生产的仪表质量好坏，因此，对指针响应的精确测量要求检测算法具有很高的精度。此外，汽车仪表生产厂商会生产不同种类批次的仪表，所以希望检测算法具有良好的通用性和适应性。
对于汽车仪表指针检测而言，汽车仪表视觉检测系统的工作流程为：
汽车仪表检测系统通过工控机向汽车仪表发送CAN信号，仪表指针收到信号后对信号进行响应，完成偏转后工业相机对表盘进行图像采集和处理，得到当前仪表实际偏转读数，和给定信号进行对比，计算实际读数和给定信号的误差，判断仪表对信号的响应是否满足精度要求。
汽车仪表视觉检测系统在检测阶段的基本步骤为图像采集，指针提取，刻度点定位，指针读数的计算等。其中，指针提取旨在通过拟合指针位置获得指针角度，传统的指针提取方法主要采用霍夫直线拟合来提取指针位置直线，例如，文献《AutomaticCalibration of Analog and Digital Measuring Instruments Using ComputerVision》(《利用计算机视觉的模拟和数字测量仪表自动校正方法》)利用帧差法，通过对图像阈值分割以及采用细化算法，采用Hough变换检测指针的位置；文献《Computer Visionapplied to the automatic calibration of measuring instruments》(《计算机视觉在测量仪表自动校正中的应用》)首先计算图像的梯度，对图像进行二值化后进而采用Hough直线拟合的方式检测指针直线；文献《Machine Vision Based Automatic DetectionMethod of Indicating Values of a Pointer Gauge》(《基于机器视觉的仪表指针读数自动测量方法》)采用了求取整幅图像的边缘图，对指针边缘进行Hough直线拟合，等。上述的方法均没有考虑在指针和表盘数字发生重叠的情况拟合直线带来的偏差，该种情况下采用上述方法拟合得到的直线会有一定幅度的偏离指针中心线，使测量精度不高。
刻度点定位旨在确定刻度点在图像坐标系中的位置继而确定转角和速度的对应关系。文献《Machine Vision Based Automatic Detection Method of IndicatingValues of a Pointer Gauge》(《基于机器视觉的仪表指针读数自动测量方法》)利用边界填充的方法对刻度点区域进行提取，并在极坐标系下采用改进的中心投影的方法确定刻度区域，根据角度直方图中角度频率大小确定主刻度点的角度位置。这种方式默认刻度点分布在一个环形灰度连通域上，对于独立分布的仪表刻度点，该种方法显然无法提取有效的刻度区域。文献《Automatic Calibration of Analog and Digital MeasuringInstruments Using Computer Vision》(《利用计算机视觉的模拟和数字测量仪表自动校正方法》)将笛卡尔坐标系转变为极坐标系，将环型的刻度变换为直线后进行处理，该种方法默认刻度均匀分布，检测零点和最大值刻度点即可得到角度与速度之间的关系，但是这种方法很难适用于汽车仪表这种仪表板存在两个表盘的情况，由于摄像头检测每一个表盘均存在视差，所以刻度点在表盘上并不是均匀地分布，按照该方法所得到的角度速度关系会让会让误差变大。此外，以上的各种仪表检测方法对于特定的单表盘仪表可能有较好的检测效果，但是当仪表的形状，背景发生改变的时候，算法往往需要更改大量的参数，这是因为以上算法所选取的仪表特征并不具有通用性。此外，刻度点对应的速度值算法无法从表盘自动读取，需要人手工赋值，算法自动化程度不高。
综上所述，将现有的仪表检测系统在汽车仪表检测领域存在的问题总结如下：
1)传统基于帧差法及细化算法进而通过霍夫直线拟合所得到的仪表指针直线拟合精度低；
2)传统的方法主要用于检测单表盘且背景单一的仪表，对于有双表盘且背景复杂的汽车仪表检测适应性差，检测精度低；
3)传统的方法自适应性差，对于仪表生产厂商生产出的不同类型的表不能自适应的检测，算法的泛化能力低；
4)传统的方法无法直接自动获得仪表刻度具体的读数，需要手工赋值，自动化程度低。
发明内容
本发明是为了解决现有的仪表检测系统在汽车仪表检测领域存在的问题，现提供一种基于字符分割级联二分类器的自适应汽车仪表检测方法。
一种基于字符分割级联二分类器的自适应汽车仪表检测方法，包括以下步骤：
步骤一：当待测仪表输入信号值为i时，采集整个汽车表盘的彩色图像作为原始图像，对原始图像中的ROI图像进行预处理获得二值图像，采用基于轮廓分析的方法提取二值图像中指针连通域的指针图像，对指针图像进行细化操作并拟合，获得当前指针响应值对应的拟合直线，并根据拟合直线的角度获得指针角度
Figure BDA0001421266700000021
步骤二：使i＝i+Q，判断i是否小于等于待测仪表最大刻度值，是则存储当前指针响应值对应的拟合直线并返回步骤一，否则执行步骤三，其中，i的初始值为0，Q表示待测仪表相邻主刻度的示数差值；
步骤三：利用字符分割级联二分类器对ROI图像进行多尺度检测，获得待测表盘上的数字字符区域，所述字符分割级联二分类器由HOG/SVM字符分割二分类器、字符滤波器和CNN数字分类器级联构成；
步骤四：将指针旋转中心与每个数字字符区域中心相连并做延长线，延长线长度为定长λ，以每条延长线的末端点为每个数字字符区域所对应刻度点区域的搜索中心；在以每个搜索中心为圆心、搜索半径为R的圆形区域内搜索每个数字字符区域对应的主刻度点，获得每个数字字符区域对应的主刻度点；
步骤五：将指针角度作为自变量，指针响应值作为因变量，将主刻度点的角度和其对应的示数作为插值点，利用牛顿插值多项式建立待测仪表的牛顿插值线性描述关系，将指针角度
Figure BDA0001421266700000031
代入该牛顿插值线性描述关系中，获得步骤二存储的每条拟合直线对应的指针响应值，所述主刻度点的角度为：主刻度点连线与坐标系的横坐标轴正方向所形成的夹角，所述主刻度点连线为主刻度点在以指针旋转中心为坐标原点的坐标系中的位置坐标与坐标原点的连线；
步骤六：分别计算待测仪表每个输入信号值和指针响应值之间的误差，判断该误差大小是否小于误差标准阈值，是则待测仪表合格，否则待测仪表不合格。
本发明的有益效果如下：
1)本发明提出的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，在检测过程中无需更改大量参数，自适应性强，灵活度高。在实际检测系统应用的训练阶段得到一个鲁棒性强，可靠性高的字符分割级联二分类器，利用该分类器能够检测仪表上数字字符区域，并以此为基准提取刻度点，同时得到刻度点的角度和对应示数。
2)本发明所述方法包含了一种基于轮廓分析的指针提取方法，相比于传统的Hough直线拟合方法，能够最大程度保证提取的指针精度，进而保证识别精度。图2显示了对仪表盘图像进行二值化后指针在数字区域存在遮挡的情况，图3图4显示通过指针提取算法，能够将去除数字引入的干扰，对仪表指针精确拟合，提高了算法的精确度。
3)本发明所述方法还包含一种基于字符分割级联二分类器的字符识别方法，相较于普通HOG/SVM二分类器，鲁棒性高，适用范围广，图6和图8显示训练得到的级联分类器对不同类型的速度表均能正确检测，图5和图7显示训练得到的级联分类器对不同类型转速表均能进行正确检测，代表性的显示了该算法鲁棒性强，适用范围广。
4)本发明所述方法够检测绝大多数汽车仪表，包括不同形状，分布结构的汽车仪表，且对相对复杂的背景仍能准确检测，算法鲁棒性高，应用范围广。
5)本发明建立的汽车仪表指针角度和对应响应值的牛顿插值线性关系的精度高。在一种典型的实验情况下：暗环境，采集图像的分辨率为1280*628，针对同一款汽车仪表，现有技术提出的方法和本发明提出的识别方法的相对误差对比如图14所示。
6)本发明提出的基于字符分割级联二分类器的自适应汽车仪表检测方法也可以适用于形状不同的单表盘仪表的检测和校正过程。
附图说明
图1为本发明所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法的流程图；
图2为具体实施方式二所述的提取指针连通域图像的过程示意图；
图3为具体实施方式二所述的提取指针连通域图像过程中各中间图像的示意图，其中(a)为指针粗提取图像的轮廓示意图，(b)为轮廓拟合直线示意图，(c)为最大内轮廓的示意图，(d)为指针连通域的示意图；
图4为具体实施一步骤三提出的对指针进行最小二乘拟合得到的拟合直线示例图，其中(a)对应速度信号为80km/h的仪表指针图像，(b)对应速度信号为100km/h的仪表指针图像；
图5为具体实施方式八采用鲁棒性强的级联二分类器对待测的转速表得到的字符区域；
图6为具体实施方式八采用鲁棒性强的级联二分类器对待测的速度表得到的字符区域；
图7为具体实施方式八采用鲁棒性强的级联二分类器检测不同类型的转速表得到的字符区域；
图8为具体实施方式八采用鲁棒性强的级联二分类器检测不同类型的速度表得到的字符区域；
图9为具体实施九中确定搜索中心点的示例图；
图10为具体实施九中搜索范围的示例图；
图11为具体实施九中搜索主刻度点的局部分析图；
图12为具体实施九提取得到主刻度的示例图；
图13为具体实施九中以指针旋转中心(xcenter,ycenter)为坐标原点建立的坐标系；
Figure BDA0001421266700000051
为第i个刻度点质心在图像坐标系下的坐标；△θi为图像坐标系中(xcenter,ycenter)与
Figure BDA0001421266700000052
形成直线与横坐标轴形成的锐角；
Figure BDA0001421266700000053
为△θi在指针旋转中心(xcenter,ycenter)为坐标原点建立的坐标系中的角度；
图14为论文《Automatic Calibration of Analog and Digital MeasuringInstruments Using Computer Vision》(《利用计算机视觉的模拟和数字测量仪表自动校正方法》)提出的算法和本发明提出的识别算法的相对人工读取仪表的误差对比图。
具体实施方式
具体实施方式一：参照图1和图4具体说明本实施方式，本实施方式所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，包括以下步骤：
步骤一：当待测仪表输入信号值为i时，仪表指针响应该信号，旋转获得响应值，采集整个汽车表盘的彩色图像作为原始图像，在原始图像中获取待测仪表(速度表或转速表)的ROI(Region of Interest，感兴趣区域)图像，对ROI图像进行灰度化处理并采用Ostu算法进行阈值分割获得二值图像，对二值图像的每个连通域进行二值化标记，然后执行步骤二；
步骤二：采用基于轮廓分析的方法对二值化标记后的二值图像进行仪表指针精提取，获得仪表指针连通域图像，然后执行步骤三；
步骤三：对指针连通域图像进行细化操作，获得细化结果，采用最小二乘直线拟合方法对细化结果进行拟合，获得当前指针响应值对应的拟合直线，根据拟合直线确定拟合直线角度△θj，然后执行步骤四；
步骤四：使i＝i+Q，判断i是否小于等于待测仪表最大刻度值，是则存储当前指针响应值对应的拟合直线并返回步骤一，否则利用已存储的M条拟合直线建立仪表指针信息列表，然后执行步骤五，其中，i的初始值为0，M为正整数，Q表示待测仪表相邻主刻度的示数差值；
所述仪表指针信息列表包括以下数据：
M个输入信号值、M个指针响应值、每个响应值对应的拟合直线在图像坐标系下的斜率、M个拟合直线角度△θj、多个两两相交的拟合直线的交点(xk,yk)和M个指针角度
Figure BDA0001421266700000054
所述指针角度
Figure BDA0001421266700000055
为拟合直线角度△θj在以仪表指针旋转中心(xcenter,ycenter)为原点的坐标系中对应的角度；
步骤五：设计鲁棒性强的字符分割级联二分类器(鲁棒性强指同一个分类器能够识别不同种类的汽车仪表图像中的字符)对ROI图像进行多尺度检测，获得待测表盘上的数字字符区域，所述字符分割级联二分类器由HOG/SVM字符分割二分类器、字符滤波器和CNN(卷积神经网络)数字分类器级联构成；
HOG/SVM字符分割二分类器用于对ROI图像进行多尺度检测，获得多个数字字符候选区域，
字符滤波器用于将每个数字字符候选区域中的元素分割，滤除非字符元素，获得每个数字字符候选区域的字符元素，
CNN数字分类器用于对每个数字字符候选区域的字符元素进行识别，获得每个数字字符候选区域的视数，利用每个数字字符候选区域的视数对数字字符候选区域进行筛选，获得多个数字字符区域；
步骤六：以数字字符区域为基础搜索仪表主刻度点，将指针旋转中心与每个数字字符区域中心相连并做延长线，延长线长度为定长λ，以每条延长线的末端点为每个数字字符区域所对应刻度点区域的搜索中心；在以每个搜索中心为圆心，搜索半径为R的圆形区域内搜索每个数字字符区域对应的主刻度点，并获得每个数字字符区域的主刻度点；
步骤七：将指针角度作为自变量，指针响应值作为因变量，将主刻度点的角度和对应的示数作为插值点，利用牛顿插值多项式建立汽车表盘牛顿插值线性描述关系，将指针角度
Figure BDA0001421266700000061
代入利用该线性描述关系中，获得仪表指针信息列表中M个指针响应值，所述主刻度点的角度为：主刻度点连线与坐标系的横坐标轴正方向所形成的夹角，所述主刻度点连线为主刻度点在以指针旋转中心为坐标原点的坐标系中的位置坐标与坐标原点的连线；
步骤八：分别计算待测仪表每个输入信号值和指针响应值之间的误差，判断该误差大小是否小于误差标准阈值，是则待测仪表合格，否则待测仪表不合格，所述误差标准阈值根据《GB/T 12548-2016汽车速度表、里程表检验校正方法》设定。
M个指针位置，对应M个指针的输入信号值、M条拟合直线、M个指针响应值。步骤八中将M个指针位置对应的指针的输入信号值与获得的M个指针响应值分别一一计算误差值。
本实施方式通过1)对原始图像进行阈值分割，形态学及连通域分析处理；2)采用基于轮廓分析的方法精提取指针，建立指针姿态信息列表；3)构建由HOG/SVM二分类器，字符滤波器，CNN数字分类器组成的字符分割级联二分类器，字符分割级联二分类器能够获得待测表盘上的数字字符区域和该区域主刻度点所对应的示数；4)采用级联二分类器识别仪表数字字符区域；5)以数字区域中心为基础进行局部分析，确定刻度点对应的角度位置；6)建立仪表指针角度与响应值之间的牛顿插值线性描述关系，确定指针对应的响应值等步骤实现的。本实施方式适用于汽车仪表指针视觉检测领域。
具体实施方式二：参照图2和3具体说明本实施方式，本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤二中仪表指针连通域图像的具体获得方法为：
对二值化标记后面积最大的连通域进行指针粗提取，获得指针粗提取图像，
提取指针粗提取图像的轮廓，获得轮廓图像，
采用PPHT(Progressive Probabilistic Hough Transform，概率霍夫变换)算法对轮廓图像拟合，获得具有轮廓拟合直线的轮廓图像，
在具有轮廓拟合直线的轮廓图像中寻找面积最大的内轮廓，提取该内轮廓所对应的连通域图像作为仪表指针连通域图像。
具体实施方式三：参照图4具体说明本实施方式，本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤四中，利用以下公式获得第k个两两相交的拟合直线的交点(xk,yk)：
Figure BDA0001421266700000071
(两拟合直线斜率k1和k2均存在)
Figure BDA0001421266700000072
(其中一条拟合直线斜率k2不存在)
其中，b1和b2分别为两拟合直线的截距，k1和k2分别为两拟合直线的斜率；
将N个拟合直线交点的平均值作为仪表指针旋转中心(xcenter,ycenter)，利用如下公式获得仪表指针旋转中心(xcenter,ycenter)，
Figure BDA0001421266700000073
其中，N和k均为正整数。
具体实施方式四：参照图13具体说明本实施方式，本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，根据下式获得第j个指针位置所对应的拟合直线角度△θj：
Figure BDA0001421266700000081
式中，k*为第j条拟合直线的斜率；
根据下式获得指针角度
Figure BDA0001421266700000082
Figure BDA0001421266700000083
式中，
Figure BDA0001421266700000084
为拟合直线上任意一点的坐标，Quadrant表示象限。
具体实施方式五：本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤五中HOG/SVM字符分割二分类器的获得方法为：
步骤五一：制作包括有正样本集和负样本集的训练样本集合，所述正样本集为不同类型仪表盘图像中数字字符区域，负样本集包括不同类型仪表盘图像中的指针图像元素、指示灯图像元素和刻度点图像元素；
步骤五二：将训练样本集合中所有样本图像的尺寸进行归一化处理，获得具有相同尺寸样本的训练样本集合；
步骤五三：对每个相同尺寸的训练样本提取HOG特征，生成特征向量矩阵，并将正样本标记为1，负样本标记为0，获得所有样本标签；
步骤五四：将特征向量矩阵以及样本标签都输入到线性SVM中进行训练，获得HOG/SVM字符分割二分类器。
在实际操作中，针对转速表，样本图像尺寸归一化为32*32；针对速度表，样本图像尺寸归一化为48*32，单位为像素。
具体实施方式六：本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤五中字符滤波器的滤波方法为：
对每个数字字符候选区域进行阈值分割，获得多个连通域元素，
对每个连通域元素进行标记并求取每个连通域元素轮廓的最小外接矩形，
分别对每个连通域元素进行筛选，获得每个数字字符候选区域的字符元素，
所述筛选条件如下：
每个连通域元素的高度大于12个像素，小于30个像素；
连通域元素的像素与其最小外接矩形的像素比值小于0.8；
连通域的最小外接矩形的长宽比大于0.1且小于0.85。
具体实施方式七：本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤五中，CNN数字分类器的获得方法为：
建立汽车仪表数字数据集，该数据集包括训练集和测试集，
对训练集和测试集中的每一张图片进行标记，获得10个分类图集；
将训练集中的图片尺寸归一化为28*28；
将测试集和归一化后的训练集输入到CNN网络中进行训练，获得CNN数字分类器；
所述CNN网络采用LeNet5架构，共有七层，
第一层为输入层，为28*28大小的图片输入层，
第二层为卷积层，卷积核大小为3*3，卷积核个数为32个，采用Relu(RectifiedLinear Units，修正线性单元)激活函数激活，
第三层为池化层，采用max pooling(最大池化)的方式降低卷积层输出的特征向量，采样核的大小为2*2，
第四层为卷积层，卷积核大小为3*3，卷积核个数为64个，采用Relu激活函数激活，
第五层为与第三层相同的池化层，
第六层和第七层均为全连接层，第六层的神经元个数为120个，采用Relu激活函数激活，第七层神经元个数为10个，采用softmax(多项逻辑斯特回归)方式激活。
本实施方式中，采用反向传播算法对CNN中的权值和偏置进行更新，两个全连接层均采用设置Dropout(舍弃率)方式抑制训练CNN网络中的过拟合现象，第六层全连接层加入Dropout采用的比例为0.5，第七层加入Dropout采用的比例为0.25，本例中训练网络的迭代次数为50次，训练集大小为10000张图片，测试集大小为2000张。最后得到的CNN网络在测试集上的识别精度为99.63％。
实际应用时，汽车仪表表盘数字没有9，因此，本实施方式中的数据集包括0～8九个数字分类和由汽车仪表上其他非数字元素所组成的第10个分类。
具体实施方式八：参照图5至图8具体说明本实施方式，本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤五中，利用每个字符候选区域的视数对字符候选区域进行筛选的具体过程为：
将每个数字字符候选区域的视数与待测仪表上的数字集合作比较，将视数属于仪表数字集合的区域作为数字字符区域。
在实际应用时，若待测仪表为速度表(如图6所示)，其对应的仪表上的数字集合为{0km/h,20km/h,...240km/h}，若待测仪表为为转速表(如图5所示)，其对应的仪表上的数字集合为{0,1,...,8}*1000r/min。对检测到的数字字符区域采用矩形框标记，该矩形框的中心则为该字符区域的中心。
具体实施方式九：参照图9、10、11、12和13具体说明本实施方式，本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤六中每个数字字符区域的搜索中心坐标通过以下方法获得：
联立直线方程和圆方程，获得两个交点坐标，将与指针旋转中心距离大的交点坐标作为搜索中心坐标
Figure BDA0001421266700000101
所述直线方程为指针旋转中心(xcenter,ycenter)与数字字符区域中心
Figure BDA0001421266700000102
连线的方程，如式(1)所示，
所述圆方程为以数字字符区域中心
Figure BDA0001421266700000103
为圆心，λ为半径的圆的方程，如式(2)所示，
Figure BDA0001421266700000104
Figure BDA0001421266700000105
xi为直线方程的自变量、yi为直线方程的因变量、(xrcenter,yrcenter)为字符区域中心点的坐标；
步骤六中每个数字字符区域对应的主刻度点的搜索方法为：
在圆形区域内搜索面积最大的连通域作为待测仪表的第i个主刻度点，求取主刻度点的质心在图像坐标系下的坐标
Figure BDA0001421266700000111
作为主刻度点的估计位置；
将主刻度点的坐标由图像坐标系变换到以指针旋转中心(xcenter,ycenter)为坐标原点的矩形坐标系下，变换的目的为让角度的变化为单调递增的变化规律，
在以指针旋转中心(xcenter,ycenter)为坐标原点的坐标系内，质心
Figure BDA0001421266700000112
的角度
Figure BDA0001421266700000113
通过下式获得：
Figure BDA0001421266700000114
Figure BDA0001421266700000115
式中，△θi为图像坐标系中指针旋转中心(xcenter,ycenter)与等效质心
Figure BDA0001421266700000116
形成的直线与横坐标轴形成的锐角；当
Figure BDA0001421266700000117
时，△θi＝90°；在以(xcenter,ycenter)为坐标原点的坐标系中，
Figure BDA0001421266700000118
以顺时针为正。
具体实施方式十：本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤七中建立汽车仪表牛顿插值线性描述关系的具体过程为：
牛顿插值多项式如下：
一阶差商f[xi,xi+1]为：
Figure BDA0001421266700000119
二阶差商f[xi,xi+1,xi+2]为：
Figure BDA00014212667000001110
xi为第i个插值点的横坐标，
k阶差商f[x0,x1,...,xk]为：
Figure BDA0001421266700000121
xk为第k个插值点的横坐标，
k次多项式为：
Nn(x)＝f(x0)+f[x0,x1](x-x0)+…+f[x0,x1,...,xn](x-x0)(x-x1)…(x-xn-1)
上式中，x为指针的角度，Nn(x)为指针角度所对应的指针响应值；{(x0,f(x0)),(x1,f(x1)),...,(xn,f(xn))}为参与插值的插值点集合，n≥3；{x0,x1,...,xn}为每个字符区域的主刻度点在以指针旋转中心(xcenter,ycenter)为坐标原点的坐标系中对应的角度值，{f(x0),f(x1),...,f(xn)}为主刻度点所对应的示数集合。

Claims (10)

1.一种基于字符分割级联二分类器的自适应汽车仪表检测方法，其特征在于，包括以下步骤：
步骤一：当待测仪表输入信号值为i时，采集整个汽车表盘的彩色图像作为原始图像，对原始图像中的ROI图像进行预处理获得二值图像，采用基于轮廓分析的方法提取二值图像中指针连通域的指针图像，对指针图像进行细化操作并拟合，获得当前指针响应值对应的拟合直线，并根据拟合直线的角度获得指针角度
Figure FDA0002446486240000011
步骤二：使i＝i+Q，判断i是否小于等于待测仪表最大刻度值，是则存储当前指针响应值对应的拟合直线并返回步骤一，否则执行步骤三，其中，i的初始值为0，Q表示待测仪表相邻主刻度的示数差值；
步骤三：利用字符分割级联二分类器对ROI图像进行多尺度检测，获得待测表盘上的数字字符区域，所述字符分割级联二分类器由HOG/SVM字符分割二分类器、字符滤波器和CNN数字分类器级联构成；
步骤四：将指针旋转中心与每个数字字符区域中心相连并做延长线，延长线长度为定长λ，以每条延长线的末端点为每个数字字符区域所对应刻度点区域的搜索中心；在以每个搜索中心为圆心、搜索半径为R的圆形区域内搜索每个数字字符区域对应的主刻度点，获得每个数字字符区域对应的主刻度点；
步骤五：将指针角度作为自变量，指针响应值作为因变量，将主刻度点的角度和其对应的示数作为插值点，利用牛顿插值多项式建立待测仪表的牛顿插值线性描述关系，将指针角度
Figure FDA0002446486240000012
代入该牛顿插值线性描述关系中，获得步骤二存储的每条拟合直线对应的指针响应值，所述主刻度点的角度为：主刻度点连线与坐标系的横坐标轴正方向所形成的夹角，所述主刻度点连线为主刻度点在以指针旋转中心为坐标原点的坐标系中的位置坐标与坐标原点的连线；
步骤六：分别计算待测仪表每个输入信号值和指针响应值之间的误差，判断该误差大小是否小于误差标准阈值，是则待测仪表合格，否则待测仪表不合格。
2.根据权利要求1所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，其特征在于，步骤一中指针连通域图像的获得方法为：
对二值图像中二值化标记后面积最大的连通域进行指针粗提取，获得指针粗提取图像，
提取指针粗提取图像的轮廓，获得轮廓图像，
采用概率霍夫变换算法对轮廓图像拟合，获得具有轮廓拟合直线的轮廓图像，
在具有轮廓拟合直线的轮廓图像中寻找面积最大的内轮廓，提取该内轮廓所对应的连通域图像作为指针连通域图像。
3.根据权利要求1所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，其特征在于，步骤三中，
HOG/SVM字符分割二分类器用于对ROI图像进行多尺度检测，获得多个数字字符候选区域，
字符滤波器用于将每个数字字符候选区域中的元素分割，滤除非字符元素，获得每个数字字符候选区域的字符元素，
CNN数字分类器用于对每个数字字符候选区域的字符元素进行识别，获得每个数字字符候选区域的视数，
利用每个数字字符候选区域的视数对数字字符候选区域进行筛选，获得多个数字字符区域。
4.根据权利要求3所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，其特征在于，HOG/SVM字符分割二分类器的获得方法为：
制作包括有正样本集和负样本集的训练样本集合，所述正样本集为不同类型仪表盘图像中数字字符区域，负样本集包括不同类型仪表盘图像中的指针图像元素、指示灯图像元素和刻度点图像元素；
将训练样本集合中所有样本图像的尺寸进行归一化处理，获得具有相同尺寸样本的训练样本集合；
对每个相同尺寸的训练样本提取HOG特征，生成特征向量矩阵，并将正样本标记为1，负样本标记为0，获得所有样本标签；
将特征向量矩阵以及样本标签都输入到线性SVM中进行训练，获得HOG/SVM字符分割二分类器。
5.根据权利要求3所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，其特征在于，字符滤波器的滤波方法为：
对每个数字字符候选区域进行阈值分割，获得多个连通域元素，
对每个连通域元素进行标记并求取每个连通域元素轮廓的最小外接矩形，
分别对每个连通域元素进行筛选，获得每个数字字符候选区域的字符元素，
所述筛选条件如下：
每个连通域元素的高度大于12个像素，小于30个像素，
连通域元素的像素与其最小外接矩形的像素比值小于0.8，
连通域的最小外接矩形的长宽比大于0.1且小于0.85。
6.根据权利要求3所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，其特征在于，CNN数字分类器的获得方法为：
建立汽车仪表数字数据集，该数据集包括训练集和测试集，
对训练集和测试集中的每一张图片进行标记，获得10个分类图集；
将训练集中的图片尺寸归一化为28*28；
将测试集和归一化后的训练集输入到CNN网络中进行训练，获得CNN数字分类器。
7.根据权利要求6所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，其特征在于，CNN网络采用LeNet5架构，共有七层，
第一层为输入层，为28*28大小的图片输入层，
第二层为卷积层，卷积核大小为3*3，卷积核个数为32个，采用修正线性单元激活函数激活，
第三层为池化层，采用最大池化的方式降低卷积层输出的特征向量，采样核的大小为2*2，
第四层为卷积层，卷积核大小为3*3，卷积核个数为64个，采用修正线性单元激活函数激活，
第五层为与第三层相同的池化层，
第六层和第七层均为全连接层，第六层的神经元个数为120个，采用修正线性单元激活函数激活，第七层神经元个数为10个，采用多项逻辑斯特回归方式激活。
8.根据权利要求3所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，其特征在于，利用每个数字字符候选区域的视数对数字字符候选区域进行筛选的具体过程为：
将每个数字字符候选区域的视数与待测仪表上的数字集合作比较，将视数属于仪表数字集合的区域作为数字字符区域。
9.根据权利要求1所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，其特征在于，每个数字字符区域的搜索中心坐标通过以下方法获得：
联立直线方程和圆方程，获得两个交点坐标，将与指针旋转中心距离大的交点坐标作为搜索中心坐标；
所述直线方程为指针旋转中心与数字字符区域中心连线的方程；
所述圆方程为以数字字符区域中心为圆心，λ为半径的圆的方程。
10.根据权利要求1所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，其特征在于，每个数字字符区域对应的主刻度点的搜索方法为：
在圆形区域内搜索面积最大的连通域作为待测仪表的第i个主刻度点，将主刻度点的质心在图像坐标系下的坐标作为主刻度点的估计坐标。
CN201710891277.1A 2017-09-27 2017-09-27 一种基于字符分割级联二分类器的自适应汽车仪表检测方法 Active CN107590498B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710891277.1A CN107590498B (zh) 2017-09-27 2017-09-27 一种基于字符分割级联二分类器的自适应汽车仪表检测方法
US16/144,845 US10922572B2 (en) 2017-09-27 2018-09-27 Adaptive auto meter detection method based on character segmentation and cascade classifier

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710891277.1A CN107590498B (zh) 2017-09-27 2017-09-27 一种基于字符分割级联二分类器的自适应汽车仪表检测方法

Publications (2)

Publication Number Publication Date
CN107590498A CN107590498A (zh) 2018-01-16
CN107590498B true CN107590498B (zh) 2020-09-01

Family

ID=61048838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710891277.1A Active CN107590498B (zh) 2017-09-27 2017-09-27 一种基于字符分割级联二分类器的自适应汽车仪表检测方法

Country Status (2)

Country Link
US (1) US10922572B2 (zh)
CN (1) CN107590498B (zh)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629347B (zh) * 2018-03-14 2021-12-21 武汉科技大学 变电站宽刻度指针式仪表自动识别方法
JP6730379B2 (ja) * 2018-03-23 2020-07-29 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
WO2019181337A1 (ja) * 2018-03-23 2019-09-26 株式会社 東芝 読取システム、読取方法、及び記憶媒体
CN108665450A (zh) * 2018-04-28 2018-10-16 中国农业大学 一种玉米果穗机械损伤区域识别方法
CN108805131B (zh) * 2018-05-22 2021-08-10 北京旷视科技有限公司 文本行检测方法、装置及系统
CN108921796B (zh) * 2018-06-07 2021-09-03 西安电子科技大学 一种基于深度学习的红外图像非均匀性校正方法
CN109271985A (zh) * 2018-09-07 2019-01-25 广东中粤电力科技有限公司 一种数字仪表读数图像识别方法及系统
CN109284762A (zh) * 2018-09-26 2019-01-29 旺微科技（上海）有限公司 一种多字轮仪表数字位置的检测方法及检测系统
CN109711400A (zh) * 2018-11-06 2019-05-03 华中科技大学 一种识别模拟指针式仪表读数的电力巡检方法和装置
US10970599B2 (en) * 2018-11-15 2021-04-06 Adobe Inc. Learning copy space using regression and segmentation neural networks
JP6818002B2 (ja) * 2018-12-12 2021-01-20 株式会社東芝 読取支援システム、移動体、読取支援方法、プログラム、及び記憶媒体
CN110163205B (zh) * 2019-05-06 2021-05-28 网易有道信息技术（北京）有限公司 图像处理方法、装置、介质和计算设备
CN110189314B (zh) * 2019-05-28 2023-04-28 长春大学 基于机器视觉的汽车仪表盘图像定位方法
CN110222629A (zh) * 2019-06-03 2019-09-10 中冶赛迪重庆信息技术有限公司 一种钢铁场景下的包号识别方法以及包号识别系统
CN112053367A (zh) * 2019-06-06 2020-12-08 阿里巴巴集团控股有限公司 图像处理方法、设备及存储介质
CN110232376B (zh) * 2019-06-11 2021-04-20 重庆邮电大学 一种利用投影回归的齿轮式数字仪表识别方法
CN110378257B (zh) * 2019-07-04 2023-12-19 山东巧思智能科技有限公司 人工智能模型全过程自动化系统
CN110533030B (zh) * 2019-08-19 2023-07-14 三峡大学 基于深度学习的太阳胶片图像时间戳信息提取方法
CN110543880A (zh) * 2019-08-21 2019-12-06 上海小猬科技有限公司 一种基于人工智能的多指针表盘自动读数系统
CN110427943A (zh) * 2019-08-27 2019-11-08 国家电网有限公司 一种基于r-cnn的智能电表数值识别方法
CN110807355B (zh) * 2019-09-12 2023-04-07 天津大学 一种基于移动机器人的指针仪表检测与读数识别方法
CN110659636B (zh) * 2019-09-20 2022-05-13 随锐科技集团股份有限公司 基于深度学习的指针式仪表读数识别方法
CN110991233B (zh) * 2019-10-29 2023-05-12 沈阳天眼智云信息科技有限公司 指针式压力表的自动读数方法
CN111046881B (zh) * 2019-12-02 2023-03-24 许昌北邮万联网络技术有限公司 基于计算机视觉和深度学习的指针式仪表读数识别方法
CN111027550B (zh) * 2019-12-17 2023-09-08 新方正控股发展有限责任公司 字库视觉重心调整的方法和装置
US11176369B2 (en) * 2019-12-23 2021-11-16 Ricoh Company, Ltd. Digital monitoring of analog gauges with dynamically configurable thresholds
CN111145258B (zh) * 2019-12-31 2023-06-02 南京埃斯顿机器人工程有限公司 一种工业机器人多种汽车玻璃自动化上下料的方法
CN111414934A (zh) * 2020-01-21 2020-07-14 国网浙江省电力有限公司湖州供电公司 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN111401357B (zh) * 2020-02-12 2023-09-15 杭州电子科技大学 基于文本检测的指针式仪表读数方法
CN111444781B (zh) * 2020-03-09 2023-08-29 武汉理工大学 一种水表读数识别方法、设备及存储介质
CN111553888B (zh) * 2020-04-15 2021-04-27 成都飞机工业（集团）有限责任公司 一种基于机器学习的钛合金锻件显微组织图像识别方法
CN111539330B (zh) * 2020-04-17 2023-03-24 西安英诺视通科技有限公司 一种基于双svm多分类器的变电站数显仪表识别方法
CN111553345B (zh) * 2020-04-22 2023-10-20 上海浩方信息技术有限公司 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法
CN111582071B (zh) * 2020-04-23 2022-05-13 浙江大学 一种基于HRNet网络模型的SF6仪表图像读数方法
CN111639715B (zh) * 2020-06-01 2023-06-06 重庆大学 基于ls-svm的汽车仪表组装质量预测方法与系统
CN111652332B (zh) * 2020-06-09 2021-05-11 山东大学 基于二分类的深度学习手写中文字符识别方法及系统
CN111881914B (zh) * 2020-06-23 2024-02-13 安徽清新互联信息科技有限公司 一种基于自学习阈值的车牌字符分割方法及系统
CN111898481B (zh) * 2020-07-14 2024-08-20 济南信通达电气科技有限公司 一种指针式分合闸指示器的状态识别方法及设备
CN111890928B (zh) * 2020-07-16 2023-09-15 无锡华普微电子有限公司 一种汽车液晶仪表指针控制方法
CN112149667B (zh) * 2020-09-15 2024-05-28 浙江师范大学 一种基于深度学习的指针式仪表的自动读数的方法
CN112183255A (zh) * 2020-09-15 2021-01-05 西北工业大学 一种基于深度学习的水下目标视觉识别与姿态估计方法
CN112115898B (zh) * 2020-09-24 2024-07-02 深圳市赛为智能股份有限公司 多指针仪表检测方法、装置、计算机设备及存储介质
CN112115897B (zh) * 2020-09-24 2023-12-22 深圳市赛为智能股份有限公司 多指针仪表报警检测方法、装置、计算机设备及存储介质
CN112232209A (zh) * 2020-10-16 2021-01-15 蓝普金睛（北京）科技有限公司 用于变电站巡检机器人的指针式仪表盘读数的识别方法
CN111931776B (zh) * 2020-10-16 2021-04-09 江西小马机器人有限公司 一种基于深度学习的双指针仪表读数方法
CN112329770B (zh) * 2020-10-30 2024-02-23 江苏理工学院 一种仪表刻度识别方法及装置
US12062176B2 (en) * 2020-11-02 2024-08-13 Adobe Inc. Generating change comparisons during editing of digital images
CN112487901B (zh) * 2020-11-19 2023-03-21 国网河南省电力公司超高压公司 一种排油注氮灭火装置压力表运行状态监测方法及监测系统
CN112330659B (zh) * 2020-11-24 2023-04-07 成都信息工程大学 结合lsd直线检测和连通域标记法的几何公差符号分割方法
CN112507815A (zh) * 2020-11-24 2021-03-16 北京超维世纪科技有限公司 关于指针式仪器仪表盘刻度人工智能图像识别算法及系统
CN112598005B (zh) * 2020-12-24 2024-10-25 深圳市信义科技有限公司 一种武警车牌字符分割方法、存储介质及计算机设备
CN112613429B (zh) * 2020-12-28 2023-09-12 上海智能制造系统创新中心有限公司 一种基于机器视觉适用于多视角图像指针式仪表读数方法
CN112818974A (zh) * 2021-01-26 2021-05-18 浙江国自机器人技术股份有限公司 一种基于机器视觉的表计自动建模方法
CN112818988B (zh) * 2021-01-29 2024-04-02 西安交通大学 一种指针式仪表自动识别读数方法及系统
CN115035529B (zh) * 2021-03-03 2024-04-05 重庆云石高科技有限公司 一种基于图像的vin等比例还原及字符识别方法
CN113086239B (zh) * 2021-04-15 2022-09-20 四川亚美动力技术有限公司 一种航空仪表指针组件加工装配方法
CN113065556B (zh) * 2021-04-16 2024-04-02 西安交通大学 一种数字式仪表定位和数字识别方法、装置和计算机设备
CN112990179A (zh) * 2021-04-20 2021-06-18 成都阿莱夫信息技术有限公司 一种基于图片处理的单指针型表盘读数自动识别方法
CN113284160B (zh) * 2021-04-23 2024-03-12 北京天智航医疗科技股份有限公司 一种手术导航标记珠体识别的方法、装置和设备
CN113361539B (zh) * 2021-05-21 2024-07-02 煤炭科学技术研究院有限公司 一种井下巡检机器人的仪表读取方法、装置及电子设备
CN113252614B (zh) * 2021-05-26 2022-07-22 浙江大学 一种基于机器视觉的透明度检测方法
CN113566863B (zh) * 2021-06-11 2023-12-26 北京眸视科技有限公司 一种指针表的读取方法和装置
CN113379725A (zh) * 2021-06-29 2021-09-10 广州高新兴机器人有限公司 一种基于深度学习的变电站油计表读数方法
CN113449639B (zh) * 2021-06-29 2024-09-06 深圳市海亿达科技股份有限公司 一种物联网网关对仪表的无接触数据采集方法
CN113408519B (zh) * 2021-07-09 2023-07-18 深圳市铁越电气有限公司 一种基于模板旋转匹配的指针仪表读数的方法及系统
CN113758514B (zh) * 2021-07-29 2024-04-26 江铃汽车股份有限公司 汽车仪表自动化测试方法、系统、可读存储介质及车辆
CN113705564B (zh) * 2021-08-10 2024-03-12 上海电力大学 一种指针式仪表识别读数方法
CN113642582B (zh) * 2021-08-13 2023-07-25 中国联合网络通信集团有限公司 电表读数识别方法、装置、电子设备和存储介质
US20230057340A1 (en) * 2021-08-19 2023-02-23 Yokogawa Electric Corporation Systems, methods, and devices for automated meter reading for smart field patrol
CN113688831B (zh) * 2021-08-23 2023-11-21 浙江朗坤电力工程检测有限公司 一种基于yolov4的电力表计的故障识别方法和系统
CN113837178A (zh) * 2021-09-15 2021-12-24 国网河北省电力有限公司 一种基于深度学习的变电站表计自动定位与统一分割方法
CN113780464B (zh) * 2021-09-26 2024-10-15 唐山百川智能机器股份有限公司 转向架紧固件防松标识检测方法
CN113989482B (zh) * 2021-10-26 2024-07-19 中国人民解放军火箭军工程大学 一种基于图像处理的光学合像水平仪自动读数识别方法
CN114049624B (zh) * 2021-11-17 2024-06-25 中科芯集成电路有限公司 一种基于机器视觉的船舶舱室智能检测方法及系统
CN114266881A (zh) * 2021-11-18 2022-04-01 武汉科技大学 一种基于改进型语义分割网络的指针式仪表自动读数方法
CN114119980A (zh) * 2021-12-07 2022-03-01 杭州涿溪脑与智能研究所 一种基于深度学习的膜盒压力表压力读取方法及系统
CN114429550B (zh) * 2021-12-17 2024-07-12 成都昱风能源有限公司 一种基于计算机视觉的风电机舱圆表油位监测方法
CN114565911B (zh) * 2022-02-28 2024-05-28 上海商汤科技开发有限公司 一种仪表识读方法、装置、计算机设备和存储介质
CN114463619B (zh) * 2022-04-12 2022-07-08 西北工业大学 基于集成融合特征的红外弱小目标检测方法
CN114998887B (zh) * 2022-08-08 2022-10-11 山东精惠计量检测有限公司 一种电能计量表智能识别方法
CN115457055A (zh) * 2022-09-13 2022-12-09 深圳创维－Rgb电子有限公司 照度计数值识别方法、电子设备及存储介质
CN116091818B (zh) * 2022-12-05 2024-07-02 南京航空航天大学 基于多神经网络级联模型的指针式仪表读数识别方法
CN115841666B (zh) * 2023-02-17 2023-05-05 江西小马机器人有限公司 一种仪表读数识别方法及系统
CN116434208B (zh) * 2023-06-14 2023-10-27 福建（泉州）哈工大工程技术研究院 一种用于仪表扇形区域的视觉识别方法
CN117351109B (zh) * 2023-09-05 2024-06-07 中交第二公路勘察设计研究院有限公司 一种盾构隧道的截面曲线重构方法
CN117274966B (zh) * 2023-11-23 2024-04-19 江西小马机器人有限公司 室外工业仪表监测方法、系统、可读存储介质及计算机
CN117453574A (zh) * 2023-12-25 2024-01-26 济南新天宇汽车电器有限公司 一种全液晶汽车仪表自动化测试方法及系统
CN117798654B (zh) * 2024-02-29 2024-05-03 山西漳电科学技术研究院(有限公司) 汽轮机轴系中心智能调整系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620682A (zh) * 2008-06-30 2010-01-06 汉王科技股份有限公司 一种指针式仪表读数自动识别的方法及系统
CN103759758A (zh) * 2014-01-26 2014-04-30 哈尔滨工业大学 一种基于机械角度和刻度识别的汽车仪表指针的位置检测方法
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN104809443A (zh) * 2015-05-05 2015-07-29 上海交通大学 基于卷积神经网络的车牌检测方法及系统
CN105894002A (zh) * 2016-04-22 2016-08-24 浙江大学 一种基于机器视觉的仪表示数识别方法
CN105975979A (zh) * 2016-04-22 2016-09-28 浙江大学 一种基于机器视觉的仪表检测方法
CN106650697A (zh) * 2016-12-30 2017-05-10 亿嘉和科技股份有限公司 一种仪表刻度识别方法
CN107133623A (zh) * 2017-05-11 2017-09-05 安徽慧视金瞳科技有限公司 一种基于背景差和圆心定位的指针位置精确检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10111632B2 (en) * 2017-01-31 2018-10-30 Siemens Healthcare Gmbh System and method for breast cancer detection in X-ray images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620682A (zh) * 2008-06-30 2010-01-06 汉王科技股份有限公司 一种指针式仪表读数自动识别的方法及系统
CN103759758A (zh) * 2014-01-26 2014-04-30 哈尔滨工业大学 一种基于机械角度和刻度识别的汽车仪表指针的位置检测方法
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN104809443A (zh) * 2015-05-05 2015-07-29 上海交通大学 基于卷积神经网络的车牌检测方法及系统
CN105894002A (zh) * 2016-04-22 2016-08-24 浙江大学 一种基于机器视觉的仪表示数识别方法
CN105975979A (zh) * 2016-04-22 2016-09-28 浙江大学 一种基于机器视觉的仪表检测方法
CN106650697A (zh) * 2016-12-30 2017-05-10 亿嘉和科技股份有限公司 一种仪表刻度识别方法
CN107133623A (zh) * 2017-05-11 2017-09-05 安徽慧视金瞳科技有限公司 一种基于背景差和圆心定位的指针位置精确检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic Calibration of Analog and Digital Measuring Instruments Using Computer Vision;F. Corrêa Alegria et al.;《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》;20000229;94-99 *
基于计算机视觉的汽车仪表指针检测方法;张冀 等;《计算机工程与科学》;20130331;134-139 *

Also Published As

Publication number Publication date
US20190095739A1 (en) 2019-03-28
CN107590498A (zh) 2018-01-16
US10922572B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
CN107590498B (zh) 一种基于字符分割级联二分类器的自适应汽车仪表检测方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN103759758B (zh) 一种基于机械角度和刻度识别的汽车仪表指针的位置检测方法
CN112257676B (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN111414934A (zh) 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN112149667B (zh) 一种基于深度学习的指针式仪表的自动读数的方法
CN103207987B (zh) 一种指针式仪表的示数识别方法
CN106529559A (zh) 一种指针式圆形多仪表盘实时读数识别方法
CN111368906B (zh) 一种基于深度学习的指针式油位计读数识别方法
CN112699876A (zh) 一种用于集气站多类型仪表自动读数方法
CN104657711B (zh) 一种鲁棒的指针式仪表读数自动识别方法
Gao et al. Character segmentation-based coarse-fine approach for automobile dashboard detection
CN106557751A (zh) 一种带颜色指示信息的指针式压力表自动读数方法
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN110211178B (zh) 一种利用投影计算的指针式仪表识别方法
CN113313122A (zh) 一种基于计算机视觉的指针式仪表自动识别读数方法
CN111523342A (zh) 一种复杂场景下的二维码检测和校正方法
Yi et al. A clustering-based algorithm for automatic detection of automobile dashboard
CN108830182B (zh) 一种基于级联卷积神经网络的道线检测方法
CN109784257B (zh) 一种变压器温度表检测与识别方法
CN116958983A (zh) 一种基于机器视觉的指针式压力表自动校验仪示值读数方法
Li et al. Vehicle seat detection based on improved RANSAC-SURF algorithm
CN116188755A (zh) 一种基于深度学习的仪表角度校正与示数识别装置
CN116091818A (zh) 基于多神经网络级联模型的指针式仪表读数识别方法
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Gao Huijun

Inventor after: Yi Ming

Inventor after: Yu Jinyong

Inventor after: Guo Fengyu

Inventor after: Wang Dazhao

Inventor after: Liu Jinze

Inventor before: Gao Huijun

Inventor before: Yi Ming

Inventor before: Yu Jinyong

Inventor before: Guo Fengyu

GR01 Patent grant
GR01 Patent grant