CN108491838B - 基于sift和hough的指针型仪表示数读取方法 - Google Patents

基于sift和hough的指针型仪表示数读取方法 Download PDF

Info

Publication number
CN108491838B
CN108491838B CN201810189210.8A CN201810189210A CN108491838B CN 108491838 B CN108491838 B CN 108491838B CN 201810189210 A CN201810189210 A CN 201810189210A CN 108491838 B CN108491838 B CN 108491838B
Authority
CN
China
Prior art keywords
pointer
image
slope
circle
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810189210.8A
Other languages
English (en)
Other versions
CN108491838A (zh
Inventor
周宁宁
陈旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201810189210.8A priority Critical patent/CN108491838B/zh
Publication of CN108491838A publication Critical patent/CN108491838A/zh
Application granted granted Critical
Publication of CN108491838B publication Critical patent/CN108491838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于SIFT和HOUGH的指针型仪表示数读取方法,属于图像处理中的特征提取的研究领域。本发明的方法根据SIFT所匹配的特征点,识别图像中仪表相对模版图像的的旋转角度,并进行仪表盘位置的粗定位。优化HOUGH变换方法,精确定位仪表盘的位置和指针所在直线,与模板图像中最小刻度的斜率进行比较,计算出图像中仪表指针与模板图像中指针的角度,并减去旋转的角度,根据模板图像中最大刻度与最小刻度的差值与角度差,计算出仪表的示数。本发明解决了传统的识别方法对于图像中仪表的放置位置及背景有着严格的要求,不适用于实际应用的问题,其识别精度较高,环境适应性强,具有较高的实用性。

Description

基于SIFT和HOUGH的指针型仪表示数读取方法
技术领域
本发明涉及一种基于SIFT和HOUGH相结合的指针型仪表示数读取方法,属于图像特征提取技术领域。
背景技术
图像的特征表现为一幅图像中,有明显光暗变换的地方,例如,图像中的角、轮廓、光线、点等信息。
关于图像特征提取技术,其主要目的就是将图像中有益的特征提取出来,例如之前所提及到的点、线、轮廓、光线等等特征,与此同时,尽量减少由于外界环境干扰所造成的噪音的影响。早在上个世纪七十年代,Moravec就提出了角点特征这个概念,不过当时,他将其称呼为“兴趣点”,但是Moravec角点检测具有很多局限性,例如它不具备旋转不变性,对噪声敏感等。在1988年,Harris提出一种新型的角点特征算法,且该算法对于图像的旋转和灰度变化具有高度不变性,并且性能要优于Moravec角点检测。图像特征提取技术在近几十年来一直处于高速发展阶段,并且取得了极大的进步。在2004年,Lowe提出了SIFT算法(尺度不变特征变换算法)描述子,SIFT算法是图像特征提取领域里程碑式的发现。2006年,Bay沿着Lowe的思路,提出了SURF(全称Speed Up Robust Features(加速稳健特征))局部特征。通过积分图像和Haar(哈尔)小波相结合,SURF进一步提高了特征的提取速度。这些方法对于处理图像识别问题具有很好的鲁棒性,但此类显性特征缺少全局信息。
SIFT算法全称尺度不变特征变换,是由Lowe提出的一种局部特征描述算子。它将图像中检测到的特征点用一个128维的特征向量进行描述,该特征向量具备对图像的缩放、平移、旋转不变的特性。从其命名中可以看出,该算法对于光照、仿射和投影变换等各种干扰因素也有一定的抗干扰性,是一种非常优秀的局部特征描述算法。
霍夫变换(HOUGH)是图像处理技术中的一种特征提取方法,在设定所需检测的形状后,该算法通过对参数空间内各个特征点进行拟合并统计,结合投票算法,将图像中符合所设定识别的形状的集合输出作为霍夫变换的结果。
现有的指针型仪表类型图像示数读取的方法,对于图像要求较高,需要仪表非常准确的摆放才能识别,对于有旋转或是偏移角度的仪表图像的识别率较差,实用性较差,无法满足实际应用中对仪表图像示数识别的需求。
发明内容
发明目的:目前对于指针式仪表的示数读取方法,需要对仪表的摆放位置及背景要求较高,无法应用到实际生活中,为了解决这一问题,本发明提供一种基于SIFT和HOUGH的指针型仪表示数读取方法,解决目前实际生活中仪表图像内仪表位置混乱且背景复杂,或由于仪表位置偏移、或是旋转所导致的仪表示数无法识别的问题。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种基于SIFT和HOUGH的指针型仪表示数读取方法,包括以下步骤:
步骤1,指针型仪表盘粗定位
采用SIFT特征点匹配算法,找出标准仪表模板和实际拍摄图像之间的匹配特征点。
根据实际拍摄图像中匹配的特征点坐标,求出实际拍摄图像中与标准仪表模板匹配的所有特征点,求这些特征点的中心点p(xp,yp)。以中心点p(xp,yp)为中心,按照一定的长宽比例,将这一部分的图片分割出来,完成仪表盘的粗定位,获得粗精确定位后的指针型仪表盘图像。
步骤2,指针型仪表盘精确定位
对粗精确定位后的指针型仪表盘图像进行HOUGH变换检测出仪表盘的各个圆形,通过SIFT所匹配得出的特征点对检测出来的圆进行一一判定,找出指针型仪表盘所在的圆形,以该圆的圆心为中点,以边长为该圆直径的正方形从粗精确定位后的指针型仪表盘图像中提取出精确定位的仪表盘图像。
步骤3,仪表图像中指针线斜率计算方法
在精确定位的仪表盘图像中,使用HOUGH变换,找出指针所在的直线的斜率。
通过设定一个累计单元的阈值,识别精确定位的仪表盘图像通过HOUGH变换所检测的直线数量,此时所识别出的直线数量为0。通过不断地降低阈值,识别精确定位的仪表盘图像通过HOUGH变换所检测的直线数量,直至直线数量为1-2根。当识别直线的数量为2时,检测两根直线斜率是否近似。若近似,则取两条直线斜率的平均值作为指针直线的斜率。
步骤4,指针型仪表图像中仪表盘旋转角度计算
计算标准仪表模板上的两两特征点之间直线的斜率,计算实际拍摄图像上的两两特征点之间直线的斜率,然后分别求实际拍摄图像上的各特征点与标准仪表模板上对应特征点之间斜率的角度,并将角度差距在一定范围内的角度的出现频率进行累计,求得出现频率最高的那个角度,即为实际拍摄图像相对于标准仪表模板的旋转角度。
步骤5,指针型仪表图像中仪表示数的自动读取
将步骤2得到的精确定位的仪表盘图像,以圆心为中心,沿横向和纵向分割为4个部分,记右上为第一区域(1),左上为第二区域(2),左下为第三区域(3),右下为第四区域(4),将第一、第二区域视作一部分,第三、第四区域视作一部分,分别在这两部分图像中重复之前寻找指针的操作,若在第三、第四区域部分找到指针线,并且指针线的斜率为正数,判定该指针必定在第三区域(3),反之,斜率为负数则指针线在第四区域(4);若在第一、第二区域部分找到指针线,并且指针线的斜率为正数,判定该指针必定在第一区域(1)内,反之,斜率为负数则指针线在第二区域(2);且判断指针所在区域时,在两部分图像中重复之前寻找指针的操作得出的直线斜率与步骤3得到的指针直线的斜率差别小于一定的阈值时,才判断指针在该区域。
将步骤3得到的指针直线的斜率与已知的标准仪表模板中最小刻度直线的斜率比较,计算出两者之间的角度差β。则指针直线相对于标准仪表模板最小刻度之间的角度θ为:
Figure BDA0001591204930000031
根据指针直线相对于标准仪表模板最小刻度之间的角度θ,标准仪表模板的最小示数,标准仪表模板的最大示数,及最小示数与最大示数的夹角,即可求得实际拍摄图像的仪表的实际示数。
优选的:所述中心点p(xp,yp)位置计算如下:
Figure BDA0001591204930000032
Figure BDA0001591204930000033
其中,xk表示第k个匹配特征点的x坐标,yk表示第k个匹配特征点的y坐标,标准仪表模板与实际拍摄图像之间共有(n+1)个匹配特征点。
优选的:所述步骤1中使用实际拍摄图像所有特征点中两点距离最长的距离L作为长度,以中心点p(xp,yp)作为分割图的中心点,边长为2L的正方形从实际拍摄图像中分割出来,得到粗精确定位后的指针型仪表盘图像。
优选的:所述步骤2中通过SIFT所匹配得出的特征点对检测出来的圆进行一一判定的方法如下:
依次计算各个特征点到每一个圆心的距离d0,d1,d2,d3…dn,通过与半径r对比,若距离d均小余半径r,且计算特征点中距离最远的两个点之间的距离为L,且L的距离须大于半径r,此时判定该圆是正确的圆形,否则判定失败,进行下一个圆的判定:
判定公式为:
Figure BDA0001591204930000041
其中,(x,y)为特征点坐标,(x1,y1),(x2,y2),(x3,y3)…(xn,yn)表示SIFT所匹配得出的特征点,{((a0,b0),r0),((a1,b1),r1)((a2,b2),r2)((a3,b3),r3)…((am,bm),rm)}表示HOUGH变换检测仪表盘的圆形,m表示检测出的圆的个数,((ak,bk),rk)表示进行检测的圆,k=0,1,2…m,从k=0开始检测,直至检测出符合条件的圆形,(a,b)为检测出的圆心坐标,r为检测出圆的半径。
同时检测出圆的半径r满足条件:
r≤max(arr)≤2*r (3)
其中,arr表示各特征点之间的距离所组成的数组。
优选的:所述步骤3中检测两根直线斜率是否近似的方法:
通过比较两根直线斜率k1,k2是否满足以下公式:
0.85*|k1|<|k2|<1.15*|k1| (4)
满足式(4)后,取两条直线的斜率的平均值
Figure BDA0001591204930000042
作为最终的指针斜率,k1、k2表示两条直线的斜率。
优选的:所述步骤4中实际拍摄图像上的各特征点与标准仪表模板上对应特征点之间斜率的角度通过式(5)计算:
Figure BDA0001591204930000043
其中,δ表示实际拍摄图像上的各特征点与标准仪表模板上对应特征点之间斜率的角度,ko表示实际拍摄图像上的两个特征点之间斜率,kp表示实际拍摄图像上的两个特征点与标准仪表模板上对应的两个特征点的斜率。
本发明相比现有技术,具有以下有益效果:
本发明根据SIFT所匹配的特征点,识别实际拍摄图像中仪表相对标准仪表模板图像的的旋转角度,并进行仪表盘位置的粗定位。优化HOUGH变换方法,精确定位实际拍摄图像中仪表盘的位置和指针所在直线,与标准仪表模板图像中最小刻度的斜率进行比较,计算出图像中仪表指针与标准仪表模板图像中指针的角度,并减去旋转的角度,根据标准仪表模板图像中最大刻度与最小刻度的差值与角度差,计算出仪表的示数。本发明解决了传统的识别方法对于图像中仪表的放置位置及背景有着严格的要求,不适用于实际应用的问题,其识别精度较高,环境适应性强,具有较高的实用性。
附图说明
图1是具体实施方式的流程图。
图2是步骤五中将精确定位仪表盘图像进行划分区域的图像。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于SIFT和HOUGH的指针型仪表示数读取方法,如图1所示,
包括以下步骤:
步骤1,指针型仪表盘粗定位
采用SIFT特征点匹配算法,找出标准仪表模板和实际拍摄图像之间的匹配特征点。
根据实际拍摄图像中匹配的特征点坐标,求出实际拍摄图像中与标准仪表模板匹配的所有特征点,求这些特征点的中心点p(xp,yp)。设标准仪表模板与实际拍摄图像之间共有n+1个匹配特征点,中心点p(xp,yp)位置计算如下:
Figure BDA0001591204930000051
Figure BDA0001591204930000052
其中,xk表示第k个匹配特征点的x坐标,yk表示第k个匹配特征点的y坐标。
以中心点p(xp,yp)为中心,按照一定的长宽比例,将这一部分的图片分割出来,完成了仪表盘的粗定位,获得粗精确定位后的指针型仪表盘图像。具体使用实际拍摄图像所有特征点中两点距离最长的距离L作为长度,以中心点p(xp,yp)作为分割图的中心点,边长为2L的正方形从实际拍摄图像中分割出来,得到粗精确定位后的指针型仪表盘图像。
步骤2,指针型仪表盘精确定位
对粗精确定位后的指针型仪表盘图像进行HOUGH变换检测出仪表盘的各个圆形,通过SIFT所匹配得出的特征点对检测出来的圆进行一一判定,找出指针型仪表盘所在的圆形,以该圆的圆心为中点,以边长为该圆直径的正方形从粗精确定位后的指针型仪表盘图像中提取出精确定位的仪表盘图像。
通过SIFT所匹配得出的特征点,例如(x1,y1),(x2,y2),(x3,y3)…(xn,yn),而通过HOUGH变换检测出来的圆有{((a0,b0),r0),((a1,b1),r1)((a2,b2),r2)((a3,b3),r3)…((am,bm),rm)}等m个。其中(x,y)为特征点坐标,(a,b)为检测出的圆心坐标,r为检测出圆的半径。
依次计算各个特征点到每一个圆心的距离d0,d1,d2,d3…dn,通过与半径r对比,若距离d均小余半径r,且计算特征点中距离最远的两个点之间的距离为L,且L的距离须大于半径r,此时判定该圆是正确的圆形,否则判定失败,进行下一个圆的判定。
判定公式为:
Figure BDA0001591204930000061
其中,(x,y)为特征点坐标,(x1,y1),(x2,y2),(x3,y3)…(xn,yn)表示SIFT所匹配得出
的特征点,{((a0,b0),r0),((a1,b1),r1)((a2,b2),r2)((a3,b3),r3)…((am,bm),rm)}表示HOUGH
变换检测仪表盘的圆形,m表示检测出的圆的个数,((ak,bk),rk)表示进行检测的
圆,k=0,1,2…m,从k=0开始检测,直至检测出符合条件的圆形,(a,b)为检测出的圆
心坐标,r为检测出圆的半径;
同时检测出圆的半径r满足条件:
r≤max(arr)≤2*r (3)
其中,arr表示各特征点之间的距离所组成的数组。
例如,对圆心为(a0,b0),半径为r0的圆进行检测:
其判定公式为:
Figure BDA0001591204930000062
假设特征点为(xi,yi),(xj,yj)之间的距离为lij,那么,各特征点之间的距离所组成的数组为arr,那么需要满足条件:
r≤max(arr)≤2*r (3-1)
公式(2-1)是对圆心为(a0,b0),半径为r0的圆进行检测,若检测通过,且满足公式(3-1)则判断该圆为仪表盘的圆形。否则对于圆心为(a1,b1),半径为r1的圆进行检测,以此类推,直到找到符合条件的圆形。
公式(3)对于那些较为模糊的图片可以起到筛选的作用,模糊的图像中可获取的匹配特征点较少,极可能不满足公式3的要求。
经过这些优化流程之后,就可以单独将图中仪表盘的位置给确定出来。
随后,以圆心为中心点,将以边长为2r的正方形从粗提取图像中提取出精确定位的仪表盘图像。
步骤3,仪表图像中指针线斜率计算方法
本方法对于HOUGH变换进行了优化。在一幅精确定位的仪表盘图像中,指针为该图中特征最为明显的直线。因此该累计单元的值是最高的,本文中通过设定一个较大的累计单元的阈值,通过不断地降低阈值,识别图中通过HOUGH变换所检测的直线数量,直至直线数量为1-2根时,判断该直线为仪表指针所在的直线。因此在精确定位的仪表盘图像中,使用HOUGH变换,找出指针所在的直线的斜率。通过设定一个累计单元的阈值,识别精确定位的仪表盘图像通过HOUGH变换所检测的直线数量,此时所识别出的直线数量为0;通过不断地降低阈值,识别精确定位的仪表盘图像通过HOUGH变换所检测的直线数量,直至直线数量为1-2根;当识别直线的数量为2时,检测两根直线斜率是否近似;若近似,则取两条直线斜率的平均值作为指针直线的斜率。
在具体实验中,会出现在同一阈值情况时,图像检测出两条直线,由于指针两侧均可能被检测出直线且累积单元中值相等,所以在之前,设定找到直线的数量阈值区间为[1,2],当出现检测直线数量为2时,通过比较两根直线斜率k1,k2是否满足公式:
0.85*|k1|<|k2|<1.15*|k1| (4)
满足式4后,取两条直线的斜率的平均值
Figure BDA0001591204930000071
作为最终的指针斜率。
步骤4,指针型仪表图像中仪表盘旋转角度计算
与实际拍摄图像进行SIFT匹配后,标准仪表模板图中存在特征点(x1,y1),(x2,y2),(x3,y3)…(xn,yn)与实际拍摄图像中的特征点(a1,b1),(a2,b2),(a3,b3)…(an,bn)一一对应。那么,仪表图像旋转的角度则可以被看作为连接点(x1,y1)、(x2,y2)的直线l1与连接点(a1,b1)、(a2,b2)的直线l2之间的角度,也可被看作为连接点(x1,y1)、(x3,y3)的直线l3与连接点(a1,b1)、(a3,b3)的直线l4之间的角度。
在实际采集仪表数据时,所采集的实际拍摄图像与标准仪表模板匹配时,除去拍摄角度过于倾斜的情况,所产生的匹配点较多。
但是在SIFT匹配点中,也会存在一些较少的匹配错误的特征点,为了避免使用到错误的特征点所得到的旋转角度,本发明首先通过计算所有两两特征点之间直线的斜率(即计算标准仪表模板上的两两特征点之间直线的斜率,计算实际拍摄图像上的两两特征点之间直线的斜率),根据相对应特征点所产的不同斜率通过式(5)计算出对应的角度,在计算所有对应特征点所产生的角度后,并将角度差距在一定范围内的角度的出现频率进行累计(例如差距在正负五度以内的角度),根据统计学方法,找出出现频率最高的角度δ,该角度即为实际拍摄图像相对于标准仪表模板的近似旋转角度δ。
Figure BDA0001591204930000081
其中,δ表示实际拍摄图像相对标准仪表模板的旋转角度,ko表示实际拍摄图像上的任意两个特征点之间直线斜率,kp表示标准仪表模板上与确定ko斜率的两点相匹配的两点的斜率。
步骤5,指针型仪表图像中仪表示数的自动读取
根据HOUGH变换定位出的指针直线位置,得到该指针直线在实际仪表盘上的斜率。将指针直线的斜率与已知的标准模板中最小刻度直线的斜率比较。同理可以计算出两者之间的角度差β。由于精确定位后的指针只是一条直线,并没有方向信息,因此在这一步的计算中,需要先判断出指针的头部和尾部,也就是必须确定指针的指向。将精确定位的仪表盘图像,以圆心为中心,沿横向和纵向分割为4个部分,如图2所示。记右上为第一区域1,左上为第二区域2,左下为第三区域3,右下为第四区域4。当计算出来的指针直线斜率大于0,说明指针位于第一、第三区域,由于指针可能存在刚好在边界的情况,导致识别效果不佳,因此,将第一、第二区域视作一部分,第三、第四区域视作一部分,分别在这两部分图像中重复之前寻找指针的操作(步骤2和3),若在第三、第四区域部分找到指针线,并且指针线的斜率为正数,判定该指针必定在第三区域3,反之,斜率为负数则指针线在第四区域4;若在第一、第二区域部分找到指针线,并且指针线的斜率为正数,判定该指针必定在第一区域1内,反之,斜率为负数则指针线在第二区域2。
判断指针所在区域时,得出的直线斜率与之前找到的指针斜率差别小于一定的阈值时(即在两部分图像中重复之前寻找指针的操作得出的直线斜率与步骤3得到的指针直线的斜率差别小于一定的阈值时),才判断指针在该区域。当指针位于第一区域1时,计算最终度数时,需要加上180°。同理,当计算出来的指针直线斜率小于0,说明指针位于第二、第四区域,当判断出指针位于第四区域4时,计算最终度数时,需要加上180°。即该指针直线相对于实际图像仪表盘最小刻度之间的角度为:
Figure BDA0001591204930000082
根据指针直线相对于标准仪表模板最小刻度之间的角度θ,标准仪表模板的最小示数,标准仪表模板的最大示数,及最小示数与最大示数的夹角,即可求得实际拍摄图像的仪表的实际示数。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于SIFT和HOUGH的指针型仪表示数读取方法,其特征在于,包括以下步骤:
步骤1,指针型仪表盘第一次定位
采用SIFT特征点匹配算法,找出标准仪表模板和实际拍摄图像之间的匹配特征点;
根据实际拍摄图像中匹配的特征点坐标,求出实际拍摄图像中与标准仪表模板匹配的所有特征点,求这些特征点的中心点p(xp,yp);以中心点p(xp,yp)为中心,按照一定的长宽比例,将这一部分的图片分割出来,完成仪表盘的第一次定位,获得第一次定位后的指针型仪表盘图像;
步骤2,指针型仪表盘第二次定位
对第一次定位后的指针型仪表盘图像进行HOUGH变换检测出仪表盘的各个圆形,通过SIFT所匹配得出的特征点对检测出来的圆进行一一判定,找出指针型仪表盘所在的圆形,以指针型仪表盘所在的圆形的圆心为中点,以边长为该圆直径的正方形从第一次定位后的指针型仪表盘图像中提取出第二次定位的仪表盘图像;
通过SIFT所匹配得出的特征点对检测出来的圆进行一一判定的方法如下:
依次计算各个特征点到每一个圆心的距离d0,d1,d2,d3...dn,通过与半径r对比,若距离d均小余半径r,且计算特征点中距离最远的两个点之间的距离为L,且L的距离须大于半径r,此时判定该圆是正确的圆形,否则判定失败,进行下一个圆的判定:
判定公式为:
Figure FDA0003032190180000011
其中,(x,y)为特征点坐标,(x1,y1),(x2,y2),(x3,y3)...(xn,yn)表示SIFT所匹配得出的特征点,{((a0,b0),r0),((a1,b1),r1)((a2,b2),r2)((a3,b3),r3)...((am,bm),rm)}表示HOUGH变换检测仪表盘的圆形,m表示检测出的圆的个数,((ak,bk),rk)表示进行检测的圆,k=0,1,2...m,从k=0开始检测,直至检测出符合条件的圆形,(a,b)为检测出的圆心坐标,r为检测出圆的半径;
同时检测出圆的半径r满足条件:
r≤max(arr)≤2*r (3)
其中,arr表示各特征点之间的距离所组成的数组;
步骤3,仪表图像中指针线斜率计算方法
在第二次定位的仪表盘图像中,使用HOUGH变换,找出指针所在的直线的斜率;
通过设定一个累计单元的阈值,识别第二次定位的仪表盘图像通过HOUGH变换所检测的直线数量,此时所识别出的直线数量为0;通过不断地降低阈值,识别第二次定位的仪表盘图像通过HOUGH变换所检测的直线数量,直至直线数量为1-2根;当识别直线的数量为2时,检测两根直线斜率是否近似;若近似,则取两条直线斜率的平均值作为指针直线的斜率;
步骤4,指针型仪表图像中仪表盘旋转角度计算
计算标准仪表模板上的两两特征点之间直线的斜率,计算实际拍摄图像上的两两特征点之间直线的斜率,然后分别求实际拍摄图像上的各特征点与标准仪表模板上对应特征点之间斜率的角度,并将角度差距在一定范围内的角度的出现频率进行累计,求得出现频率最高的那个角度,即为实际拍摄图像相对于标准仪表模板的旋转角度;
步骤5,指针型仪表图像中仪表示数的自动读取
将步骤2得到的第二次定位的仪表盘图像,以圆心为中心,沿横向和纵向分割为4个部分,记右上为第一区域(1),左上为第二区域(2),左下为第三区域(3),右下为第四区域(4),将第一、第二区域视作一部分,第三、第四区域视作一部分,分别在这两部分图像中重复之前寻找指针的操作,若在第三、第四区域部分找到指针线,并且指针线的斜率为正数,判定该指针必定在第三区域(3),反之,斜率为负数则指针线在第四区域(4);若在第一、第二区域部分找到指针线,并且指针线的斜率为正数,判定该指针必定在第一区域(1)内,反之,斜率为负数则指针线在第二区域(2);且判断指针所在区域时,在两部分图像中重复之前寻找指针的操作得出的直线斜率与步骤3得到的指针直线的斜率差别小于一定的阈值时,才判断指针在该区域;
将步骤3得到的指针直线的斜率与已知的标准仪表模板中最小刻度直线的斜率比较,计算出两者之间的角度差β;则指针直线相对于标准仪表模板最小刻度之间的角度θ为:
Figure FDA0003032190180000021
根据指针直线相对于标准仪表模板最小刻度之间的角度θ,标准仪表模板的最小示数,标准仪表模板的最大示数,及最小示数与最大示数的夹角,即可求得实际拍摄图像的仪表的实际示数。
2.根据权利要求1所述基于SIFT和HOUGH的指针型仪表示数读取方法,其特征在于:所述中心点p(xp,yp)位置计算如下:
Figure FDA0003032190180000031
Figure FDA0003032190180000032
其中,xk表示第k个匹配特征点的x坐标,yk表示第k个匹配特征点的y坐标,标准仪表模板与实际拍摄图像之间共有(n+1)个匹配特征点。
3.根据权利要求1所述基于SIFT和HOUGH的指针型仪表示数读取方法,其特征在于:所述步骤1中使用实际拍摄图像所有特征点中两点距离最长的距离L作为长度,以中心点p(xp,yp)作为分割图的中心点,边长为2L的正方形从实际拍摄图像中分割出来,得到第一次定位后的指针型仪表盘图像。
4.根据权利要求3所述基于SIFT和HOUGH的指针型仪表示数读取方法,其特征在于:所述步骤3中检测两根直线斜率是否近似的方法:
通过比较两根直线斜率h1,h2是否满足以下公式:
0.85*|h1|<|h2|<1.15*|h1| (4)
满足式(4)后,取两条直线的斜率的平均值
Figure FDA0003032190180000033
作为最终的指针斜率,h1、h2表示两条直线的斜率。
5.根据权利要求4所述基于SIFT和HOUGH的指针型仪表示数读取方法,其特征在于:所述步骤4中实际拍摄图像上的各特征点与标准仪表模板上对应特征点之间斜率的角度通过式(5)计算:
Figure FDA0003032190180000034
其中,δ表示实际拍摄图像上的各特征点与标准仪表模板上对应特征点之间斜率的角度,ho表示实际拍摄图像上的两个特征点之间斜率,hp表示实际拍摄图像上的两个特征点与标准仪表模板上对应的两个特征点的斜率。
CN201810189210.8A 2018-03-08 2018-03-08 基于sift和hough的指针型仪表示数读取方法 Active CN108491838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810189210.8A CN108491838B (zh) 2018-03-08 2018-03-08 基于sift和hough的指针型仪表示数读取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810189210.8A CN108491838B (zh) 2018-03-08 2018-03-08 基于sift和hough的指针型仪表示数读取方法

Publications (2)

Publication Number Publication Date
CN108491838A CN108491838A (zh) 2018-09-04
CN108491838B true CN108491838B (zh) 2021-08-03

Family

ID=63337919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810189210.8A Active CN108491838B (zh) 2018-03-08 2018-03-08 基于sift和hough的指针型仪表示数读取方法

Country Status (1)

Country Link
CN (1) CN108491838B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711400A (zh) * 2018-11-06 2019-05-03 华中科技大学 一种识别模拟指针式仪表读数的电力巡检方法和装置
CN109784257B (zh) * 2019-01-08 2021-10-12 北京全路通信信号研究设计院集团有限公司 一种变压器温度表检测与识别方法
CN110059622A (zh) * 2019-04-18 2019-07-26 华北电力大学(保定) 一种基于无线传感器网络的指针式仪表示值识别系统
CN110111387B (zh) * 2019-04-19 2021-07-27 南京大学 一种基于表盘特征的指针表定位及读数方法
CN110363202B (zh) * 2019-07-23 2020-06-19 深圳中科捷飞科技有限公司 指针式仪表数值读取方法及计算机终端
CN110929716B (zh) * 2019-11-29 2022-07-15 航天科技控股集团股份有限公司 一种基于指针捕捉的仪表盘中心确定方法及系统
CN111160337B (zh) * 2019-12-12 2022-04-29 武汉工程大学 一种指针式仪表读数的自动识别方法、系统、介质及设备
CN111797909B (zh) * 2020-06-22 2024-03-29 上海工程技术大学 一种基于机器视觉的指针式仪表读数方法
CN115049916A (zh) * 2022-08-17 2022-09-13 四川金信石信息技术有限公司 一种指针式仪表读数识别方法及识别装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022433A (ja) * 1999-07-13 2001-01-26 Babcock Hitachi Kk 監視装置および監視方法
CN101122948A (zh) * 2007-09-21 2008-02-13 吉林大学 基于计算机视觉的科学仪器工作状态监测方法
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN104751187A (zh) * 2015-04-14 2015-07-01 山西科达自控股份有限公司 抄表图像自动识别方法
CN105913095A (zh) * 2016-05-17 2016-08-31 杭州申昊科技股份有限公司 一种适用于变电站巡检机器人的仪表识别方法
CN106295658A (zh) * 2016-08-13 2017-01-04 国网福建省电力有限公司 一种变电站指针式仪表读数自动识别系统
CN106295665A (zh) * 2016-08-13 2017-01-04 国网福建省电力有限公司 一种变电站指针式仪表读数自动识别方法
CN106778823A (zh) * 2016-11-22 2017-05-31 国网湖北省电力公司宜昌供电公司 一种指针式仪表读数自动识别方法
CN107066998A (zh) * 2016-12-30 2017-08-18 山东鲁能软件技术有限公司 一种利用移动设备的指针式圆形单仪表盘实时识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022433A (ja) * 1999-07-13 2001-01-26 Babcock Hitachi Kk 監視装置および監視方法
CN101122948A (zh) * 2007-09-21 2008-02-13 吉林大学 基于计算机视觉的科学仪器工作状态监测方法
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN104751187A (zh) * 2015-04-14 2015-07-01 山西科达自控股份有限公司 抄表图像自动识别方法
CN105913095A (zh) * 2016-05-17 2016-08-31 杭州申昊科技股份有限公司 一种适用于变电站巡检机器人的仪表识别方法
CN106295658A (zh) * 2016-08-13 2017-01-04 国网福建省电力有限公司 一种变电站指针式仪表读数自动识别系统
CN106295665A (zh) * 2016-08-13 2017-01-04 国网福建省电力有限公司 一种变电站指针式仪表读数自动识别方法
CN106778823A (zh) * 2016-11-22 2017-05-31 国网湖北省电力公司宜昌供电公司 一种指针式仪表读数自动识别方法
CN107066998A (zh) * 2016-12-30 2017-08-18 山东鲁能软件技术有限公司 一种利用移动设备的指针式圆形单仪表盘实时识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Development of an automatic reading method and software for pointer instruments;Weibin Zheng 等;《2017 First International Conference on Electronics Instrumentation & Information Systems》;20180222;第1-6页 *
Reading Recognition Method of Analog Measuring Instruments Based on Improved Hough Transform;Han Jiale 等;《The Tenth International Conference on Electronic Measurement & Instruments》;20111231;第337-340页 *
一种复杂指针式仪表的读数自动识别算法;李伟 等;《计算机技术与发展》;20170331;第27卷(第3期);第201-204页 *
一种适用于智能变电站巡检机器人的双针仪表读数的识别算法;房桦 等;《山东电力技术》;20131231(第3期);第9-13,65页 *
基于机器视觉的汽车组合仪表读数识别技术研究;焦靖华;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110515;第2011年卷(第05期);第I138-861页 *

Also Published As

Publication number Publication date
CN108491838A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108491838B (zh) 基于sift和hough的指针型仪表示数读取方法
CN110097093B (zh) 一种异源图像精确匹配方法
CN108416342B (zh) 一种结合细节点和细线结构的指纹识别方法
CN103217438B (zh) 一种基于图像特征的电路板元件精确定位与检测的方法
CN104200495A (zh) 一种视频监控中的多目标跟踪方法
Dibeklioglu et al. 3D facial landmarking under expression, pose, and occlusion variations
CN102865859B (zh) 一种基于surf特征的航空序列图像位置估计方法
CN103136525B (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN103400388A (zh) 一种利用RANSAC消除Brisk关键点错误匹配点对的方法
CN103400384A (zh) 结合区域匹配和点匹配的大视角图像匹配方法
CN103593832A (zh) 一种基于高斯二阶差分特征检测算子的图像拼接方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN102903109B (zh) 一种光学影像和sar影像一体化分割配准方法
CN110866430A (zh) 一种车牌识别方法及装置
CN107862708A (zh) 一种sar与可见光图像配准方法
CN102938147A (zh) 一种基于快速鲁棒特征的低空无人机视觉定位方法
CN113313701B (zh) 基于形状先验的电动汽车充电口两阶段视觉检测定位方法
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN105809678B (zh) 一种短基线条件下两视图间线段特征全局匹配方法
CN107862319B (zh) 一种基于邻域投票的异源高分光学影像匹配误差剔除方法
CN101833763B (zh) 一种水面倒影图像检测方法
CN108229500A (zh) 一种基于函数拟合的sift误匹配点剔除法
CN107798691A (zh) 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN114358166B (zh) 一种基于自适应k均值聚类的多目标定位方法
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant