CN111031222A - 一种摄像式燃气表字轮实时识别装置及方法 - Google Patents
一种摄像式燃气表字轮实时识别装置及方法 Download PDFInfo
- Publication number
- CN111031222A CN111031222A CN201911379358.9A CN201911379358A CN111031222A CN 111031222 A CN111031222 A CN 111031222A CN 201911379358 A CN201911379358 A CN 201911379358A CN 111031222 A CN111031222 A CN 111031222A
- Authority
- CN
- China
- Prior art keywords
- image
- character wheel
- gas meter
- digital
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000000630 rising effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 240000004282 Grewia occidentalis Species 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 108090000565 Capsid Proteins Proteins 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000004043 dyeing Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 208000033749 Small cell carcinoma of the bladder Diseases 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 claims description 2
- 201000007710 urinary bladder small cell neuroendocrine carcinoma Diseases 0.000 claims description 2
- 239000013589 supplement Substances 0.000 abstract description 8
- 230000035945 sensitivity Effects 0.000 abstract description 4
- 239000000047 product Substances 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 230000002093 peripheral effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 239000002184 metal Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Abstract
本发明涉及一种摄像式燃气表字轮实时识别装置及方法,包括图像采集装置、图像传感器、主板,所述图像采集装置包括前壳体、后壳体、前置滤镜、镜头组、音圈马达及补光灯,所述后壳体内安装有主板,所述镜头组装配在音圈马达上,音圈马达在驱动电路控制下,调整镜头组的物距和相距的位置,使被拍物体成像清晰,所述前壳体上对应镜头组的位置安装有滤镜。本发明产品及方法可自动的、快速的识别燃气表字轮的末位数字的位置,减少了人工对准和灵敏度调整的过程,具有极强的环境适应性,节省时间,具有极高的精度,可操作性更强。
Description
技术领域
本发明涉及燃气表计量检定技术领域,具体涉及一种摄像式燃气表字轮实时识别装置及方法。
背景技术
目前国内的燃气表示值误差检定的监测装置普遍采用的是光电脉冲式色标传感器,这种方法通常使用单色光源,对燃气表末位字轮上的金属反光片进行识别,计量周期必须从金属反光片位置开始。虽然色标传感器结构简单、成本低廉,但是存在着检测耗时长、操作不便、易受干扰等诸多问题。
具体表现为:
1、光电脉冲式色标传感器通过检测字轮的金属反光片进行计数,必须从每一圈的固定位置开始检测,在检测小流量时,等待一圈最长需要40分钟,检测耗时长;
2、由于每个燃气表的字轮位置有微小的差异,因此每更换检测一批燃气表时,都要对色标传感器的位置和灵敏度进行调整,操作不方便;
3、如果灵敏度调整不当,色标传感器容易受到环境光线变化的干扰,另外,燃气表字轮上的个别反光点可能会误触发色标传感器。
发明内容
为克服所述不足,本发明的目的在于提供一种摄像式燃气表字轮实时识别装置及方法,替代现有的光电脉冲式色标传感器,可以自动聚焦、定位、识别燃气表字轮上的数字和刻度线,从字轮的任意位置开始计量检测,操作简便,显著缩短检测时间。
本发明解决其技术问题所采用的技术方案是:一种摄像式燃气表字轮实时识别装置,包括图像采集装置、图像传感器、主板,所述图像采集装置包括前壳体、后壳体、前置滤镜、镜头组、音圈马达及补光灯,所述后壳体内安装有主板,所述镜头组装配在音圈马达上,音圈马达在驱动电路控制下,调整镜头组的物距和相距的位置,所述前壳体上对应镜头组的位置安装有滤镜。
具体地,所述图像传感器将光学影像转换为电荷影像,接着转换成图像信号,图像信号又通过A/D转换器转换成数字图像信号,数字图像信号进一步传输至主板的控制电路。
具体地,主板包括控制电路、处理器电路,控制电路通过相应的接口与处理电路相连,所述处理器电路对收到的数字信号进行初步处理并保存至内存中,处理器电路根据内存中的图像数据进行识别和处理,识别和计算得出相应的结果并将结果输出,所述控制电路包括高速图像传感器控制电路,高速图像传感器控制电路通过DVP接口将图像信息传输给处理器电路。
具体地,所述处理器电路包括FPGA及ARM,处理器电路通过SCCB接口对高速图像传感器进行配置,控制高速图像传感器图像的输出分辨率和拍摄速度,所述ARM检测引脚电平的变化,检测电平由高变低则开始检测工作,配置图像传感器,ARM控制FPGA开始进行图像分析。
具体地,所述FPGA通过DVP接口,接收高速图像传感器输出的图像,并保存到内存中,处理器电路根据内存中的图像数据进行识别和处理。
具体地,处理器电路通过EN_15_CMOS、EN_25_CMOS、EN_28_CMOS三条控制线,来控制图像传感器的上电和掉电时序过程。
具体地,所述处理器电路根据DVP接口中的PWDN信号线控制图像传感器的工作与否,其中PWDN信号为高电平时图像传感器工作,反之不工作。
具体地,所述处理器电路的输出还分别与LCD显示电路、脉冲输出电路、RS485输出电路及识别启停控制电路相连;
所述处理器电路可以根据RS485电路的控制命令或控制输入电路的输入信号决定工作或者停止;
所述LCD显示电路,用于实时显示图像捕捉、测试状态以及用户交互;
所述脉冲输出电路,用于有源24V脉冲输出,用于连接上位机实时输出识别的结果;
所述RS485输出电路,用于配置识别的参数以及获取计算结果;
所述识别启停控制电路,通过光耦隔离,外部电路可以接无源开关信号或有源24V电路,用于控制识别工作的开始和结束。
具体地,所述处理器电路与上位机通信,处理器电路还与按键模块相连,所述的按键模块包括一个工作模式切换按键、一个参数设置按键、一个对焦触发按键和一个控制闪关灯开关键,四个按键用于与LCD显示屏配合设置识别和查询参数。
具体地,所述一个工作模式切换按键为一个“模式”按钮用于切换手动和自动工作模式;一个参数设置按键为一个“设置”按钮用于在手动模式下调整数字取景框的位置和尺寸;一个对焦触发按键为一个“对焦”按钮,可用于手动触发一次对焦操作;一个控制闪关灯开关键为一个“补光”按钮用于调整四个补光灯的开关状态。
具体地,所述处理器电路与所述上位机之间通过RS485接口的方式进行参数配置、数据传输的数据交互。
一种摄像式燃气表字轮实时识别方法,包括以下步骤:
步骤1:采集并传送图像,图像采集装置将采集的图像数字信号,以数据流的形式通过DVP接口传送至FPGA的处理电路;
步骤2:处理采集所得图像,分离并存储灰度信号和色差,具体方法为:
2.1FPGA的处理电路对图像数据流进行格式化,然后通过FIFO传送至内存,格式化的图像数据存放在CamFrameBuf[fb_id][];
2.2每当一幅图像采集并传送完成后,FPGA的处理电路发出一个中断请求,ARM处理器在收到中断请求后,触发中断操作,其中包括:从CamFrameBuf[fb_id][]取出最近完成的一幅图像;将亮度和色差信号从数据流中分离,其中灰度信号存放在LumaFrameBuf[CompleteIndex][],色差信号存放在ChromaFrameBuf[CompleteIndex][]。
步骤3:取最近完成的一帧灰度数据,计算图像的梯度GRAD,并控制音圈马达,找到准确的对焦位置,具体方法为:
3.1取最近完成的一帧灰度数据
LumaFrameBuf[CompleteIndex][],使用Sobel算子计算图像的梯度GRAD,计算公式为:
3.2控制音圈马达的电流大小,用来移动镜头组的物距和相距,然后重新执行步骤4计算图像梯度,使用寻峰算法,经过多次调整之后,找到图像梯度的最大值对应的镜头位置该位置即为准确对焦的位置。
步骤4:计算燃气表字轮和(或)字轮边框区域为红色特征,确定红色区域的四角坐标,以此坐标作为数字和刻度线搜索的范围,具体方法为:
4.1取最近完成的一帧色差数据
ChromaFrameBuf[CompleteIndex][],其中偶数字节为Cb色差分量,奇数字节为Cr色差分量,若Cr-Cb>25,记为一个红色像素;统计整幅色差图像的红色像素数量,若红色像素数量大于总像素数量的4%,则可以断定燃气表字轮和(或)字轮边框区域为红色特征。
4.2若断定燃气表字轮为红色特征,则由图像边缘区域逐渐向内收敛,确定红色区域的四角坐标,以此坐标作为数字和刻度线搜索的范围。
步骤5:取最近完成的一帧灰度数据
LumaFrameBuf[CompleteIndex][],使用Hough算子计算图像中的边缘线,Hough算子的具体实现过程为:
5.1使用Sobel算子计算图像中每个像素点的梯度,得到梯度图像;
5.2将梯度图像进行二值化,得到边缘图像;
将边缘图像中的每一个像素点Image[x][y],表达为直线极坐标:
ρ=x·con(θ)+y·sin(θ)
5.3将极坐标方程变换到霍夫空间;
5.4在霍夫空间寻找区域最大值,将区域最大值进行排序,设置阈值,将高于阈值的坐标点从霍夫空间坐标反变换到极坐标;
5.5根据极坐标参数,得到直线方程,将参数相近的直线坐标方程进行加权平均合并,合并之后,即可得到图像中的直线方程。
步骤6:由于步骤5中霍夫变换得到的极坐标直线方程没有端点,因此还不能直接使用,需要获取霍夫直线的端点,获取图像中的直线段,分类为横线和竖线,确定燃气表字轮的外框线,具体方法为:
6.1按下列分步处理获取霍夫直线的端点:
6.1.1取上述步骤5.1.2的边缘图像,沿着霍夫变换得到的极坐标直线方程,与上述步骤(5.2)的边缘图像相互印证,记下端点;
6.1.2由于图像边缘的不稳定性,可能会得到该直线上的几个线段端点,以及一些不相关的散点,将散点以及过短的线段滤除,只保留较长的线段;
6.1.3在几个主要的长线段之间进行浸染扩张,越长的线段具有越强的扩张能力;
6.1.4扩张后的线段若有重叠,则连结为一个大线段,并标记端点,由此得到该条霍夫直线的端点。
6.2将步骤6.1得到的图像中的直线段,分类为横线和竖线,然后遍历所有横线和竖线的端点进行组合,临近则标记为一个连接点,若存在某竖线的上端点与一条横线的右端点连接,且下端点与另一条横线的右端点连接,则可以断定这三条直线组成一个右半方框,即为燃气表字轮的外框线。
步骤7:计算外框的高度HL,数字和刻度线的存在区域,应该在外框线的内部,靠近右侧且宽度不大于HL的正方形区域内,由此进一步缩小数字和刻度线的查找范围。
步骤8:寻找刻度线的实现步骤如下:
8.1从上述查找范围内,依次竖向取出HL个像素点;
8.2对HL个像素点组成的曲线进行梯度计算,然后转化为上升、水平和下降三种状态;
8.3对曲线的上升和下降情况进行判断,若上升、下降周期超过5个,且周期分布均匀,且脉宽分布均匀,则可以断定该位置为刻度线位置。
步骤9:由于刻度线不确定出现在末位数字的左侧或者右侧,同时存在双列刻度线的情况,因此需要在步骤8找到的刻度线两侧分别放置数字取景框,尝试寻找末位数字,特别的,若某侧的范围已经超出上述步骤4的红色区域范围,或超出上述步骤7的线框区域范围,则可以直接否定该侧存在末位数字的可能性,若无法排除,执行下列步骤10;
步骤10:使用动态背景图像减法,计算当前图像与背景图像之差,此处动态背景图像为前20幅图像的平均值,将图像之差进行累加,可得到图像运动区域,根据图像运动区域与步骤9所得的两侧数字取景框位置进行比较,舍弃距离较远的数字取景框,可最终确定数字取景框位置。
步骤11:从数字取景框取出子图像,按如下步骤进行处理:
11.1使用色度增强算法,提高图像对比度;
11.2使用高斯滤波算法降低图像噪声;
11.3使用OTSU大律法计算图像阈值,并对图像进行二值化;
11.4使用广度遍历法,计算二值化图像中的每一块连接区域的面积,并去除区域较小的面积。
步骤12:取出上述步骤11所得子图像中,面积最大的区域,该区域为当前取景框内的主要数字,并计算其中心位置坐标,将数字中心位置高度坐标存入队列。
步骤13:若上述步骤12所得数字中心位置高度坐标向上穿越取景框的中间位置,则触发一次数字图片识别。
步骤14:对数字图片进行智能识别,采用BP神经网络算法,BP神经网络在PC上进行构建,使用约5000幅不同的数字图片对其进行训练,多次训练之后具有极高的识别率和自适应能力,可识别包括但不仅限于市面上常见燃气表的数字字体。
步骤15:若是自启动检测首次进行数字识别,且识别为一个可靠的数字,则记下当前位置为检测的起点,记起始数字为SN,标记当前状态为开始检测,脉冲输出电路输出一个正脉冲。若不能确定为一个数字,则返回步骤11。
步骤16:通过BP神经网络算法,每当检测到处于同一数字位置时,则认为燃气表的末位字轮转过了一圈,内部脉冲计数器值加1,并通过脉冲输出电路对外输出一个正脉冲。
本发明具有以下有益效果:本发明产品及方法可自动的、快速的识别燃气表字轮的末位数字的位置,减少了人工对准和灵敏度调整的过程;处理器电路可对图像数据进行自动化的动态处理,具有极强的环境适应性;使用图像数字和刻度识别的方式对字轮进行识别,因此可以从字轮的任意数字位置开始检测,这在检测小流量时,将比采用色标传感器的方法,平均节省20分钟的时间;图像传感器识别频率可到90帧/秒,具有极高的精度;还配备全中文显示的LCD液晶屏,能实时显示监测数据,并配备4个按键、4个LED指示灯,可操作性更强。
附图说明
图1为本发明的结构示意图。
图2为本发明的主板电路示意图。
图3为本发明的LCD显示屏外围电路图。
图4为本发明的RS485输出电路图。
图5为本发明的电源外围电路图一。
图6为本发明的电源外围电路图二。
图7为本发明的脉冲输出电路。
图8为本发明的识别启停控制电路。
图9为本发明的图像传感器外围电路一。
图10为本发明的图像传感器外围电路二。
图11为本发明的电源管理电路。
图12为本发明的补光灯驱动电路。
图13为本发明的安装示意图。
图14为本发明的图像梯度示意图。
图中1偏光镜,2前壳体,3镜头组,4音圈马达,5图像传感器,6控制和通信接口,7后壳体,8状态指示灯,9核心电路板,10LCD显示屏,11嵌入式处理器,12存储器,13用户按键,14基电路板,15、补光灯。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
如图1、图2所示的一种摄像式燃气表字轮实时识别装置,包括图像采集装置、图像传感器、主板,所述图像采集装置包括前壳体2、后壳体7、前置滤镜1、镜头组3、音圈马达4及补光灯15,所述后壳体7内安装有主板,所述镜头组3装配在音圈马达4上,音圈马达4在驱动电路控制下,调整镜头组3的物距和相距的位置,使被拍物体成像清晰,所述前壳体2上对应镜头组3的位置安装有滤镜1;
具体地,所述主板由基电路板14和核心电路板9两部分组成,主板连接上位机、按键模块、显示模块。
具体地,主板电路结构图如图2所示,包括:集成FPGA+ARM处理器的系统级处理器芯片、DDR3内存颗粒、由NAND FLASH芯片和可选的可扩展存储器TF卡组成的存储器、高速图像传感器和主板上相应的外围电路。
主板上相应的外围电路,包括高速图像传感器控制及相应的外围电路C1、处理器芯片(FPGA+ARM处理器)外围电路C2、LCD显示电路C3、脉冲输出电路C4、RS485输出电路C5、识别启停控制电路C6,其中C3用于实时显示测试状态以及用户交互;C4为有源24V脉冲输出,用于连接上位机实时输出识别的结果;C5用于配置识别的参数以及获取计算结果;C6通过光耦隔离,外部电路可以接无源开关信号或有源24V电路,用于控制识别工作的开始和结束。
高速图像传感器控制及相应的外围电路C1,高速图像传感器电路可以使传感器长时间稳定工作,提高产品的稳定性,用于控制高速图像传感器及数据输入、处理数据的处理器芯片(FPGA+ARM处理器)及其外围电路C2,合理选择图像传感器接入芯片和自主设计相应电路,本发明中DDR3为32位位宽工作频率533MHZ(1066M)理论带宽4Gbyte/s实际带宽2.8GByte/s,使图像的接入和图像的处理有足够的处理带宽,并在芯片及产热较高的电路周围
显示模块包括一个LCD显示屏和两个LED指示灯,其中LCD显示屏实时显示识别的对象图像及其所有的参数;两个LED状态指示灯包括一个电源指示灯、一个脉冲输出指示灯。其中LCD显示屏实时显示识别的字轮图像及其所有的测试参数,测试参数包括预置测试时间、累计测试时间、预置检定体积、脉冲计数;两个LED状态指示灯包括一个电源指示灯,接通电源状态指示灯为常亮,反之不亮;一个脉冲输出指示灯,正常工作状态下脉冲输出指示灯会不停闪烁。
按键模块包括“设置”键,用于在手动模式下调整数字取景框的位置和尺寸;一个“补光”键,用于调整四个补光灯的开关状态;一个“对焦”键,用于手动触发一次对焦操作;一个“模式”键,用于进行手动模式/自动模式的切换。
前壳体安装有四个补光灯;后壳体安装LCD显示屏和用户按键、LED状态指示灯。
主板与上位机软件之间通过串口或网口使用RPC的方式进行参数配置、数据传输等数据交互。
其工作原理为:滤镜1为偏光镜,用于滤除燃气表前玻璃面罩的反射光线,使图像清晰自然,镜头组3摄取的光学影像成像在高速图像传感器5的表面上,图像传感器5会将这些光学影像转换为电荷影像,接着转换成图像信号,图像信号又通过模数转换器转换成数字图像信号,这些数字信号(即电信号)通过DVP接口传输给嵌入式处理器11。
如图3所示,LCD显示屏外围显示电路包括LCD显示屏与两个LED指示灯,电源指示灯及脉冲输出指示灯分别通过电阻与信号源相连。
如图4所示,为RS485输出电路,用于与主板中处理电路通信,RS485输出电路连接支持RS485通讯协议的设备,RS485输出电路包括芯片SP3485EEN,芯片SP3485EEN的两个输出端分别分两路,一路通过电阻接地,两个输出端共同连接至电阻R19,电阻R19还分别连接至电阻R17及电阻R20,电阻R17及电阻R20共同连接至二极管后作为输出端与其他设备相连。
如图5-6所示,为电源外围电路,处理器电源外围电路的输入分六组,每一组均通过滤波电容滤波后输入相应的电压。
如图7所示,脉冲输出电路包括光耦U2,U2的输入端分别接脉冲信号及通过电阻与电源相连,输出端分两路,一路与地相连,另一路输出为数字量输出,该输出端还分别与上拉电阻及二极管相连。
如图8所示,为识别启停控制电路,包括U4,U4的输入端分别与电路及二极管D2、D3相连,U4的输出端分别连接至电容,其中一个输出端通过上拉电阻与电源相连。
如图9所示,为图像传感器外围电路,包括图像传感器J3,高速图像传感器控制电路通过DVP接口将图像信息传输给处理器电路。
如图10、11所示,为电源管理电路。
如图12所示,为补光灯控制电路,可分别控制四路补光灯的开关。
一种摄像式燃气表字轮实时识别方法,包括以下步骤:
步骤1:图像采集装置将采集的图像数字信号,以数据流的形式通过DVP接口传送至FPGA的处理电路;
步骤2:FPGA的处理电路对图像数据流进行格式化,然后通过FIFO传送至内存,格式化的图像数据存放在CamFrameBuf[fb_id][]。
步骤3:每当一幅图像采集并传送完成后,FPGA的处理电路发出一个中断请求,ARM处理器在收到中断请求后,触发中断操作,其中包括:从CamFrameBuf[fb_id][]取出最近完成的一幅图像;将亮度和色差信号从数据流中分离,其中灰度信号存放在LumaFrameBuf[CompleteIndex][],色差信号存放在ChromaFrameBuf[CompleteIndex][]。
步骤4:取最近完成的一帧灰度数据LumaFrameBuf[CompleteIndex][],使用Sobel算子计算图像的梯度GRAD,计算公式为:
步骤5:控制音圈马达的电流大小,用来移动镜头组的物距和相距,然后重新执行步骤4计算图像梯度,使用寻峰算法,经过多次调整之后,找到图像梯度的最大值对应的镜头位置该位置即为准确对焦的位置。
步骤6:取最近完成的一帧色差数据ChromaFrameBuf[CompleteIndex][],其中偶数字节为Cb色差分量,奇数字节为Cr色差分量,若Cr-Cb>25,记为一个红色像素;统计整幅色差图像的红色像素数量,若红色像素数量大于总像素数量的4%,则可以断定燃气表字轮和(或)字轮边框区域为红色特征。
步骤7:若断定燃气表字轮为红色特征,则由图像边缘区域逐渐向内收敛,确定红色区域的四角坐标,以此坐标作为数字和刻度线搜索的范围。
步骤8:取最近完成的一帧灰度数据LumaFrameBuf[CompleteIndex][],使用Hough算子计算图像中的边缘线。Hough算子的具体实现过程为:
8.1使用Sobel算子计算图像中每个像素点的梯度,得到梯度图像;
8.2将梯度图像进行二值化,得到边缘图像;
将边缘图像中的每一个像素点Image[x][y],表达为直线极坐标:
ρ=x·con(θ)+y·sin(θ)
8.3将极坐标方程变换到霍夫空间;
8.4在霍夫空间寻找区域最大值,将区域最大值进行排序,设置阈值,将高于阈值的坐标点从霍夫空间坐标反变换到极坐标;
8.5根据极坐标参数,得到直线方程,将参数相近的直线坐标方程进行加权平均合并,合并之后,即可得到图像中的直线方程。
步骤9:由于霍夫变换得到的极坐标直线方程没有端点,因此还不能直接使用,需要按下列分步处理:
9.1取上述步骤8.2的边缘图像,沿着霍夫变换得到的极坐标直线方程,与上述步骤(8.2)的边缘图像相互印证,记下端点;
8.2由于图像边缘的不稳定性,可能会得到该直线上的几个线段端点,以及一些不相关的散点。将散点以及过短的线段滤除,只保留较长的线段;
9.3在几个主要的长线段之间进行浸染扩张,越长的线段具有越强的扩张能力;
9.4扩张后的线段若有重叠,则连结为一个大线段,并标记端点。由此得到该条霍夫直线的端点。
步骤10:将步骤9得到的图像中的直线段,分类为横线和竖线,然后遍历所有横线和竖线的端点进行组合,临近则标记为一个连接点,若存在某竖线的上端点与一条横线的右端点连接,且下端点与另一条横线的右端点连接,则可以断定这三条直线组成一个右半方框,即为燃气表字轮的外框线。
步骤11:计算外框的高度HL,数字和刻度线的存在区域,应该在外框线的内部,靠近右侧且宽度不大于HL的正方形区域内,由此进一步缩小数字和刻度线的查找范围。
步骤12:寻找刻度线的实现步骤如下:
12.1从上述查找范围内,依次竖向取出HL个像素点;
12.2对HL个像素点组成的曲线进行梯度计算,然后转化为上升、水平和下降三种状态;
12.3对曲线的上升和下降情况进行判断,若上升、下降周期超过5个,且周期分布均匀,且脉宽分布均匀,则可以断定该位置为刻度线位置。
步骤13:由于刻度线不确定出现在末位数字的左侧或者右侧,同时存在双列刻度线的情况,因此需要在步骤12找到的刻度线两侧分别放置数字取景框,尝试寻找末位数字,特别的,若某侧的范围已经超出上述步骤7的红色区域范围,或超出上述步骤11的线框区域范围,则可以直接否定该侧存在末位数字的可能性。若无法排除,执行下列步骤14;
步骤14:使用动态背景图像减法,计算当前图像与背景图像之差,此处动态背景图像为前20幅图像的平均值,将图像之差进行累加,可得到图像运动区域。根据图像运动区域与步骤13所得的两侧数字取景框位置进行比较,舍弃距离较远的数字取景框,可最终确定数字取景框位置。
步骤15:从数字取景框取出子图像,按如下步骤进行处理:
15.1使用色度增强算法,提高图像对比度;
15.2使用高斯滤波算法降低图像噪声;
15.3使用OTSU大律法计算图像阈值,并对图像进行二值化;
15.4使用广度遍历法,计算二值化图像中的每一块连接区域的面积,并去除区域较小的面积。
步骤16:取出上述步骤15所得子图像中,面积最大的区域,该区域为当前取景框内的主要数字,并计算其中心位置坐标,将数字中心位置高度坐标存入队列。
步骤17:若上述步骤16所得数字中心位置高度坐标向上穿越取景框的中间位置,则触发一次数字图片识别。
步骤18:对数字图片进行智能识别,采用BP神经网络算法,BP神经网络在PC上进行构建,使用约5000幅不同的数字图片对其进行训练,多次训练之后具有极高的识别率和自适应能力,可识别包括但不仅限于市面上常见燃气表的数字字体。
步骤19:若是自启动检测首次进行数字识别,且识别为一个可靠的数字,则记下当前位置为检测的起点,记起始数字为SN,标记当前状态为开始检测,脉冲输出电路输出一个正脉冲。若不能确定为一个数字,则返回步骤15。
步骤20:通过BP神经网络算法,每当检测到处于同一数字位置时,则认为燃气表的末位字轮转过了一圈,内部脉冲计数器值加1,并通过脉冲输出电路对外输出一个正脉冲。
本发明不局限于所述实施方式,任何人应得知在本发明的启示下作出的结构变化,凡是与本发明具有相同或相近的技术方案,均落入本发明的保护范围之内。
本发明未详细描述的技术、形状、构造部分均为公知技术。
Claims (10)
1.一种摄像式燃气表字轮实时识别装置,包括图像采集装置、图像传感器、主板,其特征在于:所述图像采集装置包括前壳体、后壳体、前置滤镜、镜头组、音圈马达及补光灯,所述后壳体内安装有主板,所述镜头组装配在音圈马达上,音圈马达在驱动电路控制下,调整镜头组的物距和相距的位置,所述前壳体上对应镜头组的位置安装有滤镜。
2.根据权利要求1所述的一种摄像式燃气表字轮实时识别装置,其特征在于:所述主板包括控制电路、处理器电路,控制电路通过相应的接口与处理电路相连,所述处理器电路对收到的数字信号进行初步处理并保存至内存中,处理器电路根据内存中的图像数据进行识别和处理,识别和计算得出相应的结果并将结果输出,所述控制电路包括高速图像传感器控制电路,高速图像传感器控制电路通过DVP接口将图像信息传输给处理器电路。
3.根据权利要求2所述的一种摄像式燃气表字轮实时识别装置,其特征在于:所述处理器电路包括FPGA及ARM,处理器电路通过SCCB接口对高速图像传感器进行配置,控制高速图像传感器图像的输出分辨率和拍摄速度,所述ARM检测引脚电平的变化,检测电平由高变低则开始检测工作,配置图像传感器,ARM控制FPGA开始进行图像分析。
4.根据权利要求3所述的一种摄像式燃气表字轮实时识别装置,其特征在于:所述FPGA通过DVP接口,接收高速图像传感器输出的图像,并保存到内存中,处理器电路根据内存中的图像数据进行识别和处理,处理器电路通过EN_15_CMOS、EN_25_CMOS、EN_28_CMOS三条控制线,来控制图像传感器的上电和掉电时序过程,所述处理器电路根据DVP接口中的PWDN信号线控制图像传感器的工作与否,其中PWDN信号为高电平时图像传感器工作,反之不工作。
5.一种摄像式燃气表字轮实时识别方法,其特征在于:包括以下步骤:
步骤1:采集并传送图像,图像采集装置将采集的图像数字信号,以数据流的形式通过DVP接口传送至FPGA的处理电路;
步骤2:处理采集所得图像,分离并存储灰度信号和色差;
步骤3:取最近完成的一帧灰度数据,计算图像的梯度GRAD,并控制音圈马达,找到准确的对焦位置;
步骤4:计算燃气表字轮和\或字轮边框区域为红色特征,确定红色区域的四角坐标,以此坐标作为数字和刻度线搜索的范围;
步骤5:取最近完成的一帧灰度数据,使用霍夫算子计算图像中的边缘线,霍夫算子的具体实现过程为:
5.1使用Sobel算子计算图像中每个像素点的梯度,得到梯度图像;
5.2将梯度图像进行二值化,得到边缘图像,将边缘图像中的每一个像素点Image[x][y],表达为直线极坐标:
ρ=x·con(θ)+y·sin(θ);
5.3将极坐标方程变换到霍夫空间;
5.4在霍夫空间寻找区域最大值,将区域最大值进行排序,设置阈值,将高于阈值的坐标点从霍夫空间坐标反变换到极坐标;
5.5根据极坐标参数,得到直线方程,将参数相近的直线坐标方程进行加权平均合并,合并之后,即可得到图像中的直线方程;
步骤6:由于步骤5中霍夫变换得到的极坐标直线方程没有端点,因此还不能直接使用,需要获取霍夫直线的端点,获取图像中的直线段,分类为横线和竖线,确定燃气表字轮的外框线;
步骤7:计算外框的高度HL,数字和刻度线的存在区域,应该在外框线的内部,靠近右侧且宽度不大于HL的正方形区域内,由此进一步缩小数字和刻度线的查找范围;
步骤8:寻找刻度线;
步骤9:由于刻度线不确定出现在末位数字的左侧或者右侧,同时存在双列刻度线的情况,因此需要在步骤8找到的刻度线两侧分别放置数字取景框,尝试寻找末位数字,特别的,若某侧的范围已经超出上述步骤4的红色区域范围,或超出上述步骤7的线框区域范围,则可以直接否定该侧存在末位数字的可能性,若无法排除,执行下列步骤10;
步骤10:使用动态背景图像减法,计算当前图像与背景图像之差,此处动态背景图像为前20幅图像的平均值,将图像之差进行累加,可得到图像运动区域,根据图像运动区域与步骤9所得的两侧数字取景框位置进行比较,舍弃距离较远的数字取景框,可最终确定数字取景框位置;
步骤11:从数字取景框取出子图像,按如下步骤进行处理:
11.1使用色度增强算法,提高图像对比度;
11.2使用高斯滤波算法降低图像噪声;
11.3使用OTSU大律法计算图像阈值,并对图像进行二值化;
11.4使用广度遍历法,计算二值化图像中的每一块连接区域的面积,并去除区域较小的面积;
步骤12:取出上述步骤11所得子图像中,面积最大的区域,该区域为当前取景框内的主要数字,并计算其中心位置坐标,将数字中心位置高度坐标存入队列;
步骤13:若上述步骤12所得数字中心位置高度坐标向上穿越取景框的中间位置,则触发一次数字图片识别;
步骤14:对数字图片进行智能识别,采用BP神经网络算法,BP神经网络在PC上进行构建,使用约5000幅不同的数字图片对其进行训练,多次训练之后具有极高的识别率和自适应能力,可识别包括但不仅限于市面上常见燃气表的数字字体;
步骤15:若是自启动检测首次进行数字识别,且识别为一个可靠的数字,则记下当前位置为检测的起点,记起始数字为SN,标记当前状态为开始检测,脉冲输出电路输出一个正脉冲;若不能确定为一个数字,则返回步骤11;
步骤16:通过BP神经网络算法,每当检测到处于同一数字位置时,则认为燃气表的末位字轮转过了一圈,内部脉冲计数器值加1,并通过脉冲输出电路对外输出一个正脉冲。
6.根据权利要求5所述的一种摄像式燃气表字轮实时识别方法,其特征在于:所述步骤2的具体方法为:
2.1FPGA的处理电路对图像数据流进行格式化,然后通过FIFO传送至内存,格式化的图像数据存放在CamFrameBuf[fb_id][];
2.2每当一幅图像采集并传送完成后,FPGA的处理电路发出一个中断请求,ARM处理器在收到中断请求后,触发中断操作,其中包括:从CamFrameBuf[fb_id][]取出最近完成的一幅图像;将亮度和色差信号从数据流中分离,其中灰度信号存放在LumaFrameBuf[CompleteIndex][],色差信号存放在ChromaFrameBuf[CompleteIndex][]。
8.根据权利要求5所述的一种摄像式燃气表字轮实时识别方法,其特征在于:所述步骤4的具体方法为:
4.1取最近完成的一帧色差数据ChromaFrameBuf[CompleteIndex][],其中偶数字节为Cb色差分量,奇数字节为Cr色差分量,若Cr-Cb>25,记为一个红色像素;统计整幅色差图像的红色像素数量,若红色像素数量大于总像素数量的4%,则可以断定燃气表字轮和\或字轮边框区域为红色特征。
4.2若断定燃气表字轮为红色特征,则由图像边缘区域逐渐向内收敛,确定红色区域的四角坐标,以此坐标作为数字和刻度线搜索的范围。
9.根据权利要求5所述的一种摄像式燃气表字轮实时识别方法,其特征在于:所述步骤6的具体方法为:
6.1按下列分步处理获取霍夫直线的端点:
6.1.1取上述步骤5.1.2的边缘图像,沿着霍夫变换得到的极坐标直线方程,与上述步骤(5.2)的边缘图像相互印证,记下端点;
6.1.2由于图像边缘的不稳定性,可能会得到该直线上的几个线段端点,以及一些不相关的散点,将散点以及过短的线段滤除,只保留较长的线段;
6.1.3在几个主要的长线段之间进行浸染扩张,越长的线段具有越强的扩张能力;
6.1.4扩张后的线段若有重叠,则连结为一个大线段,并标记端点,由此得到该条霍夫直线的端点。
6.2将步骤6.1得到的图像中的直线段,分类为横线和竖线,然后遍历所有横线和竖线的端点进行组合,临近则标记为一个连接点,若存在某竖线的上端点与一条横线的右端点连接,且下端点与另一条横线的右端点连接,则可以断定这三条直线组成一个右半方框,即为燃气表字轮的外框线。
10.根据权利要求5所述的一种摄像式燃气表字轮实时识别方法,其特征在于:所述步骤8寻找刻度线的实现步骤如下:
8.1从上述查找范围内,依次竖向取出HL个像素点;
8.2对HL个像素点组成的曲线进行梯度计算,然后转化为上升、水平和下降三种状态;
8.3对曲线的上升和下降情况进行判断,若上升、下降周期超过5个,且周期分布均匀,且脉宽分布均匀,则可以断定该位置为刻度线位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911379358.9A CN111031222A (zh) | 2019-12-27 | 2019-12-27 | 一种摄像式燃气表字轮实时识别装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911379358.9A CN111031222A (zh) | 2019-12-27 | 2019-12-27 | 一种摄像式燃气表字轮实时识别装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111031222A true CN111031222A (zh) | 2020-04-17 |
Family
ID=70194725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911379358.9A Pending CN111031222A (zh) | 2019-12-27 | 2019-12-27 | 一种摄像式燃气表字轮实时识别装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111031222A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610085A (zh) * | 2021-10-10 | 2021-11-05 | 成都千嘉科技有限公司 | 基于注意力机制的字轮图像识别方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916364A (zh) * | 2010-07-06 | 2010-12-15 | 浙江大学 | 自适应的表盘数字识别装置与方法 |
CN105868756A (zh) * | 2016-03-22 | 2016-08-17 | 武汉蓝焰自动化应用技术有限责任公司 | 应用数字图像识别技术的燃气表计数器直读系统和直读方法 |
CN106529524A (zh) * | 2016-11-29 | 2017-03-22 | 北京航天试验技术研究所 | 一种燃气表数字图像识别自动检测仪装置 |
CN106909941A (zh) * | 2017-02-27 | 2017-06-30 | 广东工业大学 | 基于机器视觉的多表字符识别系统及方法 |
CN108564079A (zh) * | 2018-05-08 | 2018-09-21 | 东华大学 | 一种便携式字符识别装置及方法 |
CN108596066A (zh) * | 2018-04-13 | 2018-09-28 | 武汉大学 | 一种基于卷积神经网络的字符识别方法 |
CN109360396A (zh) * | 2018-09-27 | 2019-02-19 | 长江大学 | 基于图像识别技术和NB-IoT技术的远程抄表方法及系统 |
CN109543676A (zh) * | 2018-11-08 | 2019-03-29 | 中国电力科学研究院有限公司 | 一种基于图像处理的字轮型水表数字字符识别方法 |
CN109635799A (zh) * | 2018-12-17 | 2019-04-16 | 石家庄科林电气股份有限公司 | 一种燃气表字轮数字的识别方法 |
CN209120352U (zh) * | 2018-11-29 | 2019-07-16 | 福建江夏学院 | 摄像直读无线远传抄表系统 |
CN212463306U (zh) * | 2019-12-27 | 2021-02-02 | 山东厚德测控技术股份有限公司 | 一种摄像式燃气表字轮实时识别装置 |
-
2019
- 2019-12-27 CN CN201911379358.9A patent/CN111031222A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916364A (zh) * | 2010-07-06 | 2010-12-15 | 浙江大学 | 自适应的表盘数字识别装置与方法 |
CN105868756A (zh) * | 2016-03-22 | 2016-08-17 | 武汉蓝焰自动化应用技术有限责任公司 | 应用数字图像识别技术的燃气表计数器直读系统和直读方法 |
CN106529524A (zh) * | 2016-11-29 | 2017-03-22 | 北京航天试验技术研究所 | 一种燃气表数字图像识别自动检测仪装置 |
CN106909941A (zh) * | 2017-02-27 | 2017-06-30 | 广东工业大学 | 基于机器视觉的多表字符识别系统及方法 |
CN108596066A (zh) * | 2018-04-13 | 2018-09-28 | 武汉大学 | 一种基于卷积神经网络的字符识别方法 |
CN108564079A (zh) * | 2018-05-08 | 2018-09-21 | 东华大学 | 一种便携式字符识别装置及方法 |
CN109360396A (zh) * | 2018-09-27 | 2019-02-19 | 长江大学 | 基于图像识别技术和NB-IoT技术的远程抄表方法及系统 |
CN109543676A (zh) * | 2018-11-08 | 2019-03-29 | 中国电力科学研究院有限公司 | 一种基于图像处理的字轮型水表数字字符识别方法 |
CN209120352U (zh) * | 2018-11-29 | 2019-07-16 | 福建江夏学院 | 摄像直读无线远传抄表系统 |
CN109635799A (zh) * | 2018-12-17 | 2019-04-16 | 石家庄科林电气股份有限公司 | 一种燃气表字轮数字的识别方法 |
CN212463306U (zh) * | 2019-12-27 | 2021-02-02 | 山东厚德测控技术股份有限公司 | 一种摄像式燃气表字轮实时识别装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610085A (zh) * | 2021-10-10 | 2021-11-05 | 成都千嘉科技有限公司 | 基于注意力机制的字轮图像识别方法 |
CN113610085B (zh) * | 2021-10-10 | 2021-12-07 | 成都千嘉科技有限公司 | 基于注意力机制的字轮图像识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101882034B (zh) | 触摸装置的触摸笔颜色识别装置及方法 | |
CN208206822U (zh) | 基于机器视觉的pcb板缺陷自动检测系统 | |
CN104614701B (zh) | 电表缺陷智能化检测设备 | |
CN105182274B (zh) | 室外电能表故障自动检验方法 | |
CN111654692B (zh) | 摄像头检测方法、装置、摄像头及存储介质 | |
CN100562134C (zh) | 一种数码显示装置的测试系统及其测试方法 | |
CN212463306U (zh) | 一种摄像式燃气表字轮实时识别装置 | |
CN111031222A (zh) | 一种摄像式燃气表字轮实时识别装置及方法 | |
CN109614994A (zh) | 一种瓷砖分类识别方法及装置 | |
CN208061218U (zh) | 一种人脸识别移动终端设备 | |
KR20180092033A (ko) | 부품 등록기 | |
CN105716693A (zh) | 一种基于高速摄像的水表齿轮实时识别系统及方法 | |
CN205670317U (zh) | 一种复合检测型乘客计数装置 | |
CN101980299B (zh) | 基于棋盘标定的摄像机映射方法 | |
CN106767416A (zh) | 零件检测系统及方法 | |
CN110570676A (zh) | 一种基于单片机的交通信号灯状态监测系统 | |
CN109632055A (zh) | 一种基于智能终端的机械式水表动态视觉测量方法 | |
CN213365525U (zh) | 一种基于线阵ccd摄像装置的车牌识别系统 | |
CN104048811B (zh) | 一种汽车灯装配中的光型自动检测引导的控制系统和方法 | |
CN106530774A (zh) | Led信号灯 | |
CN105913535A (zh) | 一种复合检测型乘客计数装置 | |
CN220381596U (zh) | 净水设备 | |
CN215179785U (zh) | 一种电子零配件智能综合检验系统 | |
CN220383156U (zh) | 图像采集装置及净水设备 | |
CN211124085U (zh) | 一种基于图像处理的人流量检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |