CN112688438B - 仪表识别与读数智能系统 - Google Patents
仪表识别与读数智能系统 Download PDFInfo
- Publication number
- CN112688438B CN112688438B CN202011543584.9A CN202011543584A CN112688438B CN 112688438 B CN112688438 B CN 112688438B CN 202011543584 A CN202011543584 A CN 202011543584A CN 112688438 B CN112688438 B CN 112688438B
- Authority
- CN
- China
- Prior art keywords
- module
- task
- reading
- wireless charging
- branch unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 230000005674 electromagnetic induction Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000001105 regulatory effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 239000002184 metal Substances 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- 238000001035 drying Methods 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000002341 toxic gas Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910001092 metal group alloy Inorganic materials 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/60—Other road transportation technologies with climate change mitigation effect
- Y02T10/70—Energy storage systems for electromobility, e.g. batteries
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/60—Other road transportation technologies with climate change mitigation effect
- Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02T90/10—Technologies relating to charging of electric vehicles
- Y02T90/14—Plug-in electric vehicles
Landscapes
- Arrangements For Transmission Of Measured Signals (AREA)
Abstract
本发明公开了仪表识别与读数智能系统,所述机载环境监测及传感器模块用于监测当前环境中空气质量指数、温度、湿度和有害气体指数等,所述无线充电模块采用电磁感应式无线充电,所述仪表识别与读数模块用于获取仪表的读数,所述仪表识别与读数模块包括任务一分支单元和任务二分支单元,所述任务一分支单元用于检测指针端点坐标,并计算出此时指针角度,所述任务二分支单元用于获取仪表刻度,并得到量化的刻度信息,结合所述任务一分支单元和所述任务二分支单元得出指针仪表读数,通过上述结构的设置,使仪表识别与读数智能系统能够代替人工完成繁琐工作,从而提高效率,确保工厂的正常运行。
Description
技术领域
本发明涉及仪表系统技术领域,尤其涉及仪表识别与读数智能系统。
背景技术
工厂生产中需要通过读取仪表数据读来监控生产仪器的工作情况,目前多靠人工来完成读数,而在一些特殊工作环境,例如感染区、辐射区对人体的危害很大,而且人工读取产生的误差较大,并容易产生疲劳,效率低下。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种仪表识别与读数智能系统,基于智能机器车获取仪表图像并读取示数,然后将数据上传至云服务器,代替人工完成繁琐工作,从而提高效率,确保工厂的正常运行。
为实现上述目的,本发明提供了一种仪表识别与读数智能系统,包括履带型机器车实体模块、无线充电模块和仪表识别与读数模块:
所述履带型机器车实体模块用于承载所述无线充电模块和所述仪表识别与读数模块;
所述无线充电模块采用电磁感应式无线充电,用于对所述履带型机器车实体模块进行续航;
所述仪表识别与读数模块用于对仪表进行读数,所述仪表识别与读数模块包括任务一分支单元和任务二分支单元,所述任务一分支单元用于检测指针端点坐标,并计算出此时指针角度,所述任务二分支单元用于获取仪表刻度,并得到量化的刻度信息,结合所述任务一分支单元和所述任务二分支单元得出指针仪表读数。
其中,所述履带型机器车实体模块包括主控模块和机载环境监测及传感器模块,所述机载环境监测及传感器模块用于对周围环境进行检测,监测当前环境中空气质量指数、温度、湿度和有害气体指数等参数,所述主控模块对所述机载环境监测及传感器模块进行控制。
其中,所述履带型机器车实体模块还包括网络连接模块和后轮控制模块,所述网络连接模块包括网络通信模块和自组网模块;
所述网络通信模块与所述主控模块相连接,所述网络通信模块用于将所述仪表读数传送至云服务器,所述网络通信模块为Wi-Fi通信模块;
所述自组网模块与所述主控模块相连接,所述主控模块将信号传输至所述自组网模块,所述自组网模块通过安放在工厂里的协调器对工厂抽风机上的环境传感器进行控制,所述自组网模块为ZigBee通信模块;
所述后轮控制模块与所述主控模块相连接,所述后轮控制模块控制后轮驱动电机并通过PID控制算法控制后轮转速及里程,以控制机器车行进。
其中,所述无线充电模块包括发送器和接收器;
所述发送器包括发送控制器、发送驱动器、无线充电发送线圈和交直流转换电路,所述交直流转换电路的输出端连接所述发送驱动器的输入端,所述发送驱动器的输出端连接所述发送控制器的输入端,所述发送控制器将电流电压转换为符合充电标准的电流电压,所述发送控制器的输出端连接所述无线充电发送线圈。
所述接收器包括无线充电接收线圈、高频交直流整流器、接收控制器和电压调节电路,所述无线充电接收线圈的输出端连接所述高频交直流整流器的输入端,所述高频交直流整流器的输出端经由所述电压调节电路与所述主控模块的电源端连接。
其中,所述仪表识别与读数模块还包括参数共享模块,所述参数共享模块包括空间注意力模块和通道注意力模块,所述空间注意力模块用于得到空间注意力特征矩阵,所述通道注意力模块用于得到通道注意力特征矩阵。
本发明的有益效果体现在:
1、在特殊环境中仍然可以正常高效地工作;
2、机器车可以实现远、近距离通信,上传仪表读数至云端,并通过APP或者网站进行展示,工作人员可以远端查看指定仪表示数波动情况;
3、使用优化创新算法技术,对仪表读数的不同模块功能进行相应的创新与优化,使得图像增强、仪表定位、指针检测、刻度信息确定、数据读取等功能更加准确、快速;
4、成本低,体积小,适用场景广泛;
5、代替人工完成繁琐工作,从而提高效率,确保工厂的正常运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的仪表识别与读数智能系统的组成图。
图2是本发明的履带型机器车实体模块的组成图。
图3是本发明的无线充电模块的组成图。
图4是本发明的仪表识别与读数模块的工作模式图。
图5是本发明的多任务学习神经网络结构的逻辑框图。
图6是本发明的参数共享模块的逻辑框图。
图7是本发明的仪表识别与读数模块得出指针仪表读数的流程图。
图8是本发明的坐标系空间的转换图。
100-履带型机器车实体模块、200-无线充电模块、300-仪表识别与读数模块、110-主控模块、120-机载环境监测及传感器模块、13-网络连接模块、130-网络通信模块、140-自组网模块、150-后轮控制模块、210-发送器、211-发送控制器、212-发送驱动器、213-无线充电发送线圈、214-交直流转换电路、220-接收器、221-无线充电接收线圈、222-高频交直流整流器、223-接收控制器、224-电压调节电路、310-任务一分支单元、311-指针端点坐标、312-指针角度、320-任务二分支单元、321-仪表刻度、322-量化的刻度信息、330-指针仪表读数、340-参数共享模块、341-空间注意力模块、342-通道注意力模块、343-十字绣共享单元、350-最小圆包含定点像素算法、360-指针角度所在区间、370-刻度区间精度。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
本发明提供一种技术方案:一种仪表识别与读数智能系统,包括履带型机器车实体模块100、无线充电模块200和仪表识别与读数模块300:
所述履带型机器车实体模块100用于承载所述无线充电模块200和所述仪表识别与读数模块300;
所述无线充电模块200采用电磁感应式无线充电,用于对所述履带型机器车实体模块100进行续航;
所述仪表识别与读数模块300用于对仪表进行读数,所述仪表识别与读数模块300包括任务一分支单元310和任务二分支单元320,所述任务一分支单元310使用目标检测算法检测指针端点坐标311,并通过坐标转换计算出此时指针角度312,所述任务二分支单元320使用语义分割获取仪表刻度321,并通过OCR技术与最小圆包含定点算法获得量化的刻度信息322,结合所述任务一分支单元310和所述任务二分支单元320得出指针仪表读数330。
进一步的,所述履带型机器车实体模块100包括主控模块110和机载环境监测及传感器模块120,所述机载环境监测及传感器模块120用于监测当前环境中空气质量指数、温度、湿度和有害气体指数等指标,所述主控模块110对所述机载环境监测及传感器模块120进行控制。
进一步的,所述履带型机器车实体模块100还包括网络连接模块13和后轮控制模块150,所述网络连接模块13包括网络通信模块130和自组网模块140;
所述网络通信模块130与所述主控模块110相连接,所述网络通信模块130用于将所述仪表读数传送至云服务器,所述网络通信模块130为Wi-Fi通信模块;
所述自组网模块140与所述主控模块110相连接,所述主控模块110将信号传输至所述自组网模块140,所述自组网模块140通过安放在工厂里的协调器对工厂抽风机上的环境传感器进行控制,所述自组网模块140为ZigBee通信模块;
所述后轮控制模块150与所述主控模块110相连接,所述后轮控制模块150控制后轮驱动电机并通过PID控制算法控制后轮转速及里程,以控制机器车行进。
进一步的,所述无线充电模块200包括发送器210和接收器220;
所述发送器210包括发送控制器211、发送驱动器212、无线充电发送线圈213和交直流转换电路214,所述交直流转换电路214的输出端连接所述发送驱动器212的输入端,所述发送驱动器212的输出端连接所述发送控制器211的输入端,所述发送控制器211将电流电压转换为符合充电标准的电流电压,所述发送控制器211的输出端连接所述无线充电发送线圈213。
所述接收器220包括无线充电接收线圈221、高频交直流整流器222、接收控制器223和电压调节电路224,所述无线充电接收线圈221的输出端连接所述高频交直流整流器222的输入端,所述高频交直流整流器222的输出端经由所述电压调节电路224与所述主控模块110的电源端连接。
进一步的,所述仪表识别与读数模块300还包括参数共享模块340,所述参数共享模块340包括空间注意力模块341、通道注意力模块342和十字绣共享单元343,所述空间注意力模块341用于得到空间注意力特征矩阵,所述通道注意力模块342用于得到通道注意力特征矩阵,所述十字绣共享单元343指的是多任务学习领域里所广泛使用的参数共享层(cross-stitch)。
请参阅图1和图2,后轮驱动电机起驱动机器车的作用,从后轮起每隔3cm设置一个金属转轮,后轮通过履带带动其他的转轮,从而使机器车车体获得动力。除去前后轮外的金属转轮都附有抗压、减震缓冲转置。机器车的底座部分是主控模块110。在第一层金属合金托盘上安装有激光雷达、网络通信模块130、自组网模块140、液压升降杆、支撑块、环境传感器、无线充电单元。无线充电单元包括发送端和接收端,其中发送端安装在室内电源插座处,接收端安装在智能机器车上。机载环境监测及传感器模块120包括红外避障传感器、火焰传感器、温湿度传感器、烟雾传感器、有毒气体传感器和光敏传感器。机载环境监测及传感器模块120的输出端连接主控模块110的输入端。在第一层金属合金托盘上固定四个铜柱,构建第二层金属托盘。第二层金属托盘上安装升降装置,升降装置的伸缩结构的材质为伸缩减震橡胶。在升降装置的上方安装有自适应灯光,同时在升降装置最上方的安装柱的左右两侧安装有红外高清摄像头。在左右摄像头下方安装有小型烘干风管,两组小型烘干风管风口朝向以水平面为基准斜向上30°的方向。为了扩展主控模块110的引脚资源,智能机器车上还设有传感接口外接板用于引出I/O口供传感器和其他外设使用。
智能机器车的工作模式如下:
智能机器车通过履带带动车体,车内主控模块110的控制输出端连接后轮控制模块150的输入端,后轮控制模块150的输出端通过后轮驱动电机连接智能机器车的后轮,通过PID控制算法来控制后轮驱动履带,进而控制机器车行进。用户可以通过手机APP或者网页进行远程规划行进路线,机器车将按照规定的路线行进。智能机器车使用的红外避障采用的是三角测距原理,红外发射器按照一定角度发射红外光束,遇到障碍物光会反向回来,检测到反射光之后,通过结构上的几何三角关系,就可以计算出物体距离,最终实现避障功能,既能防止自身碰撞,也能防止工厂的机器受到毁损。当工厂里有意外发生时,用户可以使用APP和网页端打开智能机器车上的摄像头来了解机器车所在环境的情况。APP和网页可以实现但是并非本专利的重点,可以根据使用者的需求进行登录界面功能、数据展示界面功能和环境监控界面功能的定制。待智能机器车行驶到指定地点之后,通过红外高清摄像头获取仪表图像,将仪表图像传输到仪表识别与读数模块300中进行识别与读数。智能机器车上的主控模块110与网络通信模块130相连接,网络通信模块130与安放在工厂内的智能路由器连接,智能路由器通过云服务器与手机或者电脑实现长距离无线连接,手机上安装有相应的APP,以通过网络实现对智能机器车的路线规划控制与摄像头的控制。智能机器车将读数结果传输到云平台,数据同样可以同步到APP,用户可以从APP网站来观测仪表示数的变化趋势进而掌握工厂内机器运转状况。在光线较暗的情况下,智能机器车自动通过光敏传感器调节顶部的照明灯灯照强弱,调节至最合适的光照以减少光线对仪表读数的影响。在环境潮湿的情况下,通过温湿度传感器调节小型烘干管,用以在摄像头镜头上附有水珠时快速烘干,使得摄像头镜片保持干燥无水雾,解决了水雾影响读数效果的问题。当工厂发生火灾时,机器车能通过火焰传感器和温湿度传感器及时地将火源位置返回给工作人员,防止造成更大的损失。智能机器车上的主控模块110与自组网模块140相连,自组网模块140通过安放在工厂里的协调器与工厂抽风机上的环境传感器实现短距离无线相连。室内环境传感器安装在抽风机上,抽风机还安装有烟雾传感器、有毒气体传感器与继电器,当室内有烟雾或者有毒气体时,智能机器车能自动启动抽风机及时清除有害气体。
请参阅图3,为了解决智能机器车的续航问题,本系统采用电磁感应式无线充电技术给智能机器车进行充电。无线充电模块200由发送器210和接收器220组成,发送器210包括发送控制器211、发送驱动器212、无线充电发送线圈213以及交直流转换电路214。其中墙体电源插座连接交直流转换电路214的输入端,交直流转换电路214的输出端连接发送驱动器212输入端,发送驱动器212的输出端连接发送控制器211的输入端,发送控制器211将电流电压转换为符合充电标准的电流电压,发送控制器211的输出端连接发送线圈。接收器220由高频交直流整流器222、无线充电接收线圈221、接收控制器223和电压调节电路224组成。无线充电发送线圈213通交流电的同时,依据电磁感应定律在接收线圈产生电流,无线充电接收线圈221的输出端连接高频交直流整流器222的输入端,高频交直流整流器222的输出端经由电压调节电路224与主控模块110的电源端连接。接收控制器223与智能机器车上的主控模块110连接。
请参阅图4,本仪表读数算法通过参数共享多任务学习神经网络处理原仪表图像,通过任务一分支单元310和任务二分支单元320,结合参数共享结构来实现特征共享,以防止有效的语义信息被忽视,进而得到仪表的指针端点坐标311以及仪表刻度321。使用目标检测直接检测出指针端点坐标311,有利于经过坐标转换然后计算指针角度312,使用OCR技术与最小圆包含定点算法量化仪表刻度得到量化的刻度信息322,结合指针角度312和量化的刻度信息322可以通过区间定位法来计算得此时的指针仪表读数330。基于参数共享的多任务学习神经网络结构使得网络提取特征能力更强,能有效减少环境因素带来的干扰。算法在阴暗环境下或者曝光严重的环境下的检测效果与传统基于霍夫检测、图像二值化、单任务语义分割等仪表识别算法相比,效果更优。任务一分支单元310解决的任务是基于目标检测得到指针端点坐标311,任务二分支单元320解决的任务是基于语义分割获取仪表刻度321。根据任务一分支单元310获取的指针端点坐标311经过坐标转换计算此时指针角度312,根据任务二分支单元320获取的仪表刻度321经过OCR技术和最小圆包含定点算法得到最终的量化的刻度信息322,结合指针角度312与量化的刻度信息322并通过区间定位法可以计算得到最后的指针仪表读数330。
请参阅图5和图6,考虑到仪表读数中的仪表刻度321的获取与仪表指针端点坐标311的获取两个任务可以共享从图像中提取到的特征,本系统摒弃单独使用目标检测与语义分割技术来分别检测仪表指针与仪表刻度,而是创新地使用参数共享多任务学习神经网络结构来实现两种任务的同步完成。为了防止有效的语义信息丢失,每特定数量的隐藏层提取特征之后,将两个任务分支得到的特征矩阵进行线性组合,并作为下一层的输入特征,达到两种任务在不同特征阶段进行特征共享的功能。为了防止简单地累加两个任务不同阶段所得到的特征而造成的通道信息与空间信息的丢失,设计添加了空间注意力模块341与通道注意力模块342的参数共享模块340。
在空间注意力模块341中,首先将任务1中网络的第l层得到的特征F1,l∈RH×W×C和任务2中网络的第l层得到的特征F2,l∈RH×W×C沿着通道维度进行最大池化MaxPool(Fi,l)(i=1,2)与平均池化AvgPool(Fi,l)(i=1,2)操作,将结果沿着通道维度进行连接并传入卷积层进行卷积运算,得到空间注意力特征矩阵
公式(1)中的concat表示的是沿着通道维度连接操作;AvgPool(Fi,l)(i=1,2)表示的是平均池化操作;MaxPool(Fi,l)(i=1,2)表示的是最大池化操作;conv5×5表示的是卷积操作使用的是5×5的卷积核;σ表示的是sigmoid函数。
在通道注意力模块342中,为了解决空间注意力模块341可能只对特定通道有效的问题,因此需要将任务1和任务2第l层神经网络的特征矩阵 分别与各自的通道选择权重矩阵进行相乘运算,得到各通道的通道注意力特征矩阵其中通道选择权重矩阵可以通过对第l层的每一个通道的特征矩阵进行全局最大池化操作(GMP),然后沿着通道方向相连接,最后经过sigmoid函数得到。对于第l层的各个通道的特征矩阵可以从特征矩阵中获取。选择权重矩阵的计算公式如公式(2):
其中,i表示任务i(i=1,2);j表示通道编号;Fi,l,j表示任务i的第l层神经网络的第j个通道的特征矩阵;σ表示的是sigmoid函数。将得到的任务1和任务2的通道选择权重矩阵与各自任务的每一层的特征矩阵进行对应元素相乘运算,得到通道注意力特征矩阵,其计算公式如公式(3):
将得到的通道注意力特征矩阵与空间注意力特征矩阵基于广播机制broadcast进行对应元素相乘运算,可以得到增强特征矩阵将任务1和任务2得到的增强特征矩阵通过十字绣共享单元343(cross-stitch)进行参数共享,得到任务1和任务2的最优线性组合,并作为下一层神经网络的输入矩阵。
请参阅图7,根据得到的指针仪表的指针端点坐标311(xcenter,ycenter)和(xedge,yedge),其中(xcenter,ycenter)是指针的内端点坐标即指针仪表的圆心像素坐标,(xedge,yedge)是指针的外端点坐标即指针针尖的像素坐标。考虑到计算机中表示图像的像素点坐标的机制是:以图像的左上角为坐标原点,水平方向向右为x轴的正方向,垂直向下为y轴的正方向。因此为了计算此时指针的角度,需要进行坐标系空间的转换,将计算机表示图像像素点的坐标系空间转换为:以指针仪表的圆心为坐标原点,以水平方向向右为x轴的正方向,以垂直向上的方向为y轴的正方向的平面直角坐标系空间。设转换后的圆心像素点与指针针尖像素点坐标分别表示为(xcenter_transfer,ycenter_transfer),(xedge_transfer,yedge_transfer)。
根据转换后的坐标计算此时指针与x轴正半轴的夹角θ,基于OCR技术识别基于语义分割得到的数字,采用最小圆包含定点像素350的方法,将仪表盘上的数字所覆盖的像素点包含在一个最小圆中,并以圆心作为该数字的刻度像素坐标点。计算每一个刻度数字和圆心的连线li(i=1,2,3...)与x轴的正方向的夹角αi(i=1,2,3...),从而计算出指针仪表盘上的每一组相邻刻度数字组合而成的角度区间[αa,αb],确定此时指针角度θ所在区间360[a,b](a<b),并计算该刻度区间的精度370precision,根据刻度区间精度370precision以及区间上下限与x轴的正方向的夹角αa,αb,计算此时的指针仪表读数330R。
上述过程具体实施如下:
请参阅图8,如果P点像素点所在的象限为第一象限(相对于图像的中心点),那么此时P点相对于左上角计算机处理数字图像的坐标原点的坐标为(x,y),则可以得到此时的P点相对于图像的中心点的坐标为如果P点像素点所在的象限为第二象限(相对于图像的中心点),那么此时P点相对于左上角计算机处理数字图像的坐标原点的坐标为(x,y),则可以计算得到此时的P点相对于图像的中心点的坐标为如果P点像素点所在的象限为第三象限(相对于图像的中心点),那么此时P点相对于左上角计算机处理数字图像的坐标原点的坐标为(x,y),则可以计算得到此时的P点相对于图像的中心点的坐标为如果P点像素点所在的象限为第四象限(相对于图像的中心点),那么此时P点相对于左上角计算机处理数字图像的坐标原点的坐标为(x,y),则可以计算得到此时的P点相对于图像的中心点的坐标为通过对四种情况进行分析计算得到从计算机表示图像像素点的坐标系空间转换成以指针仪表的圆心为坐标原点,以水平方向向右为x轴的正方向,以垂直向上的方向为y轴的正方向的平面直角坐标系空间的转换公式为:
将转换前的指针两端点坐标应用上述公式得到转换后的两端点坐标为:
得到了指针两端点转换坐标空间之后的坐标,计算此时指针与x轴正半轴的夹角θ:
由于可能出现同一条直线上的像素点与坐标原点连线所确定的直线与x正半轴的夹角的正切值相等,但是实际上两夹角相差180度或者360度的情况,故需要根据不同的情况来来确定真实的夹角大小:如果计算得到的指针与x正半轴的夹角θ的正切值不为负数,且指针末端(针尖)的横坐标xedge_transfer>0,则此时θ值的取值范围为(弧度制),则θ值即为如果指针末端(针尖)的横坐标xedge_transfer=0且纵坐标yedge_transfer>0,则此时θ值应为(弧度制);如果指针末端(针尖)的横坐标xedge_transfer=0且纵坐标yedge_transfer<0,则此时θ值应为(弧度制);如果计算得到的指针与x正半轴的夹角θ的正切值为正数,且指针末端(针尖)的横坐标xedge_transfer<0,则此时θ值的取值范围应为(弧度制),则θ值即为如果计算得到的指针与x正半轴的夹角θ的正切值为负数,且指针末端(针尖)的横坐标xedge_transfer<0,则此时θ值的取值范围为(弧度制),则θ值即为如果计算得到的指针与x正半轴的夹角θ的正切值为负数,且指针末端(针尖)的横坐标xedge_transfer>0,则此时θ值的取值范围应为(弧度制),则应该在正切值结果的基础上加上2π,即从而得到正确值。用公式表示上述分析如下:
使用OCR技术分别检测基于语义分割得到的仪表刻度盘中的数字,采用最小圆包含定点像素350的方法来确定此时仪表刻度盘中每一个分割出来的数字对应的刻度像素坐标,计算每一个像素点坐标(xi,yi)(i=1,2,3...)的步骤如下:
S1.在像素点集中任取三个点A,B,C。
S2.以A,B,C三点作一个最小圆,那么可以保证A,B,C三点中至少有两点落在圆周上,假设落在圆周上的两点为A,B点,至于C点可能在圆周上,也可能在圆内。计算此时的初始圆circle的圆心坐标(x1,y1)。
S3.在像素点集中选取除了A,B,C三点之外的其他距离圆心点坐标(x1,y1)最远的点,为了减少算法计算量,可以缩小选取范围,从横坐标值与纵坐标值大于或者小于阈值threshold的范围中选取。假设选取的点为D点,如果D点包含在园内或者在圆周上,那么该圆即为所求圆,否则继续S4.
S4.在A,B,C,D四点中选取三点,使得由该三点确定的圆能恰好包含该四点,且半径最短。更新A,B,C三点,重新执行S2.
使用该方法计算得到仪表盘上所有刻度数字所对应的像素点坐标(xi,yi)(i=1,2,3...),进行划分读数区间,假设划分的其中一个区间为[a,b](a<b),且此时指针指向该区间,其中a,b均为刻度数值,则该区间的精度为:
式中,αa,αb分别表示上下限a,b和圆心连线la,lb与x轴正半轴的夹角。夹角αa,αb根据a,b所对应的像素点的坐标值(xa,ya)、(xb,yb)以及仪表盘圆心的坐标值(0,0)计算而来,计算公式同公式9。
结合上下限a,b与圆心连线la,lb和x正半轴的夹角αa,αb计算得此时指针仪表的读数R为:
R=a+(θ-αa)×precision (11)
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (4)
1.一种仪表识别与读数智能系统,其特征在于,包括履带型机器车实体模块、无线充电模块、仪表识别与读数模块,所述仪表识别与读数模块包括参数共享模块:
所述履带型机器车实体模块用于承载所述无线充电模块和所述仪表识别与读数模块;
所述无线充电模块采用电磁感应式无线充电,用于对所述履带型机器车实体模块进行续航,无线充电位置能设定,履带型机器车能导航至充电点,开启无线充电,保证其能完成既定监测任务;
所述仪表识别与读数模块用于对仪表进行读数,所述仪表识别与读数模块包括任务一分支单元和任务二分支单元,所述任务一分支单元用于检测指针端点坐标,并计算出此时指针角度,所述任务二分支单元用于获取仪表刻度,并得到量化的刻度信息,结合所述任务一分支单元和所述任务二分支单元得出指针仪表读数;
所述参数共享模块用于防止有效的语义信息丢失,每特定数量的隐藏层提取特征之后,将所述任务一分支单元和所述任务二分支单元得到的特征矩阵进行线性组合,并作为下一层的输入特征,达到两种任务在不同特征阶段进行特征共享;所述参数共享模块包括空间注意力模块和通道注意力模块,所述空间注意力模块用于得到空间注意力特征矩阵,所述通道注意力模块用于得到通道注意力特征矩阵;
在所述空间注意力模块中,空间注意力特征矩阵为:
其中,i表示任务,l表示层数,concat表示沿着通道维度连接操作,Fi,l表示任务i网络的第l层得到的特征,AvgPool(Fi,l)表示平均池化操作,MaxPool(Fi,l)表示最大池化操作;conv5×5表示卷积操作使用的是5×5的卷积核;σ表示sigmoid函数;
在所述通道注意力模块中,选择权重矩阵的计算公式为:
其中,i表示任务;j表示通道编号;Fi,l,j表示任务i的第l层神经网络的第j个通道的特征矩阵;
通道注意力特征矩阵的公式为:
2.如权利要求1所述的仪表识别与读数智能系统,其特征在于,
所述履带型机器车实体模块包括主控模块和机载环境监测及传感器模块,所述机载环境监测及传感器模块用于对周围环境进行检测,所述主控模块对所述机载环境监测及传感器模块进行控制。
3.如权利要求2所述的仪表识别与读数智能系统,其特征在于,
所述履带型机器车实体模块还包括网络连接模块和后轮控制模块,所述网络连接模块包括网络通信模块和自组网模块;
所述网络通信模块与所述主控模块相连接,所述网络通信模块用于将所述仪表读数传送至云服务器,所述网络通信模块为Wi-Fi通信模块;
所述自组网模块与所述主控模块相连接,所述主控模块将信号传输至所述自组网模块,所述自组网模块通过安放在工厂里的协调器对工厂抽风机上的环境传感器进行控制,所述自组网模块为ZigBee通信模块;
所述后轮控制模块与所述主控模块相连接,所述后轮控制模块控制后轮驱动电机并通过PID控制算法控制后轮转速及里程,以控制机器车行进。
4.如权利要求3所述的仪表识别与读数智能系统,其特征在于,
所述无线充电模块包括发送器和接收器;
所述发送器包括发送控制器、发送驱动器、无线充电发送线圈和交直流转换电路,所述交直流转换电路的输出端连接所述发送驱动器的输入端,所述发送驱动器的输出端连接所述发送控制器的输入端,所述发送控制器将电流电压转换为符合充电标准的电流电压,所述发送控制器的输出端连接所述无线充电发送线圈;
所述接收器包括无线充电接收线圈、高频交直流整流器、接收控制器和电压调节电路,所述无线充电接收线圈的输出端连接所述高频交直流整流器的输入端,所述高频交直流整流器的输出端经由所述电压调节电路与所述主控模块的电源端连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011543584.9A CN112688438B (zh) | 2020-12-24 | 2020-12-24 | 仪表识别与读数智能系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011543584.9A CN112688438B (zh) | 2020-12-24 | 2020-12-24 | 仪表识别与读数智能系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112688438A CN112688438A (zh) | 2021-04-20 |
CN112688438B true CN112688438B (zh) | 2022-09-23 |
Family
ID=75451391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011543584.9A Active CN112688438B (zh) | 2020-12-24 | 2020-12-24 | 仪表识别与读数智能系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112688438B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113452962B (zh) * | 2021-06-22 | 2022-08-05 | 北京邮电大学 | 一种具有空间协同感知的数据中心增强巡检系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2721396A1 (fr) * | 1994-06-15 | 1995-12-22 | Jaeger | Dispositif indicateur, notamment pour véhicules automobiles, comprenant une aiguille indicatrice. |
CN106873578A (zh) * | 2017-04-27 | 2017-06-20 | 南通大学 | 无人作业智能船装置及控制系统 |
CN111582201A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于几何注意力感知的车道线检测系统 |
CN111914938A (zh) * | 2020-08-06 | 2020-11-10 | 上海金桥信息股份有限公司 | 一种基于全卷积二分支网络的图像属性分类识别方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700349B (zh) * | 2015-03-31 | 2017-08-25 | 武汉大学 | 一种挑花图案数字化精确采集方法 |
CN105446336A (zh) * | 2015-12-08 | 2016-03-30 | 哈尔滨工业大学 | 一种用于寒地变电站的机器人巡检系统及巡检方法 |
CN207037452U (zh) * | 2017-07-03 | 2018-02-23 | 安徽师范大学 | 一种基于ZigBee的无线检测节点系统 |
CN108267172B (zh) * | 2018-01-25 | 2020-06-30 | 神华宁夏煤业集团有限责任公司 | 矿用智能机器人巡检系统 |
CN109599945A (zh) * | 2018-11-30 | 2019-04-09 | 武汉大学 | 一种智慧电厂自主巡检机器人巡检系统及方法 |
CN110163302B (zh) * | 2019-06-02 | 2022-03-22 | 东北石油大学 | 基于正则化注意力卷积神经网络的示功图识别方法 |
-
2020
- 2020-12-24 CN CN202011543584.9A patent/CN112688438B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2721396A1 (fr) * | 1994-06-15 | 1995-12-22 | Jaeger | Dispositif indicateur, notamment pour véhicules automobiles, comprenant une aiguille indicatrice. |
CN106873578A (zh) * | 2017-04-27 | 2017-06-20 | 南通大学 | 无人作业智能船装置及控制系统 |
CN111582201A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于几何注意力感知的车道线检测系统 |
CN111914938A (zh) * | 2020-08-06 | 2020-11-10 | 上海金桥信息股份有限公司 | 一种基于全卷积二分支网络的图像属性分类识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112688438A (zh) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
CN110119698B (zh) | 用于确定对象状态的方法、装置、设备和存储介质 | |
CN110928301B (zh) | 一种检测微小障碍的方法、装置及介质 | |
JP2022553248A (ja) | 自律的な乗り物のリアルタイムの位置特定のための方法およびシステム | |
US20190243376A1 (en) | Actively Complementing Exposure Settings for Autonomous Navigation | |
CN107730993A (zh) | 基于图像再识别的停车场智能寻车系统及方法 | |
CN109116298B (zh) | 一种定位方法、存储介质及定位系统 | |
CN107421540A (zh) | 一种基于视觉的移动机器人导航方法及系统 | |
CN112946609B (zh) | 激光雷达与相机的标定方法、装置、设备及可读存储介质 | |
CN210377164U (zh) | 一种空地协同作业系统 | |
Balta et al. | Terrain traversability analysis for off-road robots using time-of-flight 3d sensing | |
CN112688438B (zh) | 仪表识别与读数智能系统 | |
CN116757350B (zh) | 一种无人叉车集群调度处理系统 | |
TW201819225A (zh) | 載具控制系統及載具控制方法 | |
CN111273701A (zh) | 一种云台视觉控制系统以及控制方法 | |
CN113804182B (zh) | 一种基于信息融合的栅格地图创建方法 | |
CN117077073A (zh) | 一种多模态数据的处理方法及相关装置 | |
CN212721458U (zh) | 定位设备及包括定位设备的车辆 | |
CN113790728A (zh) | 一种基于视觉里程计的松耦合多传感器融合定位算法 | |
CN206832260U (zh) | 一种基于视觉的移动机器人导航系统 | |
US20230103178A1 (en) | Systems and methods for onboard analysis of sensor data for sensor fusion | |
CN113312403B (zh) | 地图获取方法、装置、电子设备及存储介质 | |
CN114721377A (zh) | 一种基于改进Cartographer的SLAM的室内导盲机器人控制方法 | |
Jiao et al. | Global self-localization of redundant robots based on visual tracking | |
CN110738706B (zh) | 一种基于航迹推测的快速机器人视觉定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210420 Assignee: Guilin Qinghong Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2022450000416 Denomination of invention: Instrument Identification and Reading Intelligent System Granted publication date: 20220923 License type: Common License Record date: 20221227 |
|
EE01 | Entry into force of recordation of patent licensing contract |