CN105787514B - 基于红外视觉匹配的温度检测方法 - Google Patents

基于红外视觉匹配的温度检测方法 Download PDF

Info

Publication number
CN105787514B
CN105787514B CN201610118307.0A CN201610118307A CN105787514B CN 105787514 B CN105787514 B CN 105787514B CN 201610118307 A CN201610118307 A CN 201610118307A CN 105787514 B CN105787514 B CN 105787514B
Authority
CN
China
Prior art keywords
infrared
measurand
visual pattern
template
infrared visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610118307.0A
Other languages
English (en)
Other versions
CN105787514A (zh
Inventor
程敏
赵伟
许春山
兰新力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijiahe Technology Co Ltd
Original Assignee
Yijiahe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijiahe Technology Co Ltd filed Critical Yijiahe Technology Co Ltd
Priority to CN201610118307.0A priority Critical patent/CN105787514B/zh
Publication of CN105787514A publication Critical patent/CN105787514A/zh
Application granted granted Critical
Publication of CN105787514B publication Critical patent/CN105787514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提供的基于红外视觉匹配的温度检测方法，包括模板学习阶段和实际检测阶段；模板学习阶段：拍摄被测对象的红外视觉图像，将红外视觉图像与附加信息作为被测对象模板存储；实际检测阶段；根据被测对象模板中的附加信息，拍摄被测对象的红外视觉图像，判断该红外视觉图像与被测对象模板是否匹配，如果匹配，则在该红外视觉图像中提取被测对象当前的温度场。在电站无人化运维中，利用巡检机器人在电站中全天候来回巡检，对电站设备温度进行远距离无接触测量，绘制物体各个部分温度场。

Description

基于红外视觉匹配的温度检测方法
技术领域
本发明属于电站设备温度检测技术领域，涉及一种基于红外视觉匹配的温度检测方法。
背景技术
目前基于视觉图像和模式识别的物体跟踪和识别的应用已经很多，在机器人应用领域也有较多，比如一些服务型的机器人可以通过视觉传感器加上图像处理算法实现对人面部表情的区分，从而分析人的情感变化。其采用的可见光图像采集器信息比较丰富。对于室外作业的电站巡检机器人，采用可见光呈像无法实现全天候的巡检。
中国发明专利CN102278977A《机器鱼红外视觉定位系统》公开了一种红外视觉在定位方面的应用方案，一种机器鱼的红外视觉定位系统包括红外灯标，由安装在机器鱼背部的红外点组成；摄像机，用于捕捉红外灯标的图像信息；图像采集卡，用于实时获取摄像机拍摄的图像；图像分析单元，对图像采集卡获取的图像进行预处理，将图像的背景与红外点像素分离,并将红外点像素聚成一个连通点域；灯标检测单元,针对每个连通点域检测出其中单个红外点的图像点域，采用层次聚类法检测出每条机器鱼背上的多个红外点组成的灯标，将检测出的灯标与预定的灯标模式进行比对，如果能够与预定的灯标模式对应,则记录该检测出的灯标的图像坐标；视觉定位单元,根据单应矩阵和所述图像坐标来计算灯标的世界坐标。该发明也使用到了模式匹配，从而确定目标在图像中的坐标，在通过图像坐标和现实世界坐标变换得到目标真实位置，但不能真正的获得目标的温度场。该定位系统需要在被测对象上加装相应的红外灯标，因而当目标较多不易加装或者目标上不适合加装红外灯标时，该定位系统就不适应了。同时，被测对象要求在红外摄像机一定的视角范围内。
中国发明专利文献CN201410389476《基于图像数据库和巡检机器人的设备故障检测方法》公开的方法中，巡检机器人配备可同步进行拍摄的可见光摄像头和热成像摄像头，设定巡检机器人在变电站的巡检线路，并在巡检线路上设定多个巡检机器人的停靠位，在每个停靠位设定多个巡检机器人的拍摄角度，在不同天气状态和时间条件下将巡检机器人在每个停靠位上每个拍摄角度拍摄的可见光图像进存储，然后建立以停靠位、拍摄角度、天气状态和时间为限定条件的图像数据库，并在图像数据库内每个可见光图像中标定其所含设备的位置、编号和温度阈值信息。需要加装可见光摄像机，无法在夜间进行拍摄定位，并且对控制器的存储系统和计算能力有额外的开销。
发明内容
为解决现有技术存在的问题，本发明提供一种全天候有效实施的基于红外视觉匹配的温度检测方法，在电站无人化运维中，利用巡检机器人在电站中来回巡检，对电站设备温度进行远距离无接触测量，绘制物体各个部分温度场。
本发明提供的基于红外视觉匹配的温度检测方法，包括模板学习阶段和实际检测阶段；模板学习阶段：拍摄被测对象的红外视觉图像，将红外视觉图像与附加信息作为被测对象模板存储；实际检测阶段；根据被测对象模板中的附加信息，拍摄被测对象的红外视觉图像，判断该红外视觉图像与被测对象模板是否匹配，如果匹配，则在该红外视觉图像中提取被测对象当前的温度场。附加信息包括拍摄位置坐标、拍摄角度、被测对象编号等信息。红外视觉图像提取、匹配可采用边缘检测算法实现。
本发明可利用巡检机器人对被测对象进行图像采集，在模板学习阶段，采集被测对象红外视觉图像，并进行模板存储，在实际检测阶段，巡检机器人根据被测对象模板信息在实际现场拍摄被测对象的红外视觉图像，并将该红外视觉图像与被测对象模板进行比较，如果两者匹配，则在图像中提取温度场。
在模板学习阶段进行模板存储时，既可以由人工选择，也可以进行自动选择，如，巡检机器人针对被测对象拍摄多张红外视觉图像，使用边缘检测算法自动提取各图像，由调试人员根据任务需求从中挑选一个轮廓清晰且区分度较大的作为模板存储；也可以将红外视觉图像与物体模型进行匹配，提取该红外视觉图像中与物体模型匹配的部分，并将其与附加信息一并作为被测对象模板存储。
电站的设备比较密集，单张图片可能包含多个被测对象，在模板学习阶段，将红外视觉图像与多个物体模型匹配，分别提取与各物体模型匹配的部分，并分别与附加信息一并存储为多个被测对象模板，提高工作效率。在实际检测阶段，拍摄到的被测对象的红外视觉图像中包含多个被测对象，将该红外视觉图像与多个被测对象模板进行匹配判断，如果该红外视觉图像中的其中一部分与其中一个被测对象模板匹配，则提取该红外视觉图像中相应部分当前的温度场。
由于拍摄的图片可能包含其他被测对象，在实际检测阶段，判断红外视觉图像与被测对象模板是否匹配具体为：判断红外视觉图像是否包含被测对象模板。
受到拍摄位置偏差、天气、日照强度环境、镜头老化等因素影响，在实际检测阶段，拍摄到的图像可能与被测对象模板不匹配，如果不匹配，则重新拍摄被测对象的红外视觉图像，直至该红外视觉图像与被测对象模板匹配；在模板学习阶段，如果红外视觉图像与物体模型无法匹配，则重新拍摄被测对象的红外视觉图像，直至红外视觉图像与物体模型匹配。
为提高效率，减少巡检机器人在模板学习阶段与服务器的通信，所述附加信息预先存储在巡检机器人的导航地图数据库中。
本发明具有以下有益效果：
(1)红外视觉的无接触测量方式在巡检机器人移动载体上适用度高，被测对象可以是普通环境下轮廓明显的物体，在电站无人化运维中，巡检机器人依据内置地图在电站中来回巡检即可；选用红外视觉检测方案，能够实现无接触测量，对可见光无依赖，可以全天候进行检测。。硬件系统简单，只需要一个红外摄像机放置在机器人云台上，软件系统可定制、重构性高。
(2)模板匹配识别目标能快速学习新的模板，目标提取算法准确度较高，目标匹配算法快速准确，很好地增强了机器人的适应范围。使用目标提取算法，如边缘检测算法，可以提取红外视觉图像中的被测对象红外图像轮廓特征，对被测对象的外形、角度等依赖程度低。在检测时通过前期学习到的模板，在拍摄到的图像中匹配被测对象，分析被测对象本身及其周边环境的红外图像信息来获取温度场信息，大大增强了对设备故障类型及运行状态检测的准确性、实时性。目标提取后可以准确分析整个物体温度场分布，从而精确诊断对变电站设备的状态。
附图说明
图1为本发明流程图；
图2为实际被测对象现场图；
图3为模板学习阶段的红外图像；
图4为模板提取图；
图5为目标提取图。
具体实施方式
图1描述了本发明的具体流程，将热呈像仪安装在巡检机器人上，在模板学习阶段，巡检机器人根据检测需求移动到相应位置处，拍摄被测对象的红外视觉图像，提取红外视觉图像特征、封装附加信息(如，拍摄位置坐标、拍摄角度、模板编号等)，将红外视觉图像特征、附加信息一并作为被测对象模板存储。如果被测对象模板存储失败，如红外视觉图像特征提取失败等，则调整采样位置重新拍摄红外视觉图像，直至模板存储成功。在实际检测阶段，巡检机器人根据检测对象的位置信息拍摄红外图像，再使用模板学习阶段存储的被测对象模板来匹配红外图像中的被测对象区域，在识别的目标区域中提取温度信息；如果匹配失败，则巡检机器人调整位置后重新拍摄红外图像。
图2为实际被测对象现场图，设备比较密集，有几个对象的轮廓相似度较高，在不同的巡检任务下巡检的部件及参数不同，基于视觉的检测方法需要从图像中提取位置、目标特征、被测参数等数据，而图像的质量和参数受多种因素影响。在模板学习阶段前，设置采样点时尽量选取角度正对，各个目标轮廓区分度较大的区域，巡检机器人运动到图像采样点后，使热呈像仪可以清晰地拍摄被测对象的图像。
图3为模板学习阶段控制机器人在采样点通过热呈像仪采集到的一副包含被测对象的红外影像图，每张红外影像图对应一个数据文件，记录了图中每个像素对应温度的数字量信号值。学习开始时采样点的坐标可以一次性输入巡检机器人导航地图数据库中或者在巡检机器人运动过程中逐个选取。
如图4所示，使用边缘检测算法自动提取图3中的红外图像，调试人员根据任务需求挑选一个轮廓清晰的且区分度较大的、与拍摄位置坐标、云台角度信息、编号等一并作为被测对象模板存储仅模板数据库中。由于电站设备较多且布置密集，同一红外图像中可能具有多个被测对象，在模板学习阶段，拍摄被测对象的红外视觉图像后，将该红外视觉图像与物体模型进行匹配，提取该红外视觉图像中与物体模型匹配的部分，并将其与附加信息一并作为被测对象模板存储，如图4中矩形框圈出的部分即为需要提取的图像部分。对于单幅红外视觉图像中含有多个被测对象的情况，还可将该红外视觉图像与多个物体模型匹配，分别提取与各物体模型匹配的部分，并分别与附加信息一并存储为多个被测对象模板。受到拍摄位置偏差、天气、日照强度环境、镜头老化等因素的影响，可能存在红外图像与物体模型无法匹配的情形，则需要重新拍摄被测对象的红外视觉图像。
图5为实际测量过程中，巡检机器人根据采样路径中的位置依次进行检测，机器人根据其内部的路径规划算法运动到检测位置后，根据检测位置处学习到的云台角度信息(拍摄角度)调整好云台，拍摄红外图像；再依据该位置对应的被测对象模板的边缘特征在红外图像中匹配被测对象的图像区域，提取该图像区域的温度场，对其故障或运行状态进行分析判断，如图5中的矩形框圈出的区域即为与被测对象模板匹配的区域。呈像效果受诸如拍摄位置偏差、天气、日照强度环境、镜头老化等因素的影响，在一次匹配度满足设计要求时匹配有效，在匹配度较低时，使用多次拍摄、标识、结果取平均等方法提高匹配度，例如，重新拍摄红外图像再进行匹配。在实际检测阶段，单幅红外视觉图像可能含有多个被测对象，将将多个被测对象模板的边缘特征分别与该红外视觉图像匹配，如果其中一个被测图像模板在红外视觉图像中匹配到对应的图像区域，则提取该红外视觉图像中相应部分当前的温度场。

Claims (7)

1.一种基于红外视觉匹配的温度检测方法，其特征在于：包括模板学习阶段和实际检测阶段；
模板学习阶段：拍摄被测对象的红外视觉图像，将该红外视觉图像与物体模型进行匹配，提取该红外视觉图像中与物体模型匹配的部分，并将其与附加信息一并作为被测对象模板存储；如果红外视觉图像与物体模型无法匹配，则重新拍摄被测对象的红外视觉图像，直至红外视觉图像与物体模型匹配；
实际检测阶段；根据被测对象模板中的附加信息，拍摄被测对象的红外视觉图像，判断该红外视觉图像与被测对象模板是否匹配，如果匹配，则在该红外视觉图像中提取被测对象当前的温度场；判断红外视觉图像与被测对象模板是否匹配具体为：判断红外视觉图像是否包含被测对象模板。
2.如权利要求1所述的基于红外视觉匹配的温度检测方法，其特征在于：在模板学习阶段，拍摄到的被测对象的红外视觉图像中含有多个被测对象，将该红外视觉图像与多个物体模型匹配，分别提取与各物体模型匹配的部分，并分别与附加信息一并存储为多个被测对象模板。
3.如权利要求1所述的基于红外视觉匹配的温度检测方法，其特征在于：在实际检测阶段，拍摄到的被测对象的红外视觉图像中包含多个被测对象，将该红外视觉图像与多个被测对象模板进行匹配判断，如果该红外视觉图像中的其中一部分与其中一个被测对象模板匹配，则提取该红外视觉图像中相应部分当前的温度场。
4.如权利要求1-3任一权利要求所述的基于红外视觉匹配的温度检测方法，其特征在于：在实际检测阶段，如果不匹配，则重新拍摄被测对象的红外视觉图像，直至该红外视觉图像与被测对象模板匹配。
5.如权利要求1-3任一权利要求所述的基于红外视觉匹配的温度检测方法，其特征在于：所述附加信息包括拍摄位置坐标、拍摄角度信息。
6.如权利要求1-3任一权利要求所述的基于红外视觉匹配的温度检测方法，其特征在于：所述附加信息预先存储在巡检机器人的导航地图数据库中。
7.如权利要求1-3任一权利要求所述的基于红外视觉匹配的温度检测方法，其特征在于：采用边缘检测算法进行红外视觉图像提取、匹配。
CN201610118307.0A 2016-03-02 2016-03-02 基于红外视觉匹配的温度检测方法 Active CN105787514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610118307.0A CN105787514B (zh) 2016-03-02 2016-03-02 基于红外视觉匹配的温度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610118307.0A CN105787514B (zh) 2016-03-02 2016-03-02 基于红外视觉匹配的温度检测方法

Publications (2)

Publication Number Publication Date
CN105787514A CN105787514A (zh) 2016-07-20
CN105787514B true CN105787514B (zh) 2019-11-15

Family

ID=56386870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610118307.0A Active CN105787514B (zh) 2016-03-02 2016-03-02 基于红外视觉匹配的温度检测方法

Country Status (1)

Country Link
CN (1) CN105787514B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112013835B (zh) * 2020-09-21 2022-08-26 珠海格力智能装备有限公司 地图装置、导航车、服务器、存储介质、导航系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101972140A (zh) * 2010-09-07 2011-02-16 航天海鹰安全技术工程有限公司 热成像体温监控装置、系统及方法
US9577173B2 (en) * 2013-05-16 2017-02-21 University Of Notre Dame Du Lac Mono-metallic thermocouples
CN104253482A (zh) * 2014-08-08 2014-12-31 济南大学 基于图像数据库和巡检机器人的设备故障检测方法

Also Published As

Publication number Publication date
CN105787514A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN106125744B (zh) 基于视觉伺服的变电站巡检机器人云台控制方法
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN109887040B (zh) 面向视频监控的运动目标主动感知方法及系统
CN107229930B (zh) 一种指针式仪表数值智能识别方法
CN109977813A (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CA3100569A1 (en) Ship identity recognition method base on fusion of ais data and video data
CN109765930A (zh) 一种无人机视觉导航系统
Merino et al. Vision-based multi-UAV position estimation
CN102819847B (zh) 基于ptz移动摄像头的运动轨迹提取方法
US20110025834A1 (en) Method and apparatus of identifying human body posture
CN108447091A (zh) 目标定位方法、装置、电子设备及存储介质
CN105741379A (zh) 一种变电站全景巡检方法
CN103941746A (zh) 无人机巡检图像处理系统及方法
CN110910460B (zh) 一种获取位置信息的方法、装置及标定设备
CN105844659B (zh) 运动部件的跟踪方法和装置
CN110850723A (zh) 一种基于变电站巡检机器人系统的故障诊断及定位方法
CN104253482A (zh) 基于图像数据库和巡检机器人的设备故障检测方法
CN110084243A (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN110084842B (zh) 一种机器人云台伺服二次对准方法及装置
CN106303409B (zh) 一种目标对象联合跟踪方法及目标对象联合跟踪装置
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
CN111832760B (zh) 一种基于视觉算法的井盖自动巡检方法
CN109409250A (zh) 一种基于深度学习的无交叠视域跨摄像机行人再识别方法
CN105787514B (zh) 基于红外视觉匹配的温度检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant