CN111738082A - 基于机器视觉自动跟踪定位火灾火源点的识别方法和装置 - Google Patents

基于机器视觉自动跟踪定位火灾火源点的识别方法和装置 Download PDF

Info

Publication number
CN111738082A
CN111738082A CN202010430901.XA CN202010430901A CN111738082A CN 111738082 A CN111738082 A CN 111738082A CN 202010430901 A CN202010430901 A CN 202010430901A CN 111738082 A CN111738082 A CN 111738082A
Authority
CN
China
Prior art keywords
fire source
fire
source point
image
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010430901.XA
Other languages
English (en)
Inventor
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202010430901.XA priority Critical patent/CN111738082A/zh
Publication of CN111738082A publication Critical patent/CN111738082A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于机器视觉自动跟踪定位火灾火源点的识别方法和装置，具体包括以下步骤：步骤S1：双目红外热成像仪采集火灾现场图像；步骤S2：火灾现场图像经过预处理后，根据图像分割算法分割出火源点图像信息；步骤S3：根据基于聚类的图像自动阈值算法，对火源点图像进行聚类并提取火源点特征；步骤S4：根据提取的火源点特征，采用深度学习方法构建火源点识别器，通过火源点识别器对火灾现场图像中的火源点进行识别；步骤S5：根据识别出的火源点在双目红外热成像仪的两幅火灾现场图像中的视差，通过三角测量原理测定火源点的三维空间坐标。与现有技术相比，本发明具有提高火源点定位的精准度和消防灭火机器人的实战化应用性能等优点。

Description

基于机器视觉自动跟踪定位火灾火源点的识别方法和装置
技术领域
本发明涉及消防装备领域，尤其是涉及一种基于机器视觉自动跟踪定位火灾火源点的识别方法和装置。
背景技术
常规消防灭火机器人的智能化水平较低，特别是操作消防灭火机器人的消防炮瞄准火源点位置时，瞄准效率完全取决于操作人员对于消防灭火机器人的熟练程度，降低了火灾救援的时效性。本发明针对此种情况，提出一种基于机器视觉自动跟踪定位火灾火源点的识别方法。
现有技术公开了一种轮式消防机器人自主瞄准灭火方法，通过视频火焰检测确定火源的重心，测量火源重心与机器人夹角，根据三角函数计算出火源重心在三维空间的位置，综合控制移动消防机器人、消防炮的初速度和流量，使火源重心位于消防炮水射流的轨迹上达到精准灭火的效果。但测量过程中机器人需要移动，使测量结果受移动过程所产生的误差的影响，在不平整的路面时灭火效果受影响较大。
发明内容
本发明的目的就是为了克服上述现有技术存在的消防灭火机器人灭火精准度不足的缺陷而提供一种基于机器视觉自动跟踪定位火灾火源点的识别方法和装置。
本发明的目的可以通过以下技术方案来实现：
一种基于机器视觉自动跟踪定位火灾火源点的识别方法，具体包括以下步骤：
步骤S1：双目红外热成像仪采集火灾现场图像；
步骤S2：所述火灾现场图像经过预处理后，根据图像分割算法从火灾现场图像中分割出火源点图像信息；
步骤S3：根据基于聚类的图像自动阈值算法，对所述火源点图像进行聚类并提取火源点特征；
步骤S4：根据提取的火源点特征，采用深度学习方法构建火源点识别器，通过所述火源点识别器对火灾现场图像中的火源点进行识别；
步骤S5：根据识别出的火源点在所述双目红外热成像仪的两幅火灾现场图像中的视差，通过三角测量原理测定所述火源点的三维空间坐标。
所述火灾现场图像的预处理包括对火灾现场图像进行滤波和降噪处理，提升图像质量，为后续图像处理奠定基础。
所述步骤S1中火灾现场图像包括左红外相机拍摄的第一火灾现场图像和右红外相机拍摄的第二火灾现场图像。
所述步骤S2中图像分割算法具体为Canny边界检测算法。
进一步地，所述步骤S2中火源点图像信息具体为经所述Canny边界检测算法提取的火源点轮廓信息。
所述基于聚类的图像自动阈值算法具体为分层聚类算法。
所述步骤S5中三角测量原理具体如下：
Figure BDA0002500544420000022
其中，(xc,yc,zc)为火源点在左红外相机下的成像坐标，P1(u1,v1)和P2(u2,v2)分别为火源点在双目红外热成像仪的成像平面中的投影点，f为双目红外热成像仪的焦距，σx,σy,uo,vo为单个像素尺寸和像素中心，B为双目红外热成像仪的中心距。
进一步地，根据所述三角测量原理，所述火源点在左红外相机下的成像坐标具体为：
Figure BDA0002500544420000021
同理可求出火源点在右红外相机下的成像坐标。
进一步地，所述火源点的三维空间坐标为基于双目红外热成像仪坐标系的三维空间坐标。
一种使用所述基于机器视觉自动跟踪定位火灾火源点的识别方法的装置，包括存储器和处理器，所述识别方法以计算机程序的形式存储于存储器中，并由处理器执行，执行时实现以下步骤：
步骤S1：双目红外热成像仪采集火灾现场图像；
步骤S2：所述火灾现场图像经过预处理后，根据图像分割算法从火灾现场图像中分割出火源点图像信息；
步骤S3：根据基于聚类的图像自动阈值算法，对所述火源点图像进行聚类并提取火源点特征；
步骤S4：根据提取的火源点特征，采用深度学习方法构建火源点识别器，通过所述火源点识别器对火灾现场图像中的火源点进行识别；
步骤S5：根据识别出的火源点在所述双目红外热成像仪的两幅火灾现场图像中的视差，通过三角测量原理测定所述火源点的三维空间坐标。
与现有技术相比，本发明具有以下有益效果：
1.本发明通过双目红外热成像仪对火灾现场图像进行采集，可以在消防机器人不移动的情况下对火源点进行定位，避免了消防机器人在移动中由于地面因素产生误差，提高了火源点定位的精准度。
2.本发明对火源点图像进行聚类并提取火源点特征，采用深度学习方法构建火源点识别器，可以对火源点进行快速识别，减少了后续识别火源点的时间，提高了消防机器人的灭火效率。
附图说明
图1为本发明的工作原理示意图；
图2为本发明的流程示意图；
图3为本发明三角测量计算火源点坐标的原理示意图。
附图标记：
1-火灾现场；2-双目红外热成像仪；3-视频采集板卡；4-视频处理计算机。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1和图2所示，一种基于机器视觉自动跟踪定位火灾火源点的识别方法，提高火源点定位的精准度，提高消防灭火机器人的实战化应用性能，并为消防灭火机器人的智能化研究提供实验和理论参考依据，具体包括以下步骤：
步骤S1：双目红外热成像仪2采集火灾现场1的火灾现场图像；
步骤S2：火灾现场图像传输至视频采集板卡3，经过预处理后，由视频处理计算机4根据图像分割算法从火灾现场图像中分割出火源点图像信息；
步骤S3：根据基于聚类的图像自动阈值算法，对火源点图像进行聚类并提取火源点特征；
步骤S4：根据提取的火源点特征，采用深度学习方法构建火源点识别器，通过火源点识别器对火灾现场图像中的火源点进行识别；
步骤S5：根据识别出的火源点在双目红外热成像仪的两幅火灾现场图像中的视差，通过三角测量原理测定火源点的三维空间坐标。
火灾现场图像的预处理包括对火灾现场图像进行滤波和降噪处理，提升图像质量，为后续图像处理奠定基础。
步骤S1中火灾现场图像包括左红外相机拍摄的第一火灾现场图像和右红外相机拍摄的第二火灾现场图像。
步骤S2中图像分割算法具体为Canny边界检测算法。
步骤S2中火源点图像信息具体为经Canny边界检测算法提取的火源点轮廓信息。
基于聚类的图像自动阈值算法具体为分层聚类算法。
如图3所示，步骤S5中三角测量原理具体如下：
Figure BDA0002500544420000041
其中，(xc,yc,zc)为火源点在左红外相机下的成像坐标，P1(u1,v1)和P2(u2,v2)分别为火源点在双目红外热成像仪的成像平面中的投影点，f为双目红外热成像仪的焦距，σx,σy,uo,vo为单个像素尺寸和像素中心，B为双目红外热成像仪2的中心距。
根据三角测量原理，火源点在左红外相机下的成像坐标具体为：
Figure BDA0002500544420000051
同理可求出火源点在右红外相机下的成像坐标。
火源点的三维空间坐标为基于双目红外热成像仪坐标系的三维空间坐标。
一种使用基于机器视觉自动跟踪定位火灾火源点的识别方法的装置，包括存储器和处理器，存储器包括视频采集板卡3，处理器包括视频处理计算机4，识别方法以计算机程序的形式存储于存储器中，并由处理器执行，执行时实现以下步骤：
步骤S1：双目红外热成像仪2采集火灾现场1的火灾现场图像；
步骤S2：火灾现场图像传输至视频采集板卡3，经过预处理后，由视频处理计算机4根据图像分割算法从火灾现场图像中分割出火源点图像信息；
步骤S3：根据基于聚类的图像自动阈值算法，对火源点图像进行聚类并提取火源点特征；
步骤S4：根据提取的火源点特征，采用深度学习方法构建火源点识别器，通过火源点识别器对火灾现场图像中的火源点进行识别；
步骤S5：根据识别出的火源点在双目红外热成像仪的两幅火灾现场图像中的视差，通过三角测量原理测定火源点的三维空间坐标。
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等小变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于机器视觉自动跟踪定位火灾火源点的识别方法，其特征在于，具体包括以下步骤：
步骤S1：双目红外热成像仪(2)采集火灾现场图像；
步骤S2：所述火灾现场图像经过预处理后，根据图像分割算法从火灾现场图像中分割出火源点图像信息；
步骤S3：根据基于聚类的图像自动阈值算法，对所述火源点图像进行聚类并提取火源点特征；
步骤S4：根据提取的火源点特征，采用深度学习方法构建火源点识别器，通过所述火源点识别器对火灾现场图像中的火源点进行识别；
步骤S5：根据识别出的火源点在所述双目红外热成像仪的两幅火灾现场图像中的视差，通过三角测量原理测定所述火源点的三维空间坐标。
2.根据权利要求1所述的一种基于机器视觉自动跟踪定位火灾火源点的识别方法，其特征在于，所述火灾现场图像的预处理包括对火灾现场图像进行滤波和降噪处理。
3.根据权利要求1所述的一种基于机器视觉自动跟踪定位火灾火源点的识别方法，其特征在于，所述步骤S1中火灾现场图像包括左红外相机拍摄的第一火灾现场图像和右红外相机拍摄的第二火灾现场图像。
4.根据权利要求1所述的一种基于机器视觉自动跟踪定位火灾火源点的识别方法，其特征在于，所述步骤S2中图像分割算法具体为Canny边界检测算法。
5.根据权利要求4所述的一种基于机器视觉自动跟踪定位火灾火源点的识别方法，其特征在于，所述步骤S2中火源点图像信息具体为经所述Canny边界检测算法提取的火源点轮廓信息。
6.根据权利要求1所述的一种基于机器视觉自动跟踪定位火灾火源点的识别方法，其特征在于，所述基于聚类的图像自动阈值算法具体为分层聚类算法。
7.根据权利要求1所述的一种基于机器视觉自动跟踪定位火灾火源点的识别方法，其特征在于，所述步骤S5中三角测量原理具体如下：
Figure FDA0002500544410000021
其中，(xc,yc,zc)为火源点在左红外相机下的成像坐标，P1(u1,v1)和P2(u2,v2)分别为火源点在双目红外热成像仪的成像平面中的投影点，f为双目红外热成像仪的焦距，σx,σy,uo,vo为单个像素尺寸和像素中心，B为双目红外热成像仪(2)的中心距。
8.根据权利要求7所述的一种基于机器视觉自动跟踪定位火灾火源点的识别方法，其特征在于，根据所述三角测量原理，所述火源点在左红外相机下的成像坐标具体为：
Figure FDA0002500544410000022
9.根据权利要求7所述的一种基于机器视觉自动跟踪定位火灾火源点的识别方法，其特征在于，所述火源点的三维空间坐标为基于双目红外热成像仪坐标系的三维空间坐标。
10.一种使用权利要求1-9任一所述的基于机器视觉自动跟踪定位火灾火源点的识别方法的装置，其特征在于，包括存储器和处理器，所述识别方法以计算机程序的形式存储于存储器中，并由处理器执行，执行时实现以下步骤：
步骤S1：双目红外热成像仪采集火灾现场图像；
步骤S2：所述火灾现场图像经过预处理后，根据图像分割算法从火灾现场图像中分割出火源点图像信息；
步骤S3：根据基于聚类的图像自动阈值算法，对所述火源点图像进行聚类并提取火源点特征；
步骤S4：根据提取的火源点特征，采用深度学习方法构建火源点识别器，通过所述火源点识别器对火灾现场图像中的火源点进行识别；
步骤S5：根据识别出的火源点在所述双目红外热成像仪的两幅火灾现场图像中的视差，通过三角测量原理测定所述火源点的三维空间坐标。
CN202010430901.XA 2020-05-20 2020-05-20 基于机器视觉自动跟踪定位火灾火源点的识别方法和装置 Withdrawn CN111738082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010430901.XA CN111738082A (zh) 2020-05-20 2020-05-20 基于机器视觉自动跟踪定位火灾火源点的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010430901.XA CN111738082A (zh) 2020-05-20 2020-05-20 基于机器视觉自动跟踪定位火灾火源点的识别方法和装置

Publications (1)

Publication Number Publication Date
CN111738082A true CN111738082A (zh) 2020-10-02

Family

ID=72647460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010430901.XA Withdrawn CN111738082A (zh) 2020-05-20 2020-05-20 基于机器视觉自动跟踪定位火灾火源点的识别方法和装置

Country Status (1)

Country Link
CN (1) CN111738082A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113413564A (zh) * 2021-05-28 2021-09-21 浙江工业大学 一种消防机器人火源定位及灭火控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113413564A (zh) * 2021-05-28 2021-09-21 浙江工业大学 一种消防机器人火源定位及灭火控制方法

Similar Documents

Publication Publication Date Title
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
US11958197B2 (en) Visual navigation inspection and obstacle avoidance method for line inspection robot
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
US10719727B2 (en) Method and system for determining at least one property related to at least part of a real environment
EP2874097A2 (en) Automatic scene parsing
US8503730B2 (en) System and method of extracting plane features
KR101850835B1 (ko) 광선추적법을 이용한 이동 로봇의 실내 위치 추정방법
CN102622767A (zh) 双目非标定空间定位方法
CN113313097B (zh) 人脸识别方法、终端及计算机可读存储介质
CN110827353B (zh) 一种基于单目摄像头辅助的机器人定位方法
CN112800825B (zh) 基于关键点的关联方法、系统及介质
CN113639685B (zh) 位移检测方法、装置、设备和存储介质
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及系统
CN111160280B (zh) 基于rgbd相机的目标物体识别与定位方法及移动机器人
CN113724335B (zh) 一种基于单目相机的三维目标定位方法及系统
CN105046191A (zh) 一种纹理图像识别方法
CN111738082A (zh) 基于机器视觉自动跟踪定位火灾火源点的识别方法和装置
Fucen et al. The object recognition and adaptive threshold selection in the vision system for landing an unmanned aerial vehicle
CN107437257A (zh) 一种移动背景下的运动物体检测与分割方法
CN111260709B (zh) 一种面向动态环境的地面辅助的视觉里程计方法
CN113011212B (zh) 图像识别方法、装置及车辆
CN112163502A (zh) 一种室内动态场景下的视觉定位方法
CN117291986B (zh) 一种基于多重摄像拟合的社区安防识别定位系统
CN112597799B (zh) 一种基于视觉的固定翼飞行器飞行趋势判断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201002

WW01 Invention patent application withdrawn after publication