CN109447030A - 一种用于火灾场景的消防机器人动作实时指导算法 - Google Patents
一种用于火灾场景的消防机器人动作实时指导算法 Download PDFInfo
- Publication number
- CN109447030A CN109447030A CN201811341416.4A CN201811341416A CN109447030A CN 109447030 A CN109447030 A CN 109447030A CN 201811341416 A CN201811341416 A CN 201811341416A CN 109447030 A CN109447030 A CN 109447030A
- Authority
- CN
- China
- Prior art keywords
- fire
- robot
- ignition point
- extinguishing
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- A—HUMAN NECESSITIES
- A62—LIFE-SAVING; FIRE-FIGHTING
- A62C—FIRE-FIGHTING
- A62C27/00—Fire-fighting land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明请求保护一种用于火灾场景的消防机器人动作实时指导算法,包括以下步骤:实时获取火灾场景视频,并基于火灾场景视频内容进行帧提取,对视频帧进行包括进行去噪以及前后景分离图像在内的图像预处理;对图像进行采集和处理后,通过卷积神经网络的模型构建图像识别模型;根据图像识别模型来识别并获取目标着火点位置,根据图像识别模型识别的目标着火点位置,对不同目标着火点位置设计不同的转向控制,进行机器人灭火操作,还包括对机器人灭火动作的聚类分类步骤。
Description
技术领域
本发明属于机器识别领域,尤其涉及一种用于火灾场景的消防机器人动作实时指导算法。
背景技术
随着机器人技术的不断普及,在硬件上已经制造出了能够在火灾场景下进入并进行灭火的机器人,在很多危险的场景下,运用机器人进行灭火,不仅效率高,而且可以大大降低不确定危险源带来的二次伤害,挽救消防员的生命。但是目前,市面上的机器人其控制算法还存在目标着火点不容易识别、机器人动作控制不明确的问题,导致有时候机器人灭火盲目,不能有效的完成任务。因此提供一种识别度高的算法就显得及其重要和迫切了。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种可以提高识别准确度、反应迅速的用于火灾场景的消防机器人动作实时指导算法。本发明的技术方案如下:
一种用于火灾场景的消防机器人动作实时指导算法,其包括以下步骤:
通过设置于消防机器人上的摄像头实时获取火灾场景视频,并基于火灾场景视频内容进行帧提取,对视频帧进行包括进行去噪以及前后景分离图像在内的图像预处理;
对图像进行采集和处理后,根据采集到的图片构造出正负样本数据集,从中随机选择部分数据作为训练数据,利用得到的训练数据,通过卷积神经网络的模型构建图像识别模型;
根据图像识别模型来识别并获取目标着火点位置,根据图像识别出的着火点坐标与识别区域三等分线坐标的比较,其中根据图像识别模型识别的目标着火点位置,对不同目标着火点位置设计不同的转向控制,将图像垂直等分成3分,从左至右记为左区域、中间区域、右区域,根据图像识别出的目标着火点坐标与识别区域三等分线坐标的比较,求出下一时刻的偏转方向,当识别图像区域没有目标着火点时,控制消防机器人进入巡检模式进入另一个房间直到识别出目标着火点后,进行机器人灭火操作,还包括对机器人灭火动作的聚类分类步骤:机器人灭火动作的聚类分类步骤选择Adaboost分类器获取视频帧中的机器人灭火动作特征,在灭火动作库中匹配比对识别出具体灭火动作;并向用户输出机器人具体灭火动作位置及信息,灭火完成后规划出局部最优撤退路径,在t时刻,消防机器人的运动情况可以归纳为下面四类:1)当x<=L/3时,即目标着火点在识别区域的左边时,说明目标着火点应该向左转向灭火,因此nleft<nright,其中,L为识别范围的宽度,nleft为左边马达的转速,nright为右边马达的转速,达到机器人左转的目标;2)当x>=2L/3时,即目标着火点在识别区域的右边,说明机器人应该向右转向灭火,因此nleft>nright,达到机器人右转的目标;3)当L/3<x<2L/3时,即目标着火点在识别区域的中间,说明机器人应该直行灭火,因此nleft=nright,达到机器人直行的目标;4)当模型输出为NULL时,即目前识别区域中没有目标着火点,让机器人原地旋转一周,nleft=-nright,再直行,以便寻找着火点。
进一步的,所述卷积神经网络的结构是采用的LeNet-5的9层网络为基础Input->卷积层->池化层->卷积层->卷积层->卷积层->池化层->全连接层->线性操作层。
进一步的,所述火灾场景视频内容图像预处理还包括步骤:
获取火灾场景视频内容,将接收到的数据流进行解码处理,解码后的数据为YUV数据格式,再将YUV数据格式转换为RGB数据格式,最后对解码后的帧数据图片进行缩放处理;上述对视频进行解码的方式为:采用视频监控设备厂商提供的SDK接口开发包方式。
获取火灾场景视频,并对视频进行解码,再对解码后的帧数据图片进行缩放处理;缩放处理的具体过程为:采用OPENCV提供的cv::Resize()接口函数,将原始的图片帧转换为指定宽高的图片帧。
进一步的,所述机器人直行动作的判断为:
根据获取的三轴加速度模值的动态变化特征,结合解算出的机器人航向角,识别机器人的直线行走模式;通过前向和横向加速度动态输出数据变化的明显差异,将机器人直线行走模式下的动作分为前进和后退、左移和右移两类。
本发明的优点及有益效果如下:
本发明通过通过机器学习和卷积神经网络训练目标着火点模型,让机器人的控制更加简单与精确;实现实时监测机器人运行状况的效果。能够及时发现事故,从而能够提升火灾现场救援灭火的安全性,有效降低火灾事故的进一步扩大所造成的巨大经济损失。
附图说明
图1是本发明提供优选实施例用于火灾场景的消防机器人动作实时指导算法方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
如图1所示,一种用于火灾场景的消防机器人动作实时指导算法,其包括以下步骤:
通过设置于消防机器人上的摄像头实时获取火灾场景视频,并基于火灾场景视频内容进行帧提取,对视频帧进行包括进行去噪以及前后景分离图像在内的图像预处理;
对图像进行采集和处理后,根据采集到的图片构造出正负样本数据集,从中随机选择部分数据作为训练数据,利用得到的训练数据,通过卷积神经网络的模型构建图像识别模型;
根据图像识别模型来识别并获取目标着火点位置,根据图像识别出的着火点坐标与识别区域三等分线坐标的比较,其中根据图像识别模型识别的目标着火点位置,对不同目标着火点位置设计不同的转向控制,将图像垂直等分成3分,从左至右记为左区域、中间区域、右区域,根据图像识别出的目标着火点坐标与识别区域三等分线坐标的比较,求出下一时刻的偏转方向,当识别图像区域没有目标着火点时,控制消防机器人进入巡检模式进入另一个房间直到识别出目标着火点后,进行机器人灭火操作,还包括对机器人灭火动作的聚类分类步骤:机器人灭火动作的聚类分类步骤选择Adaboost分类器获取视频帧中的机器人灭火动作特征,在灭火动作库中匹配比对识别出具体灭火动作;并向用户输出机器人具体灭火动作位置及信息,灭火完成后规划出局部最优撤退路径,在t时刻,消防机器人的运动情况可以归纳为下面四类:1)当x<=L/3时,即目标着火点在识别区域的左边时,说明目标着火点应该向左转向灭火,因此nleft<nright,其中,L为识别范围的宽度,nleft为左边马达的转速,nright为右边马达的转速,达到机器人左转的目标;2)当x>=2L/3时,即目标着火点在识别区域的右边,说明机器人应该向右转向灭火,因此nleft>nright,达到机器人右转的目标;3)当L/3<x<2L/3时,即目标着火点在识别区域的中间,说明机器人应该直行灭火,因此nleft=nright,达到机器人直行的目标;4)当模型输出为NULL时,即目前识别区域中没有目标着火点,让机器人原地旋转一周,nleft=-nright,再直行,以便寻找着火点。
优选的,所述卷积神经网络的结构是采用的LeNet-5的9层网络为基础Input->卷积层->池化层->卷积层->卷积层->卷积层->池化层->全连接层->线性操作层。
优选的,所述火灾场景视频内容图像预处理还包括步骤:
获取火灾场景视频内容,将接收到的数据流进行解码处理,解码后的数据为YUV数据格式,再将YUV数据格式转换为RGB数据格式,最后对解码后的帧数据图片进行缩放处理;上述对视频进行解码的方式为:采用视频监控设备厂商提供的SDK接口开发包方式。
获取火灾场景视频,并对视频进行解码,再对解码后的帧数据图片进行缩放处理;缩放处理的具体过程为:采用OPENCV提供的cv::Resize()接口函数,将原始的图片帧转换为指定宽高的图片帧。
优选的,所述机器人直行动作的判断为:
根据获取的三轴加速度模值的动态变化特征,结合解算出的机器人航向角,识别机器人的直线行走模式;通过前向和横向加速度动态输出数据变化的明显差异,将机器人直线行走模式下的动作分为前进和后退、左移和右移两类,以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (4)
1.一种用于火灾场景的消防机器人动作实时指导算法,其特征在于,包括以下步骤:
通过设置于消防机器人上的摄像头实时获取火灾场景视频,并基于火灾场景视频内容进行帧提取,对视频帧进行包括进行去噪以及前后景分离图像在内的图像预处理;
对图像进行采集和处理后,根据采集到的图片构造出正负样本数据集,从中随机选择部分数据作为训练数据,利用得到的训练数据,通过卷积神经网络的模型构建图像识别模型;
根据图像识别模型来识别并获取目标着火点位置,根据图像识别出的着火点坐标与识别区域三等分线坐标的比较,其中根据图像识别模型识别的目标着火点位置,对不同目标着火点位置设计不同的转向控制,将图像垂直等分成3分,从左至右记为左区域、中间区域、右区域,根据图像识别出的目标着火点坐标与识别区域三等分线坐标的比较,求出下一时刻的偏转方向,当识别图像区域没有目标着火点时,控制消防机器人进入巡检模式进入另一个房间直到识别出目标着火点后,进行机器人灭火操作,还包括对机器人灭火动作的聚类分类步骤:机器人灭火动作的聚类分类步骤选择Adaboost分类器获取视频帧中的机器人灭火动作特征,在灭火动作库中匹配比对识别出具体灭火动作;并向用户输出机器人具体灭火动作位置及信息,灭火完成后规划出局部最优撤退路径,在t时刻,消防机器人的运动情况可以归纳为下面四类:1)当x<=L/3时,即目标着火点在识别区域的左边时,说明目标着火点应该向左转向灭火,因此nleft<nright,其中,L为识别范围的宽度,nleft为左边马达的转速,nright为右边马达的转速,达到机器人左转的目标;2)当x>=2L/3时,即目标着火点在识别区域的右边,说明机器人应该向右转向灭火,因此nleft>nright,达到机器人右转的目标;3)当L/3<x<2L/3时,即目标着火点在识别区域的中间,说明机器人应该直行灭火,因此nleft=nright,达到机器人直行的目标;4)当模型输出为NULL时,即目前识别区域中没有目标着火点,让机器人原地旋转一周,nleft=-nright,再直行,以便寻找着火点。
2.根据权利要求1所述的用于火灾场景的消防机器人动作实时指导算法,其特征在于,所述卷积神经网络的结构是采用的LeNet-5的9层网络为基础Input->卷积层->池化层->卷积层->卷积层->卷积层->池化层->全连接层->线性操作层。
3.根据权利要求1所述的用于火灾场景的消防机器人动作实时指导算法,其特征在于,所述火灾场景视频内容图像预处理还包括步骤:
获取火灾场景视频内容,将接收到的数据流进行解码处理,解码后的数据为YUV数据格式,再将YUV数据格式转换为RGB数据格式,最后对解码后的帧数据图片进行缩放处理;上述对视频进行解码的方式为:采用视频监控设备厂商提供的SDK接口开发包方式。
获取火灾场景视频,并对视频进行解码,再对解码后的帧数据图片进行缩放处理;缩放处理的具体过程为:采用OPENCV提供的cv::Resize()接口函数,将原始的图片帧转换为指定宽高的图片帧。
4.根据权利要求1所述的用于火灾场景的消防机器人动作实时指导算法,其特征在于,所述机器人直行动作的判断为:
根据获取的三轴加速度模值的动态变化特征,结合解算出的机器人航向角,识别机器人的直线行走模式;通过前向和横向加速度动态输出数据变化的明显差异,将机器人直线行走模式下的动作分为前进和后退、左移和右移两类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811341416.4A CN109447030A (zh) | 2018-11-12 | 2018-11-12 | 一种用于火灾场景的消防机器人动作实时指导算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811341416.4A CN109447030A (zh) | 2018-11-12 | 2018-11-12 | 一种用于火灾场景的消防机器人动作实时指导算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109447030A true CN109447030A (zh) | 2019-03-08 |
Family
ID=65551743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811341416.4A Pending CN109447030A (zh) | 2018-11-12 | 2018-11-12 | 一种用于火灾场景的消防机器人动作实时指导算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109447030A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110102002A (zh) * | 2019-05-15 | 2019-08-09 | 上海荷福人工智能科技(集团)有限公司 | 基于人工智能的消防机器人的预警及灭火系统和方法 |
CN110263710A (zh) * | 2019-06-20 | 2019-09-20 | 湘潭大学 | 一种基于地空协作的灭火装置、方法及系统 |
CN110989599A (zh) * | 2019-12-09 | 2020-04-10 | 国网智能科技股份有限公司 | 一种变电站消防机器人自主作业控制方法及系统 |
CN112312081A (zh) * | 2020-09-08 | 2021-02-02 | 深圳中核普达测量科技有限公司 | 动火场景智能监控方法及系统 |
CN112370694A (zh) * | 2020-11-17 | 2021-02-19 | 宁波鼎翔消防技术有限公司 | 一种基于无人机和机器人的协同灭火方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202230382U (zh) * | 2011-10-21 | 2012-05-23 | 黑龙江科技学院 | 无线传感矿井救援机器人的控制系统 |
CN102773862A (zh) * | 2012-07-31 | 2012-11-14 | 山东大学 | 用于室内移动机器人的快速精确定位系统及其工作方法 |
CN103067646A (zh) * | 2011-10-21 | 2013-04-24 | 索尼公司 | 运动特征提取方法和装置,以及视频处理装置 |
CN104298976A (zh) * | 2014-10-16 | 2015-01-21 | 电子科技大学 | 基于卷积神经网络的车牌检测方法 |
US20160030275A1 (en) * | 2014-07-31 | 2016-02-04 | Richplay Information Co., Ltd. | Blind-guiding positioning system for mobile device and method for operating the same |
CN205055285U (zh) * | 2015-08-24 | 2016-03-02 | 铜陵学院 | 基于两轮高速全自动灭火机器人的双核伺服控制系统 |
CN105913604A (zh) * | 2016-05-18 | 2016-08-31 | 中国计量大学 | 基于无人机的火灾发生测定方法及其装置 |
CN106446930A (zh) * | 2016-06-28 | 2017-02-22 | 沈阳工业大学 | 基于深层卷积神经网络的机器人工作场景识别方法 |
CN106842271A (zh) * | 2015-12-03 | 2017-06-13 | 宁波芯路通讯科技有限公司 | 导航定位方法及装置 |
CN108253963A (zh) * | 2017-12-20 | 2018-07-06 | 广西师范大学 | 一种基于多传感器融合的机器人自抗扰定位方法以及定位系统 |
CN108334855A (zh) * | 2018-02-24 | 2018-07-27 | 南瑞集团有限公司 | 一种采用增强rgb分量特征的变电站火焰识别算法 |
-
2018
- 2018-11-12 CN CN201811341416.4A patent/CN109447030A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202230382U (zh) * | 2011-10-21 | 2012-05-23 | 黑龙江科技学院 | 无线传感矿井救援机器人的控制系统 |
CN103067646A (zh) * | 2011-10-21 | 2013-04-24 | 索尼公司 | 运动特征提取方法和装置,以及视频处理装置 |
CN102773862A (zh) * | 2012-07-31 | 2012-11-14 | 山东大学 | 用于室内移动机器人的快速精确定位系统及其工作方法 |
US20160030275A1 (en) * | 2014-07-31 | 2016-02-04 | Richplay Information Co., Ltd. | Blind-guiding positioning system for mobile device and method for operating the same |
CN104298976A (zh) * | 2014-10-16 | 2015-01-21 | 电子科技大学 | 基于卷积神经网络的车牌检测方法 |
CN205055285U (zh) * | 2015-08-24 | 2016-03-02 | 铜陵学院 | 基于两轮高速全自动灭火机器人的双核伺服控制系统 |
CN106842271A (zh) * | 2015-12-03 | 2017-06-13 | 宁波芯路通讯科技有限公司 | 导航定位方法及装置 |
CN105913604A (zh) * | 2016-05-18 | 2016-08-31 | 中国计量大学 | 基于无人机的火灾发生测定方法及其装置 |
CN106446930A (zh) * | 2016-06-28 | 2017-02-22 | 沈阳工业大学 | 基于深层卷积神经网络的机器人工作场景识别方法 |
CN108253963A (zh) * | 2017-12-20 | 2018-07-06 | 广西师范大学 | 一种基于多传感器融合的机器人自抗扰定位方法以及定位系统 |
CN108334855A (zh) * | 2018-02-24 | 2018-07-27 | 南瑞集团有限公司 | 一种采用增强rgb分量特征的变电站火焰识别算法 |
Non-Patent Citations (1)
Title |
---|
邓欣等: "开源硬件在"智能机器人"实践课程中的应用", 《计算机教育》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110102002A (zh) * | 2019-05-15 | 2019-08-09 | 上海荷福人工智能科技(集团)有限公司 | 基于人工智能的消防机器人的预警及灭火系统和方法 |
CN110263710A (zh) * | 2019-06-20 | 2019-09-20 | 湘潭大学 | 一种基于地空协作的灭火装置、方法及系统 |
CN110263710B (zh) * | 2019-06-20 | 2021-05-11 | 湘潭大学 | 一种基于地空协作的灭火方法及系统 |
CN110989599A (zh) * | 2019-12-09 | 2020-04-10 | 国网智能科技股份有限公司 | 一种变电站消防机器人自主作业控制方法及系统 |
CN110989599B (zh) * | 2019-12-09 | 2022-06-24 | 国网智能科技股份有限公司 | 一种变电站消防机器人自主作业控制方法及系统 |
CN112312081A (zh) * | 2020-09-08 | 2021-02-02 | 深圳中核普达测量科技有限公司 | 动火场景智能监控方法及系统 |
CN112312081B (zh) * | 2020-09-08 | 2023-04-07 | 深圳中核普达测量科技有限公司 | 动火场景智能监控方法及系统 |
CN112370694A (zh) * | 2020-11-17 | 2021-02-19 | 宁波鼎翔消防技术有限公司 | 一种基于无人机和机器人的协同灭火方法 |
CN112370694B (zh) * | 2020-11-17 | 2022-07-01 | 宁波鼎翔消防技术有限公司 | 一种基于无人机和机器人的协同灭火方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109447030A (zh) | 一种用于火灾场景的消防机器人动作实时指导算法 | |
TWI759286B (zh) | 用於藉由機器學習訓練物件分類器之系統及方法 | |
CN108830252B (zh) | 一种融合全局时空特征的卷积神经网络人体动作识别方法 | |
CN109670446B (zh) | 基于线性动态系统和深度网络的异常行为检测方法 | |
CN108052859B (zh) | 一种基于聚类光流特征的异常行为检测方法、系统及装置 | |
CN109331389A (zh) | 一种基于多传感器融合的消防机器人动作实时监测方法 | |
WO2015131734A1 (zh) | 一种前视监视场景下的行人计数方法、装置和存储介质 | |
Xia et al. | Robot-centric activity recognition from first-person rgb-d videos | |
CN113011367B (zh) | 一种基于目标轨迹的异常行为分析方法 | |
CN109389185B (zh) | 使用三维卷积神经网络的视频烟雾识别方法 | |
CN105447432A (zh) | 一种基于局部运动模式的人脸防伪方法 | |
WO2011022279A2 (en) | Background model for complex and dynamic scenes | |
JP6767541B2 (ja) | 画像フレームのピクセル位置が背景に属しているか前景に属しているかを判定する方法、デバイスおよびシステム | |
Pervaiz et al. | Artificial neural network for human object interaction system over Aerial images | |
CN106886763B (zh) | 实时检测人脸的系统及其方法 | |
KR20210062256A (ko) | 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템 | |
CN106845410A (zh) | 一种基于深度学习模型的火焰识别方法 | |
CN110557628A (zh) | 一种检测摄像头遮挡的方法、装置及电子设备 | |
CN110688969A (zh) | 视频帧人体行为识别方法 | |
CN112785564B (zh) | 一种基于机械臂的行人检测跟踪系统与方法 | |
CN114241383A (zh) | 一种图像识别建筑火灾的方法及装置 | |
CN112487926A (zh) | 一种基于时空图卷积网络的景区投喂行为识别方法 | |
CN110796008A (zh) | 一种基于视频图像的早期火灾检测方法 | |
Kaliyev et al. | Computer Vision-based Fire Detection using Enhanced Chromatic Segmentation and Optical Flow Model | |
CN110572618B (zh) | 一种非法拍照行为监控方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |
|
RJ01 | Rejection of invention patent application after publication |