CN109331389A - 一种基于多传感器融合的消防机器人动作实时监测方法 - Google Patents

Abstract

本发明请求保护一种基于多传感器融合的消防机器人动作实时监测方法，其包括以下步骤：通过摄像头实时获取火灾场景视频，并通过角速率传感器和重力传感器实时采集消防机器人的运动信息进行融合处理，实时解算消防机器人的姿态变化数据，对视频帧进行包括进行图像预处理；并根据角速率传感器获取的三轴加速度模值的动态变化特征，结合解算出的消防机器人航向角，识别消防机器人的直线行走模式；对图像进行采集和处理后，通过卷积神经网络的模型构建图像识别模型；根据图像识别模型来识别并获取目标着火点位置，根据图像识别模型识别的目标着火点位置，对不同目标着火点位置设计不同的转向控制，进行机器人灭火操作，还包括对机器人灭火动作的聚类分类步骤。

Description

一种基于多传感器融合的消防机器人动作实时监测方法

技术领域

本发明属于机器识别领域，尤其涉及一种基于多传感器融合的消防机器人动作实时监测方法。

背景技术

随着机器人技术的不断普及，在硬件上已经制造出了能够在火灾场景下进入并进行灭火的机器人，在很多危险的场景下，运用机器人进行灭火，不仅效率高，而且可以大大降低不确定危险源带来的二次伤害，挽救消防员的生命。但是目前，市面上的消防机器人其控制算法还存在目标着火点不容易识别、机器人动作控制不明确的问题，导致有时候机器人灭火盲目，不能有效的完成任务。因此提供一种识别度高的适用于消防机器人算法就显得及其重要和迫切了。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种可以提高识别准确度、反应迅速的基于多传感器融合的消防机器人动作实时监测方法。本发明的技术方案如下：

一种基于多传感器融合的消防机器人动作实时监测方法，其包括以下步骤：

通过设置于消防机器人上的摄像头实时获取火灾场景视频，并通过设置于消防机器人上的角速率传感器和重力传感器实时采集消防机器人的运动信息进行融合处理，实时解算消防机器人的姿态变化数据，并基于火灾场景视频内容进行帧提取，对视频帧进行包括进行去噪以及前后景分离图像在内的图像预处理；并根据角速率传感器获取的三轴加速度模值的动态变化特征，结合解算出的消防机器人航向角，识别消防机器人的直线行走模式；通过前向和横向加速度动态输出数据变化的明显差异，将消防机器人直线行走模式下的动作分为前进和后退、左移和右移两类；首先通过检测垂直方向加速度的波峰，并存储波峰所在采样点的位置信息,计算同一位置前向加速度的斜率来识别前进和后退；再通过检测垂直方向加速度的波谷，并存储波谷所在采样点的位置信息,计算同一位置横向加速度的斜率来识别左移和右移，判断出消防机器人的相对移动方向，相对移动方向是相对于进入火灾场景时初始位置的方向；

对图像进行采集和处理后，根据采集到的图片构造出正负样本数据集，从中随机选择部分数据作为训练数据，利用得到的训练数据，通过卷积神经网络的模型构建着火点图像识别模型；

根据图像识别模型来识别并获取目标着火点位置，根据图像识别出的着火点坐标与识别区域三等分线坐标的比较，其中根据图像识别模型识别的目标着火点位置，根据机器人的相对移动方向对不同目标着火点位置设计不同的转向控制，将图像垂直等分成3分，从左至右记为左区域、中间区域、右区域，根据图像识别出的着火点坐标与识别区域三等分线坐标的比较，求出下一时刻的偏转方向，当识别图像区域没有目标着火点时，控制消防机器人进入巡检模式进入另一个房间直到识别出目标着火点后，进行机器人灭火操作，还包括对机器人灭火动作的聚类分类步骤：机器人灭火动作的聚类分类步骤选择Adaboost分类器获取视频帧中的机器人灭火动作特征，在灭火动作库中匹配比对识别出具体灭火动作；并向用户输出机器人具体灭火动作位置及信息，灭火完成后根据相对移动方向规划出局部最优撤退路径，在t时刻，消防机器人的运动情况可以归纳为下面四类：1)当x<＝L/3时，即目标着火点在识别区域的左边时，说明目标着火点应该相对于当前移动方向向左转向灭火，因此n_left<n_right，其中，L为识别范围的宽度，n_left为左边马达的转速，n_right为右边马达的转速，达到机器人左转的目标；2)当x>＝2L/3时，即目标着火点在识别区域的右边，说明机器人应该相对于当前移动方向向右转向灭火，因此n_left>n_right，达到机器人右转的目标；3)当L/3<x<2L/3时，即目标着火点在识别区域的中间，说明机器人应该直行灭火，因此n_left＝n_right，达到机器人直行的目标；4)当模型输出为NULL时，即目前识别区域中没有目标着火点，让机器人原地旋转一周，n_left＝-n_right，再直行，以便寻找着火点。

进一步的，所述卷积神经网络的结构是采用的LeNet-5的9层网络为基础Input->卷积层->池化层->卷积层->卷积层->卷积层->池化层->全连接层->线性操作层。

进一步的，所述火灾场景视频内容图像预处理还包括步骤：

获取火灾场景视频内容，将接收到的数据流进行解码处理，解码后的数据为YUV数据格式，再将YUV数据格式转换为RGB数据格式，最后对解码后的帧数据图片进行缩放处理；上述对视频进行解码的方式为：采用视频监控设备厂商提供的SDK接口开发包方式。

获取火灾场景视频，并对视频进行解码，再对解码后的帧数据图片进行缩放处理；缩放处理的具体过程为：采用OPENCV提供的cv::Resize()接口函数，将原始的图片帧转换为指定宽高的图片帧。

本发明的优点及有益效果如下：

本发明通过通过机器学习和卷积神经网络训练目标着火点模型，让机器人的控制更加简单与精确；实现实时监测机器人运行状况的效果。能够及时发现事故，从而能够提升火灾现场救援灭火的安全性，有效降低火灾事故的进一步扩大所造成的巨大经济损失。

附图说明

图1是本发明提供优选实施例基于多传感器融合的消防机器人动作实时监测方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，一种基于多传感器融合的消防机器人动作实时监测方法，其包括以下步骤：

通过设置于消防机器人上的摄像头实时获取火灾场景视频，并通过设置于消防机器人上的角速率传感器和重力传感器实时采集消防机器人的运动信息进行融合处理，实时解算消防机器人的姿态变化数据，并基于火灾场景视频内容进行帧提取，对视频帧进行包括进行去噪以及前后景分离图像在内的图像预处理；并根据角速率传感器获取的三轴加速度模值的动态变化特征，结合解算出的消防机器人航向角，识别消防机器人的直线行走模式；通过前向和横向加速度动态输出数据变化的明显差异，将消防机器人直线行走模式下的动作分为前进和后退、左移和右移两类；首先通过检测垂直方向加速度的波峰，并存储波峰所在采样点的位置信息,计算同一位置前向加速度的斜率来识别前进和后退；再通过检测垂直方向加速度的波谷，并存储波谷所在采样点的位置信息,计算同一位置横向加速度的斜率来识别左移和右移，判断出消防机器人的相对移动方向，相对移动方向是相对于进入火灾场景时初始位置的方向；

对图像进行采集和处理后，根据采集到的图片构造出正负样本数据集，从中随机选择部分数据作为训练数据，利用得到的训练数据，通过卷积神经网络的模型构建着火点图像识别模型；

根据图像识别模型来识别并获取目标着火点位置，根据图像识别出的着火点坐标与识别区域三等分线坐标的比较，其中根据图像识别模型识别的目标着火点位置，根据机器人的相对移动方向对不同目标着火点位置设计不同的转向控制，将图像垂直等分成3分，从左至右记为左区域、中间区域、右区域，根据图像识别出的着火点坐标与识别区域三等分线坐标的比较，求出下一时刻的偏转方向，当识别图像区域没有目标着火点时，控制消防机器人进入巡检模式进入另一个房间直到识别出目标着火点后，进行机器人灭火操作，还包括对机器人灭火动作的聚类分类步骤：机器人灭火动作的聚类分类步骤选择Adaboost分类器获取视频帧中的机器人灭火动作特征，在灭火动作库中匹配比对识别出具体灭火动作；并向用户输出机器人具体灭火动作位置及信息，灭火完成后根据相对移动方向规划出局部最优撤退路径，在t时刻，消防机器人的运动情况可以归纳为下面四类：1)当x<＝L/3时，即目标着火点在识别区域的左边时，说明目标着火点应该相对于当前移动方向向左转向灭火，因此n_left<n_right，其中，L为识别范围的宽度，n_left为左边马达的转速，n_right为右边马达的转速，达到机器人左转的目标；2)当x>＝2L/3时，即目标着火点在识别区域的右边，说明机器人应该相对于当前移动方向向右转向灭火，因此n_left>n_right，达到机器人右转的目标；3)当L/3<x<2L/3时，即目标着火点在识别区域的中间，说明机器人应该直行灭火，因此n_left＝n_right，达到机器人直行的目标；4)当模型输出为NULL时，即目前识别区域中没有目标着火点，让机器人原地旋转一周，n_left＝-n_right，再直行，以便寻找着火点。

优选的，所述卷积神经网络的结构是采用的LeNet-5的9层网络为基础Input->卷积层->池化层->卷积层->卷积层->卷积层->池化层->全连接层->线性操作层。

优选的，所述火灾场景视频内容图像预处理还包括步骤：

获取火灾场景视频内容，将接收到的数据流进行解码处理，解码后的数据为YUV数据格式，再将YUV数据格式转换为RGB数据格式，最后对解码后的帧数据图片进行缩放处理；上述对视频进行解码的方式为：采用视频监控设备厂商提供的SDK接口开发包方式。

获取火灾场景视频，并对视频进行解码，再对解码后的帧数据图片进行缩放处理；缩放处理的具体过程为：采用OPENCV提供的cv::Resize()接口函数，将原始的图片帧转换为指定宽高的图片帧。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (2)

1.一种基于多传感器融合的消防机器人动作实时监测方法，其特征在于，包括以下步骤：

通过设置于消防机器人上的摄像头实时获取火灾场景视频，并通过设置于消防机器人上的角速率传感器和重力传感器实时采集消防机器人的运动信息进行融合处理，实时解算消防机器人的姿态变化数据，并基于火灾场景视频内容进行帧提取，对视频帧进行包括进行去噪以及前后景分离图像在内的图像预处理；并根据角速率传感器获取的三轴加速度模值的动态变化特征，结合解算出的消防机器人航向角，识别消防机器人的直线行走模式；通过前向和横向加速度动态输出数据变化的明显差异，将消防机器人直线行走模式下的动作分为前进和后退、左移和右移两类；首先通过检测垂直方向加速度的波峰，并存储波峰所在采样点的位置信息,计算同一位置前向加速度的斜率来识别前进和后退；再通过检测垂直方向加速度的波谷，并存储波谷所在采样点的位置信息,计算同一位置横向加速度的斜率来识别左移和右移，判断出消防机器人的相对移动方向，相对移动方向是相对于进入火灾场景时初始位置的方向；

对图像进行采集和处理后，根据采集到的图片构造出正负样本数据集，从中随机选择部分数据作为训练数据，利用得到的训练数据，通过卷积神经网络的模型构建着火点图像识别模型；

根据图像识别模型来识别并获取目标着火点位置，根据图像识别出的着火点坐标与识别区域三等分线坐标的比较，其中根据图像识别模型识别的目标着火点位置，根据机器人的相对移动方向对不同目标着火点位置设计不同的转向控制，将图像垂直等分成3分，从左至右记为左区域、中间区域、右区域，根据图像识别出的着火点坐标与识别区域三等分线坐标的比较，求出下一时刻的偏转方向，当识别图像区域没有目标着火点时，控制消防机器人进入巡检模式进入另一个房间直到识别出目标着火点后，进行机器人灭火操作，还包括对机器人灭火动作的聚类分类步骤：机器人灭火动作的聚类分类步骤选择Adaboost分类器获取视频帧中的机器人灭火动作特征，在灭火动作库中匹配比对识别出具体灭火动作；并向用户输出机器人具体灭火动作位置及信息，灭火完成后根据相对移动方向规划出局部最优撤退路径，在t时刻，消防机器人的运动情况可以归纳为下面四类：1)当x<＝L/3时，即目标着火点在识别区域的左边时，说明目标着火点应该相对于当前移动方向向左转向灭火，因此n_left<n_right，其中，L为识别范围的宽度，n_left为左边马达的转速，n_right为右边马达的转速，达到机器人左转的目标；2)当x>＝2L/3时，即目标着火点在识别区域的右边，说明机器人应该相对于当前移动方向向右转向灭火，因此n_left>n_right，达到机器人右转的目标；3)当L/3<x<2L/3时，即目标着火点在识别区域的中间，说明机器人应该直行灭火，因此n_left＝n_right，达到机器人直行的目标；4)当模型输出为NULL时，即目前识别区域中没有目标着火点，让机器人原地旋转一周，n_left＝-n_right，再直行，以便寻找着火点。

优选的所述卷积神经网络的结构是采用的LeNet-5的9层网络为基础Input->卷积层->池化层->卷积层->卷积层->卷积层->池化层->全连接层->线性操作层。

2.根据权利要求1所述的一种基于多传感器融合的消防机器人动作实时监测方法，其特征在于，所述火灾场景视频内容图像预处理还包括步骤：

获取火灾场景视频内容，将接收到的数据流进行解码处理，解码后的数据为YUV数据格式，再将YUV数据格式转换为RGB数据格式，最后对解码后的帧数据图片进行缩放处理；上述对视频进行解码的方式为：采用视频监控设备厂商提供的SDK接口开发包方式；

获取火灾场景视频，并对视频进行解码，再对解码后的帧数据图片进行缩放处理；缩放处理的具体过程为：采用OPENCV提供的cv::Resize()接口函数，将原始的图片帧转换为指定宽高的图片帧。