CN113031610A - 一种监狱夜间自动巡检机器人系统及其控制方法 - Google Patents

Abstract

本发明公开一种监狱夜间自动巡检机器人系统及其控制方法，包括主控制器、底盘、底盘驱动模块、自主导航模块、图像采集模块、无线通信模块以及语音广播模块；自主导航模块安装在底盘底部，底盘驱动模块安装在自主导航模块底部，主控制器安装在底盘上，图像采集模块、无线通信模块以及语音广播模块均设置在底盘顶部，底盘上还设有上下升降模组和水平移动模组，图像采集模块安装在水平移动模组上，图像采集模块与水平移动模组之间还设有一两自由度云台。本发明的优点在于：机器人采用深度学习算法对采集图像进行检测，判断犯人是否正常上床休息，准确率高速度快，而且识别时不受环境光线影响，即使黑暗环境下仍可正常识别。

Description

一种监狱夜间自动巡检机器人系统及其控制方法

技术领域

本发明涉及一种机器人领域，尤其涉及一种监狱夜间自动巡检机器人系统及其控制方法。

背景技术

监狱作为国家的刑罚执行机关，是一个高度敏感、高度安全的重要场所，要求对犯人的一举一动进行严密监控，时刻不能放松。随着科技的日益发展，现有的被动式人工监控这一传统模式已无法满足新形势下的监管工作需求，人工巡检需要耗费大量的人力和时间，造成大量警力浪费，不符合现代智能化管理的要求。因此要完成监狱繁重的监控任务，确保监所安全，就必须向主动式的智能化监控方向发展。巡检机器人正是为现代化的监狱管理系统提供一种全新的解决方案，可在监狱内自主移动巡逻，利用视觉智能技术进行异常行为分析，检测到异常现象时自动报警。由于犯人斗殴、自杀、盗窃等行为多发生在夜间，采用巡检机器人加强监狱夜间管控，查看犯人夜间休息情况，及时发现各类突发事件，并过滤掉无效信息，可大大提高对恶性事件的及时防御，有效解放警力。

市面上尚未出现能自主巡检并监测犯人异常事件的机器人，大多采用人工巡检，效率低下。

发明内容

本发明主要解决的技术问题是提供一种监狱夜间自动巡检机器人系统及其控制方法，解决上述现有技术问题中的一个或者多个。

为解决上述技术问题，本发明采用的一个技术方案是：一种监狱夜间自动巡检机器人系统，其创新点在于：包括主控制器、底盘、底盘驱动模块、自主导航模块、图像采集模块、无线通信模块以及语音广播模块；自主导航模块安装在底盘底部，底盘驱动模块安装在自主导航模块底部，主控制器安装在底盘上，图像采集模块、无线通信模块以及语音广播模块均设置在底盘顶部，底盘上还设有上下升降模组和水平移动模组，图像采集模块安装在水平移动模组上，图像采集模块与水平移动模组之间还设有一两自由度云台。

在一些实施方式中，自主导航模块包括激光导航雷达和RGB摄像头。

在一些实施方式中，所述底盘驱动模块包括驱动轮以及自动充电触点。

在一些实施方式中，所述图像采集模块包括彩色摄像头和热成像摄像头。

一种监狱夜间自动巡检机器人系统的控制方法，其创新点在于：

巡检机器人检测的具体步骤如下：

根据摄像头采集的可见光图像，使用预先训练好的房门检测算法检测图像中是否存在房门；当检测到房门时机器人停止前进，并升高带滑台的云台摄像机到设定高度；

从窗户位置拍摄室内图像，根据采集的室内可见光图像，采用预先训练好的栅栏检测算法进行检测。当检测到图像中存在栅栏时，根据栅栏在图像中的位置，确定滑台水平移动的方向和距离，并驱动滑台的步进电机使得云台在滑台上匀速移动，同时拍摄室内图像，直到采集图像中无栅栏遮挡；

控制云台上下左右转动彩色摄像头和热成像摄像头，按照预先设定的多个角度拍摄室内图像，包括可见光图像和热成像图像，以保证房间内所有床位都能被覆盖到；

采用训练好的检测算法对彩色摄像头拍摄的各角度图像进行床位的检测，识别所有床的位置，并记录房间内所有床位扶手的位置；

将可见光图像中标注的床位扶手位置一一映射到热成像摄像头拍摄的热图像中，并根据热成像图像中扶手的位置，计算得到每个床位的检测区域；

热成像图像能获取到每个像素的温度，物体的温度越高，在热成像图像中的对应位置亮度越高，通过依次检测热图像中的每个床位区域内是否存在强亮度区域，如有则说明此床位有人，否则进行标记；

若检测到床位无人，则发出语音播报，提醒犯人尽快上床休息，并启动探照灯指向无人床位，若等待设定时间后检测到犯人仍未返回床位休息，则拍摄视频上传到监控中心处理；

若室内所有床位都有人，则主控制器将机器人云台降低至初始高度，继续行进到下一区域巡检。

本发明的有益效果是：监狱巡检机器人代替人力进行自主巡检，当检测到异常现象时发出语音警告并将所在位置信息及时发送给狱警进行处理，实现全天候、全自动监控，可更好地解放人力，提高监狱的智能化管理程度；

巡检机器人可根据设定的路径在规定的区域进行自主巡逻，并不断拍摄周围的图像进行分析，当识别到监狱房间的门窗时，机器人自动停留下来，升降云台并将摄像头前后调整到合适的高度和角度拍摄室内图像，根据深度学习算法判断室内是否存在异常情况，例如统计房间人数是否正确、是否所有人按时上床休息等现象，当检测到异常现象时发出语音警告并发送报警信息给狱警进行及时处理。由于监狱的特殊性，窗户安装位置一般比较高，并且设置有栅栏，考虑到机器人停留拍摄所处的位置，摄像头可能刚好被栅栏挡住，或者摄像头所在位置不能拍到房间全貌，将大大影响识别效果，基于此设计出可自适应调整高度和角度的图像采集模块，大大增加拍摄范围，满足巡检机器人全方位无死角监控的需求，提高机器人自主巡检的可靠性；

监狱巡检机器人可以代替人进行自主巡逻，有效解放警力，可灵活升降的图像采集模块在走廊巡检时处于正常高度，当检测到房门时可自动升高云台，并水平移动滑台以避免摄像头被栅栏遮挡影响拍摄效果，该模块可满足各种实际需求，扩大了拍摄范围，同时可自主收放的设计使得机器人移动起来更加轻便。机器人采用深度学习算法对采集图像进行检测，判断犯人是否正常上床休息，准确率高速度快，而且识别时不受环境光线影响，即使黑暗环境下仍可正常识别。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1 是本发明一种监狱夜间自动巡检机器人系统的结构示意图。

图2 是本发明一种监狱夜间自动巡检机器人系统控制方法的自适应图像采集流程图。

图3 是本发明一种监狱夜间自动巡检机器人系统控制方法的床位检测流程图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1至图3所示，本发明实施例包括：

一种监狱夜间自动巡检机器人系统，包括主控制器、底盘1、底盘驱动模块、自主导航模块、图像采集模块、无线通信模块以及语音广播模块11；自主导航模块安装在底盘1底部，底盘驱动模块安装在自主导航模块底部，主控制器安装在底盘1上，图像采集模块、无线通信模块以及语音广播模块11均设置在底盘1顶部，底盘1上还设有上下升降模组6和水平移动模组7，图像采集模块安装在水平移动模组7上，图像采集模块与水平移动模组7之间还设有一两自由度云台8。

在一些实施方式中，自主导航模块包括激光导航雷达2和RGB摄像头3。

在一些实施方式中，所述底盘驱动模块包括驱动轮5以及自动充电触点4。

在一些实施方式中，所述图像采集模块包括彩色摄像头9和热成像摄像头10。

一种监狱夜间自动巡检机器人系统的控制方法，其创新点在于：

巡检机器人检测的具体步骤如下：

根据摄像头采集的可见光图像，使用预先训练好的房门检测算法检测图像中是否存在房门；当检测到房门时机器人停止前进，并升高带滑台的云台摄像机到设定高度；从窗户位置拍摄室内图像，根据采集的室内可见光图像，采用预先训练好的栅栏检测算法进行检测。当检测到图像中存在栅栏时，根据栅栏在图像中的位置，确定滑台水平移动的方向和距离，并驱动滑台的步进电机使得云台在滑台上匀速移动，同时拍摄室内图像，直到采集图像中无栅栏遮挡；

控制云台上下左右转动彩色摄像头9和热成像摄像头10，按照预先设定的多个角度拍摄室内图像，包括可见光图像和热成像图像，以保证房间内所有床位都能被覆盖到；

采用训练好的检测算法对彩色摄像头9拍摄的各角度图像进行床位的检测，识别所有床的位置，并记录房间内所有床位扶手的位置；

将可见光图像中标注的床位扶手位置一一映射到热成像摄像头10拍摄的热图像中，并根据热成像图像中扶手的位置，计算得到每个床位的检测区域；

热成像图像能获取到每个像素的温度，物体的温度越高，在热成像图像中的对应位置亮度越高，通过依次检测热图像中的每个床位区域内是否存在强亮度区域，如有则说明此床位有人，否则进行标记；

若检测到床位无人，则发出语音播报，提醒犯人尽快上床休息，并启动探照灯指向无人床位，若等待设定时间后检测到犯人仍未返回床位休息，则拍摄视频上传到监控中心处理；

若室内所有床位都有人，则主控制器将机器人云台降低至初始高度，继续行进到下一区域巡检。

机器人采用深度学习算法识别采集的可见光图像中是否存在房门，栅栏和床时，可采用yoloV3算法，具体实现步骤如下：

采集不同场景下包含待识别物品的图像，挑选具有不同光照变化、不同角度、不同距离的图像做为基础数据集，对基础数据集中的图像进行数据增强处理，例如添加噪声、图像翻转，亮度对比度调节等操作，模拟复杂环境，生成通用数据集；

通用数据分成样本训练集、验证集和测试集，将数据集中的每张图片进行裁剪，设定为固定大小，利用标签制作工具labelimg标注训练集中的每个目标，包括待检测目标的归一化的中心位置坐标、归一化的长宽高信息，以xml格式存储，标注完成后将转换为txt格式文件；

将处理过的不同类型的原始图像和xml文件存放到对应目录，将样本训练集数据输入卷积神经网络进行模型训练，模型训练基于yolo v3的darknet框架，该框架的0~74层中，共有53个卷积层，为yolo v3的特征提取网络结构，通过各主流网络结构中性能优异的卷积层整合得到，其余为res层，通过不断迭代网络，得到目标检测所需的权值，并对生成的神经网络检测模型进行评估，以Map值（均值平均精度）作为评估指标，当Map值小于50%时，调整网络参数重新训练，直到模型达到要求,得到最终权值和训练好的卷积神经网络；

利用训练好的网络模型对实时采集的可见光图像进行检测，确定是否存在待检测目标。

本发明的有益效果是：监狱巡检机器人代替人力进行自主巡检，当检测到异常现象时发出语音警告并将所在位置信息及时发送给狱警进行处理，实现全天候、全自动监控，可更好地解放人力，提高监狱的智能化管理程度；

巡检机器人可根据设定的路径在规定的区域进行自主巡逻，并不断拍摄周围的图像进行分析，当识别到监狱房间的门窗时，机器人自动停留下来，升降云台并将摄像头前后调整到合适的高度和角度拍摄室内图像，根据深度学习算法判断室内是否存在异常情况，例如统计房间人数是否正确、是否所有人按时上床休息等现象，当检测到异常现象时发出语音警告并发送报警信息给狱警进行及时处理。由于监狱的特殊性，窗户安装位置一般比较高，并且设置有栅栏，考虑到机器人停留拍摄所处的位置，摄像头可能刚好被栅栏挡住，或者摄像头所在位置不能拍到房间全貌，将大大影响识别效果，基于此设计出可自适应调整高度和角度的图像采集模块，大大增加拍摄范围，满足巡检机器人全方位无死角监控的需求，提高机器人自主巡检的可靠性；

监狱巡检机器人可以代替人进行自主巡逻，有效解放警力，可灵活升降的图像采集模块在走廊巡检时处于正常高度，当检测到房门时可自动升高云台，并水平移动滑台以避免摄像头被栅栏遮挡影响拍摄效果，该模块可满足各种实际需求，扩大了拍摄范围，同时可自主收放的设计使得机器人移动起来更加轻便。机器人采用深度学习算法对采集图像进行检测，判断犯人是否正常上床休息，准确率高速度快，而且识别时不受环境光线影响，即使黑暗环境下仍可正常识别。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种监狱夜间自动巡检机器人系统，其特征在于：包括主控制器、底盘（1）、底盘驱动模块、自主导航模块、图像采集模块、无线通信模块以及语音广播模块（11）；所述自主导航模块安装在底盘（1）底部，所述底盘驱动模块安装在自主导航模块底部，所述主控制器安装在底盘（1）上，所述图像采集模块、无线通信模块以及语音广播模块（11）均设置在底盘（1）顶部，所述底盘（1）上还设有上下升降模组（6）和水平移动模组（7），所述图像采集模块安装在水平移动模组（7）上，所述图像采集模块与水平移动模组（7）之间还设有一两自由度云台（8）。

2.根据权利要求1 所述的一种监狱夜间自动巡检机器人系统，其特征在于：所述自主导航模块包括激光导航雷达（2）和RGB摄像头（3）。

3.根据权利要求1 所述的一种监狱夜间自动巡检机器人系统，其特征在于：所述底盘驱动模块包括驱动轮（5）以及自动充电触点（4）。

4.根据权利要求1 所述的一种监狱夜间自动巡检机器人系统，其特征在于：所述图像采集模块包括彩色摄像头（9）和热成像摄像头（10）。

5.一种监狱夜间自动巡检机器人系统的控制方法，其特征在于：

巡检机器人检测的具体步骤如下：

根据摄像头采集的可见光图像，使用预先训练好的房门检测算法检测图像中是否存在房门；当检测到房门时机器人停止前进，并升高带滑台的云台摄像机到设定高度；

从窗户位置拍摄室内图像，根据采集的室内可见光图像，采用预先训练好的栅栏检测算法进行检测，当检测到图像中存在栅栏时，根据栅栏在图像中的位置，确定滑台水平移动的方向和距离，并驱动滑台的步进电机使得云台在滑台上匀速移动，同时拍摄室内图像，直到采集图像中无栅栏遮挡；

控制云台上下左右转动彩色摄像头（9）和热成像摄像头（10），按照预先设定的多个角度拍摄室内图像，包括可见光图像和热成像图像，以保证房间内所有床位都能被覆盖到；

采用训练好的检测算法对彩色摄像头（9）拍摄的各角度图像进行床位的检测，识别所有床的位置，并记录房间内所有床位扶手的位置；

将可见光图像中标注的床位扶手位置一一映射到热成像摄像头（10）拍摄的热图像中，并根据热成像图像中扶手的位置，计算得到每个床位的检测区域；

热成像图像能获取到每个像素的温度，物体的温度越高，在热成像图像中的对应位置亮度越高，通过依次检测热图像中的每个床位区域内是否存在强亮度区域，如有则说明此床位有人，否则进行标记；

若检测到床位无人，则发出语音播报，提醒犯人尽快上床休息，并启动探照灯指向无人床位，若等待设定时间后检测到犯人仍未返回床位休息，则拍摄视频上传到监控中心处理；

若室内所有床位都有人，则主控制器将机器人云台降低至初始高度，继续行进到下一区域巡检。

Images