CN111190420A - 一种多移动机器人在安防领域中协作搜索与围捕方法 - Google Patents

一种多移动机器人在安防领域中协作搜索与围捕方法 Download PDF

Info

Publication number
CN111190420A
CN111190420A CN202010012919.8A CN202010012919A CN111190420A CN 111190420 A CN111190420 A CN 111190420A CN 202010012919 A CN202010012919 A CN 202010012919A CN 111190420 A CN111190420 A CN 111190420A
Authority
CN
China
Prior art keywords
mobile robot
target object
function
mobile
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010012919.8A
Other languages
English (en)
Other versions
CN111190420B (zh
Inventor
王东
郝运凯
连捷
王宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010012919.8A priority Critical patent/CN111190420B/zh
Publication of CN111190420A publication Critical patent/CN111190420A/zh
Application granted granted Critical
Publication of CN111190420B publication Critical patent/CN111190420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明属于机器人技术和安防技术领域，一种多移动机器人在安防领域中协作搜索与围捕方法，包括以下步骤：(1)移动机器人平台的搭建，(2)移动机器人通信网络的构建，(3)后台监控系统界面的设计，(4)目标物体的检测，(5)移动机器人在工作区域巡检，(6)目标物体的跟踪，(7)多移动机器人编队控制。本发明提供的方法可以将移动机器人应用于安防领域，对于移动机器人在安防领域中的入侵报警、闭路监控、巡查等方面具有一定的指导意义，克服了移动机器人应用欠缺，智能化程度和无人化程度不高的问题。

Description

一种多移动机器人在安防领域中协作搜索与围捕方法
技术领域
本发明涉及一种多移动机器人在安防领域中协作搜索与围捕方法，属于机器人技术和安防技术领域。
背景技术
近年来，伴随着科学技术的进步和经济的快速发展，机器人的研究工作引起了诸多科研工作者的关注。截至目前，在机器人的机械结构、运动驱动控制、传感器运用、数据交流通信、智能协作等方面理论和工程实践上都取得了较大进展，极大地推动了机器人在实际生产和生活中的应用，例如在工业制造、抢险救灾、仓储调度、智慧医疗等领域均有机器人的参与。安全问题作为全社会共同关注的一件大事，是各行业尤其是具有潜在危险的高风险行业所必需重视的一项工作。安防问题重要的行业地位以及特殊的行业性质，决定了未来机器人必将广泛应用于安防领域。
目前来说，安防领域主要有闭路监控系统、防盗报警系统、小区一卡通系统、电子围栏、巡更系统、考勤门禁系统等构成，其中涉及报警器、终端显示、监控摄像头等设备，移动机器人应用欠缺，智能化程度和无人化程度不高。主要原因是高度智能移动机器人成本代价的高昂。此外，部分安防领域虽然引进了成本高昂的移动机器人，但是却将引入的移动机器人用于简单的任务和工作，没有充分挖掘机器人的功能和优势，使得投入巨大而收效甚微，造成了资源的极大浪费，与引入移动机器人的最初愿景背道而驰。因此，有必要设计成本较低的机器人，并将多个移动机器人协作用于安防领域，期于多个移动机器人完成高度智能移动机器人所不能胜任的复杂工作并降低移动机器人在安防领域的应用成本，提高安防系统的无人化程度，降低系统的故障率和失误率。
发明内容
为了克服现有技术中存在的不足，本发明目的是提供一种多移动机器人在安防领域中协作搜索与围捕方法。本发明提供的方法可以将移动机器人应用于安防领域，对于移动机器人在安防领域中的入侵报警、闭路监控、巡查等方面具有一定的指导意义，克服了移动机器人应用欠缺，智能化程度和无人化程度不高的问题。
为了实现上述发明目的，解决已有技术中所存在的问题，本发明采取的技术方案是：一种多移动机器人在安防领域中协作搜索与围捕方法，包括以下步骤：
步骤1、移动机器人平台的搭建，移动机器人移动底盘采用Kobuki基座，Kobuki基座上设置有两层亚克力板与Kobuki基座形成三层空间，Kobuki基座与第一层亚克力板之间安装有贝视特工业移动电源，容量为50000mAh；第一层与第二层亚克力板之间正中心固定有NVIDIA JETSON TX2开发板、在第一层与第二层亚克力板之间且靠近移动机器人正前方方向安装有Intel RealSense ZR300摄像头；在第二层亚克力板上面正中心处安装有矩形盒，矩形盒上面固定有RPLidar A3激光雷达、第二层亚克力板后方悬挂有工业液晶显屏；所述NVIDIA JETSON TX2开发板上安装有Ubuntu16.04、Ubuntu16.04上安装有ROS(Kinetic)、OpenCV依赖库、SLAM功能包、Navigation功能包及相关硬件驱动程序；
步骤2、移动机器人通信网络的构建，移动机器人在工作区域通过覆盖的局域网络进行通信，通信采用Socket完成，Socket具体创建过程如下：
(1)服务器端，包括使用socket()函数创建套接字，使用bind()函数绑定IP地址和端口号到创建的套接字上，使用listen()函数监听对应的端口号，使用accept()函数接收客户端连接，使用read()和write()函数收发数据及使用close()函数关闭套接字；
(2)客户端，包括使用函数socket()创建套接字，使用connect()函数连接到服务器，使用read()和write()函数收发数据及使用close()函数关闭套接字；
(3)成功创建上述套接字后，移动机器人之间进行通信，通信的信息主要有移动机器人在全局2D地图中的位置信息，摄像头获得目标物体中心点的深度信息，移动机器人与后台监控系统之间通信的信息主要是摄像头的图像信息数据；
步骤3、后台监控系统界面的设计，针对移动机器人在安防领域中的应用，基于QT设计了后台监控系统界面，具体包括以下子步骤：
(a)移动机器人启动摄像头驱动程序，订阅相机发布的消息，将相机话题中的消息显示在客户端的ROS-GUI界面中，并将相机发布的消息进行图像压缩，通过步骤2创建的通信网络传送给后台监控系统；
(b)后台监控系统将接收到的图像消息进行解压，并在QT界面中显示形成后台监控系统界面；
步骤4、目标物体的检测，具体包括以下子步骤：
(a)目标物体装配有颜色靶标作为其特征信息，首先进行图像预处理，将RGB色彩空间图像转化为HSV色彩空间，然后将HSV色彩空间的图像按照特定颜色的色调、饱和度、亮度进行阈值分割并对形成的二值图做直方图均衡化、滤波；接着，对二值图进行形态学开操作，去除小的黑色区域，再对二值图进行形态学闭操作，最后提取二值图有效轮廓；
(b)取目标物体的中心点作为计算点，将该点在图片中的像素坐标(u,v)，转换到图像坐标系下为(x,y)，转换关系通过式(1)进行描述，
Figure BDA0002357805700000031
式中，dx表示每个像素在x轴上的物理尺寸，dy表示每个像素在y轴上的物理尺寸,(u0,v0)表示图像坐标系的原点在像素坐标系下的坐标；
(c)将图像坐标系下的坐标(x,y)转换到相机坐标系[Xc,Yc,Zc]T转换关系通过式(2)进行描述，
Figure BDA0002357805700000032
式中，f表示焦距，[x,y,1]T表示归一化后的图像物理坐标；
(d)将目标物体的中心点在相机坐标系下的坐标转换成为相对于2D全局地图的坐标[XG YG]T，通过式(3)进行描述，
Figure BDA0002357805700000041
式中，[XR YR]T为移动机器人在2D全局地图中的坐标，Φ表示移动机器人方向与坐标系之间的夹角，Zc表示摄像头目标物体中心点的深度信息即目标物体中心点相对于摄像头的距离，θ表示移动机器人与目标物体中心点的夹角，[xδ yδ]T表示由于摄像头的装配位置以及其他因素引起的误差；
步骤5、移动机器人在工作区域巡检，具体包括以下方面内容：
(1)依次在Ubuntu16.04系统终端下启动Kobuki基座驱动程序、键盘控制程序、RPLidar-A3激光雷达和Cartgropher建图程序，借助于键盘控制Kobuki基座在整个工作区域移动，使RPLidar-A3扫描出整个工作区域的二维地图，再将二维地图保存下来供后续导航及其他环节使用；
(2)按照有效覆盖面积最大原则指定移动机器人在二维地图中初始位置并选取二维地图中的多个点为移动机器人导航目标点，用于约束移动机器人全局路径规划的解空间，使移动机器人能够按照顺时针方向在工作区域实现连续性导航，移动机器人在当前目标点导航到下一目标点过程中，不会继续发送新的导航任务，只有到达下一目标点，才会继续发送导航任务进行下一路段导航，这里采用动作服务器机制来实现；
(3)利用Dynamic-Reconfigure设置移动机器人在各段区间的运行速度，一方面可以借助于动态参数配置客户端手动调节移动机器人导航速度，另一方面编写程序订阅移动机器人位姿根据移动机器人所处当前路段自动设置移动机器人导航速度，长路段设置速度为0.4m/s，短路段设置速度为0.2m/s；
(4)在移动机器人的各个导航目标点处，控制移动机器人以合适的角速度旋转使移动机器人获得周围360度视野，减轻了固定相机的弊端；
步骤6、目标物体的跟踪，移动机器人通过步骤4和步骤5在工作区域巡检，发现目标物体后，由于目标物体具有一定的动态性，因此，需要通过跟踪实现移动机器人对目标物体的跟随，具体包括以下子步骤：
(a)以图像物理坐标系的中心坐标为给定值，被控对象为移动机器人速度控制器，被控量为移动机器人的速度，建立控制系统模型，设计目标物体跟踪控制器；
(b)由于比例控制、积分控制、微分控制分别具有快速响应、消除残差、扼制变化的作用，因此目标物体跟踪控制器采用PID控制策略，即比例积分微分控制，并取得了好的跟踪控制效果，这里传递函数，通过式(4)进行描述，
Figure BDA0002357805700000051
其中Kp表示比例环节放大倍数、Ti表示积分时间常数、Td表示微分时间常数。
步骤7、多移动机器人编队控制，具体包括以下子步骤：
(a)某个移动机器人发现目标物体后，借助于步骤2构建的通信网络发送给其它移动机器人消息，发送的消息主要有目标识别的状态标识位、移动机器人编号、深度距离、移动机器人在二维地图中的位置；
(b)其它移动机器人接收到发现目标物体的信息，根据接收到的各项信息以及自身的编号确定自身在二维地图中相对于发现目标物体的移动机器人的位置；
(c)发现目标的移动机器人作为领航者，其它移动机器人作为跟随者，三者之间形成三角形编队队形将目标物体围捕起来，借助于步骤6的目标物体的跟踪使目标物体位于多移动机器人编队队形的中央。
本发明有益效果是：一种多移动机器人在安防领域中协作搜索与围捕方法，包括以下步骤：(1)移动机器人平台的搭建，(2)移动机器人通信网络的构建，(3)后台监控系统界面的设计，(4)目标物体的检测，(5)移动机器人在工作区域巡检，(6)目标物体的跟踪，(7)多移动机器人编队控制。与已有技术相比，本发明提供的方法可以将移动机器人应用于安防领域，对于移动机器人在安防领域中的入侵报警、闭路监控、巡查等方面具有一定的指导意义，克服了移动机器人应用欠缺，智能化程度和无人化程度不高的问题。
附图说明
图1是本发明方法步骤流程图。
图2是移动机器人的外观图。
图3是创建Socket通信示意图。
图4是移动机器人客户端ROS-GUI界面图。
图5是服务器端监控界面图。
图6是目标物体的外观图。
图7是移动机器人识别目标物体效果图。
图8是工作区域的全局2D地图。
图9是移动机器人对于目标物体的围捕示意图。
图10是移动机器人对于目标物体的围捕效果图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，一种多移动机器人在安防领域中协作搜索与围捕方法，包括以下步骤：
步骤1、移动机器人平台的搭建，如图2所示，移动机器人移动底盘采用Kobuki基座，Kobuki基座上设置有两层亚克力板与Kobuki基座形成三层空间，Kobuki基座与第一层亚克力板之间安装有贝视特工业移动电源，容量为50000mAh；第一层与第二层亚克力板之间正中心固定有NVIDIA JETSON TX2开发板、在第一层与第二层亚克力板之间且靠近移动机器人正前方方向安装有Intel RealSense ZR300摄像头；在第二层亚克力板上面正中心处安装有矩形盒，矩形盒上面固定有RPLidar A3激光雷达、第二层亚克力板后方悬挂有工业液晶显屏；所述NVIDIA JETSON TX2开发板上安装有Ubuntu16.04、Ubuntu16.04上安装有ROS(Kinetic)、OpenCV依赖库、SLAM功能包、Navigation功能包及相关硬件驱动程序；
步骤2、移动机器人通信网络的构建，移动机器人在工作区域通过覆盖的局域网络进行通信，通信采用Socket完成，如图3所示，Socket具体创建过程如下：
(1)服务器端，包括使用socket()函数创建套接字，使用bind()函数绑定IP地址和端口号到创建的套接字上，使用listen()函数监听对应的端口号，使用accept()函数接收客户端连接，使用read()和write()函数收发数据及使用close()函数关闭套接字；
(2)客户端，包括使用函数socket()创建套接字，使用connect()函数连接到服务器，使用read()和write()函数收发数据及使用close()函数关闭套接字；
(3)成功创建上述套接字后，移动机器人之间进行通信，通信的信息主要有移动机器人在全局2D地图中的位置信息，摄像头获得目标物体中心点的深度信息，移动机器人与后台监控系统之间通信的信息主要是摄像头的图像信息数据；
步骤3、后台监控系统界面的设计，针对移动机器人在安防领域中的应用，基于QT设计了后台监控系统界面，具体包括以下子步骤：
(a)移动机器人启动摄像头驱动程序，订阅相机发布的消息，将相机话题中的消息显示在客户端的ROS-GUI界面中，如图4所示，并将相机发布的消息进行图像压缩，通过步骤2创建的通信网络传送给后台监控系统；
(b)后台监控系统将接收到的图像消息进行解压，并在QT界面中显示形成后台监控系统界面，如图5所示；
步骤4、目标物体的检测，具体包括以下子步骤：
(b)如图6所示，目标物体装配有颜色靶标作为其特征信息，首先进行图像预处理，将RGB色彩空间图像转化为HSV色彩空间，然后将HSV色彩空间的图像按照特定颜色的色调、饱和度、亮度进行阈值分割并对形成的二值图做直方图均衡化、滤波；接着，对二值图进行形态学开操作，去除小的黑色区域，再对二值图进行形态学闭操作，最后提取二值图有效轮廓，识别效果如图7所示；
(b)取目标物体的中心点作为计算点，将该点在图片中的像素坐标(u,v)，转换到图像坐标系下为(x,y)，转换关系通过式(1)进行描述，
Figure BDA0002357805700000081
式中，dx表示每个像素在x轴上的物理尺寸，dy表示每个像素在y轴上的物理尺寸,(u0,v0)表示图像坐标系的原点在像素坐标系下的坐标；
(c)将图像坐标系下的坐标(x,y)转换到相机坐标系[Xc,Yc,Zc]T转换关系通过式(2)进行描述，
Figure BDA0002357805700000082
式中，f表示焦距，[x,y,1]T表示归一化后的图像物理坐标；
(d)将目标物体的中心点在相机坐标系下的坐标转换成为相对于2D全局地图的坐标[XG YG]T，通过式(3)进行描述，
Figure BDA0002357805700000083
式中，[XR YR]T为移动机器人在2D全局地图中的坐标，Φ表示移动机器人方向与坐标系之间的夹角，Zc表示摄像头目标物体中心点的深度信息即目标物体中心点相对于摄像头的距离，θ表示移动机器人与目标物体中心点的夹角，[xδ yδ]T表示由于摄像头的装配位置以及其他因素引起的误差；
步骤5、移动机器人在工作区域巡检，具体包括以下方面内容：
(1)依次在Ubuntu16.04系统终端下启动Kobuki基座驱动程序、键盘控制程序、RPLidar-A3激光雷达和Cartgropher建图程序，借助于键盘控制Kobuki基座在整个工作区域移动，使RPLidar-A3扫描出整个工作区域的二维地图，再将二维地图保存下来供后续导航及其他环节使用，构建的工作区域的2D地图如图8所示；
(2)按照有效覆盖面积最大原则指定移动机器人在二维地图中初始位置并选取二维地图中的多个点为移动机器人导航目标点，用于约束移动机器人全局路径规划的解空间，使移动机器人能够按照顺时针方向在工作区域实现连续性导航，移动机器人在当前目标点导航到下一目标点过程中，不会继续发送新的导航任务，只有到达下一目标点，才会继续发送导航任务进行下一路段导航，这里采用动作服务器机制来实现；
(3)利用Dynamic-Reconfigure设置移动机器人在各段区间的运行速度，一方面可以借助于动态参数配置客户端手动调节移动机器人导航速度，另一方面编写程序订阅移动机器人位姿根据移动机器人所处当前路段自动设置移动机器人导航速度，长路段设置速度为0.4m/s，短路段设置速度为0.2m/s；
(4)在移动机器人的各个导航目标点处，控制移动机器人以合适的角速度旋转使移动机器人获得周围360度视野，减轻了固定相机的弊端；
步骤6、目标物体的跟踪，移动机器人通过步骤4和步骤5在工作区域巡检，发现目标物体后，由于目标物体具有一定的动态性，因此，需要通过跟踪实现移动机器人对目标物体的跟随，具体包括以下子步骤：
(a)以图像物理坐标系的中心坐标为给定值，被控对象为移动机器人速度控制器，被控量为移动机器人的速度，建立控制系统模型，设计目标物体跟踪控制器；
(b)由于比例控制、积分控制、微分控制分别具有快速响应、消除残差、扼制变化的作用，因此，目标物体跟踪控制器采用PID控制策略，即比例积分微分控制，并取得了好的跟踪控制效果，这里传递函数，通过式(4)进行描述，
Figure BDA0002357805700000091
其中Kp表示比例环节放大倍数、Ti表示积分时间常数、Td表示微分时间常数。
步骤7、多移动机器人编队控制，具体包括以下子步骤：
(a)某个移动机器人发现目标物体后，借助于步骤2构建的通信网络发送给其它移动机器人消息，发送的消息主要有目标识别的状态标识位、移动机器人编号、深度距离、移动机器人在二维地图中的位置；
(b)其它移动机器人接收到发现目标物体的信息，根据接收到的各项信息以及自身的编号确定自身在二维地图中相对于发现目标物体的移动机器人的位置；
(c)发现目标的移动机器人作为领航者，其它移动机器人作为跟随者，三者之间形成三角形编队队形将目标物体围捕起来，围捕示意图如图9所示，借助于步骤6的目标物体的跟踪使目标物体位于多移动机器人编队队形的中央，图10为最终围捕的效果图。

Claims (1)

1.一种多移动机器人在安防领域中协作搜索与围捕方法，其特征在于包括以下步骤：
步骤1、移动机器人平台的搭建，移动机器人移动底盘采用Kobuki基座，Kobuki基座上设置有两层亚克力板与Kobuki基座形成三层空间，Kobuki基座与第一层亚克力板之间安装有贝视特工业移动电源，容量为50000mAh；第一层与第二层亚克力板之间正中心固定有NVIDIA JETSON TX2开发板、在第一层与第二层亚克力板之间且靠近移动机器人正前方方向安装有Intel RealSense ZR300摄像头；在第二层亚克力板上面正中心处安装有矩形盒，矩形盒上面固定有RPLidar A3激光雷达、第二层亚克力板后方悬挂有工业液晶显屏；所述NVIDIA JETSON TX2开发板上安装有Ubuntu16.04、Ubuntu16.04上安装有ROS(Kinetic)、OpenCV依赖库、SLAM功能包、Navigation功能包及相关硬件驱动程序；
步骤2、移动机器人通信网络的构建，移动机器人在工作区域通过覆盖的局域网络进行通信，通信采用Socket完成，Socket具体创建过程如下：
(1)服务器端，包括使用socket()函数创建套接字，使用bind()函数绑定IP地址和端口号到创建的套接字上，使用listen()函数监听对应的端口号，使用accept()函数接收客户端连接，使用read()和write()函数收发数据及使用close()函数关闭套接字；
(2)客户端，包括使用函数socket()创建套接字，使用connect()函数连接到服务器，使用read()和write()函数收发数据及使用close()函数关闭套接字；
(3)成功创建上述套接字后，移动机器人之间进行通信，通信的信息主要有移动机器人在全局2D地图中的位置信息，摄像头获得目标物体中心点的深度信息，移动机器人与后台监控系统之间通信的信息主要是摄像头的图像信息数据；
步骤3、后台监控系统界面的设计，针对移动机器人在安防领域中的应用，基于QT设计了后台监控系统界面，具体包括以下子步骤：
(a)移动机器人启动摄像头驱动程序，订阅相机发布的消息，将相机话题中的消息显示在客户端的ROS-GUI界面中，并将相机发布的消息进行图像压缩，通过步骤2创建的通信网络传送给后台监控系统；
(b)后台监控系统将接收到的图像消息进行解压，并在QT界面中显示形成后台监控系统界面；
步骤4、目标物体的检测，具体包括以下子步骤：
(a)目标物体装配有颜色靶标作为其特征信息，首先进行图像预处理，将RGB色彩空间图像转化为HSV色彩空间，然后将HSV色彩空间的图像按照特定颜色的色调、饱和度、亮度进行阈值分割并对形成的二值图做直方图均衡化、滤波；接着，对二值图进行形态学开操作，去除小的黑色区域，再对二值图进行形态学闭操作，最后提取二值图有效轮廓；
(b)取目标物体的中心点作为计算点，将该点在图片中的像素坐标(u,v)，转换到图像坐标系下为(x,y)，转换关系通过式(1)进行描述，
Figure FDA0002357805690000021
式中，dx表示每个像素在x轴上的物理尺寸，dy表示每个像素在y轴上的物理尺寸，(u0,v0)表示图像坐标系的原点在像素坐标系下的坐标；
(c)将图像坐标系下的坐标(x,y)转换到相机坐标系[Xc,Yc,Zc]T，转换关系通过式(2)进行描述，
Figure FDA0002357805690000022
式中，f表示焦距，[x,y,1]T表示归一化后的图像物理坐标；
(d)将目标物体的中心点在相机坐标系下的坐标转换成为相对于2D全局地图的坐标[XGYG]T，通过式(3)进行描述，
Figure FDA0002357805690000031
式中，[XR YR]T为移动机器人在2D全局地图中的坐标，Φ表示移动机器人方向与坐标系之间的夹角，Zc表示摄像头目标物体中心点的深度信息即目标物体中心点相对于摄像头的距离，θ表示移动机器人与目标物体中心点的夹角，[xδ yδ]T表示由于摄像头的装配位置以及其他因素引起的误差；
步骤5：移动机器人在工作区域巡检，具体包括以下方面内容：
(1)依次在Ubuntu16.04系统终端下启动Kobuki基座驱动程序、键盘控制程序、RPLidar-A3激光雷达和Cartgropher建图程序，借助于键盘控制Kobuki基座在整个工作区域移动，使RPLidar-A3扫描出整个工作区域的二维地图，再将二维地图保存下来供后续导航及其他环节使用；
(2)按照有效覆盖面积最大原则指定移动机器人在二维地图中初始位置并选取二维地图中的多个点为移动机器人导航目标点，用于约束移动机器人全局路径规划的解空间，使移动机器人能够按照顺时针方向在工作区域实现连续性导航，移动机器人在当前目标点导航到下一目标点过程中，不会继续发送新的导航任务，只有到达下一目标点，才会继续发送导航任务进行下一路段导航，这里采用动作服务器机制来实现；
(3)利用Dynamic-Reconfigure设置移动机器人在各段区间的运行速度，一方面可以借助于动态参数配置客户端手动调节移动机器人导航速度，另一方面编写程序订阅移动机器人位姿根据移动机器人所处当前路段自动设置移动机器人导航速度，长路段设置速度为0.4m/s，短路段设置速度为0.2m/s；
(4)在移动机器人的各个导航目标点处，控制移动机器人以合适的角速度旋转使移动机器人获得周围360度视野，减轻了固定相机的弊端；
步骤6：目标物体的跟踪，移动机器人通过步骤4和步骤5在工作区域巡检，发现目标物体后，由于目标物体具有一定的动态性，因此，需要通过跟踪实现移动机器人对目标物体的跟随，具体包括以下子步骤：
(a)以图像物理坐标系的中心坐标为给定值，被控对象为移动机器人速度控制器，被控量为移动机器人的速度，建立控制系统模型，设计目标物体跟踪控制器；
(b)由于比例控制、积分控制、微分控制分别具有快速响应、消除残差、扼制变化的作用，因此，目标物体跟踪控制器采用PID控制策略，即比例积分微分控制，并取得了好的跟踪控制效果，这里传递函数，通过式(4)进行描述，
Figure FDA0002357805690000041
其中Kp表示比例环节放大倍数、Ti表示积分时间常数、Td表示微分时间常数；
步骤7：多移动机器人编队控制，具体包括以下子步骤：
(a)某个移动机器人发现目标物体后，借助于步骤2构建的通信网络发送给其它移动机器人消息，发送的消息主要有目标识别的状态标识位、移动机器人编号、深度距离、移动机器人在二维地图中的位置；
(b)其它移动机器人接收到发现目标物体的信息，根据接收到的各项信息以及自身的编号确定自身在二维地图中相对于发现目标物体的移动机器人的位置；
(c)发现目标的移动机器人作为领航者，其它移动机器人作为跟随者，三者之间形成三角形编队队形将目标物体围捕起来，借助于步骤6的目标物体的跟踪使目标物体位于多移动机器人编队队形的中央。
CN202010012919.8A 2020-01-07 2020-01-07 一种多移动机器人在安防领域中协作搜索与围捕方法 Active CN111190420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010012919.8A CN111190420B (zh) 2020-01-07 2020-01-07 一种多移动机器人在安防领域中协作搜索与围捕方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010012919.8A CN111190420B (zh) 2020-01-07 2020-01-07 一种多移动机器人在安防领域中协作搜索与围捕方法

Publications (2)

Publication Number Publication Date
CN111190420A true CN111190420A (zh) 2020-05-22
CN111190420B CN111190420B (zh) 2021-11-12

Family

ID=70706042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010012919.8A Active CN111190420B (zh) 2020-01-07 2020-01-07 一种多移动机器人在安防领域中协作搜索与围捕方法

Country Status (1)

Country Link
CN (1) CN111190420B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383749A (zh) * 2020-11-03 2021-02-19 浪潮云信息技术股份公司 一种基于自动跟随运动底盘的监控方法
CN114489086A (zh) * 2022-04-14 2022-05-13 武汉跨克信息技术有限公司 一种仿生机器人协同作业方法及装置
CN114693792A (zh) * 2022-04-27 2022-07-01 广西柳工机械股份有限公司 一种姿态识别方法、装置、电子设备和存储介质
CN114833817A (zh) * 2021-02-01 2022-08-02 丰田自动车株式会社 机器人控制系统、机器人控制方法和计算机可读介质
CN114851227A (zh) * 2022-06-22 2022-08-05 上海大学 一种基于机器视觉与触觉融合感知的装置
CN115331174A (zh) * 2022-08-19 2022-11-11 中国安全生产科学研究院 一种企业安全生产标准化智能监管系统及方法
CN115509232A (zh) * 2022-09-28 2022-12-23 北京星航机电装备有限公司 基于Autoware的多机器人分布式协同巡逻-围捕方法及系统
CN115562263A (zh) * 2022-09-28 2023-01-03 北京星航机电装备有限公司 基于ros的多机器人分布式协同巡逻方法、装置及系统

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1219332A2 (en) * 2000-12-27 2002-07-03 Pioneer Corporation Network game system and network game providing method
US20040068351A1 (en) * 2002-04-22 2004-04-08 Neal Solomon System, methods and apparatus for integrating behavior-based approach into hybrid control model for use with mobile robotic vehicles
CN101382429A (zh) * 2008-10-17 2009-03-11 北京航空航天大学 一种地空异构多机器人搜救系统
CN102419598A (zh) * 2011-12-08 2012-04-18 南京航空航天大学 一种多无人机协同侦察移动目标的方法
CN102915039A (zh) * 2012-11-09 2013-02-06 河海大学常州校区 一种仿动物空间认知的多机器人联合目标搜寻方法
CN103278151A (zh) * 2013-02-28 2013-09-04 中国矿业大学 一种动态烟羽环境下多机器人协作搜索气味源方法
CN103970134A (zh) * 2014-04-16 2014-08-06 江苏科技大学 多移动机器人系统协作实验平台及其视觉分割和定位方法
CN104023063A (zh) * 2014-06-11 2014-09-03 合肥工业大学 一种机器人云系统
CN104866898A (zh) * 2015-05-22 2015-08-26 大连理工大学 一种基于协同混合人工鱼群模型的多目标柔性作业车间调度方法
CN104942807A (zh) * 2015-04-16 2015-09-30 上海大学 基于扩展式合作博弈的多机器人围捕目标方法
CN105182973A (zh) * 2015-09-08 2015-12-23 郑州大学 多机器人追捕者围捕单移动目标的自适应围捕装置与方法
CN105487535A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于ros的移动机器人室内环境探索系统与控制方法
CN105843227A (zh) * 2016-04-15 2016-08-10 上海大学 一种基于任务密集度动态调整的多机器人协作围捕任务分配方法
CN106094835A (zh) * 2016-08-01 2016-11-09 西北工业大学 前轮驱动车式移动机器人的动态编队控制方法
CN106598052A (zh) * 2016-12-14 2017-04-26 南京阿凡达机器人科技有限公司 一种基于环境地图的机器人安防巡检方法及其机器人
US20180267524A1 (en) * 2016-05-24 2018-09-20 Wuhan University Of Science And Technology Air-ground heterogeneous robot system path planning method based on neighborhood constraint
US20180326581A1 (en) * 2017-05-11 2018-11-15 King Fahd University Of Petroleum And Minerals System and method for auction-based and adaptive multi-threshold multi-agent task allocation
CN108958028A (zh) * 2018-05-24 2018-12-07 大连理工大学 基于改进粒子群算法的群机器人协同搜索方法
CN109062204A (zh) * 2018-07-25 2018-12-21 南京理工大学 一种基于跟随领航者编队的多移动机器人控制系统
CN109857102A (zh) * 2019-01-21 2019-06-07 大连理工大学 一种基于相对位置的轮式机器人编队与跟踪控制方法
CN109917818A (zh) * 2019-01-31 2019-06-21 天津大学 基于地面机器人的协同搜索围堵方法
US20190210177A1 (en) * 2018-01-11 2019-07-11 Razor Edge Systems, Inc. Robotic hand tool sharpening and cleaning apparatus
CN110069076A (zh) * 2019-04-23 2019-07-30 北京航空航天大学 一种基于猛狼围捕行为的无人机集群空战方法
CN110647145A (zh) * 2019-09-05 2020-01-03 新疆大学 基于安防的地面移动机器人、无人机协同作业系统及方法

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1219332A2 (en) * 2000-12-27 2002-07-03 Pioneer Corporation Network game system and network game providing method
US20040068351A1 (en) * 2002-04-22 2004-04-08 Neal Solomon System, methods and apparatus for integrating behavior-based approach into hybrid control model for use with mobile robotic vehicles
CN101382429A (zh) * 2008-10-17 2009-03-11 北京航空航天大学 一种地空异构多机器人搜救系统
CN102419598A (zh) * 2011-12-08 2012-04-18 南京航空航天大学 一种多无人机协同侦察移动目标的方法
CN102915039A (zh) * 2012-11-09 2013-02-06 河海大学常州校区 一种仿动物空间认知的多机器人联合目标搜寻方法
CN103278151A (zh) * 2013-02-28 2013-09-04 中国矿业大学 一种动态烟羽环境下多机器人协作搜索气味源方法
CN103970134A (zh) * 2014-04-16 2014-08-06 江苏科技大学 多移动机器人系统协作实验平台及其视觉分割和定位方法
CN104023063A (zh) * 2014-06-11 2014-09-03 合肥工业大学 一种机器人云系统
CN105487535A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于ros的移动机器人室内环境探索系统与控制方法
CN104942807A (zh) * 2015-04-16 2015-09-30 上海大学 基于扩展式合作博弈的多机器人围捕目标方法
CN104942807B (zh) * 2015-04-16 2017-02-22 上海大学 基于扩展式合作博弈的多机器人围捕目标方法
CN104866898A (zh) * 2015-05-22 2015-08-26 大连理工大学 一种基于协同混合人工鱼群模型的多目标柔性作业车间调度方法
CN105182973A (zh) * 2015-09-08 2015-12-23 郑州大学 多机器人追捕者围捕单移动目标的自适应围捕装置与方法
CN105843227A (zh) * 2016-04-15 2016-08-10 上海大学 一种基于任务密集度动态调整的多机器人协作围捕任务分配方法
US20180267524A1 (en) * 2016-05-24 2018-09-20 Wuhan University Of Science And Technology Air-ground heterogeneous robot system path planning method based on neighborhood constraint
CN106094835A (zh) * 2016-08-01 2016-11-09 西北工业大学 前轮驱动车式移动机器人的动态编队控制方法
CN106598052A (zh) * 2016-12-14 2017-04-26 南京阿凡达机器人科技有限公司 一种基于环境地图的机器人安防巡检方法及其机器人
US20180326581A1 (en) * 2017-05-11 2018-11-15 King Fahd University Of Petroleum And Minerals System and method for auction-based and adaptive multi-threshold multi-agent task allocation
US20190210177A1 (en) * 2018-01-11 2019-07-11 Razor Edge Systems, Inc. Robotic hand tool sharpening and cleaning apparatus
CN108958028A (zh) * 2018-05-24 2018-12-07 大连理工大学 基于改进粒子群算法的群机器人协同搜索方法
CN109062204A (zh) * 2018-07-25 2018-12-21 南京理工大学 一种基于跟随领航者编队的多移动机器人控制系统
CN109857102A (zh) * 2019-01-21 2019-06-07 大连理工大学 一种基于相对位置的轮式机器人编队与跟踪控制方法
CN109917818A (zh) * 2019-01-31 2019-06-21 天津大学 基于地面机器人的协同搜索围堵方法
CN110069076A (zh) * 2019-04-23 2019-07-30 北京航空航天大学 一种基于猛狼围捕行为的无人机集群空战方法
CN110647145A (zh) * 2019-09-05 2020-01-03 新疆大学 基于安防的地面移动机器人、无人机协同作业系统及方法

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
CHIENCHOU LIN, WUNJHIH LUO, AND CHIACHEN LIN: "An Integrated 3D Mapping Approach based on RGB-D for a Multi-robot System", 《PROCEEDINGS OF THE 2014 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION》 *
DONG WANG, YANG YU AND WEI WANG: "Multi-Robot Formation and Tracking Control Method", 《2019 6TH INTERNATIONAL CONFERENCE ON CONTROL, DECISION AND INFORMATION TECHNOLOGIES (CODIT)》 *
MININATH K.NIGHOT ETAL.: "Multi-robot hunting based on Swarm Intelligence", 《2012 12TH INTERNATIONAL CONFERENCE ON HYBRID INTELLIGENT SYSTEMS (HIS)》 *
ZHANYANG WEI; WANPENG ZHANG; JING CHEN; ZHEN YANG: "Expert knowledge based multi-agent reinforcement learning and its application in multi-robot hunting problem", 《2018 CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》 *
刘彤等: "基于结构持久图和视觉定位的多机器人编队生成与控制", 《信息与控制》 *
刘琨: "多无人艇协同搜索与围捕方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
杨卫等: "群机器人自组织聚集行为及协同围捕研究", 《兵器装备工程学报》 *
汪浩杰: "多机器人系统中围捕策略的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
赵攀等: "基于决策树的羽流追踪机器人自主决策方法研究", 《计算机工程与应用》 *
陈余庆: "多移动机器人的协作运动控制研究", 《中国优秀博硕士学位论文全文数据库 (博士) 信息科技辑》 *
魏征: "基于博弈理论群体机器人围捕行为研究及虚拟仿真", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383749A (zh) * 2020-11-03 2021-02-19 浪潮云信息技术股份公司 一种基于自动跟随运动底盘的监控方法
CN114833817A (zh) * 2021-02-01 2022-08-02 丰田自动车株式会社 机器人控制系统、机器人控制方法和计算机可读介质
CN114489086A (zh) * 2022-04-14 2022-05-13 武汉跨克信息技术有限公司 一种仿生机器人协同作业方法及装置
CN114693792A (zh) * 2022-04-27 2022-07-01 广西柳工机械股份有限公司 一种姿态识别方法、装置、电子设备和存储介质
CN114851227A (zh) * 2022-06-22 2022-08-05 上海大学 一种基于机器视觉与触觉融合感知的装置
CN114851227B (zh) * 2022-06-22 2024-02-27 上海大学 一种基于机器视觉与触觉融合感知的装置
CN115331174A (zh) * 2022-08-19 2022-11-11 中国安全生产科学研究院 一种企业安全生产标准化智能监管系统及方法
CN115509232A (zh) * 2022-09-28 2022-12-23 北京星航机电装备有限公司 基于Autoware的多机器人分布式协同巡逻-围捕方法及系统
CN115562263A (zh) * 2022-09-28 2023-01-03 北京星航机电装备有限公司 基于ros的多机器人分布式协同巡逻方法、装置及系统

Also Published As

Publication number Publication date
CN111190420B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN111190420B (zh) 一种多移动机器人在安防领域中协作搜索与围捕方法
Chen et al. Edge intelligence empowered vehicle detection and image segmentation for autonomous vehicles
CN108833833B (zh) 面向智能网联汽车场景图像数据感知与协同处理系统
CN108109385B (zh) 一种输电线防外破的车辆识别与危险行为判别系统与方法
CN112017240B (zh) 一种面向无人叉车的托盘识别定位方法
Bian et al. A novel monocular-based navigation approach for UAV autonomous transmission-line inspection
CN203870474U (zh) 一种面向视觉监控的自动导航巡逻机器人
CN108657455A (zh) 一种高压输电线路巡检的无人机自动收放装置
CN113111887A (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN111681283A (zh) 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法
CN114397877A (zh) 一种智能汽车自动驾驶系统
CN110390784A (zh) 一种基于深度学习的输电线路防外破监控系统
Yongqiang et al. Baai-vanjee roadside dataset: Towards the connected automated vehicle highway technologies in challenging environments of china
CN113428136B (zh) 泊车方法、装置及电子设备
CN113984037A (zh) 一种基于任意方向目标候选框的语义地图构建方法
Liu et al. STCN-Net: A novel multi-feature stream fusion visibility estimation approach
CN116360447A (zh) 一种巡检机器人系统及其控制方法
CN105262174B (zh) 基于智能识别的智能园区电动汽车有序充电系统及方法
CN113869122A (zh) 一种配网工程强化管控方法
CN110808632A (zh) 一种变电站作业安全管控系统
CN208029009U (zh) 天网监控装置及系统
CN103440666B (zh) 一种非静态背景下运动区域快速定位的智能装置
CN216016901U (zh) 一种基于arm架构的ai视频图像分析系统
CN217776995U (zh) 智能移动协作机器人
CN219245765U (zh) 一种挖掘机临时停靠监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant