CN110893269A

CN110893269A - 基于视觉测量的消防机器人上水带接头对接方法及系统

Info

Publication number: CN110893269A
Application number: CN201911176711.3A
Authority: CN
Inventors: 李胜; 母春阁; 李鹏
Original assignee: Beijing Xinsong Rongtong Robot Technology Co ltd
Current assignee: Beijing Xinsong Rongtong Robot Technology Co ltd
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2020-03-20

Abstract

本发明提出了基于视觉测量的消防机器人上水带接头对接方法及系统，解决了现有技术中消防机器人不能够自动进行消防水带对接的问题；该方法包括取点进行拍照，并确定图像中像素距离与物理距离之间的关系；对水带公头进行拍照，获取图像，并对图像的分析获取水带公头位置；将水带公头位置发送到执行机构，通过执行机构将水带母头与水带公头进行对接；该系统包括承载机构，设置在使用地；执行机构，设置在使用地的墙体上；摄像装置，设置在使用地的墙体上；本发明提出的基于视觉测量的消防机器人上水带接头对接方法及系统在实现自动对接作业的同时，能够节约出警时间，且保证消防热源的安全。

Description

基于视觉测量的消防机器人上水带接头对接方法及系统

技术领域

本发明涉及平面视觉测量领域，特别是指基于视觉测量的消防机器人上水带接头对接方法及系统。

背景技术

消防机器人作为先进消防装备，其应用可显著提高对恶性事故的消防处理能力，大大减少人员伤亡。

现有技术中，消防机器人普遍采用人工遥控方式，尤其是需要人工方式对接消防水带到消防机器人，致使消防及时性受到约束。在出现火灾警情时，倘若能够通过视觉方式测量消防机器人水带接头，并将接头位姿发送给消防水带对接执行机构，由执行机构实现水带自动对接作业，则可有效节约出警灭火时间，同时保证消防人员的安全。

发明内容

本发明提出基于视觉测量的消防机器人上水带接头对接方法及系统，解决了现有技术中消防机器人不能够自动进行消防水带对接的问题。

本发明的技术方案是这样实现的：

一种基于视觉测量的消防机器人上水带接头对接方法，包括如下步骤：

S1、取点进行拍照，并确定图像中像素距离与物理距离之间的关系；

S2、对水带公头进行拍照，获取图像，并对图像的分析获取水带公头位置；

S3、将水带公头位置发送到执行机构，通过执行机构将水带母头与水带公头进行对接。

作为进一步的技术方案，S1步骤包括：

S11、进行摄像装置的安装，并在摄像装置下方设置游标卡尺，任取两个刻度点的物理距离为a mm；

S12、对取点进行拍照，并对拍照后的图像进行处理，获取S11步骤游标卡尺上选取的两个刻度点之间的像素距离b pixel；

S13、通过公式factor＝a/b mm/pixel，获得在摄像装置安装高度处，图像中1个像素点对应物理距离的值。

作为进一步的技术方案，S2步骤包括：

将带有水带公头的设备置于摄像装置的视野范围内；当出现火灾警情时，通过摄像装置对水带公头进行拍照，获取图像，并对图像的分析获取水带公头位置。

作为进一步的技术方案，S2步骤包括：

S21、将带有水带公头的设备置于摄像装置的视野范围内，并获取水带公头在物理坐标系中的特征点的位置；当出现火灾警情时，通过摄像装置对水带公头进行拍照，获取图像；

S22、将获取的图像进行图像分析，获取水带公头的位置。

作为进一步的技术方案，S22步骤包括：

将获取的图像进行图像分析，获取水带公头在图像坐标系中的位置；并根据图像像素与物理尺寸的关系，将水带公头在图像坐标系中的位置换算得到水带公头在物理坐标系的位置。

作为进一步的技术方案，S22步骤包括：

利用深度学习的目标检测方法将获取水带公头在的图像中的区域；与该区域内利用图像处理的边缘提取方法获取水带公头在图像坐标系中特征点的坐标点及偏航角度；并通过图像像素与物理标尺的关系将水带公头在图像坐标系中的特征点坐标和偏航角度转换为在物理坐标系中的坐标点和偏航角度，进而获取水带公头的位置。

本发明还公开了一种基于视觉测量的消防机器人上水带接头对接系统，包括：

用于进行水带公头承载，并进行位置移动的承载机构，设置在使用地；

用于进行水带母头的夹持，并将夹持的水带母头与置于承载机构上的水带公头进行对接的执行机构，设置在使用地的墙体上；

用于获取承载机构上水带公头图像的摄像装置，设置在使用地的墙体上。

作为进一步的技术方案，承载机构为消防机器人。

作为进一步的技术方案，执行机构包括：

转动盘，设置在使用地墙体上；

控制装置，与所述转动盘连接；

并联手臂，设置在所述转动盘上，并与所述控制装置连接。

作为进一步的技术方案，还包括：用于进行补光的LED光带，设置在摄像装置上。

本发明技术方案通过摄像装置获取水带公头图像，对图像进行分析后得出水带公头的图像位置，通过图像坐标与物理坐标的换算关系，得到水带公头在物理坐标系下的位置，由于水带母头处于固定位置，因此，在获取水带公头的具体位置后，通过执行机构夹持水带母头与水带公头进行对接，这样，能够在发生火灾警情时自动的进行水带公头与水带母头的对接，无需在通过人工的方式完成，进而在实现自动对接作业的同时，能够节约出警时间，且保证消防热源的安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于视觉测量的消防机器人上水带接头对接系统的示意图；

图2为水带公头置于物理坐标系的示意图；

图3为水带公头置于图像坐标系中的示意图。

图中：

1、承载机构；2、执行机构；3、摄像装置；4、墙体；5、水带公头；6、水带母头。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-3所示，本发明提出的一种基于视觉测量的消防机器人上水带接头对接方法，包括如下步骤：

取点进行拍照，并确定图像中像素距离与物理距离之间的关系；其中，在本发明中，需要通过三步进行实现，首先进行摄像装置的安装，并在摄像装置下方设置游标卡尺，任取两个刻度点的物理距离为a mm；其次，对取点进行拍照，并对拍照后的图像进行处理，获取S11步骤游标卡尺上选取的两个刻度点之间的像素距离b pixel；最后，通过公式factor＝a/b mm/pixel，获得在摄像装置安装高度处，所拍摄图像中1个像素点对应物理距离的值；当然，为提高数据的准确性，可以多次进行测试，并针对测试结果取平均值作为标定系数；

对水带公头进行拍照，获取图像，并对图像的分析获取水带公头位置；具体的，将带有水带公头的设备置于摄像装置的视野范围内；当出现火灾警情时，通过摄像装置对水带公头进行拍照，获取图像，并对图像的分析获取水带公头位置；而在此过程中，可能伴随有环境光线较弱的情况，可以通过补光装置来增加拍摄环境的亮度，优选使用LED光带按照在摄像装置上，进行补光；其中，

可以通过两步进行操作，首先，将带有水带公头的设备置于摄像装置的视野范围内；当出现火灾警情时，通过摄像装置对水带公头进行拍照，获取图像；而在实际拍摄的过程中，会伴随有复杂背景，这样会对图像造成干扰；因此，为提高水带公头位置测量的准确性，优选采用基于深度学习的目标检测技术，准备训练数据集时在不同光照条件、不同方位和不同拍摄距离下拍摄1000张图像，利用开源的目标检测算法，训练得到水带公头的检测模型；此种方式可提高水带公头图像检测算法的鲁棒性，消除图像中背景的干扰；

其次，利用训练得到的水带公头目标检测模型，对拍摄的水带公头执行算法推理，得到水带公头在图像中所处的矩形区域，在该区域内进一步采用传统图像处理的边缘提取算法，精确测量水带公头在图像坐标系下的特征点坐标和偏航角度。

更为具体的内容为：将获取的图像进行分析，获取水带公头在图像坐标系中的特征点的坐标及偏航角度；并根据预先标定的图像坐标系与物理坐标系的变换参数，换算得出水带公头在物理坐标系中坐标和偏航角度，即可获取水带公头的位置。

通过实施例来进一步说明如何获取水带公头特征点的坐标及偏航角：

如图2所示，水带公头物理空间坐标系中：由于水带公头的水平距离到地面的距离高度固定，因此，仅需要测量水带公头在物理坐标系中XY水平方向的位置；提取水带公头中三个边缘特征线A、B和C，其中，特征线A与特征线B与平行，且特征线A和特征线B所在的边缘与特征线C所在边缘相交；选取特征线C的中心点作为水带公头的特征点，进而获取该特征点在X轴和Y轴上的坐标(X1，Y1)；提取特征线A所在边缘，计算该边缘与Y轴的夹角θ作为偏航角，即水带公头偏离中心航向的角度；

如图3所示，水带公头在图像坐标系中：通过深度学习的目标检测模型，执行算法推理得到水带公头图像中接头部分在图像坐标系下的边界框位置；确定出边界框对角线的两个点M坐标为(X2，Y2)和N坐标为(X3，Y3)；由此可知，水带公头在图像坐标系中的预估范围；如图2所示，通过边缘提取和直线拟合算法(Hough变换或Ransac拟合)得到特征线A、B和C的直线方程；根据平面几何知识，进而求得水带公头特征点在图像坐标系中的特征的坐标及偏航角；最终通过factor＝a/b mm/pixel公式进行换算，得到水带公头在物理坐标系下的实际位置；

确定水带公头的位置后，将水带公头位置数据发送到执行机构，通过执行机构夹持水带母头向水带公头方向移动，在夹持机构到达预先测量得到的水带公头位置后，通过夹持机构实现水带母头与水带公头进行对接；

承载机构1设置在使用地，通过承载机构1进行水带公头5承载本发明中，优选的承载机构1为消防机器人；执行机构2设置在使用地的墙体4上，通过执行机构2进行水带母头6的夹持，并将夹持的水带母头6与置于承载机构1上的水带公头5进行对接；摄像装置3设置在使用地的墙体4上，通过摄像装置3获取承载机构1图像，本发明中，优选的摄像装置3为CCD相机；

具体的，承载机构1每次执行任务返回使用地时，承载机构1的停止位置在水平方向上会略有偏差；每次接到新的警情执行灭火作业前，需通过使用地上方安装的摄像装置3拍摄水带公头5的图像；通过对图像分析后得到水带公头5的位置，将水带公头5的实际位置发送给夹持水带母头6的执行机构2；通过执行机构2带动水带母头6动作，进而实现水带母头6和水带公头5的对接；其中，

执行机构2包括：转动盘、控制装置和并联手臂，该转动盘设置在使用地墙体上；控制装置与所述转动盘连接；并联手臂设置在所述转动盘上，并与所述控制装置连接；具体的转动盘可以连接液压机构，通过液压机构带动转动盘在水平方向上产生位移；进而是转动盘带动并联手臂进行动作，进而实现水带母头与水带公头的接近，当然还可以为其他方案，具体的根据实际情况而定，对此，发明不再进一步限定；

当然，在本发明中，由于拍摄环境的不同，拍摄环境的光线强度也不同，而当拍摄环境较暗时，会造成拍摄的照片不易于使用，因此，在本发明中，优选的设置有，LED光带该LED光带设置在摄像装置3上；当使用环境较暗时通过LED光带进行补光，提高拍摄环境的亮度；

当然，在本发明中，摄像装置3通过连接杆与墙体4连接，而在不同的使用环境中，摄像机的位置不同，因此，在本发明中，连接杆为伸缩套管，且在伸缩套管上设置有限位螺丝进行卡位以限制伸缩套管的长度，且摄像装置3与连接杆的一端为活动连接，进而能够更好的配合对使用地的拍摄。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于视觉测量的消防机器人上水带接头对接方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于视觉测量的消防机器人上水带接头对接方法，其特征在于，所述S1步骤包括：

3.如权利要求1所述的基于视觉测量的消防机器人上水带接头对接方法，其特征在于，所述S2步骤包括：

S21、将带有水带公头的设备置于摄像装置的视野范围内；当出现火灾警情时，通过摄像装置对水带公头进行拍照，获取图像；

S22、将获取的图像进行图像分析，获取水带公头的位置。

4.如权利要求3所述的基于视觉测量的消防机器人上水带接头对接方法，其特征在于，所述S22步骤包括：

5.如权利要求4所述的基于视觉测量的消防机器人上水带接头对接方法，其特征在于，所述S22步骤具体包括：

利用深度学习的目标检测方法将获取水带公头在的图像中的区域；在该区域内利用图像处理的边缘提取方法获取水带公头在图像坐标系中的特征点的坐标点及偏航角度；并通过图像像素与物理尺寸的关系将水带公头在图像坐标系中的特征点坐标和偏航角度转换为在物理坐标系中的坐标点和偏航角度，进而获取水带公头的位置。

6.一种使用如权利要求1-5任一项所述方法的消防机器人上水带接头对接系统，其特征在于，包括：

用于进行水带公头(5)承载，并进行位置移动的承载机构(1)，设置在使用地；

用于进行水带母头(6)的夹持，并将夹持的水带母头(6)与置于所述承载机构(1)上的水带公头(5)进行对接的执行机构(2)，设置在所述使用地的墙体(4)上；

用于获取所述承载机构(1)上水带公头(5)图像的摄像装置(3)，设置在所述使用地的墙体(4)上。

7.如权利要求6所述的消防机器人上水带接头对接系统，其特征在于，所述承载机构(1)为消防机器人。

8.如权利要求6所述的消防机器人上水带接头对接系统，其特征在于，所述执行机构(2)包括：

转动盘，设置在使用地墙体上；

控制装置，与所述转动盘连接；

并联手臂，设置在所述转动盘上，并与所述控制装置连接。

9.如权利要求6所述的基消防机器人上水带接头对接系统，其特征在于，还包括：

用于进行补光的LED光带，设置在所述摄像装置(3)上。