CN109202911B - 一种基于全景视觉的集群两栖机器人三维定位方法 - Google Patents

Abstract

本发明提供一种基于全景视觉的集群两栖机器人三维定位方法，将两栖机器人的作为主要识别目标物，然而除两栖机器人因作业或者运动存在腿部细节动作外，两栖机器人在相机中的成像基本维持相同的轮廓形态，因此，本发明在识别机器人与非机器人的基础上，增加颜色标识特征，以此来区分不同的两栖机器人，确定两栖机器人的编号，能够大大提高识别的正确率，最终完成360度环绕全景范围内两栖机器人的自主搜索及三维定位。

Description

一种基于全景视觉的集群两栖机器人三维定位方法

技术领域

本发明属于多机器人编队控制领域，尤其涉及一种基于全景视觉的集群两栖机器人三维定位方法。

背景技术

近年来，随着机器人技术的发展，水下机器人应用于海洋勘测和海上搜救的案例越来越多，两栖机器人作为一种新型关键工业装备，因其在环境适应能力、运动机动性能、制造维护成本等方面的优势，在国内外机器人研究和科研领域倍受关注。水陆两栖机器人采用仿生学原理或复合推进机构，可满足滩涂岛礁、濒水过渡区域等复杂环境下的作业任务需求，在滨海资源开发、渔业养殖捕捞、岛礁主权维护等领域的应用发展前景广泛。为了实现对近海资源监测、近海自主搜索救援等任务，研究具有自主作业的两栖机器人具有重要的应用价值。随着研究的不断深入，小型机器人在大范围作业中逐渐暴露出资源和时间消耗严重的问题，单个机器人的作业远远无法满足实际应用的需求，通过多个机器人的协同作业对于该问题的解决具有重大的研究意义。而其中，如何解决两栖机器人水下自主定位，是实现两栖机器人水下编队组网、自主导航、协同作业等自动化功能的基础，对两栖机器人的水下实用化和智能化至关重要。

然而水下机器人采用传感手段有限，大多采用水声定位系统，基于光纤陀螺和多普勒的航位推算系统，视觉系统。由于水声设备、光纤陀螺和多普勒设备体积重量较大，不适合小型两栖机器人。目前适合在近距离协同定位方法有人工视觉标识物和基于信号灯的视觉法。

Matthiasd等人提出了一种新姿态估计系统，该系统由多个红外信号灯LED和红外线滤波器的摄像头组成。红外信号灯LED安装在待跟踪的四旋翼机器人上，地面观察机器人配备摄像头。红外信号灯LED可以被地面视觉系统检测到，并且目标物体的位置会被精确定位。但是该种方法存在遮挡，遮挡后无法实现位姿及位置的估计。

基于人工视觉标识物的定位法依赖已知结构的三维环境。Kim等人为了缓解低能见度、噪声、大面积无特征场景的问题，设计了一种基于人工标识物的视觉定位方法。Carreras等人提出了一种基于视觉定位方法，该方法可在在特定环境下估计机器人的位置和姿态，通过在水池底防止特定标识物，下视相机通过检测标识物来定位。以上两种基于人工视觉标识物的定位法存在很多限制，比如实验环境需要精细安排，所以无法广泛应用。

发明内容

为解决上述问题，本发明提供一种基于全景视觉的集群两栖机器人三维定位方法，在识别机器人与非机器人的基础上，采用颜色标识确定机器人编号，能够完成360度环绕全景范围内两栖机器人的自主搜索及三维定位。

一种基于全景视觉的集群两栖机器人三维定位方法，所述两栖机器人上设有用于获取360度全景视觉的四组双目摄像头，其中，各个两栖机器人在本体上设置颜色标识，颜色标识为至少包括三种颜色的颜色组合，不同两栖机器人上的颜色组合不同，且每个颜色标识对应一个编号；

所述三维定位方法包括以下步骤：

各两栖机器人获取四组双目摄像头视野范围内的样本图像；

各两栖机器人从所述样本图像中识别出两栖机器人与非机器人物体；

各两栖机器人提取所述样本图像中的两栖机器人的颜色标识，根据所述颜色标识确定所述样本图像中的两栖机器人的编号；

根据双目测距原理，各两栖机器人获取样本图像中的两栖机器人在自身坐标系下的三维位置信息；

随机选取一个两栖机器人作为主机器人，主机器人以外的其他两栖机器人将各自获取的样本图像中的两栖机器人的编号与三维位置信息发送给所述主机器人；

所述主机器人将接收到的其他两栖机器人的位置进行坐标变换，得到各个编号下的两栖机器人在主机器人坐标系下的三维位置信息，实现集群两栖机器人三维定位。

进一步地，所述根据所述颜色标识确定所述样本图像中的两栖机器人的编号，具体为：

将两栖机器人的数量用n表示，n个两栖机器人两两组合，每个组合均对应一个SVM分类器，则SVM分类器的个数M为n(n-1)/2，其中，所述SVM分类器通过所对应组内两个两栖机器人的颜色标识的样本图像训练得到；

对于样本图像中的每一个两栖机器人的颜色标识，采用M个SVM分类器依次对所述颜色标识进行分类，得到每个SVM分类器下该颜色标识的编号，然后将出现次数最多的编号作为该两栖机器人的编号。

进一步地，所述两栖机器人在固定盖、密封舱以及下开合球壳上分别设置一种颜色，形成颜色标识。

进一步地，所述两栖机器人搭载有无线通信设备或水声通信设备，主机器人以外的其他两栖机器人通过无线通信设备或水声通信设备，将各自获取的样本图像中的两栖机器人的编号与三维位置信息发送给所述主机器人。

进一步地，所述各两栖机器人从所述样本图像中识别出两栖机器人与非机器人物体，具体为：

各两栖机器人采用预设的SVM二分类器提取所述样本图像中的两栖机器人的方向梯度直方图特征，识别出两栖机器人与非机器人物体。

有益效果：

本发明提供一种基于全景视觉的集群两栖机器人三维定位方法，将两栖机器人的作为主要识别目标物，然而除两栖机器人因作业或者运动存在腿部细节动作外，两栖机器人在相机中的成像基本维持相同的轮廓形态，因此，本发明在识别机器人与非机器人的基础上，增加颜色标识特征，以此来区分不同的两栖机器人，确定两栖机器人的编号，能够大大提高识别的正确率，最终完成360度环绕全景范围内两栖机器人的自主搜索及三维定位；

由此可见，与基于信号灯的视觉方法相比，本发明采用视觉目标检测的方法，不存在因遮挡而无法实现单机器人定位的情况；与基于人工视觉标识物方法相比，本发明提出的方法无需特定标识物，不依赖指定环境，提高了应用性和实用性。

2、本发明提供一种基于全景视觉的集群两栖机器人三维定位方法，采用四组双目摄像头采集360度范围内的样本图像，通过两栖机器人的方向梯度直方图特征，在样本图像中将两栖机器人与其他物体区别开来，大大减小了由于两栖机器人在浅水环境下工作，图像的采集工作因受到光照以及水质的影响，目标物体在相机中的成像存在光照不均以及图像畸变而给识别带来的影响，使得在轮廓差异较大的两栖机器人与其他物体之间能够实现较好的识别效果。

附图说明

图1为本发明提供的一种基于全景视觉的集群两栖机器人三维定位方法的流程图；

图2为本发明提供的一种两栖机器人的主视图；

图3为本发明提供的一种两栖机器人的俯视图；

图4为本发明提供的SVM二分类器的训练流程图；

图5为本发明提供的一种两栖机器人编号识别示意图；

图6为本发明提供的多双目全景视觉模型示意图；

1—视觉系统，2—固定盖，3—密封舱，4—下开合球壳，1-1—第一组双目摄像头，1-2—第二组双目摄像头，1-3—第三组双目摄像头，1-4—第四组双目摄像头。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

参见图1，该图为本实施例提供的一种基于全景视觉的集群两栖机器人三维定位方法的流程图。一种基于全景视觉的集群两栖机器人三维定位方法，其特征在于，所述两栖机器人上设有用于获取360度全景视觉的四组双目摄像头，其中，各个两栖机器人在本体上设置颜色标识，颜色标识为至少包括三种颜色的颜色组合，不同两栖机器人上的颜色组合不同，且每个颜色标识对应一个编号。

参见图2、图3，该图为本实施例提供的一种两栖机器人的主视图与俯视图。所述两栖机器人包括四组双目视觉系统1、固定盖2、密封舱3以及下开合球壳4。所述两栖机器人在固定盖、密封舱以及下开合球壳上分别设置一种颜色，形成颜色标识。

所述三维定位方法包括以下步骤：

S1：各两栖机器人获取四组双目摄像头视野范围内的样本图像。

S2：各两栖机器人从所述样本图像中识别出两栖机器人与非机器人物体。

所述各两栖机器人从所述样本图像中识别出两栖机器人与非机器人物体，具体为：

各两栖机器人采用预设的SVM二分类器提取所述样本图像中的两栖机器人的方向梯度直方图特征，识别出两栖机器人与非机器人物体。

可选的，所述样本图像中的两栖机器人的方向梯度直方图特征提取方法具体为：

提取方向梯度直方图(Histogram of Oriented Gradient,HOG)特征，然后进行主成分分析(PCA)。假设有m条n维特征向量组成矩阵X，详细步骤如下：1)去平均值，即将X的每一行(代表一个特征)进行求取平均值，再减去该行均值，得到矩阵Y；2)计算矩阵Y的协方差矩阵Z；3)计算协方差矩阵Z的特征值及其对应的特征向量r；4)将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；5)即将m*n的矩阵转换为m*k维矩阵。为了提高处理速度，通过主成分分析后对HOG进行降维，然后采用PCA-HOG特征识别机器人。

需要说明的是，SVM二分类器可以事先通过训练样本训练好，其中，正训练样本为所有两栖机器人的样本图片，负训练样本为水下采集的非机器人图片。参见图4，该图为本实施例提供的SVM二分类器的训练流程图。

S3：各两栖机器人提取所述样本图像中的两栖机器人的颜色标识，根据所述颜色标识确定所述样本图像中的两栖机器人的编号。

进一步地，所述根据所述颜色标识确定所述样本图像中的两栖机器人的编号，具体为：

将两栖机器人的数量用n表示，n个两栖机器人两两组合，每个组合均对应一个SVM分类器，则SVM分类器的个数M为n(n-1)/2，其中，所述SVM分类器通过所对应组内两个两栖机器人的颜色标识的样本图像训练得到；

对于样本图像中的每一个两栖机器人的颜色标识，采用M个SVM分类器依次对所述颜色标识进行分类，得到每个SVM分类器下该颜色标识的编号，然后将出现次数最多的编号作为该两栖机器人的编号。

例如，参见图4，该图为本实施例提供的一种两栖机器人编号识别示意图。假设一共有四个两栖机器人，即n＝4，则M＝6；四个两栖机器人分别为A、B、C、D，将四个两栖机器人两两分组，则有(A,B)、(A,C)、(A,D)、(B,C)、(B,D)、(C,D)，且(A,B)、(A,C)、(A,D)、(B,C)、(B,D)、(C,D)分别对应一个基于各组两栖机器人的颜色特征训练得到的SVM二分类器；对于样本图像中的两栖机器人的颜色标识，分别采用(A,B)、(A,C)、(A,D)、(B,C)、(B,D)、(C,D)对应的SVM分类器对其进行分类测试，然后统计编号出现的次数，具体的：

初始时，V(A)＝V(B)＝V(C)＝V(D)＝0，其中，V(A)、V(B)、V(C)、V(D)分别为将样本图像中的两栖机器人的颜色标识识别为A机器人的次数、B机器人的次数、C机器人的次数以及D机器人的次数；

(A,B)对应的分类器对样本图像中的两栖机器人的颜色标识进行分类，如果分类结果是A机器人，则V(A)＝V(A)+1；否则V(B)＝V(B)+1；

(A,C)对应的分类器对样本图像中的两栖机器人的颜色标识进行分类，如果分类结果是A机器人，则V(A)＝V(A)+1；否则V(C)＝V(C)+1；

(A,D)对应的分类器对样本图像中的两栖机器人的颜色标识进行分类，如果分类结果是A机器人，则V(A)＝V(A)+1；否则V(D)＝V(D)+1；

(B,C)对应的分类器对样本图像中的两栖机器人的颜色标识进行分类，如果分类结果是B机器人，则V(B)＝V(B)+1；否则V(C)＝V(C)+1；

(B,D)对应的分类器对样本图像中的两栖机器人的颜色标识进行分类，如果分类结果是B机器人，则V(B)＝V(B)+1；否则V(D)＝V(D)+1；

(C,D)对应的分类器对样本图像中的两栖机器人的颜色标识进行分类，如果分类结果是C机器人，则V(C)＝V(C)+1；否则V(D)＝V(D)+1；

比较V(A)、V(B)、V(C)、V(D)的大小，将其中的最大值作为分类的最终结果，通过样本图像中的两栖机器人的颜色标识确定该两栖机器人到底是哪个机器人，对应哪个编号。

S4：根据双目测距原理，各两栖机器人获取样本图像中的两栖机器人在自身坐标系下的三维位置信息。

S5：随机选取一个两栖机器人作为主机器人，主机器人以外的其他两栖机器人将各自获取的样本图像中的两栖机器人的编号与三维位置信息发送给所述主机器人。

S6：所述主机器人将接收到的其他两栖机器人的位置进行坐标变换，得到各个编号下的两栖机器人在主机器人坐标系下的三维位置信息，实现集群两栖机器人三维定位。

可选的，所述两栖机器人搭载有无线通信设备或水声通信设备，则主机器人以外的其他两栖机器人通过无线通信设备或水声通信设备，将各自获取的样本图像中的两栖机器人的编号与三维位置信息发送给所述主机器人。

由此可见，两栖狭窄环境下多机器人协同定位尚处在初级阶段，多数是陆上或水下单一环境下的研究。陆上环境限制小，多机器人协同定位实现手段较多。水下环境复杂，限制较多，多机器人协同定位系统多采用惯导设备和多普勒等体积重量较大的设备，不适合小型两栖机器人；此外，在已知水下环境下，可采用视觉识别标志物获得当前机器人位置，该种方案环境约束性强，应用较难。所以要想兼容陆上及水下特点实现多机器人协同定位较为困难；本实施例针对两栖复杂、狭窄空间环境的勘探和采集等复杂任务，如海底管道内的检测及维护、珊瑚礁内生物监测、海底岩峰中矿物采集等，单个机器人携带传感手段有限，无法单独完成的情况，提出采用四组双目摄像头，完成360度环绕全景三维感知系统，该系统可以实现以两栖机器人为圆心半径8m区域内的目标机器人的搜索，并完成对多个目标机器人的定位。通过陆上无线及水下通信设备复合通信方式，实现多台两栖机器人的组网通信，从而实现多机器人陆上及水下编队控制。

实施例二

基于以上实施例，下面详细介绍根据双目测距原理，各两栖机器人获取样本图像中的两栖机器人在自身坐标系下的位置的具体实现方式。

参见图5，该图为本实施例提供的多双目全景视觉模型示意图。假设

表示双目摄像头，其中，i表示双目摄像头的组内标号，i＝1表示左摄像头，i＝2表示右摄像头，j表示双目摄像头的组号，j＝1,2,3,4；

任意相邻的两组双目摄像头满足如下关系：

其中，a为各组双目摄像头内两个摄像头之间的光心距离，b为相对的两组双目摄像头的光心平面之间的距离，所述光心平面为各组双目摄像头内两个摄像头的光心所在的平面，x为各组双目摄像头的光心平面与视场交平面之间的距离，所述视场交平面为各组双目摄像头分别与其相邻的两组双目摄像头由于视场交叠而形成的两条视场交线所在的平面；

相对的两个视场交平面之间的距离为

当

时，视场刚好不相交。为获得较大视场，本实施例采用八个CSI广角摄像头(水平广角130度，垂直广角90度)，四组摄像头可是实现周围360度全深度覆盖。

本视觉系统共有四组双目摄像头，以双目摄像头SC₁为例，空间中一点P在机器人本体坐标系下坐标为(X_B,Y_B,Z_B)，在左摄像头坐标系下的位置为(X_cl,Y_cl,Z_cl)，在右摄像头坐标系下的位置为(X_cr,Y_cr,Z_cr)，在左右图像中对应像素坐标系中齐次坐标分别为₁p_l(₁u_{l, 1}v_l,1)和₁p_r(₁u_r,1v_r,1)，其中，₁u_l,1v_l和₁u_r,1v_r等表示两个方向上像素点位置。通过小孔成像原理得：

其中，

左摄像头坐标系与两栖机器人本体坐标系间的旋转矩阵为

左摄像头坐标系与两栖机器人本体坐标系间的平移向量为

右摄像头坐标系与两栖机器人本体坐标系间的旋转矩阵为

右摄像头坐标系与两栖机器人本体坐标系间的平移向量为

展开得到：

消掉₁Z_cl和₁Z_cr，可得到公式

将上两式简化为：

₁AP＝₁b (8)

其中，矩阵

向量

空间点P的坐标(X_B,Y_B,Z_B)可以根据最小二乘法解得：

点P在世界坐标系下的坐标为(X_W,Y_W,Z_W)，则：

其中，

和

为本体坐标系与世界坐标系旋转矩阵和平移矩阵，所述世界坐标系为主机器人坐标系。

同理，针对SC₂双目摄像头，左右两摄像机坐标系与两栖机器人坐标系变换关系如下：

其中，双目摄像头SC₂中，左摄像头坐标系与两栖机器人本体坐标系的旋转矩阵为

左摄像头坐标系与两栖机器人本体坐标系的平移向量为

右摄像头坐标系与两栖机器人本体坐标系的旋转矩阵为

右摄像头坐标系与两栖机器人本体坐标系的平移向量关系为

针对双目摄像头SC₃，左右两摄像机坐标系与两栖机器人坐标系变换关系如下：

其中，双目摄像头SC₃中，左摄像头坐标系与两栖机器人本体坐标系的旋转矩阵为

左摄像头坐标系与两栖机器人本体坐标系的平移向量为

右摄像头坐标系与两栖机器人本体坐标系的旋转矩阵为

右摄像头坐标系与两栖机器人本体坐标系的平移向量关系为

针对双目摄像头SC₄，左右两摄像机坐标系与两栖机器人坐标系变换关系如下：

其中，双目摄像头SC₄中，左摄像头坐标系与两栖机器人本体坐标系的旋转矩阵为

左摄像头坐标系与两栖机器人本体坐标系的平移向量为

右摄像头坐标系与两栖机器人本体坐标系的旋转矩阵为

右摄像头坐标系与两栖机器人本体坐标系的平移向量关系为

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种基于全景视觉的集群两栖机器人三维定位方法，其特征在于，所述两栖机器人上设有用于获取360度全景视觉的四组双目摄像头，其中，各个两栖机器人在本体上设置颜色标识，颜色标识为至少包括三种颜色的颜色组合，不同两栖机器人上的颜色组合不同，且每个颜色标识对应一个编号；

所述三维定位方法包括以下步骤：

各两栖机器人获取四组双目摄像头视野范围内的样本图像；

各两栖机器人从所述样本图像中识别出两栖机器人与非机器人物体；

各两栖机器人提取所述样本图像中的两栖机器人的颜色标识，根据所述颜色标识确定所述样本图像中的两栖机器人的编号，具体为：

将两栖机器人的数量用n表示，n个两栖机器人两两组合，每个组合均对应一个SVM分类器，则SVM分类器的个数M为n(n-1)/2，其中，所述SVM分类器通过所对应组内两个两栖机器人的颜色标识的样本图像训练得到；

对于样本图像中的每一个两栖机器人的颜色标识，采用M个SVM分类器依次对所述颜色标识进行分类，得到每个SVM分类器下该颜色标识的编号，然后将出现次数最多的编号作为该两栖机器人的编号；

根据双目测距原理，各两栖机器人获取样本图像中的两栖机器人在自身坐标系下的三维位置信息；

随机选取一个两栖机器人作为主机器人，主机器人以外的其他两栖机器人将各自获取的样本图像中的两栖机器人的编号与三维位置信息发送给所述主机器人；

所述主机器人将接收到的其他两栖机器人的位置进行坐标变换，得到各个编号下的两栖机器人在主机器人坐标系下的三维位置信息，实现集群两栖机器人三维定位。

2.如权利要求1所述的一种基于全景视觉的集群两栖机器人三维定位方法，其特征在于，所述两栖机器人在固定盖、密封舱以及下开合球壳上分别设置一种颜色，形成颜色标识。

3.如权利要求1所述的一种基于全景视觉的集群两栖机器人三维定位方法，其特征在于，所述两栖机器人搭载有无线通信设备或水声通信设备，主机器人以外的其他两栖机器人通过无线通信设备或水声通信设备，将各自获取的样本图像中的两栖机器人的编号与三维位置信息发送给所述主机器人。

4.如权利要求1所述的一种基于全景视觉的集群两栖机器人三维定位方法，其特征在于，所述各两栖机器人从所述样本图像中识别出两栖机器人与非机器人物体，具体为：

各两栖机器人采用预设的SVM二分类器提取所述样本图像中的两栖机器人的方向梯度直方图特征，识别出两栖机器人与非机器人物体。

Images