CN110065075A - 一种基于视觉的空间细胞机器人外部状态感知方法 - Google Patents

Abstract

本发明提供了一种基于视觉的空间细胞机器人外部状态感知方法，属于空间细胞机器人测距领域。本发明通过建立空间细胞机器人不同种类细胞的图像数据库，对于数据库图像所需识别和自主连接的连接面进行图像标注，将标记过的图像进行基于深度学习的网络训练，通过连接面在像素坐标系中的位置，以及像素坐标系、像平面坐标系和世界坐标系之间的转换关系，结合相机的内参数，推导出主动连接面与被动连接面之间的相对距离和角度关系。本发明不仅可以测量出与目标物体之间的相对距离和相对转角，还可以根据空间细胞机器人需求识别出不同类型的目标物体及障碍物，角度测量范围也更大，适用于空间细胞机器人任何平移或旋转运动下的外部状态感知。

Description

一种基于视觉的空间细胞机器人外部状态感知方法

技术领域

本发明涉及一种基于视觉的空间细胞机器人外部状态感知方法，属于空间细胞机器人自重构领域。

背景技术

空间细胞机器人为了满足不同空间在轨任务的需要，可以通过自重构的方式完成机器人团体的构型变化，达到扩展单胞功能以及扩大机器人工作空间的目的。空间细胞机器人实现自重构的方法是通过单胞之间的自主连接，关键在于通过测量出主被动连接面之间的相对距离与角度，进而发布相应的控制指令。空间细胞机器人外部状态感知是确定空间细胞机器人与外部环境、目标及障碍物之间相对位置和姿态的方法，是实现自重构的基础，因此需要一种快速、精确、适应性强的外部状态感知方法。

目前国内外的可重构机器人实现外部状态感知的主要方法是通过红外传感器实现的，所需连接的机器人在固定位置的多个红外传感器同时发射信号，对接机器人在接收到不同红外信号后根据不同信号的强弱，实现模块化机器人之间的相对位姿估计。这种方法的局限性在于只能针对特定的连接面进行自主连接，对于空间在轨任务的复杂性与多样性特点，已有的外部状态感知方法不能满足在轨任务的需求。空间细胞机器人需要识别不同的异构细胞模块，通过任务分析与构型决策后选取合适的细胞细胞类型进行自主连接，最终重构为可以完成相应在轨任务的空间细胞机器人构型。因此，需要通过视觉传感器获取更加丰富的目标和环境信息，进而实现空间细胞机器人自主连接过程中针对不同连接面之间的相对位姿测量。

传统的红外传感器或超声波传感器虽然可以实现距离的测量，但无法确定测量目标的类型，并且在测量相对转角时，需要被测量物体也安装相应的红外传感器，通过接收信号的范围变化来确定角度，角度可检测范围较小；基于单目视觉的距离测量一般采用三角测量法，但是该方法需要在测量之前进行相机的平移初始化，对于纯旋转运动的单目相机无法通过三角测量法求出距离，并且在初始化过程中，平移距离过小会导致较大的深度不确定性从而降低精度，而平移距离较大会导致目标区域图像变化变大，可能会使方法失效，并且无法测得相对转角。

针对空间细胞机器人自主连接的强适应性与高鲁棒性特点，现设计了一种基于视觉的空间细胞机器人外部状态感知方法，通过建立空间细胞机器人不同种类细胞的图像数据库，对于数据库图像所需识别和自主连接的连接面进行图像标注，将标记过的图像进行基于深度学习的网络训练，在自主连接过程中根据已经训练好的网络对连接面进行识别和标记，通过连接面在像素坐标系中的位置，以及像素坐标系、像平面坐标系和世界坐标系之间的转换关系，结合相机的内参数，推导出主动连接面与被动连接面之间的相对距离和角度关系，从而实现空间细胞机器人外部状态感知。

发明内容

本发明的目的是为了解决上述现有技术存在的问题，进而提供一种基于视觉的空间细胞机器人外部状态感知方法。

本发明的目的是通过以下技术方案实现的：

一种基于视觉的空间细胞机器人外部状态感知方法，所述基于视觉的空间细胞机器人外部状态感知方法具体步骤为：

步骤一：对空间细胞机器人USB相机的参数进行标定

基于针孔相机模型，推导出USB相机内外参数模型：

其中[X,Y,Z]^T为P点在世界坐标系中的坐标，[u,v]^T为P在像素坐标系中的坐标，α和β分别为从像素坐标系到像平面坐标系在u轴和v轴上的放大系数，[c_x,c_y]^T为像素坐标系到像平面坐标系的平移向量，f为空间细胞机器人USB相机的焦距，f_x＝αf和f_y＝βf分别为像素坐标系到世界坐标系沿x和y轴的放大系数；

采取张正友标定法，使用标定板对USB相机进行标定，由于空间细胞机器人选用的USB相机的畸变，通过相机获取不同角度的3张或3张以上的标定板图片，检测出标定板上全部角点位置，利用角点位置信息求解线性方程组，得到相机的内参数f_x，f_y，c_x和c_y；

步骤二：建立空间细胞机器人连接面图像特征标记数据库

利用空间细胞机器人USB相机对不同类型细胞图像进行采集，建立图像数据库，利用图像标签对所需连接的连接面进行区域特征标记，标记区域用(x,y,w,h)四个参数来表示，其中(x,y)为标识框左上角点在像素坐标系中的坐标，w和h分别为矩形框的长和高，最后将标记的数据库图像数据的70％作为训练集，30％作为验证集；

步骤三：建立深度学习网络，利用步骤二中的训练集数据进行网络训练，并输出带有特征标记框的图像

通过深度学习的方法，搭建深度学习网络模型，利用数据库图像和特征区域框数据对深度学习网络进行训练，使训练过的网络可以通过空间细胞机器人的USB相机实时识别出被动连接面，并输出被动连接面在像素坐标系中的位置参数；

步骤四：主被动连接面之间相对距离计算

通过深度学习识别出的被动连接面在像素坐标系中的位置，结合空间细胞机器人被动连接面实际尺寸以及相机的内参数，可以计算出主被动连接面之间的相对距离：

H为被动连接面在世界坐标系中的实际高度，Z为相机与被动连接面之间的距离，h′为被动连接面特征标记框在像平面中的高度，f为相机的焦距，根据三角形相似关系可以得到：

其中，根据像平面和像素平面坐标系之间的转换关系：其中β为像素平面到像平面坐标系y轴方向缩放倍数，可以推出：

式中βf＝f_y，即通过相机标定得到的相机焦距，因此相对距离的计算公式可写为：

步骤五：主被动连接面之间相对转角计算

主动连接面与被动连接面之间的转角为θ，L为被动连接面在世界坐标系中的实际长度，w′为被动连接面特征标记框在像平面中的长度

根据三角形相似关系可以得到：

根据像平面和像素平面坐标系之间的转换关系：结合步骤四推导出的相对距离Z，代入上式可得：

根据步骤一到五可知，相对转角与相机的焦距f无关，只与被动连接面实际高和宽之比特征区域框长和高之比以及相机内参数有关，并且即像素坐标系转换到像平面坐标系过程中在x轴和y轴方向缩放倍数的比值，对于一般的USB相机，其内参数的比值近似等于1，因此在没有对相机进行标定的情况下，只通过被动连接面实际高和宽之比也可以近似求出主动连接面与被动连接面之间的相对转角θ：

θ≈arccos(K w/h) (8)。

本发明一种基于视觉的空间细胞机器人外部状态感知方法，所述步骤三的具体过程为：

搭建基于Renet-50网络的深度学习目标检测模型，网络整体分为四部分：特征提取层、目标区域生成层、目标区域池化层和分类输出层，利用Renet-50网络的特征提取层，对输入图像特征进行提取，输出图像的特征提取信息；目标区域生成层通过softmax回归算法对图片中的背景和特征区域进行二分类，输出多个候选目标区域在像素坐标系中的位置参数；目标区域池化层将特征提取层输出的图像特征信息和目标域生成层输出的目标区域信息进行整合，输出固定大小的带有目标区域框的特征图片；最后通过分类输出层对带有目标区域框的特征图片进行全连接操作，利用Softmax回归算法进行具体类别的分类，利用Softmax loss回归算法获得目标区域框的准确位置。

本发明一种基于视觉的空间细胞机器人外部状态感知方法，所述目标区域框为空间细胞机器人的USB相机识别出的被动连接面。

本发明一种基于视觉的空间细胞机器人外部状态感知方法，通过单目视觉实现了空间细胞机器人外部状态感知，与传统的测距与测量角度方法相比，本方法的适用性更加广泛，不仅可以测量出与目标物体之间的相对距离和相对转角，还可以根据空间细胞机器人需求识别出不同类型的目标物体及障碍物，角度测量范围也更大，与传统的单目视觉三角测量法相比，不需要对相机进行平移初始化，适用于空间细胞机器人任何平移或旋转运动下的外部状态感知。

附图说明

图1为本发明一种基于视觉的空间细胞机器人外部状态感知方法的框图。

图2为本发明中像素坐标系中标记框位置示意图。

图3为本发明中基于相机模型的相对距离计算的示意图。

图4为本发明中基于相机模型的相对转角计算的示意图。

具体实施方式

下面将结合附图对本发明做进一步的详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述实施例。

实施例一：如图1-4所示，本实施例所涉及的一种基于视觉的空间细胞机器人外部状态感知方法，具体步骤为：

(1)空间细胞机器人单目相机标定

基于针孔相机模型，推导出相机内外参数模型，如式(1)所示：

其中[X,Y,Z]^T为P点在世界坐标系中的坐标，[u,v]^T为P在像素坐标系中的坐标，α和β分别为从像素坐标系到像平面坐标系在u轴和v轴上的放大系数，[c_x,c_y]^T为像素坐标系到像平面坐标系的平移向量，f为空间细胞机器人USB相机的焦距，f_x＝αf和f_y＝βf分别为像素坐标系到世界坐标系沿x和y轴的放大系数。

采取张正友标定法，使用标定板对相机进行标定，空间细胞机器人选用的USB相机的畸变，通过相机获取不同角度的3张以上的标定板图片，检测出标定板上全部角点位置，利用焦点位置信息求解线性方程组，得到相机的内参数f_x，f_y，c_x和c_y。

(2)建立空间细胞机器人连接面图像数据库

利用空间细胞机器人USB相机对不同类型细胞图像进行采集，建立图像数据库，利用图像标签对所需连接的连接面进行区域特征标记，如图2所示，标记区域用(x,y,w,h)四个参数来表示，其中(x,y)为标识框左上角点在像素坐标系中的坐标，w和h分别为矩形框的长和高，最后将标记的数据库图像数据的70％作为训练集，30％作为验证集。

(3)建立深度学习网络，利用训练集数据进行训练，输出带有特征标记框的图像

为了识别并检测出空间细胞机器人被动连接面在图像中的位置，通过深度学习的方法，搭建深度学习网络，利用数据库图像和特征区域框数据对网络进行训练，使训练过的网络可以通过USB相机实时识别出被动连接面，并输出其在像素坐标系种的位置参数。

搭建基于Renet-50网络的深度学习目标检测模型，网络整体分为四部分：特征提取层，目标区域生成层，目标区域池化层和分类输出层。利用Renet-50网络的特征提取层，对输入图像特征进行提取，输出图像的特征提取信息；在特征提取层后插入目标区域生成层，通过softmax回归算法对图片中的背景和特征区域进行二分类，输出多个候选目标区域在像素坐标系中的位置参数；目标区域池化层将之前的图像特征信息和目标区域信息进行整合，输出固定大小的带有目标区域框的特征图片；最后通过分类输出层对带有目标区域框的特征图片进行全连接操作，利用Softmax回归算法进行具体类别的分类，利用Softmaxloss回归算法获得目标区域框的准确位置。

利用图像数据库中训练集数据对网络进行训练，每次迭代后利用测试集数据对迭代后的权值进行评估，重复迭代N次后使损失函数达到最小值，完成整个网络的训练。训练成熟的网络可以可通过空间细胞机器人USB相机输入实时图像数据，对每一帧图像进行分类和目标区域检测，输出目标区域框类别标签、目标区域框位置参数以及识别的准确率。

(4)主被动连接面之间相对距离计算

通过深度学习识别出的目标区域位置参数，即被动连接面在像素坐标系中的位置，结合空间细胞机器人被动连接面实际尺寸以及相机的内参数，可以计算出主被动连接面之间的相对距离。在空间细胞机器人自主连接过程中，所有空间细胞机器人单胞都在同一平面内，视觉传感器获取的被动连接面图像信息中，被动连接面在像素平面中的特征标记框高度h只与两空间细胞机器人的相对距离有关，长度w则与相对距离与相对角度都有关。因此根据相机模型和相机内参数可以通过目标区域框在像素平面坐标系位置推算出两空间细胞机器人之间的相对距离以及相对转角。

如图3所示，H为被动连接面在世界坐标系中的实际高度，Z为相机与被动连接面之间的距离，h′为被动连接面特征标记框在像平面中的高度，f为相机的焦距。根据三角形相似关系可以得到：

其中，根据像平面和像素平面坐标系之间的转换关系：其中α为像素平面到像平面坐标系x轴方向缩放倍数，可以推出：

式中βf＝f_y，即通过相机标定得到的相机焦距，因此相对距离的计算公式可写为：

(5)主被动连接面之间相对转角计算

如图4所示，记主动连接面与被动连接面之间的转角为θ，L为被动连接面在世界坐标系中的实际长度，w′为被动连接面特征标记框在像平面中的长度。

根据三角形相似关系可以得到：

根据像平面和像素平面坐标系之间的转换关系：结合之前推导出的相对距离Z，代入上式可得：

分析上式可以看出，相对转角与相机的焦距f无关，只与被动连接面实际高和宽之比特征区域框长和高之比以及相机内参数有关，并且即像素坐标系转换到像平面坐标系过程中在x轴和y轴方向缩放倍数的比值，对于一般的USB相机，其内参数的比值近似等于1，因此在没有对相机进行标定的情况下，只通过被动连接面实际高和宽之比也可以近似求出主动连接面与被动连接面之间的相对转角θ：

θ≈arccos(K w/h) (8)。

实施例二：如图1-4所示，本实施例所涉及的一种基于视觉的空间细胞机器人外部状态感知方法仿真验证过程，通过张正友标定法对空间细胞机器人USB相机进行标定，利用6×9的棋盘标定板，通过USB相机从不同角度对棋盘标定板进行拍照，从中选取20张图片进行角点提取，通过张正友标定法标定的结果如下表所示：

表1相机参数标定结果

选取200张不同角度的空间细胞机器人图像，建立空间细胞机器人图像数据库。对图像数据库图像进行进一步特征区域标记处理，将所需识别的部分进行标签标记，含有特征标记框的数据包括每张图片的图像信息和各图片特征标记框的位置参数(x,y,w,h)。

将建立好的带有特征区域标记信息的数据库的70％作为训练集30％作为验证集输入建立深度学习网络进行训练，设置学习率为0.001，训练过程如下表所示，经过200次迭代后损失值下降到0.0165，识别准确率达到100％。

表2深度学习网络训练过程

将训练好的网络搭载到空间细胞机器人嵌入式系统中，对USB相机获取的每一帧图像进行特征区域检测，输出特征区域种类与特征框位置参数(x,y,w,h)。通过特征区域框位置参数、相机标定参数和空间细胞机器人被动连接面高度，代入式(4)中，即可求出主被动连接面的相对距离。实验选取400mm，800mm和1200mm三组不同距离进行相对距离测量，实验结果如下表所示。

表3相对距离计算实验结果

在相对转角测量实验中，通过特征区域框位置参数、相机标定参数和空间细胞机器人被动连接面高度，代入式(7)中，即可求出主被动连接面的相对转角。实验选取400mm距离，0°，15°，30°，45°，60°，75°6种不同角度进行相对转角测量，实验结果如下表所示。

表4相对转角计算实验结果

根据实验结果可以看出，相对距离测量方法相对误差均控制在1％以内，且随着实际距离的缩短，计算结果更加准确，相对转角测量结果误差在10°以内，可以满足空间细胞机器人在自主连接过程中的外部环境目标感知需求。

本专利以空间细胞机器人自主连接为例进行仿真验证，但是实际应用不限于自主连接，对于已知合作目标的相对距离与转角均可通过本方法测量，可以实现智能避障、目标跟踪、物体搬运等功能。

以上所述，仅为本发明较佳的具体实施方式，这些具体实施方式都是基于本发明整体构思下的不同实现方式，而且本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种基于视觉的空间细胞机器人外部状态感知方法，其特征在于，所述基于视觉的空间细胞机器人外部状态感知方法具体步骤为：

步骤一：对空间细胞机器人USB相机的参数进行标定

基于针孔相机模型，推导出USB相机内外参数模型：

其中[X,Y,Z]^T为P点在世界坐标系中的坐标，[u,v]^T为P在像素坐标系中的坐标，α和β分别为从像素坐标系到像平面坐标系在u轴和v轴上的放大系数，[c_x,c_y]^T为像素坐标系到像平面坐标系的平移向量，f为空间细胞机器人USB相机的焦距，f_x＝αf和f_y＝βf分别为像素坐标系到世界坐标系沿x和y轴的放大系数；

采取张正友标定法，使用标定板对USB相机进行标定，由于空间细胞机器人选用的USB相机的畸变，通过相机获取不同角度的3张或3张以上的标定板图片，检测出标定板上全部角点位置，利用角点位置信息求解线性方程组，得到相机的内参数f_x，f_y，c_x和c_y；

步骤二：建立空间细胞机器人连接面图像特征标记数据库

利用空间细胞机器人USB相机对不同类型细胞图像进行采集，建立图像数据库，利用图像标签对所需连接的连接面进行区域特征标记，标记区域用(x,y,w,h)四个参数来表示，其中(x,y)为标识框左上角点在像素坐标系中的坐标，w和h分别为矩形框的长和高，最后将标记的数据库图像数据的70％作为训练集，30％作为验证集；

步骤三：建立深度学习网络，利用步骤二中的训练集数据进行网络训练，并输出带有特征标记框的图像

通过深度学习的方法，搭建深度学习网络模型，利用数据库图像和特征区域框数据对深度学习网络进行训练，使训练过的网络可以通过空间细胞机器人的USB相机实时识别出被动连接面，并输出被动连接面在像素坐标系中的位置参数；

步骤四：主被动连接面之间相对距离计算

通过深度学习识别出的被动连接面在像素坐标系中的位置，结合空间细胞机器人被动连接面实际尺寸以及相机的内参数，可以计算出主被动连接面之间的相对距离：

H为被动连接面在世界坐标系中的实际高度，Z为相机与被动连接面之间的距离，h′为被动连接面特征标记框在像平面中的高度，f为相机的焦距，根据三角形相似关系可以得到：

其中，根据像平面和像素平面坐标系之间的转换关系：其中β为像素平面到像平面坐标系y轴方向缩放倍数，可以推出：

式中βf＝f_y，即通过相机标定得到的相机焦距，因此相对距离的计算公式可写为：

步骤五：主被动连接面之间相对转角计算

主动连接面与被动连接面之间的转角为θ，L为被动连接面在世界坐标系中的实际长度，w′为被动连接面特征标记框在像平面中的长度

根据三角形相似关系可以得到：

根据像平面和像素平面坐标系之间的转换关系：结合步骤四推导出的相对距离Z，代入上式可得：

根据步骤一到五可知，相对转角与相机的焦距f无关，只与被动连接面实际高和宽之比特征区域框长和高之比以及相机内参数有关，并且即像素坐标系转换到像平面坐标系过程中在x轴和y轴方向缩放倍数的比值，对于一般的USB相机，其内参数的比值近似等于1，因此在没有对相机进行标定的情况下，只通过被动连接面实际高和宽之比也可以近似求出主动连接面与被动连接面之间的相对转角θ：

θ≈arccos(Kw/h) (8)。

2.根据权利要求1所述一种基于视觉的空间细胞机器人外部状态感知方法，其特征在于，所述步骤三的具体过程为：

搭建基于Renet-50网络的深度学习目标检测模型，网络整体分为四部分：特征提取层、目标区域生成层、目标区域池化层和分类输出层，利用Renet-50网络的特征提取层，对输入图像特征进行提取，输出图像的特征提取信息；目标区域生成层通过softmax回归算法对图片中的背景和特征区域进行二分类，输出多个候选目标区域在像素坐标系中的位置参数；目标区域池化层将特征提取层输出的图像特征信息和目标域生成层输出的目标区域信息进行整合，输出固定大小的带有目标区域框的特征图片；最后通过分类输出层对带有目标区域框的特征图片进行全连接操作，利用Softmax回归算法进行具体类别的分类，利用Softmax loss回归算法获得目标区域框的准确位置。

利用图像数据库中训练集数据对网络进行训练，每次迭代后利用图像数据库中测试集数据对迭代后的权值进行评估，重复迭代N次后使损失函数达到最小值，完成整个网络的训练；训练成熟的网络可以可通过空间细胞机器人USB相机输入实时图像数据，对每一帧图像进行分类和目标区域检测，输出目标区域框类别标签、目标区域框位置参数以及识别的准确率。

3.根据权利要求2所述一种基于视觉的空间细胞机器人外部状态感知方法，其特征在于，所述目标区域框为空间细胞机器人的USB相机识别出的被动连接面。