CN110580723B

CN110580723B - 一种利用深度学习和计算机视觉进行精准定位的方法

Info

Publication number: CN110580723B
Application number: CN201910601176.5A
Authority: CN
Inventors: 卢孟; 姜光; 阳昌海
Original assignee: Chengdu Zhimingda Electronic Co ltd
Current assignee: Chengdu Zhimingda Electronic Co ltd
Priority date: 2019-07-05
Filing date: 2019-07-05
Publication date: 2022-08-19
Anticipated expiration: 2039-07-05
Also published as: CN110580723A

Abstract

本发明一种利用深度学习进行目标识别并估计相机相对目标位置的方法，其实现方案为：1)制作目标检测数据集；2)用制作好的数据集训练网络；3)移动相机进行拍摄并逐帧输入训练好的网络进行检测，对检测结果进行切割，只保留目标部分；4)测量目标实际大小，将标准目标图片resize到实际尺寸，使目标在像素坐标系中的坐标等于世界坐标系中的坐标；5)利用SIFT特征点检测进行resize之后的目标和切割出来的子图之间的特征点匹配，然后对匹配的特征点进行筛选，利用筛选后的求出两图之间的单应性变换矩阵H；6)利用梯度下降发进一步优化H，提升H精度；7)、利用相机内参和求出来的H即可计算出相机光心相对于目标的位置。

Description

一种利用深度学习和计算机视觉进行精准定位的方法

技术领域

本发明属于图像处理技术领域，特别涉及一种利用深度学习进行精准定位的方法，可用于制造业、交通方面的精准定位。

背景技术

随着目前高端制造业的发展，越来越多的机器设备替代人工进行一些重复性的高精度的劳动，此时对于操作机器的机械臂来说，能够精准确定自己相对于机器的位置在操作机器时非常重要，目前的做法是提前写程序定义好机械臂的运动。

但是随着人工智能的发展，上述的方式显的不够智能话，且提前写程序定义好机械臂的运动需要花费大量的时间，为此本发明提出利用深度学习进行目标识别并估计相机相对目标位置的方法：在操作机械臂上安装上摄像头，利用深度学习中的目标检测检测机器上的花纹或者文字然后利用计算机视觉中的摄像机位姿估计方法，计算出机械臂上的摄像机相对该花纹或者文字的位置，从而确定机械臂相对于机器的位置，让机械臂在操作时能够自动确定自己的方位，从而实现操作的智能化。

深度学习网络具有大量特征提取单元，深层的网络结构，可以精准的提取出物体的特征并对其进行学习与表示。如今在某些领域，尤其是计算机视觉方面，深度学习网络的性能与人类的认知能力几乎没有差别。

本发明利用深度学习网络进行目标检测，我们采用了当前性能最为出众的目标检测模型YOLOv3进行目标识别工作。

此测距问题本质上是摄像机的位姿估计问题，我们假设目标物体左上角为世界坐标系原点，若能估计出摄像机相对于世界坐标系的位姿，即可得摄像机光心与目标图像左上角之间的相对距离。

射影变换过程由下式所表示

x_pixel＝Px_world＝K[R|t]x_world＝K[r₁ r₂ r₃|t]x_world

(1)其中x_pixel为像素坐标系中的2D点，x_world为世界坐标系中目标点的实际坐标，分别用齐次坐标表示为x_pixel＝[x y1]^T，x_world＝[X Y Z 1]^T。P为3*4相机投影矩阵，其中左边3*3方阵代表相机坐标系相对于世界坐标系的旋转矩阵，如下所示：

(2)第四列t是位移向量，表示相机光心C与世界坐标系原点之间的相对位移：

t＝[t_x t_y t_z]^T

计算时，不妨假设目标物体处在Z＝0平面上，则世界坐标系中物体点的坐标为

x_world＝[X Y 0 1]^T

此时有

(3)则问题从3D-2D投影变换转化为2D-2D单应性变换，于是有

H＝K·[r₁ r₂ t]

(4)即只需要求出目标和摄像机拍摄图像之间的单应性变换矩阵H即可获得相机光心相对于目标的位移：

(5)为了求出两图之间的单应性变换矩阵H，我们首先利用SIFT特征点检测提取出实际目标与摄像头拍摄所得图片之间的对应特征点。然后利用RANSAC算法进行筛选，选取两张图对应特征点中匹配度较高的内点，基于这些内点求出两图之间的H矩阵。

为了进一步提升H的精度，可利用特征点匹配所得H将摄像机拍摄的图片做单应性变换到原图位置，并测量变换之后的图像边缘与原图图像边缘之间的距离，以此作为代价函数通过梯度下降法优化H，得到精确H之后即可分解H得到相机外参R,t。

发明内容

本发明的目的在于针对机器操作中机械臂定位的问题，提出一种利用深度学习进行目标检测并结合计算机视觉理论进行精准定位的方法。

本发明的技术方案包括如下：

1、制作目标识别网络训练数据集。将YOLOv3基于ImageNet数据集预训练的结果作为网络初始化参数，在自己的数据集上进行训练。

2、切割图片。保留识别出来的目标部分作为下一步匹配特征点用求单应性变换矩阵的Target_Image。

3、特征点检测。匹配目标图片与识别出的目标图片之间的对应特征点，利用筛选后的特征点求出两图之间的单应性变换矩阵H，并用梯度下降法进一步优化。

4、标定相机，得到摄像机内参K。

5、利用相机内参K分解单应性变换矩阵H，求出相机外参R,t，即可计算出相机光心即机械臂相对于目标的位置。

有益效果

相比于现有技术，本发明的优点在于：

本发明结合了目前性能最好的目标识别网络和传统的计算机视觉中相机位姿估计的相关原理，是深度学习与传统计算机视觉算法的一次有益结合，并且取得了较好的应用效果，具有一定的技术进步意义。

附图说明

图1为本发明的实现流程图；

图2为相机位姿估计中相机光心位置与世界坐标系原点之间相对位置的图示。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

实施例：

一种利用深度学习进行目标识别并估计相机相对目标位置的方法，包括：步骤1、制作数据集。在不同角度和不同距离下拍摄数百张目标的图片，然后利用YOLO数据集标注工具(发明中采用labelImg)对拍摄的图片进行处理，标注出图中待检测目标的位置、尺寸以及目标名称；

标注完成后会在图片文件夹images所在文件夹下生成名为labels的文件夹，其中包含和图片名同名的标签文件；

该文件每行包括五个值，分别为目标编号(提前给出classes目录)、归一化标记框中心坐标，标记框宽度w和标记框高度h。

步骤2、标注完成后，取数据集的75％作为训练集，25％作为验证集。搭建好网络，以网络在ImageNet数据集上预训练的结果作为网络初始化参数，调整网络超参数进行训练，直到在测试集上的识别准确率达到95％以上。

实验中发现，对于相机相对于目标偏转角度太大导致目标严重变形或者距离过远导致目标过小时会出现无法检测到的情况，考虑到本发明的应用环境主要是作为近距离下的精准测距，一般不会出现这种情形，所以这一点可以忽略。

步骤3、移动机械臂，用固定在上面的摄像头进行拍摄，抽取摄像头拍摄的当前帧放入网络进行识别，若无结果则继续移动，直到能够识别出目标。一旦网络识别到目标，则会输出目标名称和目标的位置以及尺寸信息，即目标中心坐标和检测框长宽。

为了防止图片中其他物体影响对应特征点的提取，需要将目标单独切割出来。实际操作中，在检测框的边缘分别增加10个像素进行切割，既保证不会出现影响特征点匹配的杂物又尽量保证目标的完整性。

步骤4、将目标图片进行resize。测量出实际目标的大小(实验中使用的logo为202mm*200mm的西安电子科技大学校徽，像素大小为1008*1004)，将图片resize到实际尺寸，这样每个像素表示实际尺寸为1mm，目标像素坐标即为世界坐标系中的坐标。

将resize之后的目标和步骤3中切割出来的子图分别作为Src_image和Target_image，利用SIFT特征点检测进行特征点匹配。为了消除误匹配的情况，首先利用特征点描述子向量的长度进行第一次筛选，只选取长度小于0.5倍最大长度的特征点。然后利用RANSAC进一步筛选出匹配更为准确的内点(筛选前后的对比见附图)，并以此作为对应点求出两图之间的单应性变换矩阵H。

步骤5、获得H以后，为了进一步提升精度，利用梯度下降法进行H的优化。

5a)、对拍摄的目标进行单应性变换，变换矩阵为利用特征点匹配计算所得H，结果记为Tran_image；

5b)、寻找变换后的图像Tran_image和目标Src_image的边缘，为了简化计算每隔20个边缘点采样一个，记Tran_image的边缘点采样构成的集合为T，Src_image的边缘点采样构成的集合为S。计算集合T中点

到集合S中点s_j(0≤j≤len(S)之间的距离，若有

(取欧氏距离作为边缘点之间的距离度量),则认为点t_i和点s_j为处于同一位置的对应边缘点。实际上，对于点集T中每一个点，都能在点集S中找到其对应点，为了让H尽可能精确，即变换所得图片与原目标尽可能重合，我们取以下函数作为代价函数：

该式表示两图对应边缘点之间距离的和，亦即表征两图中目标的重合度。式中点t_i和s_i都为非齐次形式。

假设拍摄的目标图像某边缘点的坐标为(x,y,1)^T,单应性变换矩阵H为：

则该点经过单应性变换之后的坐标为：

则此时代价函数可以表示为：

求出H的梯度矩阵ΔH为：

取衰减率为lr＝1e-3(根据L的变换情况合适选取)，令H＝H-lr·ΔH，进行循环迭代，当L趋于稳定不再减小时停止，取此时的H为最优H。

步骤6、相机标定。若以给定相机内参，则无需标定，否则需要提前标定相机。实验中采取张正友标定法进行相机标定，采用内部角点数为11*8，实际尺寸为30mm的标定板进行相机标定，获取内参K。

步骤7、已知相机内参K和单应性矩阵H之后，利用公式[r₁ r₂ t]＝K^-1·H对H进行分解，即可得到相机光心相对于世界坐标系的位置。

步骤8、整个流程搭建完成之后即可进行测量。程序会对摄像机拍摄的视频逐帧进行检测，自动跳过无法检测到目标的帧，对能检测到目标的帧进行测距并根据显卡计算速度实时显示结果。实验中采用GTX1060大约可以做到每秒15帧到20帧。

如图所示，右边为世界坐标系坐标表示，左边为相机坐标系坐标表示。R,t分别为相机坐标系相对于世界坐标系的旋转矩阵和相机平移向量，若相机光心在世界坐标系中的位置为C，X是一个三维非齐次矢量，表示世界坐标系中的点，而X_cam是以世界坐标系表示的同一点，则有X_cam＝R(X-C)。这个方程在齐次坐标下可以写成：

又相机坐标系与像素坐标系的变换可以表示为：

x＝K[I|0]X_cam (12)

从而我们可以得到摄像机的射影变换过程可以表示为：

x＝KR[I|-C]X (13)

令t＝-RC，则t可以表示为相机光心相对于世界坐标系原点的位移矢量，此时有摄像机矩阵P＝K[R|t]。

以上描述仅是本发明的一个具体实例，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims

1.一种利用深度学习进行目标识别并估计相机相对目标位置的方法，包括：

(1)、制作数据集，在不同角度和不同距离下拍摄数百张目标的图片，然后利用YOLO数据集标注工具对拍摄的图片进行处理，标注出图中待检测目标的位置、尺寸以及目标名称；

该文件每行包括五个值，分别为目标编号、归一化标记框中心坐标，标记框宽度w和标记框高度h；

(2)、标注完成后，取数据集的75％作为训练集，25％作为验证集；

搭建好网络，以网络在ImageNet数据集上预训练的结果作为网络初始化参数，调整网络超参数进行训练，直到在测试集上的识别准确率达到95％；

(3)、移动机械臂，用固定在上面的摄像头进行拍摄，抽取摄像头拍摄的当前帧放入网络进行识别，若无结果则继续移动，直到能够识别出目标；一旦网络识别到目标，则会输出目标名称和目标的位置以及尺寸信息，即目标中心坐标和检测框长宽；

为了防止图片中其他物体影响对应特征点的提取，需要将目标单独切割出来，实际操作中，在检测框的边缘分别增加10个像素进行切割，既保证不会出现影响特征点匹配的杂物又尽量保证目标的完整性；

(4)、将目标图片进行resize，测量出实际目标的大小，将图片resize到实际尺寸，这样每个像素表示实际尺寸为1mm，目标像素坐标即为世界坐标系中的坐标；

将resize之后的目标和步骤(3)中切割出来的子图分别作为Src_image和Target_image，利用SIFT特征点检测进行特征点匹配；

为了消除误匹配的情况，首先利用特征点描述子向量的长度进行第一次筛选，只选取长度小于0.5倍最大长度的特征点；

然后利用RANSAC进一步筛选出匹配更为准确的内点，并以此作为对应点求出两图之间的单应性变换矩阵H；

(5)、获得H以后，为了进一步提升精度，利用梯度下降法进行H的优化，提升H的精度，操作过程如下：

5a)、对拍摄的目标进行单应性变换，变换矩阵为利用特征点匹配计算所得H结果记为Tran_image；

5b)、寻找变换后的图像Tran_image和目标Src_image的边缘，为了简化计算每隔20个边缘点采样一个，记Tran_image的边缘点采样构成的集合为T，Src_image的边缘点采样构成的集合为S；

计算集合T中点t_i(0≤i≤len(T))到集合S中点s_j(0≤j≤len(S))之间的距离，若有d(t_i0，s_j0)＝min(d(t_t，s_j)),则认为点t_i0和点s_j0为处于同一位置的对应边缘点；

实际上，对于点集T中每一个点，都能在点集S中找到其对应点，为了让H尽可能精确，即变换所得图片与原目标尽可能重合，我们取以下函数作为代价函数：

该式表示两图对应边缘点之间距离的和，亦即表征两图中目标的重合度，式中点t_i和s_i都为非齐次形式；

则该点经过单应性变换之后的坐标为：

此时代价函数可以表示为：

求出H的梯度矩阵ΔH：

取衰减率为lr＝1e-3，令H＝H-lr·ΔH，进行循环迭代，当L趋于稳定不再减小时停止循环，取此时的H为最优H；

(6)、相机标定，若以给定相机内参，则无需标定，否则需要提前标定相机；

实验中采取张正友标定法进行相机标定，采用内部角点数为11*8，实际尺寸为30mm的标定板进行相机标定，获取内参K；

(7)、已知相机内参K和单应性矩阵H之后，利用公式[r₁ r₂ t]＝K^-1·H对H进行分解，即可得到相机光心相对于世界坐标系的位置；

(8)、整个流程搭建完成之后即可进行测量，程序会对摄像机拍摄的视频逐帧进行检测，自动跳过无法检测到目标的帧，对能检测到目标的帧进行测距并根据显卡计算速度实时显示结果。

2.根据权利要求1所述的一种利用深度学习进行目标识别并估计相机相对目标位置的方法，其特征在于：所述(1)中利用labelImg目标检测标注工具进行目标检测数据集的制作。

3.根据权利要求1所述的一种利用深度学习进行目标识别并估计相机相对目标位置的方法，其特征在于：所述(2)中检测目标使用YOLOv3目标检测网络。

4.根据权利要求1所述的一种利用深度学习进行目标识别并估计相机相对目标位置的方法，其特征在于：所述(2)中使用待检测目标数据集对人脸识别网络进行训练，其实现如下：

在训练开始前，从数据集中随机选取75％的图像作为训练集，剩下的25％作为测试集；

在训练过程中，调整网络的学习次数、学习率，将训练集中的图像作为YOLOv3的输入，将训练集中图像带有的标签作为网络的期望输出，对网络进行监督学习；

在网络学习完设定的学习次数后，再对其进行测试，即将测试集中的图像送入训练好的网络中，统计网络输出的准确率，当准确率达到95％以上时，结束训练。

5.根据权利要求1所述的一种利用深度学习进行目标识别并估计相机相对目标位置的方法，其特征在于：所述(3)中需要移动机械臂对花纹或文字进行拍摄，抽取摄像头拍摄的当前帧送入目标检测网络中进行检测，并对检测结果进行切割，仅保留目标部分。

6.根据权利要求1所述一种利用深度学习进行目标识别并估计相机相对目标位置的方法，其特征在于：所述(4)中需要对目标的原图进行Resize从而使其在像素坐标系中的坐标等于在世界坐标系中的坐标，利用SIFT特征点匹配找到两张图之间的匹配特征点，然后利用描述子长度进行第一次筛选，利用RANSAC算法进行第二次筛选，滤掉误匹配的点。

7.根据权利要求1所述的一种利用深度学习进行目标识别并估计相机相对目标位置的方法，其特征在于：所述(7)中，利用[r₁ r₂ t]＝K^-1·H对精确的单应性矩阵H进行分解，从而得到相机光心相对于世界坐标系的位置，即确定机械臂相对于机器的位置。