CN107917700A - 基于深度学习的小幅度目标三维姿态角测量方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的小幅度目标三维姿态角测量方法，包括：根据实际工程需要，按1:1比例制作符合实际环境的被测目标物模型，并在目标物表面适当位置贴放标识；制成视觉测量装置，并完成相机标定与畸变校正；放置已贴放标识的被测目标物模型，位置应满足标识轴心与视觉测量装置轴心连线保持水平；借助角度测量装置，调整目标三维姿态角，对标识进图片拍摄；以确定间隔为步幅进行训练样本获取，每个样本对应一个标签，分别对应一组三维姿态角；进行训练网络的搭建工作；训练卷积神经网络。

Description

基于深度学习的小幅度目标三维姿态角测量方法

技术领域

本发明属于计算机视觉领域，涉及深度学习在实际物体姿态角测量中的应用。

背景技术

机器视觉是基于对人类视觉研究的基础上衍生出的学科,它是人工智能领域一个新的研究热点。近年来,大量的研究人员从事着视觉领域各方面技术的研究,希望突破多方面的限制,使机器视觉技术能够更加成熟。机器视觉技术作为重要的检测测量技术已经应用于很多重要的工业、军事领域中,例如生物医学,环境科学,纺织,航天等。

机器视觉系统根据获取图像的传感器个数的不同可以分为单目视觉测量系统,双目视觉测量系统和多目视觉测量系统等。其中，单目视觉测量法设备要求简单，在实际工业需求中较易实现，常被广泛用于图像单目视觉就是利用一个视觉传感器来捕捉图像信息,系统结构简单,成本低,对场地环境要求较低,而且视场范围较双目视觉或多目视觉要大得多,不需要进行立体匹配,具有广泛适用性。利用单目视觉来对运动目标进行姿态测量的方法有很多,如几何相似法、几何光学法、特征靶标测量法、激光测距仪辅助测量法均可以对目标物体的三维姿态角进行测量。

发明内容

本发明的目的是提供一种针对小幅度目标的三维姿态角高精度测量方法。本发明将深度学习策略引入姿态角测量过程，通过实际环境模拟，自行制作训练样本，定义训练样本标签，最终构成训练集，通过制作大量训练集投入卷积神经网络进行图像特征提取，优化网络参数，最终实现更高精度测量。技术方案如下：

一种基于深度学习的小幅度目标三维姿态角测量方法，包括如下的步骤：

1)根据实际工程需要，按1:1比例制作符合实际环境的被测目标物模型，并在目标物表面适当位置贴放标识；

2)通过挑选满足工程需要的相机镜头与图像传感器，联合制成视觉测量装置，并完成相机标定与畸变校正；

3)校正后的视觉测量装置确定后，放置已贴放标识的被测目标物模型，位置应满足标识轴心与视觉测量装置轴心连线保持水平；

4)借助角度测量装置，调整目标三维姿态角，对标识进图片拍摄；

5)以确定间隔为步幅进行训练样本获取，每个样本对应一个标签，分别对应一组三维姿态角，将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式；

6)进行训练网络的搭建工作，训练网络基于VGG-16卷积神经网络，并在此基础上进行改进，使用VGG16的前5层，将FC6，FC7替换为卷积层，并将多尺度特征图同时输出；

7)训练卷积神经网络；

8)构建测试用数据集，任意调整被测目标物模型三维姿态角进行拍照截取，投入训练好的卷积神经网络，得到测试结果。

本发明所采用的基于深度学习的小范围幅度目标三维姿态角测量将克服传统测量方法中存在的误差大、世界坐标系与像素坐标系之间对应关系不易确定的问题，通过高精度卷积神经网络的结构设计，加之高精度、大范围样本的不断训练学习，最终能将测量输出姿态角误差控制在90"(3σ)之内。同时，利用改进后的卷积神经网络实现实时测量，每秒钟测量图片数可达到50张及以上(fps>50)，从而即时输出高精度测量结果。

附图说明

图1小范围三维姿态角测量的卷积神经网络结构

具体实施方式

第一步：根据实际工程需要，按1:1比例制作符合实际环境的被测目标物模型，并在目标物中心贴放自行制作的椭圆标识，椭圆标识的材质、大小可随实际工程需要灵活调整对应。通过挑选满足工程需要的相机镜头与CCD/CMOS图像传感器，联合制成视觉测量装置，并完成相机标定与畸变校正。

第二步：将畸变校正后的视觉测量装置摆放于确定位置，放置已贴放椭圆标识的被测物，位置应满足椭圆标识轴心与视觉测量装置轴心连线保持水平。

第三步：借助现有高精度角度测量装置，调整目标三维姿态角，对椭圆标识物进行图片拍摄。调整策略为每隔3°进行一次调整，最大角度应控制在45°之内，则每方向方位角应有31次采集点(其中包含0°)，由于三维姿态角涉及三类角度，即视觉方位角、视觉俯仰角、视觉滚转角，三方向应最终收集31*31*31种不同姿态的训练样本，为29791类训练样本，每类训练样本数量为1，故得到29791张训练图像，每幅图像对应一个标签，分别对应三类角度。

第四步：将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式。

第五步：搭建训练网络，训练网络基于VGG-16卷积神经网络，并在此基础上进行改进。使用VGG16的前5层，将FC6，FC7替换为卷积层，并将多尺度特征图同时输出，通过同时识别低尺度特征与高尺度特征，提高识别准确率，以增加识别精度。

第六步：构建测试用数据集，任意调整实际模型三维姿态角进行拍照截取，投入训练好的卷积神经网络，得到测试结果。

Claims (1)

1.一种基于深度学习的小幅度目标三维姿态角测量方法，包括如下的步骤：

1)根据实际工程需要，按1:1比例制作符合实际环境的被测目标物模型，并在目标物表面适当位置贴放标识；

2)通过挑选满足工程需要的相机镜头与图像传感器，联合制成视觉测量装置，并完成相机标定与畸变校正；

3)校正后的视觉测量装置确定后，放置已贴放标识的被测目标物模型，位置应满足标识轴心与视觉测量装置轴心连线保持水平；

4)借助角度测量装置，调整目标三维姿态角，对标识进图片拍摄；

5)以确定间隔为步幅进行训练样本获取，每个样本对应一个标签，分别对应一组三维姿态角，将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式；

6)进行训练网络的搭建工作，训练网络基于VGG-16卷积神经网络，并在此基础上进行改进，使用VGG16的前5层，将FC6，FC7替换为卷积层，并将多尺度特征图同时输出；

7)训练卷积神经网络；

8)构建测试用数据集，任意调整被测目标物模型三维姿态角进行拍照截取，投入训练好的卷积神经网络，得到测试结果。