CN110007107B - 一种集成不同焦距摄像头的光流传感器 - Google Patents

Abstract

本发明公开了一种集成不同焦距摄像头的光流传感器，涉及旋翼无人机视觉定位传感器设计领域，包括电路板、测距传感器、嵌入式芯片、摄像头；其中，所述测距传感器和所述摄像头被配置在所述电路板一侧；所述嵌入式芯片被配置在所述电路板另一侧，所述嵌入式芯片分别与所述测距传感器和所述摄像头相连。本发明采用多个定焦摄像头，提高了变焦速度、满足光流的快速性要求，在处于较大范围的不同高度时，提升用于估计光流速度的地面纹理画面清晰度，并通过光流法精确获得旋翼无人机的实际运动速度，从而提高整体运算效率。

Description

一种集成不同焦距摄像头的光流传感器

技术领域

本发明涉及旋翼无人机视觉定位传感器设计领域，尤其涉及一种集成不同焦距摄像头的光流传感器。

背景技术

光流传感器是基于计算机视觉中的光流法进行图像处理、并用于估计自身或者安装对象运动速度的传感器，具有成本低、计算速度快的优势。光流法估计速度分两步，第一步匹配摄像头所捕获的相邻两帧图像之间的像素亮度或者特征点，根据两帧间时间估计其在图像上的移动距离，获得二维的瞬时图像移动速度场，当图像中为平面固定物体(如地面)时，速度场中速度分布一致且与传感器的自身移动速度存在对应关系；第二步通过摄像头标定所得的内参和测距传感器所测量的实际距离，计算出光流传感器自身的实际移动速度。

光流传感器常用于旋翼无人机在无或者弱卫星定位系统信号的情况下进行定位。旋翼无人机在飞行过程中需要通过获得自身速度和位置进行反馈控制，将光流传感器固定安装在无人机下方，固定朝向地面，即可通过地面纹理图案的变化和测距传感器所测得的高度、并使用光流法估计出自身移动速度，计算并获得位置，根据传感器的安装位置进行简单坐标变换，即为无人机的移动速度和位置，由此完成无人机定位。

目前，现有的光流传感器均采用单一焦距的摄像头，当地面纹理细小或者重复度较高的时候(如常见的木质地板、磁砖、沥青路面等)，旋翼无人机的摄像头只有在很窄的高度范围内所拍摄到的纹理，才能达到清晰、范围合理、用于无人机移动光流速度计算的效果，这在极大程度上限制了旋翼无人机的高度方向和活动范围。

因此，本领域的技术人员致力于开发一种集成不同焦距摄像头的光流传感器，在处于较大范围的不同高度时，提升用于估计光流速度的地面纹理画面清晰度，并通过光流法精确获得旋翼无人机的实际运动速度，从而提高整体运算效率。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是在地面纹理度细小或者重复度较高的情况下，旋翼无人机定位难、可正常定位飞行高度范围窄、不适用移动光流速度计算的问题。

为实现上述目的，本发明提供了一种集成不同焦距摄像头的光流传感器，其特征在于，包括电路板、测距传感器、嵌入式芯片、摄像头；其中，所述测距传感器和所述摄像头被配置在所述电路板一侧；所述嵌入式芯片被配置在所述电路板另一侧，所述嵌入式芯片分别与所述测距传感器和所述摄像头相连。

进一步地，所述摄像头被配置为拍摄地面图像；所述摄像头被配置为两个或两个以上不同焦距的定焦摄像头。

进一步地，所述测距传感器被配置为测量对地距离；所述测距传感器被配置为基于计算机视觉中的光流法进行距离测算。

进一步地，所述摄像头始终保持上电开启并读图状态。

进一步地，所述光流传感器固定于旋翼无人机底部；所述摄像头和所述测距传感器朝向地面固定安装。

进一步地，所述嵌入式芯片被配置为可根据对地距离自动切换或组合使用所述摄像头计算图像光流速度。

进一步地，所述嵌入式芯片可根据所述图像光流速度和所述测距传感器测量的距离估计旋翼无人机的实际运行速度；所述嵌入式芯片计算所得的所述图像光流速度值和所述实际运行速度值通过串口连接的方式发送至所述旋翼无人机控制器。

进一步地，所述测距传感器被配置为超声波传感器、单点激光传感器、红外线传感器中的一种。

进一步地，所述嵌入式芯片被配置为单片机、数字信号处理器、现场可编程门阵列中的一种。

进一步地，所述摄像头的帧率大于60FPS，图像读取的分辨率小于480P。

与现有技术相比，通过本发明的实施，至少具有以下有益的技术效果：

(1)本发明提供的集成不同焦距摄像头的光流传感器，由于所有摄像头均保持上电读图状态，因此避免了相机频繁开启时曝光、白平衡等调整的等待时间；同一时间，嵌入式芯片进行图像光流速度计算仅为其中一个摄像头的画面，相对普通单目光流速度的计算量仅多出了打开一个摄像头所用的读取运算量，整体运算负荷增加率不超过10％，相对视觉里程计的整体运算效率达两倍以上；

(2)本发明提供的集成不同焦距摄像头的光流传感器，采用多个定焦摄像头而不是可变焦摄像头，避免了可变焦摄像头变焦速度不够快、无法满足光流的快速性要求、无法准确获得不同焦距下相机的内参矩阵的问题；

(3)本发明提供的集成不同焦距摄像头的光流传感器，在旋翼无人机高度变化过程中，采用缓冲区δd减少计算图像光流速度所采用的摄像头来源的变化次数，降低因切换摄像头而引起的微小速度误差，提升实际运行速度的精度、速度；

(4)通过本发明提供的集成不同焦距摄像头的光流传感器，测距传感器所估计的旋翼无人机的实际运动速度可用于对其定位；

(5)通过本发明提供的集成不同焦距摄像头的光流传感器，也可推广应用到其他需要使用对地或墙面安装光流传感器的移动机器人。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的两个不同焦距摄像头结构示意图；

图2是本发明的两个不同焦距摄像头实施例的底部结构示意图；

图3是本发明的一个较佳实施例的三个不同焦距摄像头结构示意图；

图4是本发明的三个不同焦距摄像头实施例的底部结构示意图；

图5是本发明的一个较佳实施例应用于旋翼无人机的结构示意图；

图6是本发明的一个较佳实施例在两种不同焦距、不同高度下拍摄木地板的测试图。

其中，1-焦距为2.8mm的摄像头，2-焦距为8.0mm的摄像头，3-焦距为16.0mm的摄像头，4-测距传感器，5-电路板，6-嵌入式芯片。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

本发明提供的一种集成不同焦距摄像头的光流传感器，主要按照以下方式运行：首先对每个摄像头进行标定，获取摄像头的内参矩阵K；然后根据测距传感器的工作要求，采用合理电压供电，保证嵌入式芯片不断获取测距传感器所得的距离测量值h和不同摄像头的拍摄图像。假设，短焦距摄像头对应焦距合理工作范围为Φ2＝[d2，D2]，图像为I2，长焦距摄像头对应焦距合理工作范围为Φ3＝[d3，D3]，图像为I3，其中，D2-d3＝δd>0，δd为缓冲高度，D3一般近似等于测距传感器的有效工作距离。初始时旋翼无人机起飞高度低，t＝0时刻采用图像I2，若在t时刻h(t)>D2且t-1时刻h(t-1)∈Φ2，则t时刻的实际移动速度为v(t)＝v(t-1)，且此时用于图像光流速度计算的摄像头画面切换为I3；若在t时刻h(t)<d3且t-1时刻h(t-1)∈Φ3，则t时刻旋翼无人机的实际运行速度为v(t)＝v(t-1)，且此时用于图像光流速度计算的摄像头画面切换为I2；若t时刻与t-1时刻的高度h在同一工作范围区间Φ2或者Φ3中，则保持t-1时刻所采用的图像；t时刻图像的移动速度按照计算机视觉中常用的光流法进行计算，对比与前一帧图像的特征点移动距离，处理两帧之间的时间间隔，即可得到图像光流速度V(t)，再通过对应的内参矩阵K2与K3进行简单换算，即可得到实际运行速度v(t)。

实施例1：

如图1和图2所示，为本发明提供的一种集成不同焦距摄像头的光流传感器，包括焦距为2.8mm的摄像头1(全画幅等效焦距为约20mm)、焦距为8.0mm的摄像头2(全画幅等效焦距为约57mm)、测距传感器4、电路板5、嵌入式芯片6；其中，测距传感器4、焦距为2.8mm的摄像头1、焦距为8.0mm的摄像头2被配置在电路板5的顶部侧，嵌入式芯片6被配置在电路板5的底部侧，嵌入式芯片6分别与测距传感器4、焦距为2.8mm的摄像头1、焦距为8.0mm的摄像头2相连。

焦距为2.8mm的摄像头1和焦距为8.0mm的摄像头2被配置为拍摄地面图像，且始终保持上电开启并读图状态，摄像头1的帧率为70FPS，摄像头2的帧率为80FPS，摄像头1和摄像头2对于图像读取的分辨率均在480P以下；本实施例中，测距传感器4被配置为超声波传感器；嵌入式芯片6被配置为单片机，嵌入式芯片6可根据对地距离自动切换或组合使用摄像头1和摄像头2用来计算图像光流速度，嵌入式芯片6再根据所述图像光流速度和测距传感器4测量的距离，估计旋翼无人机的实际运行速度；最后，嵌入式芯片6将计算所得的所述图像光流速度值和所述实际运行速度值通过串口连接的方式发送至旋翼无人机控制器，实现对旋翼无人机的定位。

如图5所示，为本发明一较佳实施例应用于旋翼无人机的结构示意图，所述光流传感器固定于旋翼无人机底部，所述摄像头和所述测距传感器朝向地面固定安装。

图4示出了本实施例在0.6m和1.4m高度下分别采集的图像，焦距为2.8mm的摄像头1在高度为0.6m时，呈现出的图像画面大小适中、纹理清晰、光流匹配精度高，而在高度为1.4m时，呈现出的图像画面受地面反光影响严重、纹理粗糙、光流匹配精度低；而焦距为8.0mm的摄像头2在高度为1.4m时，呈现出的图像画面大小适中、纹理清晰，光流匹配精度高，在在高度为0.6m时，呈现出的图像画面因纹理过大导致变化不明显、画面范围过小、光流匹配精度低、容易丢失图像全局特征。经过多次调试，摄像头1和2所采集图像的合理使用高度区间分别为0.2m-1.2m、1.0m-3.0m，其中从1.0m到1.2m有0.2m的重叠工作范围。

实施例2：

在实施例1的基础上，本实施例中采用焦距为2.8mm的摄像头1、焦距为8.0mm的摄像头2和焦距为16.0mm的摄像头3(全画幅等效焦距分别约为114mm)，其中，焦距为16.0mm的摄像头3所采集图像的合理使用高度区间为2.5m-8.0m；摄像头1、摄像头2和摄像头3从1.0m到1.2m、2.5m到3.0m分别有0.2m和0.5m的重叠工作范围。通过增加焦距为16.0mm的摄像头3，使得光流传感器可获得纹理清晰、画面范围适中图像的工作范围极大地提高，实现旋翼无人机在更大平面移动空间中完成定位。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种集成不同焦距摄像头的光流传感器，其特征在于，包括电路板、测距传感器、嵌入式芯片、摄像头；其中，所述测距传感器和所述摄像头被配置在所述电路板一侧；所述嵌入式芯片被配置在所述电路板另一侧，所述嵌入式芯片分别与所述测距传感器和所述摄像头相连；所述摄像头被配置为拍摄地面图像；所述摄像头被配置为两个或两个以上不同焦距的定焦摄像头；所述嵌入式芯片被配置为可根据对地距离自动切换或组合使用所述摄像头计算图像光流速度；所述嵌入式芯片可根据所述图像光流速度和所述测距传感器测量的距离估计旋翼无人机的实际运行速度；所述实际运行速度通过以下方法获得：

短焦距摄像头对应焦距合理工作范围为Φ2＝[d2，D2]，图像为I2，长焦距摄像头对应焦距合理工作范围为Φ3＝[d3，D3]，图像为I3，其中，D2-d3＝δd>0，δd为缓冲高度，D3一般近似等于测距传感器的有效工作距离； 初始时旋翼无人机起飞高度低，t＝0时刻采用图像I2，若在t时刻h(t)>D2且t-1时刻h(t-1)∈Φ2，则t时刻的实际移动速度为v(t)＝v(t-1)，且此时用于图像光流速度计算的摄像头画面切换为I3；若在t时刻h(t)<d3且t-1时刻h(t-1)∈Φ3，则t时刻旋翼无人机的实际运行速度为v(t)＝v(t-1)，且此时用于图像光流速度计算的摄像头画面切换为I2；若t时刻与t-1时刻的高度h在同一工作范围区间Φ2或者Φ3中，则保持t-1时刻所采用的图像；t时刻图像的移动速度按照计算机视觉中常用的光流法进行计算，对比与前一帧图像的特征点移动距离，处理两帧之间的时间间隔，即可得到图像光流速度V(t)，再通过对应的内参矩阵K2与K3进行简单换算，即可得到实际运行速度v(t)。

2.如权利要求1所述的集成不同焦距摄像头的光流传感器，其特征在于，所述测距传感器被配置为测量对地距离；所述测距传感器被配置为基于计算机视觉中的光流法进行距离测算。

3.如权利要求1所述的集成不同焦距摄像头的光流传感器，其特征在于，所述摄像头始终保持上电开启并读图状态。

4.如权利要求1所述的集成不同焦距摄像头的光流传感器，其特征在于，所述光流传感器固定于旋翼无人机底部；所述摄像头和所述测距传感器朝向地面固定安装。

5.如权利要求1所述的集成不同焦距摄像头的光流传感器，其特征在于，所述嵌入式芯片计算所得的所述图像光流速度值和所述实际运行速度值通过串口连接的方式发送至所述旋翼无人机控制器。

6.如权利要求1所述的集成不同焦距摄像头的光流传感器，其特征在于，所述测距传感器被配置为超声波传感器、单点激光传感器、红外线传感器中的一种。

7.如权利要求1所述的集成不同焦距摄像头的光流传感器，其特征在于，所述嵌入式芯片被配置为单片机、数字信号处理器、现场可编程门阵列中的一种。

8.如权利要求1所述的集成不同焦距摄像头的光流传感器，其特征在于，所述摄像头的帧率大于60FPS，图像读取的分辨率小于480P。

Images