CN114689034A - 一种基于智能手机的光流计算方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于智能手机的光流计算方法及装置，包括获取手机的传感器数据；对传感器数据进行姿态解算，得到外参数据；基于外参数据对图像进行置平，得到置平图像；基于置平图像进行光流计算，得到速度信息；通过转接芯片将速度信号传输给飞行控制器，手机具备的高性能处理器，利用手机内部传感器得到的姿态数据并基于手机高性能处理器，对图像进行置平以使其尽可能符合图像光流计算假设条件，将有助于提高光流算法的计算精度和性能，解决了现有的光流计算方法精度较低，影响视觉导航装置的可靠性的问题。

Description

一种基于智能手机的光流计算方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于智能手机的光流计算方法及装置。

背景技术

近年来，基于图像光流计算的视觉导航技术被广泛无人机室内定位之中。

然而，传统光流计算存在一定视频图像假设条件，如同一个空间点在相邻帧之间的亮度不变，相邻帧像素点的位置变化是微小位移以、同一子图像像素具有相同运动等，故将视频图像光流计算用于无人机视觉导航时，会因机身姿态倾斜而导致获取图像光流计算假设条件无法满足，从而降低光流计算精度、进而影响视觉导航装置的可靠性；

发明内容

本发明的目的在于提供一种基于智能手机的光流计算方法及装置，旨在解决现有的光流计算方法精度较低，影响视觉导航装置的可靠性的问题。

为实现上述目的，第一方面，本发明提供了一种基于智能手机的光流计算方法，包括以下步骤：

获取手机的传感器数据；

对所述传感器数据进行姿态解算，得到外参数据；

通过所述外参数据对图像进行置平，得到置平图像；

基于所述置平图像进行光流计算，得到速度信息；

通过转接芯片将所述速度信号传输给飞行控制器。

其中，所述获取手机的传感器数据的具体方式为：

对手机的系统储存、相机和传输接口权限进行初始化，得到初始化手机；

使用所述初始化手机进行数据采集，得到采集图像；

通过所述初始化手机的传感器获取所述采集图像，得到传感器数据。

其中，所述传感器包括陀螺仪、加速度计和地磁计，通过所述陀螺仪获取所述采集图像的角速度数据，通过所述加速度计获取所述采集图像的加速度数据，通过所述地磁计获取所述采集图像的地磁数据。

其中，所述对所述传感器数据进行姿态解算，得到外参数据的具体方式为：

利用四元数微分方程对所述角速度数据进行计算，得到角速度微分四元数；

根据所述加速度数据和所述地磁数据的误差函数和导数得出梯度公式；

利用所述梯度公式消除所述角速度微分四元数的误差，得到精确姿态四元数；

将所述角速度数据积分，得到积分四元数；

基于所述梯度公式将所述积分四元数和所述精确姿态四元数融合，得到外参数据。

其中，所述通过所述外参数据对图像进行置平，得到置平图像的具体方式为：

利用所述外参数据对相邻两个时刻的所述采集图像进行置平，得到第一置平图像和第二置平图像。

其中，所述基于所述置平图像进行光流计算，得到速度信息的具体方式为：

分别对所述第一置平图像和所述第二置平图像进行灰度化处理，得到第一灰度图像和第二灰度图像；

对所述第一灰度图像进行特征点检测，得到第一特征点；

分别对所述第一灰度图像和所述第二灰度图像进行多层缩放，得到第一金字塔图像和第二金字塔图像；

将所述第一金字塔图像和所述第二金字塔图像的最顶层带入LK光流法进行迭代，得到像素点和跟踪点；

基于所述第一特征点计算所述跟踪点对应的特征点的位置，得到第二特征点；

计算所述第一特征点和所述第二特征点之间的光流信息；

将所述光流信息转化为速度信息。

第二方面，本发明提供了一种基于智能手机的光流计算装置，包括手机、转接芯片和飞行控制器，所述手机具有传输接口，所述转接芯片与所述手机连接，并位于所述传输接口处，所述飞行控制器与所述转接芯片连接。

本发明的一种基于智能手机的光流计算方法及装置，通过获取手机的传感器数据；对所述传感器数据进行姿态解算，得到外参数据；基于所述外参数据进行光流计算，得到速度信息；通过所述手机的传输接口将所述速度信息传输给转接芯片进行信号转换，得到通信信号；通过所述转接芯片将所述通信信号传输给飞行控制器，所述手机具备的高性能处理器也能够完成复杂的光流算法。因此，利用所述手机内部传感器得到的姿态数据并基于手机高性能处理器，对图像进行置平(纠正)以使其尽可能符合图像光流计算假设条件，将有助于提高光流算法的计算精度和性能，解决了现有的光流计算方法精度较低，影响视觉导航装置的可靠性的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于智能手机的光流计算方法的流程图。

图2是基于所述置平图像进行光流计算，得到速度信息的原理图。

图3是本发明提供的一种基于智能手机的光流计算装置的结构示意图。

1-手机、2-传输接口、3-转接芯片、4-飞行控制器。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至图2，第一方面，本发明提供一种基于智能手机的光流计算方法及装置，包括以下步骤：

S1获取手机1的传感器数据；

具方式为：S11对手机1的系统储存、相机和传输接口2权限进行初始化，得到初始化手机；

具体的，运行所述手机1端APP，APP启动后初始化相关设置，主要包括所述系统存储、所述相机和所述传输接口2权限检查，初始化完成，目前，现有的智能手机的中已被植入包括可见光、加速度、陀螺仪、地磁计等多种MEMS传感器，通过这些传感器数据可以获得图像各种参数，同时智能手机具备的高性能处理器也能够完成复杂的光流算法。因此，利用手机内部传感器得到的姿态数据并基于手机高性能处理器，对图像进行置平(纠正)以使其尽可能符合图像光流计算假设条件，将有助于提高光流算法的计算精度和性能。综上，以智能手机作为视频图像采集和光流计算装置，将手机的USB接口作为所述传输接口2，可以构建一个成本低、结构设计简单、适用于无人机室内定位的光流定位装置，具有极为广阔的应用前景。

S12使用所述初始化手机进行数据采集，得到采集图像；

具体的，通过所述手机1的所述相机进行数据采集，得到采集图像，所述手机1主界面显示实时显示所述相机的预览帧、所述手机1的传感器数据，以及各个设置按钮。

S13通过所述初始化手机的传感器获取所述采集图像，得到传感器数据。

具体的，所述传感器包括陀螺仪、加速度计和地磁计，通过所述陀螺仪获取所述采集图像的角速度数据，通过所述加速度计获取所述采集图像的加速度数据，通过所述地磁计获取所述采集图像的地磁数据。

S2对所述传感器数据进行姿态解算，得到外参数据；

为了获得手机1相机的外参，需要使用所述手机1的三个传感器(所述陀螺仪、所述加速度计和所述地磁计)的9轴数据进行姿态解算，通过姿态解算的角度实现对图像的校正，从而得到外参数据。

具体方式为：S21利用四元数微分方程对所述角速度数据进行计算，得到角速度微分四元数；

具体的，利用所述陀螺仪输出的角速度和四元数微分方程计算出角速度微分四元数。

S22根据所述加速度数据和所述地磁数据的误差函数和导数得出梯度公式；

具体的，对测得的所述加速度计和所述地磁计的数据(所述加速度数据和所述地磁数据)进行预处理，根据所述加速度计和所述地磁计的误差函数及其导数，得出姿态传感器的梯度公式。

S23利用所述梯度公式消除所述角速度微分四元数的误差，得到精确姿态四元数；

具体的，通过所述梯度公式利用梯度下降法消除所述角速度微分四元数的误差，得到精确姿态四元数。

S24将所述角速度数据积分，得到积分四元数；

S25基于所述梯度公式将所述积分四元数和所述精确姿态四元数融合，得到外参数据。

具体的，将所述陀螺仪采集的所述角速度数据积分得到的所述积分四元数融合梯度下降法求出的姿态四元数即所述外参数据，从而实现了姿态数据的补偿修正，提高了姿态解算精度。

S3通过所述外参数据对图像进行置平，得到置平图像；

具体方式为：S31利用所述外参数据对相邻两个时刻的所述采集图像进行置平，得到第一置平图像和第二置平图像；

具体的，LK光流法需要预先满足三个假设条件：亮度恒定，即同一个空间点在相邻帧之间的亮度不变；在相邻帧的取帧时间连续，或者像素点的位置变化是微小位移；保持空间一致性，即同一子图像的像素具有相同的运动。在将视频图像光流计算应用于多旋翼无人机视觉导航时，载体飞行过程中会出现机身出现姿态倾斜的状态，会导致光流计算的假设条件无法满足，同时倾斜的输入图像会导致特征点容易丢失，最终使得光流计算的精度降低，从而降低了无人机视觉导航系统的精度与可靠性。因此，在光流计算前，首先对手机1采集的输入图像进行置平，图像置平的原理解释如下；

图像置平是利用手机1相机的外参和焦距即所述外参数据，使得图像中的物方空间坐标系和图像坐标系的三个轴轴系平行。这种变换可以利用相机焦距f和外参旋转矩阵R来完成，具有如下数学形式，其中(x⁰,y⁰)、(x,y)分别为变换前后的图像坐标，

ω、κ为旋转角，a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂、c₃为R矩阵的9个元素。

b₁＝cosωsinκ

b₂＝cosωcosκ

b₃＝-sinω

利用手机1相机采集t时刻和t+1时刻前后两帧图像，对前后两帧图像进行置平，置平后的两帧图像记为I_t和I_t+1。

S4基于所述置平图像进行光流计算，得到速度信息；

具体方式为：S41分别对所述第一置平图像和所述第二置平图像进行灰度化处理，得到第一灰度图像和第二灰度图像；

具体的，在t时刻对置平后的图像I_t进行灰度化处理，获得第一灰度图像G_t；在t+1时刻对置平后的图像I_t+1进行灰度化处理，获得第二灰度图像G_t+1。

S42对所述第一灰度图像进行特征点检测，得到第一特征点；

具体的，对G_t进行SURF特征点检测，得到第一特征点P_i。

S43分别对所述第一灰度图像和所述第二灰度图像进行多层缩放，得到第一金字塔图像和第二金字塔图像；

具体的，为了解决无人机大幅度运动的情况下假设条件失效的问题，利用图像金字塔模型计算光流，LK金字塔光流算法的主要流程包括：图像金字塔的建立、光流跟踪、迭代计算。

将智能手机1相机所采集的图像灰度化处理后的图像G_t和G_t+1分别记为I、J，对图像I和J分别进行多层缩放，形成一个类似金字塔型的图像缩放层，建立图像金字塔，I^L、J^L分别表示图像I和J的第L层的金字塔图像。

S44将所述第一金字塔图像和所述第二金字塔图像的最顶层带入LK光流法进行迭代，得到像素点和跟踪点；

具体的，金字塔的最顶层代表可带入LK光流法直接计算的图像层，最底层代表原始图像。LK金字塔光流的目的是对于图像I中的所述像素点u＝(u_x，u_y)，寻找图像J中的最相似的像素点即所述跟踪点v进行跟踪。

计算每层图像的光流：建立图像金字塔之后，首先计算最顶层L_m层金字塔图像的光流矢量，将顶层计算的光流矢量作为初始值反馈给当前层，当前层图像再以此为基础，计算出当前层的光流的精确值，再把结果作为初始值反馈给下一层，依次迭代，直到计算出最底层原始图像的光流矢量。

每一层图像的光流计算过程如下，通过第L+1层得到第L层光流初始值

最小化像素点(u_x ^L,u_y ^L)的邻域范围内的匹配误差和，建立最小化误差匹配函数ε^L：

其中，像素点u＝(u_x，u_y)对应第L层图像I^L像素点坐标为u^L＝(u_x ^L，u_y ^L)，w_x、w_y为基于像素点u^L邻域窗口半径，d^L第L层的光流的精确值。由d^L和g^L得g^L-1并作为第L-1层的光流计算的初始值：

g^L-1＝2(g^L+d^L)

根据上式进行迭代计算，最终计算得到的光流矢量结果为d，在金字塔最底层(L＝0)计算得到：

d＝g⁰+d⁰

图像I中的像素点u在图像J中对应点坐标为v＝u+d。

S45基于所述第一特征点计算所述跟踪点对应的特征点的位置，得到第二特征点；

具体的，通过LK金字塔光流法在图像G_t+1上跟踪图像G_t相对应的特征点位置，记录在图像G_t+1上寻找到的特征点的新位置坐标P_i+1。

S46计算所述第一特征点和所述第二特征点之间的光流信息；

具体的，根据特征点之间的位移P_i+1-P_i得到两帧图像的光流d。

S47将所述光流信息转化为速度信息。

具体的，载体运动场与图像光流场之间的转换：

通过LK金字塔光流法计算得到的数据为像素点的瞬时速度，利用光流进行室内定位，需要将图像光流信息转化为无人机导航系下的速度信息。下式描述了为光流场与运动场之间的转换关系：

只考虑水平方向的平移分量和旋转分量，忽略数量级较小的二阶项，

V_x＝(v_{flow_u}-ω_yf)·Z

V_y＝(ω_xf-v_{flow_v})·Z

其中，V_x为无人机在x方向的瞬时速度，V_y为无人机在y方向的瞬时速度，v_{flow_u}为图像平面的x方向的光流，v_{flow_v}为图像平面的y方向的光流，Z为载体相对于地面的高度。ω_x和ω_y分别为横滚角速度和俯仰角速度，可以由手机1内部陀螺仪测量得到。

S5通过转接芯片3将所述通信信号传输给飞行控制器4；

具体的，通过所述手机1的传输接口2将所述速度信息传输给转接芯片3进行信号转换，得到通信信号，通过所述转接芯片3(CH340)的串口将所述通信信号传输给飞行控制器4(Pixhawk飞控)；

APP初始化完成后，APP实时监测传输接口2(所述手机1的USB接口)是否有设备接入，当检测到有设备接入时，所述手机1界面的连接按钮会提示可以连接，此时，用户触发按钮即可建立所述手机1与所述转接芯片3(CH340)的连接，通过所述手机1的传输接口2将所述速度信息传输给进行信号转换，得到通信信号(TTL信号)。

有益效果：

1、针对现有光流传感器运算速度慢、集成度低，提出使用智能手机光流计算设备；

2、针对无人机运动时图像特征点丢失的问题，提出对输入图像置平后完成光流计算；

3、针对置平图像所需外参数据，提出对手机1内部惯性传感器进行姿态解算得到角度数据；

4、针对数据传输问题，提出使用CH340模块完成手机1与飞行控制器4通讯。

请参阅图3，第二方面，本发明提供了一种基于智能手机的光流计算装置，包括手机1、转接芯片3和飞行控制器4，所述手机1具有传输接口2，所述转接芯片3与所述手机1连接，并位于所述传输接口2处，所述飞行控制器4与所述转接芯片3连接。

具体的，所述手机1运行mavros实现mavlink协议，完成光流数据传输。mavros用于无人机通信，可以将飞行控制器4与主控(所述手机1)的信息进行交换，mavlink协议(MicroAirVehicle Link)是一种用于小型无人载具的通信协议。

以上所揭露的仅为本发明一种基于智能手机的光流计算方法及装置较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种基于智能手机的光流计算方法，其特征在于，包括以下步骤：

获取手机的传感器数据；

对所述传感器数据进行姿态解算，得到外参数据；

通过所述外参数据对图像进行置平，得到置平图像；

基于所述置平图像进行光流计算，得到速度信息；

通过转接芯片将所述速度信号传输给飞行控制器。

2.如权利要求1所述的基于智能手机的光流计算方法，其特征在于，

所述获取手机的传感器数据的具体方式为：

对手机的系统储存、相机和传输接口权限进行初始化，得到初始化手机；

使用所述初始化手机进行数据采集，得到采集图像；

通过所述初始化手机的传感器获取所述采集图像，得到传感器数据。

3.如权利要求2所述的基于智能手机的光流计算方法，其特征在于，

所述传感器包括陀螺仪、加速度计和地磁计，通过所述陀螺仪获取所述采集图像的角速度数据，通过所述加速度计获取所述采集图像的加速度数据，通过所述地磁计获取所述采集图像的地磁数据。

4.如权利要求3所述的基于智能手机的光流计算方法，其特征在于，

所述对所述传感器数据进行姿态解算，得到外参数据的具体方式为：

利用四元数微分方程对所述角速度数据进行计算，得到角速度微分四元数；

根据所述加速度数据和所述地磁数据的误差函数和导数得出梯度公式；

利用所述梯度公式消除所述角速度微分四元数的误差，得到精确姿态四元数；

将所述角速度数据积分，得到积分四元数；

基于所述梯度公式将所述积分四元数和所述精确姿态四元数融合，得到外参数据。

5.如权利要求3所述的基于智能手机的光流计算方法，其特征在于，

所述通过所述外参数据对图像进行置平，得到置平图像的具体方式为：

利用所述外参数据对相邻两个时刻的所述采集图像进行置平，得到第一置平图像和第二置平图像。

6.如权利要求5所述的基于智能手机的光流计算方法，其特征在于，

所述基于所述置平图像进行光流计算，得到速度信息的具体方式为：

分别对所述第一置平图像和所述第二置平图像进行灰度化处理，得到第一灰度图像和第二灰度图像；

对所述第一灰度图像进行特征点检测，得到第一特征点；

分别对所述第一灰度图像和所述第二灰度图像进行多层缩放，得到第一金字塔图像和第二金字塔图像；

将所述第一金字塔图像和所述第二金字塔图像的最顶层带入LK光流法进行迭代，得到像素点和跟踪点；

基于所述第一特征点计算所述跟踪点对应的特征点的位置，得到第二特征点；

计算所述第一特征点和所述第二特征点之间的光流信息；

将所述光流信息转化为速度信息。

7.一种基于智能手机的光流计算装置，应用于权利要求1-6任意一项所述的基于智能手机的光流计算方法，其特征在于，

包括手机、转接芯片和飞行控制器，所述手机具有传输接口，所述转接芯片与所述手机连接，并位于所述传输接口处，所述飞行控制器与所述转接芯片连接。

Images