CN105096337A - 一种基于陀螺仪硬件平台的图像全局运动补偿方法 - Google Patents

Abstract

本发明提供一种基于陀螺仪硬件平台的图像全局运动补偿方法。使用陀螺仪硬件平台获取摄像机在拍摄目标场景图像时的运动参数；建立摄像机运动参数的卡尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声；使用欧拉动力学方程将摄像机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成摄像机的平移运动；根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出目标场景图像的全局光流；使用全局光流对目标场景图像序列进行全局运动补偿。本发明弥补由于摄像机移动造成的背景全局性的运动对图像中运动目标检测造成的影响，克服了软件算法只适用于特定环境的缺点。

Description

一种基于陀螺仪硬件平台的图像全局运动补偿方法

技术领域

本发明属于运动目标的检测和跟踪技术领域，具体涉及一种基于陀螺仪硬件平台的图像全局运动补偿方法。

背景技术

运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下的运动目标检测和动态背景下的运动目标检测两大类。静态背景下的运动目标检测是指摄像机在整个拍摄过程中不发生移动，只有被拍摄的运动目标在摄像机的视场内运动；动态背景下的运动目标检测是指摄像机在整个拍摄过程中发生了移动，被拍摄目标在摄像机的视场内也发生了运动，从而产生了目标与摄像机之间的复杂相对运动。但在实际应用中主要是动态背景下运动目标的检测。

在动态背景下，静止的物体会对动目标检测带来干扰，同时不能得到动目标真实的运动状态。为了弥补由于摄像机移动造成的背景全局性的运动对图像中动目标检测造成的影响，需要对图像进行全局运动补偿。对图像进行全局运动补偿的主要有两种思路：一是通过软件的算法获得背景的运动参数，主要方法有背景差法、光流法等等；二是利用传感器检测摄像机的运动参量，再转化为图像背景的运动参数。由于现有的软件跟踪算法都是面向特定的应用环境，具有一定的使用范围，所以不存在一个算法能适应于所有不同的环境。

发明内容

本发明的目的是提供了一种基于陀螺仪硬件平台的图像全局运动补偿方法，旨在弥补由于摄像机移动造成的背景全局性的运动对图像中运动目标检测造成的影响，克服软件算法只适用于特定环境、不具有通用性的特点。

为了解决上述技术问题，本发明提供一种基于陀螺仪硬件平台的图像全局运动补偿方法：使用摄像机拍摄目标场景图像序列；使用陀螺仪硬件平台获取摄像机在拍摄目标场景图像时的运动参数，包括摄像机旋转角速度和平移加速度；建立摄像机运动参数的卡尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声；使用欧拉动力学方程将摄像机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成摄像机的平移运动；根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出目标场景图像的全局光流；使用全局光流对目标场景图像序列进行全局运动补偿。所述陀螺仪硬件平台包括FPGA核心控制处理器、三轴数字陀螺仪，FPGA核心控制处理器、三轴数字陀螺仪集成在同一块电路板上，陀螺仪硬件平台固定在摄像机上；FPGA核心控制处理器通过控制摄像机的快门控制摄像机拍摄目标场景图像序列；在拍摄前后两帧图像的时间间隔内，FPGA核心控制处理器控制三轴数字陀螺仪获取多组摄像机的运动参数，取该多组运动参数的平均值作为摄像机在拍摄前一帧图像时的运动参数。

本发明与现有技术相比，其显著优点在于：(1)由于三轴数字陀螺仪体积小、灵敏度高，所以硬件平台简单易行，只需要将硬件平台电路板绑定在摄像机上即可；(2)基于FPGA核心控制处理器的并发执行特点，结合本算法的简洁性，可以实现全局运动补偿的实时性；(3)本发明利用摄像机的运动参数来推算全局运动光流，通用性较强，弥补了软件算法使用的局限性和不通用性：(4)本发明从摄影几何角度出发，结合欧式空间的刚体变化关系得到图像背景光流与摄像机运动参数的关系，在参数获取与处理过程中，与图像亮度没有关系，所以在亮度突变的情况下，仍然有着较高的精度。

附图说明

图1是本发明流程图。

图2是本发明中陀螺仪硬件平台的结构示意图。

具体实施方式

如图1所示，本发明基于陀螺仪硬件平台的图像全局运动补偿方法为：

使用摄像机拍摄目标场景图像序列，使用陀螺仪硬件平台获取摄像机在拍摄目标场景图像时的运动参数，包括摄像机旋转角速度和平移加速度；建立摄像机运动参数的卡尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声；使用欧拉动力学方程将摄像机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成摄像机的平移运动；根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出目标场景图像的全局光流；使用全局光流对目标场景图像序列进行全局运动补偿。

所述陀螺仪硬件平台如图2所示，包括FPGA核心控制处理器、三轴数字陀螺仪，FPGA核心控制处理器、三轴数字陀螺仪集成在同一块电路板上，陀螺仪硬件平台固定在摄像机上；FPGA核心控制处理器通过控制摄像机的快门控制摄像机拍摄目标场景图像序列，同时，在拍摄前后两帧图像的时间间隔内，FPGA核心控制处理器控制三轴数字陀螺仪获取多组摄像机的运动参数，取该多组运动参数的平均值作为摄像机在拍摄前一帧图像时的运动参数。

实施例：

本实施例选用的摄像机为BasleracA640-90gc、三轴数字陀螺仪为ADIS16405；摄像机采集到的视频存储至计算机。

一、使用摄像机拍摄目标场景图像序列，使用陀螺仪硬件平台获取摄像机在拍摄目标场景图像时的运动参数，包括摄像机旋转角速度和平移加速度。

首先，根据三轴数字陀螺仪ADIS16405说明书的要求，设置SPI协议的控制信息，其中主要包括：主从设备之间数据传输的单位为16位，且高位优先；主从设备之间地址总线的宽度为16位；时钟极性CPOL＝1，即设备在空闲态时，CLK为高电平；时钟相位＝1，即在CLK的下降沿进行数据采样；设置，使三轴数字陀螺仪作为从器件。

当FPGA核心控制处理器检测到DIO1的下降沿时，表明三轴数字陀螺仪ADIS16405已准备好，开始进行摄像机运动参数信息的采集。三轴数字陀螺仪ADIS16405输出的三轴运动角速度w_x，w_y，w_z和三轴平移运动加速度a_x，a_y，a_z分别存放在FPGA核心控制处理器中的寄存器里。FPGA核心控制处理器在摄像机拍摄前后两帧图像，即第N帧图像和第N+1帧图像的间隔T内，以t为间隔重复n次三轴数字陀螺仪ADIS16405输出数据的采集，再根据串口协议的通信速率和通信协议，读取RAM中的数据通过串口传输至计算机端。

在计算机端，使用MFC编写串口界面，将计算机端串口接收到的摄像机运动参数数据显示、处理并存储。一般来说，三轴数字陀螺仪直接获取的摄像机运动参数是三轴数字陀螺仪的测量值，因为三轴数字陀螺仪的寄存器位数有限，得到的测量值是真实值按照一定比例缩小后的结果，所以需要根据三轴数字陀螺仪说明书要求，对摄像机旋转角速度测量值[w_x，w_y，w_z]和摄像机平移运动加速度测量值[a_x，a_y，a_z]进行数值转换及倍率处理，获得每组运动参数的真实值。本实施例根据三轴数字陀螺仪ADIS16405的说明书要求，分别将旋转角速度测量值[w_x，w_y，w_z]和平移运动加速度测量值[a_x，a_y，a_z]乘以各自的比例系数获得角速度参数中间量p和加速度参数中间量q，如公式(1)、(2)所示：

p＝w*0.05°/s(1)

q＝a*3.333mg(2)

其中，w代表角速度参数测量值[w_x，w_y，w_z]，a代表加速度参数测量值[a_x，a_y，a_z]；0.05和3.333分别为摄像机旋转角速度参数测量值和摄像机平移运动的加速度测量值所需要乘以的比例系数；然后判断中间量p和q的二进制首位，若为0，则直接将中间量p和q转换成十进制表示，若为1，则说明当前p和q为补码形式，需要将其转换为原码后再转换成十进制表示，获得摄像机旋转角速度参数和摄像机平移运动的加速度的真实值，分别表示为[W_x，W_y，W_z]和[A_x，A_y，A_z]。

然后，将T时间内所得的n组参数求取平均值，作为第N帧图像的摄像机运动参数。用W和A分别表示摄像机运动参数中旋转角速度参数和平移加速度参数。公式如(3)(4)所示：

$\stackrel{\‾}{W}=(W_1+W_2+...+W_n)/n---\left(3\right)$

$\stackrel{\‾}{A}=(A_1+A_2+...+A_n)/n---\left(4\right)$

即通过倍率处理、数值转换以及取平均值之后，第N帧图像的摄像机运动参数表示为为了区别每一帧图像的摄像机运动参数，在摄像机运动参数数据的开始加入包头正整数N，其中N＝1,2,3…从而第N帧图像的摄像机运动参数最终表示为：

$[N,\stackrel{\‾}{W_x},\stackrel{\‾}{W_y},\stackrel{\‾}{W_z},\stackrel{\‾}{A_x},\stackrel{\‾}{A_y},\stackrel{\‾}{A_z}].$

二、建立摄像机运动参数的卡尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声。

在计算机中，建立每一帧图像的摄像机运动参数的滤波模型。以和为例，其滤波模型分别如公式(6)、(7)所示：

$\stackrel{\‾}{A}=\stackrel{\‾}{A_{[N-1]}}+M\stackrel{\‾}{A_{[N-1]}}+B_f+n---\left(6\right)$

$\stackrel{\‾}{W}=\stackrel{\‾}{W_{[N-1]}}+M\stackrel{\‾}{W_{[N-1]}}+B_f+n---\left(7\right)$

式(6)、(7)中，和分别为拍摄第N-1帧图像时摄像机加速度和角速度的平均值，M为刻度因数误差，主要是用来补偿非线性特性，B_f为零点偏移，n为随机噪声。

根据上述模型利用卡尔曼滤波方法，完成摄像机运动参数的滤波。

三、使用欧拉动力学方程将摄像机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成摄像机的平移运动。

在计算机中，利用欧拉动力学方程将获得的三轴角速度转换成欧拉坐标系中的欧拉角α，β，γ。α，β，γ是按照第一类旋转方式中的3-1-2方式定义的，即先绕Z轴旋转角α,再绕X轴旋转角β,最后绕Y轴旋转角γ。

欧拉动力学方程为：

$\left[\begin{array}{c}\stackrel{\·}{\mathrm{\α}}\\ \stackrel{\·}{\mathrm{\β}}\\ \stackrel{\·}{\mathrm{\γ}}\end{array}\right]=\left[\begin{array}{ccc}-\sin /\tan \mathrm{\β}& \cos \mathrm{\α}/\tan \mathrm{\β}& 1\\ \cos \mathrm{\α}& \sin \mathrm{\α}& 0\\ \sin \mathrm{\α}/\sin \mathrm{\β}& -\cos \mathrm{\α}/\sin \mathrm{\β}& 0\end{array}\right]*\left[\begin{array}{c}\stackrel{\‾}{W_x}\\ \stackrel{\‾}{W_y}\\ \stackrel{\‾}{W_z}\end{array}\right]---\left(8\right)$

式(8)中，为欧拉角α，β，γ的一阶导数，即

利用软件Matlab中的dsolve()函数解上述欧拉动力学方程，可得出欧拉角的表示式为公式(9)所示：

$\left\{\begin{array}{c}\mathrm{\α}=c_1+(T*(\stackrel{\‾}{W_z}*\sin \mathrm{\β}*\cos {\mathrm{\α}}^2-\cos \mathrm{\β}*\stackrel{\‾}{W_y}*\cos \mathrm{\α}+\stackrel{\‾}{W_z}*\sin \mathrm{\β}*\sin {\mathrm{\α}}^2-\cos \mathrm{\β}*\stackrel{\‾}{W_x}*\sin \mathrm{\α}))/(\sin \mathrm{\β}*(\cos {\mathrm{\α}}^2+\sin {\mathrm{\α}}^2))\\ \mathrm{\β}=c_2+(T*(\cos \mathrm{\α}*\stackrel{\‾}{W_x}-\stackrel{\‾}{W_y}*\sin \mathrm{\α}))/(\cos {\mathrm{\α}}^2+\sin {\mathrm{\α}}^2)\\ \mathrm{\γ}=c_3+(T*(\cos \mathrm{\α}*\stackrel{\‾}{W_y}+\stackrel{\‾}{W_z}*\sin \mathrm{\α}))/(\sin \mathrm{\β}*(\cos {\mathrm{\α}}^2+\sin {\mathrm{\α}}^2))\end{array}\right.$

式(9)中，c₁，c₂，c₃为常数。

利用第N-1帧图像摄像机运动参数求得的欧拉角α，β，γ作为第N帧图像的摄像机运动参数的微分方程求解的初值α₀，β₀，γ₀，并将初值α₀，β₀，γ₀带入到欧拉角表示式(9)中，求解出常数c₁，c₂，c₃。

将本组即第N帧图像的摄像机参数和时间T回代入求解常数后的欧拉表示式中，求解出摄像机运动的欧拉角α，β，γ。

利用第N-1帧图像的摄像机运动参数和时间T求解出第N帧图像获取前摄像机的末速度，即第N帧图像摄像机获取时运动的初始速度用表示第N帧图像获取时摄像机运动的初始速度，计算公式如(10)所示，：

$\stackrel{\‾}{v}=\stackrel{\‾}{v_{(N-1)}}+\stackrel{\‾}{A}*T---\left(10\right)$

式(10)中，代表第N-1帧图像获取前摄像机运动的末速度。

利用第N帧图像获取时的摄像机运动的初始速度和摄像机的运动参数根据匀加速运动的位移公式求解出摄像机的三轴运动位移[N,S_x,S_y,S_z]，，用表示摄像机平移运动的加速度，S表示计算得到的摄像机平移运动的位移，公式如(11)所示：

$S=\stackrel{\‾}{v}*T+\frac{1}{2}*\stackrel{\‾}{A}*T^2---\left(11\right)$

最终求得摄像机运动参数为[N，α，β，γ，S_x，S_y，S_z]。

四、根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出目标场景图像的全局光流。

在计算机中，图像光流与摄像机运动参数的关系式如公式(12)所示：

$\begin{array}{c}u=\frac{(-S_x*f+x*S_z)}{Z}+\mathrm{\α}*\frac{x*y}{f}-\mathrm{\β}(\frac{x^2}{f}z+f)+\mathrm{\γ}*y\\ v=\frac{(-S_y*f+y*S_z)}{Z}+\mathrm{\α}*(\frac{y^2}{f}+f)-\mathrm{\β}\left(\frac{x*y}{f}\right)-\mathrm{\γ}*x\end{array}---\left(12\right)$

其中，[u,v]分别代表图像像素坐标[x,y]水平方向和竖直方向的光流，f代表摄像机的焦距，Z代表图像像素坐标[x,y]的实际物体点在摄像机坐标系中的Z轴分量，即距离光心的距离。

整理公式(12)，得到式(13)：

$\begin{array}{c}(-S_x*f+x*S_z)*(v-\mathrm{\α}*(\frac{y^2}{f}+f)+\mathrm{\β}(\frac{x*y}{f}-\mathrm{\γ}*x))\\ =(-S_y*f+y*S_z)*(u-\mathrm{\α}*\frac{x*y}{f}+\mathrm{\β}(\frac{x^2}{f}z+f)-\mathrm{\γ}*y)\end{array}---\left(13\right)$

假设摄像机获取的图像大小为Width*Hight，在图像中隔n行隔m列取得像素点坐标(x_kn,y_km)，k＝1,2,3…,kn≤Width,km≤Hight，并将像素点坐标(x_kn,y_km)放入集合D中，计算集合D的势Num。

在集合D中任意提取势为2的样本集S，设S内的两个像素坐标分别为(x_i,y_j)和(x_m,y_n)。将(x_i,y_j)和(x_m,y_n)带入到整理后的光流与摄像机运动参数的表达式(13)中得到一个二元一次方程，解这个二元一次方程求出第N帧图像的光流量[u_N,v_N]。

利用求出的光流量[u_N,v_N]，将集合D中的像素坐标(x_kn,y_km)的横坐标x_kn逐一带入至整理后的光流与摄像机运动参数的表达式(13)中，求解出y_km的估计值y'_km，若y_km和y'_km两者之差什么满足公式(14)：

|y_k-y'_km|≤0.1(14)

则将(x_kn,y_km)留在集合D中，否则放入余集C中，最终重新计算出集合D的势Num。

若Num≥M，其中M为集合D的样本个数阈值，则结束RANSAC算法，并将当前的[u_N,v_N]作为全局光流。

若Num＜M，且RANSAC算法的循环次数在设定阈值N_RAN内，则重复上述过程迭代计算求得新的图像光流量[u_N,v_N]，否则，结束RANSAC算法，并将当前[u_N,v_N]作为全局光流。

根据第N帧图像摄像机运动参数[N，α，β，γ，S_x，S_y，S_z]求得的光流量[u_N,v_N]表示第N帧图像和第N+1帧图像的运动光流。

五、使用全局光流对目标场景图像序列进行全局运动补偿。

在计算机中，根据求得的第N帧图像和第N+1帧图像的全局运动光流[u_N,v_N]，对第N+1帧图像进行全局运动补偿。设第N+1帧图像内的像素坐标为(x_N+1,y_N+1)，对(x_N+1,y_N+1)做公式(15)处理

(x'_N+1,y'_N+1)＝(x_N+1+u_N,y_N+1+v_N)(15)

将(x'_N+1,y'_N+1)作为第N+1帧图像的新像素坐标，则完成了图像的全局运动补偿。

Claims (2)

1.一种基于陀螺仪硬件平台的图像全局运动补偿方法，其特征在于，使用摄像机拍摄目标场景图像序列；使用陀螺仪硬件平台获取摄像机在拍摄目标场景图像时的运动参数，包括摄像机旋转角速度和平移加速度；建立摄像机运动参数的卡尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声；使用欧拉动力学方程将摄像机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成摄像机的平移运动；根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出目标场景图像的全局光流；使用全局光流对目标场景图像序列进行全局运动补偿；

所述陀螺仪硬件平台包括FPGA核心控制处理器、三轴数字陀螺仪，FPGA核心控制处理器、三轴数字陀螺仪集成在同一块电路板上，陀螺仪硬件平台固定在摄像机上；FPGA核心控制处理器通过控制摄像机的快门控制摄像机拍摄目标场景图像序列；在拍摄前后两帧图像的时间间隔内，FPGA核心控制处理器控制三轴数字陀螺仪获取多组摄像机的运动参数，取该多组运动参数的平均值作为摄像机在拍摄前一帧图像时的运动参数。

2.如权利要求1所述的基于陀螺仪硬件平台的图像全局运动补偿方法，其特征在于，根据所使用三轴数字陀螺仪的要求，将三轴数字陀螺仪直接输出的摄像机运动参数测量值进行数值转换及倍率处理，获得运动参数的真实值。