CN105141807A - 视频信号图像处理方法和装置 - Google Patents

Abstract

本发明提供一种视频信号图像处理方法和装置。该方法包括以下步骤：运动分析，包括对原始图像进行特征提取，估算连续帧之间的全局运动仿射矩阵，其中所述全局运动仿射矩阵包括连续帧之间的运动参数，所述原始图像的连续帧构成原始图像的运动轨迹；参数平滑，对多个所述连续帧之间的运动参数进行滤波，获取平滑后的当前帧与前一帧之间的运动参数，根据连续帧的平滑后的运动参数构成平滑后的运动轨迹；仿射变换，利用平滑后的当前帧与前一帧之间的运动参数，以及原始图像的运动轨迹和平滑后的运动轨迹的差，构成新的全局运动仿射矩阵，计算平滑后的当前帧对应图像。通过上述方法和装置可以减弱或去除视频图像全局运动的平移、旋转或抖动。

Description

视频信号图像处理方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频信号图像处理方法和装置。

背景技术

近几年来，民用无人机在技术和市场方面发展迅猛。民用无人机的一个最大的应用是航拍，尤其是在飞行过程中拍摄外景的大场面。在当前的无人机航拍应用中，飞机的控制全部依赖手动，这对于操作的稳定性提出很高要求；同时飞机控制的操作与拍摄控制的操作分离，往往需要两个人分别控制，这增加了操作的复杂与不稳定。因此，民用无人机通常采用稳定平台来辅助摄影。

当前，民用无人机通常采用三轴机电云台构成摄影平台，来稳定摄影。但是三轴机电云台体积往往很大，重量和造价很高，这给使用者带来了好处的同时，也使无人机的集成程度受到限制。例如无人机体积较大，不便于携带，能够使用的场景就受到限制。造价高也使得很多潜在的使用者望而却步。因此，存在减小或消除对三轴机电云台依赖的技术需求。

另一方面，在其它运动拍摄场景或视频后处理阶段也存在对消除视频抖动的需要。例如，手机或DV用户在利用手机或DV摄像时，由于握持姿势的不稳定，会造成对所拍摄的视频流画面的抖动、旋转或摆动等。或者在视频拍摄之后，用户希望通过进一步的软件处理消除视频中的干扰性抖动等。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

基于上述背景，本发明通过在采集无人机航拍的视频图像时或之后，进行实时或非实时的图像滤波处理，来减小或消除由于缺少三轴机电云台或由于三轴机电云台的不稳定而造成的图像旋转或平移或缩放等全局运动，使视频图像更平滑、清晰而稳定。

本发明提供一种视频信号的图像处理方法，包括以下步骤：

运动分析，包括对原始图像进行特征提取，估算连续帧之间的全局运动仿射矩阵，其中所述全局运动仿射矩阵包括连续帧之间的运动参数，所述原始图像的连续帧构成原始图像的运动轨迹；

参数平滑，包括对多个所述连续帧之间的运动参数进行滤波，获取平滑后的当前帧与前一帧之间的运动参数，根据连续帧的平滑后的运动参数构成平滑后的运动轨迹；

仿射变换，包括利用平滑后的当前帧与前一帧之间的运动参数，以及原始图像的运动轨迹和平滑后的运动轨迹的差，构成新的全局运动仿射矩阵，计算平滑后的当前帧对应图像。

可选地，所述图像处理方法还包括对于原始图像边缘像素的数据，用先前帧的图像边缘像素代替。

可选地，所述图像处理方法还包括原始图像边缘像素用设定阈值的外差值弥补。

可选地，所述图像处理方法还包括利用图像锐化算法对原始图像模糊部分进行处理。

可选地，所述图像锐化算法方法包括拉普拉斯图像滤波。

可选地，所述图像处理方法还包括对多个所述连续帧之间的运动参数进行的滤波为低通滤波。

可选地，所述图像处理方法还包括对多个所述连续帧之间的运动参数进行的滤波为卡尔曼滤波。

可选地，所述图像处理方法还包括：所述连续帧之间的运动参数参数包括：平移、旋转、缩放、剪伸。

可选地，所述图像处理方法还包括：在所述参数平滑步骤中，对多个所述连续帧之间的运动参数进行滤波，包括对当前帧之前和之后的图像帧进行滤波，以获取平滑后的当前帧与前一帧之间的运动参数。

可选地，在所述运动分析步骤中，包括融合多种传感器信息，对原始图像进行特征提取，估算连续帧之间的全局运动仿射矩阵。

本发明还提供一种视频信号的图像处理装置，包括以下模块：

运动分析模块，用于对原始图像进行特征提取，估算连续帧之间的全局运动仿射矩阵，其中所述全局运动仿射矩阵包括连续帧之间的运动参数，所述原始图像的连续帧构成原始图像的运动轨迹；

参数平滑模块，用于对多个所述连续帧之间的运动参数进行滤波，获取平滑后的当前帧与前一帧之间的运动参数，根据连续帧的平滑后的运动参数构成平滑后的运动轨迹；

仿射变换模块，用于利用平滑后的当前帧与前一帧之间的运动参数，以及原始图像的运动轨迹和平滑后的运动轨迹的差，构成新的全局运动仿射矩阵，计算平滑后的当前帧对应图像。

可选地，所述图像处理装置还包括边缘像素处理单元，所述边缘像素处理单元用于对于原始图像边缘像素的数据，用先前帧的图像边缘像素代替。

可选地，所述图像处理装置还包括边缘像素处理单元，所述边缘像素处理单元用于将原始图像边缘像素用设定阈值的外差值弥补。

可选地，所述图像处理方法还包括图像锐化器，所述图像锐化器利用图像锐化算法对原始图像模糊部分进行处理。

可选地，所述图像锐化器包括拉普拉斯图像滤波器。

可选地，所述图像处理装置还包括低通滤波器，所述低通滤波器用于对多个所述连续帧之间的运动参数进行滤波。

可选地，所述图像处理装置还包括卡尔曼滤波器，所述卡尔曼滤波器用于对多个所述连续帧之间的运动参数进行滤波。

可选地，所述图像处理装置处理的所述连续帧之间的运动参数包括：平移、旋转、缩放、剪伸。

采用上述的视频信号的图像处理方法和装置，产生的视频效果可以逼近机电云台的效果，既没有机电云台带来的笨重和成本，也能够用户观看到平滑、高品质的视频。通过上述视频信号的图像处理方法和装置的处理，也可以消除其它视频流中出现的旋转、平移或抖动等全局运动。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1为根据本发明的一个实施例提供的视频信号图像处理方法的流程图；

图2为根据本发明的上述实施例提供的视频信号图像处理装置的结构框图；

图3示出利用多种传感器信息进行运动分析的一般处理框图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1为根据本发明的一个实施例提供的视频信号图像处理方法的流程图。该方法包括如下步骤：

首先，进行图像采集，即步骤S101。

安装在民用无人机上的摄像机采集每帧的原始图像。

然后，进行运动分析，即步骤S102。

包含CPU和/或图像处理引擎的图像处理装置对每一帧原始图像进行特征提取，找出连续帧之间多个特征点之间的空间位置对应关系，从而确定两帧之间的运动参数。通常最关心两个连续帧之间的画面全局运动，这些全局运动往往是因为摄像机本身的移动造成。通过对这些对应的特征点的位置变化进行分析，可以估算到连续帧之间的一个全局运动仿射矩阵。

仿射矩阵是一个3*3的矩阵，其用于表征两帧图像之间的运动变化关系，包括能够体现出图像之间旋转的角度、缩放的尺度和平移的参数。仿射矩阵的实际参数一般包括六个，包括旋转，平移，缩放，剪伸(shearing，指侧向平行拉伸形变，在不同的高度平行拉伸的程度不同)等，用它能够近似绝大多数短时间内的画面全局运动。可以根据处理需要对运动参数数量和精度进行精简。一般连续帧之间的时间间隔只有几十毫秒。这些相邻帧之间的运动参数通过该仿射矩阵来记录。例如，对于缩放尺度为1.0，旋转角度为PI/18，X方向平移5像素，Y方向平移3像素的变换，这个仿射矩阵就是式(1)：

$\left(\begin{array}{ccc}cos(PI/18)& -sin(PI/18)& 5\\ sin(PI/18)& \cos (PI/18)& 3\\ 0& 0& 1\end{array}\right)$

全局运动的仿射矩阵可以通过分析对应特征点的运动来获得。例如，在T＝N-1时点的帧中，特征点集为P(N-1)，该点集在T＝N时点的帧上，使用光流法可以追踪到新的点集P(N)，然后使用RANSAC算法可以估计运动仿射矩阵里的每一个参数。

接下来，针对获取的全局运动参数，进行参数平滑，即步骤S103。

在无人机航拍等需要做低延时图像传输的实时图像采集应用下，参数的平滑只能运用当前帧和过去帧的运动信息。在计算出当前帧与其前一帧之间的运动参数(以下称为“当前帧的运动参数”，其它帧的运动参数具有类似的含义)之后，将当前帧的运动参数和前几个连续帧的运动参数综合在一起进行滤波，也就是相当于对原始运动轨迹进行平滑滤波，其结果可以用来计算当前帧平滑后的运动参数。用一维运动举例，假设从初始时间开始，每个离散的时间点i的全局运动轨迹为T(i)，这里i代表当前帧的时间，滤波的公式就是式(2):

T’(i)＝f(T(i),T(i-1),...,T(i-N))

这里f()是滤波函数，T’(i)是滤波之后的运动轨迹，如果f()是一个低通滤波，生成的{T’(i)}相对于{T(i)}就是一个平滑的函数。这个T’(i)就是当前帧的期望运动轨迹。f()也可以是其他滤波算法，例如卡尔曼滤波(KalmanFilter)。

基于上述平滑后的全局运动轨迹，可以计算平滑后的运动参数，即计算从原始图像帧到平滑后的图像帧的仿射变换。这个仿射变换矩阵的计算可以利用原始图像里当前帧相对于前一帧的仿射矩阵，加上原始图像的运动轨迹和平滑后的运动轨迹在当前帧时点上的差，形成新的仿射矩阵。对前一帧图像施加该新的仿射变换，即可获得平滑后的当前帧对应的图像。

再以一维运动为例；对原始图像的当前帧和前N帧的运动轨迹T(i),T(i-1),...,T(i-N)做平滑滤波得到T’(i)，则原始图像的运动轨迹和平滑后的运动轨迹在当前帧时点上的差为(T’(i)-T(i))。同时计算获得原始图像里当前帧相对于前一帧的仿射变换为S(i)，将当前帧的仿射参数S(i)加上前述差值即可获得平滑后的仿射参数S’(i)，即为式(3)：

S’(i)＝S(i)+T’(i)-T(i)

把这个仿射参数施加于第(i-1)帧图像，就得到了平滑后的第i帧图像；即，将原始图像“拉”到平滑后的图像。

由于平滑后的图像既包含了最新的图像帧的内容，又降低了输出帧与前一输出帧之间的全局运动，从而起到平滑滤波的作用。

低通滤波的方法可以使用高斯滤波法，或者滑动窗口滤波法，或者其他时间域滤波方法。

在不需要实时性图像采集的应用场景中，例如，手机摄像然后进行平滑处理，平滑处理的时间可以比视频采集的时间稍有延迟。这种延迟可以小到几十到几百毫秒，或者大到几天。

在允许延迟处理的情况下，估算某一时间点的图像帧平滑后的运动参数，可以将该时间点之前和之后的图像帧都考虑在内。仍以前面的一维运动轨迹T(i)为例，平滑后的运动轨迹T’(i)用数学公式表示就是式(4)：

T’(i)＝f(T(i-N),…,T(i-1),T(i),T(i+1),…,T(i+M))

这里f()是滤波函数，T’(i)是滤波之后的运动轨迹。T(i)表示需要滤波的时间点的运动轨迹。T(i-N),…,T(i-1)代表时间点i之前的运动轨迹。T(i+1),…,T(i+M)代表时间点i之后的运动轨迹。

这里N可以取1、2、3、4……等自然数。可以根据图像处理装置具有的硬件软件资源和处理性能需求折中选择。

对其它运动参数，例如，旋转角位移、缩放比例、剪伸，也可以并行进行上述的滤波，获取平滑后的参数。

最后，进行仿射变换，获取平滑后的图像，即步骤S104。

为了进一步改善滤波处理的效果，可以进行运动补偿。

在原始图像的边缘进行仿射变换时，在本帧图像内可能找不到对应点，从而平滑后的图像会出现黑边。这种情况下，可以用之前图像的边缘去弥补或替代。这相当于在特殊区域做一次从前帧向后帧的仿射变换，然后将当前生成的图像区域与上一帧获得的图像区域融合在一起。

可选地，如果通过上述方法黑边还是不能完全弥补，还可以通过边缘像素的对外差值来进一步弥补。例如，可以设定一个阈值作为外推的差值来进行弥补。

另外，利用原始图像的轨迹与平滑后图像的轨迹的差值计算新的仿射矩阵，在某些情况下会使生成的图像出现模糊。这可以通过图像锐化算法改进结果，例如用拉普拉斯图像滤波。

由此，本发明还提供一种视频信号的图像处理装置，其包括以下模块：

运动分析模块1，用于对原始图像进行特征提取，估算连续帧之间的全局运动仿射矩阵，其中所述全局运动仿射矩阵包括连续帧之间的运动参数；

参数平滑模块2，用于对多个所述连续帧之间的运动参数进行滤波，获取平滑后的当前帧与前一帧之间的运动参数；

仿射变换模块3，用于利用平滑后的当前帧与前一帧之间的运动参数，以及原始图像的运动轨迹和平滑后的运动轨迹的差，构成新的全局运动仿射矩阵，计算平滑后的当前帧对应图像。

采用上述的视频信号的图像处理方法和装置，产生的视频效果可以逼近机电云台的效果，既没有机电云台带来的笨重和成本，也能够用户观看到平滑、高品质的视频。通过上述视频信号的图像处理方法和装置的处理，也可以减弱或消除其它视频流中出现的旋转、平移或抖动等全局运动。

与上述方法相应地，所述图像处理装置还可以包括边缘像素处理单元，所述边缘像素处理单元用于对于原始图像边缘像素的数据，用先前帧的图像边缘像素代替。

与上述方法相应地，所述图像处理装置还可以包括边缘像素处理单元，所述边缘像素处理单元用于将原始图像边缘像素用设定阈值的外差值弥补。

与上述方法相应地，所述图像处理装置还可以包括图像锐化器，所述图像锐化器利用图像锐化算法对原始图像模糊部分进行处理。

与上述方法相应地，所述图像锐化器还可以包括拉普拉斯图像滤波器。

与上述方法相应地，所述图像处理装置还包括可以低通滤波器，所述低通滤波器用于对多个所述连续帧之间的运动参数进行滤波。

与上述方法相应地，所述图像处理装置还可以包括卡尔曼滤波器，所述卡尔曼滤波器用于对多个所述连续帧之间的运动参数进行滤波。

与上述方法相应地，所述图像处理装置处理的所述连续帧之间的运动参数参数包括：平移、旋转、缩放、剪伸。

前述运动分析步骤完全基于输入的视频图像。当前的民用无人机上还搭载有多种传感器，包括但不限于陀螺仪、加速度计、超声波测距仪等。这些传感器采集的运动信号(例如，角速度、线加速度、距离等)可以被机载的图像平滑处理装置或模块实时采集，并融合应用到运动估计中。在飞行过程中，飞行控制模块也会收到用户发来的控制指令，这些指令经过飞行控制处理，可以转化成无人机飞行的状态，例如上升、下降、向前、向后飞行等等。这些飞行状态的信息，例如飞行方向(相对于无人机的自身参照系)、飞行速度，也可以从飞行控制模块实时反馈到图像平滑处理装置或模块，并且应用到运动估计中。

图3示出利用多种传感器信息进行运动分析的一般处理框图。

例如，从原始图像提取全局运动信息往往通过图像帧里的特征点的对应关系来提取。而图像的特征点又分成前景和背景。如果是前景的物体自身在移动，仅仅依靠图像里的特征点往往会误判为全局移动，因此用陀螺仪和加速度仪的读数可以辅助判断是否是前景物体在移动，还是无人机自身在移动，进而消除误判的全局运动，降低虚警概率。

再例如，当无人机在平稳飞行时，在飞行方向的图像帧之间的运动分量是不需要进行平滑处理的，因为这些运动分量显示到画面中也是平稳的运动；而与飞行方向垂直的平面里如果有加速运动(例如抖动，转动等)，这些运动分量需要用进行平滑处理。因此引入无人机飞行状态可以得到图像帧之间的相对运动更准确的理解，从而辅助图像平滑处理。

除无人机之外，当前的智能手机大多都有陀螺仪和加速度仪等多种传感器，因此利用传感器的信号辅助视频平滑处理这种方法也可以应用于手机摄影的视频平滑。手机的应用程序在拍摄视频的同时可以同步采集传感器(陀螺仪，加速度计等)信号，并结合传感器信号提高对图像帧之间运动分析的准确性。

也就是说，在运动分析步骤中，可以融合多种传感器获取的运动信息，例如角速度、线加速度、距离等，对原始图像进行特征提取，估算连续帧之间的全局运动仿射矩阵，提高对对图像帧之间运动分析的准确性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (18)

1.一种视频信号图像处理方法，其特征在于，包括以下步骤：

运动分析，包括对原始图像进行特征提取，估算连续帧之间的全局运动仿射矩阵，其中所述全局运动仿射矩阵包括连续帧之间的运动参数，所述原始图像的连续帧构成原始图像的运动轨迹；

参数平滑，包括对多个所述连续帧之间的运动参数进行滤波，获取平滑后的当前帧与前一帧之间的运动参数，根据连续帧的平滑后的运动参数构成平滑后的运动轨迹；

仿射变换，包括利用平滑后的当前帧与前一帧之间的运动参数，以及原始图像的运动轨迹和平滑后的运动轨迹的差，构成新的全局运动仿射矩阵，计算平滑后的当前帧对应图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

对于原始图像边缘像素的数据，用先前帧的图像边缘像素代替。

3.根据权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：

原始图像边缘像素用设定阈值的外差值弥补。

4.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

利用图像锐化算法对原始图像模糊部分进行处理。

5.根据权利要求4所述的图像处理方法，其特征在于，所述图像锐化算法方法包括拉普拉斯图像滤波。

6.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

采用低通滤波器对多个所述连续帧之间的运动参数进行滤波。

7.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

采用卡尔曼滤波器对多个所述连续帧之间的运动参数进行滤波。

8.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

所述连续帧之间的运动参数包括：平移、旋转、缩放、剪伸。

9.根据权利要求1至8中任一项所述的图像处理方法，其特征在于，在所述参数平滑步骤中，对多个所述连续帧之间的运动参数进行滤波，包括对当前帧之前和之后的图像帧进行滤波，以获取平滑后的当前帧与前一帧之间的运动参数。

10.根据权利要求1至8中任一项所述的图像处理方法，其特征在于，在所述运动分析步骤中，包括融合多种传感器信息，对原始图像进行特征提取，估算连续帧之间的全局运动仿射矩阵。

11.一种视频信号图像处理装置，其特征在于，包括以下模块：

运动分析模块，用于对原始图像进行特征提取，估算连续帧之间的全局运动仿射矩阵，其中所述全局运动仿射矩阵包括连续帧之间的运动参数，所述原始图像的连续帧构成原始图像的运动轨迹；

参数平滑模块，用于对多个所述连续帧之间的运动参数进行滤波，获取平滑后的当前帧与前一帧之间的运动参数，根据连续帧的平滑后的运动参数构成平滑后的运动轨迹；

仿射变换模块，用于利用平滑后的当前帧与前一帧之间的运动参数，以及原始图像的运动轨迹和平滑后的运动轨迹的差，构成新的全局运动仿射矩阵，计算平滑后的当前帧对应图像。

12.根据权利要求11所述的图像处理装置，其特征在于，还包括边缘像素处理单元，所述边缘像素处理单元用于对于原始图像边缘像素的数据，用先前帧的图像边缘像素代替。

13.根据权利要求11所述的图像处理装置，其特征在于，还包括边缘像素处理单元，所述边缘像素处理单元用于将原始图像边缘像素用设定阈值的外差值弥补。

14.根据权利要求11所述的图像处理装置，其特征在于，所述图像处理方法还包括图像锐化器，所述图像锐化器利用图像锐化算法对原始图像模糊部分进行处理。

15.根据权利要求14所述的图像处理装置，其特征在于，所述图像锐化器包括拉普拉斯图像滤波器。

16.根据权利要求11所述的图像处理装置，其特征在于，所述图像处理装置还包括低通滤波器，所述低通滤波器用于对多个所述连续帧之间的运动参数进行滤波。

17.根据权利要求11所述的图像处理装置，其特征在于，所述图像处理装置还包括卡尔曼滤波器，所述卡尔曼滤波器用于对多个所述连续帧之间的运动参数进行滤波。

18.根据权利要求11所述的图像处理装置，其特征在于，所述图像处理装置处理的所述连续帧之间的运动参数包括：平移、旋转、缩放、剪伸。