CN113794842A - 视频图像处理方法、装置、系统、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种视频图像处理方法、装置、系统、电子设备及存储介质，属于图像处理领域，方法包括：接收视频图像，提取出当前帧图像和前一帧图像的特征点，并进行特征点匹配，得到多组匹配点对，根据多组匹配点对，计算出当前帧图像和前一帧图像间的运动矢量，进而得到当前帧图像的测量值，结合测量值对特征点的运动进行估计，得到当前帧图像的状态估计值，从而根据测量值和状态估计值得到的补偿值，对前一帧图像做仿射变换，得到去抖后的当前帧图像，对机械设计以及相机元器件无要求，从而能够改善现有的防抖方法由于硬件要求高，而导致防抖成本高的问题。

Description

视频图像处理方法、装置、系统、电子设备及存储介质

技术领域

本发明涉及图像处理的领域，尤其是涉及一种视频图像处理方法、装置、系统、电子设备及存储介质。

背景技术

工业4.0是指利用物联信息系统（Cyber—Physical System，CPS）将生产中的供应、制造和销售信息数据化、智慧化，最后达到快速、有效、个人化的产品供应。随着工业4.0的提出，无人化的趋势越发明显。各行业无人化改革不断深入，如无人化农场，无人化餐厅，无人化建筑工地等。在进行无人化操作时，需要视觉传感器实时将现场环境传输到终端，而无人化作业环境往往较为复杂，如农场和建筑工地，无人机或装载有图像处理模块的终端在作业过程中通常会受到颠簸、震动等因素的影响，造成监控视频抖动现象，影响观看效果。

目前，对于视频防抖方法主要包括机械防抖和光学防抖。其中，机械防抖在一些精密位置很难实现机械设计，光学防抖对相机元器件要求很高，使得成本较高。

发明内容

本发明的目的包括，提供一种视频图像处理方法、装置、系统、电子设备及存储介质，能够改善现有的防抖方法由于对相机元器件要求高，或对机械设计要求高，而导致的防抖成本高的问题。

第一方面，本发明提供一种视频图像处理方法，采用如下的技术方案：

一种视频图像处理方法，所述方法包括：

接收视频图像，提取出当前帧图像和前一帧图像的特征点；

计算各所述特征点的矢量描述子，并基于各所述特征点的矢量描述子，进行所述当前帧图像和前一帧图像的特征点匹配，得到多组预匹配点对；

根据所述特征点的矢量描述子，计算出各组所述预匹配点对的距离；

从各组所述预匹配点对中，将所述距离小于阈值的预匹配点对确定为匹配点对；

根据所述匹配点对，采用迭代最近点方法，计算出所述前一帧图像和所述当前帧图像间的运动矢量，并根据运动矢量计算得到当前帧图像的测量值；

结合测量值，对特征点的运动进行估计，得到当前帧图像的状态估计值；

根据测量值和状态估计值，得到补偿值；

根据补偿值对前一帧图像做仿射变换，得到去抖后的当前帧图像。

在一种可行的实施方式中，所述基于各所述特征点的矢量描述子，进行所述当前帧图像和前一帧图像的特征点匹配，得到多组预匹配点对的步骤，包括：

基于各特征点的矢量描述子，采用kd-tree快速最近邻搜索进行当前帧图像和前一帧图像的特征点匹配，得到所述多组预匹配点对。

在一种可行的实施方式中，结合所述测量值，对特征点的运动进行估计，得到当前帧图像的状态估计值的步骤，包括：

根据卡尔曼滤波算法中的系统过程模型，结合前一帧图像的状态，预测出当前帧图像的先验状态和先验误差协方差矩阵；

根据测量值、先验状态和先验误差协方差矩阵，得到当前帧图像的状态估计值。

在一种可行的实施方式中，状态估计值包括：

其中，

表示

时刻当前帧图像的状态估计值，

表示

时刻当前帧图像的先验状态，

表示

时刻当前帧图像的卡尔曼增益，

表示

时刻当前帧图像的测量值；

测量值包括：

其中，

表示

时刻前一帧图像的状态估计值，

表示运动矢量，

表示水平方向位移，

表示垂直方向位移，

表示旋转角度。

在一种可行的实施方式中，根据测量值和状态估计值，得到补偿值的步骤，包括：

计算出状态估计值和测量值的差值，根据差值得到补偿值，补偿值包括：

其中,

,

表示状态估计值，

表示测量值，

表示运动矢量，

表示水平方向位移，

表示垂直方向位移，

表示旋转角度。

在一种可行的实施方式中，根据所述补偿值对所述前一帧图像做仿射变换，得到去抖后的当前帧图像的步骤，包括：

根据补偿值对前一帧图像做仿射变换，得到估计图像；

裁剪估计图像的无效区域，得到去抖后的当前帧图像。

第二方面，本发明提供一种图像处理装置，采用如下的技术方案：

一种图像处理装置，包括接收模块、处理模块和去抖模块；

接收模块，用于接收视频图像；

处理模块，用于提取出当前帧图像和前一帧图像的特征点，计算各所述特征点的矢量描述子，并基于各所述特征点的矢量描述子，进行所述当前帧图像和前一帧图像的特征点匹配，得到多组预匹配点对，根据所述特征点的矢量描述子，计算出各组所述预匹配点对的距离，从各组所述预匹配点对中，将所述距离小于阈值的预匹配点对确定为匹配点对，根据所述匹配点对，采用迭代最近点方法，计算出所述前一帧图像和所述当前帧图像间的运动矢量，并根据运动矢量计算得到当前帧图像的测量值，结合测量值，对特征点的运动进行估计，得到当前帧图像的状态估计值；

去抖模块，根据测量值和所述状态估计值，得到补偿值，根据补偿值对所述前一帧图像做仿射变换，得到去抖后的当前帧图像。

第三方案，本发明提供一种视频图像处理系统，采用如下的技术方案：

一种视频图像处理系统，包括图像采集装置、图像处理装置和终端，图像处理装置与图像采集装置及终端通信连接；

图像采集装置，用于采集视频图像，并将所述视频图像发送至图像处理装置；

图像处理装置，用于采用如第一方面的视频图像处理方法来对视频图像进行处理，并将去抖后的当前帧图像发送至所述终端；

终端，用于接收并显示去抖后的当前帧图像。

第四方面，本发明提供一种电子设备，采用如下的计数方案：

一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面的视频图像处理方法。

第五方面，本发明提供一种计算机可读存储介质，采用如下的技术方案：

一种存储介质，存储介质包括计算机程序，计算机程序运行时控制存储介质所在的电子设备执行如第一方面的方法。

本发明实施方式的有益效果包括：

本发明提供一种视频图像处理方法，提取出视频图像的特征点后，对当前帧图像的特征点和前一帧图像的特征点进行特征点匹配，得到多组匹配点对，匹配点对中的两个特征点为图像的同一个关键点，即是图像对象的同一个部位/点位，根据匹配点对得到运动矢量，即前一帧图像到当前帧图像所进行的运动位移，进而得到当前帧图像的测量值，同时结合测量值得到当前帧图像的状态估计值，根据状态估计值和测量值得到补偿值，根据补偿值对前一帧图像做仿射变换，得到去抖后的当前图像，如此反复，得到去抖后的视频图像，去抖过程对机械设计以及相机元器件无要求，从而能够改善现有的防抖方法由于对相机元器件要求高，或对机械设计要求高，而导致的防抖成本高的问题。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施方式，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为一种实施方式中的电子设备的方框示意图。

图2为一种实施方式中的视频图像处理系统的方框示意图。

图3为一种实施方式中的视频图像处理方法的流程示意图。

图4为图3中的步骤S102的一种子步骤的流程示意图。

图5为图3中的步骤S104的一种子步骤的流程示意图。

图6为图3中的步骤S106的一种子步骤的流程示意图。

图7为一种实施方式中的图像处理装置的方框示意图。

附图标记说明：01-电子设备；02-处理器；03-存储器；04-视频图像采集装置；05-图像处理装置；06-终端；07-接收模块；08-处理模块；09-去抖模块。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本发明实施方式的组件可以以各自不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下获得的所有其他实施方式，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

参照图1，为本发明实施方式提供的一种电子设备的方框结构示意图，该电子设备01可以包括但不限于存储器03和处理器02。

其中，处理器02和存储器03均位于电子设备01中却二者分离设置。然而，应当理解的是，存储器03可以替换成存储介质，且存储器03和计算机可读存储介质都可以是独立于电子设备01之外，且可以由处理器02通过总线接口来访问。此外，存储器03可以集成到处理器02中，例如，可以是高速缓存和/或通用寄存器。

在本实施方式中，存储介质和存储器03均可用于存储计算机程序，处理器02执行计算机程序时，能够实现本发明实施方式给出的视频图像处理方法。

需要说明的是，图1所示的电子设备01的结构示意图，电子设备01还可以包括比图1中所示更多或更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。电子设备01可以是，但不限于计算机、手机、IPad、服务器、笔记本电脑、移动上网设备等。

本发明提供的视频图像处理方法，可以应用于如图2所示的视频图像处理系统中。该视频采集系统包括图像采集装置04、图像处理装置05，以及终端06。图像采集装置04与图像防抖装置05可以通过网络通信连接，图像处理装置05还与终端06通过网络通信连接。其中，终端06可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，图像采集装置04可以是普通的摄像头、摄像机、录像机等。图像处理装置05可以但不限于是：计算机、服务器或服务器集群。图像采集装置04可以但不限于是：视觉传感器、摄像机、摄像头、运动相机等。

并且，图像采集装置04和图像处理装置05可以安装于无人机、汽车、智能建筑设备、智能农业设备等需采集视频图像的设备上。其中，智能农业设备可以为无人拖拉机、无人驾驶播种机、喷药无人机等。

具体地，图像采集装置04，用于采集视频图像，并将视频图像发送至图像处理装置05。

图像处理装置05，用于采用视频图像处理方法对视频图像进行处理，并将去抖后的当前帧图像发送至终端06。

终端06，用于接收并显示去抖后的当前帧图像。

其中，图像处理装置05可以通过RTSP协议，将去抖后的当前帧图像图像实时输送到终端06，终端06上可以安装有APP，以能够供终端06上的APP显示去抖后的当前帧图像。连续的多帧去抖后的当前帧图像连接起来，就能得到去抖后的视频图像。

在一种实施方式中，如图3所示，提供了一种视频图像处理方法。本实施方式主要以该方法应用于图2中的图像处理装置05来进行说明。

S101，接收视频图像，提取出当前帧图像和前一帧图像的特征点。

具体地，图像处理装置05实时接收图像采集装置04发送的视频图像，并提取出当前帧图像的特征点和前一帧图像的特征点。

S102，对当前帧图像和前一帧图像的特征点进行特征点匹配，得到多组匹配点对。

其中，匹配点对包括前一帧图像的一个关键点和当前帧图像的一个关键点，且匹配点对中的两个特征点为图像的同一个关键点，即是图像对象的同一个部位/点位。

具体地，图像处理装置05对当前帧图像的特征点和前一帧图像的特征点进行特征点匹配，得到多组匹配点对。

S103，根据匹配点对计算出当前帧图像和前一帧图像间的运动矢量，并根据运动矢量计算得到当前帧图像的测量值。

其中，一组当前帧图像和前一帧图像对应一个运动矢量，即不同的前后帧图像会有不同的运动矢量值。运动矢量值表征前一帧图像到当前帧图像所进行的运动位移。

具体地，图像处理装置05根据匹配点对计算出当前帧图像和前一帧图像间的运动矢量，并根据运动矢量计算得到当前帧图像的测量值。

S104，结合测量值，对特征点的运动进行估计，得到当前帧图像的状态估计值。

S105，根据测量值和状态估计值，得到补偿值。

S106，根据补偿值对前一帧图像做仿射变换，得到去抖后的当前帧图像。

其中，不同的前后帧图像，有不同的补偿值。去抖后的当前帧图像为根据与前一帧图像之间的补偿值对前一帧图像做仿射变换后获得，以此反复，每帧图像以与前一帧图像之间的补偿值对前一帧图像做仿射变换后，即可得到去抖后的每帧图像。将去抖后的多帧视频图像进行连接，即可得到去抖视频图像。

并且，可以是由图像处理装置05将去抖后的多帧视频图像进行连接，得到去抖视频图像，并发送至终端06进行显示。也可以是图像处理装置05将去抖后的每帧视频图像发送至终端06，终端06将去抖后的多帧视频图像进行连接，得到去抖视频图像再进行显示。

上述视频图像处理方法中，提取出视频图像的特征点后，对当前帧图像的特征点和前一帧图像的特征点进行特征点匹配，得到多组匹配点对，根据匹配点对得到运动矢量，滤去误匹配的预匹配点对，进而得到准确度更高的当前帧图像的测量值，同时采用滤波算法，结合测量值得到当前帧图像的状态估计值，根据状态估计值和测量值得到补偿值，根据补偿值对前一帧图像做仿射变换，得到去抖后的当前图像，从而能够得到去抖后的视频图像，去抖过程对机械设计以及相机元器件无要求，从而能够改善现有的防抖方法由于对相机元器件要求高，或对机械设计要求高，而导致的防抖成本高的问题。

在一种实施方式中，针对S101，可采用ORB（Oriented FAST and Rotated BRIEF）算法提取每一帧图像的特征点，即对每一帧图像进行ORB特征点提取。也可以采用其他尺度不变特征转换方法，如SIFT、SHIFT等特征，还可以采用光流跟踪法提取每一帧图像的特征点。

在上述基础上，请参阅图4，图4为步骤S102的部分子步骤的流程示意图，包括如下步骤：

S102-1，计算各特征点的矢量描述子，并基于各特征点的矢量描述子，采用kd-tree快速最近邻搜索进行当前帧图像和前一帧图像的特征点匹配，得到多组预匹配点对。

S102-2，根据各特征点的矢量描述子，计算出各组预匹配点对的距离。

S102-3，从各组预匹配点对中，将距离小于阈值的预匹配点对确定为匹配点对。

其中，阈值为一个经验值，为从大量历史数据中归纳而得到的一个数值。预匹配点对的距离，即为预匹配点对中图像中两个关键点的坐标距离。

根据矢量描述子，计算出每组预匹配点对的距离后，将距离大于或等于阈值的预匹配点对滤去，以获得更为准确的匹配点对。并且，上述特征点匹配过程中，通过距离增加了匹配点对图像坐标位置约束，剔除了误匹配，从而进一步提高匹配准确性。

在本实施方式中，采用kd-tree模型进行特征点匹配，得到多组预匹配点对。

kd-tree模型，即为k-dimensional树，主要应用于多维控制关键数据的搜索（快速最近邻搜索），是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结 构。在其他实施方式中，可采用尺度不变特征变换匹配算法等特征点匹配算法来得到预匹配点对。

在一种实施方式中，步骤S103可以进一步为：

根据匹配点对，采用迭代最近点方法，计算出前一帧图像和当前帧图像的运动矢量。

其中，运动矢量为

，

表示水平方向位移，

表示垂直方向位移，

表示旋转角度。

迭代最近点方法（ICP）能够使不同的坐标下的点云数据合并到同一个坐标系统中，重复进行选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求。

采用迭代最近点来获取前一帧图像和当前帧图像的运动矢量，能够使得到的运动矢量更为准确，从而有助于提高去抖效果。

进一步地，针对S103，当前帧图像的测量值为：

其中，

表示

时刻前一帧图像的状态估计值。以k时刻图像作为当前帧图像时，

时刻的图像即为前一帧图像。

具体地，

可以为采用卡尔曼滤波算法得到的

时刻即前一帧图像的状态估计值。

为了更好地估计每一帧图像的状态，在本实施方式中，采用卡尔曼滤波算法来进行每一帧图像的状态估计。

应当理解的是，当

时，

，即默认

。

在采用卡尔曼滤波进行状态估计时，在一种实施方式中，如图5所示，为步骤S104的部分子步骤的流程示意图，包括如下步骤。

S104-1，根据卡尔曼滤波算法中的系统过程模型，结合前一帧图像的状态，预测出当前帧图像的先验状态和先验误差协方差矩阵。

具体地，在卡尔曼滤波算法中，系统过程模型为：

。

根据

时刻图像即前一帧图像的状态，预测

时刻图像即当前帧图像运动的先验状态和先验误差协方差矩阵。

在上述系统过程模型中，

表示

时刻图像（即前一帧图像）的状态，即前一帧图像的预估状态，

为

时刻图像（即当前帧图像）运动的先验状态，即当前帧图像的预估状态，

为特征点匹配模型的状态转移矩阵，即为对图像的运动模型。

为图像运动模型的控制输入矩阵。

为图像采集装置04的控制量。

并且在卡尔曼滤波算法中，先验误差协方差矩阵为：

其中，

为

时刻图像（即当前帧图像）运动的先验误差协方差矩阵，即当前帧图像的先验误差协方差矩阵，

为

时刻图像（即前一帧图像）的估计误差协方差矩阵，即前一帧图像的估计误差协方差矩阵，

为图像运动的过程噪声协防矩阵。

S104-2，根据测量值、先验状态和先验误差协方差矩阵，得到当前帧图像的状态估计值。

具体地，状态估计值包括：

表示

时刻当前帧图像的状态估计值，

表示

时刻当前帧图像的先验状态，

表示

时刻当前帧图像的卡尔曼增益，

表示

时刻当前帧图像的测量值。

并且，

。

其中，

为图像运动的测量噪声协方差矩阵。

应当理解的是，最开始时刻，即第一次对第一帧当前帧图像进行处理时，

，此时，

。

获得当前帧图像的状态估计值时，同时更新估计误差协方差矩阵，

，以供下一帧图像去抖时使用。其中，

为单位矩形。

上述步骤中，采用卡尔曼滤波算法能够实现图像帧间的实时防抖，从而能够提高去抖效果。

在其他实施方式中，可采用中值滤波、粒子滤波等算法，来进行图像间的位姿滤波。

在一种实施方式中，针对S105，可以进一步为：

计算出状态估计值和测量值的差值，根据差值得到补偿值。

其中，补偿值包括：

其中,

,

表示状态估计值，

表示测量值，

表示补偿值。

并且，补偿值可以进一步转换为：

其中，

为水平方向上平移，

为竖直方向上平移，

为旋转角度。

进一步地，在一种实施方式中，如图6所示，为步骤S106的部分子步骤的流程示意图。

S106-1，根据补偿值对前一帧图像做仿射变换，得到估计图像。

S106-2，裁剪估计图像的无效区域，得到去抖后的当前帧图像。

一般的，图像在做放射变换后，会在图像边界留下无效区域，将无效区域进行裁剪，即可得到去抖后的图像。

应该理解的是，虽然图2-图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一种实施方式中，为了执行上述实施方式及各个可能的方式中的相应步骤，下面给出本发明提供的图像处理装置05的一种实施方式。可选的，该图像处理装置05可以采用上述图1所示的电子设备01的器件结构。进一步地，请参阅图7，图7为本发明实施方式提供的一种图像处理装置05的功能模块图。需要说明的是，本实施方式所提供的图像处理装置05，其基本原理及产生的技术效果与上述视频图像处理方法的实施方式相同。为简要描述，本实施方式部分未提及之处，可参考上述视频图像处理方法的实施方式中相应内容。

该图像处理装置05可以包括接收模块07、处理模块08和去抖模块09。

接收模块07，用于接收视频图像。

处理模块08，用于提取出当前帧图像和前一帧图像的特征点，对当前帧图像和前一帧图像的特征点进行特征点匹配，得到多组匹配点对，根据匹配点对计算出当前帧图像和前一帧图像间的运动矢量，并根据运动矢量计算得到当前帧图像的测量值，结合测量值，对特征点的运动进行估计，得到当前帧图像的状态估计值。

去抖模块09，根据测量值和状态估计值，得到补偿值，根据补偿值对前一帧图像做仿射变换，得到去抖后的当前帧图像。

在上述图像处理装置05中，处理模块08提取出视频图像的特征点后，对当前帧图像的特征点和前一帧图像的特征点进行特征点匹配，得到多组匹配点对，再结合测量值得到当前帧图像的状态估计值，进而根据状态估计值和测量值得到补偿值，根据补偿值对前一帧图像做仿射变换，得到去抖后的当前图像，从而能够得到去抖后的视频图像，去抖过程对机械设计以及相机元器件无要求，从而能够改善现有的防抖方法由于对相机元器件要求高，或对机械设计要求高，而导致的防抖成本高的问题。

在本发明所提供的几个实施方式中，应该理解到，所揭露的装置、系统图和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，电子设备01，或者网络设备等）执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器03（ROM，Read-Only Memory）、随机存取存储器03（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的可选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频图像处理方法，其特征在于，所述方法包括：

接收视频图像，提取出当前帧图像和前一帧图像的特征点；

计算各所述特征点的矢量描述子，并基于各所述特征点的矢量描述子，进行所述当前帧图像和前一帧图像的特征点匹配，得到多组预匹配点对；

根据所述特征点的矢量描述子，计算出各组所述预匹配点对的距离；

从各组所述预匹配点对中，将所述距离小于阈值的预匹配点对确定为匹配点对；

根据所述匹配点对，采用迭代最近点方法，计算出所述前一帧图像和所述当前帧图像间的运动矢量，并根据所述运动矢量计算得到所述当前帧图像的测量值；

结合所述测量值，对特征点的运动进行估计，得到所述当前帧图像的状态估计值；

根据所述测量值和所述状态估计值，得到补偿值；

根据所述补偿值对所述前一帧图像做仿射变换，得到去抖后的当前帧图像。

2.根据权利要求1所述的方法，其特征在于，所述基于各所述特征点的矢量描述子，进行所述当前帧图像和前一帧图像的特征点匹配，得到多组预匹配点对的步骤，包括：

基于各所述特征点的矢量描述子，采用kd-tree快速最近邻搜索进行所述当前帧图像和前一帧图像的特征点匹配，得到所述多组预匹配点对。

3.根据权利要求1或2所述的方法，其特征在于，所述结合所述测量值，对特征点的运动进行估计，得到所述当前帧图像的状态估计值的步骤，包括：

根据卡尔曼滤波算法中的系统过程模型，结合所述前一帧图像的状态，预测出所述当前帧图像的先验状态和先验误差协方差矩阵；

根据所述测量值、先验状态和先验误差协方差矩阵，得到所述当前帧图像的状态估计值。

4.根据权利要求3所述的方法，其特征在于，所述状态估计值包括：

其中，

表示

时刻当前帧图像的状态估计值，

表示

时刻当前帧图像的先验状态，

表示

时刻当前帧图像的卡尔曼增益，

表示

时刻当前帧图像的测量值；

所述测量值包括：

其中，

表示

时刻前一帧图像的状态估计值，

表示运动矢量，

表示水平方向位移，

表示垂直方向位移，

表示旋转角度。

5.根据权利要求1或2所述的方法，其特征在于，所述根据所述测量值和状态估计值，得到补偿值的步骤，包括：

计算出所述状态估计值和所述测量值的差值，根据所述差值得到补偿值，所述补偿值包括：

其中,

,

表示状态估计值，

表示测量值，

表示运动矢量，

表示水平方向位移，

表示垂直方向位移，

表示旋转角度。

6.根据权利要求1或2所述的方法，其特征在于，所述根据所述补偿值对所述前一帧图像做仿射变换，得到去抖后的当前帧图像的步骤，包括：

根据所述补偿值对所述前一帧图像做仿射变换，得到估计图像；

裁剪所述估计图像的无效区域，得到去抖后的当前帧图像。

7.一种图像处理装置，其特征在于，包括接收模块、处理模块和去抖模块；

所述接收模块，用于接收视频图像；

所述处理模块，用于提取出当前帧图像和前一帧图像的特征点，计算各所述特征点的矢量描述子，并基于各所述特征点的矢量描述子，进行所述当前帧图像和前一帧图像的特征点匹配，得到多组预匹配点对，根据所述特征点的矢量描述子，计算出各组所述预匹配点对的距离，从各组所述预匹配点对中，将所述距离小于阈值的预匹配点对确定为匹配点对，根据所述匹配点对，采用迭代最近点方法，计算出所述前一帧图像和所述当前帧图像间的运动矢量，并根据所述运动矢量计算得到所述当前帧图像的测量值，结合所述测量值，对特征点的运动进行估计，得到所述当前帧图像的状态估计值；

所述去抖模块，根据所述测量值和所述状态估计值，得到补偿值，根据所述补偿值对所述前一帧图像做仿射变换，得到去抖后的当前帧图像。

8.一种视频图像处理系统，其特征在于，包括图像采集装置、图像处理装置和终端，所述图像处理装置与所述图像采集装置及所述终端通信连接；

所述图像采集装置，用于采集视频图像，并将所述视频图像发送至所述图像处理装置；

所述图像处理装置，用于采用如权利要求1至6任一项所述的视频图像处理方法对所述视频图像进行处理，并将所述去抖后的当前帧图像发送至所述终端；

所述终端，用于接收并显示所述去抖后的当前帧图像。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质包括计算机程序，所述计算机程序运行时控制所述存储介质所在的电子设备执行如权利要求1至6任一项所述的方法。

Images