CN105141872A - 一种缩时处理视频图像的方法 - Google Patents

Abstract

本发明涉及延时/缩时摄影技术领域，公开了一种缩时处理视频图像的方法。所述缩时处理视频图像的方法，通过从清晰度、扭曲度和匹配度三个角度对视频帧的图像质量进行了评估打分，然后进行有选择性的迭代式抽帧处理，不但避免了三维建模，大幅度减少了计算量，降低了硬件设备的配置需求，使得能够在低配置的移动端设备上及时输出缩时视频，从而提升缩时摄像的普适性和鲁棒性，快速输出缩时视频，还使最后得到的缩时视频具有高清晰度和低抖动性的优点。

Description

一种缩时处理视频图像的方法

技术领域

本发明涉及延时/缩时摄影技术领域，具体地，涉及一种缩时处理视频图像的方法。

背景技术

延时/缩时摄影技术是一种将时间进行压缩的拍摄技术，即通过照片串联或者视频抽帧的方式，将拍摄得到的、记录时长为几小时或者几天的一组照片或视频压缩成一个可在较短时间内播放的照片集锦或视频，从而展示出平时无法注意到的现象。通常延时/缩时摄影技术需要使用特殊器材和设备才能完成，例如使用三角架将拍摄设备固定，从而获取高稳定性的照片或视频。然而对于由移动端设备(例如手机摄像头、DV摄像机、平板摄像头、可穿戴式设备摄像头和机载/车载摄像头等)拍摄的视频，由于摄像设备稳定性差，视频存在抖动明显和清晰度差的问题，因此还需要对其进行防抖处理和缩时处理，才能得到高稳定性的缩时视频。

现有通过移动端设备进行延时/缩时摄影的技术过程如下：在得到视频图像后，先利用三维重建技术对拍摄场景进行三维建模，然后再根据三维模型对场景进行重新渲染，最后通过等间距抽帧的方式得到延时/缩时摄影视频。但是由于三维建模的计算量极大，对硬件设备的要求甚高，因此难以在移动端设备中实现，不能及时输出缩时视频，缺乏普遍适用性，同时还存在鲁棒性差的问题。

针对上述延时/缩时摄影技术的问题，有必要提供一种新的缩时处理视频图像的方法，不但可节省因三维建模带来的巨大计算量，降低配置需求，从而提升缩时摄像的普适性和鲁棒性，快速输出缩时视频，还能基于视频帧的二维图像进行有选择性的迭代式抽帧处理，使最后得到的缩时视频具有高清晰度和低抖动性的优点。

发明内容

针对前述延时/缩时摄影技术的问题，本发明提供了一种缩时处理视频图像的方法，不但可节省因三维建模带来的巨大计算量，降低配置需求，从而提升缩时摄像的普适性和鲁棒性，快速输出缩时视频，还能基于视频帧的二维图像进行有选择性的迭代式抽帧处理，使最后得到的缩时视频具有高清晰度和低抖动性的优点。

本发明采用的技术方案,提供了一种缩时处理视频图像的方法，包括如下步骤：S101.输入待处理视频；S102.获取所述待处理视频中每个帧的清晰度值、扭曲度值和匹配度值，然后根据所述清晰度值、扭曲度值和匹配度值计算每帧对应的抽帧参考值；S103.设置一个窗口大小为N的滑动窗，然后通过移动滑动窗逐步选择所述处理视频中的M个连续帧，并剔除每步所选连续帧中抽帧参考值最小的帧，所述M值等于N值；S104.若所述待处理视频的总剩余帧数大于目标数值，则重新获取所述待处理视频中各个剩余帧对应的扭曲度值和匹配度值，然后返回执行步骤S103，否则对所述待处理视频的剩余帧做视频防抖处理，输出缩时视频图像。在所述缩时处理视频图像的方法中，一方面避免了三维建模，可大幅度减少计算量，降低硬件设备的配置需求，使得能够在低配置的移动端设备上及时输出缩时视频，从而提升缩时摄像的普适性和鲁棒性，快速输出缩时视频；另一方面由于基于视频帧的二维图像，通过从清晰度、扭曲度和匹配度三个角度对视频帧的图像质量进行了评估打分，从而可实现有选择性的迭代式抽帧处理，使最后得到的缩时视频具有高清晰度和低抖动性的优点。

具体的，在所述获取所述待处理视频中每个帧的清晰度值的步骤中包括如下步骤：S201.根据每个帧的二维图像，分别获取各个帧对应的X方向梯度值和Y方向梯度值；S202.按照如下公式分别计算各个帧对应的梯度模值MG_i：

${\mathrm{MG}}_i=\sqrt{{\mathrm{GX}}_i^2+{\mathrm{GY}}_i^2}$

式中，GX_i为第i个帧对应的X方向梯度值，GY_i为第i个帧对应的Y方向梯度值；S203.分别对各个帧的梯度模值进行归一化处理，并将结果值作为对应帧的清晰度值。前述步骤提供了一种标准化的机制来量化视频帧的清晰度，由于梯度模值越大，对应的图像清晰度越高，梯度模值越小，对应的图像清晰度越小，因此利用梯度模值作为图像清晰度的打分标准，可使视频帧在清晰度上的打分客观数字化，便于计算机实现以及后续抽帧处理。

具体的，在所述获取所述待处理视频中每个帧的扭曲度值的步骤中包括如下步骤：S301.获取所述待处理视频中所有帧的图像特征点；S302.根据所述图像特征点，获取各个两两帧之间的第一单应性变换矩阵F_t，然后依次级联各个第一单应性变换矩阵F_t，得到所述待处理视频的第一矩阵集合：

F＝{F₁,F₁F₂,F₁F₂F₃,F₁F₂F₃F₄,···,F₁F₂…F_t…F_S-2F_S-1,F₁F₂…F_t…F_S-1F_S}

式中，S为所述待处理视频中帧的总数，F_t为第t个帧与第t+1个帧之间的第一单应性变换矩阵，F_S为单位矩阵；S303.对所述第一矩阵集合中的每个元素进行平滑处理，得到所述处理视频的第二矩阵集合：

H＝{H₁,H₁H₂,H₁H₂H₃,H₁H₂H₃H₄,···,H₁H₂…H_tH_S-1H_S}

式中，S为所述待处理视频中帧的总数；S304.通过依次对比所述第一矩阵集合与所述第二矩阵集合的对应元素，获取对应帧的第二单应性变换矩阵BT_i；S305.分别在各个帧对应的所述第二单应性变换矩阵中抽取左上角的四个元素，组成对应的第一矩阵：

$\left[\begin{array}{cc}{A}_i& B_i\\ C_i& D_i\end{array}\right]$

矩阵中，A_i，B_i，C_i和D_i分别为第i个帧对应的第二单应性变换矩阵BT_i中左上角的四个元素，然后对对应的第一矩阵进行奇异值分解，获得对应的第二矩阵：

$\left[\begin{array}{cc}{\mathrm{\λ}}_{1i}& 0\\ 0& {\mathrm{\λ}}_{2i}\end{array}\right]$

矩阵中，λ_1i和λ_2i为第i个帧对应的第二矩阵中主对角线上的两个参数值；S306.分别对各个帧的比值κ_i＝λ_1i/λ_2i进行归一化处理，并将结果值作为对应帧的扭曲度值。前述步骤提供了一种标准化的机制来量化视频帧的扭曲度，由于比值κ越接近于1，对应的图像扭曲度越小，图像质量越高，比值κ越远离于1，对应的图像扭曲度越大，图像质量越低，因此利用比值κ作为图像扭曲度的打分标准，可使视频帧在扭曲度上的打分客观数字化，便于计算机实现以及后续抽帧处理。

具体的，在所述获取所述待处理视频中每个帧的匹配度值的步骤中包括如下步骤：S401.针对每个帧，对当前帧和对应相邻帧进行图像特征点提取和匹配处理，获取当前帧与各个对应相邻帧的匹配特征点；S402.针对每个帧，统计获取当前帧与各个对应相邻帧的匹配特征点总数；S403.分别对各个帧的所述匹配特征点总数进行归一化处理，并将结果值作为对应帧的匹配度值。前述步骤提供了一种标准化的机制来量化视频帧的匹配度，由于剩余匹配特征点总数越多，则表示对应帧与对应相邻帧的公共信息越多，对应的图像匹配度越高，剩余匹配特征点总数越少，则表示对应帧与对应相邻帧的公共信息越少，对应的图像匹配度低，因此利用剩余匹配特点总数作为图像匹配度的打分标准，可使视频帧在匹配度上的打分客观数字化，便于计算机实现以及后续抽帧处理。进一步具体的，所述对应相邻帧处于所述当前帧的一个半径不小于2且不大于8的领域帧范围内。

具体的，在所述根据所述清晰度值、扭曲度值和匹配度值计算每帧对应的抽帧参考值的步骤中包括如下步骤：按照如下公式计算各个帧对应的抽帧参考值φ_i：

式中，为第i个帧的清晰度值，δ_i为第i个帧的扭曲度值，γ_i为第i个帧的匹配度值。所述抽帧参考值为清晰度值、扭曲度值和匹配度值的三者等比之和，因此可按照如下方式表征图像质量：所述抽帧参考值越大，图像质量越高，所述抽帧参考值越低，图像质量越低，从而可使视频帧在综合清晰度、扭曲度和匹配度评估图像质量的打分客观数值化，便于后续抽帧处理。

具体的，所述滑动窗在移动过程中的步进单位不小于1且不大于所述窗口大小N的一半。

具体的，所述滑动窗的窗口大小N为不小于3且不大于8的整数。

进一步具体的，在所述重新获取所述待处理视频中各个剩余帧对应的匹配度值的步骤中包括如下步骤：针对对应相邻帧出现变化的剩余帧，则执行步骤S401至S402，重新获取对应剩余帧的所述匹配特征点总数，然后分别对各个剩余帧的所述匹配特征点总数进行归一化处理，并将结果值作为对应剩余帧的匹配度值。在迭代抽帧处理过程中，对于对应相邻帧未出现变化的剩余帧，对应的匹配度值不会发生变化，因此通过有针对性的更新方式，可避免重复计算，进一步减小计算量，优化缩时处理流程。

进一步具体的，在所述重新获取所述待处理视频中各个剩余帧对应的扭曲度值的步骤中包括如下步骤：执行步骤S302至S306，重新获取对应剩余帧的扭曲度值，且在步骤S302中，针对两两帧之间未出现变化的第一单应性变换矩阵F_t，则不重新获取对应的第一单应性变换矩阵F_t。在迭代抽帧处理过程中，通过前述有针对性的更新方式，可避免重复计算，进一步减小计算量，优化缩时处理流程。

综上，采用本发明所提供的缩时处理视频图像的方法，具有如下有益效果：(1)避免了三维建模，可大幅度减少计算量，降低硬件设备的配置需求，使得能够在低配置的移动端设备上及时输出缩时视频，从而提升缩时摄像的普适性和鲁棒性，快速输出缩时视频；(2)通过从清晰度、扭曲度和匹配度三个角度对视频帧的图像质量进行了评估打分，从而可实现有选择性的迭代式抽帧处理，使最后得到的缩时视频具有高清晰度和低抖动性的优点；(3)分别提供了一种标准化的机制来量化视频帧的清晰度、扭曲度和匹配度，可使视频帧在三个维度上的打分客观数字化，利于计算机实现；(4)在迭代抽帧处理过程中，通过有针对性的更新方式，可避免重复计算，进一步减小计算量，优化缩时处理流程。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的缩时处理视频图像的方法流程图。

图2是本发明提供的获取视频帧的清晰度值的流程图。

图3是本发明提供的获取视频帧的扭曲度值的流程图。

图4是本发明提供的获取视频帧的匹配度值的流程图。

图5是本发明提供的当前帧与对应相邻帧的位置关系示意图。

图6是本发明提供的通过移动滑动窗进行抽帧处理的示意图。

具体实施方式

以下将参照附图，通过实施例方式详细地描述本发明提供的缩时处理视频图像的方法。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

本文中描述的各种技术可以用于但不限于延时/缩时摄影技术领域，还可以用于其它类似领域。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。

实施例一

图1示出了本发明提供的缩时处理视频图像的方法流程图。所述缩时处理视频图像的方法，包括如下步骤。

S101.输入待处理视频。

S102.获取所述待处理视频中每个帧的清晰度值、扭曲度值和匹配度值，然后根据所述清晰度值、扭曲度值和匹配度值计算每帧对应的抽帧参考值。

S103.设置一个窗口大小为N的滑动窗，然后通过移动滑动窗逐步选择所述处理视频中的M个连续帧，并剔除每步所选连续帧中抽帧参考值最小的帧，所述M值等于N值。

S104.若所述待处理视频的总剩余帧数大于目标数值，则重新获取所述待处理视频中各个剩余帧对应的扭曲度值和匹配度值，然后返回执行步骤S103，否则对所述待处理视频的剩余帧做视频防抖处理，输出缩时视频图像。

在上述缩时处理视频图像的方法中，所述待处理视频可以是但不限于是由移动端设备(例如手机摄像头、DV摄像机、平板摄像头、可穿戴式设备摄像头和机载/车载摄像头等)拍摄的视频；在输入待处理视频后，分别从清晰度(即视频帧的画质清晰程度)、扭曲度(即视频帧的扭曲变形程度)和匹配度(即视频帧与周围邻近帧的匹配度)等三个维度对每个帧进行打分评估，然后进行综合考量，以抽帧参考值的形式对每个帧的图像质量进行打分评估：抽帧参考值越高，对应帧的图像质量越好，抽帧参考值越低，对应帧的图像质量越差；在获取每个帧对应的抽帧参考值后，再按照如图2所示的方式，通过移动所示的滑动窗逐步选择所示待处理视频中的M个连续帧，并在每一步移动过程中，根据抽帧参考值(即图像质量打分数值)的高低剔除所选连续帧中图像质量打分数值最差的帧；在完整执行一次抽帧步骤后，再通过迭代方式执行打分和抽帧的步骤，直到所述待处理视频的总剩余帧数(即所述待处理视频中剩余的所有视频帧数)达到目标数值，从而实现优中选优的抽帧目的，确保最终剩余的视频帧均为高质量的图像。所述目标数值可以是但限于是默认的整数数值或由用户预先设置的一个整数数值，例如1200或2400。最后对最终剩余的视频帧进行视频防抖处理，从而得到高质量、高稳定的缩时视频，达到缩时/延时摄影的效果。

上述实施例一提供的所述缩时处理视频图像的方法，具有如下技术效果：(1)避免了三维建模，可大幅度减少计算量，降低硬件设备的配置需求，使得能够在低配置的移动端设备上及时输出缩时视频，从而提升缩时摄像的普适性和鲁棒性，快速输出缩时视频；(2)由于基于视频帧的二维图像，通过从清晰度、扭曲度和匹配度三个角度对视频帧的图像质量进行了评估打分，从而可实现有选择性的迭代式抽帧处理，使最后得到的缩时视频具有高清晰度和低抖动性的优点。

实施例二

图2示出了本发明提供的获取视频帧的清晰度值的流程图，图3示出了本发明提供的获取视频帧的扭曲度值的流程图，图4示出了本发明提供的获取视频帧的匹配度值的流程图，图5示出了本发明提供的当前帧与对应相邻帧的位置关系示意图，图6示出了本发明提供的通过移动滑动窗进行抽帧处理的示意图。实施例二作为实施例一的一种细化方案，下面对实施例一中的各个步骤进行详细描述。

S101.输入待处理视频。

S102.获取所述待处理视频中每个帧的清晰度值、扭曲度值和匹配度值，然后根据所述清晰度值、扭曲度值和匹配度值计算每帧对应的抽帧参考值。

在步骤S102中，具体的，在所述获取所述待处理视频中每个帧的清晰度值的步骤中包括如下步骤：S201.根据每个帧的二维图像，分别获取各个帧对应的X方向梯度值和Y方向梯度值；S202.按照如下公式分别计算各个帧对应的梯度模值MG_i：

${\mathrm{MG}}_i=\sqrt{{\mathrm{GX}}_i^2+{\mathrm{GY}}_i^2}$

式中，GX_i为第i个帧对应的X方向梯度值，GY_i为第i个帧对应的Y方向梯度值；S203.分别对各个帧的梯度模值进行归一化处理，并将结果值作为对应帧的清晰度值。

在步骤S203中，所述分别对各个帧的梯度模值进行归一化处理的方式，可以是但不限于是如下方式：先从所有帧的梯度模值中获取最小梯度模值和最大梯度模值，然后利用归一化公式将各个帧的梯度模值归一化到[0,1]范围内，处于[0,1]范围内的结果值即为对应帧的清晰度值。如图2所示，所述步骤S201至S203提供了一种标准化的机制来量化视频帧的清晰度，由于梯度模值越大，对应的图像清晰度越高，梯度模值越小，对应的图像清晰度越小，因此利用梯度模值作为图像清晰度的打分标准，可使视频帧在清晰度上的打分客观数字化，便于计算机实现以及后续抽帧处理。

在步骤S102中，具体的，在所述获取所述待处理视频中每个帧的扭曲度值的步骤中包括如下步骤：S301.获取所述待处理视频中所有帧的图像特征点；S302.根据所述图像特征点，获取各个两两帧之间的第一单应性变换矩阵F_t，然后依次级联各个第一单应性变换矩阵F_t，得到所述待处理视频的第一矩阵集合：

F＝{F₁,F₁F₂,F₁F₂F₃,F₁F₂F₃F₄,···,F₁F₂…F_t…F_S-2F_S-1,F₁F₂…F_t…F_S-1F_S}

式中，S为所述待处理视频中帧的总数，F_t为第t个帧与第t+1个帧之间的第一单应性变换矩阵，F_S为单位矩阵；S303.对所述第一矩阵集合中的每个元素进行平滑处理，得到所述处理视频的第二矩阵集合：

H＝{H₁,H₁H₂,H₁H₂H₃,H₁H₂H₃H₄,···,H₁H₂…H_tH_S-1H_S}

式中，S为所述待处理视频中帧的总数；S304.通过依次对比所述第一矩阵集合与所述第二矩阵集合的对应元素，获取对应帧的第二单应性变换矩阵BT_i；S305.分别在各个帧对应的所述第二单应性变换矩阵中抽取左上角的四个元素，组成对应的第一矩阵：

$\left[\begin{array}{cc}{A}_i& B_i\\ C_i& D_i\end{array}\right]$

矩阵中，A_i，B_i，C_i和D_i分别为第i个帧对应的第二单应性变换矩阵BT_i中左上角的四个元素，然后对对应的第一矩阵进行奇异值分解，获得对应的第二矩阵：

$\left[\begin{array}{cc}{\mathrm{\λ}}_{1i}& 0\\ 0& {\mathrm{\λ}}_{2i}\end{array}\right]$

矩阵中，λ_1i和λ_2i为第i个帧对应的第二矩阵中主对角线上的两个参数值；S306.分别对各个帧的比值κ_i＝λ_1i/λ_2i进行归一化处理，并将结果值作为对应帧的扭曲度值。

在步骤S302中，所述两两帧之间的第一单应性变换矩阵用于作为帧间运动模型，描述两两帧之间的运动，可以但不限于为如下形式：

$\left[\begin{array}{c}{x}_F\\ y_F\\ z_F\end{array}\right]=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

式中，(x,y)表示单应性变换前的坐标，对应着两两帧中后一帧的图像特征点的位置，(x_F,y_F,z_F)表示单应性变换后的坐标，对应着两两帧中后一帧中前一帧的图像特征点的位置， $\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& 1\end{array}\right]$ 即为所述第一单应性变化矩阵，表示两两帧之间的运动模型，其中，左上角的四个元素(a,b,d,e)表示图像的旋转和缩放，左下角的两个元素(g,h)表示图像的透视变换，右上角的两个元素(c,f)表示图像的平移变换。由于第S个帧(即最末帧)之后不存在下一个帧，为了便于后续得到第S帧对应的扭曲度值(即后续的第一矩阵集合和第二矩阵集合均需包括S个元素)，则将第S个帧与第S个帧(即最末帧与最末帧)之间的单应性变化矩阵作为针对第S个帧的两两帧之间的第一单应性变化矩阵F_S，其为单位矩阵，可以但不限于为如下形式： $\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right].$ 因此所述第一矩阵集合用于描述所述待处理视频中非稳定的帧间运动模型集合(即初始相机路径)，所述第二矩阵集合用于描述对所述非稳定的帧间运动模型进行平滑处理后得到的、稳定的帧间运动模型(即优化相机路径)。

在步骤S303中，所述奇异值分解(SingularValueDecomposition)是线性代数中一种重要的矩阵分解，是矩阵分析中正规矩阵酉对角化的推广，对2*2矩阵进行奇异值分解后，得到 $U\left[\begin{array}{cc}{\mathrm{\λ}}_1& 0\\ 0& {\mathrm{\λ}}_2\end{array}\right]V^T,$ 从而可以得到各个帧对应的第二矩阵。

在步骤S305中，所述分别对各个帧的比值κ进行归一化处理的方式，可以是但不限于是如下方式：先从所有帧的比值κ中获取最小比值和最大比值，然后利用归一化公式将各个帧的比值κ归一化到[0,1]范围内，处于[0,1]范围内的结果值即为对应帧的扭曲值。如图3所示，所述步骤S301至S305提供了一种标准化的机制来量化视频帧的扭曲度，由于比值κ越接近于1，对应的图像扭曲度越小，图像质量越高，比值κ越远离于1，对应的图像扭曲度越大，图像质量越低，因此利用比值κ作为图像扭曲度的打分标准，可使视频帧在扭曲度上的打分客观数字化，便于计算机实现以及后续抽帧处理。

在步骤S102中，具体的，在所述获取所述待处理视频中每个帧的匹配度值的步骤中包括如下步骤：S401.针对每个帧，对当前帧和对应相邻帧进行图像特征点提取和匹配处理，获取当前帧与各个对应相邻帧的匹配特征点；S402.针对每个帧，统计获取当前帧与各个对应相邻帧的匹配特征点总数；S403.分别对各个帧的所述匹配特征点总数进行归一化处理，并将结果值作为对应帧的匹配度值。

在步骤S401中，进一步具体的，所述对应相邻帧处于所述当前帧的一个半径不小于2且不大于8的领域帧范围内。作为举例的，如图5所示，所述领域帧范围的半径值设定3，则在步骤S401中，针对每个帧，至多需要对7个视频帧(一个当前帧和前后各三个相邻帧)进行图像特征点提取和匹配处理，获取6组当前帧与对应相邻帧的匹配特征点。

在步骤S402中，在所述获取当前帧与各个对应相邻帧的匹配特征点总数的方式中，首先采用但不限于采用教科书<<MultiviewGeometryinComputerVision>>中提供的单应性变换结合RANSAC的标准算法对所述当前帧与各个对应相邻帧的匹配特征点进行筛选，然后统计筛选后的当前帧与各个对应相邻帧的匹配特征点的总数。

在步骤403中，所述分别对各个帧的所述匹配特征点总数进行归一化处理的方式，可以是但不限于是如下方式：先从所有帧的所述剩余匹配特征点总数中获取最小数值和最大数值，然后利用归一化公式将各个帧的所述匹配特征点总数归一化到[0,1]范围内，处于[0,1]范围内的结果值即为对应帧的匹配值。如图4所示，所述步骤S401至S403提供了一种标准化的机制来量化视频帧的匹配度，由于所述匹配特征点总数越多，则表示对应帧与对应相邻帧的公共信息越多，对应的图像匹配度越高，所述匹配特征点总数越少，则表示对应帧与对应相邻帧的公共信息越少，对应的图像匹配度低，因此利用所述匹配特征点总数作为图像匹配度的打分标准，可使视频帧在匹配度上的打分客观数字化，便于计算机实现以及后续抽帧处理。

在步骤S102中，具体的，在所述根据所述清晰度值、扭曲度值和匹配度值计算每帧对应的抽帧参考值的步骤中包括如下步骤：按照如下公式计算各个帧对应的抽帧参考值φ_i：

式中，为第i个帧的清晰度值，δ_i为第i个帧的扭曲度值，γ_i为第i个帧的匹配度值。所述抽帧参考值为清晰度值、扭曲度值和匹配度值的三者等比之和，因此可按照如下方式表征图像质量：所述抽帧参考值越大，图像质量越高，所述抽帧参考值越低，图像质量越低，从而可使视频帧在综合清晰度、扭曲度和匹配度评估图像质量的打分客观数值化，便于后续抽帧处理。

S103.设置一个窗口大小为N的滑动窗，然后通过移动滑动窗逐步选择所述处理视频中的M个连续帧，并剔除每步所选连续帧中抽帧参考值最小的帧，所述M值等于N值。

在步骤S103中，出于抽帧效果和技术量的考虑，所述滑动窗的窗口大小N为不小于3且不大于8的整数。同时，所述滑动窗在移动过程中的步进单位不小于1且不大于所述窗口大小N的一半。作为举例的，如图6所示，所示滑动窗的窗口大小N为4，所述滑动窗在移动过程中的步进单位为2，每移动一次滑动窗，即可选择4个连续帧，并剔除所选4个连续帧中抽帧参考值最小的帧，然后再向前移动2个帧的距离，新选择4个进行抽帧处理，如此从头至尾滑动一遍所述滑动窗并进行抽帧处理，即完成一次完整的抽帧步骤。

S104.若所述待处理视频的总剩余帧数大于目标数值，则重新获取所述待处理视频中各个剩余帧对应的扭曲度值和匹配度值，然后返回执行步骤S103，否则对所述待处理视频的剩余帧做视频防抖处理，输出缩时视频图像。

在步骤S104中，由于存在对应相邻帧未出现变化的剩余帧，其对应的匹配度值不会发生改变，因此无需更新。进一步具体的，作为一种优化方案，在所述重新获取所述待处理视频中各个剩余帧对应的匹配度值的步骤中包括如下步骤：针对对应相邻帧出现变化的剩余帧，则执行步骤S401至S402，重新获取对应剩余帧的所述匹配特征点总数，然后分别对各个剩余帧的所述匹配特征点总数进行归一化处理，并将结果值作为对应剩余帧的匹配度值。在迭代抽帧处理过程中，对于对应相邻帧未出现变化的剩余帧，对应的匹配度值不会发生变化，因此通过有针对性的更新方式，可避免重复计算，进一步减小计算量，优化缩时处理流程。

在步骤S104中，由于存在前后关系未发生变化的两个剩余帧，其对应的两两帧之间的所述第一单应性变换矩阵F_t不会发生改变，因此无需更新。进一步具体的，在所述重新获取所述待处理视频中各个剩余帧对应的扭曲度值的步骤中包括如下步骤：执行步骤302至S306，重新获取对应剩余帧的扭曲度值，且在步骤S302中，针对两两帧之间未出现变化的第一单应性变换矩阵F_t，则不重新获取对应的第一单应性变换矩阵F_t。在迭代抽帧处理过程中，通过前述有针对性的更新方式，可避免重复计算，进一步减小计算量，优化缩时处理流程。

在实施例一的技术效果的基础上，上述实施例二详细提供的所述缩时处理视频图像的方法，还具有如下技术效果：(1)分别提供了一种标准化的机制来量化视频帧的清晰度、扭曲度和匹配度，可使视频帧在三个维度上的打分客观数字化，利于计算机实现；(2)在迭代抽帧处理过程中，通过有针对性的更新方式，可避免重复计算，进一步减小计算量，优化缩时处理流程。

如上所述，可较好的实现本发明。对于本领域的技术人员而言，根据本发明的教导，设计出不同形式的缩时处理视频图像的方法并不需要创造性的劳动。在不脱离本发明的原理和精神的情况下对这些实施例进行变化、修改、替换、整合和变型仍落入本发明的保护范围内。

Claims (10)

1.一种缩时处理视频图像的方法，其特征在于，包括如下步骤：

S101.输入待处理视频；

S102.获取所述待处理视频中每个帧的清晰度值、扭曲度值和匹配度值，然后根据所述清晰度值、扭曲度值和匹配度值计算每帧对应的抽帧参考值；

S103.设置一个窗口大小为N的滑动窗，然后通过移动滑动窗逐步选择所述处理视频中的M个连续帧，并剔除每步所选连续帧中抽帧参考值最小的帧，所述M值等于N值；

S104.若所述待处理视频的总剩余帧数大于目标数值，则重新获取所述待处理视频中各个剩余帧对应的扭曲度值和匹配度值，然后返回执行步骤S103，否则对所述待处理视频的剩余帧做视频防抖处理，输出缩时视频图像。

2.如权利要求1所述的一种缩时处理视频图像的方法，其特征在于，在所述获取所述待处理视频中每个帧的清晰度值的步骤中包括如下步骤：

S201.根据每个帧的二维图像，分别获取各个帧对应的X方向梯度值和Y方向梯度值；

S202.按照如下公式分别计算各个帧对应的梯度模值MG_i：

${\mathrm{MG}}_i=\sqrt{{\mathrm{GX}}_i^2+{\mathrm{GY}}_i^2}$

式中，GX_i为第i个帧对应的X方向梯度值，GY_i为第i个帧对应的Y方向梯度值；

S203.分别对各个帧的梯度模值进行归一化处理，并将结果值作为对应帧的清晰度值。

3.如权利要求1所述的一种缩时处理视频图像的方法，其特征在于，在所述获取所述待处理视频中每个帧的扭曲度值的步骤中包括如下步骤：

S301.获取所述待处理视频中所有帧的图像特征点；

S302.根据所述图像特征点，获取各个两两帧之间的第一单应性变换矩阵F_t，然后依次级联各个第一单应性变换矩阵F_t，得到所述待处理视频的第一矩阵集合：

F＝{F₁,F₁F₂,F₁F₂F₃,F₁F₂F₃F₄,…,F₁F₂…F_t…F_S-2F_S-1,F₁F₂…F_t…F_S-1F_S}

式中，S为所述待处理视频中帧的总数，F_t为第t个帧与第t+1个帧之间的第一单应性变换矩阵，F_S为单位矩阵；

S303.对所述第一矩阵集合中的每个元素进行平滑处理，得到所述处理视频的第二矩阵集合：

H＝{H₁,H₁H₂,H₁H₂H₃,H₁H₂H₃H₄,…,H₁H₂…H_t…H_S-1H_S}

式中，S为所述待处理视频中帧的总数；

S304.通过依次对比所述第一矩阵集合与所述第二矩阵集合的对应元素，获取对应帧的第二单应性变换矩阵BT_i；

S305.分别在各个帧对应的所述第二单应性变换矩阵中抽取左上角的四个元素，组成对应的第一矩阵：

$\left[\begin{array}{cc}{A}_i& B_i\\ C_i& D_i\end{array}\right]$

矩阵中，A_i，B_i，C_i和D_i分别为第i个帧对应的第二单应性变换矩阵BT_i中左上角的四个元素，然后对对应的第一矩阵进行奇异值分解，获得对应的第二矩阵：

$\left[\begin{array}{cc}{\mathrm{\&lambda;}}_{1i}& 0\\ 0& {\mathrm{\&lambda;}}_{2i}\end{array}\right]$

矩阵中，λ_1i和λ_2i为第i个帧对应的第二矩阵中主对角线上的两个参数值；

S306.分别对各个帧的比值κ_i＝λ_1i/λ_2i进行归一化处理，并将结果值作为对应帧的扭曲度值。

4.如权利要求1所述的一种缩时处理视频图像的方法，其特征在于，在所述获取所述待处理视频中每个帧的匹配度值的步骤中包括如下步骤：

S401.针对每个帧，对当前帧和对应相邻帧进行图像特征点提取和匹配处理，获取当前帧与各个对应相邻帧的匹配特征点；

S402.针对每个帧，统计获取当前帧与各个对应相邻帧的匹配特征点总数；

S403.分别对各个帧的所述匹配特征点总数进行归一化处理，并将结果值作为对应帧的匹配度值。

5.如权利要求1所述的一种缩时处理视频图像的方法，其特征在于，在所述根据所述清晰度值、扭曲度值和匹配度值计算每帧对应的抽帧参考值的步骤中包括如下步骤：

按照如下公式计算各个帧对应的抽帧参考值φ_i：

式中，为第i个帧的清晰度值，δ_i为第i个帧的扭曲度值，γ_i为第i个帧的匹配度值。

6.如权利要求1所述的一种缩时处理视频图像的方法，其特征在于，所述滑动窗在移动过程中的步进单位不小于1且不大于所述窗口大小N的一半。

7.如权利要求1所述的一种缩时处理视频图像的方法，其特征在于，所述滑动窗的窗口大小N为不小于3且不大于8的整数。

8.如权利要求4所述的一种缩时处理视频图像的方法，其特征在于，所述对应相邻帧处于所述当前帧的一个半径不小于2且不大于8的领域帧范围内。

9.如权利要求4所述的一种缩时处理视频图像的方法，其特征在于，在所述重新获取所述待处理视频中各个剩余帧对应的匹配度值的步骤中包括如下步骤：

针对对应相邻帧出现变化的剩余帧，则执行步骤S401至S402，重新获取对应剩余帧的所述匹配特征点总数，然后分别对各个剩余帧的所述匹配特征点总数进行归一化处理，并将结果值作为对应剩余帧的匹配度值。

10.如权利要求3所述的一种缩时处理视频图像的方法，其特征在于，在所述重新获取所述待处理视频中各个剩余帧对应的扭曲度值的步骤中包括如下步骤：

执行步骤S302至S306，重新获取对应剩余帧的扭曲度值，且在步骤S302中，针对两两帧之间未出现变化的第一单应性变换矩阵F_t，则不重新获取对应的第一单应性变换矩阵F_t。