CN104618627A - 视频处理方法和装置 - Google Patents

Abstract

本公开是关于一种视频处理方法和装置，属于图像处理技术领域。所述方法包括：获取原始视频和该原始视频对应的局部视频，局部视频中的第i帧局部图像的画面区域是原始视频的第i帧原始图像的画面区域的子区域；检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量；根据偏移调整量从目标图像对应的原始图像中截取出替换图像；采用替换图像替换目标图像。本公开解决了因移动终端抖动而影响视频画面稳定性的问题；通过后期处理，采用替换图像将发生抖动的目标图像替换掉，提高了视频画面稳定性和视频质量，同时确保了去抖动处理后得到的视频的画面连贯性。

Description

视频处理方法和装置

技术领域

本公开涉及图像处理技术领域，特别涉及一种视频处理方法和装置。

背景技术

诸如手机、平板电脑和智能相机之类的移动终端通常具备摄像功能，摄像功能也是用户常用的功能之一。

然而，这类移动终端为手持设备，用户在拍摄视频的过程中，持握移动终端的手难免发生抖动，这就导致拍摄得到的视频画面的稳定性较差。随着移动终端的机身设计越来越轻薄化，抖动会导致移动终端所拍摄的视频画面的稳定性更差。

发明内容

为了解决因移动终端抖动而影响视频画面稳定性的问题，本公开实施例提供了一种视频处理方法和装置。该技术方案如下：

根据本公开实施例的第一方面，提供了一种视频处理方法，该方法包括：

获取原始视频和该原始视频对应的局部视频，局部视频中的第i帧局部图像的画面区域是原始视频的第i帧原始图像的画面区域的子区域，i为正整数；

检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量；

根据偏移调整量从目标图像对应的原始图像中截取出替换图像；

采用替换图像替换目标图像。

可选的，获取原始视频和该原始视频对应的局部视频，包括：

在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到原始视频，n≥2且n为整数；

在完成原始视频的拍摄后，根据预定截取框从原始视频的每一帧原始图像中截取出局部图像，得到局部视频。

可选的，获取原始视频和该原始视频对应的局部视频，包括：

在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到原始视频，n≥2且n为整数；在每采集到一帧原始图像时，根据预定截取框从原始图像中截取出局部图像；根据各个局部图像得到局部视频；

或者，

在拍摄视频的过程中，通过一个摄像头依次采集n帧原始图像得到原始视频，并通过另一摄像头依次采集n帧局部图像得到局部视频，n≥2且n为整数。

可选的，该方法还包括：

在拍摄视频的过程中，在视频预览界面中将局部图像进行显示。

可选的，获取原始视频和该原始视频对应的局部视频，包括：

获取已有的原始视频；

根据预定截取框从原始视频的每一帧原始图像中截取出局部图像，得到局部视频。

可选的，检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量，包括：

从局部视频的连续m帧局部图像中提取相匹配的关键点，m≥2且m为整数；

根据关键点在m帧局部图像中的运动轨迹，检测m帧局部图像中是否存在发生抖动的目标图像；

若m帧局部图像中存在目标图像，则根据关键点在m帧局部图像中的运动轨迹计算关键点在目标图像中的纠正位置；

根据纠正位置和关键点在目标图像中的实际位置，计算目标图像的偏移调整量。

可选的，根据偏移调整量从目标图像对应的原始图像中截取出替换图像，包括：

在目标图像对应的原始图像中确定目标图像的边界范围；

根据偏移调整量将边界范围进行平移；

截取属于平移后的边界范围内的图像内容得到替换图像。

根据本公开实施例的第二方面，提供了一种视频处理装置，该装置包括：

获取模块，被配置为获取原始视频和该原始视频对应的局部视频，局部视频中的第i帧局部图像的画面区域是原始视频的第i帧原始图像的画面区域的子区域，i为正整数；

检测模块，被配置为检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量；

截取模块，被配置为根据偏移调整量从目标图像对应的原始图像中截取出替换图像；

替换模块，被配置为采用替换图像替换目标图像。

可选的，获取模块，包括：第一采集子模块和第一截取子模块；

第一采集子模块，被配置为在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到原始视频，n≥2且n为整数；

第一截取子模块，被配置为在完成原始视频的拍摄后，根据预定截取框从原始视频的每一帧原始图像中截取出局部图像，得到局部视频。

可选的，获取模块，包括：第二采集子模块、第二截取子模块和得到子模块；

第二采集子模块，被配置为在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到原始视频，n≥2且n为整数；第二截取子模块，被配置为在每采集到一帧原始图像时，根据预定截取框从原始图像中截取出局部图像；得到子模块，被配置为根据各个局部图像得到局部视频；

或者，

获取模块，还被配置为在拍摄视频的过程中，通过一个摄像头依次采集n帧原始图像得到原始视频，并通过另一摄像头依次采集n帧局部图像得到局部视频，n≥2且n为整数。

可选的，装置还包括：

显示模块，被配置为在拍摄视频的过程中，在视频预览界面中将局部图像进行显示。

可选的，获取模块，包括：获取子模块和第三截取子模块；

获取子模块，被配置为获取已有的原始视频；

第三截取子模块，被配置为根据预定截取框从原始视频的每一帧原始图像中截取出局部图像，得到局部视频。

可选的，检测模块，包括：提取子模块、检测子模块、第一计算子模块和第二计算子模块；

提取子模块，被配置为从局部视频的连续m帧局部图像中提取相匹配的关键点，m≥2且m为整数；

检测子模块，被配置为根据关键点在m帧局部图像中的运动轨迹，检测m帧局部图像中是否存在发生抖动的目标图像；

第一计算子模块，被配置为当m帧局部图像中存在目标图像时，根据关键点在m帧局部图像中的运动轨迹计算关键点在目标图像中的纠正位置；

第二计算子模块，被配置为根据纠正位置和关键点在目标图像中的实际位置，计算目标图像的偏移调整量。

可选的，截取模块，包括：确定子模块、平移子模块和第四截取子模块；

确定子模块，被配置为在目标图像对应的原始图像中确定目标图像的边界范围；

平移子模块，被配置为根据偏移调整量将边界范围进行平移；

第四截取子模块，被配置为截取属于平移后的边界范围内的图像内容得到替换图像。

根据本公开实施例的第三方面，提供了一种视频处理装置，包括：

处理器；

用于存储处理器的可执行指令的存储器；

其中，处理器被配置为：

获取原始视频和该原始视频对应的局部视频，局部视频中的第i帧局部图像的画面区域是原始视频的第i帧原始图像的画面区域的子区域，i为正整数；

检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量；

根据偏移调整量从目标图像对应的原始图像中截取出替换图像；

采用替换图像替换目标图像。，

本公开实施例提供的技术方案可以包括以下有益效果：

通过检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量，然后根据偏移调整量从目标图像对应的原始图像中截取出替换图像，采用该替换图像替换目标图像；解决了因移动终端抖动而影响视频画面稳定性的问题；通过后期处理，采用替换图像将发生抖动的目标图像替换掉，提高了视频画面稳定性和视频质量。

另外，由于替换图像是从目标图像对应的原始图像中截取得到的，而目标图像对应的原始图像的画面区域既包含有目标图像的画面区域，又包含有目标图像的画面区域以外的边界区域，使得替换图像既能够达到消除抖动的效果，又能够确保替换图像与发生抖动的目标图像的相邻帧存在相匹配的边缘图像内容，确保了去抖动处理后得到的视频的画面连贯性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种视频处理方法的流程图；

图2A是根据另一示例性实施例示出的一种视频处理方法的流程图；

图2B是另一示例性实施例涉及的一种示意图；

图2C是另一示例性实施例涉及的步骤203的流程图；

图2D是另一示例性实施例涉及的另一示意图；

图2E是另一示例性实施例涉及的步骤204的流程图；

图3是根据再一示例性实施例示出的一种视频处理方法的流程图；

图4是根据还一示例性实施例示出的一种视频处理方法的流程图；

图5是根据一示例性实施例示出的一种视频处理装置的框图；

图6A是根据另一示例性实施例示出的一种视频处理装置的框图；

图6B是另一示例性实施例涉及的一种获取模块的框图；

图6C是另一示例性实施例涉及的另一种获取模块的框图；

图6D是另一示例性实施例涉及的再一种获取模块的框图；

图7是根据一示例性实施例示出的一种装置的框图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种视频处理方法的流程图。本实施例以该视频处理方法应用于诸如手机、平板电脑、智能监控设备、膝上型便携计算机或者台式计算机之类的电子设备中进行举例说明。该视频处理方法可以包括如下几个步骤：

在步骤102中，获取原始视频和该原始视频对应的局部视频，局部视频中的第i帧局部图像的画面区域是原始视频的第i帧原始图像的画面区域的子区域，i为正整数。

在步骤104中，检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量。

在步骤106中，根据偏移调整量从目标图像对应的原始图像中截取出替换图像。

在步骤108中，采用替换图像替换目标图像。

综上所述，本实施例提供的视频处理方法，通过检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量，然后根据偏移调整量从目标图像对应的原始图像中截取出替换图像，采用该替换图像替换目标图像；解决了因移动终端抖动而影响视频画面稳定性的问题；通过后期处理，采用替换图像将发生抖动的目标图像替换掉，提高了视频画面稳定性和视频质量。

另外，由于替换图像是从目标图像对应的原始图像中截取得到的，而目标图像对应的原始图像的画面区域既包含有目标图像的画面区域，又包含有目标图像的画面区域以外的边界区域，使得替换图像既能够达到消除抖动的效果，又能够确保替换图像与发生抖动的目标图像的相邻帧存在相匹配的边缘图像内容，确保了去抖动处理后得到的视频的画面连贯性。

图2A是根据另一示例性实施例示出的一种视频处理方法的流程图。本实施例以该视频处理方法应用于设置有摄像头的电子设备中进行举例说明，该电子设备可以是手机、平板电脑、智能相机、智能监控设备等。该视频处理方法可以包括如下几个步骤：

在步骤201中，在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到原始视频，n≥2且n为整数。

在本实施例中，以电子设备设置有摄像头为例。该摄像头可以是电子设备的内置摄像头，也可以是电子设备的外置摄像头。在拍摄视频的过程中，电子设备通过摄像头依次采集n帧原始图像，得到原始视频。

可选的，在拍摄视频的过程中，电子设备可以在视频预览界面中将原始图像的局部区域进行显示。该局部区域是根据实际需求预先设定的，比如该局部区域可以是原始图像中除四周边缘区域外的中间区域。

在步骤202中，在完成原始视频的拍摄后，根据预定截取框从原始视频的每一帧原始图像中截取出局部图像，得到局部视频。

在完成原始视频的拍摄后，若用户需要对原始视频进行去抖动处理，则电子设备根据预定截取框从原始视频的每一帧原始图像中截取出局部图像，得到局部视频。其中，原始视频的帧数与局部视频的帧数相同，且局部视频中的第i帧局部图像的画面区域是原始视频的第i帧原始图像的画面区域的子区域，i为正整数。

另外，预定截取框的大小和位置可根据实际需求预先设定。比如，当纵向抖动较为频繁或者明显时，预定截取框的上边与原始图像的上边之间的距离可设置较大，预定截取框的下边与原始图像的下边之间的距离也可设置较大；而预定截取框的左侧边与原始图像的左侧边之间的距离可设置较小，预定截取框的右侧边与原始图像的右侧边之间的距离也可设置较小。再比如，当横向抖动较为频繁或者明显时，预定截取框的左侧边与原始图像的左侧边之间的距离可设置较大，预定截取框的右侧边与原始图像的右侧边之间的距离也可设置较大；而预定截取框的上边与原始图像的上边之间的距离可设置较小，预定截取框的下边与原始图像的下边之间的距离也可设置较小。

在通常情况下，预定截取框的大小可等于将原始图像按预设比例系数收缩后的大小，预定截取框的位置可位于原始图像的中间区域。比如，如图2B所示，假设原始视频中某一帧原始图像21如图2B中左侧图示，预定截取框22的大小和位置可以是如图2B中白色虚线框所示，电子设备根据该预定截取框22从原始图像21中截取出的局部图像23即为图2B中右侧图示。

在一种可能的实施方式中，预定截取框的大小和视频预览界面的大小相同。此时，对于每一帧原始图像来说，从该原始图像中截取出的局部图像的图像内容与在视频预览界面中进行显示的局部区域的图像内容相同。换句话说，结合参考图2B，在拍摄视频的过程中，电子设备通过摄像头采集原始图像21，并在视频预览界面中将预定截取框22内部的图像内容在视频预览界面中进行显示，且上述显示过程无需将预定截取框22内部的图像内容进行截取。这样，可以保证用户在拍摄视频的过程中看到的预览视频和后续去抖动处理后得到的视频在画面内容、画面大小和画面比例等方面均保持一致，提高用户体验。

在步骤203中，检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量。

在得到局部视频后，电子设备从该局部视频中检测出发生抖动的目标图像，并计算每一帧目标图像的偏移调整量。其中，偏移调整量可包括偏移距离和偏移方向。

在一种可能的实施方式中，请结合参考图2C，本步骤可包括如下几个子步骤：

在步骤203a中，从局部视频的连续m帧局部图像中提取相匹配的关键点，m≥2且m为整数。

电子设备可采用图像关键点匹配技术从局部视频的连续m帧局部图像中提取相匹配的关键点。其中，关键点匹配技术的过程可分为关键点提取和关键点匹配两部分。电子设备从每一帧局部图像中提取关键点，然后从相邻的局部图像中寻找相匹配的关键点。关键点匹配技术可采用SIFT(Scale-invariant featuretransform，尺度不变特征转换)特征点匹配算法，或者采用Harris角点匹配算法等。由于此处是本领域技术人员易于思及的内容，本实施例对此不进行赘述。

比如，结合参考图2D，假设局部视频的连续3帧局部图像如图2D中局部图像24、局部图像25和局部图像26所示。电子设备从每一帧局部图像中提取至少一个关键点，并从相邻的局部图像中寻找出至少一组相匹配的关键点。假设上述局部图像24、局部图像25和局部图像26中相匹配的一组关键点依次为图2D中关键点24a、关键点25a和关键点26a。

在步骤203b中，根据关键点在m帧局部图像中的运动轨迹，检测该m帧局部图像中是否存在发生抖动的目标图像。

电子设备从上述m帧局部图像中提取相匹配的关键点后，拟合出关键点的运动轨迹，检测是否存在与运动轨迹的偏离程度大与预设阈值的关键点；若存在，则确定该关键点所在的局部图像为发生抖动的目标图像。

比如，针对图2D中的3帧局部图像，电子设备可检测出局部图像25即为发生抖动的目标图像。

在步骤203c中，若该m帧局部图像中存在目标图像，则根据关键点在m帧局部图像中的运动轨迹计算关键点在目标图像中的纠正位置。

电子设备获取关键点在目标图像的相邻帧中的位置，计算关键点位置的统计信息，然后估算出关键点在目标图像中的纠正位置。其中，相邻帧的数量可根据实际需求设定，比如3帧、5帧等等。

另外，若该m帧局部图像中不存在目标图像，则说明该m帧局部图像中不存在发生抖动的图像。此时，电子设备可从局部视频中重新选取连续m帧局部图像，并重复执行上述步骤203a和步骤203b。

在步骤203d中，根据纠正位置和关键点在目标图像中的实际位置，计算目标图像的偏移调整量。

在计算出关键点在目标图像中的纠正位置后，电子设备根据该纠正位置和关键点在目标图像中的实际位置，计算目标图像的偏移调整量。其中，偏移调整量可包括偏移距离和偏移方向。

在步骤204中，根据偏移调整量从目标图像对应的原始图像中截取出替换图像。

电子设备从原始视频中获取与目标图像对应的原始图像，并根据偏移调整量从该获取的原始图像中截取出替换图像。

在一种可能的实施方式中，请结合参考图2E，本步骤可包括如下几个子步骤：

在步骤204a中，在目标图像对应的原始图像中确定目标图像的边界范围。

电子设备可根据预定截取框的位置和大小确定目标图像在其对应的原始图像中的边界范围。比如，如图2D所示，与局部图像25(也即发生抖动的目标图像)对应的原始图像为原始图像27，局部图像25的边界范围28如图2D中白色虚线框所示。

在步骤204b中，根据偏移调整量将边界范围进行平移。

在步骤204c中，截取属于平移后的边界范围内的图像内容得到替换图像。

电子设备根据偏移调整量中包含的偏移距离和偏移方向将边界范围进行平移。在完成平移后，电子设备截取属于平移后的边界范围内的图像内容，得到替换图像。

如图2D所示，电子设备将边界范围28进行平移，之后截取属于平移后的边界范围28内的图像内容得到替换图像29。

在步骤205中，采用替换图像替换目标图像。

电子设备采用替换图像替换目标图像，实现对目标图像的去抖动处理。

另外，由于替换图像是从目标图像对应的原始图像中截取得到的，而目标图像对应的原始图像的画面区域既包含有目标图像的画面区域，又包含有目标图像的画面区域以外的边界区域，使得替换图像既能够达到消除抖动的效果，又能够确保替换图像与发生抖动的目标图像的相邻帧存在相匹配的边缘图像内容，确保了去抖动处理后得到的视频的画面连贯性。

综上所述，本实施例提供的视频处理方法，通过检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量，然后根据偏移调整量从目标图像对应的原始图像中截取出替换图像，采用该替换图像替换目标图像；解决了因移动终端抖动而影响视频画面稳定性的问题；通过后期处理，采用替换图像将发生抖动的目标图像替换掉，提高了视频画面稳定性和视频质量。

另外，还通过关键点匹配技术从局部视频中检测出发生抖动的目标图像，保证了检测准确度和效率。

图3是根据再一示例性实施例示出的一种视频处理方法的流程图。本实施例以该视频处理方法应用于设置有摄像头的电子设备中进行举例说明，该电子设备可以是手机、平板电脑、智能相机、智能监控设备等。该视频处理方法可以包括如下几个步骤：

在步骤301中，在拍摄视频的过程中，同时获取原始视频和该原始视频对应的局部视频。

在本实施例中，以电子设备设置有摄像头为例。该摄像头可以是电子设备的内置摄像头，也可以是电子设备的外置摄像头。与图2A所示实施例不同的是：在本实施例中，电子设备在拍摄视频的过程中，同时获取原始视频和该原始视频对应的局部视频。其中，原始视频的帧数与局部视频的帧数相同，且局部视频中的第i帧局部图像的画面区域是原始视频的第i帧原始图像的画面区域的子区域，i为正整数。

本步骤可包括如下两种可能的实施方式：

在第一种可能的实施方式中，在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到原始视频，n≥2且n为整数；在每采集到一帧原始图像时，根据预定截取框从原始图像中截取出局部图像；根据各个局部图像得到局部视频。

其中，预定截取框在每一帧原始图像中的位置相同。预定截取框的大小可等于将原始图像按预设比例系数收缩后的大小，预定截取框的位置可位于原始图像的中间区域。

当然，在其它可能的实施方式中，电子设备也可在每采集到两帧或者两帧以上的原始图像时，根据预定截取框从每一帧原始图像中截取出局部图像，本实施例对此不作具体限定。

在第二种可能的实施方式中，在拍摄视频的过程中，通过一个摄像头依次采集n帧原始图像得到原始视频，并通过另一摄像头依次采集n帧局部图像得到局部视频，n≥2且n为整数。

电子设备还可设置有两个或者两个以上的摄像头，在拍摄视频的过程中，通过其中一个摄像头采集原始视频，并通过另一摄像头采集局部视频。其中，用于采集原始视频的摄像头所采集的画面区域大于用于采集局部视频的摄像头所采集的画面区域。

可选的，在拍摄视频的过程中，电子设备还可在视频预览界面中将局部图像进行显示，向用户提供视频预览。由于用户看到的预览视频为局部视频，而后续也是针对局部视频进行去抖动处理，因此可以保证用户在拍摄视频的过程中看到的预览视频和后续去抖动处理后得到的视频在画面内容、画面大小和画面比例等方面均保持一致，提高用户体验。

在步骤302中，检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量。

在步骤303中，根据偏移调整量从目标图像对应的原始图像中截取出替换图像。

在步骤304中，采用替换图像替换目标图像。

上述步骤302至步骤304与图2A所示实施例中的步骤203至步骤205相同，详见图2A所示实施例中的步骤203至步骤205的解释和说明，本实施例不再赘述。

综上所述，本实施例提供的视频处理方法，通过检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量，然后根据偏移调整量从目标图像对应的原始图像中截取出替换图像，采用该替换图像替换目标图像；解决了因移动终端抖动而影响视频画面稳定性的问题；通过后期处理，采用替换图像将发生抖动的目标图像替换掉，提高了视频画面稳定性和视频质量。

另外，由于替换图像是从目标图像对应的原始图像中截取得到的，而目标图像对应的原始图像的画面区域既包含有目标图像的画面区域，又包含有目标图像的画面区域以外的边界区域，使得替换图像既能够达到消除抖动的效果，又能够确保替换图像与发生抖动的目标图像的相邻帧存在相匹配的边缘图像内容，确保了去抖动处理后得到的视频的画面连贯性。

另外，本实施例提供了两种在拍摄视频的过程中，同时获取原始视频和局部视频的方式，其中第一种方式为通过截取的方式从原始视频中截取局部视频，仅需在电子设备中设置一个摄像头；而第二种方式通过在电子设备中设置两个摄像头，直接同步采集原始视频和局部视频，省去了截取的处理过程。在实际应用中，可根据电子设备的硬件配置和计算处理能力选用合适的方式。

在上述图2A和图3所示的两个实施例中，以电子设备对自身采集得到的视频进行去抖动处理进行举例说明。下面，在图4所示实施例中，以电子设备对已有的视频进行去抖动处理进行举例说明。

图4是根据还一示例性实施例示出的一种视频处理方法的流程图。本实施例以该视频处理方法应用于诸如手机、膝上型便携计算机、台式计算机之类的电子设备中进行举例说明，该电子设备中可以不设置有摄像头。该视频处理方法可以包括如下几个步骤：

在步骤401中，获取已有的原始视频。

电子设备获取已有的原始视频。该已有的原始视频可以是电子设备从其它设备获取的，也可以是电子设备从本地预存的视频中获取的，或者是从网络中下载的视频。

比如，在一种可能的实施方式中，监控设备将采集的原始视频发送给计算机，由计算机对该原始视频进行去抖动处理。

在步骤402中，根据预定截取框从原始视频的每一帧原始图像中截取出局部图像，得到局部视频。

在获取已有的原始视频后，若用户需要对该原始视频进行去抖动处理，则电子设备根据预定截取框从原始视频的每一帧原始图像中截取出局部图像，得到局部视频。其中，原始视频的帧数与局部视频的帧数相同，且局部视频中的第i帧局部图像的画面区域是原始视频的第i帧原始图像的画面区域的子区域，i为正整数。

另外，预定截取框的大小和位置可根据实际需求预先设定。在通常情况下，预定截取框的大小可等于将原始图像按预设比例系数收缩后的大小，预定截取框的位置可位于原始图像的中间区域。比如，如图2B所示，假设原始视频中某一帧原始图像21如图2B中左侧图示，预定截取框22的大小和位置可以是如图2B中白色虚线框所示，电子设备根据该预定截取框22从原始图像21中截取出的局部图像23即为图2B中右侧图示。

在步骤403中，检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量。

在步骤404中，根据偏移调整量从目标图像对应的原始图像中截取出替换图像。

在步骤405中，采用替换图像替换目标图像。

上述步骤403至步骤405与图2A所示实施例中的步骤203至步骤205相同，详见图2A所示实施例中的步骤203至步骤205的解释和说明，本实施例不再赘述。

综上所述，本实施例提供的视频处理方法，通过检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量，然后根据偏移调整量从目标图像对应的原始图像中截取出替换图像，采用该替换图像替换目标图像；解决了因移动终端抖动而影响视频画面稳定性的问题；通过后期处理，采用替换图像将发生抖动的目标图像替换掉，提高了视频画面稳定性和视频质量。

另外，由于替换图像是从目标图像对应的原始图像中截取得到的，而目标图像对应的原始图像的画面区域既包含有目标图像的画面区域，又包含有目标图像的画面区域以外的边界区域，使得替换图像既能够达到消除抖动的效果，又能够确保替换图像与发生抖动的目标图像的相邻帧存在相匹配的边缘图像内容，确保了去抖动处理后得到的视频的画面连贯性。

另外，还实现了对其它设备采集的、或者对本地预存的、或者对从网络中获取的已有的原始视频进行去抖动处理，充分扩展了本公开提供的技术方案的实际应用范围。

需要说明的一点是：本公开实施例提供的技术方案，适用于对任何发生抖动的视频进行后期的去抖动处理，包括对手持移动终端采集的视频进行去抖动处理，或者对安装于支架上的监控设备所采集的视频进行去抖动处理，等等。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图5是根据一示例性实施例示出的一种视频处理装置的框图。该视频处理装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部，该电子设备可以是手机、平板电脑、智能监控设备、膝上型便携计算机、台式计算机等。该电子设备可以设置有摄像头，或者该电子设备也可以不设置有摄像头。该视频处理装置可以包括：获取模块510、检测模块520、截取模块530和替换模块540。

获取模块510，被配置为获取原始视频和所述原始视频对应的局部视频，所述局部视频中的第i帧局部图像的画面区域是所述原始视频的第i帧原始图像的画面区域的子区域，i为正整数。

检测模块520，被配置为检测所述局部视频中发生抖动的目标图像，并计算所述目标图像的偏移调整量。

截取模块530，被配置为根据所述偏移调整量从所述目标图像对应的原始图像中截取出替换图像。

替换模块540，被配置为采用所述替换图像替换所述目标图像。

综上所述，本实施例提供的视频处理装置，通过检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量，然后根据偏移调整量从目标图像对应的原始图像中截取出替换图像，采用该替换图像替换目标图像；解决了因移动终端抖动而影响视频画面稳定性的问题；通过后期处理，采用替换图像将发生抖动的目标图像替换掉，提高了视频画面稳定性和视频质量。

另外，由于替换图像是从目标图像对应的原始图像中截取得到的，而目标图像对应的原始图像的画面区域既包含有目标图像的画面区域，又包含有目标图像的画面区域以外的边界区域，使得替换图像既能够达到消除抖动的效果，又能够确保替换图像与发生抖动的目标图像的相邻帧存在相匹配的边缘图像内容，确保了去抖动处理后得到的视频的画面连贯性。

图6A是根据另一示例性实施例示出的一种视频处理装置的框图。该视频处理装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部，该电子设备可以是手机、平板电脑、智能监控设备、膝上型便携计算机、台式计算机等。该电子设备可以设置有摄像头，或者该电子设备也可以不设置有摄像头。该视频处理装置可以包括：获取模块510、检测模块520、截取模块530和替换模块540。

获取模块510，被配置为获取原始视频和所述原始视频对应的局部视频，所述局部视频中的第i帧局部图像的画面区域是所述原始视频的第i帧原始图像的画面区域的子区域，i为正整数。

可选的，请结合参考图6B，在第一种可能的实施方式中，所述获取模块510，包括：第一采集子模块510a和第一截取子模块510b。

所述第一采集子模块510a，被配置为在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到所述原始视频，n≥2且n为整数。

所述第一截取子模块510b，被配置为在完成所述原始视频的拍摄后，根据预定截取框从所述原始视频的每一帧原始图像中截取出局部图像，得到所述局部视频。

可选的，请结合参考图6C，在第二种可能的实施方式中，所述获取模块510，包括：第二采集子模块510c、第二截取子模块510d和得到子模块510e。

所述第二采集子模块510c，被配置为在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到所述原始视频，n≥2且n为整数。

所述第二截取子模块510d，被配置为在每采集到一帧原始图像时，根据预定截取框从所述原始图像中截取出局部图像。

所述得到子模块510e，被配置为根据各个所述局部图像得到所述局部视频。

可选的，在第三种可能的实施方式中，所述获取模块510，还被配置为在拍摄视频的过程中，通过一个摄像头依次采集n帧原始图像得到所述原始视频，并通过另一摄像头依次采集n帧局部图像得到所述局部视频，n≥2且n为整数。

可选的，请结合参考图6D，在第四种可能的实施方式中，所述获取模块510，包括：获取子模块510f和第三截取子模块510g。

所述获取子模块510f，被配置为获取已有的所述原始视频。

所述第三截取子模块510g，被配置为根据预定截取框从所述原始视频的每一帧原始图像中截取出局部图像，得到所述局部视频。

检测模块520，被配置为检测所述局部视频中发生抖动的目标图像，并计算所述目标图像的偏移调整量。

所述检测模块520，包括：提取子模块520a、检测子模块520b、第一计算子模块520c和第二计算子模块520d。

所述提取子模块520a，被配置为从所述局部视频的连续m帧局部图像中提取相匹配的关键点，m≥2且m为整数。

所述检测子模块520b，被配置为根据所述关键点在所述m帧局部图像中的运动轨迹，检测所述m帧局部图像中是否存在所述发生抖动的目标图像。

所述第一计算子模块520c，被配置为当所述m帧局部图像中存在所述目标图像时，根据所述关键点在所述m帧局部图像中的运动轨迹计算所述关键点在所述目标图像中的纠正位置。

所述第二计算子模块520d，被配置为根据所述纠正位置和所述关键点在所述目标图像中的实际位置，计算所述目标图像的偏移调整量。

截取模块530，被配置为根据所述偏移调整量从所述目标图像对应的原始图像中截取出替换图像。

所述截取模块530，包括：确定子模块530a、平移子模块530b和第四截取子模块530c。

所述确定子模块530a，被配置为在所述目标图像对应的原始图像中确定所述目标图像的边界范围。

所述平移子模块530b，被配置为根据所述偏移调整量将所述边界范围进行平移。

所述第四截取子模块530c，被配置为截取属于平移后的所述边界范围内的图像内容得到所述替换图像。

替换模块540，被配置为采用所述替换图像替换所述目标图像。

可选的，当所述获取模块510为上述第二种可能的实施方式，或者当所述获取模块510为上述第三种可能的实施方式时，所述装置还包括：显示模块550。

显示模块550，被配置为在拍摄视频的过程中，在视频预览界面中将所述局部图像进行显示。

综上所述，本实施例提供的视频处理装置，通过检测局部视频中发生抖动的目标图像，并计算该目标图像的偏移调整量，然后根据偏移调整量从目标图像对应的原始图像中截取出替换图像，采用该替换图像替换目标图像；解决了因移动终端抖动而影响视频画面稳定性的问题；通过后期处理，采用替换图像将发生抖动的目标图像替换掉，提高了视频画面稳定性和视频质量。

另外，由于替换图像是从目标图像对应的原始图像中截取得到的，而目标图像对应的原始图像的画面区域既包含有目标图像的画面区域，又包含有目标图像的画面区域以外的边界区域，使得替换图像既能够达到消除抖动的效果，又能够确保替换图像与发生抖动的目标图像的相邻帧存在相匹配的边缘图像内容，确保了去抖动处理后得到的视频的画面连贯性。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种用于视频处理的装置700的框图。例如，装置700可以是移动电话，计算机，数字广播终端，平板设备，智能监控设备、医疗设备，健身设备，个人数字助理等。

参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在装置700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件706为装置700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当装置700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到装置700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置700的处理器执行时，使得装置700能够执行如上述图1、图2A、图3或者图4所示实施例提供的视频处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种视频处理方法，其特征在于，所述方法包括：

获取原始视频和所述原始视频对应的局部视频，所述局部视频中的第i帧局部图像的画面区域是所述原始视频的第i帧原始图像的画面区域的子区域，i为正整数；

检测所述局部视频中发生抖动的目标图像，并计算所述目标图像的偏移调整量；

根据所述偏移调整量从所述目标图像对应的原始图像中截取出替换图像；

采用所述替换图像替换所述目标图像。

2.根据权利要求1所述的方法，其特征在于，所述获取原始视频和所述原始视频对应的局部视频，包括：

在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到所述原始视频，n≥2且n为整数；

在完成所述原始视频的拍摄后，根据预定截取框从所述原始视频的每一帧原始图像中截取出局部图像，得到所述局部视频。

3.根据权利要求1所述的方法，其特征在于，所述获取原始视频和所述原始视频对应的局部视频，包括：

在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到所述原始视频，n≥2且n为整数；在每采集到一帧原始图像时，根据预定截取框从所述原始图像中截取出局部图像；根据各个所述局部图像得到所述局部视频；

或者，

在拍摄视频的过程中，通过一个摄像头依次采集n帧原始图像得到所述原始视频，并通过另一摄像头依次采集n帧局部图像得到所述局部视频，n≥2且n为整数。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在拍摄视频的过程中，在视频预览界面中将所述局部图像进行显示。

5.根据权利要求1所述的方法，其特征在于，所述获取原始视频和所述原始视频对应的局部视频，包括：

获取已有的所述原始视频；

根据预定截取框从所述原始视频的每一帧原始图像中截取出局部图像，得到所述局部视频。

6.根据权利要求1至5任一所述的方法，其特征在于，所述检测所述局部视频中发生抖动的目标图像，并计算所述目标图像的偏移调整量，包括：

从所述局部视频的连续m帧局部图像中提取相匹配的关键点，m≥2且m为整数；

根据所述关键点在所述m帧局部图像中的运动轨迹，检测所述m帧局部图像中是否存在所述发生抖动的目标图像；

若所述m帧局部图像中存在所述目标图像，则根据所述关键点在所述m帧局部图像中的运动轨迹计算所述关键点在所述目标图像中的纠正位置；

根据所述纠正位置和所述关键点在所述目标图像中的实际位置，计算所述目标图像的偏移调整量。

7.根据权利要求1至5任一所述的方法，其特征在于，所述根据所述偏移调整量从所述目标图像对应的原始图像中截取出替换图像，包括：

在所述目标图像对应的原始图像中确定所述目标图像的边界范围；

根据所述偏移调整量将所述边界范围进行平移；

截取属于平移后的所述边界范围内的图像内容得到所述替换图像。

8.一种视频处理装置，其特征在于，所述装置包括：

获取模块，被配置为获取原始视频和所述原始视频对应的局部视频，所述局部视频中的第i帧局部图像的画面区域是所述原始视频的第i帧原始图像的画面区域的子区域，i为正整数；

检测模块，被配置为检测所述局部视频中发生抖动的目标图像，并计算所述目标图像的偏移调整量；

截取模块，被配置为根据所述偏移调整量从所述目标图像对应的原始图像中截取出替换图像；

替换模块，被配置为采用所述替换图像替换所述目标图像。

9.根据权利要求8所述的装置，其特征在于，所述获取模块，包括：第一采集子模块和第一截取子模块；

所述第一采集子模块，被配置为在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到所述原始视频，n≥2且n为整数；

所述第一截取子模块，被配置为在完成所述原始视频的拍摄后，根据预定截取框从所述原始视频的每一帧原始图像中截取出局部图像，得到所述局部视频。

10.根据权利要求8所述的装置，其特征在于，

所述获取模块，包括：第二采集子模块、第二截取子模块和得到子模块；

所述第二采集子模块，被配置为在拍摄视频的过程中，通过摄像头依次采集n帧原始图像得到所述原始视频，n≥2且n为整数；所述第二截取子模块，被配置为在每采集到一帧原始图像时，根据预定截取框从所述原始图像中截取出局部图像；所述得到子模块，被配置为根据各个所述局部图像得到所述局部视频；

或者，

所述获取模块，还被配置为在拍摄视频的过程中，通过一个摄像头依次采集n帧原始图像得到所述原始视频，并通过另一摄像头依次采集n帧局部图像得到所述局部视频，n≥2且n为整数。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

显示模块，被配置为在拍摄视频的过程中，在视频预览界面中将所述局部图像进行显示。

12.根据权利要求8所述的装置，其特征在于，所述获取模块，包括：获取子模块和第三截取子模块；

所述获取子模块，被配置为获取已有的所述原始视频；

所述第三截取子模块，被配置为根据预定截取框从所述原始视频的每一帧原始图像中截取出局部图像，得到所述局部视频。

13.根据权利要求8至12任一所述的装置，其特征在于，所述检测模块，包括：提取子模块、检测子模块、第一计算子模块和第二计算子模块；

所述提取子模块，被配置为从所述局部视频的连续m帧局部图像中提取相匹配的关键点，m≥2且m为整数；

所述检测子模块，被配置为根据所述关键点在所述m帧局部图像中的运动轨迹，检测所述m帧局部图像中是否存在所述发生抖动的目标图像；

所述第一计算子模块，被配置为当所述m帧局部图像中存在所述目标图像时，根据所述关键点在所述m帧局部图像中的运动轨迹计算所述关键点在所述目标图像中的纠正位置；

所述第二计算子模块，被配置为根据所述纠正位置和所述关键点在所述目标图像中的实际位置，计算所述目标图像的偏移调整量。

14.根据权利要求8至12任一所述的装置，其特征在于，所述截取模块，包括：确定子模块、平移子模块和第四截取子模块；

所述确定子模块，被配置为在所述目标图像对应的原始图像中确定所述目标图像的边界范围；

所述平移子模块，被配置为根据所述偏移调整量将所述边界范围进行平移；

所述第四截取子模块，被配置为截取属于平移后的所述边界范围内的图像内容得到所述替换图像。

15.一种视频处理装置，其特征在于，包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器被配置为：

获取原始视频和所述原始视频对应的局部视频，所述局部视频中的第i帧局部图像的画面区域是所述原始视频的第i帧原始图像的画面区域的子区域，i为正整数；

检测所述局部视频中发生抖动的目标图像，并计算所述目标图像的偏移调整量；

根据所述偏移调整量从所述目标图像对应的原始图像中截取出替换图像；

采用所述替换图像替换所述目标图像。