CN103260081B - 一种视频图像缩放处理方法及装置 - Google Patents

Abstract

本发明公开了一种视频图像缩放处理方法及装置，包括：基于待处理视频的当前图像帧和其前后一定数量的图像帧的像素点的重要性指标值，采用视频目标跟踪算法，确定由该当前图像帧和其前后一定数量的图像帧组成的视频图像长方体中的最优长方体；并确定该当前图像帧中由该最优长方体包括的图像区域为当前图像帧的感兴趣区域；并从该当前图像帧中提取该感兴趣区域中的重要目标区域，并得到提取该重要目标区域后的该当前图像帧的背景图像；以及通过分别对该重要目标区域和该背景图像进行缩放处理，得到缩放处理后的当前图像帧。采用本发明实施例提供的方案，提高了进行缩放处理后的视频中的关键内容的显示效果。

Description

一种视频图像缩放处理方法及装置

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种视频图像缩放处理方法及装置。

背景技术

日常生活中，人们常常在手机等智能便携设备上观看视频。影响智能便携设备上视频播放效果的因素有许多，例如：屏幕大小、视频画面质量、图像失真度、帧率、视频的流畅性等等。并且，目前各种智能便携设备的屏幕分辨率不统一，视频的分辨率也不统一，因此经常会出现视频分辨率和屏幕分辨率不匹配的情况；另一方面，智能便携设备的屏幕一般较小，一些适合在电脑上播放的视频图像经过缩小后，常常会使视频图像中的关键内容显示不够清楚，这些问题都影响着人们在智能便携设备上观看视频的用户体验。

目前，智能便携设备上的视频播放一般支持的模式包括：按实际尺寸播放、最大化播放、全屏播放。在全屏播放模式下，对于视频图像的分辨率和屏幕分辨率不匹配的情况，当视频图像的长宽比和屏幕的长宽比相同时，应用程序可以不改变长宽比，直接等比例缩放视频图像；但是当视频图像的长宽比和屏幕的长宽比不同时，现有技术中一般是采用直接在长和宽两个方向上分别平均缩放的方法，对视频图像进行缩放，以适配屏幕的分辨率。

现有技术中的上述平均缩放方案，虽然简单直接，但是常常会改变视频内容的长宽比，使得视频内容的长宽比例与实际不符，从而导致用户对视频中的关键内容和关键区域的感知发生畸变，以及当屏幕尺寸较小时，会存在关键内容显示不够清楚的问题，即对视频图像进行缩放处理后，导致其中的关键内容显示效果差。

发明内容

本发明实施例提供一种视频图像缩放处理方法及装置，用以解决现有技术中存在的对视频图像进行缩放处理后，视频中的关键内容显示效果差的问题。

本发明实施例提供一种视频图像缩放处理方法，包括：

基于待处理视频的当前图像帧，和所述当前图像帧的前第一指定数量的图像帧，以及所述当前图像帧的后第二指定数量的图像帧的像素点的重要性指标值，采用视频目标跟踪算法，确定由所述当前图像帧、所述前第一指定数量的图像帧和所述后第二指定数量的图像帧组成的视频图像长方体中的最优长方体，其中，所述视频图像长方体的x轴和y轴分别表征所述待处理视频的图像帧的长和宽，所述视频图像长方体的z轴表征所述待处理视频的图像帧在所述待处理视频中的位置，所述最优长方体包括了所述视频图像长方体中图像帧的重要目标区域；

确定所述当前图像帧中由所述最优长方体包括的图像区域为所述当前图像帧的感兴趣区域；

从所述当前图像帧中提取所述感兴趣区域中的所述重要目标区域，并得到提取所述重要目标区域后的所述当前图像帧的背景图像；

通过分别对所述重要目标区域和所述背景图像进行缩放处理，得到缩放处理后的当前图像帧。

本发明实施例还提供一种视频图像缩放处理装置，包括：

第一确定单元，用于基于待处理视频的当前图像帧，和所述当前图像帧的前第一指定数量的图像帧，以及所述当前图像帧的后第二指定数量的图像帧的像素点的重要性指标值，采用视频目标跟踪算法，确定由所述当前图像帧、所述前第一指定数量的图像帧和所述后第二指定数量的图像帧组成的视频图像长方体中的最优长方体，其中，所述视频图像长方体的x轴和y轴分别表征所述待处理视频的图像帧的长和宽，所述视频图像长方体的z轴表征所述待处理视频的图像帧在所述待处理视频中的位置，所述最优长方体包括了所述视频图像长方体中图像帧的重要目标区域；

第二确定单元，用于确定所述当前图像帧中由所述最优长方体包括的图像区域为所述当前图像帧的感兴趣区域；

提取单元，用于从所述当前图像帧中提取所述感兴趣区域中的所述重要目标区域，并得到提取所述重要目标区域后的所述当前图像帧的背景图像；

缩放处理单元，用于通过分别对所述重要目标区域和所述背景图像进行缩放处理，得到缩放处理后的当前图像帧。

本发明有益效果包括：

本发明实施例提供的方法中，针对待处理视频的当前图像帧的缩放处理，是基于该当前图像帧和其前后一定数量的图像帧的像素点的重要性指标值，采用视频目标跟踪算法，来确定由该当前图像帧和其前后一定数量的图像帧组成的视频图像长方体中的最优长方体，使得最优长方体包括了该视频图像长方体中图像帧的重要目标区域，并通过该最优长方体确定该当前图像帧的感兴趣区域，并从当前图像帧中提取该感兴趣区域中的重要目标区域，以及得到提取该重要目标区域后的该当前图像帧的背景图像，然后针对该重要目标区域和背景图像分别进行缩放处理，从而得到缩放处理后的当前图像帧。由于在对图像帧进行缩放处理时，是将重要目标区域与背景图像分离，并分别进行缩放处理，所以可以针对重要目标区域单独进行缩放处理，从而提高该重要目标区域的显示效果，即提高了该视频中的关键内容的显示效果。

并且，本发明实施例提供的上述方案中，在确定当前图像帧的感兴趣区域时，是针对当前图像帧和其前后一定数量的图像帧进行确定的，即通过最优长方体的确定，可以更准确的将在连续的多个图像帧中出现的重要目标区域确定出来，并且可以避免同一个重要目标区域在连续的多个图像帧中出现时，无法针对这连续的多个图像帧中的每个图像帧，均确定出该重要目标区域，从而避免在对重要目标区域和背景图像进行分别缩放处理后，视频图像画面中的重要目标区域的显示发生抖动的现象，进一步提高了视频中的关键内容的显示效果。

附图说明

图1为本发明实施例提供的视频图像缩放处理方法的流程图；

图2为本发明实施例1中提供的确定待处理视频中的图像帧的感兴趣区域的处理过程的流程图；

图3为本发明实施例1中针对视频建立的三维坐标空间的示意图；

图4为本发明实施例1中基于最优长方体确定当前图像帧的感兴趣区域的示意图；

图5为本发明实施例2中将重要目标区域与背景图像分离，并分别进行缩放处理的流程图；

图6为本发明实施例2中对重要目标区域进行缩放处理的流程图；

图7为本发明实施例3中提供的视频图像缩放处理装置的结构示意图。

具体实施方式

为了给出提高进行缩放处理后的视频中的关键内容的显示效果的实现方案，本发明实施例提供了一种视频图像缩放处理方法及装置，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明实施例提供一种视频图像缩放处理方法，如图1所示，包括：

步骤101、基于待处理视频的当前图像帧，和该当前图像帧的前第一指定数量的图像帧，以及该当前图像帧的后第二指定数量的图像帧的像素点的重要性指标值，采用视频目标跟踪算法，确定由该当前图像帧、该前第一指定数量的图像帧和该后第二指定数量的图像帧组成的视频图像长方体中的最优长方体，其中，视频图像长方体的x轴、y轴和z轴分别为图像帧的x轴、y轴和该待处理视频的时间轴，所述最优长方体包括了该视频图像长方体中图像帧的重要目标区域。

步骤102、确定该当前图像帧中由该最优长方体包括的图像区域为当前图像帧的感兴趣区域。

步骤103、从该当前图像帧中提取该感兴趣区域中的重要目标区域，并得到提取该重要目标区域后的该当前图像帧的背景图像。

步骤104、通过分别对该重要目标区域和该背景图像进行缩放处理，得到缩放处理后的当前图像帧。

下面结合附图，用具体实施例对本发明提供的方法及装置进行详细描述。

实施例1：

本发明实施例1中，对通过上述步骤101和步骤102确定待处理视频中的图像帧的感兴趣区域进行详细描述，如图2所示，具体包括如下处理步骤：

步骤201、针对视频建立三维坐标空间，并构造待处理视频的视频长方体。

其中，如图3所示，设置三维坐标空间的x轴和y轴分别为视频中图像帧的x轴和y轴，用于分别表征视频的图像帧的长和宽，三维坐标空间的z轴用于表征视频的图像帧在该视频中的位置，具体可以设置为该视频的时间轴，即z轴上取值为k时表示视频中k时刻的图像帧，具体也可以设置为该视频的图像帧的数量轴，即z轴上取值为k时表示视频的第k个图像帧。

在建立的该三维坐标空间的基础上，构造待处理视频的视频长方体V，其中，(i,j,k)表示待处理视频的第k个图像帧中位置(i,j)处的像素点，k的取值范围为[1，K]中的整数，N为该待处理视频包括的所有图像帧的数量，i的取值范围为[0,I]，I为该待处理视频的图像帧的长度，j的取值范围为[0,J]，J为该待处理视频的图像帧的宽度。

步骤202、确定该待处理视频的所有图像帧包括的像素点的重要性指标值，在已构造的待处理视频的视频长方体基础上，相当于构造该待处理视频的视频长方体的重要性场。

具体可以采用像素点的视觉信息量表征像素点的重要性指标值，采用如下公式确定：

ρ(i,j,k)＝α·e_saliency(i,j,k)+β·e_detection(i,j,k)；

$e_{saliency}(i,j,k)=\left|\frac{\∂}{\∂x}p\right|+\left|\frac{\∂}{\∂y}p\right|;$

其中，e_saliency(i,j,k)为像素点(i,j,k)的像素信息量，具体可以定义为像素点(i,j,k)的像素值梯度，如上述公式所示；

e_detection(i,j,k)为基于目标检测技术确定的像素点(i,j,k)的重要性参考值，当像素点位于指定目标区域上时，该值取1，当像素点未位于指定目标区域上时，该值取0，指定目标区域可以根据实际需要进行灵活设置，例如人体区域，前景物体区域，运动目标区域等；

α和β分别为像素信息量和重要性参考值的对应权重，具体可以根据实际需要进行灵活设置，在此不再进行详细描述。

步骤203、针对待处理视频的当前图像帧，确定该当前图像帧对应的最优长方体，该最优长方体包括了该当前图像帧和其前后一定数量的图像帧中的重要目标区域，具体为：

基于待处理视频的当前图像帧，和该当前图像帧的前第一指定数量的图像帧，以及该当前图像帧的后第二指定数量的图像帧的像素点的重要性指标值，采用视频目标跟踪算法，确定由该当前图像帧、该前第一指定数量的图像帧和该后第二指定数量的图像帧组成的视频图像长方体中的最优长方体，其中，该最优长方体包括了该视频图像长方体中图像帧的重要目标区域。

其中，视频目标跟踪算法可以采用现有技术中的各种视频目标跟踪算法，本实施例1中提出具体采用CamShift算法，如下：

确定在该当前图像帧对应平面上的初始中心点和初始长宽值，初始中心点和初始长宽值用于表征初始长方体；

基于该当前图像帧、该前第一指定数量的图像帧和该后第二指定数量的图像帧，三者的像素点的重要性指标值，以及初始中心点和初始长宽值，采用CamShift算法，通过调整长方体在该当前图像帧对应平面上的中心点和长宽值，确定该最优长方体在该当前图像帧对应平面上的中心点和长宽值，最优长方体在z轴上的长度值为第一指定数量、第二指定数量与1三者的和值。

其中，确定在该当前图像帧对应平面上的初始中心点和初始长宽值，具体可以包括：

当该当前图像帧为该待处理视频的第一个图像帧时，确定初始中心点为该当前图像帧的中心点，初始长宽值为预设长宽值；

当该当前图像帧不为该待处理视频的第一个图像帧时，确定该初始中心点和初始长宽值，分别对应为该当前图像帧的前一个图像帧的感兴趣区域的中心点和长宽值。(有关感兴趣区域的确定详见后续描述内容)

采用上述初始中心点和初始长宽值的确定方案，当该当前图像帧不为该待处理视频的第一个图像帧时，基于前一个图像帧的感兴趣区域的中心点和长宽值进行确定，能够提高视频目标跟踪算法(如CamShift算法)的目标跟踪效果，使得目标跟踪以及长方体尺寸的确定更准确。

当然，针对每个图像帧，均确定初始中心点为该当前图像帧的中心点，初始长宽值为预设长宽值，也是可行的方案。

本发明实施例中，针对上述第一指定数量和第二指定数量的确定，可以根据实际需要进行设置，例如，具体采用如下方式设置：

当该当前图像帧之前的所有图像帧的数量小于预设数量时，设置第一指定数量为该当前图像帧之前的所有图像帧的数量，否则，设置第一指定数量为该预设数量；

当该当前图像帧之后的所有图像帧的数量小于预设数量时，设置第二指定数量为该当前图像帧之后的所有图像帧的数量，否则，设置第二指定数量为该预设数量。

其中，预设数量越大，表示考虑到的图像帧之间的时序相关性越强，最优长方体的确定结果越准确，当然计算量也越大，所以，可以根据实际要求的情况进行设置。

为了便于理解上述最优长方体的确定过程，现对CamShift算法进行介绍如下：

CamShift算法是MeanShift算法的改进算法，广泛用于对视频目标的跟踪，该算法通过获得概率分布的峰值，并更新搜索窗口大小，能够使得窗口收敛到与被跟踪目标相匹配的窗口位置和尺寸，采用CamShift算法的计算步骤如下：

步骤A、确定搜索窗口的尺寸和初始位置；

步骤B、计算搜索窗口的质心；

步骤C、将搜索窗口的中心放在步骤B中计算出的质心上。

步骤D、根据搜索窗口的零阶距，计算新的搜索窗口尺寸。

步骤E、更新搜索窗口的尺寸。

步骤F、重复上述步骤B-步骤E，直到收敛，收敛的条件为更新后的搜索窗口的质心，相比更新前的搜索窗口的质心，两者距离小于设定阈值。

在上述计算流程中，质心和零阶距的计算公式可参照现有技术，在此不再进行详细描述。

当采用CamShift算法用于确定上述最优长方体时，具体可以采用如下第一种方式：

第一种方式：长方体的概念即相当于搜索窗口，并针对上述步骤A，为了适应本发明实施例中的应用场景，在本发明实施例中采用CamShift算法时，当上述第一指定数量与第二指定数量不等时，为了使得当前图像帧在z轴方向上位于长方体的中心，需要在计算时，使得长方体中当前图像帧前后的图像帧数量相等，即需要补充图像帧以便满足相等的条件，例如，当第一指定数量小于第二指定数量时，在当前图像帧之前补充图像帧，当第一指定数量大于第二指定数量时，在当前图像帧之后补充图像帧，对于补充的图像帧，其像素点的重要性指标值设置为零。

针对上述步骤B，可以基于长方体包括的图像帧的像素点的重要性指标值，计算搜索窗口的质心。

采用上述第一种方式，当第一指定数量与第二指定数量不等时，需要补充图像帧，为避免补充图像帧的处理，本发明实施例中，当采用CamShift算法用于确定上述最优长方体时，具体可以采用如下第二种方式：

第二种方式：使用二维CamShift算法(详见上述步骤A-步骤F)，针对当前图像帧，前第一指定数量的图像帧，以及后第二指定数量的图像帧中的每个图像帧，确定每个图像帧的目标跟踪结果，即包含重要目标区域的最优窗口，具体可以为确定出该窗口的中心点和长宽值，并采用如下公式确定最优长方体在该当前图像帧对应平面上的中心点和长宽值：

最优长方体在该当前图像帧对应平面上的中心点的坐标为：

$(\frac{{\mathrm{\Σ}}_T{\mathrm{\ω}}_i{x}_i}{{\mathrm{\Σ}}_T{\mathrm{\ω}}_i},\frac{{\mathrm{\Σ}}_T{\mathrm{\ω}}_i{y}_i}{{\mathrm{\Σ}}_T{\mathrm{\ω}}_i});$

最优长方体在该当前图像帧对应平面上的长宽值为：

$(\frac{{\mathrm{\Σ}}_T{\mathrm{\ω}}_i{w}_i}{{\mathrm{\Σ}}_T{\mathrm{\ω}}_i},\frac{{\mathrm{\Σ}}_T{\mathrm{\ω}}_i{h}_i}{{\mathrm{\Σ}}_T{\mathrm{\ω}}_i});$

${\mathrm{\ω}}_i=\frac{1}{{\mathrm{dist}}_i+1};$

其中，T为第一指定数量、第二指定数量与1三者的和值；(x_i,y_i)为当前图像帧、前第一指定数量的图像帧和后第二指定数量的图像帧中，第i个图像帧的最优窗口的中心点的坐标；(w_i,h_i)为该第i个图像帧的最优窗口的长宽值；ω_i为该第i个图像帧对应的权重值；dist_i为第i个图像帧与该当前图像帧之间的距离，例如，第i个图像帧与第i+1个图像帧之间的距离为1。

步骤204、确定该当前图像帧中由该最优长方体包括的图像区域为该当前图像帧的感兴趣区域，如图4所示。

具体可以根据该最优长方体在该当前图像帧对应平面上的中心点和长宽值，确定该当前图像帧的感兴趣区域。

实施例2：

在通过上述实施例1确定出该当前图像帧的感兴趣区域后，即可以通过上述步骤103和步骤104，通过提取重要目标区域，将重要目标区域与背景图像分离，并分别进行缩放处理，本实施例2中对此进行详细描述如下：

上述步骤S103具体可以采用现有技术中的各种方法进行实现，对于上述步骤S104，本发明实施例中提出如下具体处理流程，如图5所示，包括：

步骤501、修复背景图像中该重要目标区域所处的区域，得到修复后的完整背景图像。

具体可以根据重要目标区域周围图像的纹理特征，对该重要目标区域所处的区域进行纹理合成并填充，以得到修复后的完整背景图像。

步骤502、按照与重要目标区域和完整背景图像分别对应的缩放比例，分别对重要目标区域和完整背景图像进行缩放处理。

步骤503、将进行缩放处理后的重要目标区域和完整背景图像进行合成，得到缩放处理后的当前图像帧。

其中，在上述步骤502中，具体的与重要目标区域和完整背景图像分别对应的缩放比例，可根据实际需要进行灵活设置，例如：

针对完整背景图像，是按照显示缩放处理后的当前图像帧的屏幕的长宽比，对完整背景图像进行缩放处理；针对重要目标区域，是按照该当前图像帧的长宽比，对重要目标区域进行缩放处理。从而可以实现不改变重要目标区域的长宽比，避免对重要目标区域中关键内容的认知畸变，即提高了关键内容的显示效果。

步骤502中，针对完整背景图像，可根据显示屏幕的尺寸，确定缩放的倍数；而针对重要目标区域，为了提高其中关键内容的显示效果，提出如下具体缩放处理方式，如图6所示，包括：

步骤601、确定该待处理视频的全部图像帧的感兴趣区域的尺寸。

步骤602、确定全部图像帧的感兴趣区域的尺寸的最大值。

步骤603、判断设定倍数的该最大值是否大于显示缩放处理后的视频图像的屏幕的尺寸，如果不大于，进入步骤604，如果大于，进入步骤605。

该设定倍数可基于待处理视频的图像帧的尺寸，以及显示屏幕的尺寸，以及对关键内容显示清楚程度的要求，进行灵活设置。

以缩小处理为例，为了达到较佳的显示效果，该设定倍数可以设置为1，即对重要目标区域不进行缩小处理。

步骤604、按照该设定倍数对该重要目标区域进行缩放处理。

步骤605、由于设定倍数的该最大值大于显示缩放处理后的视频图像的屏幕的尺寸，所以后续进行合成处理时，缩放处理后的重要目标区域尺寸将大于屏幕尺寸，导致无法完整显示该重要目标区域。

所以，为了避免出现这一情况，本步骤中，调整对重要目标区域进行缩放处理的倍数，并按照调整后的倍数对重要目标区域进行缩放处理，使得进行缩放处理后的重要目标区域的尺寸小于屏幕的尺寸，具体的调整过程，可以按照预设的倍数步长逐步调整，在此不再进行详细描述。

由于调整了当前图像帧的重要目标区域的缩放处理倍数，所以，为了使得待处理视频中的所有图像帧中的重要目标区域的缩放处理保持一致，以便显示时减轻抖动，可以针对其它图像帧的重要目标区域，均按照该调整后的倍数进行缩放处理。

在上述步骤S503中，对缩放处理后的重要目标区域和完整背景图像进行合成的过程，可以基于重要目标区域在该当前图像帧中的位置，将进行缩放处理后的重要目标区域和完整背景图像进行合成，例如，该位置可以通过重要目标区域所位于的当前图像帧中的长宽方向位置表征，如位于长方向的百分比和宽方向的百分比；当确定的重要目标区域包括多个时，还可以基于这多个重要目标区域的相对位置，进行合成处理，在此不再进行详细描述。

由于对上述步骤502中对重要目标区域和完整背景图像的缩放比例和缩放倍数可能不同，所以本步骤503中，可能出现合成后缩放处理后的重要目标区域未全部位于缩放处理后的完整背景图像中的情况，为了避免这一情况，可以采用如下处理方式：

当合成得到的视频图像中，缩放处理后的重要目标区域未全部位于缩放处理后的完整背景图像中时，对缩放处理后的重要目标区域再次进行缩放处理，使得再次缩放处理后的重要目标区域全部位于缩放处理后的完整背景图像中，得到缩放处理后的当前图像帧；具体的再次缩放倍数的调整过程，可以按照预设的倍数步长逐步调整，在此不再进行详细描述。

由于调整了当前图像帧的重要目标区域的缩放处理倍数，所以，为了使得待处理视频中的所有图像帧中的重要目标区域的缩放处理保持一致，以便显示时减轻抖动，可以针对其它图像帧的重要目标区域，均按照该调整后的倍数进行缩放处理。

采用上述实施例1和实施例2中提供的视频图像缩放处理方法，由于在对图像帧进行缩放处理时，是将重要目标区域与背景图像分离，并分别进行缩放处理，所以可以针对重要目标区域单独进行缩放处理，从而提高该重要目标区域的显示效果，即提高了该视频中的关键内容的显示效果。

并且，本发明实施例提供的上述方案中，在确定当前图像帧的感兴趣区域时，是针对当前图像帧和其前后一定数量的图像帧进行确定的，即通过最优长方体的确定，可以更准确的将在连续的多个图像帧中出现的重要目标区域确定出来，并且可以避免同一个重要目标区域在连续的多个图像帧中出现时，无法针对这连续的多个图像帧中的每个图像帧，均确定出该重要目标区域，从而避免在对重要目标区域和背景图像进行分别缩放处理后，视频图像画面中的重要目标区域的显示发生抖动的现象，进一步提高了视频中的关键内容的显示效果。

实施例3：

基于同一发明构思，根据本发明实施例1和2提供的视频图像缩放处理方法，相应地，本发明实施例3还提供了一种视频图像缩放处理装置，其结构示意图如图7所示，具体包括：

第一确定单元701，用于基于待处理视频的当前图像帧，和所述当前图像帧的前第一指定数量的图像帧，以及所述当前图像帧的后第二指定数量的图像帧的像素点的重要性指标值，采用视频目标跟踪算法，确定由所述当前图像帧、所述前第一指定数量的图像帧和所述后第二指定数量的图像帧组成的视频图像长方体中的最优长方体，其中，所述视频图像长方体的x轴和y轴分别表征所述待处理视频的图像帧的长和宽，所述视频图像长方体的z轴表征所述待处理视频的图像帧在所述待处理视频中的位置，所述最优长方体包括了所述视频图像长方体中图像帧的重要目标区域；

第二确定单元702，用于确定所述当前图像帧中由所述最优长方体包括的图像区域为所述当前图像帧的感兴趣区域；

提取单元703，用于从所述当前图像帧中提取所述感兴趣区域中的所述重要目标区域，并得到提取所述重要目标区域后的所述当前图像帧的背景图像；

缩放处理单元704，用于通过分别对所述重要目标区域和所述背景图像进行缩放处理，得到缩放处理后的当前图像帧。

进一步的，第一确定单元701，具体用于确定在所述当前图像帧对应平面上的初始中心点和初始长宽值，所述初始中心点和所述初始长宽值用于表征初始长方体；以及

基于所述当前图像帧、所述前第一指定数量的图像帧和所述后第二指定数量的图像帧的像素点的重要性指标值，以及所述初始中心点和所述初始长宽值，采用CamShift算法，通过调整长方体在所述当前图像帧对应平面上的中心点和长宽值，确定所述最优长方体在所述当前图像帧对应平面上的中心点和长宽值，所述最优长方体在z轴上的长度值为所述第一指定数量、所述第二指定数量与1三者的和值。

进一步的，第一确定单元701，具体用于当所述当前图像帧为所述待处理视频的第一个图像帧时，确定所述初始中心点为所述当前图像帧的中心点，所述初始长宽值为预设长宽值；以及

当所述当前图像帧不为所述待处理视频的第一个图像帧时，确定所述初始中心点和初始长宽值，分别对应为所述当前图像帧的前一个图像帧的感兴趣区域的中心点和长宽值。

进一步的，第一确定单元701，具体还用于当所述当前图像帧之前的所有图像帧的数量小于预设数量时，确定所述第一指定数量为所述当前图像帧之前的所有图像帧的数量，否则，确定所述第一指定数量为所述预设数量；以及

当所述当前图像帧之后的所有图像帧的数量小于预设数量时，确定所述第二指定数量为所述当前图像帧之后的所有图像帧的数量，否则，确定所述第二指定数量为所述预设数量。

进一步的，缩放处理单元704，具体用于修复所述背景图像中所述重要目标区域所处的区域，得到修复后的完整背景图像；并

按照与所述重要目标区域和所述完整背景图像分别对应的缩放比例，分别对所述重要目标区域和所述完整背景图像进行缩放处理；以及

将进行缩放处理后的重要目标区域和完整背景图像进行合成，得到缩放处理后的当前图像帧。

进一步的，缩放处理单元704，具体用于按照显示缩放处理后的当前图像帧的屏幕的长宽比，对所述完整背景图像进行缩放处理，并按照所述当前图像帧的长宽比，对所述重要目标区域进行缩放处理。

进一步的，缩放处理单元704，具体用于确定所述待处理视频的全部图像帧的感兴趣区域的尺寸的最大值；并

当设定倍数的该最大值不大于显示缩放处理后的当前图像帧的屏幕的尺寸时，按照所述设定倍数对所述重要目标区域进行缩放处理；以及

当设定倍数的该最大值大于显示缩放处理后的当前图像帧的屏幕的尺寸时，调整对所述重要目标区域进行缩放处理的倍数；并按照调整后的倍数对所述重要目标区域进行缩放处理，使得进行缩放处理后的重要目标区域的尺寸小于所述屏幕的尺寸。

进一步的，缩放处理单元704，具体用于基于所述重要目标区域在所述当前图像帧中的位置，将进行缩放处理后的重要目标区域和完整背景图像进行合成；以及

当合成得到的视频图像中，缩放处理后的重要目标区域未全部位于缩放处理后的完整背景图像中时，对缩放处理后的重要目标区域再次进行缩放处理，使得再次缩放处理后的重要目标区域全部位于缩放处理后的完整背景图像中，得到缩放处理后的当前图像帧。

综上所述，本发明实施例提供的方案，包括：基于待处理视频的当前图像帧，和该当前图像帧的前第一指定数量的图像帧，以及该当前图像帧的后第二指定数量的图像帧的像素点的重要性指标值，采用视频目标跟踪算法，确定由该当前图像帧、该前第一指定数量的图像帧和该后第二指定数量的图像帧组成的视频图像长方体中的最优长方体，其中，视频图像长方体的x轴、y轴和z轴分别为图像帧的x轴、y轴和该待处理视频的时间轴，所述最优长方体包括了该视频图像长方体中图像帧的重要目标区域；并确定该当前图像帧中由该最优长方体包括的图像区域为当前图像帧的感兴趣区域；并从该当前图像帧中提取该感兴趣区域中的重要目标区域，并得到提取该重要目标区域后的该当前图像帧的背景图像；以及通过分别对该重要目标区域和该背景图像进行缩放处理，得到缩放处理后的当前图像帧。采用本发明实施例提供的方案，提高了进行缩放处理后的视频中的关键内容的显示效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种视频图像缩放处理方法，其特征在于，包括：

基于待处理视频的当前图像帧、所述当前图像帧的前第一指定数量的图像帧和所述当前图像帧的后第二指定数量的图像帧的像素点的重要性指标值，采用视频目标跟踪算法，确定由所述当前图像帧、所述前第一指定数量的图像帧和所述后第二指定数量的图像帧组成的视频图像长方体中的最优长方体，其中，所述视频图像长方体的x轴和y轴分别表征所述待处理视频的图像帧的长和宽，所述视频图像长方体的z轴表征所述待处理视频的图像帧在所述待处理视频中的位置，所述最优长方体包括了所述视频图像长方体中图像帧的重要目标区域；其中，所述像素点的重要性指标值为像素点的视觉信息量；

确定所述当前图像帧中由所述最优长方体包括的图像区域为所述当前图像帧的感兴趣区域；

从所述当前图像帧中提取所述感兴趣区域中的所述重要目标区域，并得到提取所述重要目标区域后的所述当前图像帧的背景图像；

通过分别对所述重要目标区域和所述背景图像进行缩放处理，得到缩放处理后的当前图像帧。

2.如权利要求1所述的方法，其特征在于，采用视频目标跟踪算法，确定由所述当前图像帧、所述前第一指定数量的图像帧和所述后第二指定数量的图像帧组成的视频图像长方体中的最优长方体，具体包括：

确定在所述当前图像帧对应平面上的初始中心点和初始长宽值，所述初始中心点和所述初始长宽值用于表征初始长方体；

基于所述当前图像帧、所述前第一指定数量的图像帧和所述后第二指定数量的图像帧的像素点的重要性指标值，以及所述初始中心点和所述初始长宽值，采用CamShift算法，通过调整长方体在所述当前图像帧对应平面上的中心点和长宽值，确定所述最优长方体在所述当前图像帧对应平面上的中心点和长宽值，所述最优长方体在z轴上的长度值为所述第一指定数量、所述第二指定数量与1三者的和值。

3.如权利要求2所述的方法，其特征在于，确定在所述当前图像帧对应平面上的初始中心点和初始长宽值，具体包括：

当所述当前图像帧为所述待处理视频的第一个图像帧时，确定所述初始中心点为所述当前图像帧的中心点，所述初始长宽值为预设长宽值；

当所述当前图像帧不为所述待处理视频的第一个图像帧时，确定所述初始中心点和初始长宽值，分别对应为所述当前图像帧的前一个图像帧的感兴趣区域的中心点和长宽值。

4.如权利要求1-3任一所述的方法，其特征在于，当所述当前图像帧之前的所有图像帧的数量小于预设数量时，所述第一指定数量为所述当前图像帧之前的所有图像帧的数量，否则，所述第一指定数量为所述预设数量；

当所述当前图像帧之后的所有图像帧的数量小于预设数量时，所述第二指定数量为所述当前图像帧之后的所有图像帧的数量，否则，所述第二指定数量为所述预设数量。

5.如权利要求1所述的方法，其特征在于，通过分别对所述重要目标区域和所述背景图像进行缩放处理，得到缩放处理后的当前图像帧，具体包括：

修复所述背景图像中所述重要目标区域所处的区域，得到修复后的完整背景图像；

按照与所述重要目标区域和所述完整背景图像分别对应的缩放比例，分别对所述重要目标区域和所述完整背景图像进行缩放处理；

将进行缩放处理后的重要目标区域和完整背景图像进行合成，得到缩放处理后的当前图像帧。

6.如权利要求5所述的方法，其特征在于，按照与所述重要目标区域和所述完整背景图像分别对应的缩放比例，分别对所述重要目标区域和所述完整背景图像进行缩放处理，具体包括：

按照显示缩放处理后的当前图像帧的屏幕的长宽比，对所述完整背景图像进行缩放处理，并按照所述当前图像帧的长宽比，对所述重要目标区域进行缩放处理。

7.如权利要求5或6所述的方法，其特征在于，对所述重要目标区域进行缩放处理，具体包括：

确定所述待处理视频的全部图像帧的感兴趣区域的尺寸的最大值；

当该最大值以设定倍数进行缩放处理后显示的当前图像帧不大于屏幕的尺寸时，按照所述设定倍数对所述重要目标区域进行缩放处理；

当该最大值以设定倍数进行缩放处理后显示的当前图像帧大于屏幕的尺寸时，调整对所述重要目标区域进行缩放处理的倍数；并按照调整后的倍数对所述重要目标区域进行缩放处理，使得进行缩放处理后的重要目标区域的尺寸小于所述屏幕的尺寸。

8.如权利要求5所述的方法，其特征在于，将进行缩放处理后的重要目标区域和完整背景图像进行合成，得到缩放处理后的当前图像帧，具体包括：

基于所述重要目标区域在所述当前图像帧中的位置，将进行缩放处理后的重要目标区域和完整背景图像进行合成；

当合成得到的视频图像中，缩放处理后的重要目标区域未全部位于缩放处理后的完整背景图像中时，对缩放处理后的重要目标区域再次进行缩放处理，使得再次缩放处理后的重要目标区域全部位于缩放处理后的完整背景图像中，得到缩放处理后的当前图像帧。

9.一种视频图像缩放处理装置，其特征在于，包括：

第一确定单元，用于基于待处理视频的当前图像帧、所述当前图像帧的前第一指定数量的图像帧和所述当前图像帧的后第二指定数量的图像帧的像素点的重要性指标值，采用视频目标跟踪算法，确定由所述当前图像帧、所述前第一指定数量的图像帧和所述后第二指定数量的图像帧组成的视频图像长方体中的最优长方体，其中，所述视频图像长方体的x轴和y轴分别表征所述待处理视频的图像帧的长和宽，所述视频图像长方体的z轴表征所述待处理视频的图像帧在所述待处理视频中的位置，所述最优长方体包括了所述视频图像长方体中图像帧的重要目标区域；其中，所述像素点的重要性指标值为像素点的视觉信息量；

第二确定单元，用于确定所述当前图像帧中由所述最优长方体包括的图像区域为所述当前图像帧的感兴趣区域；

提取单元，用于从所述当前图像帧中提取所述感兴趣区域中的所述重要目标区域，并得到提取所述重要目标区域后的所述当前图像帧的背景图像；

缩放处理单元，用于通过分别对所述重要目标区域和所述背景图像进行缩放处理，得到缩放处理后的当前图像帧。

10.如权利要求9所述的装置，其特征在于，所述第一确定单元，具体用于确定在所述当前图像帧对应平面上的初始中心点和初始长宽值，所述初始中心点和所述初始长宽值用于表征初始长方体；以及

基于所述当前图像帧、所述前第一指定数量的图像帧和所述后第二指定数量的图像帧的像素点的重要性指标值，以及所述初始中心点和所述初始长宽值，采用CamShift算法，通过调整长方体在所述当前图像帧对应平面上的中心点和长宽值，确定所述最优长方体在所述当前图像帧对应平面上的中心点和长宽值，所述最优长方体在z轴上的长度值为所述第一指定数量、所述第二指定数量与1三者的和值。

11.如权利要求10所述的装置，其特征在于，所述第一确定单元，具体用于当所述当前图像帧为所述待处理视频的第一个图像帧时，确定所述初始中心点为所述当前图像帧的中心点，所述初始长宽值为预设长宽值；以及

当所述当前图像帧不为所述待处理视频的第一个图像帧时，确定所述初始中心点和初始长宽值，分别对应为所述当前图像帧的前一个图像帧的感兴趣区域的中心点和长宽值。

12.如权利要求9-11任一所述的装置，其特征在于，所述第一确定单元，具体还用于当所述当前图像帧之前的所有图像帧的数量小于预设数量时，确定所述第一指定数量为所述当前图像帧之前的所有图像帧的数量，否则，确定所述第一指定数量为所述预设数量；以及

当所述当前图像帧之后的所有图像帧的数量小于预设数量时，确定所述第二指定数量为所述当前图像帧之后的所有图像帧的数量，否则，确定所述第二指定数量为所述预设数量。

13.如权利要求9所述的装置，其特征在于，所述缩放处理单元，具体用于修复所述背景图像中所述重要目标区域所处的区域，得到修复后的完整背景图像；并

按照与所述重要目标区域和所述完整背景图像分别对应的缩放比例，分别对所述重要目标区域和所述完整背景图像进行缩放处理；以及

将进行缩放处理后的重要目标区域和完整背景图像进行合成，得到缩放处理后的当前图像帧。

14.如权利要求13所述的装置，其特征在于，所述缩放处理单元，具体用于按照显示缩放处理后的当前图像帧的屏幕的长宽比，对所述完整背景图像进行缩放处理，并按照所述当前图像帧的长宽比，对所述重要目标区域进行缩放处理。

15.如权利要求13或14所述的装置，其特征在于，所述缩放处理单元，具体用于确定所述待处理视频的全部图像帧的感兴趣区域的尺寸的最大值；并

当该最大值以设定倍数进行缩放处理后显示的当前图像帧不大于屏幕的尺寸时，按照所述设定倍数对所述重要目标区域进行缩放处理；以及

当该最大值以设定倍数进行缩放处理后显示的当前图像帧大于屏幕的尺寸时，调整对所述重要目标区域进行缩放处理的倍数；并按照调整后的倍数对所述重要目标区域进行缩放处理，使得进行缩放处理后的重要目标区域的尺寸小于所述屏幕的尺寸。

16.如权利要求13所述的装置，其特征在于，所述缩放处理单元，具体用于基于所述重要目标区域在所述当前图像帧中的位置，将进行缩放处理后的重要目标区域和完整背景图像进行合成；以及

当合成得到的视频图像中，缩放处理后的重要目标区域未全部位于缩放处理后的完整背景图像中时，对缩放处理后的重要目标区域再次进行缩放处理，使得再次缩放处理后的重要目标区域全部位于缩放处理后的完整背景图像中，得到缩放处理后的当前图像帧。