CN115239777A

CN115239777A - 视频处理方法及其装置

Info

Publication number: CN115239777A
Application number: CN202210854632.9A
Authority: CN
Inventors: 唐超影; 李长阳
Original assignee: Vivo Mobile Communication Co Ltd
Current assignee: Vivo Mobile Communication Co Ltd
Priority date: 2022-07-15
Filing date: 2022-07-15
Publication date: 2022-10-25

Abstract

本申请公开了一种视频处理方法及其装置，属于视频处理技术领域。该方法包括获取目标视频的目标帧，以及所述目标帧的深度信息；基于所述目标视频中相对于所述目标帧的历史帧对所述目标帧进行运动估计，确定所述目标帧的第一运动矢量，所述运动估计的分辨率小于所述目标帧；基于所述目标帧的深度信息对所述第一运动矢量进行更新，得到所述目标帧的第二运动矢量；基于所述第二运动矢量将所述目标帧与所述历史帧进行配准。

Description

视频处理方法及其装置

技术领域

本申请属于视频处理技术领域，具体涉及一种视频处理方法及其装置。

背景技术

由于视频至少需要25帧每秒，每帧图像的曝光时间不能超过40毫秒，而曝光时间直接与图像信噪比相关，因此图像噪声为影响视频像质的主要问题。

视频降噪通常要使用帧与帧之间的时域信息，需要将多帧图像一同进行处理。在视频的拍摄过程中拍摄者行走或者手持抖动会产生运动，导致帧与帧之间存在空间偏移，因此在对视频进行降噪前需要先将各帧图像进行空间配准。配准算法通常采用光流法和块匹配法，这些方法通常将图像分为多个图像块，分块越细配准的分辨率越高，对设备性能要求较高，导致适用范围有限。

发明内容

本申请实施例的目的是提供一种视频处理方法及其装置，能够降低图像配准的分辨率，解决算法对设备性能要求高的问题。

第一方面，本申请实施例提供了一种视频处理方法，该方法包括：

获取目标视频的目标帧，以及所述目标帧的深度信息；

基于所述目标视频中相对于所述目标帧的历史帧对所述目标帧进行运动估计，确定所述目标帧的第一运动矢量，所述运动估计的分辨率小于所述目标帧；

基于所述目标帧的深度信息对所述第一运动矢量进行更新，得到所述目标帧的第二运动矢量；

基于所述第二运动矢量将所述目标帧与所述历史帧进行配准。

第二方面，本申请实施例提供了一种视频处理装置，该装置包括：

第一获取模块，用于获取目标视频的目标帧，以及所述目标帧的深度信息；

第一确定模块，用于基于所述目标视频中相对于所述目标帧的历史帧对所述目标帧进行运动估计，确定所述目标帧的第一运动矢量，所述运动估计的分辨率小于所述目标帧；

第一更新模块，用于基于所述目标帧的深度信息对所述第一运动矢量进行更新，得到所述目标帧的第二运动矢量；

第一配准模块，用于基于所述第二运动矢量将所述目标帧与所述历史帧进行配准。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的视频处理方法。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的视频处理方法。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的视频处理方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的视频处理方法。

在本申请实施例中，对视频进行配准时不需要精细的分块，只需要在低分辨率上进行运动估计确定目标帧的运动矢量，然后通过深度信息来辅助配准，可以在确保配准精度的基础上减少运动估计算法的计算量，降低算法的复杂度，从而减小图像配准对设备性能的要求，增大配准的应用场景，改善视频的画质。

附图说明

图1是本申请实施例提供的视频处理方法的流程图；

图2是本申请实施例提供的视频处理方法中的图像的示意图；

图3是本申请实施例提供的视频处理方法中确定第一运动矢量的示意图；

图4是本申请实施例提供的视频处理方法的应用场景示意图；

图5是本申请实施例提供的视频处理装置的结构示意图；

图6是本申请实施例提供的电子设备的结构示意图之一；

图7是本申请实施例提供的电子设备的结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的视频处理方法及其装置进行详细地说明。

本申请实施例首先提供一种视频处理方法，该视频处理方法可应用于手机、平板电脑、笔记本电脑、可穿戴电子设备(如智能手表)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、车载设备等电子设备中，本申请实施例对此不作任何限制。

由于手持不稳、物体移动等因素在视频降噪时通常采用多帧降噪的方式，不仅能够降低噪声还能够减少视频模糊等问题。多帧降噪是指拍摄多张图像，然后将多张图像进行对齐，利用每点处的平均值进行降噪的方法。因此对齐的精度对视频画质有着重要的影响。

图1是本实施例提供的视频处理方法的流程图。如图1所示，该视频处理方法包括如下：

步骤10：获取目标视频的目标帧，以及目标帧的深度信息。

通过包括图像传感器的电子设备可以获取任意时刻的图像。在一段时间内连续采集多张图像可以得到一段视频。目标帧可以是目标视频中的任意一张图像，该图像可以是各种格式类型的图像，如RGB、RAW图像或者YUV图像等等。

电子设备还可以通过深度感知模块确定与物体之间的深度信息。例如，手机的激光对焦模块可以确定拍摄的物体与手机之间的距离。示例性的，该深度信息可以包括高精度的深度图，例如双目视觉模块测量得到的深度信息，该深度图中包括场景中每个物体与电子设备的相对距离。深度信息也可以包括简单的距离信息，例如激光测距模块测量得到的目标物体与电子设备的距离。或者，深度信息还可以包括用于指示远近的信息，例如“远、近”等，本实施方式对此不作特殊限定。

步骤20：基于目标视频中相对于目标帧的历史帧对目标帧进行运动估计，确定目标帧的第一运动矢量，运动估计的分辨率小于目标帧。

在本申请实施例中，历史帧是目标视频中时间在目标帧之前的图像，目标帧与历史帧可以是相邻的图像。示例性的，运动估计可以包括基于绝对误差和(Sum of AbsoluteDifference，SAD)的块匹配算法、灰度投影算法等，本实施方式对此不作特殊限定。运动估计需要按照一定的分辨率将历史帧和目标帧划分为多个分块，确定每个分块局部的运动矢量，即第一运动矢量。本实施方式中，运动估计采用的分辨率可以远远低于目标帧的分辨率。例如，目标帧的分辨率为1080×1920，则运动估计的分辨率可以为4×4、4×8等低分辨率。运动估计的分辨率越高，得到的运动矢量越精细，分辨率越低对应的运动矢量也越粗略。例如，在目标帧的分辨率为1080×1920，运动估计的分辨率为4×4时，可以得到目标帧的4×4的运动矢量，远远低于目标帧的分辨率，则目标帧中运动矢量相同的分块的尺度越大。

示例性的，通过灰度投影法来确定目标帧的第一运动矢量。首先将历史帧和目标帧两张H×W的图像分别分割为大小相同的m×n块。1≤m≤H，1≤n≤W。H、W分别为目标帧和历史帧的高和宽。使用灰度投影法分别计算目标帧与历史帧对应位置处图像块在水平方向和垂直方向的第一运动矢量Vx^i,j，Vy^i,j。x^i,j表示(i，j)处的图像块的水平方向的运动矢量，1≤i≤m，1≤j≤n。

以m＝n＝4为例，如图2所示，图像21为历史帧，图像22为目标帧。将图像21与图像22分别划分为4×4个图像块，使用灰度投影法分别计算图像21与图像22对应位置处图像块，例如图像块211与图像221，在x，y方向上的空间位置偏移矢量。首先通过公式(1)分别计算图像块211在x方向与y方向上的像素值累加和：

其中，B_t0为图像块211中(x，y)点处的像素值，

为x方向上的像素值累加和，

为y方向上的像素值累加和。其中M＝H/4，N＝W/4，为图像块211的高和宽。采用上述公式(1)对图像块221进行同样的处理，得到对应的

然后分别计算图像块211与图像块221在x方向和y方向上不同偏移量下的SAD，具体计算公式如下：

其中，k的取值范围预先设置为1到L，L∈(2，N-1)，根据实际情况也可以设置为其他取值范围。δ为SAD取最小值时对应的k，N为图像块的宽度。根据该方法可以计算不同偏移量k下的SAD。如图3所示，曲线S1为历史帧中图像块x方向上的像素值累加和，曲线S2为目标帧对应图像块在x方向上的像素值累加和。曲线S1与曲线S2在k＝1时的绝对差值和SAD为点30。分别计算k取不同值时的SAD，可以得到曲线S3。确定SAD取最小值时的k值，该值为目标帧与历史帧在x方向上的偏移量，则目标帧相对于历史帧的实际运动矢量Vx为：

(L+1)/2为目标帧的偏移中心。也就是说，目标帧偏移起始点为(L+1)/2。根据上述公式(2)可以确定目标帧偏移量为δ时，SAD最小，则此时目标帧相对于历史帧实际的第一运动矢量为Vx。举例来说，L的取值范围为往右移动[0,9]时，偏移中心为5，若目标帧偏移3时SAD最小，则目标帧的第一运动矢量为5-3＝2，即往右移动2个像素。Y方向同理。

对每一个块重复上述过程，可以得到分辨率为4×4的第一运动矢量，如下：

步骤30：基于目标帧的深度信息对第一运动矢量进行更新，得到目标帧的第二运动矢量。

物体与相机距离的远近与其在图像中的移动的距离相关。采集图像时通常存在两种场景，一种是前景大且物距大，另一种是前景小且物距小。例如，在图像画面中占比超过一半的为大前景，小于一半的则为小前景。如图4所示，在图4中(a)所示的场景下，汽车、树木以及房屋与相机距离较远，即物距大；在图4中(b)所示的场景下，汽车距离相机较近，即物距小。大物距下前景相对于相机的运动小于小物距，也就是说，前景运动相同大小时，物距越小物体在图像中移动的像素数越多。移动的像素数越多，前景与背景间运动产生的拖拽感越强。并且，物距越小成像景深越小，背景越模糊(虚化)，背景越模糊则对于配准误差的敏感度越小。

因此，根据图像的深度信息可以确定对于前景、背景的权重，然后按照该权重分别对第一运动矢量中对应的部分进行加权调整，从而提高整体图像的配准精度。例如对于图4中(b)所示的情况，汽车为前景，在前景相对相机运动时，按照一定的权重将背景对应的第一运动矢量融入前景，从而提高图像整体的清晰度。

具体的，先确定第一运动矢量中的前景矢量和背景矢量。根据最小二乘法可以将第一运动矢量分为前景矢量和背景矢量，计算公式如下：

上述公式(4)能够确定取得最小值时的ε。通过上述公式(4)得到最小二乘法的结果后，可以将大于V_thre的第一运动矢量定义为前景矢量，记为

小于V_thre的第一运动矢量定义为背景矢量，记为

Y方向同理。

此外，通过其他方式也可以分割出前景矢量和背景矢量，例如支持向量机，k-means聚类等等，本实施方式不限于此。

接下来，根据目标帧的深度信息确定加权系数，按照该加权系数分别对前景矢量与背景矢量进行加权处理，得到第二运动矢量。示例性的，若目标帧的深度信息为深度图时，根据该深度图可以确定每个区域的深度信息。深度图是用每个点的像素值来表示物体远近的图，例如物体距离相机越远则颜色值越接近255，越近则越接近0。确定目标帧每个图像块的深度信息的公式如下：

其中，D^i,j表示目标帧的图像块B^i,j的深度信息，MED(·)为中值函数，用于确定图像块B^i,j的中值。也就是说，图像块对应的深度图的中值作为该图像块的深度信息。通过该公式(5)可以计算出每个图像块的深度信息。

示例性的，确定深度信息后可以将该深度信息转化为0到1之间的权重，即加权系数，然后对前景矢量和背景矢量进行加权处理。由于前景和背景的成像清晰程度不同，在前景较近时，前景的移动会在图像中产生较大的距离，导致与背景之间的拖拽明显。因此，对于小物距来说，前景矢量中可以按照该加权系数融入对应的背景矢量，从而减小前背景之间的拖拽，提高图像的配准精度。对于大物距来说，背景矢量中同样可以按照加权比例融入前景矢量。结合前景、背景进行配准，能够弥补运动估计算法精度不够的问题，提高配准的精度。

具体的，确定加权系数时，基于人工配置确定目标深度范围，该目标深度范围中包括人工预先设置的最大深度d_max和最小深度d_min。该目标深度范围可以为[0,9]、[5,10]等等，本实施方式对此不作特殊限定。通过该目标深度范围将上述深度信息转化至该目标深度范围内的深度值，然后基于该深度值计算对应的加权系数。示例性的，通过如下公式(6)确定目标帧每个图像块的加权系数：

其中，clip(·)为限制函数，用于将深度信息D^i,j限制在最大深度与最小深度之间。上述公式(6)可以最大深度与最小深度之间的深度值转化为0至1之间的加权系数α^i,j，深度值越大，加权系数越大。

示例性的，如果深度信息包括前景的距离时，可以将深度信息转化为0或者1，作为加权系数。举例来说，若电子设备基于激光对焦模块获取目标帧的深度信息时，激光对焦模块可以提供前景距离相机远近的信息。如图所示，在相机采集图像时，激光对焦模块401可以检测人(前景)与相机的距离。电子设备获得该距离时，如果该距离大于预设值，则对应的加权系数为1，反之加权系数为0。

根据该加权系数对前景矢量和背景矢量分别进行加权处理，得到第二运动矢量。如果第一运动矢量为前景矢量，则为了减少前背景之间的拖拽，可以将背景矢量按照加权比例与该前景矢量进行融合，得到加权后的前景矢量，即第二运动矢量。具体的，确定目标帧所有前景矢量的平均值，记为第一平均值，并确定背景矢量的第二平均值。在加权处理时，前景矢量可以与背景矢量的第二平均值进行加权，背景矢量则与前景矢量的第一平均值进行加权。

举例来说，如果第一运动矢量为前景矢量，则根据以下公式(7)进行加权处理：

其中，

表示图像块水平方向加权后的第二运动矢量，

表示加权处理前图像块水平方向的第一运动矢量，

为水平方向的第二平均值。垂直方向的处理过程相同。若前景的深度越大，如图4(a)所示的场景，则加权系数越大。在前景深度较大时，前背景之间的偏移矢量差异越小，加权时越偏向背景矢量。如果前景的深度越小，如图4(b)所示的场景，则加权系数越小。在前景距离较近时，相机焦点在前景上，背景会存在虚化的现象，对配准误差的敏感度较低，因此加权时越偏向前景矢量自身。

如果第一运动矢量为背景矢量，则可以根据以下公式(8)进行加权处理：

其中，

为前景矢量的平均值，即第一平均值。在背景的深度较大时，加权系数越大，加权时偏向与背景矢量自身。在背景的深度较小时，背景与前景的差异越小，加权系数较小，加权时偏向前景矢量。

举例来说，当加权系数为α^i,j＝1时，物体景深较大。前景矢量加权后与背景矢量对应的第二平均值相同。背景矢量则不受加权处理的影响，即第二运动矢量与第一运动矢量保持一致。本实施方式的加权方式巧妙地利用了前景背景偏移的特点，对运动估计算法确定的运动矢量进行调整，能够降低因运动估计分辨率第导致的图像“拖拽”问题。将难以避免的配置误差转化到视觉不敏感的区域上，改善图像的视觉效果。并且，加权的过程不增加额外的设备，算法也比较简单，不会造成电子设备的性能的负担，有利于增大配准的应用范围。

接下来，继续参考图1，步骤40：基于第二运动矢量将目标帧与历史帧进行配准。

基于第二运动矢量可以确定目标帧中每个像素点的偏移矢量，进而将目标帧进行移动，使得目标帧与历史帧在相同空间域视角上，以便于对历史帧和目标帧进行降噪。利用视频降噪算法可以对经过配准后的目标视频进行降噪。降噪算法可以包括多帧降噪算法，也可以包括基于神经网络的降噪算法等各种算法，本实施方式不限于此。

示例性的，基于插值算法可以将第二运动矢量进行放大，使得第二运动矢量的分辨率与目标帧相同。插值算法可以包括双线性插值、最邻近插值等，本实施方式不限于此。插值后的第二运动矢量与目标帧分辨率相同，第二运动矢量中的每个点与目标帧中每个点对应，基于第二运动矢量可以确定目标帧中每个像素点的偏移矢量，即需要移动的距离和方向。然后按照该偏移矢量将目标帧中的像素点进行移动，得到配准后的目标帧。配准后的目标帧即为与历史帧空间域视角相同的图像。

进一步的，本申请实施例提供的视频处理方法，执行主体可以为视频处理装置。下面，以视频处理装置中执行视频处理方法为例，说明本申请实施例提供的视频处理装置。

如图5所示，本申请实施例提供的视频处理装置50可以包括第一获取模块51、第一确定模块52、第一更新模块53以及第一配准模块54。具体的，第一获取模块51用于获取目标视频的目标帧，以及所述目标帧的深度信息；第一确定模块52用于基于所述目标视频中相对于所述目标帧的历史帧对所述目标帧进行运动估计，确定所述目标帧的第一运动矢量，所述运动估计的分辨率小于所述目标帧；第一更新模块53用于基于所述目标帧的深度信息对所述第一运动矢量进行更新，得到所述目标帧的第二运动矢量；第一配准模块54用于基于所述第二运动矢量将所述目标帧与所述历史帧进行配准。

本实施例提供的视频处理装置，利用低分辨率的运动估计算法确定的运动矢量，能够降低对运动估计算法的精度要求，从而降低配准对设备的性能要求，有利于增大应用范围。并且，利用了前景、背景相对于相机运动时的特点，对运动估计得到的运动矢量进行了调整，从而提高配准的精度。

示例性的实施方式中，第一更新模块53，包括：第一分割模块，用于确定第一运动矢量中的前景矢量与背景矢量；第二确定模块，用于根据目标帧的深度信息确定加权系数；第一加权模块，用于根据加权系数分别对前景矢量和背景矢量进行加权处理，得到第二运动矢量。

示例性的实施方式中，第二确定模块，包括：第一转化模块，用于获取预设的目标深度范围，将深度信息转化为在目标深度范围内的深度值；第三确定模块，用于基于目标深度范围内的深度值，确定加权系数，加权系数取值为0到1，深度值越大对应的加权系数的取值越大。

示例性的实施方式中，第一加权模块，包括：第四确定模块，用于确定前景矢量的第一平均值，以及背景矢量的第二平均值；第二加权模块，用于根据加权系数对前景矢量与第二平均值进行加权处理，得到前景矢量对应的第二运动矢量；第三加权模块，用于基于加权系数对背景矢量与第一平均值进行加权处理，得到背景矢量对应的第二运动矢量。

示例性的实施方式中，第一配准模块54，包括：第五确定模块，用于基于第二运动矢量确定目标帧中每个像素点的偏移矢量；第一移动模块，用于基于偏移矢量将像素点进行移动，得到配准的目标帧。

示例性的实施方式中，该视频处理装置还包括：第一降噪模块，用于基于历史帧与目标帧对目标视频进行降噪。

本申请实施例中的视频处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的视频处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的视频处理装置能够实现图1中的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601和存储器602。存储器602上存储有可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述视频处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图7为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备700包括但不限于：射频单元701、网络模块7102、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。

本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器710用于执行上述视频处理方法。例如，处理器710可用于获取目标视频的目标帧，以及所述目标帧的深度信息；基于所述目标视频中相对于所述目标帧的历史帧对所述目标帧进行运动估计，确定所述目标帧的第一运动矢量，所述运动估计的分辨率小于所述目标帧；基于所述目标帧的深度信息对所述第一运动矢量进行更新，得到所述目标帧的第二运动矢量；基于所述第二运动矢量将所述目标帧与所述历史帧进行配准。

输入单元704可以包括图形处理器(Graphics Processing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。

处理器710可包括一个或多个处理单元；可选的，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述视频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述视频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述视频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims

1.一种视频处理方法，其特征在于，包括：

获取目标视频的目标帧，以及所述目标帧的深度信息；

2.根据权利要求1所述的视频处理方法，其特征在于，所述基于所述目标帧的深度信息对所述第一运动矢量进行更新，得到所述目标帧的第二运动矢量，包括：

确定所述第一运动矢量中的前景矢量与背景矢量；

根据所述目标帧的所述深度信息确定加权系数；

根据所述加权系数分别对所述前景矢量和所述背景矢量进行加权处理，得到第二运动矢量。

3.根据权利要求2所述的视频处理方法，其特征在于，所述根据所述目标帧的所述深度信息确定加权系数，包括：

根据目标深度范围，将所述深度信息转化为在所述目标深度范围内的深度值；

基于所述目标深度范围内的深度值，确定所述加权系数，所述加权系数取值为0到1，所述深度值越大对应的加权系数的取值越大。

4.根据权利要求2所述的视频处理方法，其特征在于，所述根据所述加权系数分别对所述前景矢量和所述背景矢量进行加权处理，得到第二运动矢量，包括：

确定所述前景矢量的第一平均值，以及所述背景矢量的第二平均值；

根据所述加权系数对所述前景矢量与所述第二平均值进行加权处理，得到所述前景矢量对应的第二运动矢量；

基于所述加权系数对所述背景矢量与所述第一平均值进行加权处理，得到所述背景矢量对应的第二运动矢量。

5.根据权利要求1所述的方法，其特征在于，所述基于所述第二运动矢量将所述目标帧与所述历史帧进行配准，包括：

基于所述第二运动矢量确定所述目标帧中每个像素点的偏移矢量；

基于所述偏移矢量将所述像素点进行移动，得到配准的目标帧。

6.一种视频处理装置，其特征在于，包括：

7.根据权利要求6所述的视频处理装置，其特征在于，所述第一更新模块，包括：

第一分割模块，用于确定所述第一运动矢量中的前景矢量与背景矢量；

第二确定模块，用于根据所述目标帧的所述深度信息确定加权系数；

第一加权模块，用于根据所述加权系数分别对所述前景矢量和所述背景矢量进行加权处理，得到第二运动矢量。

8.根据权利要求7所述的视频处理装置，其特征在于，所述第二确定模块，包括：

第一转化模块，用于根据目标深度范围，将所述深度信息转化为在所述目标深度范围内的深度值；

第三确定模块，用于基于所述目标深度范围内的深度值，确定所述加权系数，所述加权系数取值为0到1，所述深度值越大对应的加权系数的取值越大。

9.根据权利要求7所述的视频处理装置，其特征在于，所述第一加权模块，包括：

第四确定模块，用于确定所述前景矢量的第一平均值，以及所述背景矢量的第二平均值；

第二加权模块，用于根据所述加权系数对所述前景矢量与所述第二平均值进行加权处理，得到所述前景矢量对应的第二运动矢量；

第三加权模块，用于基于所述加权系数对所述背景矢量与所述第一平均值进行加权处理，得到所述背景矢量对应的第二运动矢量。

10.根据权利要求6所述的视频处理装置，其特征在于，所述第一配准模块，包括：

第五确定模块，用于基于所述第二运动矢量确定所述目标帧中每个像素点的偏移矢量；

第一移动模块，用于基于所述偏移矢量将所述像素点进行移动，得到配准的目标帧。