CN114007134B - 视频处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种视频处理方法、装置、电子设备及存储介质，该方法包括：将待处理视频中第一图像帧以及第二图像帧进行预设分块处理，得到目标数量的第一像素块，以及目标数量的第二像素块；获取目标数量的第二像素块中存在的第一目标像素块，第一像素块中存在与第一目标像素块匹配的多个第二目标像素块；获取第一目标像素块相对每个第二目标像素块的运动矢量，得到多个第一运动矢量；基于每个第二目标像素块对应的权重，对多个第一运动矢量进行加权计算，得到第一目标像素块对应的运动矢量，多个第二目标像素块中指定像素块对应的权重大于其他像素块对应的权重；基于第一目标像素块对应的运动矢量，进行插帧处理。本方法可以提升插帧的准确性。

Description

视频处理方法、装置、电子设备及存储介质

技术领域

本申请涉及视频处理技术领域，更具体地，涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术

随着科技水平和生活水平的快速进步，电子设备(例如智能手机、平板电脑等)已经成为人们生活中常用的电子产品之一。人们通过电子设备播放视频时，为提升视频播放流畅度，会对播放的视频进行插帧处理。但是相关技术中，视频中存在多个重复性的物体时，运动估计的准确性存在不足，因此会导致插帧的效果不佳。

发明内容

鉴于上述问题，本申请提出了一种视频处理方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种视频处理方法，所述方法包括：将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将所述待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，所述第一图像帧以及第二图像帧为相邻的图像帧；获取所述目标数量的第二像素块中存在的第一目标像素块，所述目标数量的第一像素块中存在与所述第一目标像素块匹配的多个第二目标像素块；获取所述第一目标像素块相对所述多个第二目标像素块中每个第二目标像素块的运动矢量，得到多个第一运动矢量；基于所述每个第二目标像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量，其中，所述多个第二目标像素块中指定像素块对应的权重大于除所述指定像素块以外的其他像素块对应的权重；基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

第二方面，本申请实施例提供了一种视频处理装置，所述装置包括分块处理模块、像素块获取模块、第一矢量获取模块、第二矢量获取模块以及插帧处理模块，其中，所述分块处理模块用于将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将所述待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，所述第一图像帧以及第二图像帧为相邻的图像帧；所述像素块获取模块用于获取所述目标数量的第二像素块中存在的第一目标像素块，所述目标数量的第一像素块中存在与所述第一目标像素块匹配的多个第二目标像素块；所述第一矢量获取模块用于获取所述第一目标像素块相对所述多个第二目标像素块中每个第二目标像素块的运动矢量，得到多个第一运动矢量；所述第二矢量获取模块用于基于所述每个第二目标像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量，其中，所述多个第二目标像素块中指定像素块对应的权重大于除所述指定像素块以外的其他像素块对应的权重；所述插帧处理模块用于基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的视频处理方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的视频处理方法。

本申请提供的方案，通过将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，该第一图像帧以及该第二图像帧为相邻的图像帧，获取目标数量的第二像素块中存在的第一目标像素块，该目标数量的第一像素块中存在与该第一目标像素块匹配的多个第二目标像素块，然后获取第一目标像素块相对多个第二目标像素块中每个第二目标像素块的运动矢量，得到多个第一运动矢量，再基于每个第二目标像素块对应的权重，对多个第一运动矢量进行加权计算，得到第一目标像素块对应的运动矢量，其中，多个第二目标像素块中指定像素块对应的权重大于除指定像素块以外的其他像素块对应的权重，然后基于第一目标像素块对应的运动矢量，在待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。由此，当存在像素块在参考帧中有多个匹配的像素块的情况下计算运动矢量时，除指定像素块以外的像素块的权重会相对指定像素块的权重较低，因此可以减少一些像素块所带来的干扰，提升获得的运动矢量的准确性，从而提升插帧处理的准确性，保证插帧效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本申请一个实施例的视频处理方法流程图。

图2示出了根据本申请另一个实施例的视频处理方法流程图。

图3示出了根据本申请又一个实施例的视频处理方法流程图。

图4示出了根据本申请再一个实施例的视频处理方法流程图。

图5示出了根据本申请一个实施例的视频处理装置的一种框图。

图6是本申请实施例的用于执行根据本申请实施例的视频处理方法的电子设备的框图。

图7是本申请实施例的用于保存或者携带实现根据本申请实施例的视频处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着电子设备的发展，电子设备的配置和功能越来越强大，电子设备在视频播放时的播放效果也越来越好。在相关的视频播放方案中，电子设备可以对视频进行插帧处理，以提升视频播放的流畅性。

运动估计算法是视频压缩编码的核心算法之一。高质量的运动估计算法是高效视频编码的前提和基础。通过运动估计可以获取图像序列中的图像帧与相邻的图像帧之间的相对位移，即运动矢量，从而可以基于相邻的图像帧之间的运动矢量对视频进行压缩编码，可以去除图像帧之间的冗余。

发明人经过长时间的研究并发现，一些场景中，可能视频中会存在多个相同的物体，这些相同的物体构成周期性的高频块，在运动估计时，针对高频块会在对应帧中匹配到多个块，因此会使得估计的运动矢量受到影响，从而容易处理得到错误的插帧话，而错误的插帧效果将导致高频区域(多个相同物体所在区域)出现显示效果的抖动异常。例如，在拍摄汽车行驶的视频中，汽车前方会存在竖条进气栅，该进气栅是多列的竖线中网，在视频动态的过程中该位置的进气栅会有周期性的运动，在对此处插帧时左右相邻的进气栅运动相近，所以容易产生错误的重叠插帧画面，从而导致实际视频播放时看到进气栅位置有颤动的异常效果，使插帧处理出现副作用。

针对上述问题，发明人提出了本申请实施例提供的视频处理方法、装置、电子设备以及存储介质，当存在像素块在参考帧中有多个匹配的像素块的情况下计算运动矢量时，除指定像素块以外的像素块的权重会相对指定像素块的权重较低，因此可以减少一些像素块所带来的干扰，提升获得的运动矢量的准确性，从而提升插帧处理的准确性，保证插帧效果。其中，具体的视频处理方法在后续的实施例中进行详细的说明。

请参阅图1，图1示出了本申请一个实施例提供的视频处理方法的流程示意图。在具体的实施例中，所述视频处理方法应用于如图5所示的视频处理装置400以及配置有所述视频处理装置400的电子设备100(图6)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述视频处理方法具体可以包括以下步骤：

步骤S110：将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将所述待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，所述第一图像帧以及第二图像帧为相邻的图像帧。

在本申请实施例中，电子设备对待处理视频进行插帧处理时，可以对第一图像帧以及第二图像帧进行预设分块处理，以将第一图像帧以及第二图像帧划分为多块像素块之后，基于预设分块处理的结果，进行运动估计后，完成插帧处理。其中，第一图像帧和第二图像帧为相邻的两帧图像帧，例如，第二图像帧可以是第一图像帧的上一帧图像帧；目标数量可以根据预设分块处理的分块策略而定，其具体数值可以不做限定。

作为一种可能的实施方式，待处理视频可以是电子设备当前播放的视频，例如，电子设备可以通过安装的视频播放应用来播放视频，电子设备可以对当前播放的视频进行插帧处理，以提升视频播放效果。其中，视频播放应用可以为系统应用，也可以是第三方应用，在此不做限定。

作为另一种可能的实施方式，处理视频也可以是电子设备当前进行视频录制时所获得的视频，例如，电子设备通过摄像头进行视频录制，则录制得到的视频可以进行插帧处理，以提升录制的视频的质量。

作为又一种可能的实施方式，待处理视频也可以是电子设备接收到的其他设备发送的视频，例如，电子设备可以从服务器获取待处理视频；电子设备从其他设备获取到待处理视频后，可以对待处理视频进行插帧处理，以得到质量更佳的视频，被进行插帧处理后的待处理视频，可以用于电子设备进行存储、播放、或者发送至其他设备等，在此不做限定。

在一些实施方式中，第一图像帧以及第二图像帧可以为待处理视频中任意相邻的图像帧，例如，电子设备可以对所有相邻的图像帧之间进行插帧处理；第一图像帧以及第二图像帧也可以是待处理视频的部分片段中的相邻的图像帧，例如，电子设备可以仅针对待处理视频的部分片段进行插帧处理，此时，电子设备可以获取待处理视频的这些片段中的相邻的图像帧，以进行插帧处理；第一图像帧以及第二图像帧也可以是响应于用户输入的指令，根据用户输入的指令，获取待处理视频中的第一图像帧以及第二图像帧，例如，电子设备获取用户输入的选取指令，选取指令中包括了图像帧的标识，根据图像帧的标识，可以从待处理视频中获取图像帧的标识所匹配的第一图像帧以及第二图像帧。

在一些实施方式中，电子设备对第一图像帧以及第二图像帧分别进行预设分块处理，可以是基于预设分块处理对应的分块策略，将第一图像帧和第二图像帧分别划分为相同的至少两个块。预设分块处理对应的分块策略中包括分块的数量、分块的位置、分块的形状等信息。例如，基于分块策略可以将第一图像帧和第二图像帧分别划分为相同的九宫格；基于分块策略可以将第一图像帧和第二图像帧分别划分为相同的4个像素块；基于分块策略可以将第一图像帧和第二图像帧分别划分为相同的50个像素块。可选地，为了提升插帧处理的准确性，目标数量可以大于预设数量，例如大于50、60等，由此可以得到较多数量的像素块，进而进行精细化的插帧处理，提升插帧效果。分块的形状可以不做限定，例如可以为菱形块、正方形、其他多边形等。

步骤S120：获取所述目标数量的第二像素块中存在的第一目标像素块，所述目标数量的第一像素块中存在与所述第一目标像素块匹配的多个第二目标像素块。

在本申请实施例中，由于一些场景下的视频中会存在高频出现的某类物体，例如，汽车行驶的视频中，视频中汽车的进气栅格区域会存在多条重复的栅格，又例如，远距离拍摄的鸟群飞行的视频中，鸟群区域会存在多个相似的鸟。因此，这些场景下，视频图像中高频出现的物体所在区域的像素块，容易在参考帧中匹配到多个像素块，若根据匹配到的多个像素块直接计算运动矢量，则会导致计算的运动矢量受到影响，例如视频图像中高频出现的物体所在区域包括：序号1的物体、序号2的物体、…、以及序号10的物体，针对一帧图像中包含序号1的物体的像素块，在相邻帧图像中匹配像素块时，由于这些物体相似或者完全相同，因此在相邻帧图像中可能会匹配到包含序号1的物体的像素块、包含序号2的物体的像素块、包含序号3的物体的像素块等，但是除包含序号1的物体的像素块以外，其他像素块并不是准确的像素块，而是会对计算包含序号1的物体的像素块的运动矢量造成干扰的像素块。针对这样的情况，电子设备可以获取目标数量的第二像素块中存在的第一目标像素块，且目标数量的第一像素块中存在与第一目标像素块匹配的多个第二目标像素块，也就是说，针对第二图像帧中的像素块，在第一图像帧中匹配像素块时，可以将第二图像帧中匹配到多个第一像素块的第二像素块作为第一目标像素块，而与第一目标像素块匹配的第一像素块作为第二目标像素块。其中，第一目标像素块以及第二目标像素块的数量可以不做限定，若第一目标像素块为多个，则后续可以针对每个第一目标像素块，确定其对应的运动矢量，并根据多个第一目标像素块对应的运动矢量进行插帧处理。

在一些实施方式中，针对第二图像帧中的第二像素块，在第一图像帧中进行块匹配时，可以针对每个第二像素块，在第一图像帧中的预设搜索范围内根据块匹配的算法，确定与第二像素块所匹配的第一像素块。其中，预设搜索范围可以是第二像素块对应到第一图像帧的位置处，以该位置为中心的预设距离的搜索范围。

作为一种可能的实施方式，在获取第二像素块所匹配的第一像素块时，可以确定第二像素块与搜索范围内的各个第一像素块之间的匹配误差；基于各个匹配误差确定目标匹配误差，将目标匹配误差对应的第一像素块作为与第二像素块匹配的第一像素块。可选地，可以将最小的匹配误差确定为目标匹配误差，即将最小的匹配误差的第一像素块作为与第二像素块匹配的第一像素块。可选地，可以将次小的匹配误差确定为目标匹配误差，即将次小的匹配误差的第一像素块作为与第二像素块匹配的第一像素块。当然也，还可以选取其他的第一像素块作为与第二像素块匹配的第一像素块，不限于此。

具体地，电子设备可以确定第二像素块和第一像素块的绝对误差和(Sum ofAbsoluteDifferences，SAD)，将该绝对误差和作为该第二像素块和第一像素块的匹配误差。

在本申请实施例中，在针对每个第二像素块，从第一图像帧中获取与每个第二像素块匹配的第一像素块之后，则可以确定出第二图像帧中匹配到多个第一像素块的第二像素块作为第一目标像素块，并将与第一目标像素块匹配的像素块作为第二目标像素块。

在一些实施方式中，电子设备在执行获取目标数量的第二像素块中存在的第一目标像素块之前，还可以检测第一图像帧以及第二图像帧中是否存在多个重复物体，其中，重复物体之间的相似度大于预设相似度；若存在多个重复物体，则执行获取目标数量的第二像素块中存在的第一目标像素块的步骤。可以理解地，若待处理视频的视频图像中存在多个重复物体，则表示当前的待处理视频为上述视频图像中有高频出现的物体的场景，因此在计算运动矢量时，需要进行针对性的处理，即执行步骤S120～步骤S150的过程，以提升插帧的准确性。

在一种可能的实施方式中，在检测第一图像帧以及第二图像帧中是否存在多个重复物体时，可以检测第一图像帧以及第二图像帧中是否存在包含多个重复物体的目标区域，在存在目标区域的情况下，执行步骤S120～步骤S150的过程。其中，目标区域为任一区域，可以理解地，在视频图像中的某个区域内出现多个重复性物体时，容易匹配到多个像素块，而重复性物体在视频图像中相距较远时，则由于像素块匹配时会有搜索范围，因此不会对像素块的匹配造成影响，故可以确定第一图像帧以及第二图像帧中是否存在包含多个重复物体的目标区域，以此来确定是否为需要采用后续步骤计算运动矢量的场景。

步骤S130：获取所述第一目标像素块相对所述多个第二目标像素块中每个第二目标像素块的运动矢量，得到多个第一运动矢量。

在本申请实施例中，电子设备在获取到上述第一目标像素块之后，则可以根据第一目标像素块以及与第一目标像素块匹配的多个第二目标像素块，获取第一目标像素块与第二目标像素块之间的相对位移，得到针对每个第二目标像素块，计算出的第一目标像素块与第二目标像素块之间的相对位移，得到多个第一运动矢量。其中，运动矢量表示像素块位移的方向和快慢。

具体地，在获取第一目标像素块相对第二目标像素块的运动矢量时，可以确定第一目标像素块在第二图像帧中的位置作为第一位置，以及第二目标像素块在第一图像帧中的位置作为第二位置；然后，根据第一位置以及第二位置确定在横轴上的位移以及在纵轴上的位移，确定出的在横轴上的位移以及在纵轴上的位移即可构成运动矢量。

步骤S140：基于所述每个第二目标像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量，其中，所述多个第二目标像素块中指定像素块对应的权重大于除所述指定像素块以外的其他像素块对应的权重。

在本申请实施例中，电子设备在获取到上述多个第一运动矢量后，则可以基于每个第二目标像素块对应的权重，对多个第一运动矢量进行加权计算，得到第一目标像素块对应的运动矢量。并且，指定像素块对应的权重大于多个第二目标像素块中除指定像素块以外的其他像素块对应的权重。其中，其他像素块可以为对第一目标像素块对应的运动矢量的计算造成干扰的像素块，即并非真正的与第一目标像素块所匹配的像素块，或者真实匹配的概率不大于预设概率的像素块；而指定像素块可以为第一目标像素块对应到第一图像帧中，与其真正匹配的像素块，或者真实匹配的概率大于预设概率的像素块。由此，除指定像素块以外的像素块的权重会相对指定像素块的权重较低，可以减少一些像素块所带来的干扰，提升获得的运动矢量的准确性。

在一些实施方式中，上述多个第二目标像素块对应的权重之和可以为1，上述加权计算可以为加权求和。也就是说，将针对各个第二目标像素块所得到的第一运动矢量与第二目标像素块对应的权重相乘后，基于矢量求和的方式，得到第一目标像素块对应的运动矢量。当然，也可以采用其他方式进行加权计算，在此不做限定。

步骤S150：基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

在本申请实施例中，在获取到上述第一目标像素块对应的运动矢量之后，则可以基于第一目标像素块对应的运动矢量，生成插帧图像，并将插帧图像插入至第一图像帧与第二图像帧之间，完成待处理视频中第一图像帧与第二图像帧之间的插帧处理。其中，根据运动矢量生成插帧图像的方式可以不做限定，例如，可以采用像素插值的方式生成插帧图像。

在本申请实施例中，在针对每个第二像素块，从第一图像帧中获取与每个第二像素块匹配的第一像素块之后，若不存在上述的第一目标像素块，则可以根据各个第二像素块与其匹配的第一像素块，获取各个第二像素块对应的运动矢量，并根据各个第二像素块对应的运动矢量，生成插帧图像，将插帧图像插入至第一图像帧与第二图像帧中。

本申请实施例提供的视频处理方法，可以实现对待处理视频进行插帧处理的过程中，在存在像素块在参考帧中有多个匹配的像素块的情况下计算运动矢量时，除指定像素块以外的像素块的权重会相对指定像素块的权重较低，因此可以减少一些像素块所带来的干扰，提升获得的运动矢量的准确性，从而提升插帧处理的准确性，保证插帧效果。

请参阅图2，图2示出了本申请另一个实施例提供的视频处理方法的流程示意图。该视频处理方法应用于上述电子设备，下面将针对图2所示的流程进行详细的阐述，所述视频处理方法具体可以包括以下步骤：

步骤S210：将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将所述待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，所述第一图像帧以及第二图像帧为相邻的图像帧。

步骤S220：获取所述目标数量的第二像素块中存在的第一目标像素块，所述目标数量的第一像素块中存在与所述第一目标像素块匹配的多个第二目标像素块。

步骤S230：获取所述第一目标像素块相对所述多个第二目标像素块中每个第二目标像素块的运动矢量，得到多个第一运动矢量。

在本申请实施例中，步骤S210至步骤S230可以参阅前述实施例的内容，在此不再赘述。

步骤S240：获取所述多个第二目标像素块中的指定像素块。

在本申请实施例中，电子设备在获取到上述多个第一运动矢量后，可以确定多个第二目标像素块中的指定像素块，以便确定多个第二目标像素块中各个第二目标像素块对应的权重。其中，指定像素块可以为第一目标像素块对应到第一图像帧中，与其真正匹配的像素块，或者真实匹配的概率大于预设概率的像素块。

在一些实施方式中，电子设备获取多个第二目标像素块中的指定像素块，可以包括：从所述多个第一运动矢量中获取模值最小的第一运动矢量；获取所述第一运动矢量对应的第二目标像素块作为指定像素块。可以理解地，若视频图像的某个区域存在多个相同或相似的物体，则进行块匹配时，与第二像素块真正匹配的像素块应当相对其他像素块距离更近，因此，可以基于上述得到的第一运动矢量的模值，确定模值最小的第一运动矢量对应的第二目标像素块作为指定像素块，通过此方式得到的指定像素块在通常情况下为与第一目标像素块真正匹配的第二目标像素块。

在另一些实施方式中，由于是针对存在高频出现的重复物体的场景，并且相邻两帧图像帧中，重复物体所在区域中物体的分布不会发生变化，因此可以基于第一图像帧以及第二图像帧中重复物体的分布，确定上述指定像素块。例如，待处理视频为拍摄的行驶中汽车的视频，其进气栅格所在区域中，包括多个竖直的栅格，从左往右依次为：栅格1、栅格2、…、栅格19和栅格20，若上述第一目标像素块的位置位于栅格2中，从第一图像帧中匹配到的多个第二目标像素块分别位于栅格1、栅格2和栅格3，则可以确定出位于栅格2的第二目标像素块作为上述指定像素块。当然，具体确定上述指定像素块的方式可以不做限定。

步骤S250：获取所述指定像素块对应的权重，以及所述多个第二目标像素块中除所述指定像素块的其他像素块对应的权重，其中，所述指定像素块对应的权重大于所述其他像素块对应的权重。

在本申请实施例中，从上述多个第二目标像素块中确定出指定像素块之后，则可以确定各个第二目标像素块对应的权重，其中，指定像素块对应的权重大于其他像素块对应的权重。

在一些实施方式中，电子设备可以将指定像素块对应的权重确定为第一权重，以及将多个第二目标像素块中除指定像素块的其他像素块对应的权重确定为第二权重或第三权重，其中，第一权重、第二权重以及第三权重依次减小，且多个第二目标像素块对应的权重之和为1。由此，保证指定像素块对应的权重大于其他像素块对应的权重，使干扰运动矢量的像素块所对应的权重相对较低，以提升计算的运动矢量的准确性。

作为一种可能的实施方式，与第一目标像素块匹配的第二目标像素块中，可能一些第二目标像素块位于第一目标像素块对应的运动方向上，也可能不位于第一目标像素块对应的运动方向上。电子设备确定其他像素块对应的权重时，可以获取第一目标像素块对应的运动方向；若其他像素块中未处于运动方向的像素块相对运动方向对称，将未处于运动方向的像素块对应的权重确定为第二权重；将其他像素块中处于运动方向的像素块对应的权重确定为第三权重。可以理解地，由于其他像素块中未处于运动方向的像素块相对运动方向对称，因此，这些像素块对应的第一运动矢量在后续进一步加权计算运动矢量时，会相互抵消，不会对计算的运动矢量产生影响。从而，可以将这些不会产生影响的像素块对应的权重设置为相对第三权重较高的第二权重，而其他像素块中处于运动方向的像素块对应的权重确定为相对较低的第三权重，由于多个第二目标像素块的和值为1，因此可以使其他像素块中处于运动方向的像素块对应的权重更低，而其他像素块中处于运动方向的像素块正是会对计算运动矢量造成干扰的像素块，因此可以进一步削弱这些像素块的干扰，提升后续计算的运动矢量的准确性。

步骤S260：基于所述指定像素块对应的权重，以及所述其他像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量。

在本申请实施例中，在确定出指定像素块对应的权重，以及其他像素块对应的权重后，则可以根据各个第二目标像素块对应的权重，对多个第一运动矢量进行加权计算，得到第一目标像素块对应的运动矢量。

步骤S270：基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

在本申请实施例中，步骤S270可以参阅前述实施例的内容，在此不再赘述。

本申请实施例提供的视频处理方法，可以实现对待处理视频进行插帧处理的过程中，在存在像素块在参考帧中有多个匹配的像素块的情况下计算运动矢量时，从多个匹配的像素块中，确定出不会对运动矢量的计算产生干扰的像素块以及会产生干扰的像素块，然后将不会对运动矢量的计算产生干扰的像素块对应的权重设置的相对较高，而将会产生干扰的像素块对应的权重设置的相对较低，再根据各个像素块对应的权重，对针对各个像素块所计算的运动矢量进行加权计算，因此可以减少会产生干扰的像素块对运动矢量计算的影响，提升获得的运动矢量的准确性，从而提升插帧处理的准确性，保证插帧效果。

请参阅图3，图3示出了本申请又一个实施例提供的视频处理方法的流程示意图。该视频处理方法应用于上述电子设备，下面将针对图3所示的流程进行详细的阐述，所述视频处理方法具体可以包括以下步骤：

步骤S310：将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将所述待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，所述第一图像帧以及第二图像帧为相邻的图像帧。

步骤S320：获取所述目标数量的第二像素块中存在的第一目标像素块，所述目标数量的第一像素块中存在与所述第一目标像素块匹配的多个第二目标像素块。

步骤S330：获取所述第一目标像素块相对所述多个第二目标像素块中每个第二目标像素块的运动矢量，得到多个第一运动矢量。

在本申请实施例中，步骤S310至步骤S330可以参阅前述实施例的内容，在此不再赘述。

步骤S340：基于所述多个第一运动矢量中每个第一运动矢量对应的模值，确定所述每个第一运动矢量对应的第二目标像素块的权重，其中，指定像素块对应的模值最小，所述第一运动矢量对应的第二目标像素块的权重与所述第一运动矢量的模值呈负相关，所述多个第二目标像素块对应的权重之和为1。

在本申请实施例中，若视频图像的某个区域存在多个相同或相似的物体，则进行块匹配时，与第二像素块真正匹配的像素块应当相对其他像素块距离更近，因此，可以基于上述得到的第一运动矢量的模值，确定每个第一运动矢量对应的第二目标像素块的权重，并且指定像素块的模值最小，第一运动矢量对应的第二目标像素块的权重与第一运动矢量的模值呈负相关，多个第二目标像素块对应的权重之和为1。由此，可以保证指定像素块对应的权重大于其他像素块对应的权重，使干扰运动矢量的像素块所对应的权重相对较低，以提升计算的运动矢量的准确性；并且，模值越大的第一运动矢量对应的第二目标像素块与第一目标像素块真正匹配的概率也越低，与第一目标像素块真正匹配的概率越低时，对运动矢量的计算造成干扰的可能性也就越大，因此，将其对应的权重设置的也越低，从而能够更为准确地提升计算的运动矢量的准确性。

在一些实施方式中，电子设备中可以存储有和值为1的多个权重的不同组合，其中，不同组合中包括不同数量的权重构成的至少一个组合，并且每个组合中的多个权重的大小不同。电子设备可以根据多个第二目标像素块的数量，确定出与其匹配的至少一个组合，然后根据确定出的组合中权重的大小，以及每个第一运动矢量对应的模值，确定每个第一运动矢量对应的第二目标像素块的权重。当然，电子设备根据第一运动矢量的模值确定每个第二目标像素块的权重的具体方式可以不做限定。

步骤S350：基于所述每个第二目标像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量。

步骤S360：基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

在本申请实施例中，步骤S350以及步骤S360可以参阅前述实施例的内容，在此不再赘述。

在本申请实施例中，可以实现对待处理视频进行插帧处理的过程中，在存在像素块在参考帧中有多个匹配的像素块的情况下计算运动矢量时，基于各个匹配的像素块所计算出的运动矢量的模值，按照权重与模值呈负相关的关系，确定各个像素块对应的权重，从而使会对运动矢量的计算产生干扰的像素块对应的权重设置的相对较低，再根据各个像素块对应的权重，对针对各个像素块所计算的运动矢量进行加权计算，因此可以减少会产生干扰的像素块对运动矢量计算的影响，提升获得的运动矢量的准确性，从而提升插帧处理的准确性，保证插帧效果。

请参阅图4，图4示出了本申请再一个实施例提供的视频处理方法的流程示意图。该视频处理方法应用于上述电子设备，下面将针对图4所示的流程进行详细的阐述，所述视频处理方法具体可以包括以下步骤：

步骤S410：将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将所述待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，所述第一图像帧以及第二图像帧为相邻的图像帧。

步骤S420：获取所述目标数量的第二像素块中存在的第一目标像素块，所述目标数量的第一像素块中存在与所述第一目标像素块匹配的多个第二目标像素块。

步骤S430：基于所述每个第二目标像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量，其中，所述多个第二目标像素块中指定像素块对应的权重大于除所述指定像素块以外的其他像素块对应的权重。

在本申请实施例中，步骤S410至步骤S430可以参阅前述实施例的内容，在此不再赘述。

步骤S440：获取所述目标数量的第二像素块中存在的第三目标像素块，所述目标数量的第一像素块中存在与所述第三目标像素块匹配的1个第四目标像素块。

在本申请实施例中，通常视频中除了包括高频出现某类物体的区域以外，还包括其他的运动区域，而其他的运动区域中的像素块进行块匹配时，通常不会匹配到多个像素块。因此，电子设备可以将第二图像帧中匹配到1个第一像素块的第二像素块作为第三目标像素块，而与第三目标像素块匹配的第一像素块作为第四目标像素块。

步骤S450：获取所述第三目标像素块相对所述第四目标像素块的运动矢量，作为第二运动矢量。

在本申请实施例中，电子设备针对第三目标像素块，可以获取第三目标像素块相对第四目标像素块的运动矢量，作为第二运动矢量。由此，可以得到不包含高频出现某类物体的区域的其他区域中各个像素块的运动矢量，以便针对性地生成插帧图像，从而提升插帧处理的准确性。

步骤S460：基于所述第一目标像素块对应的运动矢量，以及第二运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

在本申请实施例中，电子设备在获取到第三目标像素块相对第四目标像素块的运动矢量，即获取到第二运动矢量之后，则可以基于第一目标像素块对应的运动矢量，以及第二运动矢量，生成插帧图像，并将插帧图像插入至第一图像帧与第二图像帧之间，完成待处理视频中第一图像帧与第二图像帧之间的插帧处理。其中，根据运动矢量生成插帧图像的方式可以不做限定，例如，可以采用像素插值的方式生成插帧图像。

本申请实施例提供的视频处理方法，可以实现对待处理视频进行插帧处理的过程中，在存在像素块在参考帧中有多个匹配的像素块的情况下计算运动矢量时，基于各个匹配的像素块所计算出的运动矢量的模值，按照权重与模值呈负相关的关系，确定各个像素块对应的权重，从而使会对运动矢量的计算产生干扰的像素块对应的权重设置的相对较低，再根据各个像素块对应的权重，对针对各个像素块所计算的运动矢量进行加权计算，因此可以减少会产生干扰的像素块对运动矢量计算的影响，提升像素块在参考帧中有多个匹配的像素块的情况下，获得的此类像素块的运动矢量的准确性；另外，对于不存在多个匹配像素块的此类像素块，则直接根据匹配的像素块计算运动矢量，然后根据两种类型的像素块对应的运动矢量，进行插帧处理，从而实现针对不同区域的像素块采用不同的方式计算运动矢量，进而提升插帧处理的准确性，保证插帧效果。

请参阅图5，其示出了本申请实施例提供的一种视频处理装置400的结构框图。该视频处理装置400应用上述的电子设备，该视频处理装置400包括：分块处理模块410、像素块获取模块420、第一矢量获取模块430、第二矢量获取模块440以及插帧处理模块450。其中，所述分块处理模块410用于将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将所述待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，所述第一图像帧以及第二图像帧为相邻的图像帧；所述像素块获取模块420用于获取所述目标数量的第二像素块中存在的第一目标像素块，所述目标数量的第一像素块中存在与所述第一目标像素块匹配的多个第二目标像素块；所述第一矢量获取模块430用于获取所述第一目标像素块相对所述多个第二目标像素块中每个第二目标像素块的运动矢量，得到多个第一运动矢量；所述第二矢量获取模块440用于基于所述每个第二目标像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量，其中，所述多个第二目标像素块中指定像素块对应的权重大于除所述指定像素块以外的其他像素块对应的权重；所述插帧处理模块450用于基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

在一些实施方式中，第二矢量获取模块440可以用于：获取所述多个第二目标像素块中的指定像素块；获取所述指定像素块对应的权重，以及所述多个第二目标像素块中除所述指定像素块的其他像素块对应的权重，其中，所述指定像素块对应的权重大于所述其他像素块对应的权重；基于所述指定像素块对应的权重，以及所述其他像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量。

作为一种可能的实施方式，第二矢量获取模块440获取所述多个第二目标像素块中的指定像素块，可以包括：从所述多个第一运动矢量中获取模值最小的第一运动矢量；获取所述第一运动矢量对应的第二目标像素块作为指定像素块。

作为一种可能的实施方式，第二矢量获取模块440获取所述指定像素块对应的权重，以及所述多个第二目标像素块中除所述指定像素块的其他像素块对应的权重，可以包括：将所述指定像素块对应的权重确定为第一权重，以及将所述多个第二目标像素块中除所述指定像素块的其他像素块对应的权重确定为第二权重或第三权重，所述第一权重、所述第二权重以及所述第三权重依次减小。

可选地，第二矢量获取模块440将所述多个第二目标像素块中除所述指定像素块的其他像素块确定为第二权重或第三权重，可以包括：获取所述第一目标像素块对应的运动方向；若所述其他像素块中未处于所述运动方向的像素块相对所述运动方向对称，将所述未处于所述运动方向的像素块对应的权重确定为第二权重；将所述其他像素块中处于所述运动方向的像素块对应的权重确定为第三权重。

在一些实施方式中，第二矢量获取模块440可以用于：基于所述多个第一运动矢量中每个第一运动矢量对应的模值，确定所述每个第一运动矢量对应的第二目标像素块的权重，其中，所述指定像素块对应的模值最小，所述第一运动矢量对应的第二目标像素块的权重与所述第一运动矢量的模值呈负相关，所述多个第二目标像素块对应的权重之和为1；基于所述每个第二目标像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量。

在一些实施方式中，该视频处理装置400还可以包括：第三矢量获取模块。像素块获取模块420还可以用于在所述基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理之前，获取所述目标数量的第二像素块中存在的第三目标像素块，所述目标数量的第一像素块中存在与所述第三目标像素块匹配的1个第四目标像素块；第三矢量获取模块可以用于获取所述第三目标像素块相对所述第四目标像素块的运动矢量，作为第二运动矢量。插帧处理模块450可以用于：基于所述第一目标像素块对应的运动矢量，以及第二运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

在一些实施方式中，该视频处理装置400还可以包括：物体检测模块。物体检测模块用于检测所述第一图像帧以及第二图像帧中是否存在多个重复物体，其中，所述重复物体之间的相似度大于预设相似度；若存在多个重复物体，像素块获取模块420获取所述目标数量的第二像素块中存在的第一目标像素块。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请提供的方案，通过将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，该第一图像帧以及该第二图像帧为相邻的图像帧，获取目标数量的第二像素块中存在的第一目标像素块，该目标数量的第一像素块中存在与该第一目标像素块匹配的多个第二目标像素块，然后获取第一目标像素块相对多个第二目标像素块中每个第二目标像素块的运动矢量，得到多个第一运动矢量，再基于每个第二目标像素块对应的权重，对多个第一运动矢量进行加权计算，得到第一目标像素块对应的运动矢量，其中，多个第二目标像素块中指定像素块对应的权重大于除指定像素块以外的其他像素块对应的权重，然后基于第一目标像素块对应的运动矢量，在待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。由此，当存在像素块在参考帧中有多个匹配的像素块的情况下计算运动矢量时，除指定像素块以外的像素块的权重会相对指定像素块的权重较低，因此可以减少一些像素块所带来的干扰，提升获得的运动矢量的准确性，从而提升插帧处理的准确性，保证插帧效果。

请参考图6，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图7，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种视频处理方法，其特征在于，所述方法包括：

将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将所述待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，所述第一图像帧以及第二图像帧为相邻的图像帧；

获取所述目标数量的第二像素块中存在的第一目标像素块，所述目标数量的第一像素块中存在与所述第一目标像素块匹配的多个第二目标像素块；

获取所述第一目标像素块相对所述多个第二目标像素块中每个第二目标像素块的运动矢量，得到多个第一运动矢量；

从所述多个第一运动矢量中获取模值最小的第一运动矢量；

获取所述第一运动矢量对应的第二目标像素块作为指定像素块；

获取所述指定像素块对应的权重，以及所述多个第二目标像素块中除所述指定像素块的其他像素块对应的权重，其中，所述指定像素块对应的权重大于除所述指定像素块以外的其他像素块对应的权重；

基于所述指定像素块对应的权重，以及所述其他像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量；

基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

2.根据权利要求1所述的方法，其特征在于，所述获取所述指定像素块对应的权重，以及所述多个第二目标像素块中除所述指定像素块的其他像素块对应的权重，包括：

将所述指定像素块对应的权重确定为第一权重，以及将所述多个第二目标像素块中除所述指定像素块的其他像素块对应的权重确定为第二权重或第三权重，所述第一权重、所述第二权重以及所述第三权重依次减小，所述多个第二目标像素块对应的权重之和为1。

3.根据权利要求1所述的方法，其特征在于，所述将所述多个第二目标像素块中除所述指定像素块的其他像素块确定为第二权重或第三权重，包括：

获取所述第一目标像素块对应的运动方向；

若所述其他像素块中未处于所述运动方向的像素块相对所述运动方向对称，将所述未处于所述运动方向的像素块对应的权重确定为第二权重；

将所述其他像素块中处于所述运动方向的像素块对应的权重确定为第三权重。

4.根据权利要求1所述的方法，其特征在于，所述基于所述指定像素块对应的权重，以及所述其他像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量，包括：

基于所述多个第一运动矢量中每个第一运动矢量对应的模值，确定所述每个第一运动矢量对应的第二目标像素块的权重，其中，所述指定像素块对应的模值最小，所述第一运动矢量对应的第二目标像素块的权重与所述第一运动矢量的模值呈负相关，所述多个第二目标像素块对应的权重之和为1；

基于所述每个第二目标像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量。

5.根据权利要求1-4任一项所述的方法，其特征在于，在所述基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理之前，所述方法还包括：

获取所述目标数量的第二像素块中存在的第三目标像素块，所述目标数量的第一像素块中存在与所述第三目标像素块匹配的1个第四目标像素块；

获取所述第三目标像素块相对所述第四目标像素块的运动矢量，作为第二运动矢量；

所述基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理，包括：

基于所述第一目标像素块对应的运动矢量，以及第二运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

6.根据权利要求1-4任一项所述的方法，其特征在于，在所述获取所述目标数量的第二像素块中存在的第一目标像素块之前，所述方法还包括：

检测所述第一图像帧以及第二图像帧中是否存在多个重复物体，其中，所述重复物体之间的相似度大于预设相似度；

若存在多个重复物体，则执行所述获取所述目标数量的第二像素块中存在的第一目标像素块的步骤。

7.一种视频处理装置，其特征在于，所述装置包括分块处理模块、像素块获取模块、第一矢量获取模块、第二矢量获取模块以及插帧处理模块，其中，

所述分块处理模块用于将待处理视频中第一图像帧进行预设分块处理，得到目标数量的第一像素块，以及将所述待处理视频中第二图像帧进行预设分块处理，得到目标数量的第二像素块，所述第一图像帧以及第二图像帧为相邻的图像帧；

所述像素块获取模块用于获取所述目标数量的第二像素块中存在的第一目标像素块，所述目标数量的第一像素块中存在与所述第一目标像素块匹配的多个第二目标像素块；

所述第一矢量获取模块用于获取所述第一目标像素块相对所述多个第二目标像素块中每个第二目标像素块的运动矢量，得到多个第一运动矢量；

所述第二矢量获取模块用于从所述多个第一运动矢量中获取模值最小的第一运动矢量；获取所述第一运动矢量对应的第二目标像素块作为指定像素块；获取所述指定像素块对应的权重，以及所述多个第二目标像素块中除所述指定像素块的其他像素块对应的权重，其中，所述指定像素块对应的权重大于除所述指定像素块以外的其他像素块对应的权重；基于所述指定像素块对应的权重，以及所述其他像素块对应的权重，对所述多个第一运动矢量进行加权计算，得到所述第一目标像素块对应的运动矢量；

所述插帧处理模块用于基于所述第一目标像素块对应的运动矢量，在所述待处理视频中的第一图像帧与第二图像帧之间进行插帧处理。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。

9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。