CN103647973B - 一种帧率上采样的方法和装置 - Google Patents

Abstract

本发明实施例公开了一种帧率上采样的方法和装置，涉及图像处理领域，用以减少插值帧中的块效应，从而提高用户观赏视频时的观赏体验。本发明实施例提供的方法包括：确定第一图像中的当前块的位置、当前块相对第二图像中的一匹配块的运动向量以及与当前块对应的相似块；根据当前块的位置和当前块相对匹配块的运动向量，获取待插值帧中的与当前块对应的待插值块的位置；基于加权算法获取相似块的像素值相对当前块的像素值的权重值；将相似块的像素值乘以权重值，得到待插值块的像素值；将待插值块的像素值插入待插值块的位置。

Description

一种帧率上采样的方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及一种帧率上采样的方法和装置。

背景技术

视频帧率（Frame rate）是指每秒显示的帧数（Frames per Second，FPS）。视频帧率越大，运动画面的平顺度就越好，这样，用户的观赏体验就会越好。一般地，可以通过在待播放视频中相邻的两帧图像之间插入一个或者多个插值帧来提高视频帧率，可以将该方法称为帧率上采样（Frame Rate Up Conversion，FRUC）。

运动补偿帧率上采样（Motion Compensated Frame Rate Up Conversion，MC-FRUC）是一种帧率上采样的方法，主要包括运动估计（Motion Estimation，ME）过程和运动补偿插值（Motion Compensated Interpolation，MCI）过程两大部分。

运动估计过程具体可以为：将视频流中的每一帧图像分成许多互不重叠的宏块，并认为宏块内所有像素的位移量都相同；将当前帧的前一帧（第n-1帧图像）中的一个宏块作为当前块，在当前帧（第n帧图像）的某一特定搜索范围内根据一定的匹配准则找出与当前块最匹配的匹配块；计算当前块相对匹配块的运动向量。运动补偿插值具体可以为：根据运动估计的结果和一定的插值方法生成插值帧。移动块插值方法是一种常用的插值方法，具体的：将当前块的像素值插入与当前块相距L的位置，其中，L是指当前块相对匹配块的运动向量（mv）的一半，如图1所示。

由于相邻宏块（当前块）的运动向量一般不同，因此，移动块插值方法容易导致插值帧中块效应严重的问题，从而影响用户的观赏体验。

发明内容

本发明实施例提供了一种帧率上采样的方法和装置，用以减少插值帧中的块效应，从而提高用户观赏视频时的观赏体验。

第一方面，提供一种帧率上采样的方法，包括：

确定第一图像中的当前块的位置、所述当前块相对第二图像中的一匹配块的运动向量以及与所述当前块对应的相似块；

根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置；

基于加权算法获取所述相似块的像素值相对所述当前块的像素值的权重值；

将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值；

将所述待插值块的像素值插入所述待插值块的位置。

结合第一方面，在第一种可能的实现方式中，在所述获取所述相似块的像素值相对所述当前块的像素值的权重值之前，所述方法还包括：获取所述相似块的像素值相对所述当前块的像素值的差值的绝对值；

所述基于加权算法获取所述相似块的像素值相对所述当前块的像素值的权重值，包括：基于所述加权算法对所述差值的绝对值进行加权运算，得到所述相似块的像素值相对所述当前块的像素值的权重值。

结合第一方面，在第二种可能的实现方式中，在所述根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置之前，所述方法还包括：

按照相同的扩展倍率分别扩展所述当前块和所述相似块；

所述根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置，包括：

根据扩展后的所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与扩展后的所述当前块对应的待插值块的位置；

所述将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值，包括：

将扩展后的所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值。

结合第一方面，在第三种可能的实现方式中，在所述将所述待插值块的像素值插入所述待插值块的位置之后，所述方法还包括：

对所述待插值帧中重叠像素的像素值进行加权累加处理，得到所述重叠像素的中间像素值；

根据所述加权算法和所述重叠像素的中间像素值，确定所述重叠像素的目标像素值。

结合第一方面或者第一方面的第一种可能的实现方式至第三种可能的实现方式任一种，在第四种可能的实现方式中，所述相似块包括：所述匹配块；或者，所述第一图像的第一区域中的m个宏块，m≥1，所述m为整数。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述相似块为所述匹配块；所述方法还包括：

根据所述当前块的像素值和所述匹配块的像素值，获取修正块的像素值；修正块为一虚拟宏块，用于修正所述待插值块的像素值；

所述将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值，包括：

根据所述匹配块的像素值、所述修正块的像素值和所述权重值，得到所述待插值块的像素值。

结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述根据所述当前块的像素值和所述匹配块的像素值，获取修正块的像素值，包括：

将所述当前块的像素值与所述匹配块的像素值的均值作为修正块的像素值。

结合第一方面的第四种可能的实现方式，在第七种可能的实现方式中，所述相似块为所述第一图像的第一区域中的m个宏块；

所述获取所述相似块的像素值相对所述当前块的像素值的权重值，包括：

分别获取m个宏块中的n个宏块的像素值相对所述当前块的像素值的n个权重值；m≥n≥1，所述n为整数；

所述将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值，包括：

分别将所述n个相似块的像素值乘以n个权重值中对应的权重值，得到n个计算结果；对所述n个计算结果进行求和运算，得到所述待插值块的像素值。

第二方面，提供一种帧率上采样的装置，包括：

确定单元，用于确定第一图像中的当前块的位置、所述当前块相对第二图像中的一匹配块的运动向量以及与所述当前块对应的相似块；

位置获取单元，用于根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置；

权重值获取单元，用于基于加权算法获取所述相似块的像素值相对所述当前块的像素值的权重值；

像素值获取单元，用于将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值；

插值单元，用于将所述待插值块的像素值插入所述待插值块的位置。

结合第二方面，在第一种可能的实现方式中，所述权重值获取单元还用于，获取所述相似块的像素值相对所述当前块的像素值的差值的绝对值；

所述权重值获取单元具体用于，基于所述加权算法对所述差值的绝对值进行加权运算，得到所述相似块的像素值相对所述当前块的像素值的权重值。

结合第二方面，在第二种可能的实现方式中，所述装置还包括：

扩展单元，用于按照相同的扩展倍率分别扩展所述当前块和所述相似块；

所述位置获取单元具体用于，根据扩展后的所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与扩展后的所述当前块对应的待插值块的位置；

所述像素值获取单元具体用于，将扩展后的所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值。

结合第二方面，在第三种可能的实现方式中，所述像素值获取单元还用于：

对所述待插值帧中重叠像素的像素值进行加权累加处理，得到所述重叠像素的中间像素值；

根据所述加权算法和所述重叠像素的中间像素值，确定所述重叠像素的目标像素值。

结合第二方面或者第二方面的第一种可能的实现方式至第三种可能的实现方式任一种，在第四种可能的实现方式中，所述相似块包括：所述匹配块；或者，所述第一图像的第一区域中的m个宏块，m≥1，所述m为整数。

结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述相似块为所述匹配块；

所述像素值获取单元还用于，根据所述当前块的像素值和所述匹配块的像素值，获取修正块的像素值；修正块为一虚拟宏块，用于修正所述待插值块的像素值；

所述像素值获取单元具体用于，根据所述匹配块的像素值、所述修正块的像素值和所述权重值，得到所述待插值块的像素值。

结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述像素值获取单元具体用于，将所述当前块的像素值与所述匹配块的像素值的均值作为修正块的像素值。

结合第二方面的第四种可能的实现方式，在第七种可能的实现方式中，所述相似块为所述第一图像的第一区域中的m个宏块；

所述权重值获取单元具体用于，分别获取m个宏块中的n个宏块的像素值相对所述当前块的像素值的n个权重值；m≥n≥1，所述n为整数；

分别将所述n个相似块的像素值乘以n个权重值中对应的权重值，得到n个计算结果；对所述n个计算结果进行求和运算，得到所述待插值块的像素值。

本发明实施例提供的帧率上采样的方法和装置，通过确定当前块和与当前块对应的相似块获取与当前块对应的相似块的像素值相对当前块的像素值的权重值，并将获取的权重值乘以相似块的像素值，得到待插值块的像素值，利用得到的待插值块的像素值实现帧率上采样。由于当前块和与当前块对应的相似块在不断变化，因此针对不同的当前块可以获得不同的权重值，即可以动态获取权重值。相比现有技术的移动块插值方法中，直接将当前块的像素值作为待插值块的像素，本方案中在使用当前块的像素值以及动态获取的权重值获得待插值块的像素值，可以降低块效应，从而增强用户的观赏体验。

附图说明

为了更清楚地说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中的一种移动块插值方法的示意图；

图2为实施例一提供的一种帧率上采样的方法的流程示意图；

图3为实施例1提供的一种帧率上采样的方法的流程示意图；

图4为实施例1提供的一种表示权重值与绝对误差的变化关系的示意图；

图5为实施例1提供的一种移动块插值方法的示意图；

图6为实施例1提供的另一种帧率上采样的方法的流程示意图；

图7为实施例2提供的一种帧率上采样的方法的流程示意图；

图8为实施例2提供的一种表示扩展后的当前块与当前块的位置关系的示意图；

图9为实施例2提供的一种移动块插值方法的示意图；

图10为实施例2提供的另一种帧率上采样的方法的流程示意图；

图11为实施例3提供的一种帧率上采样的方法的流程示意图；

图12为实施例3提供的一种表示当前块与其对应的相似块的位置关系的示意图；

图13为实施例3提供的一种移动块插值方法的示意图；

图14为实施例二提供的一种帧率上采样的装置的结构示意图；

图15为实施例二提供的另一种帧率上采样的装置的结构示意图；

图16为实施例三提供的一种帧率上采样的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了清楚理解本发明实施例，下面对本发明实施例中的一些要素进行解释：

（1）当前帧、当前帧的前一帧

当前帧是指第n帧图像；前帧的前一帧是指第n-1帧图像。其中，n≥2，n为整数。

（2）插值帧、待插值帧

插值帧是指已经完成插值的图像；待插值帧是指还未完成插值的图像。插值帧和待插值帧均可以称为虚拟帧（即并非视频流本身中的图像，而是通过帧率上采样方法得到的图像）。

（3）第一图像、第二图像

第一图像和第二图像可以为一视频流中的任意两帧图像，本发明实施例中均以其为相邻的两帧图像为例进行说明。其中，第一图像可以为第二图像的前一帧图像，也可以为第二图像的后一帧图像。例如，第一图像为当前帧图像，第二图像为当前帧的前一帧图像；又如，第一图像为当前帧的前一帧图像，第二图像为当前帧图像。

在视频流的相邻帧之间插入一帧图像的场景中，第一图像和第二图像可以为该视频流本身的图像；在视频流的相邻帧之间插入多帧图像的场景中，第一图像和第二图像可以为该视频流本身的图像，也可以为该视频流插值完成后的图像（即插值帧）。

（4）宏块

将一帧图像等分成若干部分，每一部分称为一个宏块（Macro Block）。一般地，每个宏块为一正方形，若该图像的宽（width）和/或高（height）不能整除该宏块的边长，则将图像宽高扩展成宏块的整数倍。

（5）当前块

将一帧图像中、当前时刻正在处理的的宏块称为当前块。本发明实施例中，当前块所在的图像为第一图像。一般地，按照宏块在图像中所处位置从上到下、从左到右的顺序依次处理该图像中的宏块。

（6）匹配块

匹配块是相对当前块而言的，可以描述为与当前块对应的匹配块。本发明实施例中，匹配块所在的图像为第二图像。匹配块可以为一完整宏块，也可以为由多个部分宏块组合而成的一个块；一般地，匹配块为一正方形，其边长与宏块的边长相等。

（7）待插值块

待插值块是相对当前块而言的，可以描述为与当前块对应的待插值块。待插值块所在的图像为待插值帧，

（8）相似块

相似块是相对当前块而言的，可以描述为与当前块对应的相似块。具体是指，获取与当前块对应的待插值块的像素时所使用的、除当前块之外的块。

（9）修正块

修正块为一虚拟宏块，用于修正待插值块的像素值。

（10）块的像素值

块的像素值是指该块中的所有点的像素值之和。例如，匹配块的像素值是指该匹配块中所有点的像素值之和；又如，当前块的像素值是指当前块中的所有点的像素值之和。

另外，本发明实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本发明实施例中字符“/”，一般表示前后关联对象是一种“或”的关系。

实施例一

如图2所示，为本发明实施例提供的一种帧率上采样的方法，包括：

201：确定第一图像中的当前块的位置、所述当前块相对第二图像中的一匹配块的运动向量以及与所述当前块对应的相似块。

示例性的，本发明实施例是对运动补偿帧率上采样的方法的改进，主要是对运动补偿帧率上采样的方法中的运动补偿插值过程的改进。

当前块的位置可以用坐标表示，具体可以用当前块的中心点、任一顶点或者该当前块中的其他点的坐标表示。需要说明的是，在具体实现时，需要合理选择使用当前块中的某一个点的坐标表示该当前块的位置。

第二图像中与当前块对应的匹配块，以及当前块相对该匹配块的运动向量可以在运动估计过程中获得。本发明实施例对实现运动估计的方法不进行限定，可以为现有技术中的任一种方法。例如，可以使用全搜索法(Full Search)、钻石搜索法等获取第二图像中与当前块对应的匹配块。

需要说明的是，具体实现时，在运动估计过程之后，为了提高运动估计过程获得的运动向量的精确度，可以对运动向量进行优化处理，具体可以包括：运动向量判定优化过程、运动向量平滑过程等。因此，步骤201中的“当前块相对第二图像中的一匹配块的运动向量”还可以为：对运动估计过程获得的运动向量进行优化处理之后，得到的运动向量。本发明实施例对具体的优化处理方法不进行限定。以下实施例中所提到的运动向量，均以运动估计过程中得到的运动向量为例进行说明。

另外需要说明的是，由于运动估计的过程可以描述为：以第一图像中的当前块为参考，在第二图像中搜索与当前块对应的匹配块。因此，还可以将第一图像称为参考帧，第二图像称为搜索帧。例如，若第一图像为当前帧（第n帧图像）、第二图像为当前帧的前一帧（第n-1帧图像），则第n帧为参考帧、第n-1帧为搜索帧；又如，若第一图像为当前帧的前一帧（第n-1帧图像），第二图像为当前帧（第n帧图像），则第n-1帧为参考帧，第n帧为搜索帧。

可选的，所述相似块包括但不限于以下两种：

（1）所述匹配块；（2）所述第一图像的第一区域中的m个宏块，m≥1，所述m为整数。

示例性的，第一区域可以由当前块的邻域和/或时域对应的宏块的邻域构成，本发明实施例对m的取值不进行限定。

202：根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置。

示例性的，步骤202具体可以为：将待插值帧中与当前块相距L的位置作为待插值帧中的与该当前块对应的待插值块的位置，其中，L是指当前块相对所述匹配块的运动向量的一半。一般地，假设当前块的坐标为（x1，y1），当前块相对所述匹配块的运动向量为（a，b），则当第一图像为第二图像的前一帧图像时，待插值帧中的与该当前块对应的待插值块的位置的坐标为：当第一图像为第二图像的后一帧图像时，待插值帧中的与该当前块对应的待插值块的位置的坐标为：

203：基于加权算法获取所述相似块的像素值相对所述当前块的像素值的权重值。

示例性的，本发明实施例对确定相似块的像素值相对当前块的像素值的权重值时，所使用的参考指标不进行限定。例如，该参考指标可以为相似块的像素值相对当前块的像素值的差值的绝对值（Sum of Absolute Difference，SAD），相似块中的某一点的像素值相对该点在当前块中对应的点的像素值的绝对误差（Absolute Difference，AD）等，其中，相似块中的某一点相对该点在当前块中对应的点可以具体为：相似块中的左上顶点相对当前块中的左上顶点，或者，相似块中的中心点相对当前块中的中心点等。

本发明实施例对具体的加权算法不进行限定，可以为现有技术中的满足“参考指标（例如SAD或者SD）越大权重值越小”的规律的任一种加权算法。例如，可以为：高斯加权算法、线性加权算法、三角函数加权算法、自定义窗函数加权算法等。

在本发明的一个实施例中，在步骤203之前，该方法还可以包括：获取所述相似块的像素值相对所述当前块的像素值的差值的绝对值。该情况下，步骤203具体可以包括：基于所述加权算法对所述差值的绝对值进行加权运算，得到所述相似块的像素值相对所述当前块的像素值的权重值。

进一步地，为了减少插值帧中的空洞（空洞是指没有插入像素值的部分），从而提高用户的观赏体验，发明提供下述实施例，具体的：

在本发明的一个实施例中，在步骤202之前，该方法还包括：按照相同的扩展倍率分别扩展所述当前块和所述相似块。

该情况下，步骤202具体包括：根据扩展后的所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与扩展后的所述当前块对应的待插值块的位置。步骤204具体包括：将扩展后的所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值。

示例性的，本发明实施例扩展倍率的取值不进行限定，可以根据经验和具体场景进行设置。例如，经反复实验得出：在智真小幅度运动场景中，扩展倍率为2时，去除空洞的效果较好，且运动物体边界处扭曲和重影较小。

另外，需要说明的是，该情况下，步骤203还可以为：获取扩展后的相似块的像素相对扩展后的当前块像素值的权重值，将该权重值作为相似块的像素相对当前块像素值的权重值。

204：将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值。

在本发明的一个实施例中，所述相似块为所述第一图像的第一区域中的m个宏块；步骤203具体包括：分别获取m个宏块中的n个宏块的像素值相对所述当前块的像素值的n个权重值；m≥n≥1，所述n为整数。步骤204具体包括：分别将所述n个相似块的像素值乘以n个权重值中对应的权重值，得到n个计算结果；对所述n个计算结果进行求和运算，得到所述待插值块的像素值。

205：将所述待插值块的像素值插入所述待插值块的位置。

示例性的，将第一图像中的每个宏块作为当前块，执行步骤201-205之后，运动补偿插值过程完成，待插值帧成为了插值帧。该插值帧中的任一点的像素值为覆盖在该点的所有像素的和。

进一步地，在图像（包括第一图像和第二图像）中包含两个/多个运动物体，或者运动物体旋转、缩放、光照变化的场景中，运动估计过程确定的运动向量往往不精确。另外，当图像中运动物体出现遮挡时，由于被遮挡的块只存在于当前帧或者当前帧的前一帧中，所以利用两帧进行运动估计过程搜索不到遮挡部分的匹配块，该情况下，获得的匹配块可能是错误的。为了减少不精确的运动向量对帧率上采样的结果产生的影响，本发明提供下述实施例，具体的：

在本发明的一个实施例中，所述相似块为所述匹配块；该方法还可以包括：根据所述当前块的像素值和所述匹配块的像素值，获取修正块的像素值；修正块为一虚拟宏块，用于修正所述待插值块的像素值。该情况下，步骤204具体包括：根据所述匹配块的像素值、所述修正块的像素值和所述权重值，得到所述待插值块的像素值。

示例性的，本发明实施例对根据所述当前块的像素值和所述匹配块的像素值，获取修正块的像素值的具体方法不进行限定。例如，可以具体为：将所述当前块的像素值与所述匹配块的像素值的均值作为修正块的像素值。

可选的，在步骤205之后，该方法还可以包括：

A）对所述待插值帧中重叠像素的像素值进行加权累加处理，得到所述重叠像素的中间像素值；

B）根据所述加权算法和所述重叠像素的中间像素值，确定所述重叠像素的目标像素值。

示例性的，重叠像素是指被重复覆盖的像素。由于步骤201中的当前块可以为第一图像中的任一宏块，因此，在执行步骤205之后，待插值帧中可能存在重叠像素。

关于步骤A）和步骤B）的应用可以包括但不限于以下两种方式：方式1、在将第一图像中的任一宏块作为当前块执行步骤201-204之后，执行步骤A）和步骤B）；方式2、在将第一图像中的每个宏块作为当前块执行步骤201-204之后，执行步骤A）和步骤B）。由于在待插值帧生成插值帧的过程中，一重复像素可能被覆盖多次，若按照方式1，需要多次执行步骤A）和步骤B），因此，具体实现时，一般使用方式2，下述具体实施例中以方式2为例进行说明。

进一步地，本实施例中将方式2得到的待插值帧称为插值帧，由于插值帧中可能存在空洞，具体实现时，该方法还可以包括：对插值帧进行填补空洞的处理，其中，填补空洞的处理方法可以使用现有技术中的方法实现，此处不再描述。

本发明实施例提供的帧率上采样的方法，通过确定当前块和与当前块对应的相似块获取与当前块对应的相似块的像素值相对当前块的像素值的权重值，并将获取的权重值乘以相似块的像素值，得到待插值块的像素值，利用得到的待插值块的像素值实现帧率上采样。由于当前块和与当前块对应的相似块在不断变化，因此针对不同的当前块可以获得不同的权重值，即可以动态获取权重值。相比现有技术的移动块插值方法中，直接将当前块的像素值作为待插值块的像素，本方案中在使用当前块的像素值以及动态获取的权重值获得待插值块的像素值，可以降低块效应，从而增强用户的观赏体验。

下面通过具体的实施例对实施例一中描述的帧率上采样的方法进行示例性说明。

实施例1

本实施例中，相似块为匹配块，且不对当前块和相似块进行扩展；另外，第一图像和第二图像为一视频流中相邻的两帧图像。本实施例中将第一图像分为R个宏块，每个宏块包含S个像素，S=16×16。

如图3所示，为本发明实施例提供的一种帧率上采样的方法，包括：

301：输入第一图像和第二图像。

302：在第二图像中确定与第一图像中的每个宏块对应的匹配块，以及每个宏块相对其对应的匹配块的运动向量。

示例性的，该步骤302可以称为运动估计过程，本实施例对具体的实现方式不进行限定。

303：将第一图像中的第i个宏块作为当前块；确定当前块的位置、与当前块对应的匹配块，当前块相对匹配块的运动向量。

其中，1≤i≤R，i为整数，i的初始值为1。

示例性的，“当前块相对匹配块的运动向量”中的“匹配块”是指：与当前块对应的匹配块，以下步骤中的“匹配块”均是指：与当前块对应的匹配块。

由于本实施例中不对当前块和相似块（匹配块）进行扩展，因此，可以使用当前块的中心点的坐标表示当前块的位置，使用匹配块的中心点的坐标表示匹配块的位置。

假设当前块的中心点的坐标为（x1，y1），匹配块的中心点的坐标为（x2，y2），则当第一图像为第n-1帧图像、第二图像为第n帧图像时，当前块相对匹配块的运动向量为：（x2-x1，y2-y1）；当第一图像为第n帧图像、第二图像为第n-1帧图像时，当前块相对匹配块的运动向量为：（x1-x2，y1-y2）。

304：根据当前块的位置和当前块相对匹配块的运动向量，获取待插值帧中的与当前块对应的待插值块的位置。

示例性的，按照实施例一中的描述，针对步骤303中的示例，步骤304可以具体为：

当第一图像为第n-1帧图像、第二图像为第n帧图像时，插值帧中的与当前块对应的待插值块的位置可以表示为: 即

当第一图像为第n帧图像、第二图像为第n-1帧图像时，插值帧中的与当前块对应的待插值块的位置可以表示为: 即

由此可知，无论第一图像是第二图像的前一帧图像还是后一帧图像，只要确定当前块的坐标和匹配块的坐标，即可确定与当前块对应的待插值块的坐标。

305：获取匹配块的像素值相对当前块的像素值的差值的绝对值。

示例性的，匹配块中的第s个像素的像素值相对当前块中的第s个像素的像素值的绝对误差AD(s)可以通过如下公式计算：

AD(s)=|MB_ref(s)-MB_search(s)|；

其中，MB_ref(s)是指第一图像（即参考帧）的当前块（MB_ref）中的第s个像素的像素值，MB_search(s)是指第二图像（即搜索帧）中与当前块对应的匹配块（MB_search）中的第s个像素的像素值。另外，按照步骤302中的示例，s∈{1，2，…，S}。

按照步骤303中的示例，匹配块的像素值相对当前块的像素值的差值的绝对值SAD可以通过如下公式计算：

$\mathrm{SAD}=\underset{s=1}{\overset{16\×16}{\mathrm{\Σ}}}|{\mathrm{MB}}_{\mathrm{ref}}\left(s\right)-{\mathrm{MB}}_{\mathrm{search}}\left(s\right)|.$

306：基于加权算法对该差值的绝对值进行加权运算，得到匹配块的像素值相对当前块的像素值的权重值。

示例性的，下面以加权算法为高斯加权算法对步骤306进行说明：

匹配块中的第s个像素的像素值相对当前块中的第s个像素的像素值的权重值w(s)可以根据以下公式获得：

$w\left(s\right)=\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{-\frac{|\mathrm{AD}\left(s\right)-\mathrm{\μ}|}{2{\mathrm{\σ}}^2}};$

其中，μ是指期望值可以固定取0；σ是指方差，一般可取固定值5或者10，当然不限于此。

匹配块的像素值相对当前块的像素值的权重值可以根据以下公式获得：

$w=\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{-\frac{|\mathrm{SAD}-\mathrm{\μ}|}{2{\mathrm{\σ}}^2}}.$

如图4所示，为σ取不同值时，w(s)与AD(s)之间的关系。由该图4可以看出，w(s)随着AD(s)的增加而减小，当AD(s)增大到一定程度时，w(s)趋于0。也就是说，当匹配块中的第s个像素的像素值与当前块中的第s个像素的像素值的差超过一定数值时，当前块中的第s个像素的像素值不会插入插值帧中。例如，取σ=10，由图4可知，当AD(s)超过30时，w(s)几乎降为0，也就是说，当匹配块中的第s个像素的像素值与当前块中的第s个像素的像素值的差超过30时，当前块中的第s个像素的像素值不会插入插值帧中。由此可知，当匹配块的像素值与当前块的像素值的差超过一定数值时，当前块中的像素值不会插入插值帧中。

307：将匹配块的像素值乘以权重值，得到待插值块的像素值。

示例性的，待插值块中的第s个像素的像素值MB_interpolate(s)可以根据以下公式获得：

MB_interpolate(s)=MB_search(s)w(s)；

待插值块的像素值可以根据以下公式获得：

$\underset{s=1}{\overset{S}{\mathrm{\Σ}}}{\mathrm{MB}}_{\mathrm{interpolate}}\left(s\right)=\underset{s=1}{\overset{S}{\mathrm{\Σ}}}{\mathrm{MB}}_{\mathrm{search}}\left(s\right).$

308：将待插值块的像素值插入待插值块的位置。

示例性的，本实施例中结合当前块的像素值、匹配块的像素值得到待插值块的像素值，并将待插值块的像素值插入待插值块的位置，如图5所示，其中，图5中第一图像为第n-1帧图像，第二图像为第n帧图像。

309：判断i是否大于等于R。

若否，则执行步骤310；若是，则执行步骤311。

示例性的，步骤309的判断结果为“是”，说明：已经在待插值帧中插入了第一图像中的每个宏块对应的待插入块。

310：i自加1。

步骤310之后，返回步骤303。

311：分别对待插值帧中每个重叠像素的像素值进行加权累加处理，得到每个重叠像素的中间像素值。

假设像素t为一重叠像素，则像素t的中间像素值ws(t)可以根据以下公式获得：

$\mathrm{ws}\left(t\right)=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{MB}}_{\mathrm{interpolate}}{\left(t\right)}_j\×w{\left(t\right)}_j;$

其中，J是指该像素t被重复覆盖的次数，即覆盖该像素t的待插值块的个数；MB_interpolate(s)_j是指覆盖该像素t的第j个待插值块（MB_interpolate），w(t)_j是指覆盖像素t的第j个待插值块（MB_interpolate）相对与第j个待插值块对应的当前块中相应像素的像素值的权重值。

312：根据步骤306中使用的加权算法和每个重叠像素的中间像素值，分别确定每个重叠像素的目标像素值，得到插值帧。

示例性的，按照步骤311中的示例，步骤312具体可以实现为：

像素t的权重和sw(t)可以通过以下公式获得：

像素t的目标像素值可以通过以下公式获得：

313：输出该插值帧。

可选的，如图6所示，步骤307可以用以下步骤307A-307B替换：

307A：将当前块的像素值与匹配块的像素值的均值作为修正块的像素值。

示例性的，分别将当前块中的每个像素的像素值与匹配块中相应像素的像素值求均值，得到修正块中相应像素的像素值。例如，将当前块中的第3个像素的像素值与匹配块中的第3个像素的像素值求均值，得到修正块中第3个像素的像素值。

307B：根据匹配块的像素值、修正块的像素值和步骤306中获得的权重值，得到待插值块的像素值。

示例性的，步骤307B可以包括但不限于通过以下方式实现：

待插值块中的第s个像素的像素值MB_interpolate(s)可以根据以下公式获得：

MB_interpolate(s)=MB_search(s)w(s)+MB_correct(1-w(s))；其中，MB_correct是指修正块。

待插值块的像素值可以根据以下公式获得：

$\underset{s=1}{\overset{S}{\mathrm{\Σ}}}{\mathrm{MB}}_{\mathrm{interpolate}}\left(s\right)=\underset{s=1}{\overset{S}{\mathrm{\Σ}}}[{\mathrm{MB}}_{\mathrm{search}}\left(s\right)+{\mathrm{MB}}_{\mathrm{correct}}(1-w\left(s\right))].$

需要说明的是，用步骤307A-307B替换步骤307的方案，可以减少不精确的运动向量对帧率上采样的结果产生的影响。

本发明实施例提供的帧率上采样的方法，通过动态获取与当前块对应的匹配块的像素值相对当前块的像素值的权重值，并将动态获取的权重值用于获得待插值块的像素值的过程中，从而实现帧率上采样。相比现有技术的移动块插值方法中，直接将当前块的像素值作为待插值块的像素，本方案中在使用当前块的像素值以及动态获取的权重值获得待插值块的像素值，可以降低块效应，从而增强用户的观赏体验。

实施例2

本实施例中，相似块为匹配块，且对当前块和相似块进行扩展；另外，第一图像和第二图像为一视频流中相邻的两帧图像。本实施例中将第一图像分为R个宏块，每个宏块包含16×16个像素。

如图7所示，为本发明实施例提供的一种帧率上采样的方法，包括：

701：输入第一图像和第二图像。

702：在第二图像中确定与第一图像中的每个宏块对应的匹配块，以及每个宏块相对其对应的匹配块的运动向量。

703：将第一图像中的第i个宏块作为当前块；确定当前块的位置、与当前块对应的匹配块，当前块相对匹配块的运动向量。其中，1≤i≤R，i为整数，i的初始值为1。

示例性的，步骤701-703的相关解释和具体示例均可以参考上述实施例1的步骤301-303，下面仅对与实施例1的不同之处进行说明：

由于本实施例中对当前块和相似块（匹配块）进行扩展，这里的“扩展”一般是指以原点为中心扩展当前块和匹配块的像素，扩展前后一个块（包括当前块块或者匹配块）的中心点的坐标不改变，因此，一般不使用块（包括当前块块或者匹配块）的中心点的坐标表示该块的位置，本实施例中使用当前块的左顶点坐标表示当前块的位置，使用匹配块的左顶点坐标表示匹配块的位置。

704：按照相同的扩展倍率分别扩展当前块和匹配块。

示例性的，本实施例中以扩展倍率为2进行说明，具体是指，将宏块的边长扩展2倍。按照扩展倍率为2进行扩展后，每个宏块中包含S个像素，S=32×32。

705：根据扩展后的当前块的位置和当前块相对匹配块的运动向量，获取待插值帧中的与扩展后的当前块对应的待插值块的位置。

示例性的，如图8所示，假设当前块的左顶点为A，当前块的位置具体可以为A点的坐标，扩展后的当前块的左顶点为B，则扩展后的当前块的位置具体为B点的坐标。

706：获取匹配块的像素值相对当前块的像素值的差值的绝对值。

707：基于加权算法对该差值的绝对值进行加权云端，得到匹配块的像素相对当前块的像素值的权重值。

可选的，步骤706可以用以下步骤替换：获取扩展后的匹配块的像素值相对扩展后的当前块的像素值的差值的绝对值；该情况下，步骤707可以用以下步骤替换：根据加权算法和该差值的绝对值，获取扩展后的匹配块的像素相对扩展后的当前块的像素值的权重值。

本实施例中的步骤706-707与实施例1中的步骤305-306相同。可选的方式中的具体示例可以参考实施例1中的步骤305-306，不同之处在于，S的取值不同。

708：将扩展后的匹配块的像素值乘以该权重值，得到待插值块的像素值。

709：将待插值块的像素值插入待插值块的位置。

示例性的，本实施例中结合扩展后的当前块的像素值、扩展后的匹配块的像素值得到待插值块的像素值，并将待插值块的像素值插入待插值块的位置，如图9所示，其中，图9中第一图像为第n-1帧图像，第二图像为第n帧图像。

710：判断i是否大于等于R。

若否，则执行步骤711；若是，则执行步骤712。

示例性的，步骤710的判断结果为“是”，说明：已经在待插值帧中插入了第一图像中的每个宏块对应的待插入块。

711：i自加1。

步骤711之后，返回步骤703。

712：分别对待插值帧中每个重叠像素的像素值进行加权累加处理，得到每个重叠像素的中间像素值。

713：根据步骤707中使用的加权算法和每个重叠像素的中间像素值，分别确定每个重叠像素的目标像素值，得到插值帧。

714：输出该插值帧。

示例性的，步骤710-714的具体示例可以参考实施例1中的步骤309-313，此处不再赘述。

可选的，如图10所示，步骤708可以用以下步骤708A-708B替换：

708A：将扩展后的当前块的像素值与扩展后的匹配块的像素值的均值作为修正块的像素值。

708B：根据扩展后的匹配块的像素值、修正块的像素值和步骤707中获得的权重值，得到待插值块的像素值。

需要说明的是，用步骤708A-708B替换步骤708的方案，可以减少不精确的运动向量对帧率上采样的结果产生的影响。

示例性的，本实施例中的步骤708-714、708A、708B中的相关解释和具体示例可以参考实施例1中相关，其中，具体实现时，需要将实施例1中的“匹配块”的替换为“扩展后的匹配块”，将实施例1中的“当前块”替换为“扩展后的当前块”；将实施例1中S的取值由16×16替换为32×32。

2）S的取值不同。

另外，实施例1中获得的每个待插值块中包含16×16个像素，实施例2中获得的每个待插值块中包含32×32个像素。

本发明实施例提供的帧率上采样的方法，通过动态获取与当前块对应的匹配块的像素值相对当前块的像素值的权重值，并对当前块和匹配块进行扩展，结合动态获取的权重值、扩展后的当前块的像素的像素值和扩展后的匹配块的像素的像素值获取待插值块的像素值，从而实现帧率上采样。相比现有技术的移动块插值方法中，直接将当前块的像素值作为待插值块的像素，本方案中在使用当前块的像素值以及动态获取的权重值获得待插值块的像素值，可以降低块效应，从而增强用户的观赏体验。

实施例3

本实施例中，相似块为第一图像的第一区域中的m个宏块，且不对相似块进行扩展。另外，第一图像和第二图像为一视频流中相邻的两帧图像。本实施例中将第一图像分为R个宏块，每个宏块包含S个像素，S=16×16。

如图11所示，为本发明实施例提供的另一种帧率上采样的方法，包括：

1101：输入第一图像和第二图像。

1102：在第二图像中确定与第一图像中的每个宏块对应的匹配块，以及每个宏块相对其对应的匹配块的运动向量。

示例性的，该步骤1102可以称为运动估计过程，本实施例对具体的实现方式不进行限定。

1103：将第一图像中的第i个宏块作为当前块；确定当前块的位置、当前块相对第二图像中一匹配块的运动向量、当前块对应的相似块，其中，相似块为第一图像的第一区域中的m个宏块。

其中，1≤i≤R，i为整数，i的初始值为1；m≥1，m为整数。

示例性的，第一区域可以由当前块的邻域和/或时域对应的宏块的邻域构成。如图12所示，为当前块对应的相似块的示例，当然，具体实现时不限于此。

1104：根据当前块的位置和当前块相对匹配块的运动向量，获取待插值帧中的与当前块对应的待插值块的位置。

1105：获取第j个相似块的像素值相对当前块的像素值的差值的绝对值。

1106：基于加权算法，对该差值的绝对值进行加权运算，得到第j个相似块的像素值相对当前块的像素值的权重值。

其中，j的初始值为1，1≤j≤m，j为整数。

示例性的，步骤1105-1106的具体示例可以参考上述实施例1中的步骤305-306。其中，具体实现时，将步骤305-306中的“匹配块的像素值”替换为“第j个相似块的像值素”。

1107：将第j个相似块的像素值乘以该权重值，得到待插值块的第j像素值。

需要说明的是，为了清楚说明本实施例的方法，引入“插值块的第j像素值”的概念。“插值块的第j像素值”具体是指，第j次获得与第i个当前块对应的待插值块的像素值。

另外需要说明，在实施例1和实施例2中，针对第i个当前块，只获取一次与该第i个当前块对应的待插值块的像素值；本实施例中，针对第i个当前块，获取m次与该第i个当前块对应的待插值块的像素值。

1108：判断j是否大于或者等于m。

若否，则执行步骤1109；若是，则执行步骤1111。

示例性的，步骤1107的判断结果为“是”，说明：已经获取了m次与第i个当前块对应的待插值块的像素值。

1109：j自加1。

执行步骤1109之后，返回步骤1105。

1110：对待插值块的m个像素值进行求和运算，得到待插值块的像素值。

1111：将待插值块的像素值插入待插值块的位置。

示例性的，本实施例中结合当前块的像素值、当前块周围的相似块的像素值得到待插值块的像素值，并将待插值块的像素值插入待插值块的位置，如图13所示，其中，图13中第一图像为第n-1帧图像，第二图像为第n帧图像。

1112：判断i是否大于等于R。

若否，则执行步骤1113；若是，则执行步骤1114。

示例性的，步骤1112的判断结果为“是”，说明：已经在待插值帧中插入了第一图像中的每个宏块对应的待插入块。

1113：i自加1。

步骤1113之后，返回步骤1103。

1114：分别对待插值帧中每个重叠像素的像素值进行加权累加处理，得到每个重叠像素的中间像素值。

1115：根据步骤1106中使用的加权算法和每个重叠像素的中间像素值，分别确定每个重叠像素的目标像素值，得到插值帧。

1116：输出该插值帧。

示例性的，步骤1112-1116的具体示例可以参考实施例1中的步骤309-313，此处不再赘述。

本发明实施例提供的帧率上采样的方法，通过动态获取与当前块对应的相似块的像素值相对当前块的像素值的权重值，并将动态获取的权重值用于获得待插值块的像素值的过程中，从而实现帧率上采样。相比现有技术的移动块插值方法中，直接将当前块的像素值作为待插值块的像素，本方案中在使用当前块的像素值以及动态获取的权重值获得待插值块的像素值，可以降低块效应，从而增强用户的观赏体验。

实施例二

如图14所示，为本发明实施例提供的一种帧率上采样的装置14，用以执行图1所示的帧率上采样的方法，该装置14包括：

确定单元141，用于确定第一图像中的当前块的位置、所述当前块相对第二图像中的一匹配块的运动向量以及与所述当前块对应的相似块；

位置获取单元142，用于根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置；

权重值获取单元143，用于基于加权算法获取所述相似块的像素值相对所述当前块的像素值的权重值；

像素值获取单元144，用于将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值；

插值单元145，用于将所述待插值块的像素值插入所述待插值块的位置。

可选的，所述权重值获取单元143还用于，获取所述相似块的像素值相对所述当前块的像素值的差值的绝对值；

所述权重值获取单元143具体用于，基于所述加权算法对所述差值的绝对值进行加权运算，得到所述相似块的像素值相对所述当前块的像素值的权重值。

可选的，如图15所示，所述装置14还包括：

扩展单元146，用于按照相同的扩展倍率分别扩展所述当前块和所述相似块；

所述位置获取单元142具体用于，根据扩展后的所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与扩展后的所述当前块对应的待插值块的位置；

所述像素值获取单元144具体用于，将扩展后的所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值。

可选的，所述像素值获取单元144还用于：

对所述待插值帧中重叠像素的像素值进行加权累加处理，得到所述重叠像素的中间像素值；

根据所述加权算法和所述重叠像素的中间像素值，确定所述重叠像素的目标像素值。

可选的，所述相似块包括：所述匹配块；或者，所述第一图像的第一区域中的m个宏块，m≥1，所述m为整数。

可选的，所述相似块为所述匹配块；

所述像素值获取单元144还用于，根据所述当前块的像素值和所述匹配块的像素值，获取修正块的像素值；修正块为一虚拟宏块，用于修正所述待插值块的像素值；

所述像素值获取单元144具体用于，根据所述匹配块的像素值、所述修正块的像素值和所述权重值，得到所述待插值块的像素值。

可选的，所述像素值获取单元144具体用于，将所述当前块的像素值与所述匹配块的像素值的均值作为修正块的像素值。

可选的，所述相似块为所述第一图像的第一区域中的m个宏块；

所述权重值获取单元143具体用于，分别获取m个宏块中的n个宏块的像素值相对所述当前块的像素值的n个权重值；m≥n≥1，所述n为整数；

分别将所述n个相似块的像素值乘以n个权重值中对应的权重值，得到n个计算结果；对所述n个计算结果进行求和运算，得到所述待插值块的像素值。

本发明实施例提供的帧率上采样的装置，通过确定当前块和与当前块对应的相似块获取与当前块对应的相似块的像素值相对当前块的像素值的权重值，并将获取的权重值乘以相似块的像素值，得到待插值块的像素值，利用得到的待插值块的像素值实现帧率上采样。由于当前块和与当前块对应的相似块在不断变化，因此针对不同的当前块可以获得不同的权重值，即可以动态获取权重值。相比现有技术的移动块插值方法中，直接将当前块的像素值作为待插值块的像素，本方案中在使用当前块的像素值以及动态获取的权重值获得待插值块的像素值，可以降低块效应，从而增强用户的观赏体验。

实施例三

如图16所示，为本发明实施例提供的一种帧率上采样的装置14，用以执行图1所示的帧率上采样的方法，该装置14包括：存储器161和处理器162，其中，

存储器161用于存储一组代码，该代码用于控制处理器162执行以下动作：

确定第一图像中的当前块的位置、所述当前块相对第二图像中的一匹配块的运动向量以及与所述当前块对应的相似块；

根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置；

基于加权算法获取所述相似块的像素值相对所述当前块的像素值的权重值；

将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值；

将所述待插值块的像素值插入所述待插值块的位置。

可选的，处理器162还用于，获取所述相似块的像素值相对所述当前块的像素值的差值的绝对值；

处理器162具体用于，基于所述加权算法对所述差值的绝对值进行加权运算，得到所述相似块的像素值相对所述当前块的像素值的权重值。

可选的，处理器162还用于，按照相同的扩展倍率分别扩展所述当前块和所述相似块；

处理器162具体用于：

根据扩展后的所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与扩展后的所述当前块对应的待插值块的位置；

将扩展后的所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值。

可选的，处理器162还用于：

对所述待插值帧中重叠像素的像素值进行加权累加处理，得到所述重叠像素的中间像素值；

根据所述加权算法和所述重叠像素的中间像素值，确定所述重叠像素的目标像素值。

可选的，所述相似块包括：所述匹配块；或者，所述第一图像的第一区域中的m个宏块，m≥1，所述m为整数。

可选的，所述相似块为所述匹配块；

处理器162还用于，根据所述当前块的像素值和所述匹配块的像素值，获取修正块的像素值；修正块为一虚拟宏块，用于修正所述待插值块的像素值；

处理器162具体用于，根据所述匹配块的像素值、所述修正块的像素值和所述权重值，得到所述待插值块的像素值。

可选的，处理器162具体用于，将所述当前块的像素值与所述匹配块的像素值的均值作为修正块的像素值。

可选的，所述相似块为所述第一图像的第一区域中的m个宏块；

处理器162具体用于，分别获取m个宏块中的n个宏块的像素值相对所述当前块的像素值的n个权重值；m≥n≥1，所述n为整数；

分别将所述n个相似块的像素值乘以n个权重值中对应的权重值，得到n个计算结果；对所述n个计算结果进行求和运算，得到所述待插值块的像素值。

本发明实施例提供的帧率上采样的装置，通过确定当前块和与当前块对应的相似块获取与当前块对应的相似块的像素值相对当前块的像素值的权重值，并将获取的权重值乘以相似块的像素值，得到待插值块的像素值，利用得到的待插值块的像素值实现帧率上采样。由于当前块和与当前块对应的相似块在不断变化，因此针对不同的当前块可以获得不同的权重值，即可以动态获取权重值。相比现有技术的移动块插值方法中，直接将当前块的像素值作为待插值块的像素，本方案中在使用当前块的像素值以及动态获取的权重值获得待插值块的像素值，可以降低块效应，从而增强用户的观赏体验。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种帧率上采样的方法，其特征在于，包括：

确定第一图像中的当前块的位置、所述当前块相对第二图像中的一匹配块的运动向量以及与所述当前块对应的相似块；

根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置；

基于加权算法获取所述相似块的像素值相对所述当前块的像素值的权重值；其中，所述加权算法是满足参考指标越大权重值越小的任一种加权算法，所述参考指标是获取所述相似块的像素值相对所述当前块的像素值的权重值时，所使用的参考指标；

将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值；

将所述待插值块的像素值插入所述待插值块的位置。

2.根据权利要求1所述的方法，其特征在于，

在所述获取所述相似块的像素值相对所述当前块的像素值的权重值之前，所述方法还包括：获取所述相似块的像素值相对所述当前块的像素值的差值的绝对值；

所述基于加权算法获取所述相似块的像素值相对所述当前块的像素值的权重值，包括：基于所述加权算法对所述差值的绝对值进行加权运算，得到所述相似块的像素值相对所述当前块的像素值的权重值。

3.根据权利要求1所述的方法，其特征在于，在所述根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置之前，所述方法还包括：

按照相同的扩展倍率分别扩展所述当前块和所述相似块；

所述根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置，包括：

根据扩展后的所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与扩展后的所述当前块对应的待插值块的位置；

所述将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值，包括：

将扩展后的所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值。

4.根据权利要求1所述的方法，其特征在于，在所述将所述待插值块的像素值插入所述待插值块的位置之后，所述方法还包括：

对所述待插值帧中重叠像素的像素值进行加权累加处理，得到所述重叠像素的中间像素值；

根据所述加权算法和所述重叠像素的中间像素值，确定所述重叠像素的目标像素值。

5.根据权利要求1-4任一项所述的方法，其特征在于，

所述相似块包括：所述匹配块；或者，所述第一图像的第一区域中的m个宏块，m≥1，所述m为整数。

6.根据权利要求5所述的方法，其特征在于，所述相似块为所述匹配块；所述方法还包括：

根据所述当前块的像素值和所述匹配块的像素值，获取修正块的像素值；修正块为一虚拟宏块，用于修正所述待插值块的像素值；

所述将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值，包括：

根据所述匹配块的像素值、所述修正块的像素值和所述权重值，得到所述待插值块的像素值。

7.根据权利要求6所述的方法，其特征在于，所述根据所述当前块的像素值和所述匹配块的像素值，获取修正块的像素值，包括：

将所述当前块的像素值与所述匹配块的像素值的均值作为修正块的像素值。

8.根据权利要求5所述的方法，其特征在于，所述相似块为所述第一图像的第一区域中的m个宏块；

所述获取所述相似块的像素值相对所述当前块的像素值的权重值，包括：

分别获取m个宏块中的n个宏块的像素值相对所述当前块的像素值的n个权重值；m≥n≥1，所述n为整数；

所述将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值，包括：

分别将所述n个相似块的像素值乘以n个权重值中对应的权重值，得到n个计算结果；对所述n个计算结果进行求和运算，得到所述待插值块的像素值。

9.一种帧率上采样的装置，其特征在于，包括：

确定单元，用于确定第一图像中的当前块的位置、所述当前块相对第二图像中的一匹配块的运动向量以及与所述当前块对应的相似块；

位置获取单元，用于根据所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与所述当前块对应的待插值块的位置；

权重值获取单元，用于基于加权算法获取所述相似块的像素值相对所述当前块的像素值的权重值；其中，所述加权算法是满足参考指标越大权重值越小的任一种加权算法，所述参考指标是获取所述相似块的像素值相对所述当前块的像素值的权重值时，所使用的参考指标；

像素值获取单元，用于将所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值；

插值单元，用于将所述待插值块的像素值插入所述待插值块的位置。

10.根据权利要求9所述的装置，其特征在于，

所述权重值获取单元还用于，获取所述相似块的像素值相对所述当前块的像素值的差值的绝对值；

所述权重值获取单元具体用于，基于所述加权算法对所述差值的绝对值进行加权运算，得到所述相似块的像素值相对所述当前块的像素值的权重值。

11.根据权利要求9所述的装置，其特征在于，所述装置还包括：

扩展单元，用于按照相同的扩展倍率分别扩展所述当前块和所述相似块；

所述位置获取单元具体用于，根据扩展后的所述当前块的位置和所述当前块相对所述匹配块的运动向量，获取待插值帧中的与扩展后的所述当前块对应的待插值块的位置；

所述像素值获取单元具体用于，将扩展后的所述相似块的像素值乘以所述权重值，得到所述待插值块的像素值。

12.根据权利要求9所述的装置，其特征在于，所述像素值获取单元还用于：

对所述待插值帧中重叠像素的像素值进行加权累加处理，得到所述重叠像素的中间像素值；

根据所述加权算法和所述重叠像素的中间像素值，确定所述重叠像素的目标像素值。

13.根据权利要求9-12任一项所述的装置，其特征在于，

所述相似块包括：所述匹配块；或者，所述第一图像的第一区域中的m个宏块，m≥1，所述m为整数。

14.根据权利要求13所述的装置，其特征在于，所述相似块为所述匹配块；

所述像素值获取单元还用于，根据所述当前块的像素值和所述匹配块的像素值，获取修正块的像素值；修正块为一虚拟宏块，用于修正所述待插值块的像素值；

所述像素值获取单元具体用于，根据所述匹配块的像素值、所述修正块的像素值和所述权重值，得到所述待插值块的像素值。

15.根据权利要求14所述的装置，其特征在于，

所述像素值获取单元具体用于，将所述当前块的像素值与所述匹配块的像素值的均值作为修正块的像素值。

16.根据权利要求13所述的装置，其特征在于，所述相似块为所述第一图像的第一区域中的m个宏块；

所述权重值获取单元具体用于，分别获取m个宏块中的n个宏块的像素值相对所述当前块的像素值的n个权重值；m≥n≥1，所述n为整数；

分别将所述n个相似块的像素值乘以n个权重值中对应的权重值，得到n个计算结果；对所述n个计算结果进行求和运算，得到所述待插值块的像素值。