CN111711823B - 运动矢量处理方法和装置、电子设备及存储介质 - Google Patents
运动矢量处理方法和装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111711823B CN111711823B CN202010615283.6A CN202010615283A CN111711823B CN 111711823 B CN111711823 B CN 111711823B CN 202010615283 A CN202010615283 A CN 202010615283A CN 111711823 B CN111711823 B CN 111711823B
- Authority
- CN
- China
- Prior art keywords
- motion vector
- candidate
- interpolated
- neighborhood
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种运动矢量处理方法，包括：获取当前处理块，所述当前处理块是进行运动估计的图像帧中的图像块；获取所述当前处理块对应的候选运动矢量集，所述候选矢量集中包括多个候选运动矢量；根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量；计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定所述当前处理块对应的目标运动矢量。本申请还公开了一种运动矢量处理装置、电子设备以及计算机可读存储介质。本申请在保证图像质量的情况下尽可能的减少计算复杂度。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种运动矢量处理方法和装置、电子设备以及计算机可读存储介质。
背景技术
近年来，随着计算机技术的快速发展，图像处理技术日渐多样化，对图像进行运动估计补偿是视频编码和视频处理，如基于MEMC(Motion Estimate and MotionCompensation，运动估计运动补偿)的插帧方法中广泛使用的一种技术。
然而，传统的运动估计方法，候选矢量集的确定方式固定，存在计算复杂度高的问题。
发明内容
本申请实施例提供一种运动矢量处理方法和装置、电子设备以及计算机可读存储介质，依据候选运动矢量对应的当前匹配误差，自适应的增加或减少候选运动矢量，在保证图像质量的情况下尽可能的减少计算复杂度，并依据候选运动矢量的可靠性，自适应选择候选运动矢量的匹配顺序，提高目标运动矢量的获取效率。
一种运动矢量处理方法，包括：
获取当前处理块，所述当前处理块是进行运动估计的图像帧中的图像块；
获取所述当前处理块对应的候选运动矢量集，所述候选矢量集中包括多个候选运动矢量；
根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量；
计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定所述当前处理块对应的目标运动矢量。
一种运动矢量处理装置，包括：
获取模块，用于获取当前处理块，所述当前处理块是进行运动估计的图像帧中的图像块；
候选运动矢量生成模块，用于获取所述当前处理块对应的候选运动矢量集，所述候选矢量集中包括多个候选运动矢量，根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量；
匹配误差检测模块，用于计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定所述当前处理块对应的目标运动矢量。
一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取当前处理块，所述当前处理块是进行运动估计的图像帧中的图像块；
获取所述当前处理块对应的候选运动矢量集，所述候选矢量集中包括多个候选运动矢量；
根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量；
计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定所述当前处理块对应的目标运动矢量。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取当前处理块，所述当前处理块是进行运动估计的图像帧中的图像块；
获取所述当前处理块对应的候选运动矢量集，所述候选矢量集中包括多个候选运动矢量；
根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量；
计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定所述当前处理块对应的目标运动矢量。
上述运动矢量处理方法、装置、电子设备以及计算机可读存储介质，依据候选运动矢量对应的当前匹配误差，自适应的增加或减少候选运动矢量，将候选运动矢量集中候选运动矢量的数目设置为自适应可变的，在保证图像质量的情况下尽可能的减少计算复杂度，并依据候选运动矢量的可靠性，自适应选择候选运动矢量的匹配顺序，提高目标运动矢量的获取效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中运动矢量处理方法的应用环境图；
图2为一个实施例中运动矢量处理方法的流程示意图；
图3为一个实施例中当前处理块和其他块的关系示意图；
图4为另一个实施例中运动矢量处理方法的流程示意图；
图5为再一个实施例中运动矢量处理方法的流程示意图；
图6为一个实施例中块与其邻域区域的示意图；
图7为一个具体地实施例中运动矢量处理系统的示意图；
图8为一个实施例中运动矢量处理装置的结构框图；
图9为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中运动矢量处理方法的应用环境图。如图1所示，该应用环境包括终端110和服务器120，终端110将运动矢量处理请求发送至服务器120，服务器120根据运动矢量处理请求获取当前处理块，当前处理块是进行运动估计的图像帧中的图像块，获取当前处理块对应的候选运动矢量集，候选矢量集中包括多个候选运动矢量；根据候选运动矢量的可靠性从候选运动矢量集中输出用于运动补偿的运动矢量；计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定当前处理块对应的目标运动矢量，将图像帧中的各个图像块对应的目标运动矢量返回至终端110，终端110可以根据各个图像块对应的目标运动矢量进行运动补偿得到目标图像，可以是目标插值图像。也可以在服务器120根据各个图像块对应的目标运动矢量进行运动补偿得到目标图像，将目标图像返回终端110。其中终端110可以为包括手机、平板电脑、PDA(PersonalDigital Assistant，个人数字助理)、车载电脑、穿戴式设备等终端设备。终端设备可以从服务器下载、应用各类型的图像资源，确定不同类型的待进行运动估计的图像帧，运动估计可以是待插值图像帧的参考图像帧之间进行的单向运动估计，或参考图像帧、待插值图像帧之间共同进行的双向运动估计，或待编码图像帧进行的运动估计。其中服务器120可以为一个服务器或服务器集群。
在一些实施例中，运动矢量处理方法可以应用于终端110，由终端110直接执行上述步骤得到进行运动估计的图像帧中的图像块的目标运动矢量。
图2为一个实施例中运动矢量处理方法的流程图。图2所示的运动矢量处理方法可应用于上述终端110或服务器120中，包括：
步骤202，获取当前处理块，当前处理块是进行运动估计的图像帧中的图像块。
其中，运动估计可以是单向运动估计和双向运动估计，单向运动估计可以包括前向运动估计和后向运动估计。前向运动估计指的是当前帧的块在下一帧中获取运动矢量的过程。例如，当前帧是第10帧，下一帧是第11帧，对第10帧和第11帧进行前向运动估计，即获取第10帧中的每一个块在第11帧中的运动矢量的过程。后向运动估计指的是当前帧的块在上一帧中获取运动矢量的过程。例如，当前帧是第10帧，上一帧是第9帧，对第10帧和第9帧进行后向运动估计，即获取第10帧中的每一个块在第9帧中的运动矢量的过程。在相邻两帧之间预设中间帧，中间帧的块分别在上一帧和下一帧中对称地进行块匹配搜索，找到使上一帧中的块和下一帧中的块最匹配的位移量作为中间帧的块的运动矢量，该过程即双向运动估计。例如，相邻的两帧是第9帧和第10帧，对第9帧和第10帧进行双向运动估计，预设第9帧和第10帧之间的中间帧，中间帧中的块分别在第9帧和第10帧中对称地进行块匹配搜索，找到使第9帧中的块和第10帧中的块最匹配的位移量作为中间帧的块的运动矢量。
具体地，当进行前向运动估计时，如对第10帧和第11帧进行前向运动估计，则当前处理块是第10帧中的图像块。当进行后面运动估计时，如对第10帧和第9帧进行后向运动估计，则当前处理块是第10帧中的图像块。当进行双向运动估计时，如对对第9帧和第10帧进行双向运动估计，则当前处理块是第9帧和第10帧之间的中间帧中的图像块。其中，进行运动估计的图像帧可以是终端实时拍摄的图像，也可以是预先配置的图像，如网络中下载的图像，电子相册中的图像等，进行运动估计的图像帧的分辨率可以相同或不同。其中进行运动估计的图像帧中的图像块是通过分块策略对图像帧进行分块得到的，基于分块策略将进行运动估计的图像帧，如第一帧和第二帧分别划分为相同的至少两个块。分块策略中包括分块的数量、分块的位置等信息。
在一种实施方式中，电子设备可以按照从左到右，从上到下的顺序依次获取进行运动估计的图像帧中的块作为当前处理块。在另一种实施方式中，电子设备也可以按照从右到左，从下到上的顺序依次获取进行运动估计的图像帧中的块作为当前处理块。在其他的实施方式中，电子设备还可以按照从上到下，从右到左的顺序依次获取进行运动估计的图像帧中的块作为当前处理块。获取当前处理块的顺序并不限定，可以根据用户需要进行设定。
步骤204，获取当前处理块对应的候选运动矢量集，候选矢量集中包括多个候选运动矢量。
其中，候选矢量集指的是当前处理块候选的运动矢量的集合。候选矢量集中包括多个候选运动矢量，多个候选运动矢量可以是不同类型的候选运动矢量，如空间候选运动矢量、时间候选运动矢量、随机候选运动矢量、全局运动矢量、局部运动矢量以及零运动矢量等，包括但不限于上述类型的运动矢量。在一个实施例中，候选运动矢量还包括亚全局运动矢量或可变范围局部运动矢量，其中可变范围局部运动矢量是通过对图像帧进行不同大小范围的局部区域分割，并以局部区域为单位进行运动矢量统计得到的运动矢量。
具体地，空间候选运动矢量是指当前处理块所在的图像帧中在空间位置上相邻的已经完成运动估计的图像块的运动矢量。时间候选运动矢量是指当前处理块在邻近的已经完成运动估计的图像帧中匹配位置的图像块的运动矢量。在一个实施例中，如图3所示当前处理块为C，S1、S2、S3和S4分别是当前处理块所在的图像帧中已经完成运动估计的块，可以将S1至S4对应的运动矢量称为空间候选运动矢量，T1、T2、T3、T4、T5、T6和T7分别是第一帧中未进行运动估计的块，则可以获取图像帧的邻近帧的重合区域中T1至T7对应的块的运动矢量作为时间候选运动矢量。不同的候选运动矢量的可靠性不同，具体的不同候选运动矢量的可靠性大小可以根据自定义的算法进行计算。在一个实施例中，空间候选运动矢量的可靠性大于时间候选运动矢量的可靠性。且相同类型的候选运动矢量的可靠性也可以不同，如S2的运动矢量的可靠性大小S1的运动矢量的可靠性。
步骤206，根据候选运动矢量的可靠性从候选运动矢量集中输出用于运动补偿的运动矢量。
具体地，候选运动矢量的可靠性代表了候选运动矢量为目标运动矢量的可能性，先输出可靠性高的候选运动矢量，再输出可靠性低的候选运动矢量。可以根据可靠性的大小对各个候选运动矢量进行排序，然后按照从大到小的顺序依次输出用于运动补偿的运动矢量。输出时可一次输出一个，或一次输出多个，具体的输出方式可自定义。如当具有多个相同可靠性的候选运动矢量时，一次性输出多个候选运动矢量。或一次性将同一类型的多个候选运动矢量进行输出，如先输出空间候选运动矢量，再输出时间候选运动矢量。
步骤208，计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定当前处理块对应的目标运动矢量。
其中，误差阈值条件可以根据需要自定义，在一个实施例中，当输出的用于运动补偿的运动矢量对应的匹配块误差小于第一阈值时，确定为满足误差阈值条件，说明当前已输出的用于运动补偿的运动矢量已经能满足图像质量的需求，无需再输出从候选运动矢量中输出其它的运动矢量，停止继续生成新的候选运动矢量，大大降低了运算复杂度。
具体地，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定当前处理块对应的目标运动矢量，将匹配块误差中最小的运动矢量作为当前处理块对应的目标运动矢量。匹配误差的计算方式可自定义，在一个实例中通过计算两个块的SAD(Sum of AbsoluteDifference，绝对误差和)值得到匹配误差。在匹配较高时，能够尽快收敛，无须对所有候选运动矢量进行计算，减少候选运动矢量的计算量。
本实施例中的运动矢量处理方法，获取当前处理块，当前处理块是进行运动估计的图像帧中的图像块；获取当前处理块对应的候选运动矢量集，候选矢量集中包括多个候选运动矢量；根据候选运动矢量的可靠性从候选运动矢量集中输出用于运动补偿的运动矢量；计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定所述当前处理块对应的目标运动矢量，依据候选运动矢量对应的当前匹配误差，自适应的增加或减少候选运动矢量，将候选运动矢量集中候选运动矢量的数目设置为自适应可变的，在保证图像质量的情况下尽可能的减少计算复杂度，并依据候选运动矢量的可靠性，自适应选择候选运动矢量的匹配顺序，提高目标运动矢量的获取效率。
在一个实施例中，步骤206包括：当候选运动矢量集包括空间候选运动矢量和时间候选运动矢量时，空间候选运动矢量的输出优先于时间候选运动矢量。
具体地，可靠性可依据候选矢量本身类型的性质来确定，一般空间候选运动矢量的可靠性高于时间候选运动矢量的可靠性，从而空间候选运动矢量的输出优先于时间候选运动矢量。在一个实施例中，当候选运动矢量集还包括随机候选运动矢量、全局运动矢量、局部运动矢量以及零运动矢量时，可以确定各类运动矢量的可靠性，按可靠性从大到小的顺序依次输出各个类型的候选运动矢量。当同一类型的候选运动矢量包括多个时，还可对同一类型的多个候选运动矢量进行可靠性排序，从而在输出时，当需要输出同一类型的多个候选运动矢量时，也按可靠性从大到小的顺序依次输出。
本实施例中，先输出空间候选运动矢量，再输出时间候选运动矢量，空间候选运动矢量比时间候选运动矢量成为目标运动矢量的机率高，便于提高目标运动矢量选取的效率，进一步降低运算复杂度。
在一个实施例中，如图4所示，方法还包括：当输出的用于运动补偿的运动矢量对应的匹配块误差不满足误差阈值条件时，返回步骤206。
具体地，当输出的用于运动补偿的运动矢量对应的匹配块误差不满足误差阈值条件时，说明当前输出的候选运动矢量对应的匹配块与当前处理块的匹配度不高，需要进一步从候选运动矢量集中输出新的候选运动矢量。在一个实施例中，当输出的用于运动补偿的运动矢量对应的匹配块误差大于或等于第一阈值时，返回步骤206。其中第一阈值的大小可自定义，可根据当前处理块的特征，所处的场景确定。
本实施例中，在匹配较差时，能够通过增加候选运动矢量的数目，增加匹配块正确匹配的可能性，更有可能寻找到块的最佳运动矢量。
在一个实施例中，方法还包括：当图像帧中对应的各个图像块确定对应的目标运动矢量后，计算图像帧对应的全局运动矢量、亚全局运动矢量和可变范围局部运动矢量中的至少一种；全局运动矢量、亚全局运动矢量和可变范围局部运动矢量中的至少一种作为下一个图像帧中匹配的图像块对应的候选运动矢量集中的候选运动矢量。
具体地，当前图像帧的所有块的运动矢量已经计算完毕，得到对应的目标运动矢量后，可计算当前图像帧对应的全局运动矢量、亚全局运动矢量和可变范围局部运动矢量中的至少一种。其中全局运动矢量代表了当前图像帧的整体运动趋势，是通过对整帧图像的运动矢量进行统计得到的运动矢量。亚全局运动矢量也代表了当前图像帧的整体运动趋势，因为一个图像帧中可能包括多个运动主体，不同的运动主体有不同的运动趋势，从而亚全局运动矢量一定程度上代表了其中一个主体对应的运动趋势。亚全局运动矢量也是通过对整帧图像的运动矢量进行统计得到的运动矢量。可变范围局部运动矢量代表了局部运动趋势，是以范围大小可变的局部区域为单位进行运动矢量统计得到的运动矢量。
将全局运动矢量、亚全局运动矢量作为下一帧图像帧中的各个图像块对应的候选运动矢量，将可变范围局部运动矢量作为下一个图像帧中对应的局部区域中的图像块对应的候选运动矢量。
本实施例中，除全局运动矢量外，将亚全局运动矢量和可变范围局部运动矢量也添加至候选运动矢量集中，增加了候选运动矢量的种类，使得块匹配找到最佳运动矢量的可能性增加。
在一个实施例中，全局运动矢量和亚全局运动矢量的计算包括以下步骤：对图像帧中的各个图像块对应的运动矢量进行直方图统计；获取统计数目最多的第一运动矢量和统计数目次多的第二运动矢量；将第一运动矢量作为全局运动矢量；将第二运动矢量作为亚全局运动矢量。
具体地，可以以整个运动矢量为单位进行统计，也可以在运动矢量对应的不同方向上分别进行统计，得到图像帧中的各个图像块对应的运动矢量的各个方向对应的运动矢量分布，得到不同方向运动矢量对应的直方图。直方图体现了图像帧中各个图像块的运动矢量的具体分布情况。遍历整个图像帧中的各个图像块，数组的索引为运动矢量的大小，每一个块的运动矢量在对应的索引下数目增加1，直至整个图像帧全部遍历完，得到运动矢量统计直方图。直方图的横坐标为运动矢量，纵坐标为对应的运动矢量的数目。根据直方图可得到统计数目最多的第一运动矢量和统计数目次多的第二运动矢量，将第一运动矢量作为全局运动矢量；将第二运动矢量作为亚全局运动矢量。
本实施例中，通过直方图统计可快速计算得到全局运动矢量和亚全局运动矢量，全局运动矢量和亚全局运动矢量体现了图像帧对应的不同的运动趋势。
在一个实施例中，可变范围局部运动矢量的计算包括以下步骤：将图像帧划分为多个局部区域，局部区域大小为可变的；分别对局部区域中的运动矢量进行直方图统计；获取局部区域中统计数目最多的运动矢量作为对应局部区域的可变范围局部运动矢量。
其中，局部区域可以是规则形状区域，如正方形区域，或长方形区域，也可以是不规则形状区域。局部区域大小为可变的，可以在同一个图像帧中划分不同大小的局部区域，如同一个图像帧中分为A1、A2、A3三个局部区域，其中A1、A2、A3的大小不同。也可以在不同的图像帧中划分不同大小的局部区域，如将第一图像帧分为B1、B2、B3三个相同大小的局部区域，将第二图像帧分为C1、C2、C3三个相同大小的局部区域，其中B1与C1的大小不同。在局部区域中进行运动矢量直方图统计，将局部区域中统计数目最多的运动矢量作为对应局部区域的可变范围局部运动矢量。局部区域的大小可变，使得局部运动矢量的统计基于可变的局部区域，使得图像帧中在不同大小的局部区域具有对应的运动矢量，使得各个不同的局部区域都存在对应的局部运动矢量作为候选运动矢量，进一步增加了候选运动矢量的种类和数目。
本实施例中，局部运动矢量代表可变范围局部区域的运动趋势，进一步增加了候选运动矢量的种类和数目，使得块匹配找到最佳运动矢量的可能性增加。
在一个实施例中，对于可变局部运动矢量，也可添加亚局部运动矢量，可变范围局部运动矢量的计算包括获取局部区域中统计数目次多的运动矢量作为对应局部区域的可变范围亚局部运动矢量，若区域内存在多个运动物体，亚局部运动矢量可能表示另外一个运动物体的运动矢量，进一步提高候选运动矢量的种类和数目，使得块匹配找到最佳运动矢量的可能性增加。
在一个实施例中，将图像帧划分为多个局部区域包括：获取当前区域大小范围，当前区域大小范围基于局部区域长和局部区域宽确定，局部区域长和局部区域宽中的至少一种为根据预设规则变化的；根据当前区域大小范围将图像帧划分为对应的多个局部区域。
具体地，根据局部区域长和局部区域宽将图像帧划分为多个不同的规则的区域，如图像帧中包括的图像块的数目为M×N,局部区域长和局部区域宽分别为L1和L2，其中局部区域长表示局部区域在横向包括的块数目，局部区域宽表示局部区域在纵向包括的块数目，则当前区域大小范围为L1×L2，根据当前区域大小范围将图像帧划分为对应的多个局部区域，局部区域的数目为(M/L1)×(N/L2)。局部区域长和局部区域宽中的至少一种为根据预设规则变化的，其中预设规则可自定义。
在一个实施例中，在第N帧图像帧中，当前区域大小范围为L1×L2，在第N+1帧图像帧中，当前区域大小范围为(L1+1)×(L2+1)，在第N+2帧图像帧中，当前区域大小范围为L1×L2，表示L1和L2的大小均为可变的，并且其的变化规律是奇数偶数交替的。
在一个实施例中，在第N帧图像帧中，当前区域大小范围为L1×L2，在第N+1帧图像帧中，当前区域大小范围为(L1+1)×(L2+1)，在第N+2帧图像帧中，当前区域大小范围为(L1+2)×(L2+2)，表示L1和L2的大小均为可变的，并且其的变化规律是奇数偶数交替增长的。
在一个实施例中，在第N帧图像帧中，当前区域大小范围为L1×L2，在第N+1帧图像帧中，当前区域大小范围为(L1+1)×(L2)，在第N+2帧图像帧中，当前区域大小范围为L1×L2，表示L1的大小为可变的，并且其的变化规律是奇数偶数交替的。
在一个实施例中，在第N帧图像帧中，当前区域大小范围为L1×L2，在第N+1帧图像帧中，当前区域大小范围为(L1+1)×(L2)，在第N+2帧图像帧中，当前区域大小范围为(L1+2)×L2，表示L1的大小为可变的，并且其的变化规律是奇数偶数交替增长的。
在一个实施例中，在第N帧图像帧中，当前区域大小范围为L1×L2，在第N+1帧图像帧中，当前区域大小范围为(L1)×(L2+1)，在第N+2帧图像帧中，当前区域大小范围为L1×L2，表示L2的大小为可变的，并且其的变化规律是奇数偶数交替的。
在一个实施例中，在第N帧图像帧中，当前区域大小范围为L1×L2，在第N+1帧图像帧中，当前区域大小范围为(L1)×(L2+1)，在第N+2帧图像帧中，当前区域大小范围为(L1)×(L2+2)，表示L2的大小为可变的，并且其的变化规律是奇数偶数交替增长的。
本实施例中，根据预设规则变化的局部区域长和局部区域宽，进行局部区域的划分，提高了候选运动矢量获取的灵活性，进一步提高块匹配找到最佳运动矢量的可能性。
在一个实施例中，除局部运动矢量为可变范围运动矢量外，可将空间候选运动矢量、时间候选运动矢量、随机候选运动矢量这几种运动矢量均设置为自适应可变的，将尽可能多的候选运动矢量添加至候选运动矢量集中，依据匹配状态增加或者减少匹配的候选矢量数目，进一步提高候选运动矢量获取的灵活性，进一步提高块匹配找到最佳运动矢量的可能性。
在一个实施例中，如图5所示，方法还包括：
步骤302，获取待插值图像块，待插值图像块包括通过运动估计得到的原始运动矢量。
具体地，通过上述实施例对图像帧中的图像块进行运动估计得到各个图像块对应的前向运动矢量或后向运动矢量，或得到待插值帧中的各个待插值图像块对应的双向运动矢量，再根据前向运动矢量、后向运动矢量、双向运动矢量中的至少一种为待插值帧中的各个待插值图像块确定对应的原始运动矢量。
步骤304，对待插值图像块对应的原始运动矢量的状态进行异常检测。
具体地，可根据待插值图像块的邻域区域的运动矢量确定待插值图像块对应的原始运动矢量的状态，其中邻域区域可为一个或多个，还可根据待插值图像块对应的原始运动矢量对应的匹配误差，确定待插值图像块对应的原始运动矢量的状态，其中进行异常检测的算法可自定义。只有检测为异常状态的原始运动矢量才可能被候选运动矢量替换进行校正，如果检测为正常状态，则无需进行校正。如图6所示为块与其邻域区域的示意图。C表示当前块，B1-B8为其邻域的8个块组成8邻域区域。
在一个实施例中，根据待插值图像块的邻域区域的运动矢量确定待插值图像块对应的原始运动矢量的状态时，可获取所属待插值图像块的至少两个邻域区域，计算得到各个邻域区域的运动矢量统计特征，根据原始运动矢量、各个邻域区域的运动矢量统计特征、各个邻域区域的邻域运动矢量确定待插值图像块对应的原始运动矢量的异常状态。
步骤306，当原始运动矢量的状态为异常状态时，获取待插值图像块的候选运动矢量，候选运动矢量包括不同类型的运动矢量，不同类型的运动矢量是由所属待插值图像块的邻域区域的邻域运动矢量确定的。
具体地，候选运动矢量可以是异常状态的待插值图像块的邻域区域的运动矢量，或对邻域区域的邻域运动矢量进行计算得到的运动矢量。候选运动矢量可为不同类型的多个运动矢量，其中邻域区域可以为多个，如4邻域或8邻域，对邻域区域的邻域运动矢量进行计算可采用多种不同的计算方法，如求运动矢量均值、运动矢量中值、进行滤波等方法，从而确定多个不同类型的候选运动矢量，进一步提高从候选运动矢量找到最佳运动矢量的可能性。
步骤308，基于邻域运动矢量确定候选运动矢量的可靠性。
具体地，对候选运动矢量进行可靠性判断，只有符合要求的候选运动矢量才能进入到匹配模块，作为待插值图像块的候选替代运动矢量。通过可靠性将不符合要求的候选运动矢量进行过滤，提高了候选运动矢量的可靠性。可通过计算候选运动矢量与邻域运动矢量之间的关系，将关系满足预设条件的候选运动矢量确定为可靠状态的候选运动矢量，将关系不满足预设条件的候选运动矢量确定为非可靠状态的候选运动矢量。其中关系的计算和预设条件可自定义，在一个实施例中，通过计算候选运动矢量与邻域运动矢量之间的距离，根据距离与预设阈值的关系确定候选运动矢量的可靠性。
步骤310，获取可靠状态的候选运动矢量，根据可靠状态的候选运动矢量对待插值图像块的原始运动矢量进行校正，得到待插值图像块的目标运动矢量。
具体地，在参考帧中找到可靠状态的候选运动矢量对应的匹配图像块，计算匹配图像块对应的匹配误差，将匹配图像块对应的匹配误差与待插值图像块对应的原始运动矢量对应的原始匹配误差进行对比，将匹配误差最小的匹配图像块对应的运动矢量作为待插值图像块的目标运动矢量。匹配误差的计算方式可自定义，在一个实例中通过计算两个块的SAD(Sum of Absolute Difference，绝对误差和)值得到匹配误差。根据匹配误差判断可靠状态的候选运动矢量与原始运动矢量相比较，是否有更好的匹配效果，如果有，则采用匹配效果最好的候选运动矢量作为待插值图像块的目标运动矢量，如果没有，则不进行替换，仍然保留原始运动矢量。
本实施例中，待插值图像块的候选运动矢量包括不同类型的运动矢量，增加了作为替换的候选运动矢量的种类，当其中一种候选运动矢量不能够满足替换的要求时，仍有其他可能性找到正确的运动矢量，增加了候选运动矢量可靠性的检测，并非直接采用候选运动矢量来替换原始运动矢量，提升了候选运动矢量的可靠性。
在一个实施例中，步骤304包括：获取所属待插值图像块的至少两个不同大小的邻域区域，基于各个邻域区域的邻域运动矢量得到各个邻域区域对应的运动矢量均值；计算待插值图像块的原始运动矢量与各个邻域区域对应的运动矢量均值之间的第一距离；计算各个邻域区域的邻域运动矢量与对应的运动矢量均值之间的第二距离；根据第一距离与第二距离之间的差距确定待插值图像块对应的原始运动矢量的异常状态。
具体地，至少两个不同大小的邻域区域的具体大小可自定义，如4邻域、8邻域等。通过对邻域区域内的各个邻域运动矢量求均值得到各个邻域区域对应的运动矢量均值Vmi，计算公式为
其中i表示其中一个邻域区域，1≤i≤N，N为邻域区域的总数目，如只选择4邻域、8邻域，则i为1和2，Mi表示第i个邻域区域的图像块总数目，如4邻域则Mi为4，8邻域则Mi为8，j为邻域区域图像块索引。通过Vdi＝|Vmi-Vc|，计算得到待插值图像块的原始运动矢量与各个邻域区域对应的运动矢量均值之间的第一距离Vdi，其中Vc表示待插值图像块的原始运动矢量。计算各个邻域区域的邻域运动矢量Vj与对应的运动矢量均值Vmi之间的第二距离Vdii，其中j为邻域区域图像块索引，
距离。比较Vdi与Vdii之间的差距，如果任意一个Vdi-Vdii大于预设阈值，则确定待插值图像块对应的原始运动矢量为异常状态，否则，确定待插值图像块对应的原始运动矢量为非异常状态。
本实施例中，通过至少两个不同大小的邻域区域的邻域运动矢量，计算邻域区域的运动矢量均值，并根据原始运动矢量与各个邻域区域对应的运动矢量均值之间的第一距离和各个邻域区域的邻域运动矢量与对应的运动矢量均值之间的第二距离检测原始运动矢量是否为异常状态，提高了异常状态检测的准确度。
在一个实施例中，步骤304包括：基于待插值图像块的原始运动矢量从对应的参考图像帧中确定对应的匹配图像块，根据匹配图像块计算得到匹配误差；
根据匹配误差与误差阈值之间的关系确定所述待插值图像块对应的原始运动矢量的异常状态。
具体地，获取待插值图像块对应的前向参考图像帧和后向参考图像帧，根据原始运动矢量从前向参考图像帧得到前向匹配块，从后向参考图像帧得到后向匹配块，计算前向匹配块和后向匹配块之间的匹配误差，如果匹配误差大于误差阈值，则将待插值图像块的原始运动矢量确定为异常状态，需进行矢量后处理操作。
本实施例中，通过匹配误差与误差阈值之间的关系确定所述待插值图像块对应的原始运动矢量的异常状态，不需要进行额外的计算，简单方便。
在一个实施例中，当所述原始运动矢量的状态为异常状态时，获取待插值图像块的候选运动矢量包括以下方式中的至少一种：将各个邻域区域对应的运动矢量均值作为待插值图像块的候选运动矢量；基于各个邻域区域的邻域运动矢量得到各个邻域区域对应的运动矢量中值，将所述各个邻域区域对应的运动矢量中值作为所述待插值图像块的候选运动矢量；将各个邻域区域的邻域运动矢量进行滤波，各个邻域区域的滤波后的邻域运动矢量作为待插值图像块的候选运动矢量。
具体地，邻域区域可为多个大小自定义的不同的邻域，如4邻域、8邻域等，以邻域区域为单位，计算各个邻域区域对应的运动矢量均值Vmi，其中计算方法可由上述实施例所述，将Vmi作为候选运动矢量。其中运动矢量中值的计算方式可自定义，如将各个邻域运动矢量以邻域区域为单位进行统计，将数目处于中间的运动矢量作为各个邻域区域对应的运动矢量中值。或根据邻域区域的邻域运动矢量之间的矢量距离确定运动矢量中值Vki，将Vki作为候选运动矢量。可以采用滤波算法对邻域运动矢量进行滤波，进行处理得到的运动矢量作为候选运动矢量，其中滤波算法可自定义，可以为高斯滤波算法。
可以理解，候选运动矢量还可增加其余种类的候选运动矢量，包括但不限于以下采用除均值、中值之外的邻域统计值的方式来获取得到的邻域统计运动矢量。
本实施例中，将多种运动矢量作为候选运动矢量，增加了候选运动矢量的种类，提高了候选运动矢量的可靠性，当其中一种候选运动矢量不能够满足替换原始运动矢量的要求时，仍有其他可能性找到正确的运动矢量。
在一个实施例中，基于各个邻域区域的邻域运动矢量得到各个邻域区域对应的运动矢量中值包括：计算各个邻域区域的邻域运动矢量与邻域区域内其它运动矢量之间的矢量距离；将矢量距离最小的邻域运动矢量作为所属邻域区域的运动矢量中值。
具体地，计算邻域运动矢量Vo与邻域区域内其它运动矢量的矢量距离，可通过
计算得到，其中o＝1,2,...,N，N表示一个邻域区域的邻域运动矢量的总数目，如果
表示Vk对应的Dk最小，则Vk为这个邻域区域的运动矢量中值，用Vki表示第i个邻域区域的运动矢量中值。
本实施例中，通过计算各个邻域区域的邻域运动矢量与邻域区域内其它运动矢量之间的矢量距离，通过矢量距离确定运动矢量中值，提高了运动矢量中值确定的准确性。
在一个实施例中，步骤308之前，还包括：计算待插值图像块对应的原始运动矢量与各个候选运动矢量之间的第三距离；当第三距离大于预设第一阈值时，进入步骤308；当第三距离小于或等于预设第一阈值时，将原始运动矢量作为待插值图像块对应的目标运动矢量。
具体地，计算原始运动矢量Vc与各个候选运动矢量的矢量距离，可通过
计算得到第三距离，其中P表示候选运动矢量的总数目，Vj表示各个候选运动矢量。当第三距离大于预设第一阈值时，说明原始运动矢量不可靠，需要进入通过候选运动矢量校正原始运动矢量的步骤，当第三距离小于或等于预设第一阈值时，可将原始运动矢量作为待插值图像块对应的目标运动矢量。
本实施例中，通过待插值图像块对应的原始运动矢量与各个候选运动矢量之间的第三距离，提前判断原始运动矢量的可靠性，如果原始运动矢量可靠，则无需进入校正步骤，提高了运动矢量后处理的效率。
在一个实施例中，步骤308包括：计算各个邻域区域的邻域运动矢量与候选运动矢量之间的第四距离；当第四距离小于或等于预设第二阈值时，确定候选运动矢量为可靠状态；当第四距离大于所述预设第二阈值时，确定候选运动矢量为不可靠状态。
具体地，计算候选运动矢量Vj与邻域区域的邻域运动矢量的矢量距离，可通过
计算得到第三距离，其中Si表示邻域区域i的邻域运动矢量的总数目，Vj表示候选运动矢量，Viu表示邻域区域i的邻域运动矢量。当第四距离小于或等于预设第二阈值时，说明候选运动矢量Vj为可靠状态，否则候选运动矢量为不可靠状态。其中邻域区域为多个时，可设置其中任意一个邻域区域对应的Wi大于所述预设第二阈值时，确定候选运动矢量为不可靠状态。
本实施例中，通过候选运动矢量与各个邻域区域的邻域运动矢量之间的距离，判断候选运动矢量的可靠性，提高了候选运动矢量的可靠性的判断准确性。
在一个实施例中，步骤310包括：基于可靠状态的候选运动矢量从对应的参考图像帧中确定对应的第一匹配图像块，根据第一匹配图像块计算得到第一匹配误差；基于待插值图像块的原始运动矢量从对应的参考图像帧中确定对应的第二匹配图像块，根据所述第二匹配图像块计算得到第二匹配误差；将第一匹配误差和所述第二匹配误差中，最小匹配误差对应的运动矢量作为待插值图像块的目标运动矢量。
具体地，参考图像帧包括前向参考图像帧和后向参考图像帧，将可靠状态的候选运动矢量候选运动矢量转化为前向映射运动矢量和后向映射运动矢量，前向映射运动矢量用于表示插值块相对于前向参考图像帧的运动矢量，后向映射运动矢量用于表示插值块相对于后向参考图像帧的运动矢量。通过前向映射运动矢量得到插值块在前向参考图像帧中的第一匹配块，通过后向映射运动矢量得到插值块在后向参考图像帧中的第二匹配块，根据第一匹配块和第二匹配块计算得到第一匹配误差。可以理解，当候选运动矢量包括多个时，可计算得到每个候选运动矢量对应的第一匹配误差。基于相似的方法，根据待插值图像块的原始运动矢量分别从前向参考图像帧和后向参考图像帧确定第三匹配块和第四匹配块，根据第三匹配块和第四匹配块计算得到第二匹配误差。将最小匹配误差对应的运动矢量作为待插值图像块的目标运动矢量。
本实施例中，通过匹配误差比较，判断候选运动矢量与当前运动矢量相比较，是否有更好的匹配效果。依据匹配标准计算候选运动矢量对应的匹配误差并与原始运动矢量对应的匹配误差相比较，当候选运动矢量小于原始运动矢量的匹配误差时，将最小匹配误差对应的运动矢量作为待插值图像块的目标运动矢量，从而将其替代原始运动矢量，以完成对异常运动矢量的校正。
在一个实施例中，步骤310之后，还包括：获取待插值图像帧中的各个待插值图像块对应的目标运动矢量和插值参考图像帧；基于各个待插值图像块对应的目标运动矢量和插值参考图像帧进行插值得到目标插值图像。
具体地，将各个待插值图像块对应的目标运动矢量进行双向映射，得到各个待插值图像块对应的前向映射运动矢量和后向映射运动矢量。通过前向映射运动矢量得到待插值图像块在前向插值参考图像帧中的第一插值像素值，通过后向映射运动矢量得到待插值图像块在后向插值参考图像帧中的第二插值像素值，通过对第一插值像素值和第二插值像素值进行加权得到待插值图像块的插值像素值，其中加权系数的确定可自定义，从而最终生成目标插值图像。
本实施例中，通过校正后的目标运动矢量进行插值得到目标插值图像，减少了插值时容易产生的块效应，提高了插值图像质量。
在一个具体的实施例中，提供一种运动矢量处理方法，通过如图7所示的运动矢量处理系统进行运动估计和异常运动矢量的校正，如图7所示的系统包括分块模块，运动矢量场生成模块，候选运动矢量生成模块、匹配误差检测模块，运动矢量异常检测模块、候选运动矢量获取模块、可靠性确定模块、候选运动矢量匹配模块、误差比较模块，具体过程如下：
1、首先分块模块将视频中的参考帧作为当前图像帧划分为图像块，运动矢量场生成模块依次对每个图像块进行遍历通过运动估计获取最佳运动矢量场。
2、进行运动估计时，针对每个当前处理块，候选运动矢量生成模块根据候选运动矢量的可靠性从候选运动矢量集中输出用于运动补偿的运动矢量。
3、匹配误差检测模块对于选取的候选运动矢量计算其匹配块误差；当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，输出1，表示停止继续生成新的候选运动矢量，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定所述当前处理块对应的目标运动矢量。
4、当输出的用于运动补偿的运动矢量对应的匹配块误差不满足误差阈值条件时，输出0，表示继续生成新的候选运动矢量，返回根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量的步骤。
5、当当前图像帧中对应的各个图像块确定对应的目标运动矢量后，计算图像帧对应的全局运动矢量、亚全局运动矢量和可变范围局部运动矢量中的至少一种，作为下一次运动矢量场计算时的候选运动矢量集。
6、获取待插值图像块，待插值图像块包括通过上述运动估计得到的原始运动矢量。运动矢量异常检测模块对待插值图像块对应的原始运动矢量的状态进行异常检测。
7、若检测为异常状态则进入到后续模块的处理中，若检测为非异常状态则退出当前模块，对下一个待插值图像块的原始运动矢量的状态继续进行异常检测。
8、若检测到待插值图像块的运动矢量为异常状态，则获取待插值图像块的替换的候选运动矢量，由多种类型的候选运动矢量组成，包括四邻域中值、八邻域中值、四邻域均值、八邻域均值。
9、可靠性确定模块对候选运动矢量MV进行可靠性判断，只有符合要求的候选MV才能进入到匹配模块，
10、候选运动矢量匹配模块对候选MV寻找其匹配块，计算匹配块之间的匹配误差，通过误差比较模块将候选MV的匹配误差与原始MV的匹配误差相比较，若匹配误差差于原始MV则不替换，若匹配误差优于原始MV则进行替换。
其中步骤6中，运动矢量异常检测模块对待插值图像块对应的原始运动矢量的状态进行异常检测具体包括：运动矢量异常检测模块首先分别计算其四邻域均值和八邻域均值Vm1和Vm2，通过
得到。然后计算待插值图像块的原始运动矢量分别与Vm1和Vm2的第一距离Vd1和Vd2，通过Vd1＝|Vm1-Vc|，Vd2＝|Vm2-Vc|得到。然后计算四邻域的邻域运动矢量和八邻域的邻域运动矢量与对应的运动矢量均值的第二距离Vd11和Vd22，通过
得到，比较第一距离与第二距离之间的差距，计算Vd1-Vd11和Vd2-Vd22，当Vd1-Vd11和Vd2-Vd22中任一项大于预设阈值时，确定待插值图像块对应的原始运动矢量为异常状态，否则为非异常状态。
其中步骤8中，获取待插值图像块的替换的候选运动矢量，包括四邻域均值和八邻域均值Vm1和Vm2，四邻域中值、八邻域中值通过以下步骤计算得到：分别计算四邻域、八邻域中每一个运动矢量与其他运动矢量的距离：
对于四邻域取N＝4，对于八邻域取N＝8。
取距离最小的值作为四邻域中值、八邻域中值，即
得到四邻域中值、八邻域中值Vk1和Vk2，候选运动矢量包括Vm1和Vm2，Vk1和Vk2。
其中步骤9包括：首先计算候选运动矢量与原始运动矢量的距离D1；然后，将距离D1与阈值TH1相比较，若其小于或等于阈值TH1，则判断原始运动矢量为可靠的，无须进行替换，若其大于阈值TH1，则判断原始运动矢量不可靠；计算候选运动矢量与对应邻域内其余所有MV的距离D2；然后，将该距离D2与阈值TH2相比较，若距离D2小于等于阈值TH2，则认为该候选运动矢量是可靠的，若距离D2大于阈值TH2，认为该候选运动矢量不可靠。
其中步骤10包括：为可靠的候选运动矢量寻找到其对应的匹配块，依据匹配误差函数，对两个匹配块计算其匹配误差，为每一个可靠的候选运动矢量均进行匹配误差的计算。比较所有可靠的候选运动矢量的匹配误差值，在其中选取匹配误差最小的候选运动矢量；然后，将该候选运动矢量的匹配误差与原始运动矢量的匹配误差值相比较，若小于原始运动矢量的匹配误差，则采用该候选运动矢量作为待插值图像块的运动矢量，若大于或等于原始运动矢量的匹配误差，则不进行替换，仍然保留原始运动矢量。
本实施例中，通过运动矢量处理系统中各个处理部件的配合，依据候选运动矢量对应的当前匹配误差，自适应的增加或减少候选运动矢量，将候选运动矢量集中候选运动矢量的数目设置为自适应可变的，在保证图像质量的情况下尽可能的减少计算复杂度，并依据候选运动矢量的可靠性，自适应选择候选运动矢量的匹配顺序，提高目标运动矢量的获取效率。待插值图像块的候选运动矢量包括不同类型的运动矢量，增加了作为替换的候选运动矢量的种类，当其中一种候选运动矢量不能够满足替换的要求时，仍有其他可能性找到正确的运动矢量，增加了候选运动矢量可靠性的检测，并非直接采用候选运动矢量来替换原始运动矢量，提升了候选运动矢量的可靠性。
应该理解的是，虽然图2、图4、图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4、图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例的运动矢量处理装置500的结构框图。如图8所示，一种运动矢量处理装置500，包括：获取模块502、候选运动矢量生成模块504、匹配误差检测模块506，其中：
获取模块502，用于获取当前处理块，当前处理块是进行运动估计的图像帧中的图像块。
候选运动矢量生成模块504，用于获取当前处理块对应的候选运动矢量集，候选矢量集中包括多个候选运动矢量，根据候选运动矢量的可靠性从候选运动矢量集中输出用于运动补偿的运动矢量。
匹配误差检测模块506，用于计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定所述当前处理块对应的目标运动矢量。
本实施中的运动矢量处理装置500，依据候选运动矢量对应的当前匹配误差，自适应的增加或减少候选运动矢量，将候选运动矢量集中候选运动矢量的数目设置为自适应可变的，在保证图像质量的情况下尽可能的减少计算复杂度，并依据候选运动矢量的可靠性，自适应选择候选运动矢量的匹配顺序，提高目标运动矢量的获取效率。
在一个实施例中，候选运动矢量生成模块504还用于当候选运动矢量集包括空间候选运动矢量和时间候选运动矢量时，空间候选运动矢量的输出优先于时间候选运动矢量。
本实施例中，先输出空间候选运动矢量，再输出时间候选运动矢量，空间候选运动矢量比时间候选运动矢量成为目标运动矢量的机率高，便于提高目标运动矢量选取的效率，进一步降低运算复杂度。
在一个实施例中，匹配误差检测模块506还用于当输出的用于运动补偿的运动矢量对应的匹配块误差不满足误差阈值条件时，返回候选运动矢量生成模块504中根据候选运动矢量的可靠性从候选运动矢量集中输出用于运动补偿的运动矢量。
本实施例中，在匹配较差时，能够通过增加候选运动矢量的数目，增加匹配块正确匹配的可能性，更有可能寻找到块的最佳运动矢量。
在一个实施例中，候选运动矢量生成模块504还用于当图像帧中的各个图像块确定对应的目标运动矢量后，计算所述图像帧对应的全局运动矢量、亚全局运动矢量和可变范围局部运动矢量中的至少一种，所述全局运动矢量、亚全局运动矢量和可变范围局部运动矢量中的至少一种作为下一个图像帧中匹配的图像块对应的候选运动矢量集中的候选运动矢量。
本实施例中，除全局运动矢量外，将亚全局运动矢量和可变范围局部运动矢量也添加至候选运动矢量集中，增加了候选运动矢量的种类，使得块匹配找到最佳运动矢量的可能性增加。
在一个实施例中，候选运动矢量生成模块504还用于对图像帧中的各个图像块对应的运动矢量进行直方图统计；获取统计数目最多的第一运动矢量和统计数目次多的第二运动矢量；将第一运动矢量作为所述全局运动矢量；将第二运动矢量作为亚全局运动矢量。
本实施例中，通过直方图统计可快速计算得到全局运动矢量和亚全局运动矢量，全局运动矢量和亚全局运动矢量体现了图像帧对应的不同的运动趋势。
在一个实施例中，候选运动矢量生成模块504还用于将图像帧划分为多个局部区域，局部区域大小为可变的；分别对局部区域中的运动矢量进行直方图统计；获取局部区域中统计数目最多的运动矢量作为对应局部区域的可变范围局部运动矢量。
本实施例中，局部运动矢量代表可变范围局部区域的运动趋势，进一步增加了候选运动矢量的种类和数目，使得块匹配找到最佳运动矢量的可能性增加。
在一个实施例中，候选运动矢量生成模块504还用于获取当前区域大小范围，所述当前区域大小范围基于局部区域长和局部区域宽确定，所述局部区域长和局部区域宽中的至少一种为根据预设规则变化的；根据所述当前区域大小范围将所述图像帧划分为对应的多个局部区域。
本实施例中，根据预设规则变化的局部区域长和局部区域宽，进行局部区域的划分，提高了候选运动矢量获取的灵活性，进一步提高块匹配找到最佳运动矢量的可能性。
在一个实施例中，如图8所示，装置还包括：
运动矢量异常检测模块508，用于获取待插值图像块，待插值图像块包括通过运动估计得到的原始运动矢量，对待插值图像块对应的原始运动矢量的状态进行异常检测。
候选运动矢量获取模块510，用于当原始运动矢量的状态为异常状态时，获取待插值图像块的候选运动矢量，候选运动矢量包括不同类型的运动矢量，不同类型的运动矢量是由所属待插值图像块的邻域区域的邻域运动矢量确定的。
可靠性确定模块512，用于基于邻域运动矢量确定候选运动矢量的可靠性。
运动矢量校正模块514，用于获取可靠状态的候选运动矢量，根据可靠状态的候选运动矢量对待插值图像块的原始运动矢量进行校正，得到待插值图像块的目标运动矢量。
本实施例中，待插值图像块的候选运动矢量包括不同类型的运动矢量，增加了作为替换的候选运动矢量的种类，当其中一种候选运动矢量不能够满足替换的要求时，仍有其他可能性找到正确的运动矢量，增加了候选运动矢量可靠性的检测，并非直接采用候选运动矢量来替换原始运动矢量，提升了候选运动矢量的可靠性。
在一个实施例中，运动矢量异常检测模块508还用于获取所属待插值图像块的至少两个不同大小的邻域区域，基于各个邻域区域的邻域运动矢量得到各个邻域区域对应的运动矢量均值，计算所述待插值图像块的原始运动矢量与所述各个邻域区域对应的运动矢量均值之间的第一距离，计算所述各个邻域区域的邻域运动矢量与对应的运动矢量均值之间的第二距离，根据所述第一距离与第二距离之间的差距确定所述待插值图像块对应的原始运动矢量的异常状态。
本实施例中，通过至少两个不同大小的邻域区域的邻域运动矢量，计算邻域区域的运动矢量均值，并根据原始运动矢量与各个邻域区域对应的运动矢量均值之间的第一距离和各个邻域区域的邻域运动矢量与对应的运动矢量均值之间的第二距离检测原始运动矢量是否为异常状态，提高了异常状态检测的准确度。
在一个实施例中，运动矢量异常检测模块508还用于基于待插值图像块的原始运动矢量从对应的参考图像帧中确定对应的匹配图像块，根据匹配图像块计算得到匹配误差；根据所述匹配误差与误差阈值之间的关系确定待插值图像块对应的原始运动矢量的异常状态。
本实施例中，通过匹配误差与误差阈值之间的关系确定所述待插值图像块对应的原始运动矢量的异常状态，不需要进行额外的计算，简单方便。
在一个实施例中，候选运动矢量获取模块510还用于通过以下方式中的至少一种获取待插值图像块的候选运动矢量：将各个邻域区域对应的运动矢量均值作为待插值图像块的候选运动矢量；基于各个邻域区域的邻域运动矢量得到各个邻域区域对应的运动矢量中值，将各个邻域区域对应的运动矢量中值作为待插值图像块的候选运动矢量；将各个邻域区域的邻域运动矢量进行滤波，各个邻域区域的滤波后的邻域运动矢量作为待插值图像块的候选运动矢量。
本实施例中，将多种运动矢量作为候选运动矢量，增加了候选运动矢量的种类，提高了候选运动矢量的可靠性，当其中一种候选运动矢量不能够满足替换原始运动矢量的要求时，仍有其他可能性找到正确的运动矢量。
在一个实施例中，候选运动矢量获取模块510还用于计算各个邻域区域的邻域运动矢量与邻域区域内其它运动矢量之间的矢量距离；将矢量距离最小的邻域运动矢量作为所属邻域区域的运动矢量中值。
本实施例中，通过计算各个邻域区域的邻域运动矢量与邻域区域内其它运动矢量之间的矢量距离，通过矢量距离确定运动矢量中值，提高了运动矢量中值确定的准确性。
在一个实施例中，装置还包括：提前判断模块，用于计算待插值图像块对应的原始运动矢量与各个候选运动矢量之间的第三距离，当第三距离大于预设第一阈值时，进入可靠性确定模块512，当第三距离小于或等于预设第一阈值时，将原始运动矢量作为待插值图像块对应的目标运动矢量。
本实施例中，通过待插值图像块对应的原始运动矢量与各个候选运动矢量之间的第三距离，提前判断原始运动矢量的可靠性，如果原始运动矢量可靠，则无需进入校正步骤，提高了运动矢量后处理的效率。
在一个实施例中，可靠性确定模块512还用于计算各个邻域区域的邻域运动矢量与所述候选运动矢量之间的第四距离；当第四距离小于或等于预设第二阈值时，确定候选运动矢量为可靠状态；当第四距离大于预设第二阈值时，确定候选运动矢量为不可靠状态。
本实施例中，通过候选运动矢量与各个邻域区域的邻域运动矢量之间的距离，判断候选运动矢量的可靠性，提高了候选运动矢量的可靠性的判断准确性。
在一个实施例中，运动矢量校正模块514还用于基于可靠状态的候选运动矢量从对应的参考图像帧中确定对应的第一匹配图像块，根据第一匹配图像块计算得到第一匹配误差，基于待插值图像块的原始运动矢量从对应的参考图像帧中确定对应的第二匹配图像块，根据第二匹配图像块计算得到第二匹配误差，将第一匹配误差和第二匹配误差中，最小匹配误差对应的运动矢量作为待插值图像块的目标运动矢量。
本实施例中，通过匹配误差比较，判断候选运动矢量与当前运动矢量相比较，是否有更好的匹配效果。依据匹配标准计算候选运动矢量对应的匹配误差并与原始运动矢量对应的匹配误差相比较，当候选运动矢量小于原始运动矢量的匹配误差时，将最小匹配误差对应的运动矢量作为待插值图像块的目标运动矢量，从而将其替代原始运动矢量，以完成对异常运动矢量的校正。
在一个实施例中，装置还包括：
插值模块，用于获取待插值图像帧中的各个待插值图像块对应的目标运动矢量和插值参考图像帧；基于各个待插值图像块对应的目标运动矢量和插值参考图像帧进行插值得到目标插值图像。
本实施例中，通过校正后的目标运动矢量进行插值得到目标插值图像，减少了插值时容易产生的块效应，提高了插值图像质量。
关于运动矢量处理装置的具体限定可以参见上文中对于运动矢量处理方法的限定，在此不再赘述。上述运动矢量处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图9为一个实施例中电子设备的内部结构示意图。如图9所示，该电子设备包括通过系统总线连接的处理器、存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的运动矢量处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、服务器等。
本申请实施例中提供的运动矢量处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行运动矢量处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行运动矢量处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (26)
1.一种运动矢量处理方法，其特征在于，包括：
获取当前处理块，所述当前处理块是进行运动估计的图像帧中的图像块；
获取所述当前处理块对应的候选运动矢量集，所述候选运动矢量集中包括多个候选运动矢量；
根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量，所述候选运动矢量的可靠性是根据所述候选运动矢量与邻域运动矢量之间的距离确定的，所述邻域运动矢量是所述当前处理块的邻域区域的运动矢量；
计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定所述当前处理块对应的目标运动矢量。
2.根据权利要求1所述的方法，其特征在于，所述根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量包括：
当所述候选运动矢量集包括空间候选运动矢量和时间候选运动矢量时，所述空间候选运动矢量的输出优先于所述时间候选运动矢量。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当输出的用于运动补偿的运动矢量对应的匹配块误差不满足误差阈值条件时，返回所述根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量的步骤。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述图像帧中对应的各个图像块确定对应的目标运动矢量后，计算所述图像帧对应的全局运动矢量、亚全局运动矢量和可变范围局部运动矢量中的至少一种；
所述全局运动矢量、亚全局运动矢量和可变范围局部运动矢量中的至少一种作为下一个图像帧中匹配的图像块对应的候选运动矢量集中的候选运动矢量。
5.根据权利要求4所述的方法，其特征在于，所述全局运动矢量和亚全局运动矢量的计算包括以下步骤：
对所述图像帧中的各个图像块对应的运动矢量进行直方图统计；
获取统计数目最多的第一运动矢量和统计数目次多的第二运动矢量；
将所述第一运动矢量作为所述全局运动矢量；
将所述第二运动矢量作为所述亚全局运动矢量。
6.根据权利要求4所述的方法，其特征在于，所述可变范围局部运动矢量的计算包括以下步骤：
将所述图像帧划分为多个局部区域，所述局部区域大小为可变的；
分别对所述局部区域中的运动矢量进行直方图统计；
获取局部区域中统计数目最多的运动矢量作为对应局部区域的可变范围局部运动矢量。
7.根据权利要求6所述的方法，其特征在于，所述将所述图像帧划分为多个局部区域包括：
获取当前区域大小范围，所述当前区域大小范围基于局部区域长和局部区域宽确定，所述局部区域长和局部区域宽中的至少一种为根据预设规则变化的；
根据所述当前区域大小范围将所述图像帧划分为对应的多个局部区域。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待插值图像块，所述待插值图像块包括通过所述运动估计得到的原始运动矢量；
对所述待插值图像块对应的原始运动矢量的状态进行异常检测；
当所述原始运动矢量的状态为异常状态时，获取所述待插值图像块的候选运动矢量，所述候选运动矢量包括不同类型的运动矢量，所述不同类型的运动矢量是由所属待插值图像块的邻域区域的邻域运动矢量确定的；
基于所述邻域运动矢量确定所述候选运动矢量的可靠性；
获取可靠状态的候选运动矢量，根据所述可靠状态的候选运动矢量对所述待插值图像块的原始运动矢量进行校正，得到所述待插值图像块的目标运动矢量。
9.根据权利要求8所述的方法，其特征在于，所述对所述待插值图像块对应的原始运动矢量的状态进行异常检测包括：
获取所属待插值图像块的至少两个不同大小的邻域区域；
基于各个邻域区域的邻域运动矢量得到各个邻域区域对应的运动矢量均值；
计算所述待插值图像块的原始运动矢量与所述各个邻域区域对应的运动矢量均值之间的第一距离；
计算所述各个邻域区域的邻域运动矢量与对应的运动矢量均值之间的第二距离；
根据所述第一距离与第二距离之间的差距确定所述待插值图像块对应的原始运动矢量的异常状态。
10.根据权利要求8所述的方法，其特征在于，所述对所述待插值图像块对应的原始运动矢量的状态进行异常检测包括：
基于所述待插值图像块的原始运动矢量从对应的参考图像帧中确定对应的匹配图像块，根据所述匹配图像块计算得到匹配误差；
根据所述匹配误差与误差阈值之间的关系确定所述待插值图像块对应的原始运动矢量的异常状态。
11.根据权利要求8所述的方法，其特征在于，所述当所述原始运动矢量的状态为异常状态时，获取所述待插值图像块的候选运动矢量包括以下方式中的至少一种：
将所述各个邻域区域对应的运动矢量均值作为所述待插值图像块的候选运动矢量；
基于各个邻域区域的邻域运动矢量得到各个邻域区域对应的运动矢量中值，将所述各个邻域区域对应的运动矢量中值作为所述待插值图像块的候选运动矢量；
将各个邻域区域的邻域运动矢量进行滤波，各个邻域区域的滤波后的邻域运动矢量作为所述待插值图像块的候选运动矢量。
12.根据权利要求11所述的方法，其特征在于，所述基于各个邻域区域的邻域运动矢量得到各个邻域区域对应的运动矢量中值包括：
计算各个邻域区域的邻域运动矢量与邻域区域内其它运动矢量之间的矢量距离；
将矢量距离最小的邻域运动矢量作为所属邻域区域的运动矢量中值。
13.根据权利要求11所述的方法，其特征在于，所述基于所述邻域运动矢量确定所述候选运动矢量的可靠性之前，还包括：
计算所述待插值图像块对应的原始运动矢量与各个候选运动矢量之间的第三距离；
当所述第三距离大于预设第一阈值时，进入所述基于所述邻域运动矢量确定所述候选运动矢量的可靠性的步骤；
当所述第三距离小于或等于所述预设第一阈值时，将所述原始运动矢量作为所述待插值图像块对应的目标运动矢量。
14.根据权利要求13所述的方法，其特征在于，所述基于所述邻域运动矢量确定所述候选运动矢量的可靠性包括：
计算所述各个邻域区域的邻域运动矢量与所述候选运动矢量之间的第四距离；
当所述第四距离小于或等于预设第二阈值时，确定所述候选运动矢量为可靠状态；
当所述第四距离大于所述预设第二阈值时，确定所述候选运动矢量为不可靠状态。
15.根据权利要求8至14中任一项所述的方法，其特征在于，所述根据所述可靠状态的候选运动矢量对所述待插值图像块的原始运动矢量进行校正，得到所述待插值图像块的目标运动矢量包括：
基于所述可靠状态的候选运动矢量从对应的参考图像帧中确定对应的第一匹配图像块，根据所述第一匹配图像块计算得到第一匹配误差；
基于所述待插值图像块的原始运动矢量从对应的参考图像帧中确定对应的第二匹配图像块，根据所述第二匹配图像块计算得到第二匹配误差；
将所述第一匹配误差和所述第二匹配误差中，最小匹配误差对应的运动矢量作为所述待插值图像块的目标运动矢量。
16.根据权利要求15中所述的方法，其特征在于，所述根据所述可靠状态的候选运动矢量对所述待插值图像块的原始运动矢量进行校正，得到所述待插值图像块的目标运动矢量之后，还包括：
获取待插值图像帧中的各个待插值图像块对应的目标运动矢量和插值参考图像帧；
基于各个待插值图像块对应的目标运动矢量和插值参考图像帧进行插值得到目标插值图像。
17.一种运动矢量处理装置，其特征在于，包括：
获取模块，用于获取当前处理块，所述当前处理块是进行运动估计的图像帧中的图像块；
候选运动矢量生成模块，用于获取所述当前处理块对应的候选运动矢量集，所述候选运动矢量集中包括多个候选运动矢量，根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量，所述候选运动矢量的可靠性是根据所述候选运动矢量与邻域运动矢量之间的距离确定的，所述邻域运动矢量是所述当前处理块的邻域区域的运动矢量；
匹配误差检测模块，用于计算用于运动补偿的运动矢量对应的匹配块误差，当输出的用于运动补偿的运动矢量对应的匹配块误差满足误差阈值条件时，基于已输出的用于运动补偿的运动矢量对应的匹配块误差确定所述当前处理块对应的目标运动矢量。
18.根据权利要求17所述的装置，其特征在于，所述匹配误差检测模块还用于当输出的用于运动补偿的运动矢量对应的匹配块误差不满足误差阈值条件时，返回所述候选运动矢量生成模块中根据候选运动矢量的可靠性从所述候选运动矢量集中输出用于运动补偿的运动矢量。
19.根据权利要求17所述的装置，其特征在于，所述候选运动矢量生成模块还用于当所述图像帧中的各个图像块确定对应的目标运动矢量后，计算所述图像帧对应的全局运动矢量、亚全局运动矢量和可变范围局部运动矢量中的至少一种，所述全局运动矢量、亚全局运动矢量和可变范围局部运动矢量中的至少一种作为下一个图像帧中匹配的图像块对应的候选运动矢量集中的候选运动矢量。
20.根据权利要求17所述的装置，其特征在于，所述装置还包括：
运动矢量异常检测模块，用于获取待插值图像块，所述待插值图像块包括通过所述运动估计得到的原始运动矢量，对所述待插值图像块对应的原始运动矢量的状态进行异常检测；
候选运动矢量获取模块，用于当所述原始运动矢量的状态为异常状态时，获取所述待插值图像块的候选运动矢量，所述候选运动矢量包括不同类型的运动矢量，所述不同类型的运动矢量是由所属待插值图像块的邻域区域的邻域运动矢量确定的；
可靠性确定模块，用于基于所述邻域运动矢量确定所述候选运动矢量的可靠性；
运动矢量校正模块，用于获取可靠状态的候选运动矢量，根据所述可靠状态的候选运动矢量对所述待插值图像块的原始运动矢量进行校正，得到所述待插值图像块的目标运动矢量。
21.根据权利要求20所述的装置，其特征在于，所述运动矢量异常检测模块还用于获取所属待插值图像块的至少两个不同大小的邻域区域，基于各个邻域区域的邻域运动矢量得到各个邻域区域对应的运动矢量均值，计算所述待插值图像块的原始运动矢量与所述各个邻域区域对应的运动矢量均值之间的第一距离，计算所述各个邻域区域的邻域运动矢量与对应的运动矢量均值之间的第二距离，根据所述第一距离与第二距离之间的差距确定所述待插值图像块对应的原始运动矢量的异常状态。
22.根据权利要求20所述的装置，其特征在于，所述候选运动矢量获取模块还用于通过以下方式中的至少一种获取所述待插值图像块的候选运动矢量：将所述各个邻域区域对应的运动矢量均值作为所述待插值图像块的候选运动矢量；基于各个邻域区域的邻域运动矢量得到各个邻域区域对应的运动矢量中值，将所述各个邻域区域对应的运动矢量中值作为所述待插值图像块的候选运动矢量；将各个邻域区域的邻域运动矢量进行滤波，各个邻域区域的滤波后的邻域运动矢量作为所述待插值图像块的候选运动矢量。
23.根据权利要求20所述的装置，其特征在于，所述装置还包括：
提前判断模块，用于计算所述待插值图像块对应的原始运动矢量与各个候选运动矢量之间的第三距离，当所述第三距离大于预设第一阈值时，进入所述可靠性确定模块，当所述第三距离小于或等于所述预设第一阈值时，将所述原始运动矢量作为所述待插值图像块对应的目标运动矢量。
24.根据权利要求23所述的装置，其特征在于，所述运动矢量校正模块还用于基于所述可靠状态的候选运动矢量从对应的参考图像帧中确定对应的第一匹配图像块，根据所述第一匹配图像块计算得到第一匹配误差，基于所述待插值图像块的原始运动矢量从对应的参考图像帧中确定对应的第二匹配图像块，根据所述第二匹配图像块计算得到第二匹配误差，将所述第一匹配误差和所述第二匹配误差中，最小匹配误差对应的运动矢量作为所述待插值图像块的目标运动矢量。
25.一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至16中任一项所述方法的步骤。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至16中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010615283.6A CN111711823B (zh) | 2020-06-30 | 2020-06-30 | 运动矢量处理方法和装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010615283.6A CN111711823B (zh) | 2020-06-30 | 2020-06-30 | 运动矢量处理方法和装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111711823A CN111711823A (zh) | 2020-09-25 |
| CN111711823B true CN111711823B (zh) | 2022-11-15 |
Family
ID=72543912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010615283.6A Active CN111711823B (zh) | 2020-06-30 | 2020-06-30 | 运动矢量处理方法和装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111711823B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754429B (zh) * | 2020-06-16 | 2024-06-11 | Oppo广东移动通信有限公司 | 运动矢量后处理方法和装置、电子设备及存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112601091A (zh) * | 2020-12-02 | 2021-04-02 | 上海顺久电子科技有限公司 | 一种帧率转换中的运动估计方法及显示设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1444406A (zh) * | 2003-01-24 | 2003-09-24 | 杭州国芯科技有限公司 | 视频运动估计方法 |
| CN1656515A (zh) * | 2002-05-30 | 2005-08-17 | 皇家飞利浦电子股份有限公司 | 估计当前运动矢量的单元和方法 |
| JP2008227826A (ja) * | 2007-03-12 | 2008-09-25 | Toshiba Corp | 補間フレーム作成方法及び補間フレーム作成装置 |
| CN102215386A (zh) * | 2010-04-09 | 2011-10-12 | 华为技术有限公司 | 视频图像块处理方法及装置 |
| CN103338377A (zh) * | 2013-07-11 | 2013-10-02 | 青岛海信信芯科技有限公司 | 用于确定运动估计中最优运动矢量的方法 |
| CN110859057A (zh) * | 2018-06-29 | 2020-03-03 | 深圳市大疆创新科技有限公司 | 运动矢量确定方法、设备及机器可读存储介质 |
-
2020
- 2020-06-30 CN CN202010615283.6A patent/CN111711823B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1656515A (zh) * | 2002-05-30 | 2005-08-17 | 皇家飞利浦电子股份有限公司 | 估计当前运动矢量的单元和方法 |
| CN1444406A (zh) * | 2003-01-24 | 2003-09-24 | 杭州国芯科技有限公司 | 视频运动估计方法 |
| JP2008227826A (ja) * | 2007-03-12 | 2008-09-25 | Toshiba Corp | 補間フレーム作成方法及び補間フレーム作成装置 |
| CN102215386A (zh) * | 2010-04-09 | 2011-10-12 | 华为技术有限公司 | 视频图像块处理方法及装置 |
| CN103338377A (zh) * | 2013-07-11 | 2013-10-02 | 青岛海信信芯科技有限公司 | 用于确定运动估计中最优运动矢量的方法 |
| CN110859057A (zh) * | 2018-06-29 | 2020-03-03 | 深圳市大疆创新科技有限公司 | 运动矢量确定方法、设备及机器可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754429B (zh) * | 2020-06-16 | 2024-06-11 | Oppo广东移动通信有限公司 | 运动矢量后处理方法和装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111711823A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11019356B2 (en) | Motion estimation method and device | |
| JP4404095B2 (ja) | テンプレートマッチングのための方法、その装置及びそのためのプログラムを記録した記録媒体 | |
| CN110378348B (zh) | 视频实例分割方法、设备及计算机可读存储介质 | |
| CN111754429B (zh) | 运动矢量后处理方法和装置、电子设备及存储介质 | |
| CN111711823B (zh) | 运动矢量处理方法和装置、电子设备及存储介质 | |
| US20040258154A1 (en) | System and method for multi-stage predictive motion estimation | |
| CN111491204B (zh) | 视频修复方法、装置、电子设备和计算机可读存储介质 | |
| US10021413B2 (en) | Apparatus and method for video data processing | |
| US10026155B1 (en) | Image-processing apparatus | |
| US20110050993A1 (en) | Motion estimating method and image processing apparatus | |
| CN112749726B (zh) | 目标检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN112489090A (zh) | 目标跟踪的方法、计算机可读存储介质及计算机设备 | |
| CN113643333A (zh) | 图像配准方法、装置、电子设备和计算机可读存储介质 | |
| CN111586321B (zh) | 视频生成方法、装置、电子设备和计算机可读存储介质 | |
| CN111614911B (zh) | 图像生成方法和装置、电子设备及存储介质 | |
| CN112132769A (zh) | 图像融合方法、装置以及计算机设备 | |
| CN111445487B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN115482369A (zh) | 一种基于速度档位搜索的弱小目标检测方法 | |
| Jung et al. | Anyflow: Arbitrary scale optical flow with implicit neural representation | |
| US20100239019A1 (en) | Post processing of motion vectors using sad for low bit rate video compression | |
| CN112770118B (zh) | 视频帧图像运动估计方法及相关设备 | |
| CN110427816B (zh) | 物体检测方法、装置、计算机设备和存储介质 | |
| CN115641611A (zh) | 人体姿态估计方法、装置、设备及存储介质 | |
| CN111698517B (zh) | 运动矢量的确定方法、装置、电子设备和可读存储介质 | |
| CN109120943A (zh) | 视频数据恢复方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |