CN112770015A - 一种数据处理方法及相关装置 - Google Patents

Abstract

一种数据处理方法及相关装置，其中，所述方法包括：确定待插帧图像中目标图像区域的参考运动向量；根据参考运动向量从第一图像中确定目标图像区域对应的第一参考图像区域，从第二图像中确定目标图像区域对应的第二参考图像区域；根据第一参考图像区域的运动向量和第二参考图像区域的运动向量确定目标图像区域的目标运动向量；根据目标运动向量从第一图像中确定第一匹配图像区域，从第二图像中确定第二匹配图像区域；根据目标运动向量、第一匹配图像区域的运动向量和第二匹配图像区域的运动向量确定目标图像区域的状态。采用本申请，可准确检测出待插帧图像中任一图像区域区域的显示状态，有利于准确获取该图像区域的图像数据。

Description

一种数据处理方法及相关装置

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法及相关装置。

背景技术

运动估计运动补偿(Motion estimation and motion compensation，MEMC)技术是一种液晶电视或投影仪等显示设备中用到的运动画质补偿技术，原理是采用动态映像系统，在两帧图像之间插一帧运动补偿帧，能够让运动画面更加清晰流畅。但是，由于目前在运动估计运动补偿过程中不能准确地确定出待插帧图像中的图像区域的显示状态，会导致待插帧图像的效果不好，如运动物体的边缘会包围一圈轮廓等。

发明内容

本申请实施例提供了一种数据处理方法及相关装置，可准确确定出待插帧图像中任一图像区域的显示状态，有利于准确获取该图像区域的图像数据，保证待插帧图像的效果。

为了解决上述技术问题，第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

确定待插帧图像中目标图像区域的参考运动向量；

根据所述参考运动向量从第一图像中确定所述目标图像区域对应的第一参考图像区域，从第二图像中确定所述目标图像区域对应的第二参考图像区域；

根据所述第一图像区域的运动向量和所述第二图像区域的运动向量确定所述目标图像区域的目标运动向量；

根据所述目标运动向量从所述第一图像中确定所述目标图像区域对应的第一匹配图像区域，从第二图像中确定所述目标图像区域对应的第二匹配图像区域；

根据所述目标运动向量、所述第一匹配图像区域的运动向量和所述第二匹配图像区域的运动向量确定所述目标图像区域的状态，所述状态包括遮盖状态、暴露状态和匹配状态中的任一种。

第二方面，本申请实施例还提供了一种数据处理装置，所述装置包括：

确定模块，用于确定待插帧图像中目标图像区域的参考运动向量；

所述确定模块，还用于根据所述参考运动向量从第一图像中确定所述目标图像区域对应的第一参考图像区域，从第二图像中确定所述目标图像区域对应的第二参考图像区域；

所述确定模块，还用于根据所述第一图像区域的运动向量和所述第二图像区域的运动向量确定所述目标图像区域的目标运动向量；

所述确定模块，还用于根据所述目标运动向量从所述第一图像中确定所述目标图像区域对应的第一匹配图像区域，从第二图像中确定所述目标图像区域对应的第二匹配图像区域；

处理模块，用于根据所述目标运动向量、所述第一匹配图像区域的运动向量和所述第二匹配图像区域的运动向量确定所述目标图像区域的状态，所述状态包括遮盖状态、暴露状态和匹配状态中的任一种。

第三方面，本申请实施例还提供了一种智能终端，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行第一方面所述的方法

第四方面，本申请实施例还提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如第一方面所述的方法。

第五方面，本申请提供了一种芯片，该芯片包括处理器与数据接口，该处理器通过该数据接口读取存储器上存储的指令，以执行上述第一方面的方法。

第六方面，本申请提供了一种芯片模组，该芯片模组包括如上述第五方面所描述的芯片。

实施本申请实施例，具有如下有益效果：确定待插帧图像中目标图像区域的参考运动向量，根据参考运动向量从第一图像中确定目标图像区域对应的第一参考图像区域，从第二图像中确定目标图像区域对应的第二参考图像区域；根据第一图像区域的运动向量和第二图像区域的运动向量确定目标图像区域的目标运动向量，根据目标运动向量从第一图像中确定目标图像区域对应的第一匹配图像区域，从第二图像中确定目标图像区域对应的第二匹配图像区域；根据目标运动向量、第一匹配图像区域的运动向量和第二匹配图像区域的运动向量确定目标图像区域的状态。可见，本申请实施例，准确确定出待插帧图像中任一图像区域的显示状态，有利于准确获取该图像区域的图像数据，保证待插帧图像的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的第一种数据处理方法的流程示意图；

图2是本申请一个示例性实施例提供的一种待插帧图像的示意图；

图3a是本申请一个示例性实施例提供的一种待比较图像区域在第一图像和第二图像中的位置示意图；

图3b是本申请一个示例性实施例提供的第一种第一参考图像区域和第二参考图像区域的位置示意图；

图3c是本申请一个示例性实施例提供的第二种第一参考图像区域和第二参考图像区域的位置示意图；

图3d是本申请一个示例性实施例提供的第三种第一参考图像区域和第二参考图像区域的位置示意图；

图3e是本申请一个示例性实施例提供的第一种目标运动向量的示意图；

图3f是本申请一个示例性实施例提供的第二种目标运动向量的示意图；

图3g是本申请一个示例性实施例提供的第三种目标运动向量的示意图；

图3h是本申请一个示例性实施例提供的第一种第一匹配图像区域和第二匹配图像区域的位置示意图；

图3i是本申请一个示例性实施例提供的第二种第一匹配图像区域和第二匹配图像区域的位置示意图；

图3j是本申请一个示例性实施例提供的第三种第一匹配图像区域和第二匹配图像区域的位置示意图；

图4是本申请一个示例性实施例提供的第二种数据处理方法的流程示意图；

图5是本申请一个示例性实施例提供的一种数据处理装置的结构示意图；

图6是本申请一个示例性实施例提供的一种智能终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例涉及运动估计运动补偿技术是一种利用运动估计运动补偿进行插帧的技术。具体的，运动估计的基本思想是将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有像素的位移量都相同，然后对每个宏块到参考帧某一给定特定搜索范围内根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量，也就是说，得到运动矢量的过程被称为运动估计；运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。最后，通过运动估计运动补偿技术进行插帧时能够检测出遮盖/暴露区域，进而清除上一帧图像的残影、提高动态清晰度的效果，将影像拖尾降至人眼难以感知的程度。

本申请实施例以运动估计运动补偿技术进行插帧过程中遮盖/暴露区域检测不够准确为基础，示例性的提出了一种数据处理方法，请参见图1，图1是本申请一个示例性实施例提供的第一种数据处理方法的流程示意图，该方法由智能终端执行，该智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal DigitalAssistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等智能移动终端，以及诸如数字TV、台式计算机等智能固定终端，所述方法包括：

S101、确定待插帧图像中目标图像区域的参考运动向量。

本申请实施例中，如图2所示，待插帧图像为第一图像和第二图像之间的一帧图像，目标图像区域为待插帧图像中任一图像区域。在一种可选的实施方式中，所述确定待插帧图像中目标图像区域的参考运动向量，可包括：确定多个待选取方向；针对所述多个待选取方向中的每一个待选取方向，根据待选取方向确定所述第一图像中的待比较图像区域，并确定所述第二图像中的待比较图像区域；确定所述第一图像中的待比较图像区域与所述第二图像中的待比较图像区域的相似特征参数；根据所述相似特征参数从所述多个待选取方向中确定目标待选取方向，并根据所述目标待选取方向确定待插帧图像中目标图像区域的参考运动向量。本申请实施例中，相似特征参数指的是第一图像中的待比较图像区域与第二图像中的待比较图像区域之间的相似程度。本申请中确定出目标图像区域，确定出目标图像区域的运动向量的多个待选取方向，例如0至360度的方向都可确定为待选取方向。针对确定出来的多个待选取方向中的每一个待选取方向，确定出第一图像中的待比较图像区域，确定第二图像中的待比较图像区域，如图3a所示，以待选取方向为45度为例，确定出两个待比较图像区域，并计算二者的相似程度，即计算两个待比较图像区域之间的像素值差的绝对值之和(Sum of Absolute Differences，SAD)，如此计算出多个待选取方向中每个待选取方向对应的两个待比较图像区域之间的相似程度，根据相似程度从多个待选取方向中确定出目标待选取方向，可选的，在相似程度越高即两个待比较图像区域之间的像素值差的绝对值之和小于或者等于预设数值时，确定当前的待选取方向为目标待选取方向，进而根据目标待选取方向确定待插帧图像中目标图像区域的参考运动向量。可以理解的是，目标图像区域的大小可以是m*n像素大小的图像块，m、n均为正整数；预设数值可根据实际情况具体确定，本申请实施例中不作具体限定。

S102、根据参考运动向量从第一图像中确定目标图像区域对应的第一参考图像区域，从第二图像中确定目标图像区域对应的第二参考图像区域。

本申请实施例中，第一参考图像区域的大小、第二参考图像区域的大小与目标图像区域的大小相同，第一参考图像区域和第二参考图像区域可以是以目标图像区域和参考运向量为基础，根据运动估计在第一图像和第二图像中的所得到两个匹配图像块。如图3b所示，以目标图像区域为a，参考运动向量的方向与运动物体的运动方向一致为例，根据参考运动向量可从第一图像中确定目标图像区域a对应的第一参考图像区域，从第二图像中确定目标图像区域a对应的第二参考图像区域。如图3c所示，以目标图像区域为b，参考运动向量的方向与运动物体的运动方向一致，根据参考运动向量可从第一图像中确定目标图像区域b对应的第一参考图像区域，从第二图像中确定目标图像区域b对应的第二参考图像区域。如图3d所示，以目标图像区域为c，参考运动向量的方向与运动物体的运动方向一致，根据参考运动向量可从第一图像中确定目标图像区域c对应的第一参考图像区域，从第二图像中确定目标图像区域c对应的第二参考图像区域。

S103、根据第一参考图像区域的运动向量和第二参考图像区域的运动向量确定目标图像区域的目标运动向量。

本申请实施例中，确定出第一参考图像区域的运动向量，并确定出第二参考图像区域的运动向量，根据第一参考图像区域的运动向量和第二参考图像区域的运动向量确定目标图像区域的目标运动向量。如图3e所示，根据第一参考图像区域的运动向量和第二参考图像区域的运动向量确定出目标图像区域a的目标运动向量，该目标运动向量的方向与运动物体的运动方向不一致；如图3f所示，根据第一参考图像区域的运动向量和第二参考图像区域的运动向量确定出目标图像区域b的目标运动向量，该目标运动向量的方向与运动物体的运动方向不一致；如图3g所示，根据第一参考图像区域的运动向量和第二参考图像区域的运动向量确定出目标图像区域c的目标运动向量，该目标运动向量的方向与运动物体的运动方向一致。

S104、根据目标运动向量从第一图像中确定目标图像区域对应的第一匹配图像区域，从第二图像中确定目标图像区域对应的第二匹配图像区域。

本申请实施例中，根据目标图像区域的目标运动向量，通过运动估计技术在第一图像中确定出对应的第一匹配图像区域，并在第二图像中确定出对应的第二匹配图像区域。如图3h所示，根据目标运动向量从第一图像中确定目标图像区域a对应的第一匹配图像区域，从第二图像中确定目标图像区域a对应的第二匹配图像区域；如图3i所示，根据目标运动向量从第一图像中确定目标图像区域b对应的第一匹配图像区域，从第二图像中确定目标图像区域b对应的第二匹配图像区域；如图3j所示，根据目标运动向量从第一图像中确定目标图像区域c对应的第一匹配图像区域，从第二图像中确定目标图像区域c对应的第二匹配图像区域。

S105、根据目标运动向量、第一匹配图像区域的运动向量和第二匹配图像区域的运动向量确定目标图像区域的状态。

本申请实施例中，所述状态包括遮盖状态、暴露状态和匹配状态中的任一种。根据目标运动向量的方向和模值、第一匹配图像区域运动向量的方向和模值和第二匹配图像区域运动向量的方向和模值确定目标图像区域的状态是遮盖状态、暴露状态或匹配状态。举例来说，如图3h所示，目标图像区域a的状态为遮盖状态；如图3i所示，目标图像区域b的状态为暴露状态；如图3j所示，目标图像区域c的状态为匹配状态，即目标运动向量与第一匹配图像区域的运动向量和第二匹配图像区域的运动向量的方向角度差值小于或者等于预设角度阈值，且目标运动向量与第一匹配图像区域的运动向量和第二匹配图像区域的运动向量的模值差小于或者等于预设模值阈值。可以理解的是，本申请实施例中，预设角度阈值、预设模值阈值可根据实际情况具体确定，本实施例不作具体限定。

在一种可选的实施方式中，所述方法还可包括：根据所述目标图像区域的状态，从所述第一匹配图像区域和所述第二匹配图像区域中确定参考匹配图像区域；根据所述参考匹配图像区域的图像数据确定所述目标图像区域的图像数据。

本申请实施例中，根据目标图像区域的遮盖状态、暴露状态或匹配状态，从第一匹配图像区域和第二匹配图像区域中匹配图像区域，即选取第一匹配图像区域和/或第二匹配图像区域中的的任一图像区域为参考匹配图像区域，进而将该参考匹配图像区域的图像数据确定为目标图像区域的图像数据。在一种可选的实施方式中，所述第一图像为处于所述第二图像之前的一帧图像，所述根据所述目标图像区域的状态，从所述第一匹配图像区域和所述第二匹配图像区域中确定参考匹配图像区域，可以包括：若所述目标图像区域的状态为遮盖状态，则选取所述第一匹配图像区域为参考匹配图像区域；若所述目标图像区域的状态为暴露状态，则选取所述第二匹配图像区域为参考匹配图像区域。在一种可选的实施方式中，所述方法还可包括若所述目标图像区域的状态为匹配状态，则选取所述第一匹配图像区域或第二匹配图像区域为参考匹配图像区域。本申请实施例中，若目标图像区域的状态为遮盖状态，则选取第一匹配图像区域为参考匹配图像区域，若目标图像区域的状态为暴露状态，则选取第二匹配图像区域为参考匹配图像区域，若目标图像区域的状态为匹配状态，则选取第一匹配图像区域或第二图像区域为参考匹配图像区域。

在本申请实施例中，确定待插帧图像中目标图像区域的参考运动向量，根据参考运动向量从第一图像中确定目标图像区域对应的第一参考图像区域，从第二图像中确定目标图像区域对应的第二参考图像区域；根据第一图像区域的运动向量和第二图像区域的运动向量确定目标图像区域的目标运动向量，根据目标运动向量从第一图像中确定目标图像区域对应的第一匹配图像区域，从第二图像中确定目标图像区域对应的第二匹配图像区域；根据目标运动向量、第一匹配图像区域的运动向量和第二匹配图像区域的运动向量确定目标图像区域的状态。可见，本申请实施例，能够准确检测出目标图像区域的遮盖、暴露和匹配状态，有利于准确获取该图像区域的图像数据，进一步提高图像插帧的准确性和效率，避免图像画面中出现光晕导致用户观看体验不佳的情况发生。

请参见图4，图4是本申请一个示例性实施例提供的第二种数据处理方法的流程示意图，该方法由智能终端执行，该智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(PortableMedia Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等智能移动终端，以及诸如数字TV、台式计算机等智能固定终端，所述方法包括：

S401、确定待插帧图像中目标图像区域的参考运动向量。

S402、根据参考运动向量从第一图像中确定目标图像区域对应的第一参考图像区域，从第二图像中确定目标图像区域对应的第二参考图像区域。

S403、根据第一图像区域的运动向量和第二图像区域的运动向量确定目标图像区域的目标运动向量。

S404、根据目标运动向量从第一图像中确定目标图像区域对应的第一匹配图像区域，从第二图像中确定目标图像区域对应的第二匹配图像区域。

需要说明的是，本申请实施例中的步骤S401-S404具体可参见上述实施例中步骤S101-S104，本申请实施例不再赘述。

S405、确定目标运动向量与第一匹配图像区域的运动向量之间的第一相似度。

本申请实施例中，确定目标运动向量的方向以及该目标运动向量的模值，确定第一匹配图像区域的运动向量的方向以及该运动向量的模值，根据目标运动向量的方向与第一匹配图像区域的运动向量的方向之间的角度差值确定二者在方向上的相似度，根据目标运动向量的模值与第一匹配图像区域的运动向量的模值之间的差值确定二者在模值上的相似度，根据目标运动向量和第一匹配图像区域的运动向量在方向和模值上的相似度确定二者之间的第一相似度。例如目标运动向量和第一匹配图像区域的运动向量在方向上的相似度为0.9，在模值上的相似度为0.9，则二者之间的第一相似度为0.81。可以理解的是，目标运动向量与第一匹配图像区域的运动向量，在方向上的相似度越高，且在模值上的相似度越高，则第一相似度越大。

S406、确定目标运动向量与第二匹配图像区域的运动向量之间的第二相似度。

本申请实施例中，确定目标运动向量的方向以及该目标运动向量的模值，确定第二匹配图像区域的运动向量的方向以及该运动向量的模值，根据目标运动向量的方向与第二匹配图像区域的运动向量的方向之间的角度差值确定二者在方向上的相似度，根据目标运动向量的模值与第二匹配图像区域运动向量的模值之间的差值确定二者在模值上的相似度，根据目标运动向量和第二匹配图像区域的运动向量在方向和模值上的相似度确定二者之间的第二相似度。例如目标运动向量和第二匹配图像区域的运动向量在方向上的相似度为0.8，在模值上的相似度为0.9，则二者之间的第二相似度为0.72。可以理解的是，目标运动向量与第二匹配图像区域的运动向量，在方向上的相似度越高，且在模值上的相似度越高，则第二相似度越大。

S407、确定第一匹配图像区域的运动向量与第二匹配图像区域的运动向量之间的第三相似度。

本申请实施例中，确定第一匹配图像区域的运动向量的方向以及该运动向量的模值，确定第二匹配图像区域的运动向量的方向以及该运动向量的模值，根据第一匹配图像区域的运动向量的方向与第二匹配图像区域的运动向量的方向之间的角度差值确定二者在方向上的相似度，根据第一匹配图像区域运动向量的模值与第二匹配图像区域运动向量的模值之间的差值确定二者在模值上的相似度，根据第一匹配图像区域的运动向量和第二匹配图像区域的运动向量在方向和模值上的相似度确定二者之间的第三相似度。例如第一匹配图像区域的运动向量和第二匹配图像区域的运动向量在方向上的相似度为0.9，在模值上的相似度为0.8，则二者之间的第三相似度为0.72。可以理解的是，第一匹配图像区域的运动向量与第二匹配图像区域的运动向量，在方向上的相似度越高，且在模值上的相似度越高，则第三相似度越大。

S408、根据第一相似度、第二相似度和第三相似度确定目标图像区域的状态。

本申请实施例中，根据第一相似度、第二相似度和第三相似度确定目标图像区域的遮盖状态、暴露状态或匹配状态。在一种可选的实施方式中，所述第一图像为处于所述第二图像之前的一帧图像，所述根据所述第一相似度、所述第二相似度和所述第三相似度确定所述目标图像区域的状态，可以包括：将所述第三相似度与相似度阈值进行比较，得到第一比较结果；将所述第一相似度与所述第二相似度进行比较，得到第二比较结果；若所述第一比较结果指示所述第三相似度小于所述相似度阈值，且所述第二比较结果指示所述第一相似度大于所述第二相似度，且所述第一相似度与所述第二相似度的差值大于预设数值，则确定所述目标图像区域的状态为遮盖状态。本申请实施例中，将第一图像中的第一匹配图像区域运动向量与第二图像中的第二匹配图像区域运动向量之间的第三相似度与相似度阈值进行比较，可以判断出第一匹配图像区域运动向量与第二匹配图像区域运动向量是否匹配，即在第一比较结果指示第三相似度小于相似度阈值时，可确定第一匹配图像区域运动向量与第二匹配图像区域运动向量不匹配。将第一相似度与第二相似度进行比较，得到的第二比较结果指示第一相似度大于第二相似度，且第一相似度与第二相似度的差值大于预设数值，则确定目标运动向量与第一匹配图像区域运动向量匹配，目标运动向量与第二匹配图像区域运动向量不匹配，进而根据第一比较结果和第二比较结果确定出目标图像区域为遮盖状态。需要说明的是，本申请实施例中，第一相似度大于或者等于第一相似度阈值，第二相似度大于或者等于第二相似度阈值，其中，第一相似度阈值和第二相似度阈值可根据实际情况确定，本申请实施例不作具体限定。

在一种可选的实施方式中，所述方法还可包括：若所述第一比较结果指示所述第三相似度小于所述相似度阈值，且所述第二比较结果指示所述第一相似度小于所述第二相似度，且所述第二相似度与所述第一相似度的差值大于预设数值，则确定所述目标图像区域的状态为暴露状态；或者，若所述第一比较结果指示所述第三相似度大于所述相似度阈值，且所述第二比较结果指示所述第一相似度与所述第二相似度的差值小于或者等于预设数值，则确定所述目标图像区域的状态为匹配状态。

本申请实施例中，将第一图像中的第一匹配图像区域运动向量与第二图像中的第二匹配图像区域运动向量之间的第三相似度与相似度阈值进行比较，可以判断出第一匹配图像区域运动向量与第二匹配图像区域运动向量是否匹配，即在第一比较结果指示第三相似度小于相似度阈值时，可确定第一匹配图像区域运动向量与第二匹配图像区域运动向量不匹配。将第一相似度与第二相似度进行比较，得到的第二比较结果指示第一相似度小于第二相似度，且第二相似度与第一相似度的差值大于预设数值，则确定目标运动向量与第二匹配图像区域运动向量匹配，目标运动向量与第一匹配图像区域运动向量不匹配，进而根据第一比较结果和第二比较结果确定出目标图像区域为暴露状态。另外，若第三相似度大于或者等于相似度阈值，则确定第一匹配图像区域运动向量与第二匹配图像区域运动向量相匹配，且第二比较结果指示第一相似度与第二相似度的差值小于或者等于预设数值，即目标运动向量与第一匹配图像区域运动向量和第二匹配图像区域运动向量都匹配，进一步确定目标图像区域为匹配状态。

在本申请实施例中，确定待插帧图像中目标图像区域的参考运动向量，根据参考运动向量从第一图像中确定目标图像区域对应的第一参考图像区域，从第二图像中确定目标图像区域对应的第二参考图像区域；根据第一图像区域的运动向量和第二图像区域的运动向量确定目标图像区域的目标运动向量，根据目标运动向量从第一图像中确定目标图像区域对应的第一匹配图像区域，从第二图像中确定目标图像区域对应的第二匹配图像区域；分别确定目标运动向量与第一匹配图像区域和第二匹配图像区域的运动向量之间的第一相似度和第二相似度，并确定第一匹配图像区域和第二匹配图像区域的运动向量之间的第三相似度，根据第一、第二和第三相似度确定出目标图像区域的状态。本申请实施例能够准确地检测出图像区域是处于遮盖、暴露或匹配状态，有利于准确获取该图像区域的图像数据，保证待插帧图像的效果。

图5是本申请一个示例性实施例提供的一种数据处理装置的结构示意图，该设备可搭载在上述方法实施例中的智能终端上，该智能终端具体可以是服务器。当然，在一些实施例中，也可搭载在终端设备上。图5所示的数据处理装置可以用于执行上述图1和图4所描述的方法实施例中的部分或全部功能。其中，各个部分的详细描述如下：

确定模块501，用于确定待插帧图像中目标图像区域的参考运动向量；

所述确定模块501，还用于根据所述参考运动向量从第一图像中确定所述目标图像区域对应的第一参考图像区域，从第二图像中确定所述目标图像区域对应的第二参考图像区域；

所述确定模块501，还用于根据所述第一图像区域的运动向量和所述第二图像区域的运动向量确定所述目标图像区域的目标运动向量；

所述确定模块501，还用于根据所述目标运动向量从所述第一图像中确定所述目标图像区域对应的第一匹配图像区域，从第二图像中确定所述目标图像区域对应的第二匹配图像区域；

处理模块502，用于根据所述目标运动向量、所述第一匹配图像区域的运动向量和所述第二匹配图像区域的运动向量确定所述目标图像区域的状态，所述状态包括遮盖状态、暴露状态和匹配状态中的任一种。

在一种可选的实施方式中，处理模块502根据所述目标运动向量、所述第一匹配图像区域的运动向量和所述第二匹配图像区域的运动向量确定所述目标图像区域的状态，可以包括：确定所述目标运动向量与所述第一匹配图像区域的运动向量之间的第一相似度；确定所述目标运动向量与所述第二匹配图像区域的运动向量之间的第二相似度；确定所述第一匹配图像区域的运动向量与所述第二匹配图像区域的运动向量之间的第三相似度；根据所述第一相似度、所述第二相似度和所述第三相似度确定所述目标图像区域的状态。

在一种可选的实施方式中，所述第一图像为处于所述第二图像之前的一帧图像，处理模块502根据所述第一相似度、所述第二相似度和所述第三相似度确定所述目标图像区域的状态，可以包括：将所述第三相似度与相似度阈值进行比较，得到第一比较结果；将所述第一相似度与所述第二相似度进行比较，得到第二比较结果；若所述第一比较结果指示所述第三相似度小于所述相似度阈值，且所述第二比较结果指示所述第一相似度大于所述第二相似度，且所述第一相似度与所述第二相似度的差值大于预设数值，则确定所述目标图像区域的状态为遮盖状态。

在一种可选的实施方式中，处理模块502，还用于若所述第一比较结果指示所述第三相似度小于所述相似度阈值，且所述第二比较结果指示所述第一相似度小于所述第二相似度，且所述第二相似度与所述第一相似度的差值大于预设数值，则确定所述目标图像区域的状态为暴露状态；或者，还用于若所述第一比较结果指示所述第三相似度大于所述相似度阈值，且所述第二比较结果指示所述第一相似度与所述第二相似度的差值小于或者等于预设数值，则确定所述目标图像区域的状态为匹配状态。

在一种可选的实施方式中，确定模块501确定待插帧图像中目标图像区域的参考运动向量，可以包括：确定多个待选取方向；针对所述多个待选取方向中的每一个待选取方向，根据待选取方向确定所述第一图像中的待比较图像区域，并确定所述第二图像中的待比较图像区域；确定所述第一图像中的待比较图像区域与所述第二图像中的待比较图像区域的相似特征参数；根据所述相似特征参数从所述多个待选取方向中确定目标待选取方向，并根据所述目标待选取方向确定待插帧图像中目标图像区域的参考运动向量。

在一种可选的实施方式中，处理模块502，还用于根据所述目标图像区域的状态，从所述第一匹配图像区域和所述第二匹配图像区域中确定参考匹配图像区域；还用于根据所述参考匹配图像区域的图像数据确定所述目标图像区域的图像数据。

在一种可选的实施方式中，所述第一图像为处于所述第二图像之前的一帧图像，处理模块502根据所述目标图像区域的状态，从所述第一匹配图像区域和所述第二匹配图像区域中确定参考匹配图像区域，可以包括：若所述目标图像区域的状态为遮盖状态，则选取所述第一匹配图像区域为参考匹配图像区域；若所述目标图像区域的状态为暴露状态，则选取所述第二匹配图像区域为参考匹配图像区域。

图5所示的数据处理装置中的各个模块可以分别或全部合并为一个或若干个另外的模块来构成，或者其中的某个(些)模块还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个模块来实现，或者多个模块的功能由一个模块实现。在本申请的其它实施例中，数据处理装置也可以包括其它模块，在实际应用中，这些功能也可以由其它模块协助实现，并且可以由多个模块协作实现。

基于同一发明构思，本申请实施例中提供的数据处理装置解决问题的原理与有益效果与本申请方法实施例中数据处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。

参见图6，图6是本申请一个示例性实施例提供的一种智能终端的结构示意图。该终端包括处理器601和存储器602，处理器601和存储器602通过一条或多条通信总线连接。处理器601被配置为支持智能终端执行图1和图4方法中相应的功能。该处理器601可以是中央处理器(centralprocessingunit，CPU)，网络处理器(networkprocessor，NP)，硬件芯片或者其任意组合。

存储器602用于存储程序代码等。存储器602可以包括易失性存储器(volatilememory)，例如随机存取存储器(randomaccessmemory，RAM)；存储器602也可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-onlymemory，ROM)，快闪存储器(flashmemory)，硬盘(harddiskdrive，HDD)或固态硬盘(solid-statedrive，SSD)；存储器602还可以包括上述种类的存储器的组合。

在本申请实施例中，该处理器601可以调用存储器602中存储的程序代码以执行以下操作：

确定待插帧图像中目标图像区域的参考运动向量；

根据所述参考运动向量从第一图像中确定所述目标图像区域对应的第一参考图像区域，从第二图像中确定所述目标图像区域对应的第二参考图像区域；

根据所述第一参考图像区域的运动向量和所述第二参考图像区域的运动向量确定所述目标图像区域的目标运动向量；

根据所述目标运动向量从所述第一图像中确定所述目标图像区域对应的第一匹配图像区域，从第二图像中确定所述目标图像区域对应的第二匹配图像区域；

根据所述目标运动向量、所述第一匹配图像区域的运动向量和所述第二匹配图像区域的运动向量确定所述目标图像区域的状态，所述状态包括遮盖状态、暴露状态和匹配状态中的任一种。

在一种可选的实施方式中，处理器601根据所述目标运动向量、所述第一匹配图像区域的运动向量和所述第二匹配图像区域的运动向量确定所述目标图像区域的状态，可以包括：确定所述目标运动向量与所述第一匹配图像区域的运动向量之间的第一相似度；确定所述目标运动向量与所述第二匹配图像区域的运动向量之间的第二相似度；确定所述第一匹配图像区域的运动向量与所述第二匹配图像区域的运动向量之间的第三相似度；根据所述第一相似度、所述第二相似度和所述第三相似度确定所述目标图像区域的状态。

在一种可选的实施方式中，所述第一图像为处于所述第二图像之前的一帧图像，处理器601根据所述第一相似度、所述第二相似度和所述第三相似度确定所述目标图像区域的状态，可以包括：将所述第三相似度与相似度阈值进行比较，得到第一比较结果；将所述第一相似度与所述第二相似度进行比较，得到第二比较结果；若所述第一比较结果指示所述第三相似度小于所述相似度阈值，且所述第二比较结果指示所述第一相似度大于所述第二相似度，且所述第一相似度与所述第二相似度的差值大于预设数值，则确定所述目标图像区域的状态为遮盖状态。

在一种可选的实施方式中，若所述第一比较结果指示所述第三相似度小于所述相似度阈值，且所述第二比较结果指示所述第一相似度小于所述第二相似度，且所述第二相似度与所述第一相似度的差值大于预设数值，则处理器601确定所述目标图像区域的状态为暴露状态；或者，还用于若所述第一比较结果指示所述第三相似度大于所述相似度阈值，且所述第二比较结果指示所述第一相似度与所述第二相似度的差值小于或者等于预设数值，则处理器601确定所述目标图像区域的状态为匹配状态。

在一种可选的实施方式中，处理器601确定待插帧图像中目标图像区域的参考运动向量，可以包括：确定多个待选取方向；针对所述多个待选取方向中的每一个待选取方向，根据待选取方向确定所述第一图像中的待比较图像区域，并确定所述第二图像中的待比较图像区域；确定所述第一图像中的待比较图像区域与所述第二图像中的待比较图像区域的相似特征参数；根据所述相似特征参数从所述多个待选取方向中确定目标待选取方向，并根据所述目标待选取方向确定待插帧图像中目标图像区域的参考运动向量。

在一种可选的实施方式中，处理器601根据所述目标图像区域的状态，从所述第一匹配图像区域和所述第二匹配图像区域中确定参考匹配图像区域；处理器601根据所述参考匹配图像区域的图像数据确定所述目标图像区域的图像数据。

在一种可选的实施方式中，所述第一图像为处于所述第二图像之前的一帧图像，处理器601根据所述目标图像区域的状态，从所述第一匹配图像区域和所述第二匹配图像区域中确定参考匹配图像区域，可以包括：若所述目标图像区域的状态为遮盖状态，则选取所述第一匹配图像区域为参考匹配图像区域；若所述目标图像区域的状态为暴露状态，则选取所述第二匹配图像区域为参考匹配图像区域。

所述数据处理装置例如可以是：芯片、或者芯片模组。关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

本申请实施例还提供一种计算机可读存储介质，可以用于存储实现图1和图4所示实施例中数据处理方法的计算机程序指令，上述计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘。

本申请实施例提供一种芯片，该芯片可以应用在终端设备，该芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如图1和图4所对应实施例中终端设备的相关步骤，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。

在一个实施例中，上述芯片包括至少一个处理器、至少一个第一存储器和至少一个第二存储器；其中，前述至少一个第一存储器和前述至少一个处理器通过线路互联，前述第一存储器中存储有指令；前述至少一个第二存储器和前述至少一个处理器通过线路互联，前述第二存储器中存储上述第一方面中任意一项前述方法中的待存储数据。

本申请实施例还提供一种芯片模组，该芯片模组可以应用在终端设备中，包括上述的可以应用在终端设备的芯片。

本领域普通技术人员可以意识到，结合本申请中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(SolidStateDisk，SSD))等。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种数据处理方法，其特征在于，包括：

确定待插帧图像中目标图像区域的参考运动向量；

根据所述参考运动向量从第一图像中确定所述目标图像区域对应的第一参考图像区域，从第二图像中确定所述目标图像区域对应的第二参考图像区域；

根据所述第一参考图像区域的运动向量和所述第二参考图像区域的运动向量确定所述目标图像区域的目标运动向量；

根据所述目标运动向量从所述第一图像中确定所述目标图像区域对应的第一匹配图像区域，从第二图像中确定所述目标图像区域对应的第二匹配图像区域；

根据所述目标运动向量、所述第一匹配图像区域的运动向量和所述第二匹配图像区域的运动向量确定所述目标图像区域的显示状态，所述显示状态包括遮盖状态、暴露状态和匹配状态中的任一种。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标运动向量、所述第一匹配图像区域的运动向量和所述第二匹配图像区域的运动向量确定所述目标图像区域的状态，包括：

确定所述目标运动向量与所述第一匹配图像区域的运动向量之间的第一相似度；

确定所述目标运动向量与所述第二匹配图像区域的运动向量之间的第二相似度；

确定所述第一匹配图像区域的运动向量与所述第二匹配图像区域的运动向量之间的第三相似度；

根据所述第一相似度、所述第二相似度和所述第三相似度确定所述目标图像区域的状态。

3.根据权利要求2所述的方法，其特征在于，所述第一图像为处于所述第二图像之前的一帧图像，所述根据所述第一相似度、所述第二相似度和所述第三相似度确定所述目标图像区域的状态，包括：

将所述第三相似度与相似度阈值进行比较，得到第一比较结果；

将所述第一相似度与所述第二相似度进行比较，得到第二比较结果；

若所述第一比较结果指示所述第三相似度小于所述相似度阈值，且所述第二比较结果指示所述第一相似度大于所述第二相似度，且所述第一相似度与所述第二相似度的差值大于预设数值，则确定所述目标图像区域的状态为遮盖状态。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述第一比较结果指示所述第三相似度小于所述相似度阈值，且所述第二比较结果指示所述第一相似度小于所述第二相似度，且所述第二相似度与所述第一相似度的差值大于预设数值，则确定所述目标图像区域的状态为暴露状态；

或者，若所述第一比较结果指示所述第三相似度大于或者等于所述相似度阈值，且所述第二比较结果指示所述第一相似度与所述第二相似度的差值小于或者等于预设数值，则确定所述目标图像区域的状态为匹配状态。

5.根据权利要求1所述的方法，其特征在于，所述确定待插帧图像中目标图像区域的参考运动向量，包括：

确定多个待选取方向；

针对所述多个待选取方向中的每一个待选取方向，根据待选取方向确定所述第一图像中的待比较图像区域，并确定所述第二图像中的待比较图像区域；

确定所述第一图像中的待比较图像区域与所述第二图像中的待比较图像区域的相似特征参数；

根据所述相似特征参数从所述多个待选取方向中确定目标待选取方向，并根据所述目标待选取方向确定待插帧图像中目标图像区域的参考运动向量。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述目标图像区域的状态，从所述第一匹配图像区域和所述第二匹配图像区域中确定参考匹配图像区域；

根据所述参考匹配图像区域的图像数据确定所述目标图像区域的图像数据。

7.根据权利要求6所述的方法，其特征在于，所述第一图像为处于所述第二图像之前的一帧图像，所述根据所述目标图像区域的状态，从所述第一匹配图像区域和所述第二匹配图像区域中确定参考匹配图像区域，包括：

若所述目标图像区域的状态为遮盖状态，则选取所述第一匹配图像区域为参考匹配图像区域；

若所述目标图像区域的状态为暴露状态，则选取所述第二匹配图像区域为参考匹配图像区域。

8.一种数据处理装置，其特征在于，包括：

确定模块，用于确定待插帧图像中目标图像区域的参考运动向量；

所述确定模块，还用于根据所述参考运动向量从第一图像中确定所述目标图像区域对应的第一参考图像区域，从第二图像中确定所述目标图像区域对应的第二参考图像区域；

所述确定模块，还用于根据所述第一图像区域的运动向量和所述第二图像区域的运动向量确定所述目标图像区域的目标运动向量；

所述确定模块，还用于根据所述目标运动向量从所述第一图像中确定所述目标图像区域对应的第一匹配图像区域，从第二图像中确定所述目标图像区域对应的第二匹配图像区域；

处理模块，用于根据所述目标运动向量、所述第一匹配图像区域的运动向量和所述第二匹配图像区域的运动向量确定所述目标图像区域的状态，所述状态包括遮盖状态、暴露状态和匹配状态中的任一种。

9.一种智能终端，其特征在于，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1至7中任一项所述的方法。

11.一种芯片，其特征在于，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如权利要求1-7任一项所述的方法。

12.一种芯片模组，其特征在于，所述芯片模组包括如权利要求11所述的芯片。

Images