CN110933497A - 视频图像数据插帧处理方法及相关设备 - Google Patents
视频图像数据插帧处理方法及相关设备 Download PDFInfo
- Publication number
- CN110933497A CN110933497A CN201911261124.4A CN201911261124A CN110933497A CN 110933497 A CN110933497 A CN 110933497A CN 201911261124 A CN201911261124 A CN 201911261124A CN 110933497 A CN110933497 A CN 110933497A
- Authority
- CN
- China
- Prior art keywords
- frame image
- frame
- pixel block
- image
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003780 insertion Methods 0.000 title claims abstract description 12
- 230000037431 insertion Effects 0.000 title claims abstract description 12
- 238000003672 processing method Methods 0.000 title abstract description 15
- 239000013598 vector Substances 0.000 claims abstract description 122
- 238000012545 processing Methods 0.000 claims abstract description 101
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000015654 memory Effects 0.000 claims description 27
- 230000000903 blocking effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
本申请公开了一种视频图像数据插帧处理方法及相关设备，所述方法包括：获取目标视频中的第一帧图像和第二帧图像，其中，所述第二帧图像在时序上位于所述第一帧图像之后；根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量；根据所述第二帧图像相对于所述第一帧图像的运动矢量，确定所述第二帧图像相对于所述第一帧图像的动态区域；对所述动态区域对应的图像数据进行插帧处理。可见，通过实施本申请实施例，有利于减少插帧异常，节省插帧功耗。
Description
技术领域
本申请涉及视频处理技术领域，尤其涉及一种视频图像数据插帧处理方法及相关设备。
背景技术
目前的视频插帧技术，只能决定对视频帧图像的整个画面进行插帧或不进行插帧处理，这样的处理方式无法实现对图像的局部插帧处理，将造成系统资源的浪费，同时会导致功耗增加。
发明内容
本申请实施例提供一种视频图像数据插帧处理方法及相关设备，只针对运动量超过一定阈值的区域进行插帧处理，有利于减少因对同一画面内不动的物体也插帧而导致的异常，以及节省插帧处理的功耗。
第一方面，本申请实施例提供一种视频图像数据插帧处理方法，所述方法包括：
获取目标视频中的第一帧图像和第二帧图像，其中，所述第二帧图像在时序上位于所述第一帧图像之后；
根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量；
根据所述第二帧图像相对于所述第一帧图像的运动矢量，确定所述第二帧图像相对于所述第一帧图像的动态区域；
对所述动态区域对应的图像数据进行插帧处理。
第二方面，本申请实施例一种视频图像数据插帧处理装置，所述装置包括处理单元，其中，所述处理单元，用于：
获取目标视频中的第一帧图像和第二帧图像，其中，所述第二帧图像在时序上位于所述第一帧图像之后；
以及根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量；
以及根据所述第二帧图像相对于所述第一帧图像的运动矢量，确定所述第二帧图像相对于所述第一帧图像的动态区域；
以及对所述动态区域对应的图像数据进行插帧处理。
第三方面，本申请实施例提供一种图像处理芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第四方面，本申请实施例提供一种电子设备，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。
第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质用于存储计算机程序，其中，上述计算机程序被处理器执行，以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请提供的技术方案，电子设备获取目标视频中在时序上有先后的两张帧图像，然后确定时序在后的帧图像的各区域相对于时序在前的帧图像的对应区域的运动矢量，从而获得时序在后的帧图像相对于时序在前的帧图像的动态区域，再对该运动区域的图像数据进行插帧处理。可见，在本申请提供的技术方案中，电子设备只对运动区域进行插帧处理，有利于减少因对同一画面内不动的物体也插帧而导致的异常，以及节省插帧处理的功耗。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备硬件的结构示意图；
图2是本申请实施例提供的一种视频图像数据插帧处理方法的流程示意图；
图3A是本申请实施例提供的一视频帧图像中局部位置运动示意图；
图3B是本申请实施例提供的一视频帧图像的局部插帧示意图；
图4是本申请实施例提供的另一种视频图像数据插帧处理方法的流程示意图；
图5是本申请实施例提供的一种电子设备的结构示意图；
图6是本申请实施例提供的一种视频图像数据插帧处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
请参考图1，图1是本申请一个示例性实施例提供的电子设备100硬件的结构示意图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器、存储器和收发器等。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块通信芯片进行实现。
存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器包括非瞬时性计算机可读介质(non-transitorycomputer-readable storage medium)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如图像分块处理、插帧处理、图像匹配等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储电子设备100在使用中所创建的数据(比如插帧图像、像素块、图像的特征分布轮廓等)。
请参阅图2，图2是本申请实施例提供的一种视频图像数据插帧处理方法的流程示意图，所述视频图像数据插帧处理方法可以应用于如图1所示的电子设备。
如图2所示，所述视频图像数据插帧处理方法的执行主体是电子设备，所述方法包括以下操作步骤。
S201、获取目标视频中的第一帧图像和第二帧图像，其中，所述第二帧图像在时序上位于所述第一帧图像之后；
其中，可以理解的是，所述第一帧图像和所述第二帧图像是所述视频中任意相邻的帧图像，也可以是不想邻的帧图像。
S202、根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量；
其中，所述图像数据可以包括像素块、像素块的像素值等。另外，可以以所述第一帧图像为参照，直接确定所述第二帧图像相对于所述第一帧图像的运动矢量；也可以获取另外一帧图像作为参照，分别确定第一帧图像和第二帧图像与该帧图像的运动矢量，然后确定所述第二帧图像相对于所述第一帧图像的运动矢量。
S203、根据所述第二帧图像相对于所述第一帧图像的运动矢量，确定所述第二帧图像相对于所述第一帧图像的动态区域；
其中，可以理解的是，没有运动矢量的区域为静态区域，或者将运动矢量小于预设阈值的区域看作是静态区域；有运动矢量的区域为动态区域，或者将运动矢量大于预设阈值的区域确定为动态区域。
S204、对所述动态区域对应的图像数据进行插帧处理。
其中，对所述动态区域对应的图像数据进行插帧处理的具体方式可以是调用插帧算法对所述动态区域对应的图像数据进行插帧处理，也可以是通过图像处理芯片对所述动态区域对应的图像数据进行插帧处理。
下面以具体应用场景举例来说明本申请实施例提供的视频图像数据插帧处理方法：
请参阅图3A，在图3A所示的公路场景下，摄影师固定在某个位置拍摄视频时，公路左右两边(双点划线区域外)的建筑物和行道树等拍摄目标都是静止不动的，也即是静态的；中间公路(双点划线区域内)上来回行驶的车辆是运动的，也即是动态的。在这种情况下，如果对整个画面的每个像素都进行重新绘制处理，则功耗会比较高，因为两边静止不动的物体也重新进行硬件绘图，也会产生一部分的功耗。因此，可以通过仅对动态的区域进行插帧处理来减少功耗。
请一并参阅图3B，与图3A相同的公路场景下，由于公路左右两边(双点划线区域外)的画面基本没有运动矢量，所以对公路左右两边的画面就直接不做插帧绘图处理，直接采用上一帧画面的数据。在中间公路的部分(双点划线区域内)，由于车辆的来回行驶是可以检测到运动矢量的，所以对这部分区域的画面进行插帧绘图处理，插帧处理完的画面数据与未做插帧处理的当前帧数据进行合成，得到插入帧的画面。这样只针对局部运动矢量大的场景进行插帧处理，可以有效的减少功耗的浪费和损失。
其中，需要指出的是，在图3A和图3B中，采用双点划线对帧图像中动态区域和静态区域的划分，以及对插帧处理区域和不做插帧区域的划分，只是为了示意出动态区域与静态区域，不构成对区域划分的限定。在实际应用中，可以根据图像处理器对图像数据运动矢量的分析，界定不同区域的边界，上述边界可以为规则边界，例如线性边界；也可以为非规则边界，例如非线性边界，本申请对此不作限定。
可以看出，本申请实施例提供的视频图像数据插帧处理方法，电子设备获取目标视频中在时序上有先后的两张帧图像，然后确定时序在后的帧图像的各区域相对于时序在前的帧图像的对应区域的运动矢量，从而获得时序在后的帧图像相对于时序在前的帧图像的动态区域，再对该运动区域的图像数据进行插帧处理。可见，在本申请实施例中，只对运动区域进行插帧处理，有利于减少因对同一画面内不动的物体也插帧而导致的异常，以及节省插帧处理的功耗。
在一个可能的示例中，所述根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量，包括：对所述第一帧图像进行预设分块处理，得到第一预设数量的第一像素块，以及对所述第二帧图像进行预设分块处理，得到第一预设数量的第二像素块；确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系；确定每个第二像素块相对于对应的第一像素块的运动矢量。
举例来说，在开启插帧功能后，电子设备会收集当前帧画面(第一帧图像)的数据，然后等待下一帧画面(第二帧图像)数据的输入，结合两帧画面的数据信息，可以判断这两帧画面每个像素信息的变化情况，通过将整帧画面进行8×8像素块进行绑定，也即将所述第一帧图像和所述第二帧图像分成第一预设数量的8×8像素块。
其中，可以通过计算每个第一像素块与每个第二像素块的残差，然后根据残差的大小来确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系。或者，可以将每个第一像素块与每个第二像素块进行特征匹配，根据匹配度的大小来确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系。
其中，可以以所述第一帧图像为参照图像，以所述第一预设数量的第一像素块为参照像素块，计算确定每个第二像素块的运动矢量。或者，从所述视频中再获取一帧图像，以该帧图像为参照图像，对该帧图像分块处理得到第一预设数量的像素块，然后以该帧图像的像素块为参照像素块，并且确定该参照像素块与第一像素块和第二像素块的对应关系，分别计算每个第一像素块与对应的参照像素块的第一运动矢量，以及计算每个第二像素块与对应的参照像素块的第二运动矢量，计算第一运动矢量与第二运动矢量的差值来确定每个第二像素块的运动矢量。
可见，本示例中，对两帧图像进行分块，得到若干第一像素块和若干第二像素块，然后确定各第一像素块与各第二像素块的对应关系，再确定每个第二像素块相对于对应的第一像素块的运动矢量，对有运动矢量的像素块进行插帧，有利于减少插帧而导致的异常，以及节省插帧处理的功耗。
在一个可能的示例中，所述确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系，包括：根据每个第一像素块的像素值和每个第二像素块的像素值计算每个第一像素块与每个第二像素块的残差，得到若干个残差，其中，每个第一像素块对应得到第一预设数量个残差；从每个第一像素块对应的第一预设数量个残差中选出最小残差；将每个第一像素块的最小残差对应的第二像素块确定为与其对应的第二像素块。
可见，本示例中，通过像素块的像素值计算像素块之间残差，将残差最小的两个像素块确定为对应关系，有利于精确确定相邻两帧图像分块后各像素块之间的对应关系。
在一个可能的示例中，所述确定每个第二像素块相对于对应的第一像素块的运动矢量，包括：获取所述目标视频中的第三帧图像，其中，所述第三帧图像与所述第一帧图像、所述第二帧图像包含相同目标的影像信息；对所述第三帧图像进行预设分块处理，得到第一预设数量的第一参照像素块；确定所述第一预设数量的第一像素块与所述第一预设数量的第一参照像素块之间的一一对应关系，以及确定所述第一预设数量的第二像素块与所述第一预设数量的第一参照像素块之间的一一对应关系；确定每个第一像素块相对于对应的第一参照像素块的第一运动矢量，以及确定每个第二像素块相对于对应的第一参照像素块的第二运动矢量；将所述每个第一参照像素块对应的第二运动矢量和第一运动矢量进行相减，得到每个第二像素块相对于对应的第一像素块的运动矢量。
可见，本示例中，以第一帧图像之外的与第一帧图像具有相同目标的影像信息的帧图像为参照来第一帧图像的每个像素块的运动矢量和第二帧图像的每个像素块的运动矢量，进而求差值相对确定第二帧图像的每个像素块的运动矢量，有利于确保获取第一帧图像和第二帧图像的区域运动情况。
在一个可能的示例中，所述确定每个第二像素块相对于对应的第一像素块的运动矢量，包括：将所述第一帧图像和所述第二帧图像重叠，并以重叠区域上任意一点为原点建立坐标系；在所述坐标系中确定每个第一像素块的第一坐标，以及确定每个第二像素块的第二坐标；根据每个第二像素块的第二坐标和对应的第一像素块的第一坐标，计算每个第二像素块相对于对应的第一像素块的相对位移；将所述每个第二像素块相对于对应的第一像素块的相对位移确定为所述每个第二像素块相对于对应的第一像素块的运动矢量。
可见，本示例中，以第一帧图像为参照，确定第二帧图像的每个像素块相对第一帧图像中的对应像素块的运动矢量，有利于确保获取第一帧图像和第二帧图像的区域运动情况。
在一个可能的示例中，所述对所述动态区域对应的图像数据进行插帧处理，包括：判断每个第二像素块相对于对应的第一像素块的运动矢量是否大于预设运动矢量阈值；若是，则对对应的第一像素块进行插帧处理，得到对应的第三像素块；根据未进行插帧处理的第一像素块和所有的第三像素块合成插帧图像；将所述插帧图像插入所述目标视频中的所述第一帧图像与所述第二帧图像之间。
其中，可以理解的是，电子设备在获取到前后两帧画面内容数据后，计算整面各个区域的运动矢量情况，通过设定一个运动矢量阈值(包含矢量大小和面积大小)，将运动矢量超过运动矢量阈值的局部场景进行插帧处理，而运动矢量不超过运动矢量阈值的区域则不进行插帧处理。
举例来说，假设将所述第一帧图像和所述第二帧图像分成8×8像素块，判断每个8×8像素块的数据前后两帧的运动矢量情况，通过计算判断每个8×8像素块的运动矢量是否超过运动矢量阈值，若8×8像素块的运动矢量不超过运动矢量阈值，则不进行插帧处理，直接采用当前第一像素块的数据。若8×8像素块的运动矢量超过运动矢量阈值，则对对应的第一像素块进行插帧的画面绘图处理，得到新的8×8像素块(也即第三像素块)的数据。也就是说，假设将所述第一帧图像和所述第二帧图像分成8×8像素块，其中，其中一部分第二像素块的运动矢量大于运动矢量阈值，需要进行插帧处理，得到第三像素块，使用所述第三像素块替换对应的第一像素块在所述第一帧图像中的位置，合成新的帧图像，得到插帧图像。
可见，本示例中，对运动矢量大于预设阈值的第二像素块对应的第一像素块进行插帧处理，插帧后得到的第三像素块，然后将未进行插帧的第一像素块和插帧后得到的第三像素块合成一插帧图像，插入第一帧图像与第二帧图像之间，有利于减少插帧而导致的异常，以及节省插帧处理的功耗。
在一个可能的示例中，所述从所述视频中获取第三帧图像，包括：将所述视频中所有的帧图像按照播放顺序进行排序，确定所述第一帧图像的序号；以所述第一帧图像的序号为中点按照播放顺序分别向前和向后获取帧图像，得到第二预设数量的帧图像；将所述第二预设数量的帧图像分别与所述第一帧图像进行匹配，得到第三预设数量的帧图像；从所述第三预设数量的帧图像中选取任一帧图像作为所述第三帧图像。
可见，本示例中，通过获取视频中与所述第一帧图像邻近的第三帧图像，并且将第三帧图像与第一图像进行特征匹配，确定用于计算第一帧图像与第二帧图像的运动矢量的参照图像，有利于确保参照图像中包含的目标的影像信息与第一图像相同，减少运动矢量的计算误差。
在一个可能的示例中，所述将所述第二预设数量的帧图像分别与所述第一帧图像进行匹配，得到第三预设数量的帧图像，包括：确定所述第一帧图像的特征点分布，以得到模板特征分布轮廓，以及确定所述第二预设数量的帧图像的特征点分布，得到第二预设数量的待匹配特征分布轮廓；分别将所述第二预设数量的待匹配特征分布轮廓与所述模板特征分布轮廓进行重叠，并分别从所述第二预设数量的帧图像中的每张帧图像中将特征分布轮廓重叠部分对应的图像截取出，得到第二预设数量个重合区域图像；计算每个重合区域图像的面积，得到第二预设数量个重合面积；将重合面积大于预设面积阈值对应的重合区域图像从所述第二预设数量的重合区域图像中选取出，得到第四预设数量的目标重合区域图像；将所述第四预设数量的目标重合区域图像与所述第一帧图像进行匹配，得到第三预设数量的帧图像；
其中，每个目标重合区域图像与所述第一帧图像进行匹配的步骤如下：从所述目标重合区域图像中选取M个不同的点，以所述M个不同的点为圆心对所述目标重合区域图像进行圆形图像截取，得到M个圆形区域图像，所述M为大于3的整数；从所述M个圆形区域图像中选出目标圆形区域图像，所述目标圆形区域图像为所述M个圆形区域图像中包含特征点的数量最多的圆形区域图像；将所述目标圆形区域图像进行划分，得到N个圆环图像，所述N个圆环图像的环宽相同，所述N为大于3的整数；从所述N个圆环图像中半径最小的圆环图像开始，依次将所述N个圆环图像与第一帧图像进行特征点匹配，并累计已匹配完成的圆环图像的匹配值；当累计的匹配值大于预设匹配阈值时，则停止进行特征点匹配，确认匹配成功。
可见，本示例中，在进行图像之间的特征匹配过程中，先通过特征轮廓进行匹配，再从特征轮廓中获取特征区域进行匹配，有利于提高匹配的精确度。
请参阅图4，图4是本申请实施例提供的一种视频图像数据插帧处理方法的流程示意图，所述视频图像数据插帧处理方法可以应用于如图1所示的电子设备。
如图4所示，所述视频图像数据插帧处理方法的执行主体是电子设备，所述视频图像数据插帧处理方法包括以下操作。
S401、从视频中获取相邻的第一帧图像和第二帧图像。
S402、对所述第一帧图像进行预设分块处理，得到第一预设数量的第一像素块，以及对所述第二帧图像进行预设分块处理，得到第一预设数量的第二像素块。
S403、确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系。
S404、从所述视频中获取第三帧图像，所述第三帧图像与所述第一帧图像、所述第二帧图像包含相同目标的影像信息。
S405、对所述第三帧图像进行预设分块处理，得到第一预设数量的第一参照像素块。
S406、确定所述第一预设数量的第一像素块与所述第一预设数量的第一参照像素块之间的一一对应关系，以及确定所述第一预设数量的第二像素块与所述第一预设数量的第一参照像素块之间的一一对应关系。
S407、确定每个第一参照像素块与其对应的第一像素块的第一运动矢量，以及确定每个第一参照像素块与其对应的第二像素块的第二运动矢量。
S408、将所述每个第一参照像素块对应的第二运动矢量和第一运动矢量进行相减，得到每个第二像素块的运动矢量。
S409、对运动矢量大于预设运动矢量阈值的第二像素块对应的第一像素块进行插帧处理，得到对应的第三像素块。
S410、根据未进行插帧处理的第一像素块和所有的第三像素块合成插帧图像。
S411、将所述插帧图像插入所述视频中的所述第一帧图像与所述第二帧图像之间。
可以看出，在本申请实施例中，电子设备从视频中获取相邻的第一帧图像和第二帧图像，以及从视频中获取与所述第一帧图像、第二帧图像包含相同目标的影像信息的第三帧图像；然后分别对第一帧图像、第二帧图像和第三帧图像进行分块处理，各自得到第一预设数量的像素块，确定三张帧图像中每张帧图像的每个像素块与其他两张帧图像的每个像素块的一一对应关系，以第三帧图像为参照图像，也即以第三帧图像的各像素块为参照像素块来计算与其对应的第一帧图像的像素块的第一运动矢量和第二帧图像的像素块的第二运动矢量，再将两个运动矢量相减得到第二帧图像的各像素块的运动矢量；再根据第二帧图像的各像素块的运动矢量确定需要插帧的像素块，并对该像素块进行插帧处理，从而实现仅对局部运动区域做插帧处理，减少因对整个画面均做插帧处理而导致的异常，以及节省插帧处理的功耗。
与上述图2、图4所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种电子设备500的结构示意图。如图5所示，所述电子设备500包括应用处理器510、存储器520、通信接口530以及一个或多个程序521，其中，所述一个或多个程序521被存储在上述存储器520中，并且被配置由上述应用处理器510执行，所述一个或多个程序521包括用于执行上述方法实施例中任一步骤的指令。
在一个可能的示例中，所述程序521中包括用于执行以下步骤的指令：获取目标视频中的第一帧图像和第二帧图像，其中，所述第二帧图像在时序上位于所述第一帧图像之后；根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量；根据所述第二帧图像相对于所述第一帧图像的运动矢量，确定所述第二帧图像相对于所述第一帧图像的动态区域；对所述动态区域对应的图像数据进行插帧处理。
可以看出，本申请实施例提供的电子设备，获取目标视频中在时序上有先后的两张帧图像，然后确定时序在后的帧图像的各区域相对于时序在前的帧图像的对应区域的运动矢量，从而获得时序在后的帧图像相对于时序在前的帧图像的动态区域，再对该运动区域的图像数据进行插帧处理。可见，在本申请实施例中，电子设备只针对运动区域进行插帧处理，有利于减少因对同一画面内不动的物体也插帧而导致的异常，以及节省插帧处理的功耗。
在一个可能的示例中，在根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量方面，所述程序521中的指令具体用于执行以下操作：对所述第一帧图像进行预设分块处理，得到第一预设数量的第一像素块，以及对所述第二帧图像进行预设分块处理，得到第一预设数量的第二像素块；确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系；确定每个第二像素块相对于对应的第一像素块的运动矢量。
在一个可能的示例中，在确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系方面，所述程序521中的指令具体用于执行以下操作：根据每个第一像素块的像素值和每个第二像素块的像素值计算每个第一像素块与每个第二像素块的残差，得到若干个残差，其中，每个第一像素块对应得到第一预设数量个残差；从每个第一像素块对应的第一预设数量个残差中选出最小残差；将每个第一像素块的最小残差对应的第二像素块确定为与其对应的第二像素块。
在一个可能的示例中，在确定每个第二像素块相对于对应的第一像素块的运动矢量方面，所述程序521中的指令具体用于执行以下操作：获取所述目标视频中的第三帧图像，其中，所述第三帧图像与所述第一帧图像、所述第二帧图像包含相同目标的影像信息；对所述第三帧图像进行预设分块处理，得到第一预设数量的第一参照像素块；确定所述第一预设数量的第一像素块与所述第一预设数量的第一参照像素块之间的一一对应关系，以及确定所述第一预设数量的第二像素块与所述第一预设数量的第一参照像素块之间的一一对应关系；确定每个第一像素块相对于对应的第一参照像素块的第一运动矢量，以及确定每个第二像素块相对于对应的第一参照像素块的第二运动矢量；将所述每个第一参照像素块对应的第二运动矢量和第一运动矢量进行相减，得到每个第二像素块相对于对应的第一像素块的运动矢量。
在一个可能的示例中，在确定每个第二像素块相对于对应的第一像素块的运动矢量方面，所述程序521中的指令具体用于执行以下操作：将所述第一帧图像和所述第二帧图像重叠，并以重叠区域上任意一点为原点建立坐标系；在所述坐标系中确定每个第一像素块的第一坐标，以及确定每个第二像素块的第二坐标；根据每个第二像素块的第二坐标和对应的第一像素块的第一坐标，计算每个第二像素块相对于对应的第一像素块的相对位移；将所述每个第二像素块相对于对应的第一像素块的相对位移确定为所述每个第二像素块相对于对应的第一像素块的运动矢量。
在一个可能的示例中，在对所述动态区域对应的图像数据进行插帧处理方面，所述程序521中的指令具体用于执行以下操作：判断每个第二像素块相对于对应的第一像素块的运动矢量是否大于预设运动矢量阈值；若是，则对对应的第一像素块进行插帧处理，得到对应的第三像素块；根据未进行插帧处理的第一像素块和所有的第三像素块合成插帧图像；将所述插帧图像插入所述目标视频中的所述第一帧图像与所述第二帧图像之间。
在一个可能的示例中，在从所述视频中获取第三帧图像方面，所述程序521中的指令具体用于执行以下操作：将所述视频中所有的帧图像按照播放顺序进行排序，确定所述第一帧图像的序号；以所述第一帧图像的序号为中点按照播放顺序分别向前和向后获取帧图像，得到第二预设数量的帧图像；将所述第二预设数量的帧图像分别与所述第一帧图像进行匹配，得到第三预设数量的帧图像；从所述第三预设数量的帧图像中选取任一帧图像作为所述第三帧图像。
在一个可能的示例中，在将所述第二预设数量的帧图像分别与所述第一帧图像进行匹配，得到第三预设数量的帧图像方面，所述程序521中的指令具体用于执行以下操作：确定所述第一帧图像的特征点分布，以得到模板特征分布轮廓，以及确定所述第二预设数量的帧图像的特征点分布，得到第二预设数量的待匹配特征分布轮廓；分别将所述第二预设数量的待匹配特征分布轮廓与所述模板特征分布轮廓进行重叠，并分别从所述第二预设数量的帧图像中的每张帧图像中将特征分布轮廓重叠部分对应的图像截取出，得到第二预设数量个重合区域图像；计算每个重合区域图像的面积，得到第二预设数量个重合面积；将重合面积大于预设面积阈值对应的重合区域图像从所述第二预设数量的重合区域图像中选取出，得到第四预设数量的目标重合区域图像；将所述第四预设数量的目标重合区域图像与所述第一帧图像进行匹配，得到第三预设数量的帧图像；
其中，每个目标重合区域图像与所述第一帧图像进行匹配的步骤如下：从所述目标重合区域图像中选取M个不同的点，以所述M个不同的点为圆心对所述目标重合区域图像进行圆形图像截取，得到M个圆形区域图像，所述M为大于3的整数；从所述M个圆形区域图像中选出目标圆形区域图像，所述目标圆形区域图像为所述M个圆形区域图像中包含特征点的数量最多的圆形区域图像；将所述目标圆形区域图像进行划分，得到N个圆环图像，所述N个圆环图像的环宽相同，所述N为大于3的整数；从所述N个圆环图像中半径最小的圆环图像开始，依次将所述N个圆环图像与第一帧图像进行特征点匹配，并累计已匹配完成的圆环图像的匹配值；当累计的匹配值大于预设匹配阈值时，则停止进行特征点匹配，确认匹配成功。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
请参阅图6，图6是本申请实施例中所涉及的视频图像数据插帧处理装置600的功能单元组成框图。所述视频图像数据插帧处理装置600应用于电子设备，所述视频图像数据插帧处理装置包括处理单元601和通信单元602，其中，所述处理单元601，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元602来完成相应操作。下面进行详细说明。
在一个可能的示例中，所述处理单元601用于：获取目标视频中的第一帧图像和第二帧图像，其中，所述第二帧图像在时序上位于所述第一帧图像之后；以及根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量；以及根据所述第二帧图像相对于所述第一帧图像的运动矢量，确定所述第二帧图像相对于所述第一帧图像的动态区域；以及对所述动态区域对应的图像数据进行插帧处理。
可以看出，本申请实施例提供的视频图像数据插帧处理装置，获取目标视频中在时序上有先后的两张帧图像，然后确定时序在后的帧图像的各区域相对于时序在前的帧图像的对应区域的运动矢量，从而获得时序在后的帧图像相对于时序在前的帧图像的动态区域，再对该运动区域的图像数据进行插帧处理。可见，在本申请实施例中，视频图像数据插帧处理装置只对运动区域进行插帧处理，有利于减少因对同一画面内不动的物体也插帧而导致的异常，以及节省插帧处理的功耗。
在一个可能的示例中，在根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量方面，所述处理单元具体601用于：对所述第一帧图像进行预设分块处理，得到第一预设数量的第一像素块，以及对所述第二帧图像进行预设分块处理，得到第一预设数量的第二像素块；确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系；确定每个第二像素块相对于对应的第一像素块的运动矢量。
在一个可能的示例中，在确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系方面，所述处理单元601具体用于：根据每个第一像素块的像素值和每个第二像素块的像素值计算每个第一像素块与每个第二像素块的残差，得到若干个残差，其中，每个第一像素块对应得到第一预设数量个残差；从每个第一像素块对应的第一预设数量个残差中选出最小残差；将每个第一像素块的最小残差对应的第二像素块确定为与其对应的第二像素块。
在一个可能的示例中，在确定每个第二像素块相对于对应的第一像素块的运动矢量方面，所述处理单元601具体用于：获取所述目标视频中的第三帧图像，其中，所述第三帧图像与所述第一帧图像、所述第二帧图像包含相同目标的影像信息；对所述第三帧图像进行预设分块处理，得到第一预设数量的第一参照像素块；确定所述第一预设数量的第一像素块与所述第一预设数量的第一参照像素块之间的一一对应关系，以及确定所述第一预设数量的第二像素块与所述第一预设数量的第一参照像素块之间的一一对应关系；确定每个第一像素块相对于对应的第一参照像素块的第一运动矢量，以及确定每个第二像素块相对于对应的第一参照像素块的第二运动矢量；将所述每个第一参照像素块对应的第二运动矢量和第一运动矢量进行相减，得到每个第二像素块相对于对应的第一像素块的运动矢量。
在一个可能的示例中，在确定每个第二像素块相对于对应的第一像素块的运动矢量方面，所述处理单元601具体用于：将所述第一帧图像和所述第二帧图像重叠，并以重叠区域上任意一点为原点建立坐标系；在所述坐标系中确定每个第一像素块的第一坐标，以及确定每个第二像素块的第二坐标；根据每个第二像素块的第二坐标和对应的第一像素块的第一坐标，计算每个第二像素块相对于对应的第一像素块的相对位移；将所述每个第二像素块相对于对应的第一像素块的相对位移确定为所述每个第二像素块相对于对应的第一像素块的运动矢量。
在一个可能的示例中，在对所述动态区域对应的图像数据进行插帧处理方面，所述处理单元601具体用于：判断每个第二像素块相对于对应的第一像素块的运动矢量是否大于预设运动矢量阈值；若是，则对对应的第一像素块进行插帧处理，得到对应的第三像素块；根据未进行插帧处理的第一像素块和所有的第三像素块合成插帧图像；将所述插帧图像插入所述目标视频中的所述第一帧图像与所述第二帧图像之间。
在一个可能的示例中，在从所述视频中获取第三帧图像方面，所述处理单元601具体用于：将所述视频中所有的帧图像按照播放顺序进行排序，确定所述第一帧图像的序号；以所述第一帧图像的序号为中点按照播放顺序分别向前和向后获取帧图像，得到第二预设数量的帧图像；将所述第二预设数量的帧图像分别与所述第一帧图像进行匹配，得到第三预设数量的帧图像；从所述第三预设数量的帧图像中选取任一帧图像作为所述第三帧图像。
在一个可能的示例中，在将所述第二预设数量的帧图像分别与所述第一帧图像进行匹配，得到第三预设数量的帧图像方面，所述处理单元601具体用于：确定所述第一帧图像的特征点分布，以得到模板特征分布轮廓，以及确定所述第二预设数量的帧图像的特征点分布，得到第二预设数量的待匹配特征分布轮廓；分别将所述第二预设数量的待匹配特征分布轮廓与所述模板特征分布轮廓进行重叠，并分别从所述第二预设数量的帧图像中的每张帧图像中将特征分布轮廓重叠部分对应的图像截取出，得到第二预设数量个重合区域图像；计算每个重合区域图像的面积，得到第二预设数量个重合面积；将重合面积大于预设面积阈值对应的重合区域图像从所述第二预设数量的重合区域图像中选取出，得到第四预设数量的目标重合区域图像；将所述第四预设数量的目标重合区域图像与所述第一帧图像进行匹配，得到第三预设数量的帧图像；
其中，每个目标重合区域图像与所述第一帧图像进行匹配的步骤如下：从所述目标重合区域图像中选取M个不同的点，以所述M个不同的点为圆心对所述目标重合区域图像进行圆形图像截取，得到M个圆形区域图像，所述M为大于3的整数；从所述M个圆形区域图像中选出目标圆形区域图像，所述目标圆形区域图像为所述M个圆形区域图像中包含特征点的数量最多的圆形区域图像；将所述目标圆形区域图像进行划分，得到N个圆环图像，所述N个圆环图像的环宽相同，所述N为大于3的整数；从所述N个圆环图像中半径最小的圆环图像开始，依次将所述N个圆环图像与第一帧图像进行特征点匹配，并累计已匹配完成的圆环图像的匹配值；当累计的匹配值大于预设匹配阈值时，则停止进行特征点匹配，确认匹配成功。
其中，所述视频图像数据插帧处理装置600还可以包括存储单元603，用于存储电子设备的程序代码和数据。所述处理单元601可以是处理器，所述通信单元602可以是触控显示屏或者收发器，存储单元603可以是存储器。
可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。
本申请实施例还提供了一种图像处理芯片，其中，该芯片包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述方法实施例中电子设备所描述的部分或全部步骤。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种视频图像数据插帧处理方法，其特征在于，所述方法包括：
获取目标视频中的第一帧图像和第二帧图像，其中，所述第二帧图像在时序上位于所述第一帧图像之后；
根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量；
根据所述第二帧图像相对于所述第一帧图像的运动矢量，确定所述第二帧图像相对于所述第一帧图像的动态区域；
对所述动态区域对应的图像数据进行插帧处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量，包括：
对所述第一帧图像进行预设分块处理，得到第一预设数量的第一像素块，以及对所述第二帧图像进行预设分块处理，得到第一预设数量的第二像素块；
确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系；
确定每个第二像素块相对于对应的第一像素块的运动矢量。
3.根据权利要求2所述的方法，其特征在于，所述确定所述第一预设数量的第一像素块与所述第一预设数量的第二像素块之间的一一对应关系，包括：
根据每个第一像素块的像素值和每个第二像素块的像素值计算每个第一像素块与每个第二像素块的残差，得到若干个残差，其中，每个第一像素块对应得到第一预设数量个残差；
从每个第一像素块对应的第一预设数量个残差中选出最小残差；
将每个第一像素块的最小残差对应的第二像素块确定为与其对应的第二像素块。
4.根据权利要求2或3所述的方法，其特征在于，所述确定每个第二像素块相对于对应的第一像素块的运动矢量，包括：
获取所述目标视频中的第三帧图像，其中，所述第三帧图像与所述第一帧图像、所述第二帧图像包含相同目标的影像信息；
对所述第三帧图像进行预设分块处理，得到第一预设数量的第一参照像素块；
确定所述第一预设数量的第一像素块与所述第一预设数量的第一参照像素块之间的一一对应关系，以及确定所述第一预设数量的第二像素块与所述第一预设数量的第一参照像素块之间的一一对应关系；
确定每个第一像素块相对于对应的第一参照像素块的第一运动矢量，以及确定每个第二像素块相对于对应的第一参照像素块的第二运动矢量；
将所述每个第一参照像素块对应的第二运动矢量和第一运动矢量进行相减，得到每个第二像素块相对于对应的第一像素块的运动矢量。
5.根据权利要求2或3所述的方法，其特征在于，所述确定每个第二像素块相对于对应的第一像素块的运动矢量，包括：
将所述第一帧图像和所述第二帧图像重叠，并以重叠区域上任意一点为原点建立坐标系；
在所述坐标系中确定每个第一像素块的第一坐标，以及确定每个第二像素块的第二坐标；
根据每个第二像素块的第二坐标和对应的第一像素块的第一坐标，计算每个第二像素块相对于对应的第一像素块的相对位移；
将所述每个第二像素块相对于对应的第一像素块的相对位移确定为所述每个第二像素块相对于对应的第一像素块的运动矢量。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述对所述动态区域对应的图像数据进行插帧处理，包括：
判断每个第二像素块相对于对应的第一像素块的运动矢量是否大于预设运动矢量阈值；
若是，则对对应的第一像素块进行插帧处理，得到对应的第三像素块；
根据未进行插帧处理的第一像素块和所有的第三像素块合成插帧图像；
将所述插帧图像插入所述目标视频中的所述第一帧图像与所述第二帧图像之间。
7.一种视频图像数据插帧处理装置，其特征在于，所述装置包括处理单元，其中，所述处理单元，用于：
获取目标视频中的第一帧图像和第二帧图像，其中，所述第二帧图像在时序上位于所述第一帧图像之后；
以及根据所述第一帧图像和所述第二帧图像的图像数据，确定所述第二帧图像相对于所述第一帧图像的运动矢量；
以及根据所述第二帧图像相对于所述第一帧图像的运动矢量，确定所述第二帧图像相对于所述第一帧图像的动态区域；
以及对所述动态区域对应的图像数据进行插帧处理。
8.一种图像处理芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1-6中任一项所述的方法。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-6任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911261124.4A CN110933497B (zh) | 2019-12-10 | 2019-12-10 | 视频图像数据插帧处理方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911261124.4A CN110933497B (zh) | 2019-12-10 | 2019-12-10 | 视频图像数据插帧处理方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110933497A true CN110933497A (zh) | 2020-03-27 |
| CN110933497B CN110933497B (zh) | 2022-03-22 |
Family
ID=69859648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911261124.4A Active CN110933497B (zh) | 2019-12-10 | 2019-12-10 | 视频图像数据插帧处理方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110933497B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111586409A (zh) * | 2020-05-14 | 2020-08-25 | Oppo广东移动通信有限公司 | 插值帧的生成方法、装置、电子设备和存储介质 |
| CN111641828A (zh) * | 2020-05-16 | 2020-09-08 | Oppo广东移动通信有限公司 | 视频处理方法及装置、存储介质和电子设备 |
| CN111641829A (zh) * | 2020-05-16 | 2020-09-08 | Oppo广东移动通信有限公司 | 视频处理方法及装置、系统、存储介质和电子设备 |
| CN111741266A (zh) * | 2020-06-24 | 2020-10-02 | 北京梧桐车联科技有限责任公司 | 图像显示方法、装置、车载设备及存储介质 |
| CN112040311A (zh) * | 2020-07-24 | 2020-12-04 | 北京航空航天大学 | 视频图像补帧方法、装置、设备及可存储介质 |
| CN112055249A (zh) * | 2020-09-17 | 2020-12-08 | 京东方科技集团股份有限公司 | 一种视频插帧方法及装置 |
| CN112199140A (zh) * | 2020-09-09 | 2021-01-08 | Oppo广东移动通信有限公司 | 应用插帧方法及相关装置 |
| CN113014937A (zh) * | 2021-02-24 | 2021-06-22 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN113014936A (zh) * | 2021-02-24 | 2021-06-22 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN113132800A (zh) * | 2021-04-14 | 2021-07-16 | Oppo广东移动通信有限公司 | 视频处理方法、装置、视频播放器、电子设备及可读介质 |
| CN113542623A (zh) * | 2020-04-20 | 2021-10-22 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
| CN114007134A (zh) * | 2021-10-25 | 2022-02-01 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN114286007A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 图像处理电路、图像处理方法、电子设备和可读存储介质 |
| CN114339313A (zh) * | 2021-12-28 | 2022-04-12 | 维沃移动通信有限公司 | 插帧方法、装置及电子设备 |
| CN115334335A (zh) * | 2022-07-13 | 2022-11-11 | 北京优酷科技有限公司 | 视频插帧方法及装置 |
| CN115731829A (zh) * | 2021-08-30 | 2023-03-03 | 广州视源电子科技股份有限公司 | 一种画质调节方法、存储介质及显示设备 |
| CN116366886A (zh) * | 2023-02-27 | 2023-06-30 | 泰德网聚(北京)科技股份有限公司 | 基于平滑处理的视频快编系统 |
| CN116723355A (zh) * | 2023-08-11 | 2023-09-08 | 深圳传趣网络技术有限公司 | 视频插帧的处理方法、装置、设备及存储介质 |
| CN116740241A (zh) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
| CN117083854A (zh) * | 2021-03-31 | 2023-11-17 | 高通股份有限公司 | 选择性运动补偿帧内插 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010016010A1 (en) * | 2000-01-27 | 2001-08-23 | Lg Electronics Inc. | Apparatus for receiving digital moving picture |
| US20060262853A1 (en) * | 2005-05-20 | 2006-11-23 | Microsoft Corporation | Low complexity motion compensated frame interpolation method |
| CN102378010A (zh) * | 2011-11-15 | 2012-03-14 | 无锡港湾网络科技有限公司 | 一种视频数据还原的插帧方法 |
| CN102685437A (zh) * | 2012-02-03 | 2012-09-19 | 深圳市创维群欣安防科技有限公司 | 视频图像补偿方法及监视器 |
| CN102760463A (zh) * | 2011-04-27 | 2012-10-31 | 佛山市南海平板显示技术中心 | 一种用于视频处理的memc装置 |
| US20120281070A1 (en) * | 2011-03-03 | 2012-11-08 | Panasonic Corporation | Performing video processing for frame sequential display for alternately displaying right and left images of stereoscopic video signals |
| CN103533286A (zh) * | 2012-06-29 | 2014-01-22 | 英特尔公司 | 用于带静态区域排除的时间帧内插的方法和系统 |
| US20150016748A1 (en) * | 2013-07-15 | 2015-01-15 | Samsung Electronics Co., Ltd. | Image Processing Apparatus, Image Processing System, and Image Processing Method |
| CN106303546A (zh) * | 2016-08-31 | 2017-01-04 | 四川长虹通信科技有限公司 | 一种帧速率上转换方法及系统 |
| US20180132009A1 (en) * | 2016-11-08 | 2018-05-10 | Ati Technologies Ulc | Video frame rate conversion using streamed metadata |
| CN109599055A (zh) * | 2019-02-20 | 2019-04-09 | 合肥惠科金扬科技有限公司 | 一种显示面板的驱动方法、驱动装置及显示装置 |
| CN109803175A (zh) * | 2019-03-12 | 2019-05-24 | 京东方科技集团股份有限公司 | 视频处理方法及装置、设备、存储介质 |
-
2019
- 2019-12-10 CN CN201911261124.4A patent/CN110933497B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010016010A1 (en) * | 2000-01-27 | 2001-08-23 | Lg Electronics Inc. | Apparatus for receiving digital moving picture |
| US20060262853A1 (en) * | 2005-05-20 | 2006-11-23 | Microsoft Corporation | Low complexity motion compensated frame interpolation method |
| US20120281070A1 (en) * | 2011-03-03 | 2012-11-08 | Panasonic Corporation | Performing video processing for frame sequential display for alternately displaying right and left images of stereoscopic video signals |
| CN102760463A (zh) * | 2011-04-27 | 2012-10-31 | 佛山市南海平板显示技术中心 | 一种用于视频处理的memc装置 |
| CN102378010A (zh) * | 2011-11-15 | 2012-03-14 | 无锡港湾网络科技有限公司 | 一种视频数据还原的插帧方法 |
| CN102685437A (zh) * | 2012-02-03 | 2012-09-19 | 深圳市创维群欣安防科技有限公司 | 视频图像补偿方法及监视器 |
| CN103533286A (zh) * | 2012-06-29 | 2014-01-22 | 英特尔公司 | 用于带静态区域排除的时间帧内插的方法和系统 |
| US20150016748A1 (en) * | 2013-07-15 | 2015-01-15 | Samsung Electronics Co., Ltd. | Image Processing Apparatus, Image Processing System, and Image Processing Method |
| CN106303546A (zh) * | 2016-08-31 | 2017-01-04 | 四川长虹通信科技有限公司 | 一种帧速率上转换方法及系统 |
| US20180132009A1 (en) * | 2016-11-08 | 2018-05-10 | Ati Technologies Ulc | Video frame rate conversion using streamed metadata |
| CN109599055A (zh) * | 2019-02-20 | 2019-04-09 | 合肥惠科金扬科技有限公司 | 一种显示面板的驱动方法、驱动装置及显示装置 |
| CN109803175A (zh) * | 2019-03-12 | 2019-05-24 | 京东方科技集团股份有限公司 | 视频处理方法及装置、设备、存储介质 |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542623A (zh) * | 2020-04-20 | 2021-10-22 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
| CN111586409A (zh) * | 2020-05-14 | 2020-08-25 | Oppo广东移动通信有限公司 | 插值帧的生成方法、装置、电子设备和存储介质 |
| CN111586409B (zh) * | 2020-05-14 | 2022-06-10 | Oppo广东移动通信有限公司 | 插值帧的生成方法、装置、电子设备和存储介质 |
| CN111641828A (zh) * | 2020-05-16 | 2020-09-08 | Oppo广东移动通信有限公司 | 视频处理方法及装置、存储介质和电子设备 |
| CN111641829A (zh) * | 2020-05-16 | 2020-09-08 | Oppo广东移动通信有限公司 | 视频处理方法及装置、系统、存储介质和电子设备 |
| CN111741266A (zh) * | 2020-06-24 | 2020-10-02 | 北京梧桐车联科技有限责任公司 | 图像显示方法、装置、车载设备及存储介质 |
| CN112040311A (zh) * | 2020-07-24 | 2020-12-04 | 北京航空航天大学 | 视频图像补帧方法、装置、设备及可存储介质 |
| CN112199140A (zh) * | 2020-09-09 | 2021-01-08 | Oppo广东移动通信有限公司 | 应用插帧方法及相关装置 |
| CN112055249A (zh) * | 2020-09-17 | 2020-12-08 | 京东方科技集团股份有限公司 | 一种视频插帧方法及装置 |
| CN112055249B (zh) * | 2020-09-17 | 2022-07-08 | 京东方科技集团股份有限公司 | 一种视频插帧方法及装置 |
| CN113014937A (zh) * | 2021-02-24 | 2021-06-22 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN113014936A (zh) * | 2021-02-24 | 2021-06-22 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN113014937B (zh) * | 2021-02-24 | 2022-09-16 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN113014936B (zh) * | 2021-02-24 | 2022-12-13 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| US11627281B2 (en) | 2021-02-24 | 2023-04-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for video frame interpolation, and device and storage medium |
| CN117083854A (zh) * | 2021-03-31 | 2023-11-17 | 高通股份有限公司 | 选择性运动补偿帧内插 |
| CN113132800A (zh) * | 2021-04-14 | 2021-07-16 | Oppo广东移动通信有限公司 | 视频处理方法、装置、视频播放器、电子设备及可读介质 |
| CN113132800B (zh) * | 2021-04-14 | 2022-09-02 | Oppo广东移动通信有限公司 | 视频处理方法、装置、视频播放器、电子设备及可读介质 |
| WO2022218042A1 (zh) * | 2021-04-14 | 2022-10-20 | Oppo广东移动通信有限公司 | 视频处理方法、装置、视频播放器、电子设备及可读介质 |
| CN115731829A (zh) * | 2021-08-30 | 2023-03-03 | 广州视源电子科技股份有限公司 | 一种画质调节方法、存储介质及显示设备 |
| CN114007134A (zh) * | 2021-10-25 | 2022-02-01 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN114286007A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 图像处理电路、图像处理方法、电子设备和可读存储介质 |
| CN114339313A (zh) * | 2021-12-28 | 2022-04-12 | 维沃移动通信有限公司 | 插帧方法、装置及电子设备 |
| CN115334335A (zh) * | 2022-07-13 | 2022-11-11 | 北京优酷科技有限公司 | 视频插帧方法及装置 |
| CN115334335B (zh) * | 2022-07-13 | 2024-01-09 | 北京优酷科技有限公司 | 视频插帧方法及装置 |
| CN116740241A (zh) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
| CN116366886A (zh) * | 2023-02-27 | 2023-06-30 | 泰德网聚(北京)科技股份有限公司 | 基于平滑处理的视频快编系统 |
| CN116366886B (zh) * | 2023-02-27 | 2024-03-19 | 泰德网聚(北京)科技股份有限公司 | 基于平滑处理的视频快编系统 |
| CN116723355A (zh) * | 2023-08-11 | 2023-09-08 | 深圳传趣网络技术有限公司 | 视频插帧的处理方法、装置、设备及存储介质 |
| CN116723355B (zh) * | 2023-08-11 | 2023-11-28 | 深圳传趣网络技术有限公司 | 视频插帧的处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110933497B (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110933497B (zh) | 视频图像数据插帧处理方法及相关设备 | |
| CN109461199B (zh) | 画面渲染方法和装置、存储介质及电子装置 | |
| CN111598902B (zh) | 图像分割方法、装置、电子设备及计算机可读介质 | |
| CN111222509B (zh) | 目标检测方法、装置及电子设备 | |
| EP4322109A1 (en) | Green screen matting method and apparatus, and electronic device | |
| CN111654637B (zh) | 对焦方法、对焦装置及终端设备 | |
| CN112565890B (zh) | 视频裁剪方法、装置、存储介质及电子设备 | |
| CN113436068B (zh) | 一种图像拼接方法、装置、电子设备及存储介质 | |
| CN112862842B (zh) | 图像数据的处理方法和装置、存储介质及电子装置 | |
| CN115409696A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110941413B (zh) | 显示画面的生成方法及相关装置 | |
| CN109784226B (zh) | 人脸抓拍方法及相关装置 | |
| CN113763233A (zh) | 一种图像处理方法、服务器及拍照设备 | |
| CN111415306A (zh) | 图片中人体胸部美体处理方法、装置及电子设备 | |
| CN113128299A (zh) | 人流密度检测方法、装置、终端设备、服务器及存储介质 | |
| CN111145128A (zh) | 色彩增强方法及相关装置 | |
| CN110827313B (zh) | 快速光流跟踪方法及相关设备 | |
| CN111583283B (zh) | 图像分割方法、装置、电子设备及介质 | |
| CN110384926B (zh) | 位置确定方法及装置 | |
| CN110473146B (zh) | 遥感图像显示方法、装置及存储介质和计算机设备 | |
| CN112822418B (zh) | 视频处理方法和装置、存储介质和电子设备 | |
| CN115905237B (zh) | 图像处理方法、装置、hud及存储介质 | |
| CN113129360B (zh) | 视频内对象的定位方法、装置、可读介质及电子设备 | |
| CN112487856A (zh) | 一种对象检测方法及相关装置 | |
| CN112070718A (zh) | 一种区域量化参数的确定方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |