CN113141537A - 视频插帧方法、装置、存储介质以及终端 - Google Patents
视频插帧方法、装置、存储介质以及终端 Download PDFInfo
- Publication number
- CN113141537A CN113141537A CN202110364720.6A CN202110364720A CN113141537A CN 113141537 A CN113141537 A CN 113141537A CN 202110364720 A CN202110364720 A CN 202110364720A CN 113141537 A CN113141537 A CN 113141537A
- Authority
- CN
- China
- Prior art keywords
- data
- video data
- frame interpolation
- frame
- initial video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012966 insertion method Methods 0.000 title claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000003780 insertion Methods 0.000 claims abstract description 19
- 230000037431 insertion Effects 0.000 claims abstract description 19
- 230000015654 memory Effects 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 25
- 238000006073 displacement reaction Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 101150053844 APP1 gene Proteins 0.000 description 2
- 101100055496 Arabidopsis thaliana APP2 gene Proteins 0.000 description 2
- 101100189105 Homo sapiens PABPC4 gene Proteins 0.000 description 2
- 102100039424 Polyadenylate-binding protein 4 Human genes 0.000 description 2
- 101100016250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) GYL1 gene Proteins 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 235000009470 Theobroma cacao Nutrition 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 244000240602 cacao Species 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请实施例公开了一种视频插帧方法、装置、存储介质以及终端，终端配置分屏模式，所述方法包括：分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据，生成所述目标插帧数据对应的目标插帧视频，显示所述目标插帧视频。通过设置多路数据通道分别对不同帧率的初始视频数据进行插帧处理得到目标插帧视频，实现目标插帧视频与显示器显示帧率的动态匹配，通过插帧实现较佳显示效果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频插帧方法、装置、存储介质以及终端。
背景技术
随着互联网的发展，移动智能终端的出现改变了很多人的生活方式。人们不再满足于手机的外观和基本功能的使用，而开始追求手机能够给人们带来更多、更强、更具个性化的功能服务。为了方便用户更好的使用，终端提供了应用分屏的功能，即在终端中可以同时显示至少两个不同应用的界面。若至少两个不同数据源的视频应用同时播放视频数据，而至少两个不同数据源的视频应用各自播放的至少两个视频数据的帧率不同，需求的插帧强度也不同，所以只能在分屏模式下退出插帧。因此，终端在分屏模式下视频的显示效果不佳。
发明内容
本申请实施例提供了一种视频插帧方法、装置、计算机存储介质以及终端，旨在解决相关技术中，终端处于分屏模式下，如何提高视频的显示效果的技术问题。所述技术方案如下：
第一方面，本申请实施例提供了一种视频插帧方法，应用于终端，所述终端配置分屏模式，在分屏模式下所述终端能够同时显示至少两个不同数据源的视频信息，所述方法包括：
分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据；
生成所述目标插帧数据对应的目标插帧视频，显示所述目标插帧视频。
第二方面，本申请实施例提供了一种视频插帧装置，应用于终端，所述终端配置分屏模式，在分屏模式下所有终端能够同时显示至少两个不同数据源的视频信息，所述方法包括：
插帧模块，用于分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据；
显示模块，用于生成所述目标插帧数据对应的目标插帧视频，显示所述目标插帧视频。
第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供了一种终端，可包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述存储器加载并执行上述的方法步骤。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例的方案在执行时，终端配置分屏模式，分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据，生成所述目标插帧数据对应的目标插帧视频，显示所述目标插帧视频。本申请实施例中，通过设置多路数据通道，在绘图处理前通过多路数据通道分别对不同帧率的初始视频数据进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据，目标插帧数据经绘图处理渲染后得到目标插帧视频，实现目标插帧视频与显示器显示帧率的动态匹配，通过插帧功能实现较佳显示效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种视频插帧方法的系统架构示意图；
图2是本申请实施例提供的一种视频插帧方法的流程示意图；
图3是本申请实施例提供的一种视频插帧方法中的显示界面示意图；
图4是本申请实施例提供的一种视频插帧方法中的原理示意图；
图5是本申请实施例提供的又一种视频插帧方法流程示意图；
图6是本申请实施例提供的一种视频插帧方法中的原理示意图；
图7是本申请实施例提供的一种视频插帧装置结构示意图；
图8是本申请实施例提供的一种电子设备的结构示意图；
图9是本申请实施例提供的操作系统和用户空间的结构示意图；
图10是图9中安卓操作系统的架构图；
图11是图9中IOS操作系统的架构图。
具体实施方式
为使得本申请实施例的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参见图1，为本申请实施例提供的一种视频插帧方法的系统架构示意图，本申请中的实施例都基于该系统架构执行。
如图1所示，需要说明的是，图中应用的数量和数据通道的数量仅为示意性的，在实际应用过程中，应用的数量和数量通道的数量还可以为多个。图中的应用为终端上的视频应用，视频应用从各自的视频源中获取初始视频数据，初始视频数据中包括一帧帧的图像数据。视频应用再将初始视频数据发送至插帧芯片进行处理，插帧芯片在对应用的初始视频数据进行处理时，先分别对每个初始视频数据进行插帧处理，再将每个插帧后的初始视频数据进行合成处理，再将合成的数据进行输出。
由图1可以看到，插帧芯片中包括两个独立的数据通道，在第一个数据通道中，硬件结构包括第一接收器(即MIPI RX0(Mobile Industry Processor Interface Receiver，移动产业处理器接口接收器))、第一解码器(即DSC Decoder0)、二维放大器(即H/VScalar)、视频存储器(即VDO Cap)、高动态对比度处理器(HDR Processing)。在第二个数据通道中，硬件结构包括第二接收器(即MIPI RX1)、第二解码器(即DSC Decoder1)、二维放大器(即H/V Scalar)、视频存储器(即VDO Cap)、高动态对比度处理器(即HDR Processing)。在每个数据通道中，通常包括解码器、二维放大器、视频存储器以及高动态对比度处理器等硬件中的多个组合。
由图1可以看到，插帧芯片中还包括合成模块，包括发送器(即MIPI TX(MobileIndustry Processor Interface Transmitter，移动产业处理器接口发送器))、第一编码器(即DSC encoder0)、第二编码器(即DSC encoder0)、显示时序生成器(即Display TimingGenerate)。第一编码器对第一数据通道中的第一解码器的数据进行编码，第二编码器对第二数据通道中的第二解码器的数据进行编码。
下面结合具体的实施例对本申请进行详细说明。
在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为终端进行介绍说明。
请参见图2，为本申请实施例提供的一种视频插帧方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤：
S201，在终端处于分屏模式下，分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据。
其中，初始视频数据用于表示每个分屏所对应的应用的视频数据。对于每个分屏上显示的应用的视频数据，可以是终端上系统内置的原生视频播放应用中的视频数据，可以是终端从软件商店下载到本地的第三方视频播放应用中的视频数据。而该视频数据，可以是用户手动拍摄的视频存储在终端本地的视频数据，可以是用户从网络下载到终端本地的视频对应的视频数据，还可以是用户在线播放的网络视频的视频数据。
其中，数据通道可以是MIPI(Mobile Industry Processor Interface，移动产业处理器接口)通道。MIPI通道中通常包括MIPI RX(Mobile Industry Processor InterfaceReceiver，移动产业处理器接口接收器)、编解码器和视频HDR处理器等硬件中的一个或者多个的组合。
其中，目标插帧数据用于表示将每一个插帧后的初始视频数据进行合成得到的视频数据。目标插帧数据为多帧完整画面的图像数据，完整画面为每个分屏显示的子画面所组成，子画面是指插帧后的每个初始视频数据对应的初始视频中的各帧画面。
具体的，每个分屏显示每个应用的初始视频数据，每个应用的初始视频数据对应的帧率是不同的，并且终端的屏幕刷新率是大于或等于每个初始视频数据对应的帧率。插帧芯片中存在多路数据通道，数据通道的数量大于或等于最大的可分屏个数。插帧可以理解为在视频中插入若干帧与视频的播放内容相关的画面，使得视频的流畅度更高。对每个初始视频数据进行插帧处理后，可以得到每个插帧后的初始视频数据，那么将各个插帧后的初始视频数据进行合成显示。
举例来说：可参见如图3所示的一种终端的分屏界面的示意图，终端在分屏模式下显示两个分屏，一个上分屏(分屏1)，一个下分屏(分屏2)。分屏1显示的应用是第一APP，分屏2显示的应用是第二APP，两个不同应用同时播放视频。第一APP视频源的初始视频数据的帧率为24fps，第二APP视频源的初始视频数据的帧率为30fps，而终端的屏幕刷新率为60fps。换句话说，第一APP初始视频数据对应的初始视频在一秒内显示24帧画面，第二APP初始视频数据对应的初始视频在一秒内显示30帧画面，而终端的屏幕在一秒内最高可以显示60帧画面，那么就需要对第一APP视频源的初始视频数据进行插帧，也要对第二APP视频源的初始视频数据进行插帧，再将两个应用插帧后的初始视频数据进行合成，得到目标插帧数据，再将目标插帧数据进行输出，目标插帧数据就是60帧图像数据的集合，60帧图像数据为60帧画面对应的图像数据，每一帧画面都是由第一APP上的子画面和第二APP上的子画面所组成。
S202，生成所述目标插帧数据对应的目标插帧视频，并在每个分屏上对应显示所述目标插帧视频。
其中，目标插帧视频为目标插帧数据中各帧图像数据对应的各帧画面的集合。
具体的，图形处理器(Graphics Processing Unit，GPU)接收来自插帧芯片的目标插帧数据，对目标插帧数据进行绘图处理，生成与目标插帧数据对应的目标插帧视频。由于目标插帧数据中包括多帧图像数据，那么目标插帧视频中包括多帧图像数据各自对应的多帧画面。目标插帧视频中的每一帧画面由每个分屏所显示的子画面组成，因此在显示目标插帧视频时，每个分屏对应显示各自的子画面。
具体的，可参见如图4所示的原理示意图，若分屏有2个，插帧芯片接收来自APP1和APP2的初始视频数据，插帧芯片分别对APP1的初始视频数据和APP2的初始视频数据进行插帧处理，插帧芯片再将插帧后的目标插帧数据发送至GPU，GPU对目标插帧数据进行绘画处理，GPU再将绘画处理生成的目标插帧视频发送至显示屏进行显示。
本申请实施例的方案在执行时，终端配置分屏模式，分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据，目标插帧数据经绘图处理后生成目标插帧数据对应的目标插帧视频，并在每个分屏上对应显示目标插帧视频。本申请实施例中，通过设置多路数据通道，在绘图处理前通过多路数据通道分别对不同帧率的初始视频数据进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据，目标插帧数据经绘图处理渲染后得到目标插帧视频，实现目标插帧视频与显示器显示帧率的动态匹配，通过插帧功能实现较佳显示效果。
在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为终端进行介绍说明。
请参见图5，为本申请实施例提供的一种视频插帧方法的流程示意图。如图5所示，本申请实施例的所述方法可以包括以下步骤：
S501，分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，从多个数据通道中选择与所述至少两个初始视频数据一一对应的至少两个数据通道传输所述至少两个初始视频数据，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，得到每一个所述初始视频数据对应的插帧视频数据。
具体的，从多个数据通道中选择与所述至少两个初始视频数据一一对应的至少两个数据通道传输所述至少两个初始视频数据，可以理解为，一方面，插帧芯片中数据通道的数量等于分屏个数时，分别选择一路数据通道传输每一个初始视频数据，此时没有剩余的数据通道。也就是说，有两路数据通道时，正好使用这两路数据通道传输两个分屏的初始视频数据。另一方面，插帧芯片中数据通道的数量大于分屏个数时，分别选择一路数据通道传输每一个初始视频数据，此时有剩余的数据通道。也就是说，有三路数据通道时，存在两个分屏，从三路通道中选出两路数据通道传输两个分屏的初始视频数据。对于选取数据通道的选取方法，可以按照数据通道数据处理效率的高低顺序，选择与至少两个初始视频数据一一对应的至少两个数据通道传输至少两个初始视频数据。还可以随机选择与至少两个初始视频数据一一对应的至少两个数据通道传输至少两个初始视频数据。在本申请实施例中，数据通道的数据处理效率可以从编解码效率、插帧帧率、传输速率、接口型号中的一种或多种组合来衡量。比如，在接口型号匹配的情况下，数据通道最大的插帧帧率大于终端的屏幕刷新率，并且编解码效率和传输速率都较高时，可以确定数据通道的数据处理效率较高，可以提高数据通道对每一个初始视频数据进行插帧处理的插帧效率。
具体的，对每一个初始视频数据进行插帧处理，可以通过运动估计与运动补偿(Motion Estimation and Motion Compensation，简称MEMC)技术来实现。ME叫做运动估计，MC叫做运动补偿。运动估计可以理解为是确定运动矢量的过程，运动估计指的是基于块的运动估计，基本思想是将图像序列的每一帧分成许多互不重叠的块，并认为块内所有像素的位移量都相同，然后对每个宏块到参考帧某一给定特定搜索范围内根据一定的块匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量。运动估计算法通常包括但不限于匹配算法、像素递归法以及光流法。在本申请实施例中，可以采用光流法来确定运动矢量，光流通过连续的图像序列来检测物体微小的动作变化。光流在图像中的含义就是动作向量(u,v)，分别表示位移在x和y方向上的变化率。
在一种可能的实施方式中，可以确定每一个初始视频数据中每相邻的两帧图像数据的矢量运动位移，基于矢量运动位移生成插帧图像数据。矢量运动位移可以理解为同一像素点在第一帧画面和第二帧画面之间的矢量位移，第一帧画面为第一帧图像数据对应的画面，第二帧画面为第二帧图像数据对应的画面。
举例来说：若在终端的显示屏上建立平面坐标系，对于每个画面上所有像素点来说，每个像素点都对应一个坐标。如图6所示的一种像素点移动过程的显示示意图，假如该画面有576个像素，以横竖为24*24分布在显示屏上，若第一帧画面上某一像素点所在的坐标为(6,6)，第二帧画面中该像素点所在的坐标为(12,12)，则该像素点的矢量运动位移为(6,6)，则该像素点在第一帧画面和第二帧画面中插入的插帧画面中的坐标为(9,9)。同样地，可以按照上述原理确定第一帧画面上的每个像素点在插帧画面中的坐标，进一步地，可以确定该插帧画面对应的插帧图像数据。对于每一个初始视频数据，可以按照上述步骤确定需要插入的所有插帧图像数据。进一步地，可以基于上述每相邻的两帧图像数据以及上述插帧图像数据生成每个初始视频数据对应的插帧视频数据。
可选的，在确定每一个初始视频数据中每相邻的两帧图像数据的矢量运动位移之前，还可以确定每一个初始视频数据对应的插帧图像数量，那么可以基于矢量运动位移按照插帧图像数量生成对应的插帧图像数据。
S502，获取每一个所述初始视频数据所在的分屏对应的显示位置信息。
其中，显示位置信息用于表示每个分屏在显示屏上的位置信息。可以在显示屏上建立平面坐标系，在平面坐标系上划分出多个矩形区域，每个矩形区域对应一个分屏，则可以确定每个分屏所在的坐标区域。
S503，将各所述插帧视频数据按照所述显示位置信息进行合成处理，得到目标插帧数据。
其中，目标插帧数据包括每个分屏对应的插帧后的初始视频数据。
具体的，对各插帧视频数据进行合成处理，可以理解为，由于各视频插帧数据中的图像数据对应的帧数是相同的，将各插帧视频数据中的每一帧图像数据按照所属的帧数，并且按照每个分屏对应的坐标区域，进行合成处理，生成的目标插帧数据包括多帧完整图像数据，完整图像数据是指所有分屏在同一时刻显示的每个子画面所合成的完整画面对应的完整图像数据。
S504，通过图形处理器对所述目标插帧数据进行绘画处理，生成目标插帧视频。
其中，GPU是做图像和图形相关运算工作的微处理器。GPU的工作，简单来说，就是完成3D图形的生成，将3D图形映射到相应的像素点上，对每个像素点进行计算确定最终颜色并输出。图形处理器主要是完成顶点处理、光栅化计算、纹理贴图、像素处理等工作。顶点处理，可以理解为GPU读取描述3D图形外观的顶点数据并根据顶点数据确定3D图形的形状及位置关系，建立起3D图形的骨架。在支持DX系列规格的GPU中，这些工作由硬件实现的Vertex Shader(定点着色器)完成。光栅化计算，可以理解为，由于显示器实际显示的图像是由像素点组成的，那么就要将生成的3D图形上的点和线通过一定的算法转换到相应的像素点。把一个矢量图形转换为一系列像素点的过程就称为光栅化。例如，一条数学表示的斜线段，可以被转化成阶梯状的连续像素点。纹理帖图，可以理解为，由于顶点单元生成的多边形只构成了3D物体的轮廓，而纹理映射主要完成对多边形表面的帖图，简单来说，就是将多边形的表面贴上相应的图片，从而生成“真实”的图形。像素处理，可以理解为，在对每个像素点进行光栅化处理期间，GPU完成对像素点的计算和处理，从而确定每个像素点的最终属性。在支持DX8和DX9规格的GPU中，这些工作由硬件实现的Pixel Shader(像素着色器)完成。
具体的，由于目标插帧数据也是由一帧帧的完整图像数据组成的，图形处理器基于上述工作过程将目标插帧数据完成绘画处理，生成每帧完整图像数据对应的完整画面，每帧完整画面组成目标插帧视频，完整图像数据是指所有分屏在同一时刻显示的每个子画面所合成的完整画面对应的完整图像数据。
S505，按照每个所述分屏的显示位置信息对所述目标插帧视频进行画面切割，并分别在每个所述分屏上显示切割后的所述目标插帧视频。
具体的，由于目标插帧视频包括多帧完整画面，要在显示屏上显示目标插帧视频，并且是在每个分屏上显示每个分屏对应的子画面，则需要将每帧完整画面进行切割，在对完整画面进行切割的过程中，可以基于每个分屏的显示位置信息进行切割，也就是可以按照每个分屏对应的坐标区域对完整画面进行切割，再在每个分屏上显示切割后的完整画面，也就是在每个分屏上对应显示切割后的目标插帧视频。
本申请实施例的方案在执行时，终端配置分屏模式，分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，通过在终端上部署多路数据通道，按照数据通道数据处理效率的高低顺序选择与初始视频数据数量一致的多个数据通道分别传输每一个初始视频数据，可以选择数据处理效率较高的多个数据通道分别对每一个初始视频数据进行插帧处理，可以提高插帧效率，再将插帧处理后的至少两个初始视频数据进行合成处理得到目标插帧数据，并将目标插帧数据进行绘图渲染处理后得到目标插帧视频，实现目标插帧视频与显示器显示帧率的动态匹配，通过插帧功能实现较佳显示效果。
请参见图7，为本申请实施例提供的一种视频插帧装置的结构示意图。该视频插帧装置700可以通过软件、硬件或者两者的结合实现成为服务器的全部或一部分。装置700包括：
插帧模块710，用于分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据；
显示模块720，用于生成所述目标插帧数据对应的目标插帧视频，显示所述目标插帧视频。
可选地，插帧模块710包括：
第一选择单元，用于按照数据通道数据处理效率的高低顺序从多个数据通道中选择与所述至少两个初始视频数据一一对应的至少两个数据通道传输；或
第二选择单元，用于随机从多个数据通道中选择与所述至少两个初始视频数据一一对应的至少两个数据通道传输。
可选的，插帧模块710包括：
第一插帧子单元，用于确定每一个所述初始视频数据中每相邻的两帧图像数据的矢量运动位移，基于所述矢量运动位移生成插帧图像数据；
第二插帧子单元，用于基于所述每相邻的两帧图像数据以及所述插帧图像数据生成每一个所述初始视频数据对应的插帧视频数据。
可选的，第一插帧单元包括：
第三插帧子单元，用于确定每一个所述初始视频数据对应的插帧图像数量；
可选的，第一插帧子单元包括：
第四插帧子单元，用于基于所述矢量运动位移按照所述插帧图像数量生成对应的插帧图像数据。
可选的，插帧模块710还包括：
第五插帧子单元，用于获取每一个所述初始视频数据所在的分屏对应的显示位置信息；
第六插帧子单元，用于将各所述插帧视频数据按照所述显示位置信息进行合成处理，得到目标插帧数据。
可选的的，显示模块720包括：
第一显示单元，用于通过图形处理器对所述目标插帧数据进行绘画处理，生成目标插帧视频；
第二显示单元，用于按照每个所述分屏的显示位置信息对所述目标插帧视频进行画面切割，并分别在每个所述分屏上显示切割后的所述目标插帧视频。
本申请实施例的方案在执行时，终端配置分屏模式，分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据，生成所述目标插帧数据对应的目标插帧视频，显示所述目标插帧视频。本申请实施例中，通过设置多路数据通道，在绘图处理前通过多路数据通道分别对不同帧率的初始视频数据进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据，目标插帧数据经绘图处理渲染后得到目标插帧视频，实现目标插帧视频与显示器显示帧率的动态匹配，通过插帧功能实现较佳显示效果。
请参考图8，其示出了本申请一个示例性实施例提供的电子设备的结构方框图。本申请中的电子设备可以包括一个或多个如下部件：处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(digital signal processing，DSP)、现场可编程门阵列(field－programmable gate array，FPGA)、可编程逻辑阵列(programmable logicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessing unit，CPU)、图像处理器(graphics processing unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(random Access Memory，RAM)，也可以包括只读存储器(read-only memory，ROM)。可选地，该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统，包括基于Android系统深度开发的系统、苹果公司开发的IOS系统，包括基于IOS系统深度开发的系统或其它系统。存储数据区还可以存储电子设备在使用中所创建的数据比如电话本、音视频数据、聊天记录数据等。
参见图9所示，存储器120可分为操作系统空间和用户空间，操作系统即运行于操作系统空间，原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果，操作系统针对不同第三方应用程序为其分配相应的系统资源。然而，同一第三方应用程序中不同应用场景对系统资源的需求也存在差异，比如，在本地资源加载场景下，第三方应用程序对磁盘读取速度的要求较高；在动画渲染场景下，第三方应用程序则对GPU性能的要求较高。而操作系统与第三方应用程序之间相互独立，操作系统往往不能及时感知第三方应用程序当前的应用场景，导致操作系统无法根据第三方应用程序的具体应用场景进行针对性的系统资源适配。
为了使操作系统能够区分第三方应用程序的具体应用场景，需要打通第三方应用程序与操作系统之间的数据通信，使得操作系统能够随时获取第三方应用程序当前的场景信息，进而基于当前场景进行针对性的系统资源适配。
以操作系统为Android系统为例，存储器120中存储的程序和数据如图10所示，存储器120中可存储有Linux内核层320、系统运行时库层340、应用框架层360和应用层380，其中，Linux内核层320、系统运行库层340和应用框架层360属于操作系统空间，应用层380属于用户空间。Linux内核层320为电子设备的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。系统运行库层340通过一些C/C++库来为Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持，OpenGL/ES库提供了3D绘图的支持，Webkit库提供了浏览器内核的支持等。在系统运行时库层340中还提供有安卓运行时库(Android runtime)，它主要提供了一些核心库，能够允许开发者使用Java语言来编写Android应用。应用框架层360提供了构建应用程序时可能用到的各种API，开发者也可以通过使用这些API来构建自己的应用程序，比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序，这些应用程序可以是操作系统自带的原生应用程序，比如联系人程序、短信程序、时钟程序、相机应用等；也可以是第三方开发者所开发的第三方应用程序，比如游戏类应用程序、即时通信程序、相片美化程序、文件处理程序等。
以操作系统为IOS系统为例，存储器120中存储的程序和数据如图11所示，IOS系统包括：核心操作系统层420(Core OS layer)、核心服务层440(Core Services layer)、媒体层460(Media layer)、可触摸层480(Cocoa Touch Layer)。核心操作系统层420包括了操作系统内核、驱动程序以及底层程序框架，这些底层程序框架提供更接近硬件的功能，以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的系统服务和/或程序框架，比如基础(Foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口，如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(AirPlay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架，可触摸层480负责用户在电子设备上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(User Interface，UI)框架、用户界面UIKit框架、地图框架等等。
在图9所示出的框架中，与大部分应用程序有关的框架包括但不限于：核心服务层440中的基础框架和可触摸层480中的UIKit框架。基础框架提供许多基本的对象类和数据类型，为所有应用程序提供最基本的系统服务，和UI无关。而UIKit框架提供的类是基础的UI类库，用于创建基于触摸的用户界面，iOS应用程序可以基于UIKit框架来提供UI，所以它提供了应用程序的基础架构，用于构建用户界面，绘图、处理和用户交互事件，响应手势等等。
其中，在IOS系统中实现第三方应用程序与操作系统数据通信的方式以及原理可参考Android系统，本申请在此不再赘述。
其中，输入装置130用于接收输入的指令或数据，输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据，输出装置140包括但不限于显示设备和扬声器等。在一个示例中，输入装置130和输出装置140可以合设，输入装置130和输出装置140为触摸显示屏，该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作，以及显示各个应用程序的用户界面。触摸显示屏通常设置在电子设备的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合，本申请实施例对此不加以限定。
除此之外，本领域技术人员可以理解，上述附图所示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(wireless fidelity，WiFi)模块、电源、蓝牙模块等部件，在此不再赘述。
在本申请实施例中，各步骤的执行主体可以是上文介绍的电子设备。可选地，各步骤的执行主体为电子设备的操作系统。操作系统可以是安卓系统，也可以是IOS系统，或者其它操作系统，本申请实施例对此不作限定。
本申请实施例的电子设备，其上还可以安装有显示设备，显示设备可以是各种能实现显示功能的设备，例如：阴极射线管显示器(cathode ray tubedisplay，简称CR)、发光二极管显示器(light-emitting diode display，简称LED)、电子墨水屏、液晶显示屏(liquid crystal display，简称LCD)、等离子显示面板(plasma display panel，简称PDP)等。用户可以利用电子设备101上的显示设备，来查看显示的文字、图像、视频等信息。所述电子设备可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality，增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。
在图8所示的电子设备中，其中电子设备可以是一种终端，处理器110可以用于调用存储器120中存储的视频插帧程序，并具体执行以下操作：
分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据；
生成所述目标插帧数据对应的目标插帧视频，显示所述目标插帧视频。
在一个实施例中，所述数据通道数量多于所述初始视频数据来源，所述存储器120在执行所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输时，具体执行以下步骤：
按照数据通道数据处理效率的高低顺序从多个数据通道中选择与所述至少两个初始视频数据一一对应的至少两个数据通道传输；或
随机从多个数据通道中选择与所述至少两个初始视频数据一一对应的至少两个数据通道传输。
在一个实施例中，所述存储器120在执行所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理时，具体执行以下步骤：
确定每一个所述初始视频数据中每相邻的两帧图像数据的矢量运动位移，基于所述矢量运动位移生成插帧图像数据；
基于所述每相邻的两帧图像数据以及所述插帧图像数据生成每一个所述初始视频数据对应的插帧视频数据。
在一个实施例中，所述存储器120在执行所述确定每一个所述初始视频数据中每相邻的两帧图像数据的矢量运动位移之前，还具体执行以下步骤：
确定每一个所述初始视频数据对应的插帧图像数量；
在一个实施例中，所述存储器120在执行所述基于所述矢量运动位移生成插帧图像数据时，具体执行以下步骤：
基于所述矢量运动位移按照所述插帧图像数量生成对应的插帧图像数据。
在一个实施例中，所述存储器120在执行所述将各所述插帧视频数据进行合成处理，得到目标插帧数据时，具体执行以下步骤：
获取每一个所述初始视频数据所在的分屏对应的显示位置信息；
将各所述插帧视频数据按照所述显示位置信息进行合成处理，得到目标插帧数据。
在一个实施例中，所述存储器120在执行所述生成所述目标插帧数据对应的目标插帧视频，并在每个所述分屏上对应显示所述目标插帧视频时，具体执行以下步骤：
通过图形处理器对所述目标插帧数据进行绘画处理，生成目标插帧视频；
按照每个所述分屏的显示位置信息对所述目标插帧视频进行画面切割，并分别在每个所述分屏上显示切割后的所述目标插帧视频。
本领域的技术人员可以清楚地了解到本申请的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列(Field－ProgrammaBLE GateArray，FPGA)、集成电路(Integrated Circuit，IC)等。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
Claims (10)
1.一种视频插帧方法，其特征在于，应用于终端，所述终端配置分屏模式，在分屏模式下所述终端能够同时显示至少两个不同数据源的视频信息，所述方法包括：
分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据；
生成所述目标插帧数据对应的目标插帧视频，显示所述目标插帧视频。
2.根据权利要求1所述的方法，其特征在于，所述数据通道数量多于所述初始视频数据来源，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，包括：
按照数据通道数据处理效率的高低顺序从多个数据通道中选择与所述至少两个初始视频数据一一对应的至少两个数据通道传输；或
随机从多个数据通道中选择与所述至少两个初始视频数据一一对应的至少两个数据通道传输。
3.根据权利要求1所述的方法，其特征在于，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，包括：
确定每一个所述初始视频数据中每相邻的两帧图像数据的矢量运动位移，基于所述矢量运动位移生成插帧图像数据；
基于所述每相邻的两帧图像数据以及所述插帧图像数据生成每一个所述初始视频数据对应的插帧视频数据，各所述插帧视频数据帧率相同。
4.根据权利要求3所述的方法，其特征在于，所述确定每一个所述初始视频数据中每相邻的两帧图像数据的矢量运动位移之前，还包括：
确定每一个所述初始视频数据对应的插帧图像数量；
所述基于所述矢量运动位移生成插帧图像数据，包括：
基于所述矢量运动位移按照所述插帧图像数量生成对应的插帧图像数据。
5.根据权利要求3所述的方法，其特征在于，所述将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据，包括：
获取每一个所述初始视频数据所在的分屏对应的显示位置信息；
将各所述插帧视频数据按照所述显示位置信息进行合成处理，得到目标插帧数据。
6.根据权利要求1所述的方法，其特征在于，所述生成所述目标插帧数据对应的目标插帧视频，显示所述目标插帧视频，包括：
通过图形处理器对所述目标插帧数据进行绘画处理，生成目标插帧视频；
按照每个分屏的显示位置信息对所述目标插帧视频进行画面切割，并分别在每个所述分屏上显示切割后的所述目标插帧视频。
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述数据通道包括移动产业处理器接口MIPI通道，所述数据通道包括接收器、解码器、存储器、编码器、发送器和显示时序生成器。
8.一种视频插帧装置，其特征在于，应用于终端，所述终端配置分屏模式，在分屏模式下所有终端能够同时显示至少两个不同数据源的视频信息，所述方法包括：
插帧模块，用于分屏模式下待显示的至少两个初始视频数据，所述至少两个初始视频数据帧率不同，所述至少两个初始视频数据通过与所述至少两个初始视频数据一一对应的至少两个数据通道传输，所述至少两个初始视频数据中每一个初始视频数据在对应的数据通道中进行插帧处理，将插帧处理后的至少两个初始视频数据进行合成得到目标插帧数据；
显示模块，用于生成所述目标插帧数据对应的目标插帧视频，显示所述目标插帧视频。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～7任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～7任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110364720.6A CN113141537A (zh) | 2021-04-02 | 2021-04-02 | 视频插帧方法、装置、存储介质以及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110364720.6A CN113141537A (zh) | 2021-04-02 | 2021-04-02 | 视频插帧方法、装置、存储介质以及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113141537A true CN113141537A (zh) | 2021-07-20 |
Family
ID=76811638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110364720.6A Pending CN113141537A (zh) | 2021-04-02 | 2021-04-02 | 视频插帧方法、装置、存储介质以及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113141537A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113835657A (zh) * | 2021-09-08 | 2021-12-24 | 维沃移动通信有限公司 | 显示方法及电子设备 |
| CN113852776A (zh) * | 2021-09-08 | 2021-12-28 | 维沃移动通信有限公司 | 插帧方法及电子设备 |
| CN115119014A (zh) * | 2022-06-15 | 2022-09-27 | 马上消费金融股份有限公司 | 视频处理方法、插帧数量模型的训练方法及装置 |
| CN115482789A (zh) * | 2022-09-29 | 2022-12-16 | 广州文石信息科技有限公司 | 基于多通道的画面显示方法、装置、终端设备和存储介质 |
| WO2023178576A1 (zh) * | 2022-03-23 | 2023-09-28 | 康佳集团股份有限公司 | 一种显示控制方法、显示控制装置及智能终端 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8471959B1 (en) * | 2009-09-17 | 2013-06-25 | Pixelworks, Inc. | Multi-channel video frame interpolation |
| US20140056354A1 (en) * | 2012-08-21 | 2014-02-27 | Mediatek Inc. | Video processing apparatus and method |
| CN109640168A (zh) * | 2018-11-27 | 2019-04-16 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备和计算机可读介质 |
| CN111327959A (zh) * | 2020-03-05 | 2020-06-23 | Oppo广东移动通信有限公司 | 视频插帧方法及相关装置 |
| CN112073648A (zh) * | 2020-08-12 | 2020-12-11 | 深圳市捷视飞通科技股份有限公司 | 视频多画面合成方法、装置、计算机设备和存储介质 |
-
2021
- 2021-04-02 CN CN202110364720.6A patent/CN113141537A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8471959B1 (en) * | 2009-09-17 | 2013-06-25 | Pixelworks, Inc. | Multi-channel video frame interpolation |
| US20140056354A1 (en) * | 2012-08-21 | 2014-02-27 | Mediatek Inc. | Video processing apparatus and method |
| CN109640168A (zh) * | 2018-11-27 | 2019-04-16 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备和计算机可读介质 |
| CN111327959A (zh) * | 2020-03-05 | 2020-06-23 | Oppo广东移动通信有限公司 | 视频插帧方法及相关装置 |
| CN112073648A (zh) * | 2020-08-12 | 2020-12-11 | 深圳市捷视飞通科技股份有限公司 | 视频多画面合成方法、装置、计算机设备和存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113835657A (zh) * | 2021-09-08 | 2021-12-24 | 维沃移动通信有限公司 | 显示方法及电子设备 |
| CN113852776A (zh) * | 2021-09-08 | 2021-12-28 | 维沃移动通信有限公司 | 插帧方法及电子设备 |
| CN113852776B (zh) * | 2021-09-08 | 2024-06-04 | 维沃移动通信有限公司 | 插帧方法及电子设备 |
| WO2023178576A1 (zh) * | 2022-03-23 | 2023-09-28 | 康佳集团股份有限公司 | 一种显示控制方法、显示控制装置及智能终端 |
| CN115119014A (zh) * | 2022-06-15 | 2022-09-27 | 马上消费金融股份有限公司 | 视频处理方法、插帧数量模型的训练方法及装置 |
| CN115119014B (zh) * | 2022-06-15 | 2024-01-30 | 马上消费金融股份有限公司 | 视频处理方法、插帧数量模型的训练方法及装置 |
| CN115482789A (zh) * | 2022-09-29 | 2022-12-16 | 广州文石信息科技有限公司 | 基于多通道的画面显示方法、装置、终端设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113141537A (zh) | 视频插帧方法、装置、存储介质以及终端 | |
| CN110209501B (zh) | 图形处理器的频率调整方法、装置、终端及存储介质 | |
| CN108279966B (zh) | 网页截图方法、装置、终端及存储介质 | |
| CN110989878B (zh) | 小程序中的动画展示方法、装置、电子设备及存储介质 | |
| CN111459586B (zh) | 远程协助方法、装置、存储介质及终端 | |
| EP4050561A1 (en) | Augmented reality-based display method, device, and storage medium | |
| CN112053449A (zh) | 基于增强现实的显示方法、设备及存储介质 | |
| CN111225138A (zh) | 摄像头的控制方法、装置、存储介质及终端 | |
| CN111127469A (zh) | 缩略图显示方法、装置、存储介质以及终端 | |
| CN111866372A (zh) | 自拍方法、装置、存储介质以及终端 | |
| CN111124668A (zh) | 内存释放方法、装置、存储介质及终端 | |
| CN112218130A (zh) | 互动视频的控制方法、装置、存储介质以及终端 | |
| CN111913614B (zh) | 多画面显示控制方法、装置、存储介质及显示器 | |
| CN114285936A (zh) | 屏幕亮度调整方法、装置、存储介质以及终端 | |
| CN113490028A (zh) | 视频处理方法、装置、存储介质以及终端 | |
| CN113419650A (zh) | 一种数据移动方法、装置、存储介质及电子设备 | |
| CN113825022B (zh) | 一种播放控制状态检测方法、装置、存储介质及电子设备 | |
| CN111949150B (zh) | 控制外设切换方法、装置、存储介质及电子设备 | |
| CN113114849A (zh) | 闹钟提醒方法、装置、存储介质以及终端 | |
| CN113595662A (zh) | 信号提示方法、装置、终端设备及存储介质 | |
| CN110609599A (zh) | 双屏终端的显示方法、装置、存储介质及终端 | |
| CN111538997A (zh) | 图像处理方法、装置、存储介质以及终端 | |
| CN113034653A (zh) | 一种动画渲染方法及装置 | |
| US9705964B2 (en) | Rendering multiple remote graphics applications | |
| CN115314588B (zh) | 背景同步方法、装置、终端、设备、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210720 |