CN110392282B - 一种视频插帧的方法、计算机存储介质及服务器 - Google Patents
一种视频插帧的方法、计算机存储介质及服务器 Download PDFInfo
- Publication number
- CN110392282B CN110392282B CN201810348228.8A CN201810348228A CN110392282B CN 110392282 B CN110392282 B CN 110392282B CN 201810348228 A CN201810348228 A CN 201810348228A CN 110392282 B CN110392282 B CN 110392282B
- Authority
- CN
- China
- Prior art keywords
- frame
- pixel point
- optical flow
- candidate
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012966 insertion method Methods 0.000 title abstract description 3
- 230000003287 optical effect Effects 0.000 claims abstract description 355
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000006978 adaptation Effects 0.000 claims description 72
- 238000004590 computer program Methods 0.000 claims description 39
- 230000035515 penetration Effects 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 14
- 238000009432 framing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
本申请实施方式公开了一种视频插帧的方法、计算机存储介质及服务器，其中，所述方法包括：在视频中确定第一帧和第二帧；其中，所述第一帧和所述第二帧分别具备第一光流场数据和第二光流场数据；针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点；基于所述第一光流场数据和所述第二光流场数据，在所述视频中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点；根据所述候选像素点的像素值确定所述目标像素点的像素值。本申请提供的技术方案，能够提高视频插帧的效果。
Description
技术领域
本申请涉及互联网技术领域，特别涉及一种视频插帧的方法、计算机存储介质及服务器。
背景技术
随着高清数字电视和高端多媒体信息系统的迅速发展，用户对于视觉体验的要求越来越高，现有的视频节目源已不能满足人们的视觉需求，如何提高视频帧率以满足人们的视觉体验，得到了研究者的广泛关注。
与此同时，尽管目前视频传输中的编解码技术已经可以获得较高的压缩比，然而为了适应一些网络带宽有限的应用，通常将视频信号的时空分辨率降低使数据量更少，在时域中可以通过编码端跳帧来实现。这样，在解码端的低帧率视频可能会引起运动不连续、图像质量的退化，尤其是在快速运动和复杂场景中更为明显。为此，可以在解码端采用视频插帧，即帧率上转换(FRUC，Frame Rate Up-convers ion)技术来恢复原始帧率，以提高视频图像的主观视觉效果。此外，该技术也可用于不同帧率视频格式之间的转换。通过在相邻帧之间插入中间帧的方式，将低帧率的视频提升至高帧率，实现不同帧率之间的转换。
目前视频插帧的方法通常是直接利用前后帧的各种组合内插出中间帧，例如帧重复法和帧平均法等。然而当视频场景幅度运动较大时，采用此类方法插值得到的视频效果较差，往往出现抖动或者严重的模糊现象。
发明内容
本申请实施方式的目的是提供一种视频插帧的方法、计算机存储介质及服务器，能够提高视频插帧的效果。
为实现上述目的，本申请实施方式提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现以下步骤：在视频中确定第一帧和第二帧；其中，所述第一帧和所述第二帧分别具备第一光流场数据和第二光流场数据；针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点；基于所述第一光流场数据和所述第二光流场数据，在所述视频中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点；根据所述候选像素点的像素值确定所述目标像素点的像素值。
为实现上述目的，本申请实施方式还提供一种服务器，所述服务器包括存储器和处理器，所述存储器中存储计算机程序，所述计算机程序被所述处理器执行时，实现以下步骤：在视频中确定第一帧和第二帧；其中，所述第一帧和所述第二帧分别具备第一光流场数据和第二光流场数据；针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点；基于所述第一光流场数据和所述第二光流场数据，在所述视频中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点；根据所述候选像素点的像素值确定所述目标像素点的像素值。
为实现上述目的，本申请实施方式还提供一种视频插帧的方法，所述方法包括：在视频中确定第一帧和第二帧；其中，所述第一帧和所述第二帧分别具备第一光流场数据和第二光流场数据；针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点；基于所述第一光流场数据和所述第二光流场数据，在所述视频中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点；根据所述候选像素点的像素值确定所述目标像素点的像素值。
由上可见，本申请可以针对视频中的第一帧和第二帧之间待插入的目标帧，先从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点，再基于所述第一帧具备的光流场数据和所述第二帧具备的光流场数据，在所述视频中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点。那么，所确定的候选像素点是与视频场景的运动相关联的。这样，即使在视频场景运动幅度较大的情况下，本申请的技术方案还是可以保证所插入的目标帧相对所述第一帧或所述第二帧的场景变化趋势，与所述第二帧相对于所述第一帧的场景变化趋势相一致，避免出现抖动或者严重的模糊现象，从而可以提高视频插帧的效果。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施方式中视频插帧的方法的一种流程图；
图2是本申请实施方式中视频插帧的方法的应用场景的示意图；
图3是本申请实施方式中服务器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。
本申请实施方式提供一种视频插帧的方法，所述视频插帧的方法可以应用于客户端和服务器的系统架构中。所述服务器可以是存储视频数据的设备。具体地，所述服务器可以是能够提供视频服务的网站的后台业务服务器。所述网站例如可以是爱奇艺、搜狐视频、Acfun等。在本实施方式中，所述服务器可以为一个具有数据运算、存储功能以及网络交互功能的电子设备；也可以为运行于该电子设备中，为数据处理、存储和网络交互提供支持的软件。在本实施方式中并不具体限定所述服务器的数量。所述服务器可以为一个服务器，还可以为几个服务器，或者，若干服务器形成的服务器集群。
在本实施方式中，所述客户端可以是用于播放视频插帧后的视频的电子设备。具体地，所述客户端例如可以是台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、具有网络访问功能的电视机等。或者，所述客户端也可以为能够运行于上述电子设备中的软件。具体的，所述客户端可以为电子设备中的浏览器，所述浏览器中可以加载视频网站平台提供的访问入口。所述视频网站平台例如可以是爱奇艺、搜狐视频、Acfun等，所述访问入口可以是上述网站平台的首页。所述客户端还可以是视频网站平台提供的在智能终端中运行的应用。
本申请实施方式提供一种视频插帧的方法，所述视频插帧的方法可以应用于上述的服务器中。请参阅图1，所述方法可以包括以下步骤。
S11：在视频中确定第一帧和第二帧；其中，所述第一帧和所述第二帧分别具备第一光流场数据和第二光流场数据。
在本实施方式中，所述视频可以是用户当前观看的视频，还可以是存储在所述服务器中视频数据表征的视频。在本实施方式中，所述视频可以是待插帧的视频。
在本实施方式中，可以在所述视频中确定第一帧和第二帧。其中，所述第一帧和所述第二帧可以是所述视频中相邻的两帧，也可以是所述视频中不相邻的两帧，即所述第一帧和所述第二帧之间相隔指定数量的帧。所述第一帧可以在所述第二帧之前，也可以在所述第二帧之后。
在本实施方式中，所述第一帧和所述第二帧都具备对应的光流场数据，分别为第一光流场数据和第二光流场数据。具体地，所述第一光流场数据中可以包括所述第一帧中每个像素点的光流数据，所述第二光流场数据中可以包括所述第二帧中每个像素点的光流数据。所述光流数据中可以包括像素点的正向光流的方向和正向光流值，以及反向光流的方向和反向光流值。
S13：针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点。
在本实施方式中，所述待插入的目标帧分别与所述第一帧、所述第二帧之间相距对应的时差量。所述时差量是指所述视频中两帧分别所处的时刻之间的时间差。例如，可以在分别与所述第一帧、所述第二帧之间相距相同时差量的位置处，插入所述目标帧。或者，可以在分别与所述第一帧、所述第二帧之间相距三分之一指定时差量和三分之二指定时差量的位置处，插入所述目标帧。其中，所述指定时差量用于表征所述第一帧与所述第二帧之间的时差量。
在本实施方式中，所述目标帧中可以包括多个目标像素点。在确定所述目标帧中各个目标像素点的像素值之前，可以先从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点，以便在所述视频中有效锁定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点，即所述目标像素点对应的候选像素点。具体地，针对所述目标像素点在所述目标帧中所处的目标像素坐标，可以将所述第一帧和所述第二帧中所述目标像素坐标位置处的像素点分别作为所述第一参考像素点和所述第二参考像素点。例如，如图2所示，可以作一条经过所述目标像素点的直线，该直线分别与所述第一帧、所述第二帧和所述目标帧垂直，且分别与所述第一帧和所述第二帧相交，交点分别为所述第一参考像素点1和所述第二参考像素点2。其中，图2中的黑色小方块表示所述目标像素点。
S15：基于所述第一光流场数据和所述第二光流场数据，在所述视频中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点。
在本实施方式中，在从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点之后，可以基于所述第一光流场数据和所述第二光流场数据，在所述视频中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点。具体地，例如，可以根据所述第一光流场数据中所述第一参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第一帧相邻的帧中确定所述第一参考像素点对应的候选像素点。还可以根据所述第二光流场数据中所述第二参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第二帧相邻的帧中确定所述第二参考像素点对应的候选像素点。这样，所确定的候选像素点是与视频场景的运动相关联的。
在本实施方式中，根据所述第一光流场数据中所述第一参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第一帧相邻的帧中确定所述第一参考像素点对应的候选像素点，具体可以包括以下步骤：
步骤S151：根据所述第一参考像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧中确定第一扩展参考像素点，并根据所述目标帧与所述第一帧、所述第二帧之间的时差量，在所述第二帧中确定所述第一扩展参考像素点对应的候选像素点；其中，所述第一帧在所述第二帧之前；
步骤S153：根据所述第一扩展参考像素点对应的候选像素点与所述第一扩展参考像素点的相对位置，在所述第一帧中确定所述第一参考像素点对应的候选像素点；
步骤S155：根据所述第一参考像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧之前的相邻帧中确定第二扩展参考像素点，并根据所述相对位置，在所述第一帧之前的相邻帧中确定所述第二扩展参考像素点对应的候选像素点。其中，所述第一帧之前的相邻帧用于表征所述视频中在所述第一帧之前、且与所述第一帧相邻的帧。例如，可以从如图2所示的第1帧和第2帧，以及第1帧之前的相邻帧和第2帧之后的相邻帧中确定所述目标像素点相对应的多个候选像素点。其中，图2中虚线表示所述目标帧，图2中实线表示第1帧和第2帧，以及在第1帧之前的帧和在第2帧之后的帧，所述目标帧与第1帧、第2帧之间的时差分别为前时差和后时差，所述前时差和所述后时差相等。在第1帧和在第2帧中分别确定参考像素点1和参考像素点2以后，可以先从第1帧的光流场数据中获取参考像素点1的光流数据，并根据参考像素点1的光流数据中的正向光流的方向和正向光流值，在第2帧中确定与参考像素点1对应的扩展参考像素点1a。由于所述目标像素点分别与参考像素点1、参考像素点2之间的时差量相等，可以在第2帧中确定扩展参考像素点1a与参考像素点2连线的中间位置处的像素点，并将该像素点作为候选像素点11，以及获取候选像素点11相对扩展参考像素点1a的方向和距离。这样，根据候选像素点11相对扩展参考像素点1a的方向和距离，还可以在第1帧中的参考像素点1的下方确定指定位置处的像素点，并将该像素点作为候选像素点12，其中，候选像素点12相对参考像素点1的方向、距离分别与候选像素点11相对扩展参考像素点1a的方向、距离相同。
不仅如此，还可以根据参考像素点1的光流数据中的反向光流的方向和反向光流值，在第1帧之前的相邻帧中确定与参考像素点1对应的扩展参考像素点1b，同样地，可以根据候选像素点11相对扩展参考像素点1a的方向和距离，在第1帧之前的相邻帧中的扩展参考像素点1b的下方确定指定位置处的像素点，并将该像素点作为候选像素点13，其中，候选像素点13相对扩展参考像素点1b的方向、距离分别与候选像素点11相对扩展参考像素点1a的方向、距离相同。
在本实施方式中，根据所述第二光流场数据中所述第二参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第二帧相邻的帧中确定所述第二参考像素点对应的候选像素点，具体可以包括以下步骤：
步骤S152：根据所述第二参考像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧中确定第三扩展参考像素点，并根据所述目标帧与所述第一帧、所述第二帧之间的时差量，在所述第一帧中确定所述第三扩展参考像素点对应的候选像素点；其中，所述第一帧在所述第二帧之前；
步骤S154：根据所述第三扩展参考像素点对应的候选像素点与所述第三扩展参考像素点的相对位置，在所述第二帧中确定所述第二参考像素点对应的候选像素点；
步骤S156：根据所述第二参考像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧之后的相邻帧中确定第四扩展参考像素点，并根据所述相对位置，在所述第二帧之后的相邻帧中确定所述第四扩展参考像素点对应的候选像素点。其中，所述第二帧之后的相邻帧用于表征所述视频中在所述第二帧之后、且与所述第二帧相邻的帧。例如，如图2所示，类似地，在第1帧和在第2帧中分别确定参考像素点1和参考像素点2以后，可以先从第2帧的光流场数据中获取参考像素点2的光流数据，并根据参考像素点2的光流数据中的正向光流的方向和正向光流值，在第1帧中确定与参考像素点2对应的扩展参考像素点2a。由于所述目标像素点分别与参考像素点1、参考像素点2之间的时差量相等，可以在第1帧中确定扩展参考像素点2a与参考像素点1连线的中间位置处的像素点，并将该像素点作为候选像素点21，以及获取候选像素点21相对扩展参考像素点2a的方向和距离。这样，根据候选像素点21相对扩展参考像素点2a的方向和距离，还可以在第2帧中的参考像素点2的上方确定指定位置处的像素点，并将该像素点作为候选像素点22，其中，候选像素点22相对参考像素点2的方向、距离分别与候选像素点21相对扩展参考像素点2a的方向、距离相同。
不仅如此，还可以根据参考像素点2的光流数据中的反向光流的方向和反向光流值，在第2帧之后的相邻帧中确定与参考像素点2对应的扩展参考像素点2b，同样地，可以根据候选像素点21相对扩展参考像素点2a的方向和距离，可以在第2帧之后的相邻帧中的扩展参考像素点2b的下方确定指定位置处的像素点，并将该像素点作为候选像素点23，其中，候选像素点23相对扩展参考像素点2b的方向、距离分别与候选像素点21相对扩展参考像素点2a的方向、距离相同。
S17：根据所述候选像素点的像素值确定所述目标像素点的像素值。
在本实施方式中，在确定所述候选像素点以后，可以根据所述候选像素点的像素值确定所述目标像素点的像素值，具体可以包括以下步骤：
步骤S171：确定所述候选像素点对应的适配数据；其中，所述适配数据用于表征将所述候选像素点作为所述目标像素点的适配程度；
步骤S173：根据所述候选像素点对应的适配数据，确定所述候选像素点的权重值；
步骤S175：将所述候选像素点的权重值与像素值进行叠加，并将叠加结果作为所述目标像素点的像素值。
在本实施方式中，所述适配数据中可以包括光流相似度、区域像素匹配度和光流穿透度中至少一个适配数据。其中，所述适配数据用于表征将所述候选像素点作为所述目标像素点的适配程度。
在本实施方式中，在所述适配数据中包括所述光流相似度的情况下，确定所述候选像素点的适配数据，可以包括，可以计算第一候选像素点与所述第一扩展参考像素点之间的光流相似度。其中，所述第一候选像素点用于表征所述第一扩展参考像素点对应的候选像素点。可以计算第二候选像素点与所述第一参考像素点之间的光流相似度。其中，所述第二候选像素点用于表征在所述第一帧中确定的所述第一参考像素点对应的候选像素点。可以计算第三候选像素点与所述第二扩展参考像素点之间的光流相似度。其中，所述第三候选像素点用于表征在所述第一帧之前的相邻帧中确定的所述第二扩展参考像素点对应的候选像素点。可以计算第四候选像素点与所述第三扩展参考像素点之间的光流相似度。其中，所述第四候选像素点用于表征所述第三扩展参考像素点对应的候选像素点。可以计算第五候选像素点与所述第二参考像素点之间的光流相似度。其中，所述第五候选像素点用于表征所述第二参考像素点对应的候选像素点。可以计算第六候选像素点与所述第四扩展参考像素点之间的光流相似度。其中，所述第六候选像素点用于表征所述第四扩展参考像素点对应的候选像素点。可以将所述光流相似度作为所述适配数据。
在本实施方式中，在所述适配数据中包括所述区域像素匹配度的情况下，确定所述第一候选像素点的适配数据，可以包括，可以根据所述第二帧的第二光流场数据中所述第一候选像素点的光流数据，分别在所述第一帧、所述第一帧之前的相邻帧和所述第二帧之后的相邻帧中确定所述第一候选像素点对应的多个对比像素点。具体地，可以根据所述第一候选像素点的光流数据中的反向光流的方向和反向光流值，分别在所述第一帧、所述第一帧之前的相邻帧中确定所述第一候选像素点对应的多个对比像素点；还可以根据所述第一候选像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧之后的相邻帧中确定所述第一候选像素点对应的对比像素点。可以计算所述第一候选像素点与所述对比像素点之间的区域像素匹配度，并将所述第一候选像素点最大的区域像素匹配度作为所述第一候选像素点的适配数据。
类似地，确定所述第二候选像素点的适配数据，可以包括，可以根据所述第一帧的第一光流场数据中所述第二候选像素点的光流数据，分别在所述第一帧之前的相邻帧、所述第二帧和所述第二帧之后的相邻帧中确定所述第二候选像素点对应的多个对比像素点。具体地，可以根据所述第二候选像素点的光流数据中的正向光流的方向和正向光流值，分别在所述第二帧和所述第二帧之后的相邻帧中确定所述第一候选像素点对应的多个对比像素点；还可以根据所述第二候选像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧之前的相邻帧中确定所述第一候选像素点对应的对比像素点。可以计算所述第二候选像素点与所述对比像素点之间的区域像素匹配度，并将所述第二候选像素点对应的最大的区域像素匹配度作为所述第二候选像素点的适配数据。
类似地，确定所述第三候选像素点的适配数据，可以包括，可以根据所述第一帧之前的相邻帧具备的光流场数据中所述第三候选像素点的光流数据，分别在所述第三候选像素点所在的帧之前的相邻帧、所述第一帧、所述第二帧和所述第二帧之后的相邻帧中确定所述第二候选像素点对应的多个对比像素点。具体地，可以根据所述第三候选像素点的光流数据中的正向光流的方向和正向光流值，分别在所述第一帧、所述第二帧和所述第二帧之后的相邻帧中确定所述第二候选像素点对应的多个对比像素点。还可以根据所述第三候选像素点的光流数据中的反向光流的方向和反向光流值，在所述第三候选像素点所在的帧之前的相邻帧中确定所述第二候选像素点对应的对比像素点。可以计算所述第三候选像素点与所述对比像素点之间的区域像素匹配度，并将所述第三候选像素点对应的最大的区域像素匹配度作为所述第三候选像素点的适配数据。
类似地，确定所述第四候选像素点的适配数据，可以包括，可以根据所述第一帧的第一光流场数据中所述第四候选像素点的光流数据，分别在所述第一帧之前的相邻帧、所述第二帧和所述第二帧之后的相邻帧中确定所述第四候选像素点对应的多个对比像素点。具体地，可以根据所述第四候选像素点的光流数据中的正向光流的方向和正向光流值，分别在所述第二帧和所述第二帧之后的相邻帧中确定所述第四候选像素点对应的多个对比像素点；还可以根据所述第四候选像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧之前的相邻帧中确定所述第四候选像素点对应的对比像素点。可以计算所述第四候选像素点与所述对比像素点之间的区域像素匹配度，并将所述第四候选像素点最大的区域像素匹配度作为所述第四候选像素点的适配数据。
类似地，确定所述第五候选像素点的适配数据，可以包括，可以根据所述第二帧的第二光流场数据中所述第五候选像素点的光流数据，分别在所述第一帧之前的相邻帧、所述第一帧和所述第二帧之后的相邻帧中确定所述第五候选像素点对应的多个对比像素点。具体地，可以根据所述第五候选像素点的光流数据中的反向光流的方向和反向光流值，分别在所述第一帧之前的相邻帧和所述第一帧中确定所述第五候选像素点对应的多个对比像素点；还可以根据所述第五候选像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧之后的相邻帧中确定所述第五候选像素点对应的对比像素点。可以计算所述第五候选像素点与所述对比像素点之间的区域像素匹配度，并将所述第五候选像素点对应的最大的区域像素匹配度作为所述第五候选像素点的适配数据。
类似地，确定所述第六候选像素点的适配数据，可以包括，可以根据所述第二帧之后的相邻帧具备的光流场数据中所述第六候选像素点的光流数据，分别在所述第一帧之前的相邻帧、所述第一帧、所述第二帧和所述第六候选像素点所在的帧之后的相邻帧中确定所述第二候选像素点对应的多个对比像素点。具体地，可以根据所述第六候选像素点的光流数据中的反向光流的方向和反向光流值，分别在所述第一帧之前的相邻帧、所述第一帧和所述第二帧中确定所述第六候选像素点对应的多个对比像素点。还可以根据所述第六候选像素点的光流数据中的正向光流的方向和正向光流值，在所述第六候选像素点所在的帧之后的相邻帧中确定所述第六候选像素点对应的对比像素点。可以计算所述第六候选像素点与所述对比像素点之间的区域像素匹配度，并将所述第六候选像素点对应的最大的区域像素匹配度作为所述第六候选像素点的适配数据。
在本实施方式中，在所述适配数据中包括所述光流穿透度的情况下，确定所述第一候选像素点的适配数据，可以包括，可以根据所述第二帧的第二光流场数据中所述第一候选像素点的光流数据，分别在所述第一帧、所述第一帧之前的相邻帧和所述第二帧之后的相邻帧中确定所述第一候选像素点对应的多个对比像素点。具体地，可以根据所述第一候选像素点的光流数据中的反向光流的方向和反向光流值，分别在所述第一帧和所述第一帧之前的相邻帧中确定所述第一候选像素点对应的多个对比像素点；还可以根据所述第一候选像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧之后的相邻帧中确定所述第一候选像素点对应的对比像素点。可以计算所述第一候选像素点与所述对比像素点之间的光流相似度，并将所述第一候选像素点最小的光流相似度作为所述第一候选像素点的光流穿透度，并可以将所述第一候选像素点的光流穿透度作为所述第一候选像素点的适配数据。
类似地，确定所述第二候选像素点的适配数据，可以包括，可以根据所述第一帧的第一光流场数据中所述第二候选像素点的光流数据，分别在所述第一帧之前的相邻帧、所述第二帧和所述第二帧之后的相邻帧中确定所述第二候选像素点对应的多个对比像素点。具体地，可以根据所述第二候选像素点的光流数据中的正向光流的方向和正向光流值，分别在所述第二帧和所述第二帧之后的相邻帧中确定所述第一候选像素点对应的多个对比像素点；还可以根据所述第二候选像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧之前的相邻帧中确定所述第一候选像素点对应的对比像素点。可以计算所述第二候选像素点与所述对比像素点之间的光流相似度，并将所述第二候选像素点对应的最小的光流相似度作为所述第二候选像素点的光流穿透度，并可以将所述第二候选像素点的光流穿透度作为所述第二候选像素点的适配数据。
类似地，确定所述第三候选像素点的适配数据，可以包括，可以根据所述第一帧之前的相邻帧具备的光流场数据中所述第三候选像素点的光流数据，分别在所述第三候选像素点所在的帧之前的相邻帧、所述第一帧、所述第二帧和所述第二帧之后的相邻帧中确定所述第二候选像素点对应的多个对比像素点。具体地，可以根据所述第三候选像素点的光流数据中的正向光流的方向和正向光流值，分别在所述第一帧、所述第二帧和所述第二帧之后的相邻帧中确定所述第二候选像素点对应的多个对比像素点。还可以根据所述第三候选像素点的光流数据中的反向光流的方向和反向光流值，在所述第三候选像素点所在的帧之前的相邻帧中确定所述第二候选像素点对应的对比像素点。可以计算所述第三候选像素点与所述对比像素点之间的光流相似度，并将所述第三候选像素点对应的最小的光流相似度作为所述第三候选像素点的光流穿透度，并可以将所述第三候选像素点的光流穿透度作为所述第三候选像素点的适配数据。
类似地，确定所述第四候选像素点的适配数据，可以包括，可以根据所述第一帧的第一光流场数据中所述第四候选像素点的光流数据，分别在所述第一帧之前的相邻帧、所述第二帧和所述第二帧之后的相邻帧中确定所述第四候选像素点对应的多个对比像素点。具体地，可以根据所述第四候选像素点的光流数据中的正向光流的方向和正向光流值，分别在所述第二帧和所述第二帧之后的相邻帧中确定所述第四候选像素点对应的多个对比像素点；还可以根据所述第四候选像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧之前的相邻帧中确定所述第四候选像素点对应的对比像素点。可以计算所述第四候选像素点与所述对比像素点之间的光流相似度，并将所述第四候选像素点对应的最小的光流相似度作为所述第四候选像素点的光流穿透度，并可以将所述第四候选像素点的光流穿透度作为所述第四候选像素点的适配数据。
类似地，确定所述第五候选像素点的适配数据，可以包括，可以根据所述第二帧的第二光流场数据中所述第五候选像素点的光流数据，分别在所述第一帧之前的相邻帧、所述第一帧和所述第二帧之后的相邻帧中确定所述第五候选像素点对应的多个对比像素点。具体地，可以根据所述第五候选像素点的光流数据中的反向光流的方向和反向光流值，分别在所述第一帧之前的相邻帧和所述第一帧中确定所述第五候选像素点对应的多个对比像素点；还可以根据所述第五候选像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧之后的相邻帧中确定所述第五候选像素点对应的对比像素点。可以计算所述第五候选像素点与所述对比像素点之间的光流相似度，并将所述第五候选像素点对应的最小的光流相似度作为所述第五候选像素点的光流穿透度，并可以将所述第五候选像素点的光流穿透度作为所述第五候选像素点的适配数据。
类似地，确定所述第六候选像素点的适配数据，可以包括，可以根据所述第二帧之后的相邻帧具备的光流场数据中所述第六候选像素点的光流数据，分别在所述第一帧之前的相邻帧、所述第一帧、所述第二帧和所述第六候选像素点所在的帧之后的相邻帧中确定所述第二候选像素点对应的多个对比像素点。具体地，可以根据所述第六候选像素点的光流数据中的反向光流的方向和反向光流值，分别在所述第一帧之前的相邻帧、所述第一帧和所述第二帧中确定所述第六候选像素点对应的多个对比像素点。还可以根据所述第六候选像素点的光流数据中的正向光流的方向和正向光流值，在所述第六候选像素点所在的帧之后的相邻帧中确定所述第六候选像素点对应的对比像素点。可以计算所述第六候选像素点与所述对比像素点之间的光流相似度，并将所述第六候选像素点对应的最小的光流相似度作为所述第六候选像素点的光流穿透度，并可以将所述第六候选像素点的光流穿透度作为所述第六候选像素点的适配数据。
在本实施方式中，可以根据所述候选像素点对应的适配数据，确定所述候选像素点的权重值。具体地，在所述适配数据仅包括光流相似度、区域像素匹配度和光流穿透度中一个适配数据的情况下，可以将各个所述候选像素点对应的适配数据分别除以各个所述候选像素点对应的适配数据之和，并将计算结果分别作为各个所述候选像素点的权重值。在所述适配数据包括光流相似度、区域像素匹配度和光流穿透度中至少两个适配数据的情况下，例如，在所述适配数据包括光流相似度、区域像素匹配度和光流穿透度的情况下，可以分别计算所述候选像素点对应的光流相似度比例值、区域像素匹配度比例值和光流穿透度比例值；其中，所述光流相似度比例值用于表征所述候选像素点对应的光流相似度除以各个所述候选像素点对应的光流相似度之和的计算结果；所述区域像素匹配度比例值用于表征所述候选像素点对应的最大区域像素匹配度除以各个所述候选像素点对应的最大区域像素匹配度之和的计算结果；所述光流穿透度比例值用于表征所述候选像素点对应的光流穿透度除以各个所述候选像素点对应的光流穿透度之和的计算结果；并将所述候选像素点对应的光流相似度比例值、区域像素匹配度比例值和光流穿透度比例值之和，除以各个所述候选像素点对应的光流相似度比例值、区域像素匹配度比例值和光流穿透度比例值之和，并计算结果作为所述候选像素点的权重值。
在本实施方式中，可以将各个所述候选像素点的权重值与像素值的乘积进行叠加，并将叠加结果作为所述目标像素点的像素值。其中，所述像素值用于表征像素点的颜色属性值。例如，所述像素值具体可以是像素点的灰度值，RGB颜色组合值或HSL颜色组合值等颜色属性值。
在一个具体应用场景中，可以在用户待观看的视频中确定相邻的前帧和后帧，即所述第一帧和所述第二帧。可以在相邻的前帧和后帧之间插入所述目标帧，其中，目标帧与前帧、后帧之间的时差分别为前时差和后时差，具体地，例如，可以在如图2所示的相邻的第1帧(前帧)和第2帧(后帧)之间插入所述目标帧，其中，图2中虚线表示所述目标帧，图2中实线表示第1帧(前帧)和第2帧(后帧)，以及在第1帧之前的帧和在第2帧之后的帧。所述前时差和所述后时差相等。
在插入所述目标帧过程中，可以分别先从第1帧和第2帧，以及在第1帧之前的相邻帧和在第2帧之后的相邻帧中确定与所述目标帧中的目标像素点相对应的多个候选像素点。其中，例如，可以从如图2所示的第1帧和第2帧，以及第1帧之前的相邻帧和第2帧之后的相邻帧中确定所述目标像素点相对应的多个候选像素点。其中，图2中的黑色小方块表示所述目标像素点。在确定多个候选像素点的过程中，可以先分别在第1帧中确定与所述目标像素点在所述目标帧中的相同位置处的参考像素点1，以及在第2帧中确定与所述目标像素点在目标帧中的相同位置处的参考像素点2，并从第1帧的光流场数据中获取参考像素点1的光流数据，并根据参考像素点1的光流数据中的正向光流的方向和正向光流值，在第2帧中确定与参考像素点1对应的扩展参考像素点1a。由于所述目标像素点分别与参考像素点1、参考像素点2之间的时差量相等，可以在第2帧中确定扩展参考像素点1a与参考像素点2连线的中间位置处的像素点，并将该像素点作为候选像素点11，以及获取候选像素点11相对扩展参考像素点1a的方向和距离。这样，根据候选像素点11相对扩展参考像素点1a的方向和距离，还可以在第1帧中的参考像素点1的下方确定指定位置处的像素点，并将该像素点作为候选像素点12，其中，候选像素点12相对参考像素点1的方向、距离分别与候选像素点11相对扩展参考像素点1a的方向、距离相同。
不仅如此，还可以根据参考像素点1的光流数据中的反向光流的方向和反向光流值，在第1帧之前的相邻帧中确定与参考像素点1对应的扩展参考像素点1b，同样地，可以根据候选像素点11相对扩展参考像素点1a的方向和距离，在第1帧之前的相邻帧中的扩展参考像素点1b的下方确定指定位置处的像素点，并将该像素点作为候选像素点13，其中，候选像素点13相对扩展参考像素点1b的方向、距离分别与候选像素点11相对扩展参考像素点1a的方向、距离相同。
类似地，可以从第2帧的光流场数据中获取参考像素点2的光流数据，并根据参考像素点2的光流数据中的正向光流的方向和正向光流值，在第1帧中确定与参考像素点2对应的扩展参考像素点2a。由于所述目标像素点分别与参考像素点1、参考像素点2之间的时差量相等，可以在第1帧中确定扩展参考像素点2a与参考像素点1连线的中间位置处的像素点，并将该像素点作为候选像素点21，以及获取候选像素点21相对扩展参考像素点2a的方向和距离。这样，根据候选像素点21相对扩展参考像素点2a的方向和距离，还可以在第2帧中的参考像素点2的上方确定指定位置处的像素点，并将该像素点作为候选像素点22，其中，候选像素点22相对参考像素点2的方向、距离分别与候选像素点21相对扩展参考像素点2a的方向、距离相同。
不仅如此，还可以根据参考像素点2的光流数据中的反向光流的方向和反向光流值，在第2帧之后的相邻帧中确定与参考像素点2对应的扩展参考像素点2b，同样地，可以根据候选像素点21相对扩展参考像素点2a的方向和距离，可以在第2帧之后的相邻帧中的扩展参考像素点2b的下方确定指定位置处的像素点，并将该像素点作为候选像素点23，其中，候选像素点23相对扩展参考像素点2b的方向、距离分别与候选像素点21相对扩展参考像素点2a的方向、距离相同。
在确定与所述目标像素点相对应的候选像素点11、12、13，以及21、22、23后，可以分别计算各个候选像素点对应的光流相似度、区域像素匹配度和光流穿透度。并根据各个候选像素点对应的光流相似度、区域像素匹配度和光流穿透度，分别计算各个候选像素点的权重值，并将各个候选像素点的像素值与对应的权重值的乘积进行叠加后，得到所述目标像素点的像素值。
在本申请一个实施方式中，针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点，具体还可以包括，可以针对所述目标像素点在所述目标帧中所处的目标像素区域，先从所述第一帧和所述第二帧中分别确定所述目标像素区域对应的第一像素区域和第二像素区域；其中，所述第一像素区域、所述第二像素区域分别在所述第一帧、所述第二帧中的区域位置与所述目标区域在目标帧中的区域位置相同；所述目标像素区域用于表征在所述目标帧中以所述目标像素点为中心的像素区域。再从所述第一像素区域和所述第二像素区域中分别确定所述第一参考像素点和所述第二参考像素点。
在本实施方式中，可以将所述第一像素区域和所述第二像素区域的中心像素点分别作为所述第一参考像素点和所述第二参考像素点。
在本实施方式中，上述方法步骤中实现的功能，可以由计算机程序实现，所述计算机程序可以被存储于计算机存储介质中。具体地，计算机存储介质可以是集成于播放器中的组件，播放器可以对播放的视频进行预处理，预处理过程就是视频插帧的过程。播放器在对播放的视频进行预处理时，处理器可以读取计算机存储介质中的计算机程序，并执行所述计算机程序。在执行所述计算机程序时，可以实现以下步骤：
S11：在视频中确定第一帧和第二帧；其中，所述第一帧和所述第二帧分别具备第一光流场数据和第二光流场数据；
S13：针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点；
S15：基于所述第一光流场数据和所述第二光流场数据，在所述视频中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点；
S17：根据所述候选像素点的像素值确定所述目标像素点的像素值。
在一个实施方式中，在执行所述计算机程序时，还实现以下步骤：
针对所述目标像素点在所述目标帧中所处的目标像素区域，从所述第一帧和所述第二帧中分别确定所述目标像素区域对应的第一像素区域和第二像素区域；其中，所述第一像素区域、所述第二像素区域分别在所述第一帧、所述第二帧中的区域位置与所述目标区域在目标帧中的区域位置相同；所述目标像素区域用于表征在所述目标帧中以所述目标像素点为中心的像素区域；
从所述第一像素区域和所述第二像素区域中分别确定所述第一参考像素点和所述第二参考像素点。
在一个实施方式中，在执行所述计算机程序时，还实现以下步骤：
将所述第一像素区域和所述第二像素区域的中心像素点分别作为所述第一参考像素点和所述第二参考像素点。
在一个实施方式中，在执行所述计算机程序时，还实现以下步骤：
根据所述第一光流场数据中所述第一参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第一帧相邻的帧中确定所述第一参考像素点对应的候选像素点；
根据所述第二光流场数据中所述第二参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第二帧相邻的帧中确定所述第二参考像素点对应的候选像素点。
在一个实施方式中，在执行所述计算机程序时，还实现以下步骤：
根据所述第一参考像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧中确定第一扩展参考像素点，并根据所述目标帧与所述第一帧、所述第二帧之间的时差量，在所述第二帧中确定所述第一扩展参考像素点对应的候选像素点；其中，所述第一帧在所述第二帧之前；
根据所述第一扩展参考像素点对应的候选像素点与所述第一扩展参考像素点的相对位置，在所述第一帧中确定所述第一参考像素点对应的候选像素点；
根据所述第一参考像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧之前的相邻帧中确定第二扩展参考像素点，并根据所述相对位置，在所述第一帧之前的相邻帧中确定所述第二扩展参考像素点对应的候选像素点。
在一个实施方式中，在执行所述计算机程序时，还实现以下步骤：
确定所述候选像素点对应的适配数据；其中，所述适配数据用于表征将所述候选像素点作为所述目标像素点的适配程度；
根据所述候选像素点对应的适配数据，确定所述候选像素点的权重值；
将所述候选像素点的权重值与像素值进行叠加，并将叠加结果作为所述目标像素点的像素值。
在一个实施方式中，在执行所述计算机程序时，还实现以下步骤：
计算所述第一扩展参考像素点对应的候选像素点与所述第一扩展参考像素点之间的光流相似度；
将所述光流相似度作为所述适配数据。
在一个实施方式中，在执行所述计算机程序时，还实现以下步骤：
根据所述第二光流场数据中第一候选像素点的光流数据，分别在所述第一帧、所述第一帧之前的相邻帧和所述第二帧之后的相邻帧中确定所述第一候选像素点对应的多个对比像素点；其中，所述第一候选像素点用于表征所述第一扩展参考像素点对应的候选像素点；
计算所述第一候选像素点与所述对比像素点之间的区域像素匹配度，并将最大的区域像素匹配度作为所述适配数据。
在一个实施方式中，在执行所述计算机程序时，还实现以下步骤：
根据所述第二光流场数据中第一候选像素点的光流数据，分别在所述第一帧、所述第一帧之前的相邻帧和所述第二帧之后的相邻帧中确定所述第一候选像素点对应的多个对比像素点；其中，所述第一候选像素点用于表征所述第一扩展参考像素点对应的候选像素点；
计算所述第一候选像素点与所述对比像素点之间的光流相似度，并将最小的光流相似度作为所述第一候选像素点的光流穿透度；
将所述光流穿透度作为所述适配数据。
需要说明的是，上述计算机存储介质中的计算机程序所能实现的功能，均可以参照前述的方法实施实施方式，实现的技术效果也与前述方法实施方式中实现的技术效果类似，这里便不再赘述。
请参阅图3，本申请还提供一种服务器，所述服务器包括存储器和处理器，所述存储器中存储计算机程序，所述计算机程序被所述处理器执行时，实现以下步骤：
步骤S31：在视频中确定第一帧和第二帧；其中，所述第一帧和所述第二帧分别具备第一光流场数据和第二光流场数据；
步骤S33：针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点；
步骤S35：基于所述第一光流场数据和所述第二光流场数据，在所述视频中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点；
步骤S37：根据所述候选像素点的像素值确定所述目标像素点的像素值。
在本实施方式中，所述存储器可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。本实施方式所述的存储器又可以包括：利用电能方式存储信息的装置，如RAM、ROM等；利用磁能方式存储信息的装置，如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置，如CD或DVD。当然，还有其他方式的存储器，例如量子存储器、石墨烯存储器等等。
在本实施方式中，所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
本说明书实施方式提供的服务器，其存储器和处理器实现的具体功能，可以与本说明书中的前述实施方式相对照解释，并能够达到前述实施方式的技术效果，这里便不再赘述。
在一个实施方式中，所述计算机程序被所述处理器执行时，实现以下步骤：
针对所述目标像素点在所述目标帧中所处的目标像素区域，从所述第一帧和所述第二帧中分别确定所述目标像素区域对应的第一像素区域和第二像素区域；其中，所述第一像素区域、所述第二像素区域分别在所述第一帧、所述第二帧中的区域位置与所述目标区域在目标帧中的区域位置相同；所述目标像素区域用于表征在所述目标帧中以所述目标像素点为中心的像素区域；
从所述第一像素区域和所述第二像素区域中分别确定所述第一参考像素点和所述第二参考像素点。
在一个实施方式中，所述计算机程序被所述处理器执行时，实现以下步骤：
将所述第一像素区域和所述第二像素区域的中心像素点分别作为所述第一参考像素点和所述第二参考像素点。
在一个实施方式中，所述计算机程序被所述处理器执行时，实现以下步骤：
根据所述第一光流场数据中所述第一参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第一帧相邻的帧中确定所述第一参考像素点对应的候选像素点；
根据所述第二光流场数据中所述第二参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第二帧相邻的帧中确定所述第二参考像素点对应的候选像素点。
在一个实施方式中，所述计算机程序被所述处理器执行时，实现以下步骤：
根据所述第一参考像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧中确定第一扩展参考像素点，并根据所述目标帧与所述第一帧、所述第二帧之间的时差量，在所述第二帧中确定所述第一扩展参考像素点对应的候选像素点；其中，所述第一帧在所述第二帧之前；
根据所述第一扩展参考像素点对应的候选像素点与所述第一扩展参考像素点的相对位置，在所述第一帧中确定所述第一参考像素点对应的候选像素点；
根据所述第一参考像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧之前的相邻帧中确定第二扩展参考像素点，并根据所述相对位置，在所述第一帧之前的相邻帧中确定所述第二扩展参考像素点对应的候选像素点。
在一个实施方式中，所述计算机程序被所述处理器执行时，实现以下步骤：
确定所述候选像素点对应的适配数据；其中，所述适配数据用于表征将所述候选像素点作为所述目标像素点的适配程度；
根据所述候选像素点对应的适配数据，确定所述候选像素点的权重值；
将所述候选像素点的权重值与像素值进行叠加，并将叠加结果作为所述目标像素点的像素值。
由上可见，本申请可以针对视频中的第一帧和第二帧之间待插入的目标帧，先从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点，再基于所述第一帧具备的光流场数据和所述第二帧具备的光流场数据，在所述视频中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点。那么，所确定的候选像素点是与视频场景的运动相关联的。这样，即使在视频场景运动幅度较大的情况下，本申请的技术方案还是可以保证所插入的目标帧相对所述第一帧或所述第二帧的场景变化趋势，与所述第二帧相对于所述第一帧的场景变化趋势相一致，避免出现抖动或者严重的模糊现象，从而可以提高视频插帧的效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现客户端、服务器以外，完全可以通过将方法步骤进行逻辑编程来使得客户端、服务器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种客户端、服务器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。
本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，针对计算机存储介质、服务器和客户端的实施方式来说，均可以参照前述方法的实施方式的介绍对照解释。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施方式描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。
Claims (21)
1.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现以下步骤：
在视频中确定第一帧和第二帧；其中，所述第一帧和所述第二帧分别具备第一光流场数据和第二光流场数据；所述第一光流场数据中包括所述第一帧中每个像素点的光流数据，所述第二光流场数据中包括所述第二帧中每个像素点的光流数据；
针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点；
基于所述第一光流场数据和所述第二光流场数据，在所述第一帧、所述第二帧以及相邻帧中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点；
根据所述候选像素点的像素值确定所述目标像素点的像素值；其中，包括：确定所述候选像素点对应的适配数据；所述适配数据用于表征将所述候选像素点作为所述目标像素点的适配程度；根据所述候选像素点对应的适配数据，确定所述候选像素点的权重值；将所述候选像素点的权重值与像素值进行叠加，并将叠加结果作为所述目标像素点的像素值。
2.根据权利要求1所述的计算机存储介质，其特征在于，所述计算机程序被处理器执行时，还实现以下步骤：
针对所述目标像素点在所述目标帧中所处的目标像素区域，从所述第一帧和所述第二帧中分别确定所述目标像素区域对应的第一像素区域和第二像素区域；其中，所述第一像素区域、所述第二像素区域分别在所述第一帧、所述第二帧中的区域位置与目标区域在目标帧中的区域位置相同；所述目标像素区域用于表征在所述目标帧中以所述目标像素点为中心的像素区域；
从所述第一像素区域和所述第二像素区域中分别确定所述第一参考像素点和所述第二参考像素点。
3.根据权利要求2所述的计算机存储介质，其特征在于，所述计算机程序被处理器执行时，还实现以下步骤：
将所述第一像素区域和所述第二像素区域的中心像素点分别作为所述第一参考像素点和所述第二参考像素点。
4.根据权利要求1所述的计算机存储介质，其特征在于，所述计算机程序被处理器执行时，还实现以下步骤：
根据所述第一光流场数据中所述第一参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第一帧相邻的帧中确定所述第一参考像素点对应的候选像素点；
根据所述第二光流场数据中所述第二参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第二帧相邻的帧中确定所述第二参考像素点对应的候选像素点。
5.根据权利要求4所述的计算机存储介质，其特征在于，所述计算机程序被处理器执行时，还实现以下步骤：
根据所述第一参考像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧中确定第一扩展参考像素点，并根据所述目标帧与所述第一帧、所述第二帧之间的时差量，在所述第二帧中确定所述第一扩展参考像素点对应的候选像素点；其中，所述第一帧在所述第二帧之前；
根据所述第一扩展参考像素点对应的候选像素点与所述第一扩展参考像素点的相对位置，在所述第一帧中确定所述第一参考像素点对应的候选像素点；
根据所述第一参考像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧之前的相邻帧中确定第二扩展参考像素点，并根据所述相对位置，在所述第一帧之前的相邻帧中确定所述第二扩展参考像素点对应的候选像素点。
6.根据权利要求5所述的计算机存储介质，其特征在于，所述计算机程序被处理器执行时，还实现以下步骤：
计算所述第一扩展参考像素点对应的候选像素点与所述第一扩展参考像素点之间的光流相似度；
将所述光流相似度作为所述适配数据。
7.根据权利要求5所述的计算机存储介质，其特征在于，所述计算机程序被处理器执行时，还实现以下步骤：
根据所述第二光流场数据中第一候选像素点的光流数据，分别在所述第一帧、所述第一帧之前的相邻帧和所述第二帧之后的相邻帧中确定所述第一候选像素点对应的多个对比像素点；其中，所述第一候选像素点用于表征所述第一扩展参考像素点对应的候选像素点；
计算所述第一候选像素点与所述对比像素点之间的区域像素匹配度，并将最大的区域像素匹配度作为所述适配数据。
8.根据权利要求5所述的计算机存储介质，其特征在于，所述计算机程序被处理器执行时，还实现以下步骤：
根据所述第二光流场数据中第一候选像素点的光流数据，分别在所述第一帧、所述第一帧之前的相邻帧和所述第二帧之后的相邻帧中确定所述第一候选像素点对应的多个对比像素点；其中，所述第一候选像素点用于表征所述第一扩展参考像素点对应的候选像素点；
计算所述第一候选像素点与所述对比像素点之间的光流相似度，并将最小的光流相似度作为所述第一候选像素点的光流穿透度；
将所述光流穿透度作为所述适配数据。
9.一种服务器，其特征在于，所述服务器包括存储器和处理器，所述存储器中存储计算机程序，所述计算机程序被所述处理器执行时，实现以下步骤：
在视频中确定第一帧和第二帧；其中，所述第一帧和所述第二帧分别具备第一光流场数据和第二光流场数据；所述第一光流场数据中包括所述第一帧中每个像素点的光流数据，所述第二光流场数据中包括所述第二帧中每个像素点的光流数据；
针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点；
基于所述第一光流场数据和所述第二光流场数据，在所述第一帧、所述第二帧以及相邻帧中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点；
根据所述候选像素点的像素值确定所述目标像素点的像素值；其中，包括：确定所述候选像素点对应的适配数据；所述适配数据用于表征将所述候选像素点作为所述目标像素点的适配程度；根据所述候选像素点对应的适配数据，确定所述候选像素点的权重值；将所述候选像素点的权重值与像素值进行叠加，并将叠加结果作为所述目标像素点的像素值。
10.根据权利要求9所述的服务器，其特征在于，所述计算机程序被所述处理器执行时，还实现以下步骤：
针对所述目标像素点在所述目标帧中所处的目标像素区域，从所述第一帧和所述第二帧中分别确定所述目标像素区域对应的第一像素区域和第二像素区域；其中，所述第一像素区域、所述第二像素区域分别在所述第一帧、所述第二帧中的区域位置与目标区域在目标帧中的区域位置相同；所述目标像素区域用于表征在所述目标帧中以所述目标像素点为中心的像素区域；
从所述第一像素区域和所述第二像素区域中分别确定所述第一参考像素点和所述第二参考像素点。
11.根据权利要求10所述的服务器，其特征在于，所述计算机程序被所述处理器执行时，还实现以下步骤：
将所述第一像素区域和所述第二像素区域的中心像素点分别作为所述第一参考像素点和所述第二参考像素点。
12.根据权利要求9所述的服务器，其特征在于，所述计算机程序被所述处理器执行时，还实现以下步骤：
根据所述第一光流场数据中所述第一参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第一帧相邻的帧中确定所述第一参考像素点对应的候选像素点；
根据所述第二光流场数据中所述第二参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第二帧相邻的帧中确定所述第二参考像素点对应的候选像素点。
13.根据权利要求12所述的服务器，其特征在于，所述计算机程序被所述处理器执行时，还实现以下步骤：
根据所述第一参考像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧中确定第一扩展参考像素点，并根据所述目标帧与所述第一帧、所述第二帧之间的时差量，在所述第二帧中确定所述第一扩展参考像素点对应的候选像素点；其中，所述第一帧在所述第二帧之前；
根据所述第一扩展参考像素点对应的候选像素点与所述第一扩展参考像素点的相对位置，在所述第一帧中确定所述第一参考像素点对应的候选像素点；
根据所述第一参考像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧之前的相邻帧中确定第二扩展参考像素点，并根据所述相对位置，在所述第一帧之前的相邻帧中确定所述第二扩展参考像素点对应的候选像素点。
14.一种视频插帧的方法，其特征在于，所述方法包括：
在视频中确定第一帧和第二帧；其中，所述第一帧和所述第二帧分别具备第一光流场数据和第二光流场数据；所述第一光流场数据中包括所述第一帧中每个像素点的光流数据，所述第二光流场数据中包括所述第二帧中每个像素点的光流数据；
针对所述第一帧和所述第二帧之间待插入的目标帧，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点；
基于所述第一光流场数据和所述第二光流场数据，在所述第一帧、所述第二帧以及相邻帧中确定所述第一参考像素点和所述第二参考像素点分别对应的候选像素点；
根据所述候选像素点的像素值确定所述目标像素点的像素值；其中，包括：确定所述候选像素点对应的适配数据；所述适配数据用于表征将所述候选像素点作为所述目标像素点的适配程度；根据所述候选像素点对应的适配数据，确定所述候选像素点的权重值；将所述候选像素点的权重值与像素值进行叠加，并将叠加结果作为所述目标像素点的像素值。
15.根据权利要求14所述的方法，其特征在于，从所述第一帧和所述第二帧中分别确定所述目标帧中的目标像素点对应的第一参考像素点和第二参考像素点，包括：
针对所述目标像素点在所述目标帧中所处的目标像素区域，从所述第一帧和所述第二帧中分别确定所述目标像素区域对应的第一像素区域和第二像素区域；其中，所述第一像素区域、所述第二像素区域分别在所述第一帧、所述第二帧中的区域位置与目标区域在目标帧中的区域位置相同；所述目标像素区域用于表征在所述目标帧中以所述目标像素点为中心的像素区域；
从所述第一像素区域和所述第二像素区域中分别确定所述第一参考像素点和所述第二参考像素点。
16.根据权利要求15所述的方法，其特征在于，从所述第一像素区域和所述第二像素区域中分别确定所述第一参考像素点和所述第二参考像素点，包括：
将所述第一像素区域和所述第二像素区域的中心像素点分别作为所述第一参考像素点和所述第二参考像素点。
17.根据权利要求14所述的方法，其特征在于，所述候选像素点按照下述步骤确定：
根据所述第一光流场数据中所述第一参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第一帧相邻的帧中确定所述第一参考像素点对应的候选像素点；
根据所述第二光流场数据中所述第二参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第二帧相邻的帧中确定所述第二参考像素点对应的候选像素点。
18.根据权利要求17所述的方法，其特征在于，根据所述第一光流场数据中所述第一参考像素点的光流数据，分别在所述第一帧、所述第二帧和所述视频中与所述第一帧相邻的帧中确定所述第一参考像素点对应的候选像素点，包括：
根据所述第一参考像素点的光流数据中的正向光流的方向和正向光流值，在所述第二帧中确定第一扩展参考像素点，并根据所述目标帧与所述第一帧、所述第二帧之间的时差量，在所述第二帧中确定所述第一扩展参考像素点对应的候选像素点；其中，所述第一帧在所述第二帧之前；
根据所述第一扩展参考像素点对应的候选像素点与所述第一扩展参考像素点的相对位置，在所述第一帧中确定所述第一参考像素点对应的候选像素点；
根据所述第一参考像素点的光流数据中的反向光流的方向和反向光流值，在所述第一帧之前的相邻帧中确定第二扩展参考像素点，并根据所述相对位置，在所述第一帧之前的相邻帧中确定所述第二扩展参考像素点对应的候选像素点。
19.根据权利要求18所述的方法，其特征在于，按照下述步骤确定所述第一扩展参考像素点对应的候选像素点的适配数据：
计算所述第一扩展参考像素点对应的候选像素点与所述第一扩展参考像素点之间的光流相似度；
将所述光流相似度作为所述适配数据。
20.根据权利要求18所述的方法，其特征在于，按照下述步骤确定所述第一扩展参考像素点对应的候选像素点的适配数据：
根据所述第二光流场数据中第一候选像素点的光流数据，分别在所述第一帧、所述第一帧之前的相邻帧和所述第二帧之后的相邻帧中确定所述第一候选像素点对应的多个对比像素点；其中，所述第一候选像素点用于表征所述第一扩展参考像素点对应的候选像素点；
计算所述第一候选像素点与所述对比像素点之间的区域像素匹配度，并将最大的区域像素匹配度作为所述适配数据。
21.根据权利要求18所述的方法，其特征在于，按照下述步骤确定所述第一扩展参考像素点对应的候选像素点的适配数据：
根据所述第二光流场数据中第一候选像素点的光流数据，分别在所述第一帧、所述第一帧之前的相邻帧和所述第二帧之后的相邻帧中确定所述第一候选像素点对应的多个对比像素点；其中，所述第一候选像素点用于表征所述第一扩展参考像素点对应的候选像素点；
计算所述第一候选像素点与所述对比像素点之间的光流相似度，并将最小的光流相似度作为所述第一候选像素点的光流穿透度；
将所述光流穿透度作为所述适配数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810348228.8A CN110392282B (zh) | 2018-04-18 | 2018-04-18 | 一种视频插帧的方法、计算机存储介质及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810348228.8A CN110392282B (zh) | 2018-04-18 | 2018-04-18 | 一种视频插帧的方法、计算机存储介质及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110392282A CN110392282A (zh) | 2019-10-29 |
| CN110392282B true CN110392282B (zh) | 2022-01-07 |
Family
ID=68282604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810348228.8A Active CN110392282B (zh) | 2018-04-18 | 2018-04-18 | 一种视频插帧的方法、计算机存储介质及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110392282B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110798630B (zh) * | 2019-10-30 | 2020-12-29 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111064863B (zh) * | 2019-12-25 | 2022-04-15 | Oppo广东移动通信有限公司 | 图像数据的处理方法及相关装置 |
| CN111310744B (zh) * | 2020-05-11 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 图像识别方法、视频播放方法、相关设备及介质 |
| CN113727141B (zh) * | 2020-05-20 | 2023-05-12 | 富士通株式会社 | 视频帧的插值装置以及方法 |
| CN111372087B (zh) * | 2020-05-26 | 2020-08-28 | 深圳看到科技有限公司 | 全景视频插帧方法、装置及对应的存储介质 |
| CN114073071B (zh) * | 2020-05-29 | 2023-12-05 | 京东方科技集团股份有限公司 | 视频插帧方法及装置、计算机可读存储介质 |
| CN114071223A (zh) * | 2020-07-30 | 2022-02-18 | 武汉Tcl集团工业研究院有限公司 | 基于光流的视频插帧的生成方法、存储介质及终端设备 |
| CN112164374A (zh) * | 2020-11-05 | 2021-01-01 | 北京集创北方科技股份有限公司 | 亮度调节方法、亮度调节装置、显示面板和显示装置 |
| CN112584077B (zh) * | 2020-12-11 | 2023-02-21 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置及电子设备 |
| CN112929689B (zh) * | 2021-02-24 | 2023-04-07 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN115209185A (zh) * | 2021-04-12 | 2022-10-18 | 北京字跳网络技术有限公司 | 视频插帧方法、装置及可读存储介质 |
| CN116193279A (zh) * | 2022-12-29 | 2023-05-30 | 影石创新科技股份有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1415105A (zh) * | 1999-12-28 | 2003-04-30 | 马尔蒂·凯塞涅米 | 光流与成像 |
| CN103888767A (zh) * | 2014-03-31 | 2014-06-25 | 山东大学 | Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法 |
| CN105261042A (zh) * | 2015-10-19 | 2016-01-20 | 华为技术有限公司 | 光流估计的方法及装置 |
| CN105517671A (zh) * | 2015-05-25 | 2016-04-20 | 北京大学深圳研究生院 | 一种基于光流法的视频插帧方法及系统 |
| CN105847804A (zh) * | 2016-05-18 | 2016-08-10 | 信阳师范学院 | 一种基于稀疏冗余表示模型的视频帧率上转换方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150262380A1 (en) * | 2014-03-17 | 2015-09-17 | Qualcomm Incorporated | Adaptive resolution in optical flow computations for an image processing system |
| US10375413B2 (en) * | 2015-09-28 | 2019-08-06 | Qualcomm Incorporated | Bi-directional optical flow for video coding |
-
2018
- 2018-04-18 CN CN201810348228.8A patent/CN110392282B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1415105A (zh) * | 1999-12-28 | 2003-04-30 | 马尔蒂·凯塞涅米 | 光流与成像 |
| CN103888767A (zh) * | 2014-03-31 | 2014-06-25 | 山东大学 | Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法 |
| CN105517671A (zh) * | 2015-05-25 | 2016-04-20 | 北京大学深圳研究生院 | 一种基于光流法的视频插帧方法及系统 |
| CN105261042A (zh) * | 2015-10-19 | 2016-01-20 | 华为技术有限公司 | 光流估计的方法及装置 |
| CN105847804A (zh) * | 2016-05-18 | 2016-08-10 | 信阳师范学院 | 一种基于稀疏冗余表示模型的视频帧率上转换方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110392282A (zh) | 2019-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110392282B (zh) | 一种视频插帧的方法、计算机存储介质及服务器 | |
| CN110351607B (zh) | 一种全景视频场景切换的方法、计算机存储介质及客户端 | |
| CN111405316A (zh) | 插帧方法、电子设备及可读存储介质 | |
| Shi et al. | A fast and robust key frame extraction method for video copyright protection | |
| US20220270365A1 (en) | Image recognition method, video playback method, related devices | |
| CN109379628A (zh) | 视频处理方法、装置、电子设备及计算机可读介质 | |
| CN112584077B (zh) | 视频的插帧方法、装置及电子设备 | |
| JP7209044B2 (ja) | ビデオにおけるキーロゴの認識方法、装置、設備、記憶媒体、及びプログラム | |
| CN111654723B (zh) | 视频质量提升方法、装置、电子设备和存储介质 | |
| CN110830846B (zh) | 一种视频裁剪方法及服务器 | |
| US7616220B2 (en) | Spatio-temporal generation of motion blur | |
| CN113014936B (zh) | 视频插帧方法、装置、设备以及存储介质 | |
| CN109121000A (zh) | 一种视频处理方法及客户端 | |
| CN103929648A (zh) | 一种帧率上采样中的运动估计方法和装置 | |
| WO2022111208A1 (zh) | 一种视频帧频提升方法、装置、设备及介质 | |
| CN112837240B (zh) | 模型训练方法、分数提升方法、装置、设备、介质和产品 | |
| US20120051429A1 (en) | Apparatus for generating interpolated frame | |
| CN111696034B (zh) | 图像处理方法、装置及电子设备 | |
| CN111833262A (zh) | 图像降噪方法、装置及电子设备 | |
| US11928855B2 (en) | Method, device, and computer program product for video processing | |
| US20180063551A1 (en) | Apparatus and methods for frame interpolation | |
| JP2023070068A (ja) | 動画結合方法、装置、電子機器および記憶媒体 | |
| US11587208B2 (en) | High quality UI elements with frame extrapolation | |
| CN108337402B (zh) | 用于视频去噪的有效的基于块的方法 | |
| US11647153B1 (en) | Computer-implemented method, device, and computer program product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200511 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Alibaba (China) Co.,Ltd. Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C Applicant before: Youku network technology (Beijing) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240623 Address after: 101400 Room 201, 9 Fengxiang East Street, Yangsong Town, Huairou District, Beijing Patentee after: Youku Culture Technology (Beijing) Co.,Ltd. Country or region after: China Address before: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: Alibaba (China) Co.,Ltd. Country or region before: China |