CN111147787B - 插帧处理方法及相关设备 - Google Patents

插帧处理方法及相关设备 Download PDF

Info

Publication number
CN111147787B
CN111147787B CN201911377597.0A CN201911377597A CN111147787B CN 111147787 B CN111147787 B CN 111147787B CN 201911377597 A CN201911377597 A CN 201911377597A CN 111147787 B CN111147787 B CN 111147787B
Authority
CN
China
Prior art keywords
frame
image
frame image
transition
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911377597.0A
Other languages
English (en)
Other versions
CN111147787A (zh
Inventor
郑超
范泽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911377597.0A priority Critical patent/CN111147787B/zh
Publication of CN111147787A publication Critical patent/CN111147787A/zh
Application granted granted Critical
Publication of CN111147787B publication Critical patent/CN111147787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了一种插帧处理方法及相关设备，应用于电子设备，所述方法包括：确定第一图像文件的第一帧率对应的第一插帧策略；显示所述第一图像文件，所述第一图像文件包括多帧图像；在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，其中，所述第一插帧策略用于指示在当前帧图像后插入过渡帧图像，指示所述过渡帧图像为所述当前帧图像，指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，以及指示在显示图像文件时基于所述过渡帧图像的运动矢量插入所述过渡帧图像，所述N为大于1的整数。采用本申请实施例可提升图像文件的帧率，以提升图像文件的显示流畅度。

Description

插帧处理方法及相关设备
技术领域
本申请涉及电子技术领域，尤其涉及一种插帧处理方法及相关设备。
背景技术
当前的电子设备(如智能手机、平板电脑等)可支持图像文件的显示。目前，市面上的图像文件(如视频文件、游戏图像文件等)的帧率通常是以24fps或30fps为主，即每秒显示24帧画面或每秒显示30帧画面。实际上帧率为24fps或30fps的显示流畅度是较低的。
发明内容
本申请实施例提供一种插帧处理方法，用于提升图像文件的帧率，以提升图像文件的显示流畅度。
第一方面，本申请实施例提供一种插帧处理方法，应用于电子设备，方法包括：
确定第一图像文件的第一帧率对应的第一插帧策略；
显示所述第一图像文件，所述第一图像文件包括多帧图像；
在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，其中，所述第一插帧策略用于指示在当前帧图像后插入过渡帧图像，指示所述过渡帧图像为所述当前帧图像，指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，以及指示在显示图像文件时基于所述过渡帧图像的运动矢量插入所述过渡帧图像，所述N为大于1的整数。
第二方面，本申请实施例提供一种插帧处理装置，应用于电子设备，装置包括：
策略确定单元，用于确定第一图像文件的第一帧率对应的第一插帧策略；
显示单元，用于显示所述第一图像文件，所述第一图像文件包括多帧图像；
插帧处理单元，用于在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，其中，所述第一插帧策略用于在当前帧图像后插入过渡帧图像，指示所述过渡帧图像为所述当前帧图像，指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，以及指示在显示图像文件时基于所述过渡帧图像的运动矢量插入所述过渡帧图像，所述N为大于1的整数。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面所述的方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质用于存储计算机程序，上述计算机程序被处理器执行，以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，在本申请实施例中，首先确定第一图像文件的第一帧率对应的第一插帧策略，然后显示所述第一图像文件，最后在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，由于对图像文件进行插帧处理，提升了图像文件的帧率，进而提升图像文件的显示流畅度，另外由于插入的过渡帧图像的运动矢量是基于过渡帧图像的前几帧图像的运动矢量预估的，即基于当前已知的信息进行预估，进而减少及时场景下的延迟问题。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2是本申请实施例提供的一种插帧处理方法的流程示意图；
图3A是本申请实施例提供的另一种插帧处理方法的流程示意图；
图3B是本申请实施例提供的一种插帧示意图；
图4是本申请实施例提供的另一种电子设备的结构示意图；
图5是是本申请实施例提供的一种插帧处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
如图1所示，图1是本申请实施例提供的一种电子设备的结构示意图。该电子设备包括处理器、存储器、随机存取存储器(Random Access Memory，RAM)、显示屏、摄像模组和插帧芯片(Integrated Circuit Chip，IC)。其中，存储器、RAM、显示屏、摄像模组和插帧IC均与处理器连接。
进一步地，电子设备还包括扬声器、麦克风、通信接口、信号处理器和传感器，扬声器、麦克风、信号处理器和传感器均与处理器连接，通信接口与信号处理器连接。
其中，显示屏可以是液晶显示器(Liquid Crystal Display，LCD)、有机或无机发光二极管(Organic Light-Emitting Diode，OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode，AMOLED)等。
其中，该摄像模组可以是普通摄像头、也可以是红外摄像，在此不作限定。该摄像模组头可以是前置摄像头或后置摄像头，在此不作限定。
其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外接近传感器、指纹传感器、压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。
其中，处理器包括应用处理器(Adjunct Processor，AP)，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
其中，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的软体程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
请参见图2，图2是本申请实施例提供的一种插帧处理方法的流程示意图，应用于上述电子设备，该方法包括：
步骤201：确定第一图像文件的第一帧率对应的第一插帧策略。
在本申请的一实现方式中，本申请的插帧处理方法应用于视频播放场景、视频通话场景、游戏场景、视频直播场景等。
其中，第一图像文件例如是视频文件、游戏图像文件、直播视频文件、视频通话文件等。
在本申请的一实现方式中，所述确定第一图像文件的第一帧率对应的第一插帧策略，包括：基于图像文件帧率与插帧策略的第一映射关系确定第一帧率对应的第一插帧策略，第一映射关系如表1所示。
表1
图像文件帧率 插帧策略
24fps 插帧策略1
30fps 插帧策略2
...... ......
在本申请的一实现方式中，所述确定第一图像文件的第一帧率对应的第一插帧策略，包括：
基于所述第一帧率确定所述第一图像文件在当前应用场景下需要的第二帧率，以及确定所述第二帧率对应的第一插帧策略，所述第二帧率大于所述第一帧率。
具体地，基于图像文件帧率、应用场景和在应用场景下需要的帧率的第二映射关系确定得到第二帧率。基于在应用场景下需要的帧率与插帧策略的第三映射关系确定得到第一插帧策略。第二映射关系如表2所示，第三映射关系如表3所示。
表2
图像文件帧率 应用场景 在应用场景下需要的帧率
30fps 游戏场景 60fps
24fps 游戏场景 48fps
30fps 视频播放场景 90fps
…… …… ……
表3
在应用场景下需要的帧率 插帧策略
60fps 插帧策略2
90fps 插帧策略3
…… ……
步骤202：显示所述第一图像文件，所述第一图像文件包括多帧图像。
其中，所述显示所述第一图像文件，包括：基于所述第一帧率显示所述第一图像文件。举例来说，假如第一帧率为30fps，那么以每秒显示30帧图像的方式显示第一图像文件。
步骤203：在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，其中，所述第一插帧策略用于在当前帧图像后插入过渡帧图像，指示所述过渡帧图像为所述当前帧图像，指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，以及指示在显示图像文件时基于所述过渡帧图像的运动矢量插入所述过渡帧图像，所述N为大于1的整数。
其中，运动矢量由运动方向和运动位置表示。
在本申请的一实现方式中，所述第一插帧策略还用于指示在所述过渡帧图像的前一帧图像为图像文件的首帧图像时，所述过渡帧图像的运动矢量为所述首帧图像的运动矢量。
可以看出，在本申请实施例中，在首帧随后的插帧直接基于该首帧的运动矢量进行，这样防止在首帧时也进行预估计算，进而避免产生错误位移信息导致画面异常的问题。
在本申请的一实现方式中，所述第一插帧策略还用于指示在所述过渡帧图像的前一帧图像为图像文件的首帧图像时，所述过渡帧图像的运动矢量是基于所述首帧图像的运动矢量和设定运动矢量预估的。
其中，设定运动矢量的运动方向与所述首帧图像的运动方向一致。设定运动矢量的运动位置为设定运动位置，例如设定运动位置有(X，Y)表示，X的值例如可以是0、1、2或是其他值，Y的值例如可以是0、1、2或是其他值。
可以看出，在本申请实施例中，在首帧随后的插帧的运动矢量是基于设定运动矢量确定的，这样防止在首帧随后的插帧出现预估错误，进而避免产生错误位移信息导致画面异常的问题。
在本申请的一实现方式中，所述N等于2，所述指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，包括：基于所述过渡帧图像的前两帧图像的运动矢量预估所述过渡帧图像的运动矢量。
可选地，所述前两帧图像包括第一帧图像和第二帧图像，所述第一帧图像的显示时刻早于所述第二帧图像的显示时刻，所述第一帧图像的运动矢量有第一运动方向和第一运动位置表示，所述第二帧图像的运动矢量有第二运动方向和第二运动位置表示；所述基于所述过渡帧图像的前两帧图像的运动矢量预估所述过渡帧图像的运动矢量，包括：
基于所述第一运动方向和所述第二运动方向预估所述过渡帧图像的运动方向；
基于所述第一运动方向、所述第二运动方向、所述第一运动位置和所述第二运动位置预估所述过渡帧图像的运动位置。
可选地，所述基于所述第一运动方向和所述第二运动方向预估所述过渡帧图像的运动方向，包括：
基于所述第一运动方向和所述第二运动方向预估方向变量；
基于所述第二运动方向和所述方向变量预估所述过渡帧图像的运动方向。
其中，所述基于所述第一运动方向和所述第二运动方向预估方向变量，包括：基于所述第一运动方向、所述第二运动方向和第一公式预估方向变量，所述第一公式为：T＝F2-F1，所述T为方向变量，所述F1和所述F2均为运动方向，所述F1对应的图像的显示时刻早于所述F2对于的图像的显示时刻。举例来说，假设第一运动方向对应的第一帧图像，第二运动方向对应第二帧图像，第一运动方向为-90°，第二运动方向为-45°，那么方向变量＝-45°-(-90°)＝45°。
其中，所述基于所述第二运动方向和所述方向变量预估所述过渡帧图像的运动方向，包括：基于所述第二运动方向、所述方向变量和第二公式预估所述过渡帧图像的运动方向，所述第二公式为：F3＝F4+T，所述F3和所述F4均为运动方向，所述F3为过渡帧图像的运动方向，T为方向变量。举例来说，假设方向变量为45°，第二运动方向为-45°，那么过渡帧图像的运动方向＝-45°+45°＝0°。
可选地，所述基于所述第一运动方向、所述第二运动方向、所述第一运动位置和所述第二运动位置预估所述过渡帧图像的运动位置，包括：
基于所述第一运动位置和所述第二运动位置预估所述第二帧图像的第一帧位移方向；
基于所述第一运动方向和所述第二运动方向预估方向变量；
基于所述方向变量和所述第一帧位移方向预估所述过渡帧图像的第二帧位移方向；
基于所述第一运动位置和所述第二运动位置预估位移距离；
基于所述第二运动位置、所述第二帧位移方向和所述位移距离预估所述过渡帧图像的运动位置。
其中，所述第一运动位置由(X1，Y1)表示，所述第二运动位置由(X2，Y2)表示。
其中，所述基于所述第一运动位置和所述第二运动位置预估所述第二帧图像的第一帧位移方向，包括：
基于所述第一运动位置、所述第二运动位置和第三公式预估所述第二帧的第一帧位移方向，所述第三公式为：W1＝arctan[(x2-x1)/(y2-y1)]，所述W1为帧位移方向，所述x1和所述x2为横坐标值，所述x1对应的运动位置对应的图像的显示时刻早于所述x2对应的运动位置对应的图像的显示时刻，所述y1为所述x1对应的纵坐标值，所述y2为所述x2对应的纵坐标值。
其中，所述基于所述方向变量和所述第一帧位移方向预估所述过渡帧图像的第二帧位移方向，包括：
基于所述方向变量、所述第一帧位移方向和第四公式预估所述过渡帧图像的第二帧位移方向，所述第四公式为：W2＝W1+T，所述W2和所述W1均为帧位移方向，W2为过渡帧图像的帧位移方向，所述T为方向变量。
其中，所述基于所述第一运动位置和所述第二运动位置预估位移距离，包括：
基于所述第一运动位置、第二运动位置和第五公式预估位移距离，所述第五公式为：
Figure BDA0002341393990000081
所述x1和所述x2为横坐标值，所述S为位移距离，所述x1对应的运动位置对应的图像的显示时刻早于所述x2对应的运动位置对应的图像的显示时刻，所述y1为所述x1对应的纵坐标值，所述y2为所述x2对应的纵坐标值。
其中，所述基于所述第二运动位置、所述第二帧位移方向和所述位移距离预估所述过渡帧图像的运动位置，包括：
以所述第二运动位置作为起点，按照所述第二帧位移方向移动所述位移距离，预估得到所述过渡帧图像的运动位置。
在本申请的一实现方式中，所述N大于2，所述指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，包括：
基于所述过渡帧图像的前两帧图像的运动矢量预估得到第一运动矢量；
基于所述过渡帧图像的前N帧图像的运动矢量预估得到第二运动矢量；
基于所述第一运动矢量和所述第二运动矢量预估所述过渡帧图像的运动矢量。
可选地，所述基于所述过渡帧图像的前N帧图像的运动矢量预估得到第二运动矢量，包括：
基于所述前N帧图像的运动方向预估所述过渡帧图像的运动方向；
基于所述前N帧图像的运动方向和所述前N帧图像的运动位置预估所述过渡帧图像的运动位置。
可选地，所述基于所述前N帧图像的运动方向预估所述过渡帧图像的运动方向，包括：
基于所述前N帧图像的运动方向预估方向变量；
基于第三运动方向和所述方向变量预估所述过渡帧图像的运动方向，所述第三运动方向为第三帧图像的运动方向，所述第三帧图像为所述过渡帧图像的前一帧图像。
其中，所述基于所述前N帧图像的运动方向预估方向变量，包括：
基于所述前N帧图像的运动方向和第六公式预估方向变量，所述第六公式为：T＝FN-…-Fi-…Fi，所述T为方向变量，所述F1、所述Fi和所述FN均为运动方向，所述FN对应的图像为所述过渡帧图像的前一帧图像，所述F1对应的图像的显示时刻早于所述过渡帧图像的显示时刻，且所述F1对应的图像与所述过渡帧图像相距N帧图像，所述Fi对应的图像的显示时刻早于所述过渡帧图像的显示时刻，所述Fi对应的图像与所述过渡帧图像相距i帧图像。举例来说，假设N＝3，假如这前三帧图像为图像1、图像2和图像3，图像3为过渡帧图像的前一帧图像，图像3的运动方向为-90°，图像2在过渡帧图像之前显示，且图像2与过渡帧图像相距2帧图像，图像2的运动方向为-45°，图像1在过渡帧图像之前显示，且图像1与过渡帧图像相距3帧图像，图像1的运动方向为-0°，那么方向变量＝-45°-(-90°)-0°＝45°。
其中，所述基于第三运动方向和所述方向变量预估所述过渡帧图像的运动方向，包括：
基于所述第三运动方向、所述方向变量和上述第二公式预估所述过渡帧图像的运动方向。举例来说，假设方向变量为45°，第三运动方向为0°，那么过渡帧图像的运动方向＝0°+45°＝45°。
可选地，所述基于所述前N帧图像的运动方向和所述前N帧图像的运动位置预估所述过渡帧图像的运动位置，包括：
基于所述前N帧图像的运动位置预估第三帧图像的第三帧位移方向，所述第三帧图像为所述过渡帧图像的前一帧图像；
基于所述前N帧图像的运动方向预估方向变量；
基于所述方向变量和所述第三帧位移方向预估所述过渡帧图像的第四帧位移方向；
基于所述前N帧图像的运动位置预估位移距离；
基于所述第三帧图像的运动位置、所述第四帧位移方向和所述位移距离预估所述过渡帧图像的运动位置。
其中，所述运动位置有(X，Y)表示，所述基于所述前N帧图像的运动位置预估第三帧图像的第三帧位移方向，包括：
基于所述前N帧图像的运动位置和第七公式预估所述第三帧图像的第三帧位移方向，所述第七公式为：W1＝arctan[(xN-…-xi-…-x1)/(yN-…-yi-…-y1)]，所述W1为帧位移方向，所述x1、所述xN和所述xi为横坐标值，所述xN对应的运动位置对应的图像为所述过渡帧图像的前一帧图像，所述x1对应的运动位置对应的图像的显示时刻早于所述过渡帧图像的显示时刻，且所述x1对应的运动位置对应的图像与所述过渡帧图像相距N帧图像，所述xi对应的运动位置对应的图像的显示时刻早于所述过渡帧图像的显示时刻，且所述xi对应的运动位置对应的图像与所述过渡帧图像相距i帧图像，所述y1为所述x1对应的纵坐标值，所述yN为所述xN对应的纵坐标值，所述yi为纵坐标值为所述xi对应的纵坐标值。
其中，所述基于所述方向变量和所述第三帧位移方向预估所述过渡帧图像的第四帧位移方向，包括：
基于所述方向变量、所述第三帧位移方向和上述第四公式预估所述过渡帧图像的第四帧位移方向。
其中，所述基于所述前N帧图像的运动位置预估位移距离，包括：基于所述前N帧图像的运动位置和第八公式预估位移距离；
所述第八公式为：
Figure BDA0002341393990000111
其中，所述x1，所述x2，所述xN，所述xN-1，所述xi，所述xi-1为横坐标值，所述S为位移距离；所述xN对应的运动位置对应的图像为所述过渡帧图像的前一帧图像；所述xN对应的运动位置对应的图像与所述xN-1对应的运动位置对应的图像相邻，且所述xN对应的运动位置对应的图像的显示时刻晚于所述xN-1对应的运动位置对应的图像的显示时刻；所述x1对应的运动位置对应的图像的显示时刻早于所述过渡帧图像的显示时刻，且所述x1对应的运动位置对应的图像与所述过渡帧图像相距N帧；所述x2对应的运动位置对应的图像的显示时刻早于所述过渡帧图像的显示时刻，且所述x1对应的运动位置对应的图像与所述过渡帧图像相距N-1帧；所述xi对应的运动位置对应的图像的显示时刻早于所述过渡帧图像的显示时刻，且所述xi对应的运动位置对应的图像与所述过渡帧图像相距i帧；所述xi-1对应的运动位置对应的图像的显示时刻早于所述过渡帧图像的显示时刻，且所述xi-1对应的运动位置对应的图像与所述过渡帧图像相距i-1帧；所述y1为所述x1对应的纵坐标值，所述y2为所述x2对应的纵坐标值，所述yN为所述xN对应的纵坐标值，所述yN-1为所述xN-1对应的纵坐标值，所述yi为所述xi对应的纵坐标值，所述yi-1为所述xi-1对应的纵坐标值。
其中，所述基于所述第三帧图像的运动位置、所述第四帧位移方向和所述位移距离预估所述过渡帧图像的运动位置，包括：
以所述第三运动位置作为起点，按照所述第四帧位移方向移动所述位移距离，预估得到所述过渡帧图像的运动位置。
需要说明的是，基于两个运动矢量预估一个运动矢量的具体实现方式参见上述内容，在此不再叙述。
目前，在及时场景(如游戏场景等)下进行的插帧处理，通常是根据当前帧画面的前后两帧画面的信息进行的。而在及时场景下，收集前后两帧画面的信息再进行硬件和算法的处理会导致在及时场景下出现延迟问题。
在本申请实施例中，首先确定第一图像文件的第一帧率对应的第一插帧策略，然后显示所述第一图像文件，最后在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，由于对图像文件进行插帧处理，提升了图像文件的帧率，进而提升图像文件的显示流畅度，另外由于插入的过渡帧图像的运动矢量是基于过渡帧图像的前几帧图像的运动矢量预估的，即基于当前已知的信息进行预估，进而减少及时场景下的延迟问题。
请参阅图3A，图3A是本申请实施例提供的另一种插帧处理方法，应用于电子设备，具体包括以下步骤：
步骤301：基于所述第一帧率确定所述第一图像文件在当前应用场景下需要的第二帧率。
步骤302：确定所述第二帧率对应的第一插帧策略，所述第二帧率大于所述第一帧率。
步骤303：显示所述第一图像文件，所述第一图像文件包括多帧图像。
步骤304：在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，其中，所述第一插帧策略用于在当前帧图像后插入过渡帧图像，指示所述过渡帧图像为所述当前帧图像，指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，以及指示在显示图像文件时基于所述过渡帧图像的运动矢量插入所述过渡帧图像，所述N为大于1的整数。
其中，所述第一插帧策略还用于指示在所述过渡帧图像的前一帧图像为图像文件的首帧图像时，所述过渡帧图像的运动矢量为所述首帧图像的运动矢量。
其中，所述N等于2，所述指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，包括：基于所述过渡帧图像的前两帧图像的运动矢量预估所述过渡帧图像的运动矢量。
举例来说，如图3B所示，在帧1时小球位置在1号位置，此时做复制处理，可以看到帧1+2的球还在帧1的位置上。在帧2时，根据绘图发现小球滚动到了2号位置上，且插帧芯片记录了帧1+2和帧2这两个位置，经过这两个位置变化预估出虚线的运动矢量方向并作插帧绘图处理，在帧2+3时，将小球的位置移动到2+3号位置上，在帧3时小球再移动到3号位置上，以此类推就是可以看到更加连续的小球滚动画面，使画面更加流畅。
需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。
请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，如图所示，该电子设备包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
确定第一图像文件的第一帧率对应的第一插帧策略；
显示所述第一图像文件，所述第一图像文件包括多帧图像；
在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，其中，所述第一插帧策略用于在当前帧图像后插入过渡帧图像，指示所述过渡帧图像为所述当前帧图像，指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，以及指示在显示图像文件时基于所述过渡帧图像的运动矢量插入所述过渡帧图像，所述N为大于1的整数。
可以看出，在本申请实施例中，首先确定第一图像文件的第一帧率对应的第一插帧策略，然后显示所述第一图像文件，最后在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，由于对图像文件进行插帧处理，提升了图像文件的帧率，进而提升图像文件的显示流畅度，另外由于插入的过渡帧图像的运动矢量是基于过渡帧图像的前几帧图像的运动矢量预估的，即基于当前已知的信息进行预估，进而减少及时场景下的延迟问题。
在本申请的一实现方式中，所述第一插帧策略还用于指示在所述过渡帧图像的前一帧图像为图像文件的首帧图像时，所述过渡帧图像的运动矢量为所述首帧图像的运动矢量。
在本申请的一实现方式中，所述第一插帧策略还用于指示在所述过渡帧图像的前一帧图像为图像文件的首帧图像时，所述过渡帧图像的运动矢量是基于所述首帧图像的运动矢量和设定运动矢量预估的。
在本申请的一实现方式中，所述N等于2，所述指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，包括：基于所述过渡帧图像的前两帧图像的运动矢量预估所述过渡帧图像的运动矢量。
在本申请的一实现方式中，所述N大于2，所述指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，包括：
基于所述过渡帧图像的前两帧图像的运动矢量预估得到第一运动矢量；
基于所述过渡帧图像的前N帧图像的运动矢量预估得到第二运动矢量；
基于所述第一运动矢量和所述第二运动矢量预估所述过渡帧图像的运动矢量。
在本申请的一实现方式中，所述确定第一图像文件的第一帧率对应的第一插帧策略，包括：
基于所述第一帧率确定所述第一图像文件在当前应用场景下需要的第二帧率，以及确定所述第二帧率对应的第一插帧策略，所述第二帧率大于所述第一帧率。
在本申请的一实现方式中，应用于视频播放场景、视频通话场景、游戏场景。
需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。
请参阅图5，图5是本申请实施例提供的一种插帧处理装置，应用于电子设备，该装置包括：
策略确定单元501，用于确定第一图像文件的第一帧率对应的第一插帧策略；
显示单元502，用于显示所述第一图像文件，所述第一图像文件包括多帧图像；
插帧处理单元503，用于在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，其中，所述第一插帧策略用于指示在当前帧图像后插入过渡帧图像，指示所述过渡帧图像为所述当前帧图像，指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，以及指示在显示图像文件时基于所述过渡帧图像的运动矢量插入所述过渡帧图像，所述N为大于1的整数。
可以看出，在本申请实施例中，首先确定第一图像文件的第一帧率对应的第一插帧策略，然后显示所述第一图像文件，最后在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，由于对图像文件进行插帧处理，提升了图像文件的帧率，进而提升图像文件的显示流畅度，另外由于插入的过渡帧图像的运动矢量是基于过渡帧图像的前几帧图像的运动矢量预估的，即基于当前已知的信息进行预估，进而减少及时场景下的延迟问题。
在本申请的一实现方式中，所述第一插帧策略还用于指示在所述过渡帧图像的前一帧图像为图像文件的首帧图像时，所述过渡帧图像的运动矢量为所述首帧图像的运动矢量。
在本申请的一实现方式中，所述第一插帧策略还用于指示在所述过渡帧图像的前一帧图像为图像文件的首帧图像时，所述过渡帧图像的运动矢量是基于所述首帧图像的运动矢量和设定运动矢量预估的。
在本申请的一实现方式中，所述N等于2，所述指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，包括：基于所述过渡帧图像的前两帧图像的运动矢量预估所述过渡帧图像的运动矢量。
在本申请的一实现方式中，所述N大于2，所述指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，包括：
基于所述过渡帧图像的前两帧图像的运动矢量预估得到第一运动矢量；
基于所述过渡帧图像的前N帧图像的运动矢量预估得到第二运动矢量；
基于所述第一运动矢量和所述第二运动矢量预估所述过渡帧图像的运动矢量。
在本申请的一实现方式中，所述确定第一图像文件的第一帧率对应的第一插帧策略，包括：
基于所述第一帧率确定所述第一图像文件在当前应用场景下需要的第二帧率，以及确定所述第二帧率对应的第一插帧策略，所述第二帧率大于所述第一帧率。
在本申请的一实现方式中，应用于视频播放场景、视频通话场景、游戏场景。
本申请实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上述方法实施例中电子设备所描述的部分或全部步骤。
本申请实施例还提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法中电子设备所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例所描述的方法或者算法的步骤可以以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read OnlyMemory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于接入网设备、目标网络设备或核心网设备中。当然，处理器和存储介质也可以作为分立组件存在于接入网设备、目标网络设备或核心网设备中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(DigitalVideo Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。

Claims (15)

1.一种插帧处理方法，其特征在于，应用于电子设备，所述方法包括：
确定第一图像文件的第一帧率对应的第一插帧策略；
显示所述第一图像文件，所述第一图像文件包括多帧图像；
在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，其中，所述第一插帧策略用于指示在当前帧图像后插入过渡帧图像，指示所述过渡帧图像为所述当前帧图像，指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，以及指示在显示图像文件时基于所述过渡帧图像的运动矢量插入所述过渡帧图像，所述N为大于1的整数。
2.根据权利要求1所述的方法，其特征在于，所述第一插帧策略还用于指示在所述过渡帧图像的前一帧图像为图像文件的首帧图像时，所述过渡帧图像的运动矢量为所述首帧图像的运动矢量。
3.根据权利要求1所述的方法，其特征在于，所述第一插帧策略还用于指示在所述过渡帧图像的前一帧图像为图像文件的首帧图像时，所述过渡帧图像的运动矢量是基于所述首帧图像的运动矢量和设定运动矢量预估的。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述N等于2，所述指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，包括：基于所述过渡帧图像的前两帧图像的运动矢量预估所述过渡帧图像的运动矢量。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述N大于2，所述指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，包括：
基于所述过渡帧图像的前两帧图像的运动矢量预估得到第一运动矢量；
基于所述过渡帧图像的前N帧图像的运动矢量预估得到第二运动矢量；
基于所述第一运动矢量和所述第二运动矢量预估所述过渡帧图像的运动矢量。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述确定第一图像文件的第一帧率对应的第一插帧策略，包括：
基于所述第一帧率确定所述第一图像文件在当前应用场景下需要的第二帧率，以及确定所述第二帧率对应的第一插帧策略，所述第二帧率大于所述第一帧率。
7.根据权利要求4所述的方法，其特征在于，所述确定第一图像文件的第一帧率对应的第一插帧策略，包括：
基于所述第一帧率确定所述第一图像文件在当前应用场景下需要的第二帧率，以及确定所述第二帧率对应的第一插帧策略，所述第二帧率大于所述第一帧率。
8.根据权利要求5所述的方法，其特征在于，所述确定第一图像文件的第一帧率对应的第一插帧策略，包括：
基于所述第一帧率确定所述第一图像文件在当前应用场景下需要的第二帧率，以及确定所述第二帧率对应的第一插帧策略，所述第二帧率大于所述第一帧率。
9.根据权利要求1-3任一项所述的方法，其特征在于，应用于视频播放场景、视频通话场景、游戏场景。
10.根据权利要求4所述的方法，其特征在于，应用于视频播放场景、视频通话场景、游戏场景。
11.根据权利要求5所述的方法，其特征在于，应用于视频播放场景、视频通话场景、游戏场景。
12.根据权利要求6所述的方法，其特征在于，应用于视频播放场景、视频通话场景、游戏场景。
13.一种插帧处理装置，其特征在于，应用于电子设备，所述装置包括：
策略确定单元，用于确定第一图像文件的第一帧率对应的第一插帧策略；
显示单元，用于显示所述第一图像文件，所述第一图像文件包括多帧图像；
插帧处理单元，用于在显示所述第一图像文件的过程中，基于所述第一插帧策略进行插帧处理，其中，所述第一插帧策略用于在当前帧图像后插入过渡帧图像，指示所述过渡帧图像为所述当前帧图像，指示基于所述过渡帧图像的前N帧图像的运动矢量预估所述过渡帧图像的运动矢量，以及指示在显示图像文件时基于所述过渡帧图像的运动矢量插入所述过渡帧图像，所述N为大于1的整数。
14.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-12任一项所述的方法中的步骤的指令。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行，以实现如权利要求1-12任一项所述的方法。
CN201911377597.0A 2019-12-27 2019-12-27 插帧处理方法及相关设备 Active CN111147787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911377597.0A CN111147787B (zh) 2019-12-27 2019-12-27 插帧处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911377597.0A CN111147787B (zh) 2019-12-27 2019-12-27 插帧处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN111147787A CN111147787A (zh) 2020-05-12
CN111147787B true CN111147787B (zh) 2021-05-04

Family

ID=70520963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911377597.0A Active CN111147787B (zh) 2019-12-27 2019-12-27 插帧处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN111147787B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813490A (zh) * 2020-08-14 2020-10-23 Oppo广东移动通信有限公司 插帧处理方法及装置
CN112004086B (zh) * 2020-08-21 2022-11-11 Oppo广东移动通信有限公司 视频数据处理方法及装置
CN112788235B (zh) * 2020-12-31 2022-01-28 深圳追一科技有限公司 图像处理方法、装置、终端设备及计算机可读取存储介质
CN112866612B (zh) * 2021-03-10 2023-02-21 北京小米移动软件有限公司 插帧方法、装置、终端及计算机可读存储介质
CN113891158B (zh) * 2021-10-26 2024-07-19 维沃移动通信有限公司 视频播放方法、装置、系统、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101516031A (zh) * 2008-02-19 2009-08-26 索尼株式会社 图像处理装置,图像处理方法和程序
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置
CN101621693A (zh) * 2009-07-31 2010-01-06 重庆大学 一种结合目标分割和不规则块补偿的帧频提升方法
CN106993108A (zh) * 2017-04-07 2017-07-28 上海顺久电子科技有限公司 一种确定视频图像在运动估计中的随机量的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1947152A (zh) * 2004-04-09 2007-04-11 索尼株式会社 图像处理方法和设备、记录介质、及程序
JP2008135980A (ja) * 2006-11-28 2008-06-12 Toshiba Corp 補間フレーム作成方法および補間フレーム作成装置
JP4869045B2 (ja) * 2006-11-30 2012-02-01 株式会社東芝 補間フレーム作成方法および補間フレーム作成装置
KR100809354B1 (ko) * 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
US8477848B1 (en) * 2008-04-22 2013-07-02 Marvell International Ltd. Picture rate conversion system architecture
CN102111613B (zh) * 2009-12-28 2012-11-28 中国移动通信集团公司 图像处理方法和装置
GB2512829B (en) * 2013-04-05 2015-05-27 Canon Kk Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
GB2518603B (en) * 2013-09-18 2015-08-19 Imagination Tech Ltd Generating an output frame for inclusion in a video sequence
CN113766313B (zh) * 2019-02-26 2024-03-05 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101516031A (zh) * 2008-02-19 2009-08-26 索尼株式会社 图像处理装置,图像处理方法和程序
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置
CN101621693A (zh) * 2009-07-31 2010-01-06 重庆大学 一种结合目标分割和不规则块补偿的帧频提升方法
CN106993108A (zh) * 2017-04-07 2017-07-28 上海顺久电子科技有限公司 一种确定视频图像在运动估计中的随机量的方法和装置

Also Published As

Publication number Publication date
CN111147787A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111147787B (zh) 插帧处理方法及相关设备
CN110933315B (zh) 图像数据处理方法及相关设备
WO2021175055A1 (zh) 视频处理方法及相关装置
CN106778773B (zh) 图片中目标物的定位方法及装置
CN106657780B (zh) 图像预览方法和装置
US10212386B2 (en) Method, device, terminal device, and storage medium for video effect processing
CN110691259B (zh) 视频播放方法、系统、装置、电子设备及存储介质
CN107888984B (zh) 短视频播放方法及装置
CN106033397B (zh) 内存缓冲区调整方法、装置及终端
WO2023160617A9 (zh) 视频插帧处理方法、视频插帧处理装置和可读存储介质
CN112367559B (zh) 视频展示方法、装置、电子设备、服务器及存储介质
CN111601032A (zh) 一种拍摄方法、装置及电子设备
CN110827314B (zh) 单目标跟踪方法及相关设备
CN112261472A (zh) 短视频生成方法及相关设备
KR20150085919A (ko) 영상 처리 방법 및 그 전자 장치
CN111654637A (zh) 对焦方法、对焦装置及终端设备
CN115278047A (zh) 拍摄方法、装置、电子设备和存储介质
WO2024187645A1 (zh) 处理方法、处理设备及存储介质
CN110806912B (zh) 界面处理方法及相关设备
US20130188069A1 (en) Methods and apparatuses for rectifying rolling shutter effect
CN112866612B (zh) 插帧方法、装置、终端及计算机可读存储介质
CN115514860A (zh) 动态帧率补偿方法、图像处理电路和电子设备
EP4007382A1 (en) Method for disconnecting wifi network and related device
CN116385260A (zh) 图像处理方法、装置、芯片、电子设备及介质
CN114140389A (zh) 视频检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant