CN110933315B - 图像数据处理方法及相关设备 - Google Patents

Abstract

本申请公开了一种图像数据处理方法及相关设备，应用于包括显示屏和摄像模组的电子设备，方法包括：基于显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，所述采样帧率小于第一值，所述第一值为所述第一刷新帧率与所述第一播放倍速的比值；控制摄像模组基于所述采样帧率进行数据采集，得到第一视频数据；基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略；基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据。采用本申请实施例可在保证流畅的慢镜头播放效果下，提高画面成像质量。

Description

图像数据处理方法及相关设备

技术领域

本申请涉及电子技术领域，尤其涉及一种图像数据处理方法及相关设备。

背景技术

当前的电子设备(如智能手机、平板电脑等)产品，越来越多的支持高速摄像(即慢镜头拍摄)功能。目前，在显示屏的刷新帧率为60fps，播放倍速为1/16的前提下，要得到流畅的慢放镜头播放效果，采样设备的采样帧率需要大于或等于960fps，在该情况下，相邻两帧图像的摄像间隔时长仅为1.04ms，对于采样设备而言，曝光量不足，影响画面成像质量。

发明内容

本申请实施例提供一种图像数据处理方法及相关设备，用于在保证流畅的慢镜头播放效果下，提高画面成像质量。

第一方面，本申请实施例提供一种图像数据处理方法，应用于包括显示屏和摄像模组的电子设备，所述方法包括：

基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，所述采样帧率小于第一值，所述第一值为所述第一刷新帧率与所述第一播放倍速的比值；

控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据；

基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略；

基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据。

第二方面，本申请实施例提供一种图像数据处理装置，应用于包括显示屏和摄像模组的电子设备，所述装置包括：

采样帧率确定单元，用于基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，所述采样帧率小于第一值，所述第一值为所述第一刷新帧率与所述第一播放倍速的比值；

数据采集单元，用于控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据；

插帧策略确定单元，用于基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略；

插帧处理单元，用于基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口、显示屏、摄像模组，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面所述的方法中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质用于存储计算机程序，上述计算机程序被处理器执行，以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，在本申请实施例中，先基于显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，采样帧率小于第一刷新帧率与第一播放倍速的比值，然后控制摄像模组基于该采样帧率进行数据采集，得到第一视频数据，再然后确定采样帧率、第一播放倍速和第一刷新频率对应的第一插帧策略，最后基于该第一插帧策略对第一视频数据进行插帧处理，得到第二视频数据。由于采样帧率小于第一值，即采样帧率低于流畅的慢镜头播放效果所需要的采样帧率，进而增长了相邻两帧图像的摄像间隔时长，提高了曝光量，最终提高画面成像质量。另外，由于采样帧率降低，导致单位时间内采集到的图像数量小于流畅的慢镜头播放效果所需要的图像数量，因此通过对采样视频数据进行插帧处理，以补齐丢失的图像帧，进而实现了流畅的慢镜头播放效果。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种电子设备的结构示意图；

图2A是本申请实施例提供的一种图像数据处理方法的流程示意图；

图2B是本申请实施例提供的一种数据采集的示意图；

图2C是本申请实施例提供的一种摄像模组的示意图；

图2D是本申请实施例提供的另一种数据采集的示意图；

图2E是本申请实施例提供的一种插帧示意图；

图2F是本申请实施例提供的另一种插帧示意图；

图3是本申请实施例提供的另一种图像数据处理方法的流程示意图；

图4是本申请实施例提供的另一种电子设备的结构示意图；

图5是是本申请实施例提供的一种图像数据处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

以下分别进行详细说明。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。

如图1所示，图1是本申请实施例提供的一种电子设备的结构示意图。该电子设备包括处理器、存储器、随机存取存储器(Random Access Memory，RAM)、显示屏、摄像模组和插帧芯片(Integrated Circuit Chip，IC)。其中，存储器、RAM、显示屏、摄像模组和插帧IC均与处理器连接。

进一步地，电子设备还包括扬声器、麦克风、通信接口、信号处理器和传感器，扬声器、麦克风、信号处理器和传感器均与处理器连接，通信接口与信号处理器连接。

其中，显示屏可以是液晶显示器(Liquid Crystal Display，LCD)、有机或无机发光二极管(Organic Light-Emitting Diode，OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode，AMOLED)等。

其中，该摄像模组可以是普通摄像头、也可以是红外摄像，在此不作限定。该摄像模组头可以是前置摄像头或后置摄像头，在此不作限定。

其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外接近传感器、指纹传感器、压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。

其中，处理器包括应用处理器(Adjunct Processor，AP)，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

其中，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的软体程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，插帧IC包括视频数据回读单元。

下面对本申请实施例进行详细介绍。

请参见图2A，图2A是本申请实施例提供的一种图像数据处理方法的流程示意图，应用于上述电子设备，该方法包括：

步骤201：基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，所述采样帧率小于第一值，所述第一值为所述第一刷新帧率与所述第一播放倍速的比值。

具体地，在第一刷新帧率和第一播放倍速下，目前为了获得流畅的慢镜头播放效果，采样帧率需要大于或等于第一值。举例来说，假设第一刷新帧率为60hz，第一播放倍速为1/16，要获得流畅的慢镜头播放效果，采样帧率需大于或等于960fps，在采样帧率为960fps下，相邻两帧图像的摄像间隔时长仅为1.04ms，对于摄像模组而言，曝光量不足，影响画面成像质量。而在本申请实施例中，降低采样帧率，以提高曝光量，进而提升画面成像质量。

其中，所述目标视频为高速摄像得到的视频。

其中，在播放目标视频时，显示屏可使用的刷新帧率有一个或多个。在播放目标视频时，显示屏使用的刷新帧率例如有50hz、60hz、90hz、120hz或是其他值。在播放目标视频时，显示屏可使用的播放倍速有一个或多个。在播放目标视频时，显示屏使用的播放倍速例如有1/16、1/8、1/4或是其他值。

可选地，若在播放目标视频时，显示屏可使用的刷新帧率有多个，则所述第一刷新帧率为在上一次播放目标视频时显示屏使用的刷新帧率，或者所述第一刷新帧率为在播放目标视频时显示屏使用的设定刷新帧率，或者，所述第一刷新帧率为在播放目标视频时显示屏经常使用的刷新帧率。

可选地，若在播放目标视频时，显示屏可使用的刷新帧率有多个，则所述第一播放倍速为在上一次播放目标视频时显示屏使用的播放倍速，或者所述第一播放倍速为在播放目标视频时显示屏使用的设定播放倍速，或者，所述第一播放倍速为在播放目标视频时显示屏经常使用的播放倍速。

在本申请的一实现方式中，所述基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，包括：

基于第一公式、所述第一刷新帧率和所述第一播放倍速，确定目标视频的采样帧率；

其中，所述第一公式为：F1*K＝F2/V，所述F1为采样帧率，K为大于1的固定值，所述F2为刷新帧率，所述V为播放倍速。

举例来说，假设第一刷新帧率为60hz，第一播放倍速为960fps，K＝4，那么采样帧率＝240fps。

步骤202：控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据。

在本申请的一实现方式中，所述控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据，包括：

基于所述采样帧率确定相邻两帧图像的第一摄像间隔时长；

控制所述摄像模组基于所述第一摄像间隔时长进行数据采集，得到第一视频数据。

具体地，第一摄像间隔时长＝1000ms/采样帧率。举例来说，假设采样帧率为240fps，那么第一摄像间隔时长＝4.17ms。举例来说，在采样帧率为240fps下，进行数据采集的示意图如图2B所示。

在本申请的一实现方式中，所述控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据，包括：

将所述摄像模组划分为N个摄像子模组，以及基于所述采样帧率确定相邻两帧图像的第二摄像间隔时长，每个所述摄像子模组包括的像素个数相同，每个所述摄像子模组对应一个摄像起始时刻，不同的所述摄像子模组对应的所述摄像起始时刻不同，所述N为大于1的整数；

控制每个所述摄像子模组基于其对应的所述摄像起始时刻和所述第二摄像间隔时长进行数据采集，得到第一视频数据。

具体地，第一摄像间隔时长＝1000ms/采样帧率。举例来说，假设采样帧率为240fps，那么第一摄像间隔时长＝4.17ms。举例来说，假设N＝2，将摄像模组划分为2个摄像子模组，如摄像子模组1和摄像子模组2，摄像子模组1包括的像素为图2C中的灰色像素，摄像子模组2包括的像素为图2C中的白色像素，假如采样帧率为240fps，摄像子模组1的摄像起始时刻为当前时刻，摄像子模组2的摄像起始时刻与摄像子模组1的摄像起始时刻相差2.08ms，在该种情况下，进行数据采集的示意图如图2D所示。

步骤203：基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略。

在本申请的一实现方式中，所述基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略，包括：

基于第一映射关系、所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略，所述第一映射关系是采样帧率、播放倍速、刷新帧率和插帧策略的映射关系。第一映射关系如表1所示。

表1

采样帧率	播放倍速	刷新帧率	插帧策略
				240fps	1/16	60hz	插帧策略1
240fps	1/8	60hz	插帧策略2
				480fps	1/16	60hz	插帧策略2
360fps	1/16	90hz	插帧策略3
				……	……	……	……

其中，插帧策略用于指示目标视频中的任意相邻两帧图像之间需要插入的过渡帧图像为其对应的所述相邻两帧图像中摄像时刻较早的图像，以及指示所述过渡帧图像在其对应的所述相邻两帧图像之间的位置。

举例来说，插帧策略1用于指示目标视频中的任意相邻两帧图像之间需要插入3帧过渡帧图像，所述3帧过渡帧图像为其对应的所述相邻两帧图像中摄像时刻较早的过渡帧图像，那么所述3帧过渡帧分别位于其对应的所述相邻两帧图像之间的1/4时间位置处、2/4时间位置处和3/4时间位置处。

举例来说，假设第一视频数据包括4帧图像帧，这4帧图像帧的排列顺序有图像帧A-图像帧B-图像帧C-图像帧D，假如基于插帧策略1对第一视频数据进行插帧处理，那么得到的第二视频数据包括13帧图像帧，这13帧图像帧的排列顺序有图像帧A-图像帧A-图像帧A-图像帧A-图像帧B-图像帧B-图像帧B-图像帧B-图像帧C-图像帧C-图像帧C-图像帧C-图像帧D，具体如图2E所示。

在本申请的一实现方式中，所述N小于第二值，所述第二值为所述第一值与所述采样帧率的比值；所述基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略，包括：

基于所述采样帧率、所述第一播放倍速、所述第一刷新频率和所述N确定第一插帧策略。

进一步地，所述基于所述采样帧率、所述第一播放倍速、所述第一刷新频率和所述N确定第一插帧策略，包括：

基于第二映射关系、所述采样帧率、所述第一播放倍速、所述第一刷新频率和所述N确定第一插帧策略，所述第二映射关系是采样帧率、播放倍速、刷新帧率、数值和插帧策略的映射关系。第二映射关系如表2所示。

表2

采样帧率	播放倍速	刷新帧率	数值	插帧策略
					240fps	1/16	60hz	2	插帧策略2
360fps	1/16	90hz	2	插帧策略4
					240fps	1/16	120	4	插帧策略5
……	……	……	……	……

举例来说，插帧策略2用于指示相邻两帧图像之间需要插入1帧过渡帧图像，所述1帧过渡帧图像均为所述相邻两帧图像中摄像时刻较早的过渡帧图像，所述1帧过渡帧分别位于所述相邻两帧图像之间的1/2时间位置处。

举例来说，假设将摄像模组划分为2个摄像子模组，如摄像子模组1和摄像子模组2，摄像子模组1的摄像起始时刻为当前时刻，摄像子模组2的摄像起始时刻与摄像子模组1的摄像起始时刻相差2.08ms，假如在采样帧率为240fps下，摄像子模组1进行数据采集得到的图像有图像帧A-图像帧C-图像帧E，摄像子模组2进行数据采集得到的图像有图像帧B-图像帧D-图像帧F，那么第一视频数据包括6帧图像帧，这6帧图像帧的排列顺序有图像帧A-图像帧B-图像帧C-图像帧D-图像帧E-图像帧F，假如基于插帧策略2对第一视频数据进行插帧处理，那么得到的第二视频数据包括11帧图像帧，这11帧图像帧的排列顺序有图像帧A-图像帧A-图像帧B-图像帧B-图像帧C-图像帧C-图像帧D-图像帧D-图像帧E-图像帧E-图像帧F，具体如图2F所示。

步骤204：基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据。

其中，第二视频数据包括的任意相邻两帧图像的摄像间隔时长等于第三值，所述第三值为1与所述第一值的比值，第一视频数据包括的任意相邻两帧图像的摄像间隔时长等于第四值，所述第四值为1与所述采样帧率的比值，第三值小于第四值。举例来说，假设采样帧率为240fps，第一值为960fps，那么第四值＝4.17ms，第三值＝1.04ms。

在本申请的一实现方式中，所述基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，所述方法还包括：

将所述第二视频数据与所述第一视频数据、所述第一刷新帧率和所述第一播放倍速进行关联存储。

可以看出，在本申请实施例中，将插帧处理得到的视频数据进行关联存储，这样可在之后的慢速播放中，无需再次进行插帧处理，进而降低电子设备的功耗。

在本申请的一实现方式中，所述基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，所述方法还包括：

若检测到针对所述第一视频数据的播放指令，所述显示屏当前播放目标视频使用的刷新帧率为所述第一刷新帧率，以及所述显示屏当前播放目标视频使用的播放倍速为所述第一播放倍速，则控制所述显示屏播放所述第二视频数据。

在本申请的一实现方式中，所述基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，所述方法还包括：

若检测到针对所述第一视频数据的播放指令，所述显示屏当前播放目标视频使用的刷新帧率为第二刷新帧率，以及所述显示屏当前播放目标视频使用的播放倍速为第二播放倍速，则基于所述采样帧率、所述第二播放倍速和所述第二刷新频率确定第二插帧策略；

基于所述第二插帧策略对所述第一视频数据进行插帧处理，得到第三视频数据；

控制所述显示屏播放所述第三视频数据。

进一步地，所述基于所述第二插帧策略对所述第一视频数据进行插帧处理，得到第三视频数据之后，所述方法还包括：

将所述第三视频数据与所述第一视频数据、所述第二刷新帧率和所述第二播放倍速进行关联存储。

在本申请的一实现方式中，所述基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，所述方法还包括：

若检测到针对所述第一视频数据的播放指令，所述显示屏当前播放目标视频使用的刷新帧率为第二刷新帧率，以及所述显示屏当前播放目标视频使用的播放倍速为所述第一播放倍速，则基于所述采样帧率、所述第一播放倍速和所述第二刷新频率确定得到第三插帧策略；

基于所述第三插帧策略对所述第一视频数据进行插帧处理，得到第四视频数据；

控制所述显示屏播放所述第四视频数据。

进一步地，所述基于所述第三插帧策略对所述第一视频数据进行插帧处理，得到第四视频数据之后，所述方法还包括：

将所述第四视频数据与所述第一视频数据、所述第二刷新帧率和所述第一播放倍速进行关联存储。

在本申请的一实现方式中，所述基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，所述方法还包括：

若检测到针对所述第一视频数据的播放指令，所述显示屏当前播放目标视频使用的刷新帧率为所述第一刷新帧率，以及所述显示屏当前播放目标视频使用的播放倍速为第二播放倍速，则基于所述采样帧率、所述第二播放倍速和所述第一刷新频率确定得到第四插帧策略；

基于所述第四插帧策略对所述第一视频数据进行插帧处理，得到第五视频数据；

控制所述显示屏播放所述第五视频数据。

进一步地，所述基于所述第四插帧策略对所述第一视频数据进行插帧处理，得到第五视频数据之后，所述方法还包括：

将所述第五视频数据与所述第一视频数据、所述第一刷新帧率和所述第二播放倍速进行关联存储。

可以看出，在本申请实施例中，先基于显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，采样帧率小于第一刷新帧率与第一播放倍速的比值，然后控制摄像模组基于该采样帧率进行数据采集，得到第一视频数据，再然后确定采样帧率、第一播放倍速和第一刷新频率对应的第一插帧策略，最后基于该第一插帧策略对第一视频数据进行插帧处理，得到第二视频数据。由于采样帧率小于第一值，即采样帧率低于流畅的慢镜头播放效果所需要的采样帧率，进而增长了相邻两帧图像的摄像间隔时长，提高了曝光量，最终提高画面成像质量。另外，由于采样帧率降低，导致单位时间内采集到的图像数量小于流畅的慢镜头播放效果所需要的图像数量，因此通过对采样视频数据进行插帧处理，以补齐丢失的图像帧，进而实现了流畅的慢镜头播放效果。

需要说明的是，在本申请中，确定插帧策略和进行插帧处理是通过插帧IC实现的。另外，在将插帧处理得到的视频数据进行关联存储之前，视频数据回读单元先将插帧处理得到的视频数据传递给电子设备的处理器，以使得电子设备的处理器将插帧处理得到的视频数据进行关联存储。

请参阅图3，图3是本申请实施例提供的另一种图像数据处理方法，应用于电子设备，具体包括以下步骤：

步骤301：基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，所述采样帧率小于第一值，所述第一值为所述第一刷新帧率与所述第一播放倍速的比值。

步骤302：控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据。

步骤303：基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略。

步骤304：基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据。

步骤305：将所述第二视频数据与所述第一视频数据、所述第一刷新帧率和所述第一播放倍速进行关联存储。

步骤306：若检测到针对所述第一视频数据的播放指令，所述显示屏当前播放目标视频使用的刷新帧率为第二刷新帧率，以及所述显示屏当前播放目标视频使用的播放倍速为第二播放倍速，则基于所述采样帧率、所述第二播放倍速和所述第二刷新频率确定第二插帧策略。

步骤307：基于所述第二插帧策略对所述第一视频数据进行插帧处理，得到第三视频数据。

步骤308：控制所述显示屏播放所述第三视频数据。

需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。

请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，如图所示，该电子设备包括处理器、存储器、通信接口、显示屏、摄像模组以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：

基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，所述采样帧率小于第一值，所述第一值为所述第一刷新帧率与所述第一播放倍速的比值；

控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据；

基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略；

基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据。

可以看出，在本申请实施例中，先基于显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，采样帧率小于第一刷新帧率与第一播放倍速的比值，然后控制摄像模组基于该采样帧率进行数据采集，得到第一视频数据，再然后确定采样帧率、第一播放倍速和第一刷新频率对应的第一插帧策略，最后基于该第一插帧策略对第一视频数据进行插帧处理，得到第二视频数据。由于采样帧率小于第一值，即采样帧率低于流畅的慢镜头播放效果所需要的采样帧率，进而增长了相邻两帧图像的摄像间隔时长，提高了曝光量，最终提高画面成像质量。另外，由于采样帧率降低，导致单位时间内采集到的图像数量小于流畅的慢镜头播放效果所需要的图像数量，因此通过对采样视频数据进行插帧处理，以补齐丢失的图像帧，进而实现了流畅的慢镜头播放效果。

在本申请的一实现方式中，在控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据方面，上述程序包括具体用于执行以下步骤的指令：

基于所述采样帧率确定相邻两帧图像的第一摄像间隔时长；

控制所述摄像模组基于所述第一摄像间隔时长进行数据采集，得到第一视频数据。

在本申请的一实现方式中，在控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据方面，上述程序包括具体用于执行以下步骤的指令：

将所述摄像模组划分为N个摄像子模组，以及基于所述采样帧率确定相邻两帧图像的第二摄像间隔时长，每个所述摄像子模组包括的像素个数相同，每个所述摄像子模组对应一个摄像起始时刻，不同的所述摄像子模组对应的所述摄像起始时刻不同，所述N为大于1的整数；

控制每个所述摄像子模组基于其对应的所述摄像起始时刻和所述第二摄像间隔时长进行数据采集，得到第一视频数据。

在本申请的一实现方式中，所述N小于第二值，所述第二值为所述第一值与所述采样帧率的比值；在基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略方面，上述程序包括具体用于执行以下步骤的指令：

基于所述采样帧率、所述第一播放倍速、所述第一刷新频率和所述N确定第一插帧策略。

在本申请的一实现方式中，在基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率方面，上述程序包括具体用于执行以下步骤的指令：

基于第一公式、所述第一刷新帧率和所述第一播放倍速，确定目标视频的采样帧率；

其中，所述第一公式为：F1*K＝F2/V，所述F1为采样帧率，K为大于1的固定值，所述F2为刷新帧率，所述V为播放倍速。

在本申请的一实现方式中，在基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，上述程序包括还用于执行以下步骤的指令：

将所述第二视频数据与所述第一视频数据、所述第一刷新帧率和所述第一播放倍速进行关联存储。

在本申请的一实现方式中，在基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，上述程序包括还用于执行以下步骤的指令：

若检测到针对所述第一视频数据的播放指令，所述显示屏当前播放目标视频使用的刷新帧率为第二刷新帧率，以及所述显示屏当前播放目标视频使用的播放倍速为第二播放倍速，则基于所述采样帧率、所述第二播放倍速和所述第二刷新频率确定第二插帧策略；

基于所述第二插帧策略对所述第一视频数据进行插帧处理，得到第三视频数据；

控制所述显示屏播放所述第三视频数据。

需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。

请参阅图5，图5是本申请实施例提供的一种图像数据处理装置，应用于包括显示屏和摄像模组的电子设备，该装置包括：

采样帧率确定单元501，用于基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，所述采样帧率小于第一值，所述第一值为所述第一刷新帧率与所述第一播放倍速的比值；

数据采集单元502，用于控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据；

插帧策略确定单元503，用于基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略；

插帧处理单元504，用于基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据。

可以看出，在本申请实施例中，先基于显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，采样帧率小于第一刷新帧率与第一播放倍速的比值，然后控制摄像模组基于该采样帧率进行数据采集，得到第一视频数据，再然后确定采样帧率、第一播放倍速和第一刷新频率对应的第一插帧策略，最后基于该第一插帧策略对第一视频数据进行插帧处理，得到第二视频数据。由于采样帧率小于第一值，即采样帧率低于流畅的慢镜头播放效果所需要的采样帧率，进而增长了相邻两帧图像的摄像间隔时长，提高了曝光量，最终提高画面成像质量。另外，由于采样帧率降低，导致单位时间内采集到的图像数量小于流畅的慢镜头播放效果所需要的图像数量，因此通过对采样视频数据进行插帧处理，以补齐丢失的图像帧，进而实现了流畅的慢镜头播放效果。

在本申请的一实现方式中，在控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据方面，上述数据采集单元502具体用于：

基于所述采样帧率确定相邻两帧图像的第一摄像间隔时长；

控制所述摄像模组基于所述第一摄像间隔时长进行数据采集，得到第一视频数据。

在本申请的一实现方式中，在控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据方面，上述数据采集单元502具体用于：

将所述摄像模组划分为N个摄像子模组，以及基于所述采样帧率确定相邻两帧图像的第二摄像间隔时长，每个所述摄像子模组包括的像素个数相同，每个所述摄像子模组对应一个摄像起始时刻，不同的所述摄像子模组对应的所述摄像起始时刻不同，所述N为大于1的整数；

控制每个所述摄像子模组基于其对应的所述摄像起始时刻和所述第二摄像间隔时长进行数据采集，得到第一视频数据。

在本申请的一实现方式中，所述N小于第二值，所述第二值为所述第一值与所述采样帧率的比值；在基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略方面，上述插帧策略确定单元503具体用于：

基于所述采样帧率、所述第一播放倍速、所述第一刷新频率和所述N确定第一插帧策略。

在本申请的一实现方式中，在基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率方面，上述采样帧率确定单元501具体用于：

基于第一公式、所述第一刷新帧率和所述第一播放倍速，确定目标视频的采样帧率；

其中，所述第一公式为：F1*K＝F2/V，所述F1为采样帧率，K为大于1的固定值，所述F2为刷新帧率，所述V为播放倍速。

在本申请的一实现方式中，所述装置还包括：

存储单元505，用于在基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，将所述第二视频数据与所述第一视频数据、所述第一刷新帧率和所述第一播放倍速进行关联存储。

在本申请的一实现方式中，在基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，插帧策略确定单元503，还用于若检测到针对所述第一视频数据的播放指令，所述显示屏当前播放目标视频使用的刷新帧率为第二刷新帧率，以及所述显示屏当前播放目标视频使用的播放倍速为第二播放倍速，则基于所述采样帧率、所述第二播放倍速和所述第二刷新频率确定第二插帧策略；

插帧处理单元504，还用于基于所述第二插帧策略对所述第一视频数据进行插帧处理，得到第三视频数据；

所述装置还包括：

视频播放单元506，用于控制所述显示屏播放所述第三视频数据。

需要说明的是，采样帧率确定单元501、数据采集单元502、插帧策略确定单元503、插帧处理单元504、存储单元505和视频播放单元506可以通过处理器实现。

本申请实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上述方法实施例中电子设备所描述的部分或全部步骤。

本申请实施例还提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法中电子设备所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

本申请实施例所描述的方法或者算法的步骤可以以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read OnlyMemory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于接入网设备、目标网络设备或核心网设备中。当然，处理器和存储介质也可以作为分立组件存在于接入网设备、目标网络设备或核心网设备中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(DigitalVideo Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。

以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。

Claims (10)

1.一种图像数据处理方法，其特征在于，应用于包括显示屏和摄像模组的电子设备，所述方法包括：

基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，所述采样帧率小于第一值，所述第一值为所述第一刷新帧率与所述第一播放倍速的比值，所述第一播放倍速小于1；

控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据；

基于第一映射关系、所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略，所述第一映射关系是采样帧率、播放倍速、刷新帧率和插帧策略的映射关系；

基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据。

2.根据权利要求1所述的方法，其特征在于，所述控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据，包括：

基于所述采样帧率确定相邻两帧图像的第一摄像间隔时长；

控制所述摄像模组基于所述第一摄像间隔时长进行数据采集，得到第一视频数据。

3.根据权利要求1所述的方法，其特征在于，所述控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据，包括：

将所述摄像模组划分为N个摄像子模组，以及基于所述采样帧率确定相邻两帧图像的第二摄像间隔时长，每个所述摄像子模组包括的像素个数相同，每个所述摄像子模组对应一个摄像起始时刻，不同的所述摄像子模组对应的所述摄像起始时刻不同，所述N为大于1的整数；

控制每个所述摄像子模组基于其对应的所述摄像起始时刻和所述第二摄像间隔时长进行数据采集，得到第一视频数据。

4.根据权利要求3所述的方法，其特征在于，所述N小于第二值，所述第二值为所述第一值与所述采样帧率的比值；所述基于所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略，包括：

基于所述采样帧率、所述第一播放倍速、所述第一刷新频率和所述N确定第一插帧策略。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，包括：

基于第一公式、所述第一刷新帧率和所述第一播放倍速，确定目标视频的采样帧率；

其中，所述第一公式为：F1*K＝F2/V，所述F1为采样帧率，K为大于1的固定值，所述F2为刷新帧率，所述V为播放倍速。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，所述方法还包括：

将所述第二视频数据与所述第一视频数据、所述第一刷新帧率和所述第一播放倍速进行关联存储。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据之后，所述方法还包括：

若检测到针对所述第一视频数据的播放指令，所述显示屏当前播放目标视频使用的刷新帧率为第二刷新帧率，以及所述显示屏当前播放目标视频使用的播放倍速为第二播放倍速，则基于所述采样帧率、所述第二播放倍速和所述第二刷新频率确定第二插帧策略；

基于所述第二插帧策略对所述第一视频数据进行插帧处理，得到第三视频数据；

控制所述显示屏播放所述第三视频数据。

8.一种图像数据处理装置，其特征在于，应用于包括显示屏和摄像模组的电子设备，所述装置包括：

采样帧率确定单元，用于基于所述显示屏在播放目标视频时使用的第一刷新帧率和第一播放倍速，确定目标视频的采样帧率，所述采样帧率小于第一值，所述第一值为所述第一刷新帧率与所述第一播放倍速的比值，所述第一播放倍速小于1；

数据采集单元，用于控制所述摄像模组基于所述采样帧率进行数据采集，得到第一视频数据；

插帧策略确定单元，用于基于第一映射关系、所述采样帧率、所述第一播放倍速和所述第一刷新频率确定第一插帧策略，所述第一映射关系是采样帧率、播放倍速、刷新帧率和插帧策略的映射关系；

插帧处理单元，用于基于所述第一插帧策略对所述第一视频数据进行插帧处理，得到第二视频数据。

9.一种电子设备，其特征在于，包括处理器、存储器、通信接口、显示屏、摄像模组，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行，以实现如权利要求1-7任一项所述的方法。

Images