CN116761021A - 图像处理方法和电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法和电子设备，属于图像处理技术领域。具体方案包括：获取第一显示数据，第一显示数据为多个图层的合成数据；对第一显示数据进行第一处理，得到第二显示数据，对第二显示数据进行第二处理，得到第三显示数据；按照第三显示数据显示图像画面；其中，第一处理包括对奇数帧或偶数帧的丢帧处理，第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，第一图像帧和第二图像帧为第二显示数据中的相邻图像帧。

Description

图像处理方法和电子设备

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法和电子设备。

背景技术

随着网络直播的兴起，越来越多的用户喜欢使用直播场景中的弹幕功能与主播进行交流。为了保证弹幕滚动的流畅性，弹幕图层的帧率通常高于视频图层的帧率。

在相关技术中，电子设备的系统芯片在接收到来自应用程序的弹幕图层和视频图层后，可以先通过重复读取视频图层图像帧的方式实现视频图层与弹幕图层的帧率统一，然后再将帧率统一的两个图层进行合并，并输出至独立显示芯片进行插帧处理，得到图像显示数据，最后将该图像显示数据传输到显示屏进行显示。

然而，这种插帧方式会提高独立显示芯片的处理负担，系统功耗较高。

发明内容

本申请实施例的目的是提供一种图像处理方法和电子设备，能够解决采用系统芯片进行图像插帧，图像画面的流畅度较差的问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：获取第一显示数据，第一显示数据为多个图层的合成数据；对第一显示数据进行第一处理，得到第二显示数据，对第二显示数据进行第二处理，得到第三显示数据；按照第三显示数据显示图像画面；其中，第一处理包括对奇数帧或偶数帧的丢帧处理，第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，第一图像帧和第二图像帧为第二显示数据中的相邻图像帧。

第二方面，本申请实施例提供了一种图像处理装置，包括：获取模块、处理模块和显示模块；获取模块，用于获取第一显示数据，第一显示数据为多个图层的合成数据；处理模块，用于对第一显示数据进行第一处理，得到第二显示数据，对第二显示数据进行第二处理，得到第三显示数据；显示模块，用于按照第三显示数据显示图像画面；其中，第一处理包括对奇数帧或偶数帧的丢帧处理，第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，第一图像帧和第二图像帧为第二显示数据中的相邻图像帧。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括系统芯片、独立显示芯片、显示器以及数据传输接口；系统芯片，用于获取第一显示数据，对第一显示数据进行第一处理，得到第二显示数据，第一显示数据为多个图层的合成数据；数据传输接口，用于将第二显示数据从系统芯片传输至独立显示芯片；独立显示芯片，用于对第二显示数据进行第二处理，得到第三显示数据；显示器，用于按照第三显示数据显示图像画面；其中，第一处理包括对奇数帧或偶数帧的丢帧处理，第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，第一图像帧和第二图像帧为第二显示数据中的相邻图像帧。

第四方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第六方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第七方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，可以获取第一显示数据，第一显示数据为多个图层的合成数据；对第一显示数据进行第一处理，得到第二显示数据，对第二显示数据进行第二处理，得到第三显示数据；按照第三显示数据显示图像画面；其中，第一处理包括对奇数帧或偶数帧的丢帧处理，第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，第一图像帧和第二图像帧为第二显示数据中的相邻图像帧。通过该方案，一方面，可以在第一图像帧和第二图像帧之间插入第三图像帧，由于第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，因此插入第三图像帧可以实现相邻图像帧之间的平稳过渡，从而提高图像画面的流畅度；另一方面，由于可以先对第一显示数据的奇数帧或偶数帧进行丢帧处理，再进行插帧处理，因此，可以减轻第二处理的处理负担，从而降低系统功耗，延长设备待机时间。

附图说明

图1是本申请实施例提供的电子设备的结构示意图之一；

图2是本申请实施例提供的统一视频图层数据和弹幕图层数据的示意图；

图3是本申请实施例提供的图像处理方法的流程示意图之一；

图4是本申请实施例提供的图像处理方法的数据传输流程示意图；

图5是本申请实施例提供的图像处理方法的流程示意图之二；

图6是本申请实施例提供的数据处理流程示意图之一；

图7是本申请实施例提供的数据处理流程示意图之二；

图8是本申请实施例提供的图像处理装置的结构示意图；

图9是本申请实施例提供的电子设备的结构示意图之二；

图10是本申请实施例提供的电子设备的硬件示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面先对本申请实施例涉及的专业名词进行详细说明。

系统芯片(System on Chip，SoC)：是由多个具有特定功能的集成电路组合的系统，例如，集成电路可以包括中央处理器、图像处理器、信号处理器、内存以及调制解调器等模块。

系统服务(SurfaceFlinger)：是指安卓操作系统中的系统服务，可以用于接收多个应用程序绘制的Surface信息，并生成最终要显示在显示屏上的图像数据，以及将图像数据传递给硬件显示器。

硬件合成器(Hardware Composer，HWC)：用于为SurfaceFlinger服务提供硬件支持。SurfaceFlinger向HWC提供图层列表后，HWC可以根据其硬件能力，对图层数据进行处理。

直接渲染管理器(direct rendering manger，DRM)：是Linux内核的一个子系统，用户空间程序可以使用它向图像处理器发送命令和数据，并执行配置显示器模式设置等操作。

移动产业处理接口(Mobile Industry Processor Interface，MIPI)：用于标准化硬件和软件接口，本申请实施例中用于表示传输的显示数据。

显示串行接口(Display Serial Interface，DSI)：MIPI协议下用于显示数据的协议接口。

帧同步代码库(Frame Pacing library)：可以通过代码定义实现对图像数据的流畅性渲染和帧同步。

通用型输入输出(General purpose input/output，GPIO)：用于传输控制指令。

接收端(Receiver，RX)：用于接收要显示的内容，可按需增加端口数量。

发送端(Transport，TX)：用于发送独立显示芯片已经处理后的内容，可按需增加端口数量。

独显IP：独立显示芯片的内部功能模块，数量不固定，可依据需求进行选择。

如图1所示，本申请实施例提供了一种电子设备，该电子设备包括系统芯片100、显示器200、独立显示芯片300以及数据传输接口400。

系统芯片100可以包括应用程序101、第一图层通路102、第二图层通路103、系统服务104、硬件合成器105以及直接渲染管理器106。

数据传输接口400可以包括系统芯片100的数据发送端口DSP 0和控制端口GPIO1、独立显示芯片300的数据接收端口DSP RX和控制端口GPIO 2。数据发送端口DSP 0可以用于发送图层数据，数据接收端口DSP RX可以用于接收图层数据。控制端口GPIO 1和控制端口GPIO 2可以用于向独立显示芯片300传输系统芯片100的控制指令。

独立显示芯片300可以包括独显IP模块、显示通路1、显示通路2以及数据发送端口DSP TX。

其中，系统芯片100，可以用于获取第一显示数据，对第一显示数据进行第一处理，得到第二显示数据，第一显示数据为多个图层的合成数据；数据传输接口，用于将第二显示数据从系统芯片传输至独立显示芯片。独立显示芯片300，可以用于对第二显示数据进行第二处理，得到第三显示数据。显示器200，可以用于按照第三显示数据显示图像画面；其中，第一处理包括对奇数帧或偶数帧的丢帧处理，第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，第一图像帧和第二图像帧为第二显示数据中的相邻图像帧。

具体地，系统芯片100可以从应用程序101获取视频图层数据和弹幕图层数据，之后，系统芯片100可以通过第一图层通路102将视频图层数据发送至安卓操作系统中的系统服务104，通过第二图层通路103将弹幕图层数据发送至系统服务104，系统服务104可以将接收到的视频图层数据和弹幕图层数据进行图层合并处理得到第一显示数据，再对第一显示数据进行丢帧处理，得到第二显示数据，然后系统服务104可以将第二显示数据发送至硬件合成器105，通过硬件合成器105合成处理后将第二显示数据从直接渲染管理器106以mipi信号的形式、通过数据发送端口DSP 0传输至数据接收端口DSP RX。通过数据接收端口DSP RX传输至独立显示芯片300的第二显示数据可以直接通过显示通路1、经数据发送端口DSP TX传输至显示器200，也可以在系统芯片100发送的控制指令指示进行独显处理时，通过显示通路2、经独显IP模块进行插帧处理，得到第三显示数据后，再经数据发送端口DSPTX传输至显示器200。最后可以通过显示器200实现包括弹幕的视频播放。

需要了解的是，在图像源数据的应用场景不同的情况下，其对应的帧率也会有所差别，例如，若图像源数据为传统电影图层数据，则其帧率为24fps，若图像源数据为电视节目图层数据，则其帧率为30fps，若图像源数据为弹幕图层数据，则其帧率为60fps。若系统服务104接收到的图层数据的帧率不同，则在系统服务104进行图层合并处理之前，系统服务104需要先基于帧同步代码库的定义实现帧同步处理。

具体地，在侦测到应用程序渲染的图像帧率和显示硬件刷新率不一致时，系统服务104可以从前一帧buffer读取数据，在硬件层面的表现就是显示器200可以显示前一个图像帧。

例如，如图2所示，若视频图层数据的帧率为24fps，弹幕图层数据的帧率为60fps，则在基于60Hz的屏幕刷新率播放24fps视频时，在第1个1/60s内，系统服务104可以读取“A”buffer内容；在第2个1/60s内，系统服务104仍旧读取“A”buffer内容；在第3个1/60s内，系统服务104可以读取“B”buffer内容，在第4个1/60s内，系统服务104读取“B”buffer内容，在第5个1/60s内，系统服务104仍旧读取“B”buffer内容，到第6个1/60s内，系统服务104可以读取“C”buffer内容，以此类推直至完成所有buffer的读取。也就是说，系统服务104可以基于两次、三次、两次、三次的重复节奏来实现视频图层数据与弹幕图层数据的同步读取。

继续参考图2，若视频图层数据的帧率为30fps，弹幕图层数据的帧率为60fps，则在基于60Hz的屏幕刷新率播放30fps视频时，在第1个1/60s内，系统服务104可以读取“A”buffer内容；在第2个1/60s内，系统服务104仍旧读取“A”buffer内容；在第3个1/60s内，系统服务104可以读取“B”buffer内容，在第4个1/60s内，系统服务104读取“B”buffer内容，在第5个1/60s内，系统服务104可以读取“C”buffer内容，到第6个1/60s内，系统服务104仍可以读取“C”buffer内容，以此类推直至完成所有buffer的读取。也就是说，系统服务104可以基于两次、两次、两次的重复节奏来实现视频图层数据与弹幕图层数据的同步读取。

在本申请实施例中，由于第二显示数据可以通过数据传输接口从系统芯片传输至独立显示芯片，因此，可以实现多图层数据的单路传输，相对于多路传输，不仅可以降低功耗、避免兼容问题、降低芯片的制造成本，还可以忽略在数据传送同步性方面的考虑，降低系统调试任务的难度。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

本申请实施例提供的图像处理方法，该图像处理方法的执行主体可以为电子设备或者电子设备中能够实现该图像处理方法的功能模块或功能实体，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机、可穿戴设备等，下面以电子设备作为执行主体为例对本申请实施例提供的图像处理方法进行说明。

如图3所示，本申请实施例提供了一种图像处理方法，该方法可以包括步骤501-步骤503：

步骤501、获取第一显示数据。

其中，第一显示数据为多个图层的合成数据。

可选地，上述多个图层可以包括第一图层数据和第二图层数据，第一显示数据可以为第一图层数据与第二图层数据的合成数据。

可选地，上述第一图层数据可以为视频图层数据，上述第二图层数据可以为弹幕图层数据。该视频图层数据的来源可以为以下任一种：电影、电视、动画、直播视频等。

可选地，电子设备可以通过上述系统芯片中的系统服务将相同帧率的视频图层数据与弹幕图层数据进行图层合并处理，得到第一显示数据。

具体地，在系统服务进行图层合并处理之前，视频图层数据的帧率低于弹幕图层数据的帧率，例如，视频图层数据的帧率可以为24fps或30fps，弹幕图层数据的帧率可以为60fps。电子设备可以先通过重复读帧的方式将视频图层数据的帧率提高到60fps，再进行图层合并处理，得到帧率为60fps的第一显示数据。重复读帧的实现过程可以参考图2及上述对应文字部分的相关描述，此处不再赘述。

步骤502、对第一显示数据进行第一处理，得到第二显示数据，对第二显示数据进行第二处理，得到第三显示数据。

其中，第一处理包括对奇数帧或偶数帧的丢帧处理，第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，第一图像帧和第二图像帧为第二显示数据中的相邻图像帧。

可选地，电子设备可以通过系统芯片对第一显示数据进行第一处理，得到第二显示数据；通过独立显示芯片对第二显示数据进行第二处理，得到第三显示数据。

具体地，电子设备可以通过系统芯片中的系统服务对第一显示数据进行间隔均匀的丢帧处理，得到第二显示数据，然后将第二显示数据依次通过系统芯片中的硬件合成器、直接渲染管理器、DSIO端口传输至独立显示芯片，独立显示芯片可以通过内置的插帧算法对第二显示数据进行插帧处理，得到第三显示数据。

示例性地，如图4所示，以第一显示数据的帧率为60fps为例。独立显示芯片300的独显IP模块包括运动估计和运动补偿(Motion Estimation,Motion Compensation，MEMC)模块301。系统服务104可以通过对第一显示数据的奇数帧或偶数帧的丢帧处理，得到帧率为30fps的第二显示数据，然后系统服务104可以将帧率为30fps的第二显示数据依次通过硬件合成器105、直接渲染管理器106、DSIO端口传输至独立显示芯片300，在独立显示芯片300接收到第二显示数据后，可以通过MEMC模块301对帧率为30fps的第二显示数据进行插帧处理，得到帧率为60fps的第三显示数据。

基于上述方案，由于可以通过系统芯片对第一显示数据进行第一处理，得到第二显示数据；通过独立显示芯片对第二显示数据进行第二处理，得到第三显示数据，因此，可以在减轻独立显示芯片的处理负担的基础上，通过独立显示芯片的插帧处理提高显示数据的帧率，从而提高图像画面的显示效果。

步骤503、按照第三显示数据显示图像画面。

可选地，电子设备可以通过显示器显示第三显示数据的图像画面。

在本申请实施例中，一方面，可以在第一图像帧和第二图像帧之间插入第三图像帧，由于第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，因此插入第三图像帧可以实现相邻图像帧之间的平稳过渡，从而提高图像画面的流畅度；另一方面，由于可以先对第一显示数据的奇数帧或偶数帧进行丢帧处理，再进行插帧处理，因此，可以减轻第二处理的处理负担，从而降低系统功耗，延长设备待机时间。

可选地，在获取第一显示数据之前，电子设备可以接收待显示图层数据，该待显示图层数据至少包括第一图层数据；在待显示图层数据还包括第二图层数据的情况下，电子设备可以根据第一图层数据和第二图层数据确定第一显示数据；在待显示图层数据不包括第二图层数据的情况下，电子设备可以对第一图层数据进行插帧处理得到第四显示数据，并按照第四显示数据显示图像画面。

具体地，如图5所示，电子设备通过应用程序播放视频时，电子设备中的系统服务可以接收来自应用程序的待显示图层数据，并识别该待显示图层数据中是否包括第二图层数据，即识别视频是否开启弹幕，在待显示图层数据还包括第二图层数据的情况下，系统服务可以根据第一图层数据和第二图层数据确定第一显示数据；在待显示图层数据不包括第二图层数据的情况下，电子设备可以对第一图层数据进行插帧处理得到第四显示数据，并按照第四显示数据显示图像画面。

示例性地，以第一图层数据为30fps的视频流数据，第二图层数据为60fps的弹幕流数据为例。若电子设备识别到待显示图层数据除包括视频流数据外，还包括弹幕流数据，则可以根据该视频流数据和该弹幕流数据生成包含弹幕的显示数据；若电子设备识别到待显示图层数据仅包括视频流数据，则可以先通过插帧处理将30fps的视频流数据处理为60fps的视频流数据，再按照60fps的视频流数据显示图像画面。

基于上述方案，由于可以在待显示图层数据包括第一图层数据和第二图层数据的情况下，根据第一图层数据和第二图层数据确定第一显示数据；在待显示图层数据不包括第二图层数据的情况下，对第一图层数据进行插帧处理得到第四显示数据，并按照第四显示数据显示图像画面，因此可以实现对包含第二图层数据和不包含第二图层数据的待显示图层数据的区别处理，从而更有针对性的完成不同视频源的图像画面显示效果的提升。

可选地，电子设备根据第一图层数据和第二图层数据确定第一显示数据，具体可以包括：电子设备确定第一图层数据的显示帧率和第二图层数据的显示帧率，该第一图层数据的显示帧率为第一帧率，第二图层数据的显示帧率为第二帧率，第一帧率小于第二帧率；根据第一帧率和第二帧率确定重复读取次数，并按照重复读取次数读取第一图层数据，得到第三图层数据，第三图层数据的显示帧率为第二帧率；将第二图层数据和第三图层数据进行图层合并处理，得到第一显示数据。

可选地，上述第一帧率可以为24fps或30fps，上述第二帧率可以为60fps。

示例性地，如图6所示，以第一帧率为24fps、第二帧率为60fps为例，电子设备可以确定第一图层数据的显示帧率为24fps，第二图层数据的显示帧率为60fps，之后，电子设备可以根据第一图层数据的显示帧率和第二图层数据的显示帧率确定对第一图层数据的重复读取次数，并按照该重复读取次数读取第一图层数据，得到帧率为60fps的第三图层数据，最后，电子设备可以将第二图层数据和第三图层数据进行图层合并处理，得到帧率为60fps的第一显示数据。之后，电子设备可以识别第一显示数据的奇数帧或偶数帧，并进行均匀丢帧处理，得到帧率为30fps的第二显示数据，然后通过独立显示芯片300接收到第二显示数据后，对帧率为30fps的第二显示数据进行插帧处理，得到帧率为60fps的第三显示数据。

示例性地，如图7所示，以第一帧率为30fps、第二帧率为60fps为例，电子设备可以确定第一图层数据的显示帧率为30fps，第二图层数据的显示帧率为60fps，之后，电子设备可以根据第一图层数据的显示帧率和第二图层数据的显示帧率确定对第一图层数据的重复读取次数，并按照该重复读取次数读取第一图层数据，得到帧率为60fps的第三图层数据，最后，电子设备可以将第二图层数据和第三图层数据进行图层合并处理，得到帧率为60fps的第一显示数据。之后，电子设备可以识别第一显示数据的奇数帧或偶数帧，并进行均匀丢帧处理，得到帧率为30fps的第二显示数据，然后通过独立显示芯片300接收到第二显示数据后，对帧率为30fps的第二显示数据进行插帧处理，得到帧率为60fps的第三显示数据。

基于上述方案，由于可以根据第一帧率和第二帧率确定重复读取次数，并得到第三图层数据，因此可以为将第二图层数据和第三图层数据进行图层合并处理，得到第一显示数据提供基础。

可选地，电子设备根据第一帧率和第二帧率确定重复读取次数，并按照重复读取次数读取第一图层数据，得到第三图层数据，具体可以包括：电子设备确定第二帧率与第一帧率的比值；在该比值为整数的情况下，按照第一次数重复读取第一图层数据的每个图像帧，得到第三图层数据，第一次数为该比值；在该比值为非整数的情况下，按照第二次数重复读取第一图层数据的第三图像帧，并按照第三次数重复读取第一图层数据的第四图像帧，得到第三图层数据，第二次数为N，第三次数为N+1，且该比值位于(N，N+1)范围内；其中，第三图像帧和第四图像帧为第一图层数据中的相邻图像帧，N为正整数。

示例性地，继续参考图6，以第一帧率为24fps、第二帧率为60fps、第三图像帧为图像帧A、第四图像帧为图像帧B为例。电子设备可以确定第二帧率与第一帧率的比值为2.5，由于该比值为非整数，因此，第二次数为两次，第三次数为三次，电子设备可以读取图像帧A两次，读取图像帧B三次，以此类推，直至读完第一图层数据。

示例性地，继续参考图7，以第一帧率为30fps、第二帧率为60fps、第三图像帧为图像帧A、第四图像帧为图像帧B为例。电子设备可以确定第二帧率与第一帧率的比值为2，由于该比值为整数，因此，第一次数为两次，电子设备可以读取图像帧A两次，读取图像帧B两次，以此类推，直至读完第一图层数据。

基于上述方案，由于可以根据第二帧率与第一帧率的比值确定对第一图层数据的重复读取次数，因此可以实现从第一图层数据到第三图层数据的帧率转变，从而为合成第二图层数据提供基础。

本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

如图8所示，本申请实施例还提供一种图像处理装置800，包括：获取模块801、处理模块802和显示模块803；获取模块801，用于获取第一显示数据，所述第一显示数据为多个图层的合成数据；处理模块802，用于对所述第一显示数据进行第一处理，得到第二显示数据，对所述第二显示数据进行第二处理，得到第三显示数据；显示模块803，用于按照所述第三显示数据显示图像画面；其中，所述第一处理包括对奇数帧或偶数帧的丢帧处理，所述第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，所述第三图像帧为根据所述第一图像帧和所述第二图像帧确定的图像帧，所述第一图像帧和所述第二图像帧为所述第二显示数据中的相邻图像帧。

可选地，获取模块801，还用于获取待显示图层数据，所述待显示图层数据包括第一图层数据；处理模块802，还用于在所述待显示图层数据还包括第二图层数据的情况下，根据所述第一图层数据和所述第二图层数据确定所述第一显示数据；在所述待显示图层数据不包括所述第二图层数据的情况下，对所述第一图层数据进行插帧处理得到第四显示数据；显示模块803，还用于按照所述第四显示数据显示图像画面。

可选地，处理模块802，具体用于确定所述第一图层数据的显示帧率和所述第二图层数据的显示帧率，所述第一图层数据的显示帧率为第一帧率，所述第二图层数据的显示帧率为第二帧率，所述第一帧率小于所述第二帧率；根据所述第一帧率和所述第二帧率确定重复读取次数，并按照所述重复读取次数读取所述第一图层数据，得到第三图层数据，所述第三图层数据的显示帧率为所述第二帧率；将所述第二图层数据和所述第三图层数据进行图层合并处理，得到所述第一显示数据。

可选地，处理模块802，具体用于确定所述第二帧率与所述第一帧率的比值；在所述比值为整数的情况下，按照第一次数重复读取所述第一图层数据的每个图像帧，得到所述第三图层数据，所述第一次数为所述比值；在所述比值为非整数的情况下，按照第二次数重复读取所述第一图层数据的第三图像帧，并按照第三次数重复读取所述第一图层数据的第四图像帧，得到所述第三图层数据，所述第二次数为N，所述第三次数为N+1，且所述比值位于(N，N+1)范围内；其中，所述第三图像帧和所述第四图像帧为所述第一图层数据中的相邻图像帧，N为正整数。

可选地，处理模块802，具体用于通过系统芯片对所述第一显示数据进行第一处理，得到第二显示数据；通过独立显示芯片对所述第二显示数据进行第二处理，得到第三显示数据。

在本申请实施例中，一方面，可以在第一图像帧和第二图像帧之间插入第三图像帧，由于第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，因此插入第三图像帧可以实现相邻图像帧之间的平稳过渡，从而提高图像画面的流畅度；另一方面，由于可以先对第一显示数据的奇数帧或偶数帧进行丢帧处理，再进行插帧处理，因此，可以减轻第二处理的处理负担，从而降低系统功耗，延长设备待机时间。

本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1至图7的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图9所示，本申请实施例还提供一种电子设备900，包括处理器901和存储器902，存储器902上存储有可在所述处理器901上运行的程序或指令，该程序或指令被处理器901执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图10为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1010，用于获取第一显示数据，所述第一显示数据为多个图层的合成数据；对所述第一显示数据进行第一处理，得到第二显示数据，对所述第二显示数据进行第二处理，得到第三显示数据；显示单元1006，用于按照所述第三显示数据显示图像画面；其中，所述第一处理包括对奇数帧或偶数帧的丢帧处理，所述第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，所述第三图像帧为根据所述第一图像帧和所述第二图像帧确定的图像帧，所述第一图像帧和所述第二图像帧为所述第二显示数据中的相邻图像帧。

在本申请实施例中，一方面，可以在第一图像帧和第二图像帧之间插入第三图像帧，由于第三图像帧为根据第一图像帧和第二图像帧确定的图像帧，因此插入第三图像帧可以实现相邻图像帧之间的平稳过渡，从而提高图像画面的流畅度；另一方面，由于可以先对第一显示数据的奇数帧或偶数帧进行丢帧处理，再进行插帧处理，因此，可以减轻第二处理的处理负担，从而降低系统功耗，延长设备待机时间。

可选地，处理器1010，还用于获取待显示图层数据，所述待显示图层数据包括第一图层数据；在所述待显示图层数据还包括第二图层数据的情况下，根据所述第一图层数据和所述第二图层数据确定所述第一显示数据；在所述待显示图层数据不包括所述第二图层数据的情况下，对所述第一图层数据进行插帧处理得到第四显示数据；显示单元1006，还用于按照所述第四显示数据显示图像画面。

在本申请实施例中，由于可以在待显示图层数据包括第一图层数据和第二图层数据的情况下，根据第一图层数据和第二图层数据确定第一显示数据；在待显示图层数据不包括第二图层数据的情况下，对第一图层数据进行插帧处理得到第四显示数据，并按照第四显示数据显示图像画面，因此可以实现对包含第二图层数据和不包含第二图层数据的待显示图层数据的区别处理，从而更有针对性的完成不同视频源的图像画面显示效果的提升。

可选地，处理器1010，具体用于确定所述第一图层数据的显示帧率和所述第二图层数据的显示帧率，所述第一图层数据的显示帧率为第一帧率，所述第二图层数据的显示帧率为第二帧率，所述第一帧率小于所述第二帧率；根据所述第一帧率和所述第二帧率确定重复读取次数，并按照所述重复读取次数读取所述第一图层数据，得到第三图层数据，所述第三图层数据的显示帧率为所述第二帧率；将所述第二图层数据和所述第三图层数据进行图层合并处理，得到所述第一显示数据。

在本申请实施例中，由于可以根据第一帧率和第二帧率确定重复读取次数，并得到第三图层数据，因此可以为将第二图层数据和第三图层数据进行图层合并处理，得到第一显示数据提供基础。

可选地，处理器1010，具体用于确定所述第二帧率与所述第一帧率的比值；在所述比值为整数的情况下，按照第一次数重复读取所述第一图层数据的每个图像帧，得到所述第三图层数据，所述第一次数为所述比值；在所述比值为非整数的情况下，按照第二次数重复读取所述第一图层数据的第三图像帧，并按照第三次数重复读取所述第一图层数据的第四图像帧，得到所述第三图层数据，所述第二次数为N，所述第三次数为N+1，且所述比值位于(N，N+1)范围内；其中，所述第三图像帧和所述第四图像帧为所述第一图层数据中的相邻图像帧，N为正整数。

在本申请实施例中，由于可以根据第二帧率与第一帧率的比值确定对第一图层数据的重复读取次数，因此可以实现从第一图层数据到第三图层数据的帧率转变，从而为合成第二图层数据提供基础。

可选地，处理器1010，具体用于通过系统芯片对所述第一显示数据进行第一处理，得到第二显示数据；通过独立显示芯片对所述第二显示数据进行第二处理，得到第三显示数据。

在本申请实施例中，由于可以通过系统芯片对第一显示数据进行第一处理，得到第二显示数据；通过独立显示芯片对第二显示数据进行第二处理，得到第三显示数据，因此，可以在减轻独立显示芯片的处理负担的基础上，通过独立显示芯片的插帧处理提高显示数据的帧率，从而提高图像画面的显示效果。

应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器1009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。

处理器1010可包括一个或多个处理单元；可选的，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取第一显示数据，所述第一显示数据为多个图层的合成数据；

对所述第一显示数据进行第一处理，得到第二显示数据，对所述第二显示数据进行第二处理，得到第三显示数据；

按照所述第三显示数据显示图像画面；

其中，所述第一处理包括对奇数帧或偶数帧的丢帧处理，所述第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，所述第三图像帧为根据所述第一图像帧和所述第二图像帧确定的图像帧，所述第一图像帧和所述第二图像帧为所述第二显示数据中的相邻图像帧。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取第一显示数据之前，所述方法还包括：

获取待显示图层数据，所述待显示图层数据包括第一图层数据；

在所述待显示图层数据还包括第二图层数据的情况下，根据所述第一图层数据和所述第二图层数据确定所述第一显示数据；

在所述待显示图层数据不包括所述第二图层数据的情况下，对所述第一图层数据进行插帧处理得到第四显示数据，并按照所述第四显示数据显示图像画面。

3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述第一图层数据和所述第二图层数据确定所述第一显示数据，包括：

确定所述第一图层数据的显示帧率和所述第二图层数据的显示帧率，所述第一图层数据的显示帧率为第一帧率，所述第二图层数据的显示帧率为第二帧率，所述第一帧率小于所述第二帧率；

根据所述第一帧率和所述第二帧率确定重复读取次数，并按照所述重复读取次数读取所述第一图层数据，得到第三图层数据，所述第三图层数据的显示帧率为所述第二帧率；

将所述第二图层数据和所述第三图层数据进行图层合并处理，得到所述第一显示数据。

4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述第一帧率和所述第二帧率确定重复读取次数，并按照所述重复读取次数读取所述第一图层数据，得到第三图层数据，包括：

确定所述第二帧率与所述第一帧率的比值；

在所述比值为整数的情况下，按照第一次数重复读取所述第一图层数据的每个图像帧，得到所述第三图层数据，所述第一次数为所述比值；

在所述比值为非整数的情况下，按照第二次数重复读取所述第一图层数据的第三图像帧，并按照第三次数重复读取所述第一图层数据的第四图像帧，得到所述第三图层数据，所述第二次数为N，所述第三次数为N+1，且所述比值位于(N，N+1)范围内；

其中，所述第三图像帧和所述第四图像帧为所述第一图层数据中的相邻图像帧，N为正整数。

5.根据权利要求1-4任一项所述的图像处理方法，其特征在于，所述对所述第一显示数据进行第一处理，得到第二显示数据，对所述第二显示数据进行第二处理，得到第三显示数据，具体包括：

通过系统芯片对所述第一显示数据进行第一处理，得到第二显示数据；

通过独立显示芯片对所述第二显示数据进行第二处理，得到第三显示数据。

6.一种图像处理装置，其特征在于，包括：获取模块、处理模块和显示模块；

所述获取模块，用于获取第一显示数据，所述第一显示数据为多个图层的合成数据；

所述处理模块，用于对所述第一显示数据进行第一处理，得到第二显示数据，对所述第二显示数据进行第二处理，得到第三显示数据；

所述显示模块，用于按照所述第三显示数据显示图像画面；

其中，所述第一处理包括对奇数帧或偶数帧的丢帧处理，所述第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，所述第三图像帧为根据所述第一图像帧和所述第二图像帧确定的图像帧，所述第一图像帧和所述第二图像帧为所述第二显示数据中的相邻图像帧。

7.根据权利要求6所述的图像处理装置，其特征在于，所述获取模块，还用于获取待显示图层数据，所述待显示图层数据包括第一图层数据；

所述处理模块，还用于在所述待显示图层数据还包括第二图层数据的情况下，根据所述第一图层数据和所述第二图层数据确定所述第一显示数据；在所述待显示图层数据不包括所述第二图层数据的情况下，对所述第一图层数据进行插帧处理得到第四显示数据；

所述显示模块，还用于按照所述第四显示数据显示图像画面。

8.根据权利要求7所述的图像处理装置，其特征在于，所述处理模块，具体用于确定所述第一图层数据的显示帧率和所述第二图层数据的显示帧率，所述第一图层数据的显示帧率为第一帧率，所述第二图层数据的显示帧率为第二帧率，所述第一帧率小于所述第二帧率；根据所述第一帧率和所述第二帧率确定重复读取次数，并按照所述重复读取次数读取所述第一图层数据，得到第三图层数据，所述第三图层数据的显示帧率为所述第二帧率；将所述第二图层数据和所述第三图层数据进行图层合并处理，得到所述第一显示数据。

9.根据权利要求8所述的图像处理装置，其特征在于，所述处理模块，具体用于确定所述第二帧率与所述第一帧率的比值；在所述比值为整数的情况下，按照第一次数重复读取所述第一图层数据的每个图像帧，得到所述第三图层数据，所述第一次数为所述比值；在所述比值为非整数的情况下，按照第二次数重复读取所述第一图层数据的第三图像帧，并按照第三次数重复读取所述第一图层数据的第四图像帧，得到所述第三图层数据，所述第二次数为N，所述第三次数为N+1，且所述比值位于(N，N+1)范围内；其中，所述第三图像帧和所述第四图像帧为所述第一图层数据中的相邻图像帧，N为正整数。

10.根据权利要求6-9任一项所述的图像处理装置，其特征在于，所述处理模块，具体用于通过系统芯片对所述第一显示数据进行第一处理，得到第二显示数据；通过独立显示芯片对所述第二显示数据进行第二处理，得到第三显示数据。

11.一种电子设备，其特征在于，包括系统芯片、独立显示芯片、显示器以及数据传输接口；

所述系统芯片，用于获取第一显示数据，对所述第一显示数据进行第一处理，得到第二显示数据，所述第一显示数据为多个图层的合成数据；

所述数据传输接口，用于将所述第二显示数据从所述系统芯片传输至所述独立显示芯片；

所述独立显示芯片，用于对所述第二显示数据进行第二处理，得到第三显示数据；

所述显示器，用于按照所述第三显示数据显示图像画面；

其中，所述第一处理包括对奇数帧或偶数帧的丢帧处理，所述第二处理包括在第一图像帧和第二图像帧之间插入第三图像帧，所述第三图像帧为根据所述第一图像帧和所述第二图像帧确定的图像帧，所述第一图像帧和所述第二图像帧为所述第二显示数据中的相邻图像帧。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的图像处理方法。