CN114285958A - 图像处理电路、图像处理方法和电子设备 - Google Patents

Abstract

本申请公开了一种图像处理电路、图像处理方法和电子设备，属于图像处理领域。所述图像处理电路，包括：主控芯片和图像处理芯片，所述主控芯片包括第一接口，所述图像处理芯片包括第二接口、插帧单元和放大单元，所述第一接口与所述第二接口连接，所述插帧单元分别与所述第二接口和所述放大单元连接；所述第一接口用于输出具有第一分辨率的第一图像数据；所述插帧单元用于对所述第一图像数据进行插帧处理，生成第一插帧图像数据；所述放大单元用于对所述第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；其中，所述第二分辨率大于所述第一分辨率。

Description

图像处理电路、图像处理方法和电子设备

技术领域

本申请属于图像处理领域，具体涉及一种图像处理电路、图像处理方法和电子设备。

背景技术

在用户使用电子设备看视频或打游戏时，电子设备往往需要对帧数较低的视频进行插帧处理以提高用户的使用体验。相关技术中，在进行插帧处理时会有较高的功耗。

发明内容

本申请实施例的目的是提供一种图像处理电路、图像处理方法和电子设备，能够有效提高插帧效率，并降低插帧过程中的功耗。

第一方面，本申请实施例提供了一种图像处理电路，包括主控芯片和图像处理芯片，所述主控芯片包括第一接口，所述图像处理芯片包括第二接口、插帧单元和放大单元，所述第一接口与所述第二接口连接，所述插帧单元分别与所述第二接口和所述放大单元连接；

所述第一接口用于输出具有第一分辨率的第一图像数据；

所述插帧单元用于对所述第一图像数据进行插帧处理，生成第一插帧图像数据；

所述放大单元用于对所述第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；

其中，所述第二分辨率大于所述第一分辨率。

第二方面，本申请实施例提供了一种图像处理方法，应用于第一方面的图像处理电路，所述方法包括：

主控芯片通过第一接口输出具有第一分辨率的第一图像数据；

图像处理芯片通过插帧单元对所述第一图像数据进行插帧处理，生成第一插帧图像数据；所述图像处理芯片通过放大单元对所述第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；

其中，所述第二分辨率大于所述第一分辨率。

第三方面，本申请实施例提供了一种图像处理电路，包括主控芯片和图像处理芯片，所述主控芯片和所述图像处理芯片连接；

所述主控芯片用于输出具有第一分辨率的第一图像数据；

所述图像处理芯片用于对所述第一图像数据进行插帧处理，生成第一插帧图像数据；

所述图像处理芯片还用于对所述第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；

其中，所述第二分辨率大于所述第一分辨率。

第四方面，本申请实施例提供了一种电子设备，包括显示屏和第一方面所述的图像处理电路，所述图像处理电路中的显示芯片与所述显示屏连接；

所述显示屏用于显示所述第二图像数据。

第五方面，本申请实施例提供了一种电子设备，包括显示屏和第三方面所述的图像处理电路，所述图像处理电路中的显示芯片与所述显示屏连接；

所述显示屏用于显示所述第二图像数据。

第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第七方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，通过主控芯片向图像处理芯片发送低分辨率的第一图像数据，可以有效降低图像处理芯片所接收的数据量；然后由图像处理芯片对第一图像数据先进行插帧处理以生成第一插帧图像数据，再对第一插帧图像数据进行分辨率放大处理，通过设置单独的图像处理芯片进行插帧和放大处理，可以有效提高图像的插帧效率，并降低插帧过程中的功耗。

附图说明

图1是本申请实施例提供的图像处理电路的结构示意图之一；

图2是本申请实施例提供的图像处理电路的结构示意图之二；

图3是本申请实施例提供的图像处理电路的结构示意图之三；

图4是本申请实施例提供的图像处理电路的结构示意图之四；

图5是本申请实施例提供的图像处理电路的结构示意图之五；

图6是本申请实施例提供的图像处理方法的流程示意图之一；

图7是本申请实施例提供的图像处理方法的流程示意图之二；

图8是本申请实施例提供的图像处理方法的流程示意图之三；

图9是本申请实施例提供的图像处理装置的结构示意图；

图10是本申请实施例提供的电子设备的结构示意图；

图11是本申请实施例提供的电子设备的硬件示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理电路、图像处理方法和电子设备进行详细地说明。

其中，图像处理方法可应用于终端，具体可由，终端中的硬件或软件执行。该图像处理方法的执行主体可以为终端，或者终端的控制装置等。

该终端包括但不限于具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话或平板电脑等其它便携式通信设备。还应当理解的是，在某些实施例中，该终端可以不是便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

以下各个实施例中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和控制杆的一个或多个其它物理用户接口设备。

本申请实施例提供一种图像处理电路。

其中，该图像处理电路可设置于电子设备，电子设备可以为用户的手机、电脑、平板电脑、手表或车载终端等。

如图1所示，该图像处理电路包括：主控芯片110和图像处理芯片120。

在该实施例中，可以理解的是，用户在通过电子设备看视频或玩游戏时，电子设备需要对视频或游戏的原始数据包进行分析，对原始数据包中的图像进行插帧处理，以给用户提供更好的观影体验或游戏体验。比如24帧的电影通过插帧技术可以提升到60帧，甚至更高的帧数。可以理解的是，帧数越高，视频或游戏的流畅性则越好。

主控芯片110即用于获取视频或游戏的原始图像数据，并基于原始图像数据的分辨率，选择性地对原始图像的分辨率进行调整。

主控芯片110可以为AP(Application Processor，应用处理器)芯片。

主控芯片110包括第一接口，主控芯片110还可以包括DPU(Data ProcessingUnit，数据处理单元)模块111。

其中，第一接口用于输出具有第一分辨率的第一图像数据，例如，第一接口可以为如图1所示的MIPI TX0 112，其中TX用于表征发送端口。

第一图像数据包括至少一帧第一图像，例如第一图像数据可以为前后两帧图像。

需要说明的是，第一分辨率可以为主控芯片110接收的原始图像数据的分辨率，或者也可以为经主控芯片对原始图像数据的分辨率进行处理，所生成的新的分辨率。

图像处理芯片120包括第二接口、插帧单元122和放大单元123，第一接口与第二接口连接，插帧单元122分别与第二接口和放大单元123连接。

图像处理芯片120为独立于主控芯片110的芯片，且图像处理芯片120的第二接口与主控芯片110的第一接口电连接。

如图1所示，图像处理芯片120的第二接口可以包括：MIPI RX0 121，其中RX用于表征接收端口。

图像处理芯片120可以通过MIPI协议与主控芯片110进行数据传输。

如图3所示，图像处理芯片120用于基于主控芯片110发送的第一图像数据，生成第一插帧图像数据；并基于第一插帧图像数据的分辨率，选择性地对第一插帧图像数据的分辨率进行调整。

如图1所示，插帧单元122用于对第一图像数据进行插帧处理，生成第一插帧图像数据。

其中，第一插帧图像数据为基于第一图像数据进行插帧后所生成的数据，可以理解的是，第一插帧图像数据可以包括至少一帧插帧图像。

放大单元123用于对第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；其中，第二分辨率大于第一分辨率。

事实上，在实际执行中，存在视频或游戏的原始数据包中的原始图像数据的帧数不高的情况，该情况下，则需要基于原始图像数据进行插帧处理，以提高视频或游戏的帧数，从而提高显示画面的流畅性。

发明人在研发过程中发现，相关技术中，在主控芯片接收到原始图像后，直接由主控芯片将原始图像的分辨率放大为屏幕分辨率，并将放大后的图像发送至图像处理芯片进行插帧操作，在图像处理芯片对大分辨率的图像进行插帧操作的过程中，会造成较高的功耗。然而，手机等电子设备对功耗的敏感度较高，过高的功耗将直接影响用户对电子设备的使用体验。

而在本申请的实施例中，在图像处理芯片120进行插帧前，通过主控芯片110基于原始图像数据的分辨率，在原始图像为低分辨率的情况下，不对其进行放大操作；在原始图像为高分辨率的情况下，先降低其分辨率，可以保证图像处理芯片120所接收的图像分辨率为低分辨率，从而有效降低图像处理芯片120在后续插帧过程中的功耗。

根据本申请实施例提供的图像处理电路，通过主控芯片向图像处理芯片发送低分辨率的第一图像数据，可以有效降低图像处理芯片所接收的数据量；然后由图像处理芯片对第一图像数据先进行插帧处理以生成第一插帧图像数据，再对第一插帧图像数据进行分辨率放大处理，通过设置单独的图像处理芯片进行插帧和放大处理，可以有效提高图像的插帧效率，并降低插帧过程中的功耗。

在一些实施例中，主控芯片120还可以包括缩小单元。

在该实施例中，缩小单元与第一接口连接，缩小单元用于对原始图像数据进行缩小处理，得到第一图像数据；

其中，原始图像数据的分辨率大于第一分辨率。

原始图像数据为主控芯片120所接收的未经处理的图像数据，各原始图像数据的分辨率均相同，在视频或游戏的情景下，主控芯片120所接收的原始图像数据可以包括多帧原始图像。可以理解的是，将多帧原始图像依次进行显示，即可使用户看到动态变化的图像。

例如，在观看视频的情景下，原始图像数据可以为该视频包中的至少两帧原始图像；在游戏情景下，原始图像数据可以为该游戏包中的至少两帧原始图像。

主控芯片120可以基于原始图像数据的分辨率，选择性地对原始图像数据的分辨率进行缩小处理，以生成第一图像数据。

在实际执行过程中，可以通过设置目标分辨率，以判断原始图像数据的分辨率的高低。

其中，目标分辨率可以基于用户自定义，例如设置为720P。

主控芯片110在接收到原始图像数据后，将优先对原始图像数据的分辨率进行判断，在判断其为低分辨率的情况下，则不对原始图像数据的分辨率进行调整，直接将原始图像数据确定为第一图像数据，并将原始低分辨率的第一图像数据发送至图像处理芯片120。

如图4所示，主控芯片110在判断原始图像数据的分辨率为高分辨率的情况下，则通过缩小单元对原始图像数据的分辨率进行缩小，生成低分辨率的第一图像数据，并将生成的第一图像数据发送至图像处理芯片120。

例如，对一部原始分辨率为1080p的电影进行插帧处理，主控芯片110接收到电影中的图像数据包括连续的图像帧A和帧B，其中帧A和帧B的分辨率均为1080p。

主控芯片110通过缩小单元(down scale)将帧A的分辨率降低至720p，生成帧A’；将帧B的分辨率降低至720p，生成帧B’，并将帧A’和帧B’发送至图像处理芯片120。

图像处理芯片120的插帧单元122基于帧A’和帧B’，生成第一插帧图像数据，其中第一插帧图像数据包括目标帧数的第一插帧图像和帧A’和帧B’，例如，第一插帧图像可以为：帧A’B’1和帧A’B’2。其中，帧A’B’1和帧A’B’2的分辨率均为720p。

然后，图像处理芯片120通过放大单元123(scale up)，分别将帧A’、帧B’、帧A’B’1和帧A’B’2的分辨率放大至第二分辨率1080p，得到帧A”、帧B”、帧A’B’1’和帧A’B’2’。其中，第二图像数据包括帧A”、帧B”、帧A’B’1’和帧A’B’2’。

根据本申请实施例提供的图像处理电路，由主控芯片降低高分辨率的原始图像数据的分辨率，并将所生成的低分辨率的第一图像数据发送至图像处理芯片进行插帧处理，可以有效降低图像处理芯片所接收的数据量，从而降低图像处理芯片的功耗。

如图2所示，在一些实施例中，主控芯片110还可以包括第三接口，图像处理芯片120还可以包括第四接口和合成单元125。

在该实施例中，第三接口与第四接口电连接，第三接口用于输出具有第二分辨率的界面数据。

如图2所示，第三接口可以为MIPI TX1 113，第四接口可以为MIPI RX1126。

其中，界面数据的分辨率与屏幕分辨率相同。

合成单元125分别与第四接口和放大单元123连接；合成单元125用于将第二图像数据与界面数据进行合成处理，生成目标图像数据。

其中，第二图像数据与界面数据的分辨率相同，均为屏幕分辨率。

例如，如图5所示，对一部原始分辨率为480p的电影进行插帧处理，在目标分辨率设置为720p、屏幕分辨率为1080p的情况下，主控芯片110分别接收到电影中的连续的图像帧A和帧B，以及界面数据，其中帧A和帧B的分辨率均为480p，界面数据的分辨率为1080p。

主控芯片110将帧A和帧B的分辨率480p与目标分辨率720p进行比较，确定帧A和帧B小于目标分辨率，则将帧A和帧B确定为第一图像数据，并将帧A和帧B发送至图像处理芯片120。

图像处理芯片120基于帧A和帧B，生成第一插帧图像数据，其中第一插帧图像数据可以包括目标帧数的第一插帧图像、帧A和帧B，例如，第一插帧图像可以为：帧AB1和帧AB2。其中，帧AB1和帧AB2的分辨率均为480p。

图像处理芯片120分别对帧A、帧AB1、帧AB2和帧B进行降噪处理，并通过放大单元123对降噪后的帧A、帧AB1、帧AB2和帧B进行超分处理(asir)和去模糊处理(deblur)超分至第二分辨率，生成第二图像数据；

然后通过合成单元125将第二图像数据与界面数据进行合成，生成分辨率为1080p的帧A’、帧AB1’、帧AB2’和帧B’。其中，帧A’、帧AB1’、帧AB2’和帧B’即为目标图像数据。

根据本申请实施例提供的图像处理电路，通过图像处理芯片直接对低于目标分辨率的原始低分辨率图像进行插帧处理，并由图像处理芯片对插帧完成后的低分辨率图像进行超分放大至屏幕分辨率，在降低处理功耗的基础上，可以有效提高原始低分辨图像的显示清晰度。

本申请实施例提供一种图像处理方法，该图像处理方法的执行主体可以为终端，包括但不限于移动终端，如手机、平板电脑和游戏机等；非移动终端，如台式电脑等；或者终端的控制装置等。

需要说明的是，该图像处理方法应用于如上的图像处理电路。

如图6所示，该图像处理方法包括：步骤610和步骤620。

步骤610、主控芯片通过第一接口输出具有第一分辨率的第一图像数据；

在该步骤中，第一图像数据可以为原始图像数据，也可以为经主控芯片进行缩小分辨率处理后所生成的新的图像数据。

第一图像数据的分辨率为第一分辨率。其中，第一分辨率为较低的分辨率。

也即，第一分辨率可以与原始图像数据的分辨率相同，或者第一分辨率也可以小于原始图像数据的分辨率。

第一图像数据可以为主控芯片获取的连续的原始图像帧。

例如，在观看视频的情景下，原始图像数据可以为该视频包中的连续的原始图像帧；在游戏情景下，原始图像数据可以为该游戏包中的连续的原始图像帧。

在第一图像数据为经主控芯片进行缩小分辨率处理后所生成的新的图像数据的情况下，第一图像数据所包括的图像帧数与原始图像数据所包括的图像帧数相同。

在本实施例中，主控芯片在接收到原始图像数据后，将优先对原始图像数据的分辨率进行判断，在判断其为低分辨率的情况下，则不对原始图像数据的分辨率进行调整，直接将原始图像数据确定为第一图像数据，并将原始低分辨率的第一图像数据发送至图像处理芯片。

在判断其为高分辨率的情况下，则对原始图像数据的分辨率进行缩小，生成低分辨率的第一图像数据，并将新生成的低分辨率的第一图像数据发送至图像处理芯片。

步骤620、图像处理芯片通过插帧单元对第一图像数据进行插帧处理，生成第一插帧图像数据；图像处理芯片通过放大单元对第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；其中，第二分辨率大于第一分辨率。

在该步骤中，第一插帧图像数据为基于第一图像数据进行插帧后所生成的数据。

其中，第一插帧图像数据可以包括一帧插帧图像，或者也可以包括多帧插帧图像。在实际执行过程中，插帧图像的帧数可以基于流畅度需求进行调整，本申请不做限定。

第二图像数据为经图像处理芯片进行插帧处理以及分辨率调整后，所生成的分辨率为第二分辨率的图像。其中，第二分辨率可以为屏幕分辨率。

需要说明的是，第二图像数据包括多帧第二图像。第二图像数据中的第二插帧图像的帧数应与第一插帧图像数据中的第一插帧图像的帧数相同。

在第一图像数据的分辨率第一分辨率的情况下，图像处理芯片对第一图像数据进行插帧处理生成第一插帧图像数据后，还将放大第一插帧图像数据的分辨率至第二分辨率，最终生成第二图像数据。

在一些实施例中，图像处理芯片可以对第一图像数据进行运动补偿，生成第一插帧图像数据。

在该实施例中，MEMC(Motion Estimate and Motion Compensation，运动补偿)为一种运动画质补偿技术，原理是采用动态映像系统，在传统的两帧图像之间加插一帧或多帧运动补偿帧，提高原始帧数，如将原本24帧的视频处理成60帧甚至120帧，从而避免出现画面抖动、重影以及拖尾等问题，让画面看起来更加清晰流畅。

MEMC技术通过分区块，在水平和垂直两个方向上对图像的运动趋势加以分析以后，在原来各种帧之间插入一个中间帧。

其中，MEMC运动补偿技术可以包括全局运动补偿和分块运动补偿以及其变种可变分块运动补偿三类。

其一、全局运动补偿

在全局运动补偿中，运动模型用于反映摄像机的各种运动，包括平移，旋转，变焦等等。这种模型适合对没有运动物体的静止场景的编码。

其二、分块运动补偿

在分块运动补偿中，每帧被分为若干像素块，在大多数视频编码标准，如MPEG(Moving Picture Experts Group，动态图像专家组)中，是分为16×16的像素块。从参考帧的某个位置的等大小的块对当前块进行预测，预测的过程中只有平移，平移的大小被称为运动矢量。

其三、可变分块运动补偿

可变分块运动补偿是BMC(block motion compensation，分块运动补偿)的变种，编码器可以动态选择分块大小。进行视频编码时，使用大的分块可以减少表征运动向量所需的比特数，使用小的分块则可以在编码时产生更少的预测余量信息。

在实际执行过程中，可基于实际需要，选择最佳的运动补偿方式，本申请不做限定。

根据本申请实施例提供的图像处理方法，由图像处理芯片在进行插帧处理生成第一插帧图像数据之后，再对第一插帧图像数据的分辨率进行放大处理，生成具有第二分辨率的第二图像数据，可以有效降低图像处理芯片在进行插帧处理过程中的数据量，通过设置单独的图像处理芯片进行插帧和放大处理，可以有效提高图像的插帧速率，并降低插帧过程中的功耗。

如图7所示，在一些实施例中，在步骤110之前，该方法还可以包括：主控芯片通过缩小单元对原始图像数据进行缩小处理，得到第一图像数据；其中，原始图像数据的分辨率大于第一分辨率。

在该实施例中，在主控芯片接收到原始图像数据后，优先对原始图像数据的分辨率大小进行判断，并基于判断结果确定是否对原始图像数据的分辨率进行调整。

在实际执行过程中，可以通过设置目标分辨率来判断原始图像数据的分辨率大小。

目标分辨率可以基于用户自定义，例如可以设置为720p或480p等。

目标分辨率用于判断原始图像是否为高分辨率图像，或者用于判断是否需要进行超分处理。

在实际执行过程中，主控芯片接收到原始图像数据后，优先判断原始图像数据的分辨率大小。

在主控芯片判断原始图像数据的分辨率不小于目标分辨率的情况下，主控芯片通过缩小单元(down scale)优先对原始图像数据进行处理，缩小原始图像数据的分辨率至第一分辨率，以降低其分辨率，生成低分辨率的第一图像数据，并将第一图像数据发送至图像处理芯片，以供图像处理芯片进行插帧处理。

图像处理芯片基于第一图像数据，生成第一插帧图像数据，该第一插帧图像数据的分辨率低于原始图像数据的分辨率，且与第一图像数据的分辨率相同。

然后，图像处理芯片通过放大单元(scale up)，对第一插帧图像数据进行处理，以将其分辨率放大至第二分辨率，以生成第二图像数据。

例如，对一部原始分辨率为1080p的电影进行插帧处理，主控芯片接收到电影中的连续的图像帧A和帧B，其中帧A和帧B的分辨率均为1080p。

主控芯片通过缩小单元将帧A的分辨率降低至720p，生成帧A’；将帧B的分辨率降低至720p，生成帧B’,并将帧A’和帧B’发送至图像处理芯片。

图像处理芯片基于帧A’和帧B’，生成目标数量的中间帧图像，如：帧A’B’1和帧A’B’2。其中，帧A’B’1和帧A’B’2的分辨率均为720p。

然后，图像处理芯片通过放大单元，分别将帧A’、帧B’、帧A’B’1和帧A’B’2的分辨率放大至第二分辨率1080p，得到帧A”、帧B”、帧A’B’1’和帧A’B’2’。其中，第二图像数据包括帧A”、帧B”、帧A’B’1’和帧A’B’2’。

根据本申请实施例提供的图像处理方法，由主控芯片降低高分辨率的原始图像数据的分辨率，并将所生成的低分辨率图像发送至图像处理芯片进行插帧处理，在生成第一插帧图像数据之后，再由图像处理芯片放大第一插帧图像数据的分辨率，可以有效降低图像处理芯片所接收的数据量，从而降低图像处理芯片的功耗。

在一些实施例中，将第一插帧图像数据的分辨率放大至第二分辨率，以生成第二图像数据，包括：图像处理芯片对第一插帧图像数据进行去模糊处理和超分处理中的至少一项，将第一插帧图像数据的分辨率超分至第二分辨率，生成第二图像数据。

在该实施例中，去模糊处理(Deblur)和超分处理(aisr)均用于提高图像的清晰度。

在实际执行过程中，主控芯片接收到原始图像数据后，优先判断原始图像数据的分辨率大小。

在判断原始图像数据的分辨率小于目标分辨率的情况下，确定需要进行超分处理。

则主控芯片直接将原始图像数据确定为第一图像数据，发送至图像处理芯片，以供图像处理芯片进行插帧处理。

图像处理芯片基于第一图像数据，生成第一插帧图像数据，该第一插帧图像数据的分辨率与原始图像数据的分辨率相同。

图像处理芯片在生成第一插帧图像数据后，对第一插帧图像数据进行降噪处理，并将处理后的第一插帧图像数据进行asir和deblur超分至第二分辨率，以生成第二图像数据。

如图8所示，在另一些实施例中，在主控芯片判断原始图像数据的分辨率小于目标分辨率的情况下，则确定原始图像数据为低分辨率图像。

主控芯片不缩小其分辨率，直接将原始图像数据确定为第一图像数据，发送至图像处理芯片，以供图像处理芯片进行插帧处理。

图像处理芯片基于第一图像数据，生成第一插帧图像数据，该第一插帧图像数据的分辨率与原始图像的分辨率相同，且小于屏幕分辨率。

然后，图像处理芯片对第一插帧图像数据进行降噪处理，并将处理后的第一插帧图像数据放大至第二分辨率，以生成第二图像数据。

在本实施例中，通过图像处理芯片直接对低于目标分辨率的原始低分辨率图像进行插帧处理，并由图像处理芯片对插帧完成后的低分辨率图像进行超分放大至第二分辨率，在降低处理功耗的基础上，可以有效提高原始低分辨图像的显示清晰度。

例如，对一部原始分辨率为480p的电影进行插帧处理，在目标分辨率设置为720p的情况下，主控芯片接收到电影中的连续的图像帧A和帧B，其中帧A和帧B的分辨率均为480p。

主控芯片将帧A和帧B的分辨率480p与目标分辨率720p进行比较，确定帧A和帧B小于目标分辨率，则将帧A和帧B确定为第一图像数据，并将帧A和帧B发送至图像处理芯片。

图像处理芯片基于帧A和帧B，生成第一插帧图像数据，如：帧A、帧AB1、帧AB2和帧B。其中，帧AB1和帧AB2的分辨率均为480p。

图像处理芯片分别对帧A、帧AB1、帧AB2和帧B进行降噪处理，并对降噪后的帧A、帧AB1、帧AB2和帧B进行asir和deblur超分至第二分辨率，生成分辨率为1080p的帧A’、帧AB1’、帧AB2’和帧B’。其中，第二图像数据包括帧A’、帧AB1’、帧AB2’和帧B’。

根据本申请实施例提供的图像处理方法，在进行插帧处理前，先通过主控芯片判断原始图像的分辨率，在原始图像为低分辨率图像的情况下，直接由图像处理芯片对原始低分辨率图像进行插帧处理，并由图像处理芯片将插帧完成后的低分辨率图像放大至第二分辨率，既降低了主控芯片的数据处理量，也降低了图像处理芯片的数据处理量，从而有效降低电子设备的功耗。

在一些实施例中，该方法还可以包括：主控芯片通过第三接口输出具有第二分辨率的界面数据；

在步骤120中的生成具有第二分辨率的第二图像数据之后，该方法还可以包括：图像处理芯片通过合成单元将第二图像数据与界面数据进行合成处理，生成目标图像数据。

在该实施例中，主控芯片通过第一接口输出第一图像数据，通过第三接口输出界面数据，其中，第一图像数据的分辨率与界面数据的分辨率不同。

继续参考图2和图8，在图像处理芯片接收到界面数据和第一图像数据后，通过插帧单元基于第一图像数据生成第一插帧图像数据，基于放大单元对第一插帧图像数据的分辨率进行放大，生成第二分辨率的第二图像数据，然后分别将第二图像数据和界面数据发送至合成单元，由合成单元将第二图像数据与界面数据进行合成处理，生成目标图像数据。

在该实施例中，由图像处理芯片对主控芯片发送的第一分辨率的第一图像数据进行插帧处理生成第一插帧图像数据，然后再对第一插帧数据的分辨率进行放大处理，生成第二分辨率的第二图像数据，然后将第二图像数据与界面数据合成，生成能够显示于界面的目标图像数据，能够基于界面分辨率情况灵活调整最终生成的图像数据的分辨率，从而保证最终图像显示的清晰度，同时还能有效降低插帧处理的功耗。

继续参考图8，在另一些实施例中，在主控芯片判断原始图像数据的分辨率不小于目标分辨率的情况下，确定无需进行超分处理。则由主控芯片将原始图像的分辨率调整到与屏幕分辨率相同，生成第一图像数据，并将第一图像数据发送至图像处理芯片，以供图像处理芯片进行插帧处理。

图像处理芯片基于第一图像数据，生成第一插帧图像数据，该第一插帧图像数据与屏幕分辨率相同，且与第一图像数据的分辨率相同。

然后，图像处理芯片对该目标图像进行降噪处理，即可生成第二图像数据。

例如，对一部原始分辨率为1080p的电影进行插帧处理，在目标分辨率设置为720p、界面分辨率为720p的情况下，主控芯片接收到电影中的连续的图像帧A和帧B，其中帧A和帧B的分辨率均为1080p。

主控芯片将帧A和帧B的分辨率1080p与目标分辨率720p进行比较，确定不需要进行超分处理，则由主控芯片直接将帧A的分辨率调整为720p，生成帧A’；将帧B的分辨率调整为720p，生成帧B’,并将帧A’和帧B’发送至图像处理芯片。

图像处理芯片基于帧A’和帧B’，生成第一插帧图像数据，如：帧A’、帧A’B’1、帧A’B’2和帧B’。其中，帧A’B’1和帧A’B’2的分辨率均为720p。

然后，图像处理芯片分别对帧A’、帧A’B’1’、帧A’B’2’和帧B’进行降噪等处理，生成降噪处理后的帧A’、帧A’B’1’、帧A’B’2’和帧B’，其中，第二图像数据包括降噪处理后的帧A’、帧A’B’1’、帧A’B’2’和帧B’。

在该实施例中，由主控芯片将不低于目标分辨率的原始低分辨率图像调整至屏幕分辨率，并将屏幕分辨率的图像发送至图像处理芯片，由图像处理芯片进行插帧处理，既能保证最终图像显示的清晰度，也能有效降低插帧处理的功耗。

本申请实施例还提供一种电子设备，该电子设备包括显示屏和如上所述的图像处理电路。

在该实施例中，图像处理电路中的显示芯片与显示屏连接。其中，显示屏用于显示目标图像，包括MIPI RX接口。

例如，显示屏可以为手机屏幕、电脑屏幕、电视屏幕和游戏机屏幕等。显示屏用于显示所述第二图像数据。

其中，第二图像数据包括插帧图像和插帧图像前后的图像帧。插帧图像前后的图像帧为原始图像帧，或者也可以为对原始图像帧进行分辨率调整后新生成的图像帧。

例如，在原始图像数据包括连续的原始图像帧的情况下，在显示前一图像帧之后，且在显示基于后一图像帧之前，显示第二图像数据中的插帧图像。

在第二图像数据包括多帧第二图像的情况下，基于运动特征，在显示屏依次显示每一帧第二图像。

例如，一款游戏的原始帧率为24fps，原始分辨率为360p，用户在120Hz、1080p的显示屏上玩该游戏，为提高游戏的流畅度，电子设备可以将原始帧率提高至120fps，则需要进行插帧处理，具体处理过程如图5所示。

主控芯片接收该游戏的原始图像数据，判断游戏分辨率是否支持低分辨率，在判断游戏的分辨率支持低分辨率的情况下，则直接将360p的连续的图像帧发送至图像处理芯片。

图像处理芯片接收到360p的连续图像帧后，基于连续图像帧生成360p的目标帧数的第一插帧图像，并将目标帧数的第一插帧图像的分辨率放大至屏幕分辨率，生成1080p的目标帧数的第二插帧图像。

其中，目标帧数基于原始帧率24fps和目标帧率120fps所确定。

在一些实施例中，图像处理芯片还将对接收到的360p的连续图像帧进行放大处理，生成1080p的新的图像帧，并将1080p的新的图像帧发送至显示屏。

可以理解的是，第二图像数据包括：目标帧数的第二插帧图像和1080p的新的图像帧。

显示屏依次显示第二图像数据。

又如，如图2所示，一款游戏的原始帧率为24fps，原始分辨率为1080p，用户在60Hz、720p的显示屏上玩该游戏，为提高游戏的流畅度，电子设备可以将原始帧率提高至60fps，则需要进行插帧处理，具体处理过程如图2和图6所示。

主控芯片接收该游戏的原始图像，判断游戏分辨率是否支持低分辨率，在判断游戏的分辨率不支持低分辨率的情况下，则将1080p的连续图像帧进行缩小分辨率的处理，对应生成360p分辨率的连续图像帧，并将360p分辨率的连续图像帧发送至图像处理芯片。

图像处理芯片接收到360p的连续图像帧后，基于连续图像帧生成360p的第一插帧图像数据，并将第一插帧图像数据的分辨率放大至屏幕分辨率，生成720p的连续图像帧和目标帧数的第二插帧图像，可以理解的是，第二图像数据包括720p的连续图像帧和目标帧数的第二插帧图像。

其中，目标帧数基于原始帧率24fps和目标帧率60fps所确定。

图像处理芯片将720p的第二图像数据发送至显示屏，以供显示屏进行显示。

根据本申请实施例提供的电子设备，在能够流畅地显示游戏或视频的情况下，还能有效降低电子设备的功耗，从而提高用户的使用体验。

在一些实施例中，在主控芯片输出界面数据的情况下，显示屏还用于显示目标图像数据，目标图像数据是基于第二图像数据和界面数据生成的。

在该实施例中，目标图像数据的生成方式与上述实施例相同，在此不做赘述。

在一些实施例中，该电子设备还可以包括图像传感器。

在该实施例中，图像传感器与主控芯片连接，图像传感器用于采集原始图像数据，并将原始图像数据发送给主控。

例如，在摄像情景下，图像传感器可以为设置于电子设备上的摄像头，如前置摄像头或后置摄像头等。

本申请实施例还提供一种图像处理电路，包括主控芯片和图像处理芯片，主控芯片和图像处理芯片连接；

主控芯片用于输出具有第一分辨率的第一图像数据；

图像处理芯片用于对第一图像数据进行插帧处理，生成第一插帧图像数据；

图像处理芯片还用于对第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；

其中，第二分辨率大于第一分辨率。

在该实施例中，主控芯片可以为AP芯片。

主控芯片即用于接收原始图像数据，并基于原始图像数据的分辨率，选择性地对原始图像的分辨率进行调整。

图像处理芯片用于基于主控芯片发送的第一图像数据，生成第一插帧图像数据；并基于第一插帧图像数据的分辨率，选择性地对第一插帧图像数据的分辨率进行调整，以生成第二图像数据。

在一些实施例中，主控芯片还用于对原始图像数据进行缩小处理，得到第一图像数据；其中，原始图像数据的分辨率大于第一分辨率。

在一些实施例中，主控芯片还用于输出具有第二分辨率的界面数据；

图像处理芯片还用于将第二图像数据与界面数据进行合成处理，生成目标图像数据。

在该实施例中，界面数据的分辨率与屏幕分辨率相同。

本申请实施例还提供一种电子设备，该电子设备包括显示屏和如上所述的图像处理电路。

在该实施例中，图像处理电路中的显示芯片与显示屏连接；显示屏用于显示第二图像数据。

本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

本申请实施例还提供一种图像处理装置。

需要说明的是，该图像处理装置包括如上所述的图像处理电路。

如图9所示，该图像处理装置包括：第一处理模块910和第二处理模块920。

第一处理模块910包括第一接口，第二处理模块920包括第二接口、插帧单元和放大单元。

第一处理模块910，用于通过第一接口输出具有第一分辨率的第一图像数据；

第二处理模块920，用于通过插帧单元对第一图像数据进行插帧处理，生成第一插帧图像数据；通过放大单元对第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；

其中，第二分辨率大于第一分辨率。

根据本申请实施例提供的图像处理装置，通过第一处理模块向第二处理模块发送低分辨率的第一图像数据，可以有效降低图像处理芯片所接收的数据量；然后由第二处理模块对第一图像数据进行插帧处理以生成第一插帧图像数据，再对第一插帧图像数据进行分辨率放大处理，通过设置单独的第二处理模块进行插帧和放大处理，可以有效提高图像处理芯片的插帧效率，并降低插帧过程中的功耗。

在一些实施例中，第一处理模块910还可以包括缩小单元；：

第一处理模块910，还可以用于在通过第一接口输出具有第一分辨率的第一图像数据之前，通过缩小单元对原始图像数据进行缩小处理，得到第一图像数据；

其中，原始图像数据的分辨率大于第一分辨率。

在一些实施例中，第一处理模块910还可以包括第三接口，第二处理模块920还可以包括第四接口和合成单元；

第一处理模块910还可以用于通过第三接口输出具有第二分辨率的界面数据；

第二处理模块920，还可以用于通过合成单元将第二图像数据与界面数据进行合成处理，生成目标图像数据。

本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为网络附属存储器(Network AttachedStorage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图5至图8的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图10所示，本申请实施例还提供一种电子设备1000，包括处理器1001，存储器1002，存储在存储器1002上并可在所述处理器1001上运行的程序或指令，该程序或指令被处理器1001执行时实现上述显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图11为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109、处理器1111和图像处理芯片等部件。本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1111逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，图像处理芯片电连接，图像处理芯片分别与处理器1111以及显示单元1106电连接，处理器1111与传感器1105电连接。

处理器1111，用于输出具有第一分辨率的第一图像数据；

图像处理芯片用于对第一图像数据进行插帧处理，生成第一插帧图像数据；

图像处理芯片还用于对第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；

其中，第二分辨率大于第一分辨率。

根据本申请实施例提供的电子设备，通过处理器1111向图像处理芯片发送低分辨率的第一图像数据，可以有效降低图像处理芯片所接收的数据量；然后由图像处理芯片对第一图像数据进行插帧处理以生成第一插帧图像数据，再对第一插帧图像数据进行分辨率放大处理，可以有效提高图像处理芯片的插帧效率，并降低插帧过程中的功耗。

可选地，在处理器1111输出具有第一分辨率的第一图像数据之前，处理器1111还用于对原始图像数据进行缩小处理，得到第一图像数据；

其中，原始图像数据的分辨率大于第一分辨率。

可选地，处理器1111还用于输出具有第二分辨率的界面数据；

在生成具有第二分辨率的第二图像数据之后，图像处理芯片还用于将第二图像数据与界面数据进行合成处理，生成目标图像数据。

应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。

处理器1111可包括一个或多个处理单元；可选地，处理器1111集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1111中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (13)

1.一种图像处理电路，其特征在于，包括主控芯片和图像处理芯片，所述主控芯片包括第一接口，所述图像处理芯片包括第二接口、插帧单元和放大单元，所述第一接口与所述第二接口连接，所述插帧单元分别与所述第二接口和所述放大单元连接；

所述第一接口用于输出具有第一分辨率的第一图像数据；

所述插帧单元用于对所述第一图像数据进行插帧处理，生成第一插帧图像数据；

所述放大单元用于对所述第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；

其中，所述第二分辨率大于所述第一分辨率。

2.根据权利要求1所述的图像处理电路，其特征在于，所述主控芯片还包括缩小单元，所述缩小单元与所述第一接口连接，所述缩小单元用于对原始图像数据进行缩小处理，得到所述第一图像数据；

其中，所述原始图像数据的分辨率大于所述第一分辨率。

3.根据权利要求1所述的图像处理电路，其特征在于，所述主控芯片还包括第三接口，所述第三接口用于输出具有第二分辨率的界面数据；

所述图像处理芯片还包括第四接口和合成单元，所述第四接口与所述第三接口连接，所述合成单元分别与所述第四接口和所述放大单元连接；

所述合成单元用于将所述第二图像数据与所述界面数据进行合成处理，生成目标图像数据。

4.一种图像处理方法，其特征在于，应用于如权利要求1-3任意一项所述的图像处理电路，所述方法包括：

主控芯片通过第一接口输出具有第一分辨率的第一图像数据；

图像处理芯片通过插帧单元对所述第一图像数据进行插帧处理，生成第一插帧图像数据；所述图像处理芯片通过放大单元对所述第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；

其中，所述第二分辨率大于所述第一分辨率。

5.根据权利要求4所述的图像处理方法，其特征在于，主控芯片通过第一接口输出具有第一分辨率的第一图像数据之前，所述方法还包括：

所述主控芯片通过缩小单元对原始图像数据进行缩小处理，得到所述第一图像数据；

其中，所述原始图像数据的分辨率大于所述第一分辨率。

6.根据权利要求4所述的图像处理方法，其特征在于，所述方法还包括：

所述主控芯片通过第三接口输出具有第二分辨率的界面数据；

所述生成具有第二分辨率的第二图像数据之后，所述方法还包括：

所述图像处理芯片通过合成单元将所述第二图像数据与所述界面数据进行合成处理，生成目标图像数据。

7.一种图像处理电路，其特征在于，包括主控芯片和图像处理芯片，所述主控芯片和所述图像处理芯片连接；

所述主控芯片用于输出具有第一分辨率的第一图像数据；

所述图像处理芯片用于对所述第一图像数据进行插帧处理，生成第一插帧图像数据；

所述图像处理芯片还用于对所述第一插帧图像数据进行放大处理，生成具有第二分辨率的第二图像数据；

其中，所述第二分辨率大于所述第一分辨率。

8.根据权利要求7所述的图像处理电路，其特征在于，所述主控芯片还用于对原始图像数据进行缩小处理，得到所述第一图像数据；其中，所述原始图像数据的分辨率大于所述第一分辨率。

9.根据权利要求7所述的图像处理电路，其特征在于，

所述主控芯片还用于输出具有第二分辨率的界面数据；

所述图像处理芯片还用于将所述第二图像数据与所述界面数据进行合成处理，生成目标图像数据。

10.一种电子设备，其特征在于，包括显示屏和权利要求1-3任意一项所述的图像处理电路，所述图像处理电路中的显示芯片与所述显示屏连接；

所述显示屏用于显示所述第二图像数据。

11.根据权利要求10所述的电子设备，其特征在于，在所述主控芯片输出界面数据的情况下，所述显示屏还用于显示目标图像数据，所述目标图像数据是基于所述第二图像数据和所述界面数据生成的。

12.根据权利要求10所述的电子设备，其特征在于，还包括图像传感器，所述图像传感器与所述主控芯片连接，所述图像传感器用于采集原始图像数据。

13.一种电子设备，其特征在于，包括显示屏和权利要求7-9任意一项所述的图像处理电路，所述图像处理电路中的显示芯片与所述显示屏连接；

所述显示屏用于显示所述第二图像数据。

Images