CN114338955A - 图像处理电路、图像处理方法、装置、电子设备和芯片 - Google Patents

Abstract

本申请公开了一种图像处理电路、图像处理方法、装置、芯片，属于数据处理技术领域。所述图像处理电路包括陀螺仪传感器，主控芯片和图像处理芯片，所述陀螺仪传感器与所述图像处理芯片连接，所述主控芯片与所述图像处理芯片连接；所述陀螺仪传感器用于在输出第一图像数据的情况下检测抖动信息；所述主控芯片用于向所述图像处理芯片发送第一图像数据和所述第一图像数据对应的控制参数；所述图像处理芯片用于获取所述主控芯片发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器获取所述抖动信息，并根据所述控制参数和所述抖动信息，对所述第一图像数据进行渲染处理，输出第二图像数据。

Description

图像处理电路、图像处理方法、装置、电子设备和芯片

技术领域

本申请属于数据处理技术领域，具体涉及一种图像处理电路、图像处理方法、装置、电子设备和芯片。

背景技术

应用程序的画面是否流畅主要取决于主控芯片的图形处理器的运算能力。运算能力强大的图形处理器可以执行复杂场景画面的庞大计算任务，并渲染出惊艳的效果。

虽然目前移动终端中主控芯片的运算能力已经十分强大，但在渲染画面时移动终端的功耗较大，且存在一定的时延。

发明内容

本申请实施例的目的是提供一种图像处理电路、图像处理方法、装置、电子设备和芯片，可以减少移动终端渲染画面的功耗和时延。

第一方面，本申请实施例提供了一种图像处理电路，其特征在于，包括陀螺仪传感器，主控芯片和图像处理芯片，所述陀螺仪传感器与所述图像处理芯片连接，所述主控芯片与所述图像处理芯片连接；

所述陀螺仪传感器用于在输出第一图像数据的情况下检测抖动信息；

所述主控芯片用于向所述图像处理芯片发送第一图像数据和所述第一图像数据对应的控制参数；

所述图像处理芯片用于获取所述主控芯片发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器获取所述抖动信息，并根据所述控制参数和所述抖动信息，对所述第一图像数据进行渲染处理，输出第二图像数据。

第二方面，本申请实施例提供了一种图像处理装置，其包括如第一方面中所述的图像处理电路。

第三方面，本申请实施例提供了一种图像处理方法，应用于如第二方面中所述的图像处理装置，所述方法包括：

图像处理芯片获取主控芯片发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器获取抖动信息；

所述图像处理芯片根据所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出第二图像数据。

第四方面，本申请实施例提供了一种电子设备，该电子设备包括如第一方面中任一项所述的图像处理电路，处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第三方面所述的方法的步骤。

第五方面，本申请实施例提供了一种图像处理芯片，所述图像处理芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述通信接口用于传输图像数据，所述处理器用于运行程序或指令，实现如第三方面中任一项所述的图像处理方法中的图像处理芯片执行的步骤。

第六方面，本申请实施例提供了一种处理器芯片，其特征在于，所述处理器芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述通信接口用于传输图像数据，所述处理器用于运行程序或指令，实现如第三方面中任一项所述的图像处理方法中的主控芯片执行的步骤。

第七方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第三方面所述的方法。

在本申请实施例中，通过在图像处理电路中设置陀螺仪传感器，主控芯片和图像处理芯片，所述陀螺仪传感器与所述图像处理芯片连接，所述主控芯片与所述图像处理芯片连接；所述陀螺仪传感器用于在输出第一图像数据的情况下检测抖动信息；所述主控芯片用于向所述图像处理芯片发送第一图像数据和所述第一图像数据对应的控制参数；所述图像处理芯片用于获取所述主控芯片发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器获取所述抖动信息，并根据所述控制参数和所述抖动信息，对所述第一图像数据进行渲染处理，输出第二图像数据。这样，由图像处理芯片来执行原本在主控芯片中完成的对第一图像数据的渲染处理，可以降低图像渲染的时延，并降低主控芯片的功耗。

附图说明

图1是本申请实施例的一个图像处理电路的流程示意图；

图2是本申请实施例的另一个图像处理电路的流程示意图；

图3是本申请实施例的又一个图像处理电路的流程示意图；

图4是本申请实施例的再一个图像处理电路的流程示意图；

图5是本申请实施例的图像处理装置的结构示意图；

图6是本申请实施例的图像处理方法的流程示意图；

图7是本申请实施例的电子设备的结构示意图；

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述÷

的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

图1是本申请实施例的图像处理电路的原理示意图。如图1所示，所述图像处理电路10包括陀螺仪传感器11，主控芯片12和图像处理芯片13，所述陀螺仪传感器11与所述图像处理芯片13连接，所述主控芯片12与所述图像处理芯片13连接；所述陀螺仪传感器11用于在输出第一图像数据的情况下检测抖动信息；所述主控芯片12用于向所述图像处理芯片13发送第一图像数据和所述第一图像数据对应的控制参数；所述图像处理芯片13用于获取所述主控芯片12发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器11获取所述抖动信息，并根据所述控制参数和所述抖动信息，对所述第一图像数据进行渲染处理，输出第二图像数据。

所述控制参数包括以下至少一项：图像大小参数、顶点坐标参数、法向量参数、纹理坐标参数、纹理参数、图层信息；所述抖动信息包括以下至少一项：角动量参数、零偏参数、温漂参数。其中，所述图层信息是用于表示所述第一图像数据的不同图层的信息。

在一个实施例中，在获取到所述抖动信息后，所述图像处理芯片13还用于：对所述抖动信息进行预处理；其中，所述预处理包括以下至少一项：噪声识别处理、误差校准处理和滤波处理。

示例性的，所述图像处理芯片13在通过所述陀螺仪传感器11获取到所述抖动信息后，对所述抖动信息进行噪声识别处理、误差校准处理和滤波处理后，基于处理后的所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出所述第二图像数据。

本实施例中，通过对抖动信息进行噪声识别处理、误差校准处理和滤波处理等预处理，并基于所述控制参数和预处理后的所述抖动信息对所述第一图像数据进行渲染处理，输出所述第二图像数据，可以得到渲染效果更好的图像。

在一个实施例中，如图2所示，所述主控芯片12包括图形处理器121，所述主控芯片12还用于关闭所述图形处理器121，以开启低功耗模式。

在本实施例中，由于所述主控芯片12将所述控制参数发送至所述图像处理芯片13进行处理，而不再需要所述图形处理器处理，因此将所述主控芯片12侧的图形处理器关闭，使所述主控芯片12进入低功耗模式，可以节省功耗。

在一个实施例中，如图3所示，所述图像处理芯片13包括第二图像处理模块131和数字信号处理器132；所述第二图像处理模块131和所述数字信号处理器132连接；所述第二图像处理模块131用于基于所述控制参数和所述抖动信息，对所述第一图像数据进行渲染处理；所述数字信号处理器132基于渲染处理后的所述第一图像数据，进行图像绘制，生成第二图像数据；将所述第二图像数据发送至显示单元显示；其中，所述渲染处理包括以下至少一项：变换处理、投影处理。

示例性的，所述第二图像处理模块131可以基于所述控制参数和所述抖动信息，对所述第一图像数据完成顶点坐标变换处理、裁剪处理、旋转处理、投影处理等，得到经过变换处理和投影处理后的图像大小参数、顶点坐标参数、法向量参数、纹理坐标参数、纹理参数、图层信息，然后由所述数字信号处理器132进行图像绘制，生成所述第二图像数据。

示例性的，以渲染游戏画面为例，对本实施例的图像处理电路10的工作原理进行说明。

在主控芯片12和显示屏之间增加一个图像处理芯片13，以改善体感类游戏的游戏体验，减少游戏时延并优化功耗。其中，图像处理芯片13与陀螺仪传感器连接，该陀螺仪传感器用于监测电子设备的抖动信息。图像处理芯片13根据陀螺仪传感器获取到的抖动信息，以及主控芯片12获取到的控制信息和游戏画面的第一图像数据，对第一图像数据进行渲染处理，能很大程度上改善游戏的性能，同时让主控芯片12中的图形处理器关闭进入低功耗模式，可以有效节省电子设备的功耗。

具体的，在电子设备上启动游戏，进入游戏模式，电子设备启动主控芯片12和图像处理芯片13。主控芯片12获取当前游戏画面对应的第一图像数据，以及所述第一图像数据对应的控制参数，其中，所述控制参数可以包括图像大小参数、顶点坐标参数、法向量参数、纹理坐标参数、纹理参数和图层信息。所述主控芯片12在获取到上述控制参数后，将所述控制参数发送至所述图像处理芯片13。同时，所述主控芯片12关闭所述图形处理器121，开启低功耗模式。

陀螺仪传感器11获取电子设备当前的抖动信息，并发送至所述图像处理芯片13。其中，所述抖动信息包括以下至少一项：角动量参数、零偏参数、温漂参数。

所述图像处理芯片13的第二图像处理模块131在获取到所述抖动信息，控制参数和第一图像数据后，首先对所述抖动信息进行噪声识别处理、误差校准处理和滤波处理等预处理，并对所述第一图像数据进行顶点坐标变换处理、裁剪处理、旋转处理、投影处理。

所述第二图像处理模块131基于控制参数和预处理后的抖动信息，对经过顶点坐标变换处理、裁剪处理、旋转处理、投影处理的第一图像数据进行渲染处理，并将经过渲染处理后的第一图像数据发送至所述数字信号处理器132进行图像绘制，生成第二图像数据。

可以理解的是，当电子设备当前没有体感动作时，陀螺仪传感器11获取到的抖动信息相对于渲染上一帧游戏画面而言是没有发生变化的，所述第二图像处理模块131可以基于上一帧的抖动信息，和本次渲染游戏画面时获取到的控制参数，对经过顶点坐标变换处理、裁剪处理、旋转处理、投影处理的第一图像数据进行渲染处理，并将经过渲染处理后的第一图像数据发送至所述数字信号处理器132进行图像绘制，生成第二图像数据。

在生成第二图像数据后，将所述第二图像数据发送至显示单元进行显示。

在本实施例中，所述图像处理芯片13获取所述主控芯片12发送的控制参数和第一图像数据，并获取陀螺仪传感器11发送的抖动信息，基于所述控制参数和所述抖动信息对所述第一图像数据进行渲染处理后，对所述第一图像数据进行图像绘制，生成所述第二图像数据，从而由图像处理芯片13来执行原本在主控芯片12中完成的对第一图像数据的渲染处理，可以有效降低帧处理时延，提升用户的游戏体验，另一方面，也能进一步降低电子设备的整机功耗，增加续航能力。

在一个实施例中，如图4所示，为了进一步降低图像处理芯片13的处理数据量，降低处理时延，还可以由主控芯片12对控制参数做预处理，将需要大量运算处理的数据和运算量小或无需运算的数据分离开，这样，图像处理芯片13只需要对运算数据量大的数据进行处理，在处理后与运算量小或无需运算的数据进行合成即可完成目标图像的渲染。

具体的，在本实施例中，所述第一图像数据包括至少两帧图像。所述主控芯片12包括第一输出接口123、第二输出接口124和第一图像处理模块122；所述第一输出接口123和所述第二输出接口124均与所述第一图像处理模块122连接。

所述第一图像处理模块122用于对所述第一图像数据中的每帧图像进行图层分离处理，得到运动子图像和静止子图像，所述运动子图像包括运动对象，所述静止子图像包括静止对象；所述第一输出接口123用于将所述运动子图像发送至所述第二图像处理模块131；所述第二输出接口124用于将所述静止子图像发送至所述第二图像处理模块131；其中，所述控制参数包括所述运动子图像和所述静止子图像的图层信息。

所述第一图像处理模块122在对所述第一图像数据中的每帧图像进行图层分离处理时，先对所述第一图像数据中的任意至少两帧图像进行时域预分析，得到运动信息；其中，所述运动信息包括以下至少一项：帧间方差、运动向量。然后，对于所述第一图像数据中的每帧图像，基于所述运动信息，对每帧图像进行图层分离，得到所述运动子图像和所述静止子图像。

其中，所述运动子图像的图层信息是需要所述第二图像处理模块131进行渲染处理的控制参数，所述静止子图像的图层信息是无需所述第二图像处理模块131进行渲染处理的控制参数。

在通过所述第一输出接口123将所述运动子图像发送至所述第二图像处理模块131，并通过所述第二输出接口124将所述静止子图像发送至所述第二图像处理模块131后，所述第二图像处理模块131具体可以基于所述控制参数和所述抖动信息，对所述运动子图像进行渲染处理；将所述静止子图像和渲染处理后的所述运动子图像合成，得到所述第二图像数据。其中，所述渲染处理至少可以包括变换处理和投影处理。

示例性的，在本实施例中，以渲染游戏画面为例，对本实施例的图像处理电路10的工作原理进行说明。

在主控芯片12和显示屏之间增加一个图像处理芯片13，以改善体感类游戏的游戏体验，减少游戏时延并优化功耗。其中，图像处理芯片13与陀螺仪传感器连接，该陀螺仪传感器用于监测电子设备的抖动信息。图像处理芯片13根据陀螺仪传感器获取到的抖动信息，以及主控芯片12获取到的控制信息和游戏画面的第一图像数据，对第一图像数据进行渲染处理，能很大程度上改善游戏的性能，同时让主控芯片12中的图形处理器关闭进入低功耗模式，可以有效节省电子设备的功耗。

在本实施例中，与上述实施例的区别在于由主控芯片12对控制参数做预处理进行图层分离，预先分析游戏具体内容，将需要做大量运算处理的图层信息和运算量小或无需运算的图层信息通过两路显示接口(Display Serial Inteface，DSI)发送给图像处理芯片13，图像处理芯片13对需要做大量运算处理的图层信息进行渲染处理，处理后与运算量小或无需运算的图层信息合成，生成第二图像数据。

具体的，在电子设备上启动游戏，进入游戏模式，电子设备启动主控芯片12和图像处理芯片13。主控芯片12获取当前游戏画面对应的第一图像数据，以及所述第一图像数据对应的控制参数，其中，所述控制参数可以包括图像大小参数、顶点坐标参数、法向量参数、纹理坐标参数、纹理参数和图层信息。

所述主控芯片12在获取到上述控制参数后，对第一图像数据中的任意至少两帧图像进行时域预分析，得到至少包括帧间方差和运动向量中任一项的运动信息，然后，对于第一图像数据中的每帧图像，基于所述运动信息进行图层分离，得到所述运动子图像和所述静止子图像。其中，所述运动子图像包括运动对象，所述静止子图像包括静止对象。

在得到所述运动子图像和所述静止子图像后，将所述运动子图像通过第一输出接口123发送至所述第二图像处理模块131，并将所述静止子图像通过第二输出接口124发送至所述第二图像处理模块131，所述控制参数包括所述运动子图像和所述静止子图像的图层信息。其中，所述运动子图像的图层信息是需要所述第二图像处理模块131进行渲染处理的控制参数，所述静止子图像的图层信息是无需所述第二图像处理模块131进行渲染处理的控制参数。

陀螺仪传感器11获取电子设备当前的抖动信息，并发送至所述图像处理芯片13。其中，所述抖动信息包括以下至少一项：角动量参数、零偏参数、温漂参数。

所述图像处理芯片13的第二图像处理模块131在获取到所述控制参数，所述抖动信息，所述运动子图像和所述静止子图像后，首先对所述抖动信息进行噪声识别处理、误差校准处理和滤波处理等预处理，并对所述运动子图像进行顶点坐标变换处理、裁剪处理、旋转处理、投影处理。

所述第二图像处理模块131基于所述控制参数和预处理后的抖动信息，对经过顶点坐标变换处理、裁剪处理、旋转处理、投影处理的运动子图像进行渲染处理，将所述静止子图像与渲染处理后的所述运动子图像合成，得到第二图像数据。其中，所述渲染处理至少可以包括变换处理和投影处理。

在得到第二图像数据后，将所述第二图像数据发送至显示单元进行显示。

在本实施例中，所述主控芯片12先对所述第一图像数据中的每帧图像进行图层分离处理，得到运动子图像和静止子图像，然后通过所述第一输出接口123将所述运动子图像发送至所述图像处理芯片13中的第二图像处理模块131，并通过所述第二输出接口124将所述静止子图像发送至所述图像处理芯片13中的第二图像处理模块131，再由所述图像处理芯片13中的第二图像处理模块131基于所述控制参数和所述抖动信息，对所述运动子图像进行渲染处理后，将所述静止子图像和渲染处理后的所述运动子图像合成，得到所述第二图像数据。这样，所述图像处理芯片13只需要对运算数据量大的数据进行处理，可以进一步降低帧处理时延，提升用户的游戏体验，另一方面，也能进一步降低电子设备的整机功耗，增加续航能力。

可选地，如图5所示，本实施例的图像处理装置20可以包括如上述实施例所述的图像处理电路10。

在一个实施例中，所述图像处理装置20还可以包括图像传感器和显示单元；所述主控芯片与所述图像传感器连接，所述显示单元与所述主控芯片连接。

本实施例的图像处理装置，可以降低图像渲染的时延，并降低主控芯片的功耗。

本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1的电路实施例实现的各个过程，为避免重复，这里不再赘述。

图6是本申请实施例的图像处理方法的流程示意图。本实施例的图像处理方法应用于如上述实施例所述的图像处理装置。

具体的，本实施例的图像处理方法可以包括如下步骤6100～步骤6200：

步骤6100，图像处理芯片获取主控芯片发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器获取抖动信息。

所述控制参数包括以下至少一项：图像大小参数、顶点坐标参数、法向量参数、纹理坐标参数、纹理参数、图层信息；所述抖动信息包括以下至少一项：角动量参数、零偏参数、温漂参数。其中，所述图层信息是用于表示所述第一图像数据的不同图层的信息。

由于所述主控芯片12将所述控制参数发送至所述图像处理芯片13进行处理，而不再需要所述图形处理器处理，在一个实施例中，为了进一步节省功耗，所述主控芯片可以关闭图形处理器，以开启低功耗模式。

在获取到所述第一图像数据、所述第一图像数据对应的控制参数，以及抖动信息后，进入步骤6200：

步骤6200，所述图像处理芯片根据所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出第二图像数据。

在本步骤中，所述图像处理芯片的第二图像处理模块具体可以基于所述控制参数和所述抖动信息，对所述第一图像数据进行渲染处理；所述图像处理芯片的数字信号处理器具体可以基于渲染处理后的所述第一图像数据，进行图像绘制，生成第二图像数据；所述图像处理芯片的数字信号处理器将所述第二图像数据发送至显示单元显示；其中，所述渲染处理包括以下至少一项：变换处理、投影处理。

示例性的，所述图像处理芯片的第二图像处理模块可以基于所述控制参数和所述抖动信息，对所述第一图像数据完成顶点坐标变换处理、裁剪处理、旋转处理、投影处理等，得到经过变换处理和投影处理后的图像大小参数、顶点坐标参数、法向量参数、纹理坐标参数、纹理参数、图层信息，然后由所述图像处理芯片的数字信号处理器基于经过变换处理和投影处理后的图像大小参数、顶点坐标参数、法向量参数、纹理坐标参数、纹理参数、图层信息进行图像绘制，生成所述第二图像数据。

这样，由图像处理芯片来执行原本在主控芯片中完成的对第一图像数据的渲染处理，可以降低图像渲染的时延，并降低主控芯片的功耗。

在一个实施例中，为了进一步降低图像处理芯片的处理数据量，降低处理时延，还可以由主控芯片对控制参数做预处理，将需要大量运算处理的数据和运算量小或无需运算的数据分离开，这样，图像处理芯片只需要对运算数据量大的数据进行处理，在处理后与运算量小或无需运算的数据进行合成即可完成目标图像的渲染。

具体的，在上述步骤6100之前，所述主控芯片的第一图像处理模块可以先对所述第一图像数据中的每帧图像进行图层分离处理，得到运动子图像和静止子图像，所述运动子图像包括运动对象，所述静止子图像包括静止对象。

其中，所述第一图像数据包括至少两帧图像，所述主控芯片的第一图像处理模块在对所述第一图像数据进行图层分离处理，得到运动子图像和静止子图像时，具体可以对所述第一图像数据进行时域预分析，得到运动信息；对于所述第一图像数据中的每帧图像，所述第一图像处理模块基于所述运动信息，对每帧图像进行图层分离，得到所述运动子图像和所述静止子图像；所述运动信息包括以下至少一项：帧间方差、运动向量。

在得到运动子图像和所述静止子图像后，所述主控芯片通过第一输出接口，将所述运动子图像发送至所述图像处理芯片的第二图像处理模块，并通过第二输出接口，将所述静止子图像发送至所述图像处理芯片的第二图像处理模块；其中，所述控制参数包括所述运动子图像和所述静止子图像的图层信息。

相应的，所述图像处理芯片在根据所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出第二图像数据时，具体可以由所述图像处理芯片的第二图像处理模块基于所述控制参数和所述抖动信息，对所述运动子图像进行渲染处理；然后将所述静止子图像和渲染处理后的所述运动子图像合成，得到所述第二图像数据。其中，所述渲染处理至少可以包括变换处理和投影处理。

在本实施例中，所述主控芯片先对所述第一图像数据中的每帧图像进行图层分离处理，得到运动子图像和静止子图像，然后通过所述第一输出接口将所述运动子图像发送至所述图像处理芯片中的第二图像处理模块，并通过所述第二输出接口将所述静止子图像发送至所述图像处理芯片中的第二图像处理模块，再由所述图像处理芯片中的第二图像处理模块基于所述控制参数和所述抖动信息，对所述运动子图像进行渲染处理后，将所述静止子图像和渲染处理后的所述运动子图像合成，得到所述第二图像数据。这样，所述图像处理芯片只需要对运算数据量大的数据进行处理，可以进一步降低图像处理芯片的处理数据量，显著提高了图像处理芯片的处理效率，并可以在功耗较小的情况下进一步降低处理时延。

在一个实施例中，为了得到更好的渲染效果，在上述步骤6200之前，所述图像处理芯片的第二图像处理模块还可以对所述抖动信息进行预处理，以去除所述抖动信息中的噪声信息等。其中，所述预处理包括以下至少一项：噪声识别处理、误差校准处理和滤波处理。

示例性的，所述图像处理芯片在通过所述陀螺仪传感器获取到所述抖动信息后，对所述抖动信息进行噪声识别处理、误差校准处理和滤波处理后，基于处理后的所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出所述第二图像数据。

在本申请实施例中，图像处理芯片获取主控芯片发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器获取抖动信息；所述图像处理芯片根据所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出第二图像数据。这样，由图像处理芯片来执行原本在主控芯片中完成的对第一图像数据的渲染处理，可以降低图像渲染的时延，并降低主控芯片的功耗。

可选地，如图7所示，本申请实施例还提供一种电子设备700，包括上述实施例中所述的图像处理电路10，处理器701和存储器702，存储器702上存储有可在所述处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、处理器810以及图像处理芯片811等部件。

本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，所述图像处理芯片811获取主控芯片发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器获取抖动信息；根据所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出第二图像数据。

所述控制参数包括以下至少一项：图像大小参数、顶点坐标参数、法向量参数、纹理坐标参数、纹理参数、图层信息；所述抖动信息包括以下至少一项：角动量参数、零偏参数、温漂参数。

在一个实施例中，所述图像处理芯片811具体用于：基于所述控制参数和所述抖动信息，对所述第一图像数据进行渲染处理；基于渲染处理后的所述第一图像数据，进行图像绘制，生成第二图像数据；所述第二图像数据发送至显示单元显示；其中，所述渲染处理包括以下至少一项：变换处理、投影处理。

在一个实施例中，所述图像处理芯片811具体用于：基于所述控制参数和所述抖动信息，对所述运动子图像进行渲染处理；将所述静止子图像和渲染处理后的所述运动子图像合成，得到所述第二图像数据。

在一个实施例中，所述图像处理芯片811还用于：对所述抖动信息进行预处理；其中，所述预处理包括以下至少一项：噪声识别处理、误差校准处理和滤波处理。

在一个实施例中，所述处理器810用于：关闭图形处理器8041，以开启低功耗模式。

在一个实施例中，所述第一图像数据包括至少两帧图像；所述处理器810还可以用于：对所述第一图像数据中的每帧图像进行图层分离处理，得到运动子图像和静止子图像，所述运动子图像包括运动对象，所述静止子图像包括静止对象；通过第一输出接口，将所述运动子图像发送至所述图像处理芯片的第二图像处理模块，并通过第二输出接口，将所述静止子图像发送至所述图像处理芯片的第二图像处理模块；其中，所述控制参数包括所述运动子图像和所述静止子图像的图层信息。

在一个实施例中，所述处理器810具体可以用于：对所述第一图像数据进行时域预分析，得到运动信息；对于所述第一图像数据中的每帧图像，基于所述运动信息，对每帧图像进行图层分离，得到所述运动子图像和所述静止子图像；所述运动信息包括以下至少一项：帧间方差、运动向量。

本实施例中，可以由图像处理芯片来执行原本在处理器中完成的确定图像渲染参数和渲染目标图像的操作，可以进一步降低帧处理时延，提升用户的游戏体验，另一方面，也能进一步降低电子设备的整机功耗，增加续航能力。

应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器809可以包括易失性存储器或非易失性存储器，或者，存储器809可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。

处理器810可包括一个或多个处理单元；可选地，处理器810集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种图像处理芯片，所述图像处理芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例中图像处理芯片执行的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的图像处理芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例另提供了一种处理器芯片，所述处理器芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例中主控芯片执行的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的处理器芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (21)

1.一种图像处理电路，其特征在于，包括陀螺仪传感器，主控芯片和图像处理芯片，所述陀螺仪传感器与所述图像处理芯片连接，所述主控芯片与所述图像处理芯片连接；

所述陀螺仪传感器用于在输出第一图像数据的情况下检测抖动信息；

所述主控芯片用于向所述图像处理芯片发送第一图像数据和所述第一图像数据对应的控制参数；

所述图像处理芯片用于获取所述主控芯片发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器获取所述抖动信息，并根据所述控制参数和所述抖动信息，对所述第一图像数据进行渲染处理，输出第二图像数据。

2.根据权利要求1所述的图像处理电路，其特征在于，所述控制参数包括以下至少一项：图像大小参数、顶点坐标参数、法向量参数、纹理坐标参数、纹理参数、图层信息；

所述抖动信息包括以下至少一项：角动量参数、零偏参数、温漂参数。

3.根据权利要求1所述的图像处理电路，其特征在于，所述主控芯片包括图形处理器；

所述主控芯片还用于关闭所述图形处理器，以开启低功耗模式。

4.根据权利要求1或2所述的图像处理电路，其特征在于，所述图像处理芯片包括第二图像处理模块和数字信号处理器；所述第二图像处理模块和所述数字信号处理器连接；

所述第二图像处理模块用于基于所述控制参数和所述抖动信息，对所述第一图像数据进行渲染处理；

所述数字信号处理器基于渲染处理后的所述第一图像数据，进行图像绘制，生成第二图像数据；将所述第二图像数据发送至显示单元显示；

其中，所述渲染处理包括以下至少一项：变换处理、投影处理。

5.根据权利要求4所述的图像处理电路，其特征在于，所述第一图像数据包括至少两帧图像；

所述主控芯片包括第一输出接口、第二输出接口和第一图像处理模块；

所述第一输出接口和所述第二输出接口均与所述第一图像处理模块连接；

所述第一图像处理模块用于对所述第一图像数据中的每帧图像进行图层分离处理，得到运动子图像和静止子图像，所述运动子图像包括运动对象，所述静止子图像包括静止对象；

所述第一输出接口用于将所述运动子图像发送至所述第二图像处理模块；

所述第二输出接口用于将所述静止子图像发送至所述第二图像处理模块；

其中，所述控制参数包括所述运动子图像和所述静止子图像的图层信息。

6.根据权利要求5所述的图像处理电路，其特征在于，所述第二图像处理模块具体用于：

基于所述控制参数和所述抖动信息，对所述运动子图像进行渲染处理；将所述静止子图像和渲染处理后的所述运动子图像合成，得到所述第二图像数据。

7.根据权利要求5所述的图像处理电路，其特征在于，所述第一图像处理模块具体用于：

对所述第一图像数据进行时域预分析，得到运动信息；

对于所述第一图像数据中的每帧图像，基于所述运动信息，对每帧图像进行图层分离，得到所述运动子图像和所述静止子图像；

所述运动信息包括以下至少一项：帧间方差、运动向量。

8.根据权利要求1所述的图像处理电路，其特征在于，所述图像处理芯片还用于：对所述抖动信息进行预处理；

其中，所述预处理包括以下至少一项：噪声识别处理、误差校准处理和滤波处理。

9.一种图像处理装置，其特征在于，包括权利要求1-8中任一项所述的图像处理电路。

10.根据权利要求9所述的图像处理装置，其特征在于，所述图像处理装置还包括图像传感器和显示单元；

所述主控芯片与所述图像传感器连接；所述显示单元与所述主控芯片连接。

11.一种图像处理方法，应用于权利要求9或10所述的图像处理装置，其特征在于，所述方法包括：

图像处理芯片获取主控芯片发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器获取抖动信息；

所述图像处理芯片根据所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出第二图像数据。

12.根据权利要求11所述的方法，其特征在于，所述控制参数包括以下至少一项：图像大小参数、顶点坐标参数、法向量参数、纹理坐标参数、纹理参数、图层信息；

所述抖动信息包括以下至少一项：角动量参数、零偏参数、温漂参数。

13.根据权利要求11所述的方法，其特征在于，所述方法还包括：

所述主控芯片关闭图形处理器，以开启低功耗模式。

14.根据权利要求11或12所述的方法，其特征在于，所述图像处理芯片根据所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出第二图像数据，包括：

所述图像处理芯片的第二图像处理模块基于所述控制参数和所述抖动信息，对所述第一图像数据进行渲染处理；

所述图像处理芯片的数字信号处理器基于渲染处理后的所述第一图像数据，进行图像绘制，生成第二图像数据；

所述图像处理芯片的数字信号处理器将所述第二图像数据发送至显示单元显示；

其中，所述渲染处理包括以下至少一项：变换处理、投影处理。

15.根据权利要求11所述的方法，其特征在于，所述第一图像数据包括至少两帧图像；

所述图像处理芯片获取主控芯片发送的第一图像数据和所述第一图像数据对应的控制参数，并通过陀螺仪传感器获取抖动信息之前，还包括：

所述主控芯片的第一图像处理模块对所述第一图像数据中的每帧图像进行图层分离处理，得到运动子图像和静止子图像，所述运动子图像包括运动对象，所述静止子图像包括静止对象；

所述主控芯片通过第一输出接口，将所述运动子图像发送至所述图像处理芯片的第二图像处理模块，并通过第二输出接口，将所述静止子图像发送至所述图像处理芯片的第二图像处理模块；

其中，所述控制参数包括所述运动子图像和所述静止子图像的图层信息。

16.根据权利要求15所述的方法，其特征在于，所述图像处理芯片根据所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出第二图像数据，包括：

所述第二图像处理模块基于所述控制参数和所述抖动信息，对所述运动子图像进行渲染处理；

将所述静止子图像和渲染处理后的所述运动子图像合成，得到所述第二图像数据。

17.根据权利要求15所述的方法，其特征在于，所述主控芯片的第一图像处理模块对所述第一图像数据进行图层分离处理，得到运动子图像和静止子图像，包括：

所述主控芯片的第一图像处理模块对所述第一图像数据进行时域预分析，得到运动信息；

对于所述第一图像数据中的每帧图像，所述第一图像处理模块基于所述运动信息，对每帧图像进行图层分离，得到所述运动子图像和所述静止子图像；

所述运动信息包括以下至少一项：帧间方差、运动向量。

18.根据权利要求11所述的方法，其特征在于，所述图像处理芯片根据所述抖动信息和所述控制参数，对所述第一图像数据进行渲染处理，输出第二图像数据之前，所述方法还包括：

所述图像处理芯片的第二图像处理模块对所述抖动信息进行预处理；

其中，所述预处理包括以下至少一项：噪声识别处理、误差校准处理和滤波处理。

19.一种电子设备，其特征在于，包括权利要求1至8中任一项所述的图像处理电路，处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求11至18中任一项所述的图像处理方法的步骤。

20.一种图像处理芯片，其特征在于，所述图像处理芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述通信接口用于传输图像数据，所述处理器用于运行程序或指令，实现如权利要求11至18中任一项所述的图像处理方法中的图像处理芯片执行的步骤。

21.一种处理器芯片，其特征在于，所述处理器芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述通信接口用于传输图像数据，所述处理器用于运行程序或指令，实现如权利要求11至18中任一项所述的图像处理方法中的主控芯片执行的步骤。

Images