CN117788266A - 数据传输方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种数据传输方法、装置及电子设备，属于芯片技术领域。该方法包括：基于主控芯片的显示系统将显示系统申请的第一内存地址传输至主控芯片的第一图层合成单元，基于主控芯片的图像发送系统将图像发送系统申请的第二内存地址传输至主控芯片的第二图层合成单元；基于第一图层合成单元从第一内存地址对应的第一内存中获取应用界面数据，并对应用界面数据进行合成得到界面合成数据，将界面合成数据传输至图像处理芯片，基于第二图层合成单元从第二内存地址对应的第二内存中获取图像数据，并对图像数据进行合成得到图像合成数据，将图像合成数据传输至图像处理芯片。

Description

数据传输方法、装置及电子设备

技术领域

本申请属于芯片技术领域，具体涉及一种数据传输方法、装置及电子设备。

背景技术

目前，越来越多电子设备都搭载了图像处理芯片，也称独显芯片。利用图像处理芯片的算力，对图像进行图像处理(例如，插帧、降噪、超分、SDR2HDR(Standard DynamicRange To High Dynamic Range，低动态范围向高动态范围转换)等处理)，提升图像效果。由于独显芯片是外置于电子设备的主控芯片，需要先将主控芯片内部的图像数据发送到外置的图像处理芯片，图像处理芯片对接收的图像数据进行处理。目前电子设备常用的方法是通过显示系统控制主控芯片端的MIPI-DSI(Mobile Industry Processor Interface-Display Serial Interface，应用于显示技术的串行接口)接口，将图像数据传输到图像处理芯片。

对于目前的电子设备的系统来讲，图像类应用(如游戏、camera(相机)、视频播放器等)，传输至显示系统的数据(应用数据)通常包含两种数据，一种是应用界面数据(如控件菜单等)，另一种是图像数据。而图像处理芯片只对图像数据做图像处理，所以需要在显示系统中配置数据拆分单元，通过数据拆分单元先将图像数据从应用数据中拆分出来，数据拆分单元与显示系统耦合，容易带来软件上的风险。

发明内容

本申请实施例的目的是提供一种数据传输方法、装置及电子设备，能够降低软件上的风险。

第一方面，本申请实施例提供了一种数据传输方法，所述方法包括：

基于主控芯片的显示系统将所述显示系统申请的第一内存地址传输至所述主控芯片的第一图层合成单元，基于所述主控芯片的图像发送系统将所述图像发送系统申请的第二内存地址传输至所述主控芯片的第二图层合成单元；

基于所述第一图层合成单元从所述第一内存地址对应的第一内存中获取应用界面数据，并对所述应用界面数据进行合成得到界面合成数据，将所述界面合成数据传输至图像处理芯片，基于所述第二图层合成单元从所述第二内存地址对应的第二内存中获取图像数据，并对所述图像数据进行合成得到图像合成数据，将所述图像合成数据传输至所述图像处理芯片。

第二方面，本申请实施例提供了一种数据传输装置，所述装置包括：

主控芯片，所述主控芯片的显示系统将所述显示系统申请的第一内存地址传输至所述主控芯片的第一图层合成单元，所述主控芯片的图像发送系统将所述图像发送系统申请的第二内存地址传输至所述主控芯片的第二图层合成单元；

所述第一图层合成单元，所述第一图层合成单元从所述第一内存地址对应的第一内存中获取应用界面数据，并对所述应用界面数据进行合成得到界面合成数据，将所述界面合成数据传输至图像处理芯片；

所述第二图层合成单元，所述第二图层合成单元从所述第二内存地址对应的第二内存中获取图像数据，并对所述图像数据进行合成得到图像合成数据，将所述图像合成数据传输至所述图像处理芯片。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种主控芯片，所述系统级芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法中所述主控芯片执行的步骤。

第六方面，本申请实施例提供了一种独显芯片，所述独显芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法中所述独显芯片执行的步骤。

第七方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本实施例中，应用界面数据和图像数据分别存在不同的内存中，第一图层合成单元和第二图层合成单元分别从不同的内存中读取相应的数据，无需在显示系统中配置数据拆分单元将图像数据拆分出来，避免数据拆分单元与显示系统的耦合，降低了软件上的风险。

附图说明

图1是本申请实施例提供的数据传输方法的流程图；

图2是本申请实施例提供的数据传输装置的结构图；

图3是本申请实施例提供的实现数据传输方法的系统架构图；

图4是本申请实施例提供的电子设备的结构示意图；

图5是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的视频处理单元进行详细地说明。

如图1所示，本申请提供一种实施例的一种数据传输方法，方法包括：

步骤101：基于主控芯片的显示系统将显示系统申请的第一内存地址传输至主控芯片的第一图层合成单元，基于主控芯片的图像发送系统将图像发送系统申请的第二内存地址传输至主控芯片的第二图层合成单元。

在本实施例中，基于主控芯片的显示系统申请第一内存地址，并将其传输至主控芯片的第一图层合成单元，而主控芯片的图像发送系统申请第二内存地址，并将其发送至第二图层合成单元，需要说明的是，第一内存地址与第二内存地址为相互独立的地址，第一内存地址对应的第一内存可用于存储应用界面数据，第二内存地址对应的第二内存可用于存储图像数据。上述应用界面数据可以包括但不限于应用界面、状态栏、导航栏等，图像数据也可称为图像内容数据，可包括但不限于视频、camera、游戏等应用提供的图像数据，可以被图像处理芯片处理。另外，需要说明的是，显示系统可以是安卓(Android)原生显示系统。

步骤102：基于第一图层合成单元从第一内存地址对应的第一内存中获取应用界面数据，并对应用界面数据进行合成得到界面合成数据，将界面合成数据传输至图像处理芯片，基于第二图层合成单元从第二内存地址对应的第二内存中获取图像数据，并对图像数据进行合成得到图像合成数据，将图像合成数据传输至图像处理芯片。

第一图层合成单元基于第一内存地址从对应的第一内存中读取应用界面数据，并进行合成处理，将得到的界面合成数据传输至图像处理芯片，而第二图层合成单元基于第二内存地址从对应的第二内存中读取图像数据，并进行合成，将得到的图像合成数据传输至图像处理芯片。

在本实施例中，应用界面数据和图像数据分别存在不同的内存中，第一图层合成单元和第二图层合成单元分别从不同的内存中读取相应的数据，无需在显示系统中配置数据拆分单元将图像数据拆分出来，避免数据拆分单元与显示系统的耦合，降低了软件上的风险。

在一个实施例中，方法还包括：

基于图像处理芯片对图像合成数据进行图像处理，得到第一图像；

基于图像处理芯片对界面合成数据与第一图像进行合成，得到第二图像；

将第二图像传输至显示屏。

例如，上述图像处理可以是图像增强，例如可包括但不限于插帧、降噪、超分、SDR2HDR(低动态范围向高动态范围转换)等处理，通过上述图像处理，实现图像增强，提高图像效果，然后将界面合成数据与图像增强后得到的第一图像进行合成，得到第二图像，将其输出至显示屏，可在显示屏中显示第二图像，可提高图像显示效果。

在一个实施例中，基于第一图层合成单元从第一内存地址对应的第一内存中获取应用界面数据之前，还包括：

基于显示系统申请第一内存地址，第一内存地址包括N个内存地址，N为大于1的整数；

其中，应用界面数据通过应用渲染到第一内存地址对应的第一内存中；

基于第二图层合成单元从第二内存地址对应的第二内存中获取图像数据之前，还包括：

基于图像发送系统申请第二内存地址，第二内存地址包括M个内存地址，M为大于1的整数；

基于图像生成系统将生成的图像数据渲染到第二内存地址对应的第二内存中。

在本实施例中，通过显示系统申请第一内存地址，应用界面数据由应用渲染到第一内存地址对应的第一内存中，供第一图层合成单元读取，通过图像发送系统申请第二内存地址，图像数据由图像生成系统渲染到第二内存地址对应的第二内存中，供第二图层合成单元读取。应用界面数据和图像数据分别渲染到不同内存中保存，这样，第一图层合成单元和第二图层合成单元分别到不同的内存地址中读取数据进行处理，提高对不同数据读取的准确性。

需要说明的是，N个内存地址的大小相同，且N个内存地址中的任一内存地址的大小与应用界面数据大小一致，M个内存地址的大小相同，M个内存地址中任一内存地址的大小与图像数据大小一致，应用界面数据可以是通过应用渲染到N个内存地址中空闲的一内存地址对应的内存中，图像生成系统可将生成的图像数据渲染到M个内存地址中空闲的一内存地址对应的内存中。N个内存地址中任一内存地址对应的内存中的应用界面数据被第一图层合成单元读取后，可将该内存中的应用界面数据释放，该内存变为空闲内存，以便存储后续渲染的应用界面数据。M个内存地址中任一内存地址对应的内存中的图像数据被第二图层合成单元读取后，可将该内存中的图像数据释放，该内存变为空闲内存，以便存储后续渲染的图像数据。

在一个实施例中，基于图像生成系统将生成的图像数据渲染到第二内存地址对应的第二内存中之后，还包括：

基于图像生成系统在对图像数据渲染完毕的情况下向图像发送系统传输第一发送请求；

基于主控芯片的图像发送系统将图像发送系统申请的第二内存地址传输至主控芯片的第二图层合成单元，包括：

基于图像发送系统响应于第一发送请求，将第二内存地址发送至第二图层合成单元。

在内存中先渲染后读取，从而，在对图像数据渲染完毕的情况下，触发向图像发送系统传输第一发送请求，以使图像发送系统将第二内存地址发送至第二图层合成单元，以便第二图层合成单元后续从第二内存地址对应的第二内存中读取完整的渲染的图像数据。

在一个实施例中，基于显示系统申请第一内存地址之后，还包括：

基于应用在对应用界面数据渲染完毕的情况下向显示系统传输第二发送请求；

基于显示系统响应于第二发送请求，将第一内存地址发送至第一图层合成单元。

在内存中先渲染后读取，从而，在对应用界面数据渲染完毕的情况下，触发向显示系统传输第二发送请求，以使显示系统将第一内存地址发送至第一图层合成单元，以便第一图层合成单元后续从第一个内存地址对应的第一内存中读取完整的渲染的应用界面数据。

在一个实施例中，方法还包括：

基于主控芯片的图像发送系统将图像发送系统申请的第三内存地址传输至第二图层合成单元；

基于第二图层合成单元从第三内存地址对应的第三内存中获取图像数据对应的元数据；

对图像数据进行合成得到图像合成数据，包括：

对图像数据以及元数据进行合成得到图像合成数据。

可以理解，由图像发送系统申请第三内存地址，图像生成系统可将元数据(metadata)渲染到第三内存地址对应的第三内存中进行保存。在对图像数据的元数据渲染完毕后，可将第三内存地址传输至第二图层合成单元，以便第二图层合成单元后续从第三内存地址对应的第三内存中读取完整的渲染的元数据。需要说明的是，本申请实施例的图像合成数据的大小与第二图层合成单元的分辨率大小一致。另外，是对图像数据以及图像数据的元数据进行合成得到图像合成数据，提高得到的图像合成数据的完整性。与此同时，元数据和图像数据各自渲染到不同的内存中，从而使第二图层合成单元从不同的内存中读取元数据和图像数据，提高对不同数据读取的准确性。

需要说明的是，第三内存包括K个内存，K为大于1的整数，图像生成系统可将原数据渲染到第三内存的K个内存中任一个空闲内存中。可以理解的是，第三内存中存储渲染的元数据的一个内存的大小与第二内存中存储渲染的图像数据的一个内存的大小之和与第二图层合成单元的分辨率一致。

在一个实施例中，方法还包括：

在基于图像生成系统检测到满足分辨率切换条件的情况下，获取目标分辨率；

基于图像生成系统向图像发送系统发送分辨率切换指示；

基于图像发送系统接收到分辨率切换指示的情况下向第二图层合成单元发送分辨率切换指示，以使第二图层合成单元将当前分辨率切换为目标分辨率；

基于图像生成系统将生成的图像数据渲染到第二内存地址对应的第二内存中，包括：基于图像生成系统根据目标分辨率将图像数据渲染到第二内存中。

可以理解，第二图层合成单元接收到分辨率切换指示后，可响应于分辨率切换指示，将第二图层合成单元当前分辨率切换为目标分辨率，另外，图像生成系统按照新的分辨率即目标分辨率渲染图像数据到相应的内存中。在本实施例中，可在检测到满足分辨率切换条件的情况下，通过发送分辨率切换指示，使第二图层合成单元的分辨率切换为分辨率切换指示对应的目标分辨率，实现第二图层合成单元的分辨率的切换，这样，后续第二图层合成单元可根据目标分辨率对从内存中读取的数据进行合成，得到大小与目标分辨率匹配的合成数据。另外，需要说明的是，图像生成系统还可生成图像数据对应的元数据，从而图像生成系统可根据目标分辨率将图像数据以及元数据渲染到各自相应的内存中，即将图像数据渲染到第二内存以及将元数据渲染到第三内存，第二内存和第三内存的内存大小之和与目标分辨率匹配。第二图层合成单元可利用切换后的目标分辨率对图像数据以及元数据进行合成得到图像合成数据，使得到的图像合成数据的大小与目标分辨率匹配。

需要说明的是，相关技术中，图像数据和元数据打包一起存储到同一个内存中，一起传输至图层合成单元处理后直接输出至屏幕显示，而图像数据的分辨率和元数据的分辨率之和与应用界面数据的分辨率一致，不能自定义大小，该内存的布局，一般是metadata放在内存的开头和末尾，图像数据占用大部分内存，而该内存的大小是固定的，从而可放置的元数据的大小有限。而在本申请实施例中，元数据渲染到第三内存，图像数据渲染到第二内存，分开渲染到不同的内存，第二内存地址对应的第二内存与第三内存地址对应的第三内存的内存大小之和与第二图层合成单元的分辨率一致，在本申请实施例中，第二图层合成单元的分辨率可自定义大小，例如，可切换到自定义所需的目标分辨率，这样，存储图像数据的内存大小和存储元数据的内存大小可以动态改变，图像数据和元数据大小可以自定义，渲染存储到对应的内存中，确保存储图像数据的内存大小和存储元数据的内存大小之和与第二图层合成单元的分辨率一致即可，可降低对元数据大小的限制。

需要说明的是，在相关技术中，通过原生显示系统进行分辨率切换，由于原生显示系统的机制，系统分辨率切换会导致应用重启。而在本申请实施例中，可设置独立于原生显示系统的图像发送系统，图像生成系统在检测满足分辨率切换条件的情况下，是向图像发送系统发送分辨率切换指示，图像发送系统基于分辨率切换指示，向第二图层合成单元发送分辨率切换指示，以使第二图层合成单元将当前分辨率切换为目标分辨率，可以理解，是通过图像发送系统切换分辨率，可摒弃原生显示系统分辨率切换重启应用的机制。在第二图层合成单元将当前分辨率切换为目标分辨率的情况下，还可调整用于存储渲染的图像数据的内存大小和/或用于存储元数据的内存大小，使用于存储渲染的图像数据的内存大小与用于存储元数据的内存大小之和与目标分辨率一致，实现分辨率的动态切换。

一个示例中，图像生成系统可检测是否满足分辨率切换条件，可以是检测生成图像数据的场景是否发生变化，若发生变化，可确定满足分辨率切换条件，例如，如夜景下的极夜和普夜场景传输的图像数据、metadata大小可能都不相同，需要改变分辨率。

如图2所示，本申请提供一种实施例的数据传输装置200，可用于电子设备，装置200包括：

主控芯片201，主控芯片的显示系统用于将显示系统申请的第一内存地址传输至主控芯片的第一图层合成单元202，主控芯片的图像发送系统用于将图像发送系统申请的第二内存地址传输至主控芯片的第二图层合成单元203；

第一图层合成单元202，用于从第一内存地址对应的第一内存中获取应用界面数据，并对应用界面数据进行合成得到界面合成数据，将界面合成数据传输至图像处理芯片204；

第二图层合成单元203，用于从第二内存地址对应的第二内存中获取图像数据，并对图像数据进行合成得到图像合成数据，将图像合成数据传输至图像处理芯片204。

在一个实施例中，装置还包括：

图像处理芯片204，用于对图像合成数据进行图像处理，得到第一图像，以及对界面合成数据与第一图像进行合成，得到第二图像，将第二图像传输至显示屏205。

在一个实施例中，显示系统用于在第一图层合成单元202从第一内存地址对应的第一内存中获取应用界面数据之前，申请第一内存地址，第一内存地址包括N个内存地址，N为大于1的整数；

其中，应用界面数据通过应用渲染到第一内存地址对应的第一内存中。

其中，图像发送系统用于在第二图层合成单元203从第二内存地址对应的第二内存中获取图像数据之前，申请第二内存地址，第二内存地址包括M个内存地址，M为大于1的整数；

装置200还包括：

图像生成系统，用于将生成的图像数据渲染到第二内存地址对应的第二内存中。

在一个实施例中，图像生成系统，还用于在对图像数据渲染完毕的情况下向图像发送系统传输第一发送请求；

其中，主控芯片201的图像发送系统，用于响应于第一发送请求，将第二内存地址发送至第二图层合成单元203。

在一个实施例中，主控芯片201的图像发送系统，还用于将图像发送系统申请的第三内存地址传输至第二图层合成单元203；

第二图层合成单元203，还用于从第三内存地址对应的第三内存中获取图像数据对应的元数据；

第二图层合成单元203，用于对图像数据以及元数据进行合成得到图像合成数据。

在一个实施例中，图像生成系统还用于：

在检测到满足分辨率切换条件的情况下，获取目标分辨率，向图像发送系统发送分辨率切换指示；

图像发送系统接，还用于收到分辨率切换指示的情况下向第二图层合成单元203发送分辨率切换指示，以使第二图层合成单元203将当前分辨率切换为目标分辨率；

图像生成系统，用于根据目标分辨率将图像数据渲染到第二内存中。

本申请实施例的数据传输装置为可实现上述实施例的数据传输方法的装置，技术特征一一对应，能达到相同的技术效果，在此不再赘述。

本申请实施例中的数据传输装置可以是电子设备，也可以是电子设备中的部件，例如，集成电路或芯片。该电子设备可以是终端，也可以是除终端之外的其他设备，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(MobileInternet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的数据传输装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的数据传输装置能够实现上述数据传输方法实施例实现的各个过程，例如，能够实现上述数据传输方法实施例实现的各个过程，为避免重复，这里不再赘述。

下面以一个具体实施例对上述方案的原理过程加以具体说明。

为了提升游戏帧率、摄影效果、视频效果等，现在越来越多移动终端搭载了图像处理芯片(也称独显芯片或独显)。利用图像处理芯片，可对图像进行插帧、降噪、超分、SDR2HDR等处理，可以带来更高帧率、更高分辨率、色彩饱和度及对比度等显示增强效果，可提升图像显示效果。由于独显芯片是外置于移动终端的主控芯片的，若需要对图像进行处理，需要有一种方法，先将主控芯片内部的图像数据发送到外置的图像处理芯片。目前Android系统的移动终端上通用的做法是通过Android原生显示系统控制主控芯片的应用于显示技术的串行接口(Mobile Industry Processor Interface-Display SerialInterface，MIPI-DSI)，将图像数据传输到图像处理芯片。然而，显示系统的数据包括应用界面数据和图像数据，需要在Android显示系统中先将图像数据拆分出来，为了拆分数据，在Android显示系统中加入数据拆分单元，将图像数据与应用界面数据拆分，数据拆分后，图像数据经过显示硬件模块(display processing unit，DPU)的图层合成单元处理后通过显示串行接口(Display Serial Interface，DSI)发送至图像处理芯片。然而，数据拆分单元与Android显示系统耦合，会带来软件上的风险，基于此，本申请实施例提供一种数据传输方法，无需在显示系统中新增数据拆分单元来进行数据拆分，可简化图像数据传输至图像处理芯片的方式，降低软件上的风险。

如图3所示，为本申请实施例的实现数据传输方法的系统架构图，其中，SurfaceFlinger是Android系统的显示系统，Hardware.Composer Hal是显示系统的硬件抽象层(Hardware Abstraction Layer，Hal)，主要负责控制显示硬件模块(DPU)，AndroidFramework层是应用(APP)与显示系统交互的中间层。通路①表示surface(绘图表面)创建或销毁，surface是显示系统用来控制图层显示的，例如，在通路①中，图像类应用启动显示，可按照活动管理器服务(ActivityManagerService)、视图(View)到窗口管理服务(WindowManagerService)的顺序，完成用户界面(User Interface，UI)图层对应的surface创建，APP应用工作时，APP应用向显示系统申请创建用户界面(User Interface，UI)图层(对应应用界面)。通路③表示创建图像图层和metadata图层并绘制(渲染)，例如，由图像生成系统创建图像和metadata的surface的创建，图像surface对应图像图层，metadatasurface对应metadata图层，图像发送系统可从缓存队列中申请图像图层对应的内存以及metadata图层对应的内存，图像生成系统可将生成的图像数据渲染到图像图层对应的一个内存中以及将元数据渲染到metadata图层对应的一个内存中，图像图层的任一块内存的内存大小与metadata图层的任一块内存的内存大小(分辨率)之和与第二图层合成单元(overlay1)的分辨率大小是一致的，通常等于系统设置的分辨率(系统分辨率)，UI图层的分辨率通常等于系统分辨率。结合图3对分辨率进行说明，图层分辨率就是显示内容的大小，对应显存(Dynamic Random Access Memory，DRAM)的大小，系统分辨率就是屏幕(即显示屏，可以是液晶显示器(Liquid Crystal Display，LCD))的分辨率，图层合成单元(overlay，也称硬件图层合成单元)也有分辨率的概念，即将显存内容合成到一个分辨率大小，该分辨率为图层合成单元的分辨率，若与图层分辨率不一致，则overlay会将显存内容缩放到屏幕大小去显示。

图3中，通路②表示应用界面数据的绘制及提交到显示系统申请显示，例如，可通过画布(Canvas)来渲染应用界面数据，渲染到申请的对应的内存中。通路④负责切换overlay1的分辨率，如图3所示，可由图像生成系统检测是否满足分辨率切换条件，在检测到满足分辨率切换条件的情况下，向图像发送系统发送分辨率切换指示，图像发送系统中的分辨率切换模块通过图像发送系统中的显示模块(Display)和Hal层向overlay1发送设置分辨率的分辨率切换指示，以控制overlay1将当前分辨率切换为目标分辨率，可实现overlay1的分辨率的自定义。在本申请实施例中，overlay1不是与屏幕直接传输数据，两者之间设置图像处理芯片，overlay1不是用来发送数据到屏幕显示，而是将数据发送至图像处理芯片，ovelay1的分辨率可以自定义大小，例如，可切换到自定义所需的目标分辨率，图像图层和metadata图层对应独立的不同显存，图像图层和metadata图层两者显存大小之和等于ovelay1的分辨率，这样图像图层和metadata图层的分辨率可以动态改变，数据大小可以自定义，确保图像图层和metadata图层的显存大小之和与ovelay1的分辨率一致即可。通路⑤表示系统分辨率切换，系统分辨率切换后，系统会让UI图层的显存大小和屏幕分辨率匹配，如图3所示，在通路⑤中，可由显示系统的分辨率切换模块发起系统分辨率切换，显示系统的分辨率切换模块可通过显示系统的显示模块和Hal层请求ovelay0设置分辨率，以使ovelay0切换分辨率。通路⑥表示在垂直同步(vertical sync，vsync)刷新周期到来时，应用界面数据经过DPU的第一图层合成单元(overlay0)单元处理，再经DSI0传输到图像处理芯片。通路⑦将图像数据和metadata交给overlay1合成。需要说明的是在相关技术中，原生显示系统具有vsync周期，需要在渲染和刷帧过程中需要等待vsync周期，而在本申请实施例中，设置有独立与原生显示系统的图像发送系统，可摒弃原生系统的vsync机制，从而发送数据可无需等待vsync周期的到来，以提高渲染和刷帧的效率。

本申请的一个实施例中，图像发送系统控制DPU，将图像数据和元数据发送至图像处理芯片，对图像进行降噪处理，本实施例的具体步骤如下：

首先，图像生成模块创建图像surface和metadata surface；

其中，surface可用来控制图像绘制和发送请求，要发送几种数据就创建几个surface，一般一个surface对应至少两个(例如2至3个)内存(buffer)，图像surface对应的buffer中一块buffer的大小可等于图像数据大小；

其次，surface模块从缓存队列(bufferqueue)中获取空闲的buffer；

其中，bufferqueue模块是用来管理buffer列表的，空闲的意思是指这块buffer没有被绘制数据；

然后，图像生成模块绘制数据到空闲的buffer；

显示模块(display)控制overlay1将buffer中的数据发送到图像处理芯片。

图像发送系统独立于Android原生显示系统，图像发送系统与Android原生显示系统解耦，简化了图像数据传输到图像处理芯片的控制方式，降低了软件稳定性风险，另外发送数据不用等待vsync，使传输时延更低。

本申请的另一个实施例中，图像发送系统控制DPU，将camera图像和metadata数据发送到图像处理芯片进行降噪处理，并结合场景需要动态的切换分辨率和帧率，改变传输数据的大小和速度，本实施例的具体步骤如下：

首先，图像生成模块创建图像surface和metadata surface；

其次，surface模块从bufferqueue中获取空闲的buffer；

然后，图像生成模块绘制图像数据和metadata到相应的buffer；

再者，display模块控制overlay1硬件单元将buffer中的数据发送到图像处理芯片；

在场景变化的情况下，图像生成模块发起分辨率切换，分辨率切换模块切换到所需要的分辨率和帧率；

图像生成模块按照新的分辨率绘制图像数据和metadata到相应的buffer；

display模块控制overlay1硬件单元将buffer中按照新的分辨率绘制的数据发送到图像处理芯片。

图像发送系统与Android原生显示系统解耦，简化了camera降噪场景图像传输到图像处理芯片的控制方式，降低了软件稳定性风险，另外发送数据不用等待vsync，使传输时延更低。另外，图像数据和元数据分别渲染到不同的内存中，可从不同的内存中读取图像数据和元数据，用于存储渲染的图像数据的内存大小和用于存储渲染的元数据的内存大小可动态改变，两者之和与第二图层合成单元的分辨率匹配即可，从而可根据场景动态改变传输图像的大小，从而可动态改变图像传输速度。

本申请的另一个实施例中，图像发送系统控制DPU，将视频(video)图像发送到图像处理芯片，可进行插帧、sdr2hdr或超分处理等，本实施例的具体步骤如下：

首先，图像生成模块创建图像surface；

其次，surface模块从bufferqueue中获取空闲的buffer；

然后，图像生成模块绘制图像数据到相应的buffer；

再者，display模块控制overlay1硬件单元将buffer中的数据发送到图像处理芯片。

在本实施例中，简化了视频插帧、sdr2hdr和超分场景图像传输到图像处理芯片的控制方式，使传输时延更低。

本申请的另一个实施例中，图像发送系统控制DPU，将游戏图像发送到图像处理芯片，可进行插帧或sdr2hdr等，本实施例的具体步骤如下：

首先，图像生成模块创建图像surface；

其次，surface模块从bufferqueue中获取空闲的buffer；

然后，图像生成模块绘制图像数据到相应的buffer；

再者，display模块控制overlay1硬件单元将buffer中的数据发送到图像处理芯片。

在本实施例中，简化了游戏插帧、sdr2hdr场景图像传输到图像处理芯片的控制方式，使传输时延更低。

可选地，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401和存储器402，存储器402存储可在处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述数据传输方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图5为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。

本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，电子设备500还包括：

主控芯片，主控芯片的显示系统用于将显示系统申请的第一内存地址传输至主控芯片的第一图层合成单元，主控芯片的图像发送系统将图像发送系统申请的第二内存地址传输至主控芯片的第二图层合成单元；

第一图层合成单元，用于从第一内存地址对应的第一内存中获取应用界面数据，并对应用界面数据进行合成得到界面合成数据，将界面合成数据传输至图像处理芯片；

第二图层合成单元，用于从第二内存地址对应的第二内存中获取图像数据，并对图像数据进行合成得到图像合成数据，将图像合成数据输至图像处理芯片。

在一个实施例中，电子设备500还包括：

图像处理芯片，用于对图像合成数据进行图像处理，得到第一图像，以及对界面合成数据与第一图像进行合成，得到第二图像，将第二图像传输至显示屏。

在一个实施例中，显示系统用于在第一图层合成单元从第一内存地址对应的第一内存中获取应用界面数据之前，申请第一内存地址，第一内存地址包括N个内存地址，N为大于1的整数；

其中，应用界面数据通过应用渲染到第一内存地址对应的第一内存中。

图像发送系统用于在第二图层合成单元从第二内存地址对应的第二内存中获取图像数据之前，申请第二内存地址，第二内存地址包括M个内存地址，M为大于1的整数；

电子设备还包括：

图像生成系统，用于将生成的图像数据渲染到第二内存地址对应的第二内存中。

在一个实施例中，图像生成系统，还用于在对图像数据渲染完毕的情况下向图像发送系统传输第一发送请求；

主控芯片的图像发送系统，用语响应于第一发送请求，将第二内存地址发送至第二图层合成单元。

在一个实施例中，基于主控芯片的图像发送系统，还用于将图像发送系统申请的第三内存地址传输至第二图层合成单元；

第二图层合成单元，还用于从第三内存地址对应的第三内存中获取图像数据对应的元数据；

第二图层合成单元，用于对图像数据以及元数据进行合成得到图像合成数据。

在一个实施例中，图像生成系统还用于：

在检测到满足分辨率切换条件的情况下，获取目标分辨率，向图像发送系统发送分辨率切换指示；

图像发送系统，还用于接收到分辨率切换指示的情况下向第二图层合成单元发送分辨率切换指示，以使第二图层合成单元将当前分辨率切换为目标分辨率；

图像生成系统，用于将生成的图像数据渲染到第二内存地址对应的第二内存中，包括：图像生成系统根据目标分辨率将图像数据渲染到第二内存中。

应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072中的至少一种。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器509可用于存储软件程序以及各种数据，存储器509可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器509可以包括易失性存储器或非易失性存储器，或者，存储器509可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器509包括但不限于这些和任意其它适合类型的存储器。

处理器510可包括一个或多个处理单元；可选的，包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述数据传输方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例提供了一种主控芯片，主控芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如上述实施例方法中主控芯片执行的步骤。

本申请实施例提供了一种独显芯片，独显芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如上述实施例方法中独显芯片执行的步骤。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述数据传输方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (14)

1.一种数据传输方法，其特征在于，所述方法包括：

基于主控芯片的显示系统将所述显示系统申请的第一内存地址传输至所述主控芯片的第一图层合成单元，基于所述主控芯片的图像发送系统将所述图像发送系统申请的第二内存地址传输至所述主控芯片的第二图层合成单元；

基于所述第一图层合成单元从所述第一内存地址对应的第一内存中获取应用界面数据，并对所述应用界面数据进行合成得到界面合成数据，将所述界面合成数据传输至图像处理芯片，基于所述第二图层合成单元从所述第二内存地址对应的第二内存中获取图像数据，并对所述图像数据进行合成得到图像合成数据，将所述图像合成数据传输至所述图像处理芯片。

2.根据权利要求1所述的数据传输方法，其特征在于，所述方法还包括：

基于所述图像处理芯片对所述图像合成数据进行图像处理，得到第一图像；

基于所述图像处理芯片对所述界面合成数据与所述第一图像进行合成，得到第二图像；

将所述第二图像传输至显示屏。

3.根据权利要求1所述的数据传输方法，其特征在于，所述基于所述第一图层合成单元从所述第一内存地址对应的第一内存中获取应用界面数据之前，还包括：

基于所述显示系统申请所述第一内存地址，所述第一内存地址包括N个内存地址，所述N为大于1的整数；

其中，所述应用界面数据通过应用渲染到所述第一内存地址对应的第一内存中；

所述基于所述第二图层合成单元从所述第二内存地址对应的第二内存中获取图像数据之前，还包括：

基于所述图像发送系统申请所述第二内存地址，所述第二内存地址包括M个内存地址，M为大于1的整数；

基于图像生成系统将生成的所述图像数据渲染到所述第二内存地址对应的第二内存中。

4.根据权利要求3所述的数据传输方法，其特征在于，所述基于图像生成系统将生成的所述图像数据渲染到所述第二内存地址对应的第二内存中之后，还包括：

基于所述图像生成系统在对所述图像数据渲染完毕的情况下向所述图像发送系统传输第一发送请求；

所述基于所述主控芯片的图像发送系统将所述图像发送系统申请的第二内存地址传输至所述主控芯片的第二图层合成单元，包括：

基于所述图像发送系统响应于所述第一发送请求，将所述第二内存地址发送至所述第二图层合成单元。

5.根据权利要求1所述的数据传输方法，其特征在于，所述方法还包括：

基于所述主控芯片的图像发送系统将所述图像发送系统申请的第三内存地址传输至所述第二图层合成单元；

基于所述第二图层合成单元从所述第三内存地址对应的第三内存中获取所述图像数据对应的元数据；

所述对所述图像数据进行合成得到图像合成数据，包括：

对所述图像数据以及所述元数据进行合成得到所述图像合成数据。

6.根据权利要求3所述的数据传输方法，其特征在于，所述方法还包括：

在基于所述图像生成系统检测到满足分辨率切换条件的情况下，获取目标分辨率；

基于所述图像生成系统向所述图像发送系统发送分辨率切换指示；

基于所述图像发送系统接收到所述分辨率切换指示的情况下向所述第二图层合成单元发送所述分辨率切换指示，以使所述第二图层合成单元将当前分辨率切换为所述目标分辨率；

所述基于图像生成系统将生成的所述图像数据渲染到所述第二内存地址对应的第二内存中，包括：基于所述图像生成系统根据所述目标分辨率将所述图像数据渲染到所述第二内存中。

7.一种数据传输装置，其特征在于，所述装置包括：

主控芯片，所述主控芯片的显示系统用于将所述显示系统申请的第一内存地址传输至所述主控芯片的第一图层合成单元，所述主控芯片的图像发送系统用于将所述图像发送系统申请的第二内存地址传输至所述主控芯片的第二图层合成单元；

所述第一图层合成单元，用于从所述第一内存地址对应的第一内存中获取应用界面数据，并对所述应用界面数据进行合成得到界面合成数据，将所述界面合成数据传输至图像处理芯片；

所述第二图层合成单元，用于从所述第二内存地址对应的第二内存中获取图像数据，并对所述图像数据进行合成得到图像合成数据，将所述图像合成数据传输至所述图像处理芯片。

8.根据权利要求7所述的数据传输装置，其特征在于，所述装置还包括：

所述图像处理芯片，用于对所述图像合成数据进行图像处理，得到第一图像，以及对所述界面合成数据与所述第一图像进行合成，得到第二图像，将所述第二图像传输至显示屏。

9.根据权利要求7所述的数据传输装置，其特征在于，所述显示系统用于在所述第一图层合成单元从所述第一内存地址对应的第一内存中获取应用界面数据之前，申请所述第一内存地址，所述第一内存地址包括N个内存地址，所述N为大于1的整数；

其中，所述应用界面数据通过应用渲染到所述第一内存地址对应的第一内存中；

所述图像发送系统用于在所述第二图层合成单元从所述第二内存地址对应的第二内存中获取图像数据之前，申请所述第二内存地址，所述第二内存地址包括M个内存地址，M为大于1的整数；

所述装置还包括：

图像生成系统，用于将生成的所述图像数据渲染到所述第二内存地址对应的第二内存中。

10.根据权利要求9所述的数据传输装置，其特征在于，所述图像生成系统，还用于在对所述图像数据渲染完毕的情况下向所述图像发送系统传输第一发送请求；

所述主控芯片的图像发送系统，用于响应于所述第一发送请求，将所述第二内存地址发送至所述第二图层合成单元。

11.根据权利要求7所述的数据传输装置，其特征在于，所述主控芯片的图像发送系统，还用于将所述图像发送系统申请的第三内存地址传输至所述第二图层合成单元；

所述第二图层合成单元，还用于从所述第三内存地址对应的第三内存中获取所述图像数据对应的元数据；

所述第二图层合成单元，用于：

对所述图像数据以及所述元数据进行合成得到所述图像合成数据。

12.根据权利要求9所述的数据传输装置，其特征在于，所述图像生成系统还用于：

检测到满足分辨率切换条件的情况下，获取目标分辨率；

向所述图像发送系统发送分辨率切换指示；

所述图像发送系统，还用于接收到所述分辨率切换指示的情况下向所述第二图层合成单元发送所述分辨率切换指示，以使所述第二图层合成单元将当前分辨率切换为所述目标分辨率；

图像生成系统，用于根据所述目标分辨率将所述图像数据渲染到所述第二内存中。

13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的方法的步骤。

14.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的方法的步骤。