CN114691392A - 终端的信息传输方法及装置、存储介质及终端 - Google Patents

Abstract

本公开提供一种终端的信息传输方法、终端的信息传输装置、计算机可读存储介质及终端，涉及游戏控制技术领域。该方法包括：获取待传输数据的颗粒度；根据颗粒度确定目标缓存空间，目标缓存空间包括片上系统SoC中的系统级存储器或片外存储器；基于目标缓存空间进行数据传输。本技术方案能够有效降低带宽以及带宽问题带来的功耗。

Description

终端的信息传输方法及装置、存储介质及终端

技术领域

本公开涉及终端技术领域，尤其涉及一种终端的信息传输方法、终端的信息传输装置、计算机可读存储介质及终端。

背景技术

终端的数据处理过程中伴随发生着数据传输，例如在终端游戏场景中，图形处理单元与显示屏之间的数据传输、视频解码器与显示屏之间的数据传输等。相关技术中，数据传输过程一般是基于内存实现的。

然而，例如终端游戏场景等数据处理过程是需要考虑时延因素的，而在考虑时延因素的情况下，相关技术提供的终端的信息传输方案存在带宽及功耗问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种终端的信息传输方法、终端的信息传输装置、计算机可读存储介质及终端，在保证时延低的情况下，至少在一定程度上降低带宽以及带宽问题带来的功耗大问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种终端的信息传输方法，该方法包括：获取待传输数据的颗粒度；根据所述颗粒度确定目标缓存空间，所述目标缓存空间包括片上系统SoC中的系统级存储器或片外存储器；以及，基于所述目标缓存空间进行所述数据传输。

根据本公开的另一个方面，提供一种终端的信息传输装置，该装置包括：颗粒度获取模块、类型确定模块，以及数据传输模块。

其中，上述颗粒度获取模块，用于获取待传输数据的颗粒度；上述类型确定模块，用于根据所述颗粒度确定目标缓存空间，所述目标缓存空间包括片上系统SoC中的系统级存储器或片外存储器；以及，上述数据传输模块，用于基于所述目标缓存空间进行所述数据传输。

根据本公开的再一个方面，提供一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中的终端的信息传输方法。

根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述实施例中的终端的信息传输方法。

本公开的实施例所提供的终端的信息传输方法、终端的信息传输装置、计算机可读存储介质及终端，具备以下技术效果：

本技术方案在进行数据传输之前，先根据待传输书的颗粒度确定缓存空间的类型，包括片上系统中(Systemon Chip，简称：SoC)的系统级存储器或片外存储器，然后再根据所确定类型的缓存空间进行数据传输。从而，针对性地为不同颗粒度的待传输数据确定不同类型的缓存空间，进而既能有效降低数据传输的带宽并减低功耗，又可以考虑到经济性从而提升实用性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开一示例性实施例中低延时实现终端游戏的数据处理链路。

图2示出了本公开另一示例性实施例中低延时实现终端游戏的数据处理链路。

图3示出了本公开再一示例性实施例中低延时实现终端游戏的数据处理链路。

图4示出了根据本公开一示例性实施例中终端的信息传输方法的流程示意图。

图5示出了根据本公开另一示例性实施例中终端的信息传输方法的流程示意图。

图6示出了本公开一示例性实施例中带宽与功耗的关系图。

图7a、图7b分别示出了人工智能超分辨率场景中，网络处理器与视频解码器之间终端的信息传输方法的示意图。

图8a、图8b分别示出了手机待机场景中，显示屏内部终端的信息传输方法的示意图。

图9a、图9b分别示出了人工智能场景中，网络处理器内部终端的信息传输方法的示意图。

图10示出了可以应用本公开一实施例的终端的信息传输装置的结构示意图。

图11示意性示出了根据本公开的另一实施例的终端的信息传输装置的结构示意图。

图12示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施例方式作进一步地详细描述。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在互联场景规格需求(如，解析度、帧率、比特数)的日益增加，终端数据处理全链路上硬件模组进行数据传输所需的带宽也不断增加。例如为了提升终端游戏玩家的使用体验，则需尽量降低游戏过程中的延迟。其中，关于终端游戏且需将游戏场景画面投屏至另一显示屏的游戏场景，图1至图3分别示出了低延时实现终端游戏的数据处理链路，不同之处在于数据传输过程中数据颗粒度不同。具体的，图像类型的待传输数据的颗粒度由大到小可以分为Frame(以帧Frame为单位进行数据传输)、Slice(片)和Line(线)。其中，Frame(帧)和Slice(片)是符合H.264标准的，Line(线)为非标准的数据颗粒度。

在图1所示的实施例中，待传输数据的颗粒度为Frame，此为较为通用的游戏实现方式。该实现方式的优点在于每个硬件模组可以相对独立开发设计，且Frame level dataformat(帧层级数据格式)被H.264标准所规范，因此跨平台的联结，不会有兼容性的问题。但是为了满足上述兼容性问题，整条链路的时延会较长。

在图2所示的实施例中，待传输数据的颗粒度为Slice(片)。为了改善图1示出的链路时延较长的问题，因此在H.264标准的规范下，视频编码器与视频解码器传输的图像数据可以采用颗粒度更小的Slice level data format(片层级数据格式)。此方式的优点在于：相较于图1示出的方案，全链路的时延可以获得一定程度改善。但是还存在以下缺点：Slicelevel data format在相同的压缩率下，画质会比Frame level data format差。

在图3所示的实施例中，待传输数据的颗粒度为Line(线)。为了再进一步改善上述游戏场景全链路时延的问题，因此跳脱标准规范，在全硬件模组间，在硬件能力允许的情况下，采用颗粒度更小的Line level data format(线层级数据格式)。该方式的优点在于：相较于图1或图2示出的方案，全链路的时延可以获得更高程度改善，且画质和Frame leveldata format相同。

在示例性的实施例中，在待传输数据的颗粒度为线层级的情况下，以下通过表1介绍采用相关技术(即采用片外存储器进行数据缓存)的情况下该链路所需带宽以及功耗。

表1

其中，对于表1中第4列“传输数据格式以及所需带宽”的相关解释如下：“YUV420,4K”、“ARGB,2K”、“YUV420,2K”、“YUV420,4K”代表图像格式，“120fps”为帧率，“3840*2160”、“2560*1440”代表分辨率。需要说明的是，关于该列中的其他内容将在确定“目标带宽”的实施例中进行详细介绍。

参考图3和表1，上述链路中涉及云端游戏的终端(Source端)的硬件模组：视频编码器12、图形处理器13(GPU 13)、显示屏11(Display 11)、照相机(Camera)、颜色转换插件(Color Format Conversion)以及视频解码器，还涉及被投屏的终端(Sink端)的硬件模组：视频编码器22、图形处理器23(GPU 23)以及显示屏21(Display21)。

参考表1，在上述Source端硬件模组的链路的数据传输所需带宽为11.53GB/s，在上述Sink端硬件模组的链路的数据传输所需带宽为3.03GB/s。其中，带宽计算方式将在下述实施例中详细描述。

可见，上述游戏场景所需带宽可达到每秒数10GB(Giga Byte，千兆字节)，因此相关技术提供的终端的信息传输方案中带宽带来的功耗与热是急需要被解决的问题。

针对相关技术中存在的技术问题，本技术方案提供一种终端的信息传输方法、终端的信息传输装置，以及实现上述方法的计算机可读存储介质和终端。以下先对本公开提供的终端的信息传输方法实施例的进行详细阐述：

其中，图4示出本公开一示例性实施例中终端的信息传输方法的流程示意图。参考图4该方法包括：

S410，获取待传输数据的颗粒度。

在示例性的实施例中，上述数据传输可以是由同一终端内部的一个硬件模组传输至另一个硬件模组，可以是同一硬件模组内部的数据传输，还可以是不同终端之间的数据传输。

S420，根据颗粒度确定目标缓存空间，目标缓存空间包括片上系统SoC中的系统级存储器或片外存储器。

在示例性的实施例中，上述系统级存储器(Systemlevelcache，简称：SLC)为设置在片上系统中的存储器，上述片外存储器为设置在片上系统的存储器，包括双倍数据速率(Double Data Rate，简称：DDR)存储器。

S430，基于目标缓存空间进行数据传输。

在本图4所示实施例所提供的终端的信息传输方案中，先根据待传输书的颗粒度确定缓存空间的类型，包括片上系统中(System on Chip，简称：SoC)的系统级存储器或片外存储器，然后再根据所确定类型的缓存空间进行数据传输。从而，针对性地为不同颗粒度的待传输数据确定不同类型的缓存空间，进而既能有效降低数据传输的带宽并减低功耗，又可以考虑到经济性从而提升实用性。

示例性的，在图4的基础上，图5示出本公开另一示例性实施例中终端的信息传输方法的流程示意图。以下结合图5对图4所示实施例中各个步骤的具体实施方式进行详细介绍：

在S410/S510中，获取待传输数据的颗粒度。

在示例性的实施例中，待传输数据的颗粒度是指此次数据传输过程中待传输数据的最小单位。其中，不同类型的待传输数据的颗粒度衡量标准不同。示例性的，在待传输数据为图像类型时可以采用以帧Frame为单位进行数据传输、还可以将帧切分后得到的片Slice为单位进行数据传输，还可以以片Slice切分后得到的线Line为单位进行数据传输。

由于对于不同颗粒度的待传输数据，适用不同类型的缓存空间。因此，在数据传输之前，先获取待传输数据的颗粒度。

示例性的，如图3所示的数据处理全链路，若在全链路的数据传输过程中颗粒度不变，则在全链路的数据处理过程之间获取一次待传输数据颗粒度即可。例如，在图3所示的数据处理全链路中均是以线Line为单位进行数据传输。若在全链路中进行数据处理的不同硬件模组组合之间的待传输数据颗粒度不同。例如，硬件A与硬件B之间进行数据传输的数据颗粒度为level 1，硬件B与硬件C之间进行数据传输的数据颗粒度为level2，则需在进行每次数据传输过程之前均确定一次待传输数据的颗粒度。

由于片上系统SoC中的系统级存储器的价值较为昂贵，不适用于数据颗粒度过大的数据传输过程。因此，本技术方案在进行数据传输之前，获取待传输数据的颗粒度，以根据待传输数据的颗粒度为该次数据传输确定相应类型的缓存空间，从而有利于尽量数据传输所需的带宽，进而减少带宽所带来的功耗与热。

继续参考图5，S520、S530以及S531作为S420的具体实施方式。在S520中，判断颗粒度是否小于预设标准。并在颗粒度小于预设标准的情况下下执行S530：确定目标缓存空间为系统级存储器。以及，在颗粒度不小于预设标准的情况下执行S531：确定目标缓存空间为片外存储器。

在示例性的实施例中，根据待传输数据的类型(如，音频、图像、文字等类型)不同，上述预设标准不同。例如，某种类型的待传输数据根据颗粒度由小至大的顺序分为level1、level 2、level 3以及level 4四个等级，其中，上述预设标准可以为level3或level2。又例如，在图3所示的游戏场景中，链路(1)的前级硬件模组为视频编码器12，后级硬件模组为Display 11，该链路的待传输数据的类型为图像，具体格式为YUV420,4K。其中，图像类型的待传输数据的颗粒度可以分为Frame(以帧Frame为单位进行数据传输)、Slice(片)和Line(线)。其中，Frame(帧)和Slice(片)是符合H.264标准的，Line(线)为非标准的数据颗粒度。

在待传输数据的颗粒度小于预设标准的情况下，说明当前待传输数据的颗粒度较小，例如，上述预设标准可以为Slice，则以Line的颗粒度待传输数据适用于以系统级存储器(Systemlevelcache)为其数据传输的缓存空间。理由是，若以片外存储器为其缓存空间将带来每秒数10GB(如表1)，且为带宽带来巨大的功耗与热的问题。

在与表1其他情况完全相同的情况下，将数据传输的缓存空间由表1对应的片外存储器换为表2对应的系统级存储器，作为对比，表2示出了以系统级存储器作为以Line的颗粒度进行数据传输的缓存空间的情况下，全链路所需系统级存储器的空间大小。

表2

参考表2，在上述Source端硬件模组的链路的数据传输的System level cache需求量为102.5KB，在上述Sink端硬件模组的链路的数据传输的System level cache需求量为31.25KB。其中，链路的数据传输的Systemlevel cache需求量的计算方式将在下述实施例中详细描述。

根据表1和表2所示实施例可以看出，在数据传输过程中，当待传输数据的颗粒度小于预设标准的情况下，采用系统级存储器能够有效降低带宽以及带宽问题带来的功耗。

继续参考图5，S540-S580作为S430的一种具体实施方式。在S540中，获取待传输数据的数据类型。

本技术方案中以图像类型的待传输数据为例进行说明，在S550中，在待传输数据的数据类型为图像的情况下，根据待传输数据的格式确定缓存格式对应的第一系数。

在确定缓存格式(Bufferformat)对应的系数的示例性的实施例中，参考表2，以链路(1)为例计算上述目标缓存空间的确定实施例中，待传输数据的数据类型为图像类型，具体地，图像格式为YUV，根据数据类型YUV确定缓存格式对应的系数(即上述第一系数)为1.5。以链路(2)为例计算上述目标缓存空间的确定实施例中，待传输数据的数据类型为图像类型，具体地，图像格式为ARGB，根据数据类型ARGB确定缓存格式对应的系数(即上述第一系数)为4。

进一步地，在待传输数据为图像类型的情况下，在S560中，根据缓存格式对应的第一系数、待传输数据的颗粒度和分辨率确定缓存需求量，以及在系统级存储器中，确定出满足缓存需求量的目标缓存空间。

参考表2，以链路(1)为例计算上述目标缓存空间的确定实施例中，待传输数据的分辨率Resolution为Width*H＝3840*2160，待传输数据的颗粒度为Linelevel，则根据待传输数据的颗粒度和分辨率确定Line Buffer为：W*H＝3840*1。

更进一步地，根据S360确定缓存需求量为Line Buffer*第一系数。

在示例性的实施例中，为了达到对数据进行并行处理的目的，还可以设置乒乓缓存Ping-pongBuffer，具体通过前级硬件模组写完第一块Buffer交给后级硬件模组，后级硬件模组在处理第一块Buffer时，前级硬件模组可以同步处理第二块Buffer，对应的乒乓缓存对应的第二系数为2。

则缓存需求量为：Line Buffer*第一系数*第二系数；链路(1)的缓存需求量为：3840*1*1.5*2＝11520B；链路(2)的缓存需求量为：2560*1*4*2＝20480B。

由于系统级存储器设计成本较为昂贵，例如其总存储空间大约3MB大小，而当前可能存储其他程序占用系统级存储器的部分空间。因此，在确定该次数据传输对应的缓存需求量之后，还可以执行S570：判断系统级存储器中是否包含满足上述缓存需求量的目标存储空间。示例性的，参考表2示出的Source端总共需要的缓存需求量为102.5KB，假如系统存储器中当前包含可用缓存空间大小大于102.5KB。

即在系统存储器中当前包含满足上述缓存需求量的存储空间的情况下，则执行S580：基于上述目标缓存空间进行上述数据传输。

在系统存储器中当前不包含满足上述缓存需求量的存储空间的情况下，则执行S531：确定上述目标缓存空间为片外存储器。也就是说，将目标缓存空间切换为片外存储器；其中，上述片外存储器为未设置在片上系统的存储器，包括DDR存储器。本实施例中，在系统级存储器不能满足当前的数据传输需求时，通过切换存储空间类型的方式来优先保证数据传输的顺利执行。例如，在游戏场景下，通过片外存储器来优先保证游戏数据传输的顺利执行，从而避免出现游戏画面的卡顿等问题。

在示例性的实施例中，表3示出了如图3所示的游戏场景下，若待传输数据的颗粒度不同，所需系统级存储器的换存量是不同的，如下：

表3

需要说明的是，Slice level(片层级)与Frame level(帧层级)均属于H.264标准，对于相同的待传输数据，Slice level一般会申请与Frame level相同大小的存储空间。因此表3中，上述两种情况下System Cache需求量相同。

可见，待传输数据的颗粒度较大(不小于预设标准)的情况下，若使用系统级存储器作为缓存空间，由于其需求量大因此将造成对系统级缓存的浪费，或者系统级存储器不能满足对应的缓存需求量。因此，本技术方案中，在待传输数据的颗粒度较大(不小于预设标准)的情况下，将采用片外存储器作为其缓存空间。具体地：

继续参考图5，S541-S571作为S430的另一种具体实施方式。

根据上述实施例可知，在待传输数据的颗粒度大于预设标准或是在系统级存储器中的可用缓存空间不足的情况下，则需以片外存储器作为缓存空间进行数据传输，具体执行S541-S571。

可以理解的是，S541-S571对应实施例中待传输数据的颗粒度可以是大于预设标准的Framelevel(数据传输链路如图1所示)、Slicelevel(数据传输链路如图2所示)，还可以是系统级存储器中的可用缓存空间不足的情况下的Linelevel(数据传输链路如图3所示)。本实施例中，以待传输数据的颗粒度为Linelevel的为例介绍。

在S541中，获取待传输数据的数据类型。

本技术方案中仍以图像类型的待传输数据为例进行说明，在S551中，在待传输数据为图像的情况下，根据待传输数据的格式确定缓存格式对应的第一系数。

在确定缓存格式(Bufferformat)对应的系数的示例性的实施例中，参考表2，以链路(1)为例计算上述目标缓存空间的确定实施例中，待传输数据的数据类型为图像类型，具体地，图像格式为YUV，根据数据类型YUV确定缓存格式对应的系数(即上述第一系数)为1.5。以链路(2)为例计算上述目标缓存空间的确定实施例中，待传输数据的数据类型为图像类型，具体地，图像格式为ARGB，根据数据类型ARGB确定缓存格式对应的系数(即上述第一系数)为4。

进一步地，在待传输数据为图像类型的情况下，在S561中，根据缓存格式对应的第一系数、帧率和待传输数据的分辨率确定目标带宽。其中，上述目标带宽是指数据传输链路中前级硬件模组和后级硬件模组的交换带宽。

参考表1，以链路(1)为例计算上述目标带宽的确定实施例中，待传输数据的分辨率resolution为Width 3840*Height 2160，待传输数据的帧率为120fps，则数据传输链路(1)中前级硬件模组和后级硬件模组的交换带宽为：3840*2160*1.5*120(Byte)＝1423.82MB/s。

更进一步地，根据S571中，在片外存储器中，基于上述目标带宽进行数据传输。

可见，通过上述实施例提供了一种根据待传输数据的颗粒度确定缓存空间类型的技术方案，为小于预设标准的待传输数据以及不小于预设标准的待传输数据分别分配不同类型的缓存空间。从而，能够有效降低带宽以及带宽问题带来的功耗。进一步地，由于系统级存储器有限，在系统级存储器的当前可用存储空间不同满足数据传输的缓存需求量的情况下，通过切换存储空间类型的方式来优先保证数据传输的顺利执行。例如，在游戏场景下下，通过存储空间类型的方式来优先保证游戏数据传输的顺利执行，从而避免出现游戏画面的卡顿等问题，进而不影响用户的使用体验。

示例性的，在待传输数据为图像且颗粒度为Linelevel的情况下，表1示出了基于DDR(片外存储器)作为缓存空间所需带宽明细，表2示出了基于Systemlevelcache作为缓存空间的需求量明细。显然，在低时延的游戏场景的全链路解决方案，可以透过运用SystemCache非常有效的降低DDR带宽。同时，图6示出了本公开一示例性实施例中带宽与功耗的关系图。

参考图6，在待传输数据为图像且颗粒度为Linelevel的情况下，采用DDR作为其缓存空间时带宽与功耗的关系图。其中，实线示出了根据带宽变化所产生功耗的实际量。虚线为对实线数据拟合得到的，具体可以表示为：y＝0.0589x+264.9。显然，随着带宽的增加功耗也不断增加，导致产热量大，从而导致终端发热甚至可能导致死机。

然而，透过本技术方案，即在待传输数据为图像且颗粒度为Linelevel的情况下，采用系统级存储器作为其缓存空间。能够在低时延的游戏全链路解决方案，可以透过运用System Cache非常有效的降低DDR带宽，有效解决因全场景互联连互通规格提升而带来功耗与热的问题。

具体的，Source端利用102.5KB的System Cache来取代DDR，可以降低约960mW的功耗，Sink端利用31.25KB的System Cache来取代DDR，可以降低约450mW的功耗。

上述实施例中，对于实现超低时延的游戏场景的不同解决方案(分别如图1-图3)，先根据待传输书的颗粒度确定缓存空间的类型，包括片上系统中(Systemon Chip，简称：SoC)的系统级存储器或片外存储器，然后再根据所确定类型的缓存空间进行数据传输。从而，针对性地为不同颗粒度的待传输数据确定不同类型的缓存空间，进而在保证低水平时延的情况下，既能有效降低数据传输的带宽并减低功耗，又可以考虑到经济性从而提升实用性。

在上述示例性的实施例中，本技术方案提供的数据传输过程可以发生在硬件模组间，如图1所示出的视频编码器与显示屏之间、图形处理器与显示屏之间、相机与显示屏之间、视频编码器与图形处理器之间、相机与图形处理器之间、图形处理器与颜色转换插件之间、颜色转换插件与视频解码器之间、视频解码器与显示屏之间中的任一种。

另外，在硬件模组间还可以是如图7a和图7b所示的人工智能超分辨率(Artificial IntelligenceSuper-Resolution，简称：AISR)场景中。

示例性的，图7a和图7b示出了AISR场景中，网络处理器(Network Processor，简称：NPU)与视频解码器(视频编码器，简称：VDEC)之间终端的信息传输方法的示意图。

其中，图7a为AISR场景中NPU与VDEC之间数据传输过程中以片外存储器(以DDR为例)进行数据缓存。图7b为与图7a相同场景，不同之处在于图7b的数据传输过程中以系统级存储器进行数据缓存。

对于图7a所示AISR场景中，VDEC硬件模组的输出会作为NPU硬件模组的输入，其中的数据传输以DDR作为缓存空间。然而在待传输数据的颗粒度小于预设标准的情况下，此过程所需的带宽，可以通过图7b的方式进行吸收。

在另一些示例性的实施例中，本技术方案提供的数据传输过程可以发生在硬件模组内部。

示例性的，图8a和图8b分别示出了手机待机场景中，显示屏内部终端的信息传输方法的示意图。

其中，图8a为手机待机场景中显示屏内部数据传输过程中以片外存储器进行数据缓存。图8b为与图8a相同场景，不同之处在于数据传输过程中以系统级存储器进行数据缓存。

假设显示屏的规格为：video mode panel，2560*1440*120Hz，那硬件模组显示屏中Disp Buffer读取片外存储器(以DDR为例)的数据时所需带宽为：2560*1440*4*120＝2560*1440*4*120B/s＝1687.5MB/s。其中的，Disp Buffe与面板之间通过MIPI(MobileIndustry Processor Interface)接口进行数据传输。

本实施例中，即手机处于待机待机(手机屏幕闲置)状态下显示屏内部数据传输过程，原本Display硬件模组读取DDR的数据所需带宽会达到1687.5MB/s。然而在待传输数据的颗粒度小于预设标准的情况下，透过使用System Cache，则将能够全部吸收读取DDR所需的带宽。

示例性的，图9a和图9b分别示出了人工智能场景中NPU内部终端的信息传输方法的示意图。

其中，图9a为人工智能场景中NPU内部数据传输过程中以片外存储器进行数据缓存。图9b为与图9a相同场景，不同之处在于数据传输过程中以系统级存储器进行数据缓存。

在待传输数据的颗粒度小于预设标准的情况下，对于图9a所示场景中硬件模组NPU读取片外存储器(以DDR为例)的数据时所需带宽，可以通过图9b的方式进行吸收。

本技术方案可以应用于终端硬件模组间的数据传输过程，也可以应用于终端硬件模组内部的数据传输过程，并根据待传输数据的颗粒度确定缓存空间类型，为小于预设标准的待传输数据以及不小于预设标准的待传输数据分别分配不同类型的缓存空间。从而，能够有效降低带宽以及带宽问题带来的功耗。进一步地，由于系统级存储器有限，在系统级存储器的当前可用存储空间不同满足数据传输的缓存需求量的情况下，通过切换存储空间类型的方式来优先保证数据传输的顺利执行。例如，在游戏场景下下，通过存储空间类型的方式来优先保证游戏数据传输的顺利执行，从而避免出现游戏画面的卡顿等问题，进而不影响用户的使用体验。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

其中，图10示出了可以应用本公开一实施例的终端的信息传输装置的结构示意图。请参见图10，该图所示的终端的信息传输装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分，还可以作为独立的模块集成于终端中或服务器上。

本公开实施例中的终端的信息传输装置1000包括：颗粒度获取模块1010、类型确定模块1020和数据传输模块1030，其中：

上述颗粒度获取模块1010，用于获取待传输数据的颗粒度；上述类型确定模块1020，用于根据上述颗粒度确定目标缓存空间，上述目标缓存空间包括片上系统SoC中的系统级存储器或片外存储器；以及，上述数据传输模块1030，用于基于上述目标缓存空间进行上述数据传输。

在示例性的实施例中，图11示意性示出了根据本公开另一示例性的实施例中终端的信息传输装置的结构图。请参见图11：

在示例性的实施例中，基于前述方案，上述类型确定模块1020，具体用于：在上述颗粒度小于预设标准的情况下，确定上述目标缓存空间为上述系统级存储器。

在示例性的实施例中，基于前述方案，上述数据传输模块1030包括：数据类型获取单元10301、系数确定单元10302、需求量确定单元10303以及传输单元10304。

其中，上述数据类型获取单元10301用于：获取上述待传输数据的数据类型；上述系数确定单元10302用于：在上述数据类型为图像的情况下，根据上述待传输数据的格式确定缓存格式对应的第一系数；上述需求量确定单元10303用于：根据上述缓存格式对应的第一系数、上述待传输数据的颗粒度和分辨率确定缓存需求量；以及，上述传输单元10304用于：在上述系统级存储器中确定出满足上述缓存需求量的目标缓存空间，并基于上述目标缓存空间进行上述数据传输。

在示例性的实施例中，基于前述方案，上述需求量确定单元10303，具体用于：设置乒乓缓存；以及，根据乒乓缓存对应的第二系数、上述缓存格式对应的第一系数和上述待传输数据的分辨率确定上述缓存需求量。

在示例性的实施例中，基于前述方案，上述终端的信息传输装置1000包括：判断模块1040和切换模块1050。

其中，上述判断模块1040用于：判断上述系统级存储器中是否包含满足上述缓存需求量的上述目标缓存空间；上述数据传输模块1030用于在上述系统级存储器中包含上述目标缓存空间的情况下，基于上述目标缓存空间进行上述数据传输。上述切换模块1050用于：在上述系统级存储器中不包含上述目标缓存空间的情况下，将上述目标缓存空间切换为上述片外存储器；其中，上述片外存储器包括双倍数据速率存储器。

在示例性的实施例中，基于前述方案，上述类型确定模块1020，具体用于：在上述颗粒度不小于预设标准的情况下，确定上述目标缓存空间为上述片外存储器；其中，上述片外存储器包括双倍数据速率存储器。

在示例性的实施例中，基于前述方案，上述数据传输模块1030，具体用于：获取上述待传输数据的数据类型；在上述数据类型为图像的情况下，根据上述待传输数据的格式确定缓存格式对应的第一系数；根据上述缓存格式对应的第一系数、帧率和上述待传输数据的分辨率确定目标带宽；以及，在上述片外存储器中，基于上述目标带宽进行上述数据传输。

在示例性的实施例中，基于前述方案，上述数据传输模块1030，具体用于：获取上述待传输数据的数据类型；在上述数据类型为图像的情况下，根据上述待传输数据的格式确定缓存格式对应的第一系数；根据上述缓存格式对应的第一系数、帧率和上述待传输数据的分辨率确定目标带宽；在上述片外存储器中，基于上述目标带宽进行上述数据传输。

在示例性的实施例中，基于前述方案，上述数据传输模块1030，具体用于：基于上述目标缓存空间，在同一终端内部的硬件模组间进行上述数据传输，或，基于上述目标缓存空间在终端间进行数据传输。

在示例性的实施例中，基于前述方案，上述数据传输模块1030，具体用于：在上述视频编码器与显示屏之间进行上述数据传输、在上述图形处理器与显示屏之间进行上述数据传输、在上述相机与显示屏之间进行上述数据传输、视频编码器与图形处理器之间进行上述数据传输、在上述相机与图形处理器之间进行上述数据传输、在上述图形处理器与颜色转换插件之间进行上述数据传输、在上述颜色转换插件与视频解码器之间进行上述数据传输以及在上述视频解码器与显示屏之间进行上述数据传输中的任一种。

在示例性的实施例中，基于前述方案，上述数据传输模块1030，具体用于：基于上述目标缓存空间，在终端的同一硬件内部进行上述数据传输。

需要说明的是，上述实施例提供的终端的信息传输装置在执行终端的信息传输方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的终端的信息传输装置与终端的信息传输方法实施例属于同一构思，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的终端的信息传输方法的实施例，这里不再赘述。

上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。

本公开实施例还提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例方法的步骤。

图12示意性示出了根据本公开一示例性的实施例中终端的结构图。请参见图12所示，终端1200包括有：处理器1201和存储器1202。

本公开实施例中，处理器1201为计算机系统的控制中心，可以是实体机的处理器，也可以是虚拟机的处理器。处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(DigitalSignalProcessing，数字信号处理)、FPGA(Field－ProgrammableGateArray，现场可编程门阵列)、PLA(ProgrammableLogicArray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。

在本公开实施例中，所述处理器1201具体用于：

获取待传输数据的颗粒度；根据上述颗粒度确定目标缓存空间，上述目标缓存空间包括片上系统SoC中的系统级存储器或片外存储器；基于上述目标缓存空间进行上述数据传输。

进一步地，上述根据上述颗粒度确定目标缓存空间，包括：在上述颗粒度小于预设标准的情况下，确定上述目标缓存空间为上述系统级存储器。

进一步地，上述基于上述目标缓存空间进行上述数据传输，包括：获取上述待传输数据的数据类型；在上述数据类型为图像的情况下，根据上述待传输数据的格式确定缓存格式对应的第一系数；根据上述缓存格式对应的第一系数、上述待传输数据的颗粒度和分辨率确定缓存需求量；在上述系统级存储器中确定出满足上述缓存需求量的目标缓存空间，并基于上述目标缓存空间进行上述数据传输。

进一步地，上述根据上述缓存格式对应的第一系数和上述待传输数据的分辨率确定缓存需求量，包括：设置乒乓缓存；根据乒乓缓存对应的第二系数、上述缓存格式对应的第一系数和上述待传输数据的分辨率确定上述缓存需求量。

进一步地，在上述基于上述目标缓存空间进行上述数据传输之前，包括：判断上述系统级存储器中是否包含满足上述缓存需求量的上述目标缓存空间；在上述系统级存储器中包含上述目标缓存空间的情况下，基于上述目标缓存空间进行上述数据传输；在上述系统级存储器中不包含上述目标缓存空间的情况下，将上述目标缓存空间切换为上述片外存储器；其中，上述片外存储器包括双倍数据速率存储器。

进一步地，上述根据上述颗粒度确定目标缓存空间，包括：在上述颗粒度不小于预设标准的情况下，确定上述目标缓存空间为上述片外存储器；其中，上述片外存储器包括双倍数据速率存储器。

进一步地，上述基于上述目标缓存空间进行上述数据传输，包括：获取上述待传输数据的数据类型；在上述数据类型为图像的情况下，根据上述待传输数据的格式确定缓存格式对应的第一系数；根据上述缓存格式对应的第一系数、帧率和上述待传输数据的分辨率确定目标带宽；在上述片外存储器中，基于上述目标带宽进行上述数据传输。

进一步地，上述基于上述目标缓存空间进行上述数据传输，包括：基于上述目标缓存空间，在同一终端内部的硬件模组间进行上述数据传输；或，基于上述目标缓存空间在终端间进行数据传输。

进一步地，上述在上述终端的硬件模组间进行上述数据传输，包括：在上述视频编码器与显示屏之间进行上述数据传输、在上述图形处理器与显示屏之间进行上述数据传输、在上述相机与显示屏之间进行上述数据传输、视频编码器与图形处理器之间进行上述数据传输、在上述相机与图形处理器之间进行上述数据传输、在上述图形处理器与颜色转换插件之间进行上述数据传输、在上述颜色转换插件与视频解码器之间进行上述数据传输以及在上述视频解码器与显示屏之间进行上述数据传输中的任一种。

进一步地，上述基于上述目标缓存空间进行上述数据传输，包括：基于上述目标缓存空间，在终端的同一硬件内部进行上述数据传输。

存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在本公开的一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行以实现本公开实施例中的方法。

一些实施例中，终端1200还包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：显示屏1204、摄像头1205和音频电路1206中的至少一种。

外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在本公开的一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在本公开的一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现。本公开实施例对此不作具体限定。

显示屏1204用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1204是触摸显示屏时，显示屏1204还具有采集在显示屏1204的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1204还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在本公开的一些实施例中，显示屏1204可以为一个，设置终端1200的前面板；在本公开的另一些实施例中，显示屏1204可以为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在本公开的再一些实施例中，显示屏1204可以是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，显示屏1204还可以设置成非矩形的不规则图形，也即异形屏。显示屏1204可以采用LCD(Liquid CrystalDisplay，液晶显示屏)、OLED(OrganicLight-EmittingDiode,有机发光二极管)等材质制备。

摄像头1205用于采集图像或视频。可选地，摄像头1205包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(VirtualReality，虚拟现实)拍摄功能或者其它融合拍摄功能。在本公开的一些实施例中，摄像头1205还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1206可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。

电源1207用于为终端1200中的各个组件进行供电。电源1207可以是交流电、直流电、一次性电池或可充电电池。当电源1207包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

本公开实施例中示出的终端结构框图并不构成对终端1200的限定，终端1200可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在本公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。此外，在本公开的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，依本公开权利要求所作的等同变化，仍属本公开所涵盖的范围。

Claims (13)

1.一种终端的信息传输方法，其特征在于，所述方法包括：

获取待传输数据的颗粒度；

根据所述颗粒度确定目标缓存空间，所述目标缓存空间包括片上系统SoC中的系统级存储器或片外存储器；

基于所述目标缓存空间进行所述数据传输。

2.根据权利要求1所述的终端的信息传输方法，其特征在于，所述根据所述颗粒度确定目标缓存空间，包括：

在所述颗粒度小于预设标准的情况下，确定所述目标缓存空间为所述系统级存储器。

3.根据权利要求2所述的终端的信息传输方法，其特征在于，所述基于所述目标缓存空间进行所述数据传输，包括：

获取所述待传输数据的数据类型；

在所述数据类型为图像的情况下，根据所述待传输数据的格式确定缓存格式对应的第一系数；

根据所述缓存格式对应的第一系数、所述待传输数据的颗粒度和分辨率确定缓存需求量；

在所述系统级存储器中确定出满足所述缓存需求量的目标缓存空间，并基于所述目标缓存空间进行所述数据传输。

4.根据权利要求3所述的终端的信息传输方法，其特征在于，所述根据所述缓存格式对应的第一系数和所述待传输数据的分辨率确定缓存需求量，包括：

设置乒乓缓存；

根据乒乓缓存对应的第二系数、所述缓存格式对应的第一系数和所述待传输数据的分辨率确定所述缓存需求量。

5.根据权利要求3或4所述的终端的信息传输方法，其特征在于，在所述基于所述目标缓存空间进行所述数据传输之前，包括：

判断所述系统级存储器中是否包含满足所述缓存需求量的所述目标缓存空间；

在所述系统级存储器中包含所述目标缓存空间的情况下，基于所述目标缓存空间进行所述数据传输；

在所述系统级存储器中不包含所述目标缓存空间的情况下，将所述目标缓存空间切换为所述片外存储器；其中，所述片外存储器包括双倍数据速率存储器。

6.根据权利要求1至4中任意一项所述的终端的信息传输方法，其特征在于，所述根据所述颗粒度确定目标缓存空间，包括：

在所述颗粒度不小于预设标准的情况下，确定所述目标缓存空间为所述片外存储器；

其中，所述片外存储器包括双倍数据速率存储器。

7.根据权利要求6所述的终端的信息传输方法，其特征在于，所述基于所述目标缓存空间进行所述数据传输，包括：

获取所述待传输数据的数据类型；

在所述数据类型为图像的情况下，根据所述待传输数据的格式确定缓存格式对应的第一系数；

根据所述缓存格式对应的第一系数、帧率和所述待传输数据的分辨率确定目标带宽；

在所述片外存储器中，基于所述目标带宽进行所述数据传输。

8.根据权利要求1至4中任意一项所述的终端的信息传输方法，其特征在于，所述基于所述目标缓存空间进行所述数据传输，包括：基于所述目标缓存空间，在同一终端内部的硬件模组间进行所述数据传输；或，基于所述目标缓存空间在终端间进行数据传输。

9.根据权利要求8所述的终端的信息传输方法，其特征在于，所述在同一终端内部的硬件模组间进行所述数据传输，包括：

在所述视频编码器与显示屏之间进行所述数据传输、在所述图形处理器与显示屏之间进行所述数据传输、在所述相机与显示屏之间进行所述数据传输、视频编码器与图形处理器之间进行所述数据传输、在所述相机与图形处理器之间进行所述数据传输、在所述图形处理器与颜色转换插件之间进行所述数据传输、在所述颜色转换插件与视频解码器之间进行所述数据传输以及在所述视频解码器与显示屏之间进行所述数据传输中的任一种。

10.根据权利要求1至4中任意一项所述的终端的信息传输方法，其特征在于，所述基于所述目标缓存空间进行所述数据传输，包括：基于所述目标缓存空间，在终端的同一硬件内部进行所述数据传输。

11.一种终端的信息传输装置，其特征在于，所述装置包括：

颗粒度获取模块，用于获取待传输数据的颗粒度；

类型确定模块，用于根据所述颗粒度确定目标缓存空间，所述目标缓存空间包括片上系统SoC中的系统级存储器或片外存储器；

数据传输模块，用于基于所述目标缓存空间进行所述数据传输。

12.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10中任一项所述的终端的信息传输方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的终端的信息传输方法。

Images