CN115604531A - 图像数据处理方法和装置 - Google Patents

Abstract

本申请提出了一种图像数据处理方法和装置，作为数据发送端的终端设备获得包含多帧图的图形数据的第一数据流后，若对应的数据接收端需要显示对应的图像，该终端设备可以基于目标数据编码方式，直接针对每帧图像的图形数据进行处理，得到包含多帧图像的编码数据的第二数据流。

Description

图像数据处理方法和装置

技术领域

本申请主要涉及图像处理技术领域，更具体地说是涉及一种图像数据处理方法和装置。

背景技术

目前，在如无线投屏、视频会议等端到端应用场景下，发送端设备通常是对渲染后的每帧图像的图像数据进行编码后，再传输至另一终端设备进行解码，该终端设备将直接显示输出对应帧图像，满足多端设备的图像显示需求。

然而，针对渲染后的每帧图像的图像数据的图像编解码过程耗时较长，导致端到端的图像显示延时较大，尤其是在设备性能较低的情况下，极大降低了接收端设备的图像显示效率。

发明内容

有鉴于此，本申请提出了一种图像数据处理方法，所述方法包括：

获得第一数据流，所述第一数据流包括多帧图像的图形数据；每帧图像的图形数据经图像渲染器处理获得用于显示输出的一帧图像；

基于目标数据编码方式，针对每帧图像的图形数据进行处理，得到第二数据流，所述第二数据流包括多帧图像的编码数据；

传输所述第二数据流，所述第二数据流至少用于接收所述第二数据流的终端设备解码并且渲染。

可选的，同一帧图像的所述图形数据的数据量大于或等于所述编码数据的数据量。

可选的，所述每帧图像的图形数据包括指令数据和图像纹理数据，所述方法还包括：

剔除所述第一数据流中至少一帧图像的符合预设条件的图像纹理数据；

所述基于目标数据编码方式，针对每帧图像的图形数据进行处理，得到第二数据流，包括：

基于目标数据编码方式，针对所述图像纹理数据剔除处理后的每帧图像的图形数据进行处理，得到第二数据流。

可选的，所述剔除所述第一数据流中至少一帧图像的符合预设条件的图像纹理数据，包括：

对所述第一数据流中每帧图像的图像纹理数据进行去重处理；和/或，

剔除所述第一数据流中每帧图像包含的预设纹理数据；所述预设纹理数据是将要接收第二数据流的终端设备基于所述第一数据流的数据源或已接收到的第二数据流确定并存储的。

可选的，所述基于目标数据编码方式，针对每帧图像的图形数据进行处理，得到第二数据流，包括：

基于目标数据编码方式，分别对每帧图像的图形数据中来自不同通道的指令数据和图像纹理数据进行编码处理，得到对应通道的第二数据流；

所述传输所述第二数据流，包括：

同步传输不同通道的所述第二数据流。

又一方面，本申请还提出了一种图像数据处理方法，所述方法包括：

获得第二数据流，所述第二数据流包括多帧图像的编码数据；每帧图像的编码数据是发送所述第二数据流的终端设备基于目标数据编码方式，针对所获得的第一数据流中每帧图像的图形数据进行处理得到；

基于目标数据解码方式，针对每帧图像的编码数据进行处理，得到第三数据流；所述第三数据流包括多帧图像的解码数据；

对每帧图像的解码数据进行处理，显示输出对应帧图像。

可选的，同一帧图像的编码数据的数据量小于或等于用于显示输出该帧图像的图形数据的数据量。

可选的，所述对每帧图像的解码数据进行处理，显示输出对应帧图像，包括：

基于所述解码数据包含的指令数据，对相应帧图像进行重建，得到第四数据流；所述第四数据流包括多帧图像的图形数据，同一帧图像的来自所述第四数据流的图形数据的数据量大于所述解码数据；

对所述第四数据流中每帧图像的图形数据进行渲染，显示输出对应帧图像；

所述基于所述解码数据包含的指令数据，对相应帧图像进行重建，得到第四数据流，包括：

基于所述解码数据包含的指令数据，获得符合预设条件的图像纹理数据；所述符合预设条件的图像纹理数据包括所述第一数据流中相应帧图像被去重处理的图像纹理数据，和/或基于所述第一数据流的数据源或已接收到的第二数据流所确定预存储的且对所述第一数据流剔除的图像纹理数据；

利用同一帧图像的所述解码数据和所述符合预设条件的图像纹理数据，构成第四数据流。

又一方面，本申请还提出了一种图像数据处理装置，所述装置包括：

第一数据流获得模块，用于获得第一数据流，所述第一数据流包括多帧图像的图形数据；每帧图像的图形数据经图像渲染器处理获得用于显示输出的一帧图像；

图形数据处理模块，用于基于目标数据编码方式，针对每帧图像的图形数据进行处理，得到第二数据流，所述第二数据流包括多帧图像的编码数据；

第二数据流传输模块，用于传输所述第二数据流，所述第二数据流至少用于接收所述第二数据流的终端设备解码并且渲染。

又一方面，本申请还提出了一种图像数据处理装置，所述装置包括：

第二数据流获得模块，用于获得第二数据流，所述第二数据流包括多帧图像的编码数据；每帧图像的编码数据是发送所述第二数据流的终端设备基于目标数据编码方式，针对所获得的第一数据流中每帧图像的图形数据进行处理得到；

编码数据处理模块，用于基于目标数据解码方式，针对每帧图像的编码数据进行处理，得到第三数据流；所述第三数据流包括多帧图像的解码数据；

解码数据处理模块，用于对每帧图像的解码数据进行处理，显示输出处理得到的对应帧图像。

又一方面，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器加载执行，实现对应侧的图像数据处理方法。

由此可见，本申请提供了一种图像数据处理方法和装置，作为数据发送端的终端设备获得包含多帧图的图形数据的第一数据流后，若对应的数据接收端需要显示对应的图像，该终端设备可以基于目标数据编码方式，直接针对每帧图像的图形数据进行处理，得到包含多帧图像的编码数据的第二数据流。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为适用于本申请提出的图像数据处理方法的应用环境下的一可选系统架构示意图；

图2为适用于本申请提出的图像数据处理方法的应用环境下的又一可选系统架构示意图；

图3为适用于本申请提出的图像数据处理方法的终端设备的一可选示例的硬件结构示意图；

图4为适用于本申请提出的图像数据处理方法的一可选应用场景下，数据发送端和数据接收端的结构示意图；

图5为适用于本申请提出的图像数据处理方法的又一可选应用场景下，数据发送端和数据接收端的结构示意图；

图6为本申请提出的图像数据处理方法的又一可选示例的流程示意图；

图7为本申请提出的图像数据处理方法的又一可选示例的流程示意图；

图8为本申请提出的图像数据处理方法的又一可选示例的流程示意图；

图9为本申请提出的图像数据处理方法的又一可选示例的流程示意图；

图10为本申请提出的图像数据处理装置的一可选示例的结构示意图；

图11为本申请提出的图像数据处理装置的又一可选示例的结构示意图；

图12为本申请提出的图像数据处理装置的又一可选示例的结构示意图；

图13为本申请提出的图像数据处理装置的又一可选示例的结构示意图。

具体实施方式

针对背景技术部分描述的技术问题，为了减少端到端的图像显示延时，解决低性能终端设备参与如无线投屏、视频会议等场景的图像显示效率，提出利用两端设备自身具有的图像渲染能力，更改作为发送端设备向接收端设备的传输数据格式，相对于发送端设备对多帧图像的图形数据进行渲染，获取所得一帧图像的图像数据后，再对该图像数据进行压缩编码传输的处理方式，本申请是直接对每帧图像的图形数据(如指令数据、图像纹理数据等，用于图像渲染器处理，以得到用于显示输出的一帧图像)进行编码处理，传输所得数据流的处理方式，简化了编解码处理步骤，减少了发送端设备的数据编码与接收端设备的数据解码所花费时长，提高了接收端设备的图像显示效率，优化端到端的图像显示延时。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，为适用于本申请提出的图像处理方法的一可选应用环境下的系统架构示意图，该应用环境可以包括但并不局限于无线投屏、视频会议等端到端的应用场景，如图1所示，该系统架构至少可以包括多个终端设备110，其中：

终端设备110可以包括但并不局限于智能手机、平板电脑、可穿戴设备、智能手表、增强现实技术(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、车载设备、机器人、智慧医疗设备、智慧交通设备、台式计算机等，可以依据实际应用场景确定。图1示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

在本申请实施例中，终端设备110应用于如无线投屏、视频会议等端到端的应用场景下，可以作为数据发送端，也可以作为数据接收端，可视情况而定。可以理解的是，如在无线投屏应用场景下，作为投屏设备的终端设备110与作为被投屏设备的终端设备110之间可以通过有线或无线方式通信连接，以实现两者之间的数据交互。

在如视频会议、网上教学等应用场景下，终端设备110通常需要配置对应的通信客户端，为了支持多个终端设备110在该类应用场景下的数据交互，如图2所示，系统架构还可以包括支持不同终端设备110之间通信的通信服务器120，如与终端设备110所配置的各通信客户端相匹配的服务器，为终端设备110提供对应的通信服务，以实现与其他终端设备之间的数据交互，本申请对各通信客户端与相匹配的通信服务器之间的通信原理不做详述。

其中，对应上述服务器可以是独立的物理服务器、多台物理服务器构成的服务器集群，或者是能够实现云计算的云服务器等，本申请对该服务器类型及其组成结构不做限制，可视情况而定。

在又一些实施例中，不同终端设备110之间也可以利用基站等网络设备进行数据交互，因此，如图2所示，在某些应用场景下的系统架构下，还可以包括至少一个网络设备130，多个终端设备110可以接入网络设备130进行数据交互，本申请对这种端到端的数据交互实现原理不做详述。

可见，在不同应用场景下，多个终端设备110之间的通信方式可以灵活调整，图1和图2所示的系统结构并不构成对本申请实施例系统的限定，在实际应用中，系统架构可以包括比图1和图2所示的更多的设备，如数据库等，本申请在此不做一一列举。

参照图3，为适用于本申请提出的图像数据处理方法的终端设备一可选示例的硬件结构示意图，如图3所示，该终端设备可以包括但并不局限于：通信模块310、存储模块320、处理模块330和显示模块340，其中：

通信模块310可以包括能够利用无线通信网络实现数据交互的通信模块，如WIFI模块、5G/6G(第五代移动通信网络/第六代移动通信网络)模块、GPRS模块、GMS模块、射频通信模块、天线等，以实现与其他终端设备或服务器的通信；当然，如上文对系统架构的相关描述，不同终端设备之间也可以通过有线通信方式进行通信连接，因此，上述通信模块310还可以包括支持与其他终端设备的通信端口，如USB接口、音频视频连接端口、扩展端口等，本申请对通信端口类型不做限制，可视情而定。

本申请实施例中，通信模块310还可以包括支持终端设备内部各组成器件之间的数据交互的通信接口，如USB接口、串/并口、I/O接口等，本申请对终端设备中通信模块310类型及其通信工作方式不做限制。

存储模块320可以用于存储实现本申请实施例提出的图像数据处理方法的程序；处理模块330可以加载并执行存储器存储的该程序，以实现终端设备作为数据接收端或数据发送端对应执行的图像数据处理方法的各个步骤，具体实现过程可以参照下文对应实施例相应部分的描述。

其中，存储装置320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。处理模块330，可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

显示模块340即显示器，可以用于显示渲染得到的每帧图像，本申请对图像显示原理不做详述。应该理解的是，图3所示的终端设备的结构并不构成对本申请实施例中终端设备的限定，在实际应用中，终端设备可以包括比图3所示的更多的部件，或者组合某些部件，如键盘、鼠标、摄像头、拾音器等至少一个输入模块，如扬声器、振动机构、灯等至少一个输出模块，各种传感器模块等，本申请在此不做一一列举。

在如上述任一应用场景下，同一终端设备可以作为数据发送端，也可以作为数据接收端，为了实现终端设备作为数据接收端执行的图像数据处理方法，如图4所示，终端设备中的处理模块330可以包括图像生成器，以及分别与该图像生成器连接的图像渲染器和图像编码器，其中：

图像生成器可以获得第一数据流，该第一数据流包括多帧图像的图形数据，每帧图像的图形数据通常可以包括指令数据和图像纹理数据等，用于说明该帧图像的图像内容，以便后续据此实现图像渲染。在实际应用中，第一数据流可以是二进制流，可以来自支持当前应用场景的通信服务器，或终端设备自身存储的图像文件或图像采集器所采集到的数据，本申请对图形数据的生成方式及其内容不做限制。

图像渲染器可以用于对每帧图像的图形数据进行处理，获得用于显示输出的一帧图像，将该帧图像发送至显示模块340进行显示。本申请对如何利用每帧图像的指令数据和图像纹理数据进行图像渲染的实现方法不做详述，可以依据所适应的图像渲染方式的工作原理确定。

可选的，上述图像渲染器可以是CPU或GPU(Graphic Processing Unit，图形处理器)等处理模块中执行图像渲染任务的功能模块，这样，在获得每帧图像的图形数据后，可以调用该功能模块的统一接口(如Open Graphics Library，OpenGL，用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口API等)对该图形数据进行渲染，得到对应帧图像。在一些实施例中，该图像渲染器也可以是独立的硬件模块，实现与处理模块中执行图像数据处理方法的处理器的连接，通过该连接方式将所得到的每帧图像完整的图形数据发送至该图像渲染器进行处理，本申请对图像渲染器的类型不做限制，可视情况而定。

图像编码器可以接收图像生成器发送的多帧图像的图形数据，基于目标数据编码方式(如各种压缩算法等)，针对每帧图像的图形数据进行处理，得到第二数据流，该第二数据流可以包括多帧图像的编码数据，本申请对不同数据编码方式的数据编码过程不做详述。图像编码器可以将得到的第二数据流发送至通信模块310传输，以使得当前与该终端设备的通信模块310连接，作为数据接收端的另一终端设备的通信模块接收该第二数据流，对其进行解码后渲染处理，显示输出对应帧图像。

基于此，如图4所示，终端设备还可以包括图像解码器，在其作为数据接收端的情况下，通过通信模块接收到数据发送端传输的第二数据流后，发送至该图像解码器进行解码处理，得到包括多帧图像的解码数据的第三数据流，即还原数据发送端编码处理得每帧图像的指令数据和图像纹理数据，再发送至图像渲染器进行渲染处理，将得到的每帧图像发送至显示模块进行显示输出。

可选的，若数据发送端在对每帧图像的图形数据进行编码之前，对每帧图像完整的图形数据中的图像纹理数据执行去重处理、剔除预设纹理数据(如对应的数据接收端已记录的图像纹理数据)等处理，以减少数据编码工作量和传输数据量，该数据接收端的图像解码器所解码还原的每帧图像的图像纹理数据并不完整，这种情况下，如图5所示，该数据接收端的处理模块还可以配置图像重建器，图像解码器可以将解码出的每帧图像的指令数据和图像纹理数据发送至该图像重建器进行图像重建，得到每帧图像完整的图形数据，再传输至图像渲染器进行渲染处理，保证数据接收端所显示输出图像质量，实现过程可以参照下文方法实施例对应部分的描述，本申请实施例在此不做详述。

需要说明，在实际应用场景下，终端设备作为数据发送端或数据接收端执行图像数据处理方法所使用的处理器件可以不同，包括但并不局限于图4和图5所示的终端设备组成结构，可视情况灵活调整，本申请不做一一举例详述。另外，对于终端设备中各数据流的传输，如图4和图5所示，可以通过不同的通道，分别传输指令数据和图像纹理数据；当然，也可以由一个通道实现每帧图像的指令数据和图像纹理数据，本申请对此不做限制，可视情况而定。

结合上文实施例对图像数据处理方法的应用场景下的系统架构，以及作为数据接收端和数据发送端的终端设备的组成结构的相关描述，下面将对终端设备作为数据发送端、数据接收端的情况下，对应执行的图像数据处理方法进行描述，但并不局限于下文方法实施例描述的执行步骤。

参照图6，为本申请提出的图像数据处理方法的一可选示例的流程示意图，该方法可以由终端设备执行，本实施例可以对该终端设备作为数据发送端时，执行该图像处理方法的实现过程进行描述，如图6所示，该方法可以包括：

步骤S61，获得第一数据流；该第一数据流包括多帧图像的图形数据，每帧图像的图形数据经图像渲染器处理获得用于显示输出的一帧图像；

结合上文对本申请技术方案的相关描述，在如视频会议，无线投屏等端到端的应用场景下，作为数据发送端的终端设备获得包括多帧图像的图形数据的第一数据流，如二进制流等，若该终端设备需要显示多帧图像，同时需要与该终端设备通信连接作为数据接收端的终端设备也能够显示该多帧图像，那么，对于作为数据发送端的终端设备所获得的第一数据流，一方面可以经图像渲染器处理能够获得用于显示输出的一帧图像，由该终端设备显示该帧图像，本申请对图像渲染器对图形数据的处理过程不做详述。

应该理解的是，在不同应用场景下，终端设备获得第一数据流的方式可以不同，在如视频会议场景下，终端设备可以对参与者进行图像采集，生成包括参与者图像的图形数据(如视频会议窗口的每帧图像的指令数据和图像纹理数据等)；在如无线投屏场景下，终端设备可以针对待显示的每帧显示界面(如应用界面)内容生成对应的图形数据，本申请对第一数据流的获得方法不做限制，可视情况而定。

步骤S62，基于目标数据编码方式，针对每帧图像的图形数据进行处理，得到第二数据流，该第二数据流包括多帧图像的编码数据；

继上述分析，终端设备获得第一数据流后，若需要其对应的数据接收端显示对应的图像，为了降低该数据接收端的图像显示延时，该终端设备作为数据发送端可以直接按照目标数据编码方式，对每帧图像的图形数据进行编码处理，相对于使用图形数据完成图像渲染后，再基于如H.264，HEVC等视频压缩算法对所得图像包含的图像数据进行编码处理方式，减少了数据编码步骤，缩短了数据编码所花费的时间，有助于降低数据接收端的图像显示延时，也更适用于性能较差的终端设备。

本申请实施例中，目标数据编码方式可以是任一无损压缩算法或有损压缩算法所支持的数据编码方式，以使得同一帧图像的图形数据的数据量可以大于或等于编码数据的数据量，可以依据实际应用需求灵活选择，本申请对目标数据编码方式不作限制。

为了进一步提高图形数据编码效率，减少第二数据流的数据量，从而进一步降低延时，作为数据发送端的终端设备可以选择每帧图像的必要图形数据(如完整指令数据以及必要的部分图像纹理数据)进行编码处理，这样，该终端设备可以在对每帧图像的图形数据进行编码处理之前，可以先对图像纹理数据进行去重处理，避免对内容相同的图像纹理数据进行重复编码；或者，在对应的数据接收端针对当前应用场景预先存储数据发送端将要传输的图像纹理数据的情况下，作为数据发送端的该终端设备可以不用再向该数据接收到该类图像纹理数据(可以记为预设纹理数据)，通过这些方式也可以使得同一帧图像的图形数据(即第一数据流中的完整图形数据)的数据量可以大于或编码数据(即图像编码器的输出数据)的数据量，达到减少编码和传输数据量，降低延时的技术效果。

步骤S63，传输该第二数据流，第二数据流至少用于接收该第二数据流的终端设备解码并且渲染。

如上文实施例对多个终端设备之间的通信方式的相关描述，终端设备高效获得包含多帧图像的编码数据的第二数据流后，可以采用相应的通信方式，将该第二数据流传输至对应的数据接收端，即接收该第二数据流的终端设备，以使得数据接收端可以对接收到的第二数据流进行解码并渲染，显示输出所得到的对应帧图像，实现过程可以参照但并不局限于对图4和图5所示的数据接收端的组成结构的功能描述。

综上，在本申请实施例中，作为数据发送端的终端设备获得包含多帧图的图形数据的第一数据流后，若对应的数据接收端需要显示对应的图像，该终端设备可以基于目标数据编码方式，直接针对每帧图像的图形数据进行处理，得到包含多帧图像的编码数据的第二数据流，相对于对渲染后的图像所包含的图像数据进行编码处理方式，大大减少了数据编码步骤，缩短了数据编码处理所耗费的时间，降低了端到端的图像显示延时，也能够更好地适用于性能较差的终端设备。

参照图7，为本申请提出的图像数据处理方法的又一可选示例的流程示意图，本实施例可以从数据接收端对上文描述的图像处理方法的一可选细化实现方法进行描述，如图7所示，该方法可以包括：

步骤S71，获得第一数据流；该第一数据流包括多帧图像的图形数据，每帧图像的图形数据经图像渲染器处理获得用于显示输出的一帧图像；

关于步骤S71的实现过程可以参照上文实施例对应部分的描述，本实施例在此不做详述。

步骤S72，剔除该第一数据流中至少一帧图像的符合预设条件的图像纹理数据，得到图像纹理数据剔除处理后的多帧图像的图形数据；

如上文对本申请技术方案的描述，在保证数据接收端显示图像质量的基础上，为了进一步减少编码数据量和传输数据量，使得同一帧图像的编码数据的数据量小于第一数据流中图形数据的数据量，在获得第一数据流后，可以识别其中符合预设条件的图像纹理数据，即非必要图像纹理数据，该预设条件可以依据实际情况确定或动态调整，本申请对其内容不做限制。

可选的，上述预设条件包括与已确定编码的图像纹理数据(即必要图像纹理数据)的内容相同，即存在内容重复的多个图像纹理数据，和/或与将要接收第二数据流的终端设备已存储的图像纹理数据(为了方便描述可以记为预设纹理数据)的内容相同等。基于此，终端设备获得第一数据流后，可以对该第一数据流中每帧图像的图像纹理数据进行去重处理；和/或，剔除第一数据流中每帧图像包含的预设纹理数据；该预设纹理数据可以是将要接收第二数据流的终端设备(即对应的数据接收端)基于第一数据流的数据源或已接收到的第二数据流确定并存储。

可见，终端设备获得第一数据流后，可以识别其中内容重复的图像纹理数据，再据此对各帧图像的图像纹理数据进行去重处理，具体可以是对每帧图像自身包含的图像纹理数据进行去重处理，也可以对连续多帧图像的图像纹理数据进行去重处理，以大大减少待编码数据流中图像纹理数据的数据量，关于数据去重处理的具体实现方法本申请实施例在此不做详述。

对于上述数据接收端存储的预设纹理数据，可以针对当前应用类型(即第一数据流的数据源类型)，通过数据发送端与对应的一个或多个数据接收端进行协商/通信交互，确定数据接收端已存储的各预设纹理数据，如在游戏场景下，数据接收端可以获取该类游戏的游戏场景的纹理数据进行存储，以使该数据发送端记录各数据接收端所存储的预设纹理数据。

当然，在数据接收端对数据发送端传输的第二数据流进行解码后，可以依据所得到的图像纹理数据，动态更新已存储的预设纹理数据，同时数据发送端也可以同步更新所记录的针对该数据接收端的预设纹理数据，以便基于更新后的预设纹理数据，继续对后续获得的第一数据流包含的图像纹理数据进行识别，剔除识别到的与该更新后的预设纹理数据相同的图像纹理数据，从而避免对非必要图像纹理数据进行压缩编码，最大程度减少编码数据量和传输数据量，降低端到端的延时。

在实际应用中，对于上述步骤S74可以由图4和图5所示的图像生成器实现，也就是说，该图像生成器可以预先记录上述预设条件，这样，在获得包含第一数据流后，可以按照上述方法直接对每帧图像完整的图形数据中的图像纹理数据进行筛选，使其发送至图像编码器的图像纹理数据不再包含符合预设条件的图像纹理数据，关于图像生成器对符合预设条件的图像纹理数据的识别和剔除实现方法本申请不做限制。

在又一些实施例中，对于上述预设条件包含的图像纹理数据去重处理方式，还可以进一步配置针对图像纹理数据的重复数量的重复阈值，上述预设条件还可以包括与已确定编码的图像纹理数据(即必要图像纹理数据)的内容相同的图像纹理数据的重复数量达到重复阈值，也就是说，第一数据流中是否存在大量重复的图像纹理数据。基于此，终端设备在识别内容重复的图像纹理数据后，还可以进一步统计内容重复的图像纹理数据的数量是否达到重复阈值，如果是，确定为符合预设条件的图像纹理数据，对其进行去重处理；反之，可以确定为不符合预设条件的图像纹理数据，可以不用进行去重处理。

基于该又一些实施例，可选的，在确定数据接收端存储的预设纹理数据时，也可以针对预设应用类型(如游戏、在线演讲等)，确定纹理数据在一帧图像或连续多帧图像中内容重复的图像纹理数据的数量达到预设阈值，且该数据接收端已存储的图像纹理数据中不存在该纹理数据，可以将该纹理数据确定该数据接收端设备的一预设纹理数据，即更新该数据接收端的预设纹理数据，同时将更新结果反馈至对应的数据发送端。

步骤S73，基于目标数据编码方式，分别对每帧图像的图形数据中来自不同通道的指令数据和图像纹理数据进行编码处理，得到对应通道的第二数据流；

步骤S74，同步传输不同通道的第二数据流，第二数据流至少用于接收该第二数据流的终端设备解码并且渲染。

本申请实际应用中，按照上文描述方法完成对符合预设条件的图像纹理数据的剔除操作后，可以依据应用需求调取对应的目标数据编码方式，从而基于该目标数据编码方式，针对图像纹理数据剔除处理后的每帧图像的图形数据进行处理，得到第二数据流。

可选的，在上述数据编码处理过程中，对于每帧图像的图形数据包含的指令数据和图像纹理数据这两大类数据，可以构建对应的通道(即通信链路)，通过不同的通道传输对应的指令数据和图像纹理数据至图像编码器，这样，图像编码器可以采用相同或不同的目标数据编码方式，分别对每一个通道传输的数据(指令通道传输的每帧图像的指令数据，以及纹理通道传输的每帧图像的至少部分图像纹理数据)进行编码处理，得到对应的编码数据，如每帧图像的指令编码数据(其可以构成针对指令通道的一路第二数据流)和纹理编码数据(其可以构成针对纹理通道的一路第二数据流)，构建同一帧图像的指令编码数据和纹理编码数据之间的关联关系。之后，可以通过通信网络的一条或多条通信通道，实现对所得第二数据流的传输。

在又一些实施例中，对于每帧图像的图形数据可以通过一个通道传输至图像编码器，基于目标数据编码方式，对这一个通道传输的每帧图像的图形数据进行编码处理，再通过一个通道传输所得到的第二数据流。可见，在本申请提出的图像数据处理方法中，对于不同类型的数据，可以通过一个通道或对应的多个通道进行传输，在数据编码处理时，可以对每个通道传输数据进行独立编码，也可以将多个通道传输的每帧图像的多类数据进行融合编码等，可以依据实际情况灵活选择所需处理方式，本申请不做一一举例详述。

综上，在本申请实施例中，终端设备获得包括多帧图像完整的图形数据的第一数据流后，可以剔除其中符合预设条件的图像纹理数据，如大量内容重复的图像纹理数据、数据接收端已存储的预设纹理数据等，大大减少后续压缩编码的数据量，以提高数据编码效率，同时通过减少对编码所得第二数据流传输的数据量，降低了传输网络延时，以使得数据接收端能够快速获得所需的多帧图像的编码数据，降低了对编码数据的解码数据量，进一步降低其图像显示效率。

参照图8，为本申请提出的图像数据处理方法的又一可选示例的流程示意图，本实施例可以由作为数据接收端的终端设备执行，结合上文对相应的数据发送端所执行的图像数据处理方法的相关描述，本实施例可以从数据接收端侧描述该图像数据处理方法的执行步骤，如图8所示，该方法可以包括：

步骤S81，获得第二数据流；该第二数据流包括多帧图像的编码数据；

由上文从数据发送端侧描述的图像数据处理方法可知，第二数据流中每帧图像的编码数据可以是发送第二数据流的终端设备(即该数据发送端)基于目标数据编码方式，针对所获得的第一数据流中每帧图像的图形数据进行处理得到，每帧图像的图形数据可以经该终端设备(即数据发送端)的图像渲染器处理获得用于显示输出的一帧图像，关于如何对第一数据流处理得到第二数据流的实现过程，可以参照上文实施例对应部分的描述，本实施例在此不做详述。

可以理解的是，每帧图像的编码数据可以是对该帧图像的完整图形数据进行编码处理得到，使得同一帧图像的编码数据的数据量等于用于数据接收端显示输出该帧图像的图形数据的数据量；当然，每帧图像的编码数据也可以是剔除对该图形数据包含的符合预设条件的图像纹理数据后再编码处理得到，以使得同一帧图像的编码数据的数据量小于用于数据接收端显示输出该帧图像的图形数据的数据量，降低端到端的延时，关于对第一数据流的处理过程，可以参照上文对应部分的描述。

步骤S82，基于目标数据解码方式，针对每帧图像的编码数据进行处理，得到第三数据流；该第三数据流包括多帧图像的解码数据；

应该理解的是，目标数据解码方式与对应数据发送端获得编码数据所依据的目标数据编码方式相匹配，本申请对编码数据的解码实现过程(即对接收到的压缩数据的解压缩处理方法)不做详述，可以依据对应的压缩算法的数据编解码工作原理确定。

接收第二数据流的终端设备即数据接收端接收到每帧图像的编码数据后，可以直接对其进行解码处理，得到对应帧图像的解码数据。在该解码处理过程中，若该数据接收端是通过不同通道同步接收所传输的每帧图像的指令编码数据和纹理编码数据，图像解码器也可以基于各自对应的目标数据解码方式，分别对相应通道传输的编码数据进行解码处理，得到对应的指令解码数据(即指令数据)和纹理解码数据(即图像纹理数据)；若数据接收端通过一个通道接收每帧图像的编码数据，可以直接对其进行解码处理。可见，关于图像解码器的处理方式，可以依据对应数据发送端的图像编码器的处理方式确定，本申请对此不做限制。

步骤S83，对每帧图像的解码数据进行处理，显示输出对应帧图像。

继上文分析，若图像解码器所得到的每帧图像的解码数据包含该帧图像的完整图形数据，可以传输至图像渲染器进行渲染处理，得到对应帧图像，发送至数据接收端的显示模块进行显示输出；若图像解码器所得到的每帧图像的解码数据包含的图像纹理数据，是该帧图像的部分图像纹理数据(即必要的图像纹理数据)，可以按照数据发送端执行的图像纹理数据提出操作所依据的预设条件内容，还原每帧图像完整的图像纹理数据或图形数据，实现无损图像重建，避免有损压缩带来的画质损失，提高显示图像质量。

可选的，结合图4和图5所示的结构示意图，图像解码器对输入的编码数据进行解码处理，可以通过不同通道或一个通道将解码得到的指令数据和图像纹理数据传输至图像渲染器进行渲染处理，可视情况而定。同理，在解码得到的图像纹理数据不完整的情况下，也可以通过不同通道或一个通道将每帧图像的指令数据和图像纹理数据同时传输至图像重建器，以使该图像重建器依据每帧图像的指令数据，还原对应的图像纹理数据，即重建该帧图像包含的完整图形数据，再发送至图像渲染器进行渲染处理，保证数据接收端显示图像的质量。

综上，在本申请实施例中，数据发送端直接对每帧图像的图形数据进行编码后传输，减小了数据编码步骤及其传输数据量，对应降低了数据接收端接收数据量，以及对每帧图像的编码数据的解码步骤，提高了数据解码效率，降低了端到端的延时。

参照图9，为本申请提出的图像数据处理方法的又一可选示例的流程示意图，本实施例可以从数据接收端描述其执行图像数据处理方法的一可选细化实现方式，该细化实现方式可以对应上述数据发送端执行的图像数据处理方法的细化方式，如图9所示，该方法可以包括：

步骤S91，获得第二数据流；该第二数据流包括多帧图像的编码数据；

步骤S92，基于目标数据解码方式，针对每帧图像的编码数据进行处理，得到第三数据流；该第三数据流包括多帧图像的解码数据；

关于步骤S91和步骤S92的实现过程，可以参照上文实施例对应部分的描述，本实施例在此不做详述。

步骤S93，基于每帧图像的解码数据包含的指令数据，对相应帧图像进行重建，得到第四数据流；

在发送第二数据流的终端设备即数据发送端获得第一数据流后，为了减少编码数据量和传输数据量，提高编码效率，降低延时，可以按照上文描述的方法，剔除第一数据流中每帧图像的符合预设条件的图像纹理数据后，再输入图像编码器进行编码处理，传输所得到的第二数据流。因此，在这种场景下，对应的任一数据接收端对每帧图像的编码数据解码后，所得到的解码数据并不完整，若直接对其进行渲染，所显示输出的图像质量会非常差，所以，数据接收端需要先还原每帧图像完整的图形数据。

其中，由于每帧图像的图形数据中的指令数据可以说明该帧图像什么位置具有什么纹理，因此，图像重建器可以基于每帧图像的指令数据，还原对该帧图像各位置的图像纹理数据，即重建该帧图像，得到第四数据流。可见，该第四数据流可以包括多帧图像的图形数据，且同一帧图像的来自第四数据流的图形数据的数据量大于解码数据，该第四数据流与第一数据流基本相同，实现了无损重建图像，避免了有损压缩(即上述编码过程)带来的画质损失。

基于上述分析，步骤S93的实现方法可以包括但并不局限于：基于每帧图像的解码数据包含的指令数据，获得符合预设条件的图像纹理数据，结合上文对预设条件的相关描述，该符合预设条件的图像纹理数据可以包括第一数据流中相应帧图像被去重处理的图像纹理数据，和/或基于第一数据流的数据源或已接收到的第二数据流所确定预存储的且对第一数据流剔除的图像纹理数据，即上述预设纹理数据等，图像重建器可以按照预设条件内容，采用对应还原方式重建对应帧图像，得到相对完整的图形数据，这样，可以利用同一帧图像的解码数据(其包括指令数据和必要的图像纹理数据)和符合预设条件的图像纹理数据，构成对应帧图像的图形数据，从而形成第四数据流。

步骤S94，对第四数据流中每帧图像的图形数据进行渲染，显示输出对应帧图像。

继上述分析，在数据发送端对每帧图像中非必要图像纹理数据(即图像元素)剔除后，仅对该帧图像的指令数据和必要图像纹理数据进行编码处理后传输的场景下，数据接收端对接收到的每帧图像的编码数据快速解码后，将先还原该帧图像的指令数据和图像纹理数据，再经图像渲染器进行渲染处理后，得到高质量的一帧图像，同时也大大降低了端到端的延时。

参照图10，为本申请提出的图像数据处理装置的一可选示例的结构示意图，本实施例可以从数据发送端侧描述该图像数据处理装置实现该侧执行的图像数据处理方法的组成结构，如图10所示，该装置可以包括：

第一数据流获得模块101，用于获得第一数据流，所述第一数据流包括多帧图像的图形数据；每帧图像的图形数据经图像渲染器处理获得用于显示输出的一帧图像；

图形数据处理模块102，用于基于目标数据编码方式，针对每帧图像的图形数据进行处理，得到第二数据流，所述第二数据流包括多帧图像的编码数据；

第二数据流传输模块103，用于传输所述第二数据流，所述第二数据流至少用于接收所述第二数据流的终端设备解码并且渲染。

可选的，上述同一帧图像的所述图形数据的数据量大于或等于所述编码数据的数据量。

在一些实施例中，由于第一数据流中每帧图像的图形数据通常包括各种指令数据和图像纹理数据，为了减少编码和传输数据量，提高编码效率，进一步降低端到端的延时，如图11所示，上述图像数据处理装置还可以包括：

数据剔除模块104，用于剔除所述第一数据流中至少一帧图像的符合预设条件的图像纹理数据；

基于此，上述图形数据处理模块102可以包括：

第一编码单元，用于基于目标数据编码方式，针对所述图像纹理数据剔除处理后的每帧图像的图形数据进行处理，得到第二数据流。

可选的，上述数据剔除模块104可以包括：

去重处理单元，用于对所述第一数据流中每帧图像的图像纹理数据进行去重处理；和/或，

预设纹理数据剔除单元，用于剔除所述第一数据流中每帧图像包含的预设纹理数据；所述预设纹理数据是将要接收第二数据流的终端设备基于所述第一数据流的数据源或已接收到的第二数据流确定并存储的。

在又一些实施例中，上述图形数据处理模块102也可以包括：

第二编码单元，用于基于目标数据编码方式，分别对每帧图像的图形数据中来自不同通道的指令数据和图像纹理数据进行编码处理，得到对应通道的第二数据流；

相应地，上述第二数据流传输模块103可以包括：

同步传输单元，用于同步传输不同通道的所述第二数据流。

可选的，上述图形数据处理模块102也可以包括：

第三编码单元，用于基于目标数据编码方式，对一个通道传输的每帧图像的图形数据进行编码处理，得到第二数据流。

参照图12，为本申请提出的图像数据处理装置的又一可选示例的结构示意图，本实施例可以从数据接收端侧描述该图像数据处理装置实现该侧执行的图像数据处理方法的组成结构，如图12所示，该装置可以包括：

第二数据流获得模块121，用于获得第二数据流，所述第二数据流包括多帧图像的编码数据；每帧图像的编码数据是发送所述第二数据流的终端设备基于目标数据编码方式，针对所获得的第一数据流中每帧图像的图形数据进行处理得到，所述每帧图像的图形数据经所述终端设备的图像渲染器处理获得用于显示输出的一帧图像；

编码数据处理模块122，用于基于目标数据解码方式，针对每帧图像的编码数据进行处理，得到第三数据流；所述第三数据流包括多帧图像的解码数据；

解码数据处理模块123，用于对每帧图像的解码数据进行处理，显示输出处理得到的对应帧图像。

其中，同一帧图像的编码数据的数据量小于或等于用于显示输出该帧图像的图形数据的数据量。

在一些实施例中，如图13所示，上述解码数据处理模块123可以包括：

图像重建单元(如上述图像重建器)1231，基于所述解码数据包含的指令数据，对相应帧图像进行重建，得到第四数据流；所述第四数据流包括多帧图像的图形数据，同一帧图像的来自所述第四数据流的图形数据的数据量大于所述解码数据；

图像渲染单元(如上述图像渲染器)1232，用于对所述第四数据流中每帧图像的图形数据进行渲染，显示输出对应帧图像。

可选的，上述图像重建单元1231可以包括：

数据还原单元，用于基于所述解码数据包含的指令数据，获得符合预设条件的图像纹理数据；所述符合预设条件的图像纹理数据包括所述第一数据流中相应帧图像被去重处理的图像纹理数据，和/或基于所述第一数据流的数据源或已接收到的第二数据流所确定预存储的且对所述第一数据流剔除的图像纹理数据；

第四数据流构建单元，用于利用同一帧图像的所述解码数据和所述符合预设条件的图像纹理数据，构成第四数据流。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请还提供了一种计算机可读存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例数据发送端或数据接收端执行的图像数据处理方法的各个步骤。

最后，需要说明的是，关于上述各实施例中，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

本申请涉及到的术语诸如“第一”、“第二”等仅用于描述目的，用来将一个操作、单元或模块与另一个操作、单元或模块区分开来，而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、系统、终端设备、存储介质而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像数据处理方法，所述方法包括：

获得第一数据流，所述第一数据流包括多帧图像的图形数据；每帧图像的图形数据经图像渲染器处理获得用于显示输出的一帧图像；

基于目标数据编码方式，针对每帧图像的图形数据进行处理，得到第二数据流，所述第二数据流包括多帧图像的编码数据；

传输所述第二数据流，所述第二数据流至少用于接收所述第二数据流的终端设备解码并且渲染。

2.根据权利要求1所述的方法，同一帧图像的所述图形数据的数据量大于或等于所述编码数据的数据量。

3.根据权利要求2所述的方法，所述每帧图像的图形数据包括指令数据和图像纹理数据，所述方法还包括：

剔除所述第一数据流中至少一帧图像的符合预设条件的图像纹理数据；

所述基于目标数据编码方式，针对每帧图像的图形数据进行处理，得到第二数据流，包括：

基于目标数据编码方式，针对所述图像纹理数据剔除处理后的每帧图像的图形数据进行处理，得到第二数据流。

4.根据权利要求3所述的方法，所述剔除所述第一数据流中至少一帧图像的符合预设条件的图像纹理数据，包括：

对所述第一数据流中每帧图像的图像纹理数据进行去重处理；和/或，

剔除所述第一数据流中每帧图像包含的预设纹理数据；所述预设纹理数据是将要接收第二数据流的终端设备基于所述第一数据流的数据源或已接收到的第二数据流确定并存储的。

5.根据权利要求1-4任一项所述的方法，所述基于目标数据编码方式，针对每帧图像的图形数据进行处理，得到第二数据流，包括：

基于目标数据编码方式，分别对每帧图像的图形数据中来自不同通道的指令数据和图像纹理数据进行编码处理，得到对应通道的第二数据流；

所述传输所述第二数据流，包括：

同步传输不同通道的所述第二数据流。

6.一种图像数据处理方法，所述方法包括：

获得第二数据流，所述第二数据流包括多帧图像的编码数据；每帧图像的编码数据是发送所述第二数据流的终端设备基于目标数据编码方式，针对所获得的第一数据流中每帧图像的图形数据进行处理得到；

基于目标数据解码方式，针对每帧图像的编码数据进行处理，得到第三数据流；所述第三数据流包括多帧图像的解码数据；

对每帧图像的解码数据进行处理，显示输出对应帧图像。

7.根据权利要求6所述的方法，同一帧图像的编码数据的数据量小于或等于用于显示输出该帧图像的图形数据的数据量。

8.根据权利要求7所述的方法，所述对每帧图像的解码数据进行处理，显示输出对应帧图像，包括：

基于所述解码数据包含的指令数据，对相应帧图像进行重建，得到第四数据流；所述第四数据流包括多帧图像的图形数据，同一帧图像的来自所述第四数据流的图形数据的数据量大于所述解码数据；

对所述第四数据流中每帧图像的图形数据进行渲染，显示输出对应帧图像；

所述基于所述解码数据包含的指令数据，对相应帧图像进行重建，得到第四数据流，包括：

基于所述解码数据包含的指令数据，获得符合预设条件的图像纹理数据；所述符合预设条件的图像纹理数据包括所述第一数据流中相应帧图像被去重处理的图像纹理数据，和/或基于所述第一数据流的数据源或已接收到的第二数据流所确定预存储的且对所述第一数据流剔除的图像纹理数据；

利用同一帧图像的所述解码数据和所述符合预设条件的图像纹理数据，构成第四数据流。

9.一种图像数据处理装置，所述装置包括：

第一数据流获得模块，用于获得第一数据流，所述第一数据流包括多帧图像的图形数据；每帧图像的图形数据经图像渲染器处理获得用于显示输出的一帧图像；

图形数据处理模块，用于基于目标数据编码方式，针对每帧图像的图形数据进行处理，得到第二数据流，所述第二数据流包括多帧图像的编码数据；

第二数据流传输模块，用于传输所述第二数据流，所述第二数据流至少用于接收所述第二数据流的终端设备解码并且渲染。

10.一种图像数据处理装置，所述装置包括：

第二数据流获得模块，用于获得第二数据流，所述第二数据流包括多帧图像的编码数据；每帧图像的编码数据是发送所述第二数据流的终端设备基于目标数据编码方式，针对所获得的第一数据流中每帧图像的图形数据进行处理得到；

编码数据处理模块，用于基于目标数据解码方式，针对每帧图像的编码数据进行处理，得到第三数据流；所述第三数据流包括多帧图像的解码数据；

解码数据处理模块，用于对每帧图像的解码数据进行处理，显示输出处理得到的对应帧图像。

Images