CN117915022A - 图像处理方法、装置和终端 - Google Patents

Abstract

本申请提出一种图像处理方法、装置和终端，涉及图像处理技术领域。该方法包括：对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像；对当前帧合成图像和前一帧合成图像进行检测，确定差异信息；依据差异信息对当前帧合成图像进行编码，生成编码数据；向对端设备发送编码数据，以使对端设备对编码数据进行处理，获得并显示包括辅流图像对应的标注信息的解码图像。通过对当前帧合成图像和前一帧合成图像进行检测，确定差异信息，使用户可以同步获取连续两帧之间的差异信息，提升终端与用户之间的互动性；依据差异信息对当前帧合成图像进行编码，生成编码数据，可加快对图像的编码速度，以降低编码的能耗。

Description

图像处理方法、装置和终端

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、终端、电子设备和存储介质。

背景技术

目前，在进行视频会议的过程中，终端会通过展示多帧图像的方式，与用户进行人机交互。但是，随着视频会议的发展，用户对实时互动的需求越来越突出。而传统的视频会议仅展示获取到的某帧图像，无法对连续帧之间的差异进行同步更新，降低了终端与用户之间的互动性，无法满足用户的使用需求。

发明内容

本申请提供一种图像处理方法、装置、终端、电子设备和存储介质。

第一方面，本申请实施例提供一种图像处理方法，方法包括：对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像；对当前帧合成图像和前一帧合成图像进行检测，确定差异信息；依据差异信息对当前帧合成图像进行编码，生成编码数据；向对端设备发送编码数据，以使对端设备对编码数据进行处理，获得并显示包括辅流图像对应的标注信息的解码图像。

第二方面，本申请实施例提供一种图像处理方法，方法包括：获取编码数据，该编码数据为第一方面中的图像处理方法所发送的数据；对编码数据进行解码，获得解码图像，解码图像为携带有辅流图像及其对应的标注信息的图像；显示解码图像。

第三方面，本申请实施例提供一种编码装置，其包括：合成模块，被配置为对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像；检测模块，被配置为对当前帧合成图像和前一帧合成图像进行检测，确定差异信息编码模块，被配置为依据差异信息对当前帧合成图像进行编码，生成编码数据；发送模块，被配置为向对端设备发送所述编码数据，以使所述对端设备对所述编码数据进行处理，获得并显示包括所述辅流图像对应的标注信息的解码图像。

第四方面，本申请实施例提供一种解码装置，其包括：获取模块，被配置为获取编码数据，编码数据为第一方面中的图像处理方法所发送的数据；解码模块，被配置为对编码数据进行解码，获得解码图像，解码图像为携带有辅流图像及其对应的标注信息的图像；显示模块，被配置为显示解码图像。

第五方面，本申请实施例提供一种终端，其包括：编码装置和/或解码装置；编码装置，被配置为执行本申请第一方面中的图像处理方法；解码装置，被配置为执行本申请第二方面中的图像处理方法。

第六方面，本申请实施例提供一种图像处理系统，图像处理系统，系统包括：通信连接的多个终端，终端被配置为实现本申请实施例中的任意一种图像处理方法。

第七方面，本申请实施例提供一种电子设备，包括：一个或多个处理器；存储器，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本申请实施例中的任意一种图像处理方法。

第八方面，本申请实施例提供了一种可读存储介质，该可读存储介质存储有计算机程序，计算机程序被处理器执行时实现本申请实施例中的任意一种图像处理方法。

根据本申请实施例的图像处理方法、装置、终端、电子设备和存储介质，通过对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像，能够明确终端对辅流图像进行标注的信息；对当前帧合成图像和前一帧合成图像进行检测，确定差异信息，使用户可以同步获取连续两帧之间的差异信息，提升终端与用户之间的互动性；依据差异信息对当前帧合成图像进行编码，生成编码数据，可加快对图像的编码速度，以降低编码的能耗；并且，通过向对端设备发送编码数据，以使对端设备对编码数据进行处理，获得并显示包括辅流图像对应的标注信息的解码图像，方便对端设备能够查看到带有标注信息的解码图像，使对端设备可以更清晰明确的显示标注信息。

关于本申请的以上实施例和其他方面以及其实现方式，在附图说明、具体实施方式和权利要求中提供更多说明。

附图说明

图1示出本申请一实施例提供的图像处理方法的流程示意图。

图2示出本申请实施例提供的图像合成装置对图像进行处理的流程示意图。

图3示出本申请实施例提供的对辅流图像进行检测的流程示意图。

图4示出本申请又一实施例提供的图像处理方法的流程示意图。

图5示出本申请一实施例提供的图像处理系统的组成方框图。

图6示出本申请又一实施例提供的图像处理系统的组成方框图。

图7示出本申请再一实施例提供的图像处理系统的组成方框图。

图8示出本申请实施例提供的对辅流图像的展示界面示意图。

图9示出本申请实施例提供的编码装置的组成方框图。

图10示出本申请实施例提供的解码装置的组成方框图。

图11示出本申请实施例提供的终端的组成方框图。

图12示出本申请另一实施例提供的图像处理系统的组成方框图。

图13示出能够实现根据本发明实施例的图像处理方法和装置的计算设备的示例性硬件架构的结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1示出本申请一实施例提供的图像处理方法的流程示意图。该方法可应用于编码装置。如图1所示，本申请实施例中的图像处理方法包括但不限于以下步骤。

步骤S101，对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像。

步骤S102，对当前帧合成图像和前一帧合成图像进行检测，确定差异信息。

其中，前一帧合成图像是对辅流图像的前一帧图像，以及该辅流图像的前一帧图像对应的标注信息进行合成，生成的图像。

步骤S103，依据差异信息对当前帧合成图像进行编码，生成编码数据。

步骤S104，向对端设备发送编码数据，以使对端设备对编码数据进行处理，获得并显示包括辅流图像对应的标注信息的解码图像。

其中，对端设备是能够对编码数据进行处理，获得并显示包括辅流图像对应的标注信息的解码图像的设备，例如，该对端设备可以是解码装置、接收终端等设备，可以基于实际应用场景，对对端设备进行设置，其他未说明的对端设备也在本申请的保护范围之内，在此不再赘述。

在本实施例中，通过对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像，能够明确终端对辅流图像进行标注的信息；对当前帧合成图像和前一帧合成图像进行检测，确定差异信息，使用户可以同步获取连续两帧之间的差异信息，提升终端与用户之间的互动性；依据差异信息对当前帧合成图像进行编码，生成编码数据，可加快对图像的编码速度，以降低编码的能耗；并且，通过向对端设备发送编码数据，以使对端设备对编码数据进行处理，获得并显示包括辅流图像对应的标注信息的解码图像，方便对端设备能够查看到带有标注信息的解码图像，使对端设备可以更清晰明确的显示标注信息。

在一些具体实现中，步骤S101中的对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像，可以采用如下方式实现：基于多种帧频，获取辅流图像对应的标注信息；依据预设容器和预设图像格式对辅流图像对应的标注信息进行处理，生成标注图像；将辅流图像和标注图像进行图像整合，生成当前帧合成图像。

其中，辅流图像对应的标注信息，可以是以点集数据的形式呈现的基于多种帧频的信息。帧频(frame rate)是指每秒钟放映或显示的帧或图像的数量。帧频主要用于指在电影、电视或视频的同步音频和/或图像中，每秒播放的图像的帧数。例如，帧频可以是每秒120帧，也可以是每秒24帧(或，每秒25帧、每秒30帧)等。

通过多种不同的帧频，获取辅流图像对应的标注信息，能够明确辅流图像的实时变化情况，进而在依据预设容器(如，比特图容器等)和预设图像格式(例如，红绿蓝-透明度(Red Green Blue Alpha，RGBA)色彩空间的图像格式；YUV图像格式等)对辅流图像对应的标注信息进行处理，使获得的标注图像更能体现实时变化特征，满足用户的实时性使用需求。

其中，YUV图像格式中的“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，描述影像色彩及饱和度，用于指定像素的颜色。

进一步地，将辅流图像和标注图像进行图像整合(例如，可以是叠加合成，也可以是差异性合成等)，生成当前帧合成图像，方便后续处理，提升对图像的处理效率。

在一些具体实现中，将辅流图像和标注图像进行图像整合，生成当前帧合成图像，包括：分别对辅流图像和标注图像进行图像格式转换，获得转换图像集合；依据预设图像分辨率对转换图像集合中的各个图像进行缩放处理，获得缩放图像集合；依据预设帧频对缩放图像集合中的各个图像进行同步，获得处理后的辅流图像和处理后的标注图像；将处理后的辅流图像和处理后的标注图像进行叠加合成，生成当前帧合成图像。

通过对辅流图像和标注图像进行多层次、不同维度的处理，能够使处理后的辅流图像和处理后的标注图像可以更方便进行图像的叠加合成，保证叠加后的图像的准确性，并提升图像的处理效率。

例如，图2示出本申请实施例提供的图像合成装置对图像进行处理的流程示意图。如图2所示，图像合成装置200包括但不限于如下模块：

标注采集器201、数据转换模块202、辅流图像采集模块203、图像格式转换模块204、图像缩放模块205、帧频同步模块206和图像叠加模块207。

其中，标注采集器201，用于对标注信息进行采集，并支持多种帧频的标注信息的采集，获取基于点集数据形式呈现的标注信息，或被动接收标注源推送的点集数据。

辅流图像采集模块203，用于对辅流图像进行采集，支持多种帧频的辅流图像的采集，且支持多种图像格式，可以主动获取辅流图像，也可以被动接收辅流图像的数据推送。

数据转换模块202，用于对点集数据进行处理，例如，基于比特图(BitMap)等预设容器对点集数据进行数据转换，将其转换为适合合成的标注图像，该标注图像支持RGBA色彩空间的图像格式、以及YUV图像格式等预设图像格式的输出。

图像格式转换模块204，用于将辅流图像的格式和标注图像的格式转换为同一种类型的图像格式，以避免因图像格式的不同而导致的图像合成失败。

图像缩放模块205，用于依据预设图像分辨率，将辅流图像和标注图像的拉伸至相同的图像分辨率，应用于辅流图像的分辨率、标注图像分辨率和目标图像的分辨率不一致的场景中。

帧频同步模块206，用于依据预设帧频，将辅流图像和标注图像的采集频率进行同步，通过丢帧和/或插帧的方式，控制合成后的当前帧合成图像的频率，从而降低图像合成装置200的数据处理压力，提高图像合成的效率和稳定性。

例如，图像合成装置200可采用如下方式对输入的辅流图像和标注信息进行处理。

首先，采用辅流图像采集模块203对辅流图像进行采集，并采用标注采集器201对标注信息进行采集。然后，通过数据转换模块202依据预设容器和预设图像格式对辅流图像对应的标注信息进行处理，生成标注图像。

通过图像格式转换模块204分别对辅流图像和标注图像进行图像格式转换，获得转换图像集合，其中，该转换图像集合包括：图像格式转换后的辅流图像和图像格式转换后的标注图像。

再通过图像缩放模块205分别对图像格式转换后的辅流图像和图像格式转换后的标注图像进行缩放处理，例如，依据预设图像分辨率，对图像格式转换后的辅流图像的分辨率进行调整，获得缩放后的辅流图像；依据预设图像分辨率，对像格式转换后的标注图像进行调整，获得缩放后的标注图像。以保证缩放后的标注图像和缩放后的辅流图像的图像分辨率都是预设图像分辨率，方便后续对图像的处理。

进一步地，采用帧频同步模块206对缩放后的标注图像和缩放后的辅流图像进行同步，以获得帧频相同(例如，都是预设帧频)的处理后的辅流图像和处理后的标注图像。

例如，依据预设帧频对缩放图像集合中的各个图像进行同步，获得处理后的辅流图像和处理后的标注图像，包括：在确定缩放图像集合中的图像的实际帧频大于预设帧频的情况下，基于采样的方式对缩放图像集合中的各个图像进行丢帧处理，获得处理后的辅流图像和处理后的标注图像；在确定缩放图像集合中的图像的实际帧频小于预设帧频的情况下，采用内部插帧的方式对缩放图像集合中的各个图像进行处理，获得处理后的辅流图像和处理后的标注图像。

通过不同的帧频同步方式，对辅流图像和标注图像进行处理，能够提升图像在进行叠加合成过程的成功比例，提升图像的处理效率。

最后，采用图像叠加模块207对处理后的辅流图像和处理后的标注图像进行叠加，生成当前帧合成图像。

在一些具体实现中，将处理后的辅流图像和处理后的标注图像进行叠加合成，生成当前帧合成图像，包括：以处理后的辅流图像作为背景图像，将处理后的标注图像中的标注特征叠加至处理后的辅流图像中，获得当前帧合成图像。

例如，通过对处理后的标注图像中的Alpha分量的分析，将标注图像的透明度设置为全透明，从而获得处理后的标注图像中的标注特征。然后，再将该处理后的标注图像中的标注特征叠加至处理后的辅流图像中，获得当前帧合成图像。能够使当前帧合成图像同时具备处理后的标注图像中的标注特征，以及处理后的辅流图像的图像特征，丰富当前帧合成图像的内容。

在一些具体实现中，将处理后的辅流图像和处理后的标注图像进行叠加合成，生成当前帧合成图像，包括：依据预设透明度信息对处理后的辅流图像进行处理，获得处理后的辅流图像的图像特征，处理后的辅流图像的图像特征与标注信息相匹配；

以处理后的标注图像作为背景图像，将处理后的辅流图像的图像特征叠加至处理后的标注图像中，获得当前帧合成图像。

其中，依据预设透明度信息对处理后的辅流图像进行处理，能够获取处理后的辅流图像的图像特征，并且，该处理后的辅流图像的图像特征与标注信息相匹配，能够表征标注信息的特性，从而再将处理后的辅流图像的图像特征叠加至处理后的标注图像中，使当前帧合成图像同时具备处理后的标注图像中的标注特征，以及处理后的辅流图像的图像特征。

在一些具体实现中，步骤S102中的对当前帧合成图像和前一帧合成图像进行检测，确定差异信息，可以采用如下方式实现：

依据预设尺寸，分别对当前帧合成图像和预先存储的前一帧合成图像进行分区处理，获得与当前帧合成图像对应的第一区域图像集合，以及与前一帧合成图像对应的第二区域图像集合；依据区域数量，分别对比第一区域图像和第二区域图像，获得差异信息。

其中，第一区域图像集合包括多个第一区域图像，第二区域图像集合包括多个第二区域图像。

需要说明的是，预设尺寸可以是预先定义的对图像进行分区或分块的最小尺寸，例如，预设尺寸为16*16，则可以将当前帧合成图像划分为多个16*16的第一区域图像，同时，也可以将前一帧合成图像划分为多个16*16的第二区域图像，能够对图像进行细节上的划分，更突出不同图像之间的差异性。

并且，第一区域图像集合中的区域数量与第二区域图像集合中的区域数量相同，可方便对两个区域图像集合中的区域图像进行分块对比，使获得的差异信息更准确。

在一些具体实现中，差异信息包括：至少一个差异区域。依据差异信息对当前帧合成图像进行编码，生成编码数据，包括：依据至少一个差异区域，确定差异轮廓信息；依据差异轮廓信息对当前帧合成图像进行剪裁，获得变化区域图像；对变化区域图像进行编码，生成编码数据。

其中，差异区域用于表征第一区域图像的图像特征和所述第二区域图像的的图像特征不同的图像区域，能够准确衡量两帧图像的差异性，方便对当前帧合成图像进行处理。

例如，将至少一个差异区域进行最大范围上的合并，获得差异轮廓信息，明确存在差异的图像边界，从而基于差异轮廓信息对当前帧合成图像进行裁剪，获得仅包括差异信息的、能够体现图像变化信息的变化区域图像。

通过对变化区域图像进行编码，能够使编码数据体现前后两帧图像的差异性，提升对当前帧合成图像的编码速度。

例如，图3示出本申请实施例提供的对辅流图像进行检测的流程示意图。如图3所示，区域检测装置300的输入图像为辅流标注图像F1，该辅流标注图像F1是经过图像合成装置200处理后获得的处理后的图像，能够同时体现辅流图像和标注图像的特征。

当区域检测装置300获取到辅流标注图像F1后，会对该辅流标注图像F1进行分块(或分区)处理，以获得第一区域图像集合，该第一区域图像集合包括多个第一区域图像。

通过对辅流标注图像F1进行分块(或分区)处理，能够体现辅流标注图像F1的局部信息，以方便后续对不同的局部图像的特征进行对比，以实现对变化区域的检测。

并且，区域检测装置300还会预先存储第二区域图像集合，该第二区域图像集合包括多个第二区域图像，并且，第二区域图像集合是通过对前一帧合成图像进行分块(或分区)处理获得的图像集合，能够体现前一帧合成图像的不同区域内的图像特征。

近一步地，通过将第二区域图像集合中的多个第二区域图像，分别与第一区域图像集合中的多个第一区域图像进行分块(或分区)对比，获得差异信息(例如，某个区域中不同的特征信息等)。

需要说明的是，若发现某个区域内的图像存在差异，则将该区域内的图像块进行缓存，并且记录该图像块所在的区域。缓存图像块的过程可以是多线程同步进行的，也可以是通过对存在差异的图像块进行逐行扫描完成的。

通过将多个存在差异的图像块进行存储，并将多个存在差异的图像块进行整合，从而可以提取存在差异的图像的轮廓(例如，提取图像块的外接矩形轮廓等)，然后基于该轮廓，将轮廓内的图像进行裁剪，生成差异信息对应的差异图像。将该差异图像和辅流标注图像F1都输入到编码模块310进行编码，从而可以快速准确的获得编码数据。

若确定第一区域图像集合和第二区域图像集合之间不存在差异，则无需再进行轮廓的提取，直接跳过对该帧辅流图像的处理。

通过将缓存的前一帧合成图像和辅流图像进行帧间对比，并提取发生变化的图像区域对应的轮廓，从而对该轮廓内的变化区域图像进行裁剪，获得差异信息，提升对辅流图像的差异变化的判断准确性。

在一些具体实现中，对当前帧合成图像和前一帧合成图像进行检测，确定差异信息之后，还包括：在确定差异信息表征当前帧合成图像和前一帧合成图像之间无差异的情况下，跳过当前帧合成图像。

需要说明的是，由于当前帧合成图像和前一帧合成图像之间不存在差异，表征当前帧合成图像和前一帧合成图像是相同的两帧图像，则无需对当前帧图像进行处理，只需跳过该当前帧合成图像即可，以加快对图像的处理速度。

在一些具体实现中，向对端设备发送编码数据，包括：通过第一通道向对端设备发送编码数据；向对端设备发送编码数据之后，还包括：通过第二通道向对端设备发送与标注信息对应的标注数据。

其中，与标注信息对应的标注数据，可以是对标注信息进行组包，并符合第二通道的传输规则的数据。例如，将标注信息以二进制数据表示，并在该二进制数据前面添加数据包头(如，表征对端设备的网络地址等信息的数据包头)，从而获得与与标注信息对应的标注数据。

通过不同的传输通道(如，第一通道和第二通道等)，向对端设备发送编码数据，以及与与标注信息对应的标注数据，能够方便对端设备的对不同数据的处理，以使对端设备更快捷的对获得的编码数据进行分析和处理，提升数据的处理效率。

图4示出本申请又一实施例提供的图像处理方法的流程示意图。该方法可应用于解码装置。如图4所示，本申请实施例中的图像处理方法包括但不限于以下步骤。

步骤S401，获取编码数据。

其中，编码数据是对端设备(如编码装置)发送的经过其采用本申请中任意一种图像处理方法进行编码的数据。

例如，编码数据是编码装置依据差异信息对当前帧合成图像进行编码获得的数据，差异信息是编码装置对当前帧合成图像和前一帧合成图像进行检测获得的信息，当前帧合成图像是编码装置对辅流图像及其对应的标注信息进行合成的图像。

步骤S402，对编码数据进行解码，获得解码图像。

其中，解码图像为携带有辅流图像及其对应的标注信息的图像。

需要说明的是，由于编码装置发送的编码数据是经过其采用本申请中任意一种图像处理方法进行编码的数据，即编码数据已经携带了标注信息和辅流图像，因此，解码装置只需针对该编码数据做对应的解码即可，从而能够保证解码图像包括辅流图像的特征，以及该辅流图像对应的标注信息的特征。解码装置对编码数据进行解码的解码方式与编码数据的编码方式相匹配，以保证获取到准确的解码图像。

例如，编码装置可以采用某个特定的压缩技术，依据差异信息对当前帧合成图像进行编码，获得编码数据，则解码装置需要采用相同的压缩技术对编码数据进行解码，以使获取到的解码图像能够同时包括辅流图像的特征，以及该辅流图像对应的标注信息的特征。

步骤S403，将解码图像和前一帧合成图像进行叠加，生成待显示图像。

其中，解码图像包括辅流图像和标注信息，该解码图像能够体现标注信息和辅流图像的特征，通过将解码图像和前一帧合成图像进行叠加，从而生成待显示图像，以使待显示图像能够体现标注信息。

步骤S404，显示待显示图像。

在一些具体实现中，在执行步骤S404中的显示待显示图像之前，还包括：对待显示图像进行渲染，获得渲染后的待显示图像。

通过对待显示图像进行渲染，能够直观、实时的体现对待显示图像的表面着色效果，从而显示出待显示图像的纹理特征，以及光源对待显示图像的影响效果，从而使用户也可观看到渲染后的待显示图像，提升用户的观看感受。

在本实施例中，通过获取编码数据，能够明确对编码数据的处理需求，其中的编码数据是如编码装置发送的经过其采用本申请中任意一种图像处理方法进行编码的数据，便于后续处理；对编码数据进行解码，获得并显示解码图像，该解码图像为携带有辅流图像及其对应的标注信息的图像，以使该解码图像能够体现标注信息和辅流图像的特征；解码图像和前一帧合成图像进行叠加，生成待显示图像，并显示该待显示图像，能够使待显示图像能够体现标注信息。

在一些具体实现中，步骤S401中的获取编码数据，包括：获取编码数据，包括：通过第一通道接收编码数据，其中，编码数据为与当前帧合成图像对应的数据，当前帧合成图像为对辅流图像及其对应的标注信息进行合成的图像；对编码数据进行解码，获得解码图像之前，还包括：通过第二通道接收与标注信息对应的标注数据。

其中，标注数据是与标注信息对应的数据，例如，该标注数据可以采用二进制数据表示，用于表征信息的数据。

通过对第二通道接收到的与标注信息对应的标注数据进行解析，能够明确与辅流图像对应的标注信息的具体含义，以便于后续对待分析数据进行处理，提升数据处理效率；并且，通过对不同的通道中传输的数据进行分别处理，能够针对不同类型的数据进行处理，提升对数据的处理准确性。

图5示出本申请一实施例提供的图像处理系统的组成方框图。如图5所示，第一终端510与第二终端520通信连接(如，通过互联网或通信网络进行通信等)。

其中，第一终端510包括：图像合成装置511、区域检测装置512、编码模块513和辅流数据发送模块514。第二终端520包括：接收模块521、解码模块522和图像渲染模块523。

其中，图像合成装置511能够同时获取标注信息和辅流图像，并对标注信息进行处理，生成标注图像，然后将该标注图像与辅流图像进行合成，生成当前帧合成图像。以使该当前帧合成图像能够同时体现辅流图像的图像特征，以及标注信息对应的特征。

由于第二终端520仅能进行常规的图像的解码，因此，经过其解码模块522处理的叠加后的辅流图像，也能体现标注信息的特征，但会使最终获得的图像不能准确清晰的表征标注信息的特征。

图6示出本申请又一实施例提供的图像处理系统的组成方框图。如图6所示，第一终端610与第二终端620通信连接(如，通过互联网或通信网络进行通信等)。

其中，第一终端610包括：图像合成装置611、区域检测装置612、编码模块613、辅流数据发送模块614和标注信息发送模块615。第二终端620包括：接收模块621、解码模块622、图像渲染模块623和标注信息接收模块624。

其中，图像合成装置611能够同时获取标注信息和辅流图像，并对标注信息进行处理，生成标注图像，然后将该标注图像与辅流图像进行合成，生成当前帧合成图像。以使该当前帧合成图像能够同时体现辅流图像的图像特征，以及标注信息对应的特征。

需要说明的是，标注信息发送模块615也可以获取标注信息，并将该标注信息发送至第二终端620，以方便第二终端620对解码模块622输出的叠加后的辅流图像的分析，从而使输入至图像渲染模块623的图像能够清晰准确的体现标注信息的特征。

在不同类型的终端之间进行通信时，终端都能够支持对标注信息的解码，使用户获得标注信息的特征。

例如，图7示出本申请再一实施例提供的图像处理系统的组成方框图。如图7所示，第一终端710分别与第二终端720和第三终端730通信连接(如，通过互联网或通信网络进行通信等)。

其中，第一终端710包括：图像合成装置711、区域检测装置712、编码模块713、辅流数据发送模块714和标注信息发送模块715。第二终端720包括：接收模块721、解码模块722、图像渲染模块723和标注信息接收模块724。第三终端730包括：接收模块731、解码模块732和图像渲染模块733。

编码模块713负责将区域检测装置712输出的图像转换为适合网络传输的压缩格式(例如，H.264格式等)。辅流数据发送模块714和标注信息发送模块分别通过有线通信网络，或无线通信网络(如，光纤构成的光网络等)将图像数据传输至第二终端720(或，第三终端730)。

例如，可采用如下方式实现图像数据的处理：

图像合成装置711分别获取标注信息和辅流图像，并对图像合成装置711能够同时获取标注信息和辅流图像，并对标注信息进行处理，生成标注图像，然后将该标注图像与辅流图像进行合成，生成当前帧合成图像。以使该当前帧合成图像能够同时体现辅流图像的图像特征，以及标注信息对应的特征。其中，标注信息是标注源产生的一系列标注的点集数据。

区域检测装置712对输入的当前帧合成图像进行不同区域的差异性检测，以获得差异信息，并将该差异信息和辅流图像都输入至编码模块713中进行编码，生成编码数据，并将该编码数据输出至辅流数据发送模块714，以使辅流数据发送模块714将获得的编码数据通过通信网络发送至第二终端720(和/或第三终端730)，以使第二终端720和/或第三终端730能够获得辅流图像和标注信息同步的编码数据。

其中，区域检测装置712可以通过对输入的当前帧合成图像进行分块，获得包括多个第一区域图像的第一区域图像集合，然后将多个第一区域图像与其内部缓存的多个第二区域图像进行对比，获得变化区域信息。其中，多个第二区域图像是区域检测装置712对前一帧合成图像进行分块确定图像。

需要说明的是，第二终端720和/或第三终端730在接收到编码数据后，都会对该编码数据进行解码，但不同的是，第二终端720还可以同时获得原始的标注信息，以方便其对编码数据(即编码数据)进行分析，获得准确的辅流图像和标注信息。

进一步地，还需要采用图像渲染模块733或图像渲染模块723对叠加后的辅流图像进行渲染，以保证用户获得图像更清晰。

在本实施例中，通过将标注图像和辅流图像进行叠加合成，能够保证当前帧合成图像的内容一致性，并且通过对比相邻图像帧之间的差异，以限定标注信息对应的图像叠加的范围，从而提高图像合成的速度。能够满足用户在不同应用场景下的需求，提升产品竞争力。解决了可标注的第一终端710和无法标注的第三终端730之间的辅流内容交互不一致的问题。

图8示出本申请实施例提供的对辅流图像的展示界面示意图。如图8所示，图8中的(A)表示第一终端710发送的具有标注信息的辅流图像的展示界面，或，第二终端720显示的具有标注信息的辅流图像的展示界面。

图8中的(B)表示现有技术中的终端展示的仅显示辅流图像(即没有标注信息的辅流图像)的展示界面。

图8中的(C)表示第三终端730展示的辅流图像的展示界面。

通过对比图8中的三个展示界面，能够明确标注信息的显示状态，方便用户的查看，提升用户的使用体验。

图9示出本申请实施例提供的编码装置的组成方框图。如图9所示，编码装置900包括但不限于如下模块。

合成模块901，被配置为对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像；检测模块902，被配置为对当前帧合成图像和前一帧合成图像进行检测，确定差异信息；编码模块903，被配置为依据差异信息对当前帧合成图像进行编码，生成编码数据；发送模块904，被配置为向对端设备发送所述编码数据，以使所述对端设备对所述编码数据进行处理，获得并显示包括所述辅流图像对应的标注信息的解码图像。

需要说明的是，本实施例中的编码装置900能够实现本申请实施例中任一种应用于编码装置的图像处理方法。

根据本申请实施例的编码装置，通过合成模块对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像，能够明确终端对辅流图像进行标注的信息；检测模块对当前帧合成图像和前一帧合成图像进行检测，确定差异信息，使用户可以同步获取连续两帧之间的差异信息，提升终端与用户之间的互动性；编码模块依据差异信息对辅流图像进行编码，生成编码数据，可加快图像的编码速度，以降低编码的能耗；并且，通过发送模块向对端设备发送编码数据，以使对端设备对编码数据进行处理，获得并显示包括辅流图像对应的标注信息的解码图像，方便对端设备能够查看到带有标注信息的解码图像，使对端设备可以更清晰明确的显示标注信息。

图10示出本申请实施例提供的解码装置的组成方框图。如图10所示，解码装置1000包括但不限于如下模块。

获取模块1001，被配置为获取编码数据，编码数据为本申请中的编码装置采用的任意一项图像处理方法所发送的数据；解码模块1002，被配置为对编码数据进行解码，获得解码图像，解码图像为携带有辅流图像及其对应的标注信息的图像；生成模块1003，被配置为将所述解码图像和前一帧合成图像进行叠加，生成待显示图像；显示模块1004，被配置为显示待显示图像。

需要说明的是，本实施例中的解码装置1000能够实现本申请实施例中任一种应用于解码装置的图像处理方法。

根据本申请实施例的解码装置，通过使用获取模块获取编码数据，能够明确对编码数据的处理需求，其中的编码数据是编码装置发送的经过其采用本申请中任意一种图像处理方法进行编码的数据，便于后续处理；对编码数据进行解码，获得并显示解码图像，该解码图像为携带有辅流图像及其对应的标注信息的图像，以使该解码图像能够体现标注信息和辅流图像的特征，方便用户的使用。

图11示出本申请实施例提供的终端的组成方框图。如图11所示，终端1100包括但不限于如下模块：编码装置1101，和/或，解码装置1102。

例如，图11中的(A)表示终端1100仅包括编码装置1101；图11中的(B)表示终端1100仅包括解码装置1102；图11中的(A)表示终端1100包括编码装置1101和解码装置1102。

其中，编码装置1101，被配置为执行本申请实施例中任一项应用于编码装置的图像处理方法。解码装置1102，被配置为执行本申请实施例中任一项应用于解码装置的图像处理方法。

例如，终端1100可以为支持音频/视频会议功能的终端(如，智能手机等)，也可以为支持网络授课的平板电脑(或，个人电脑等)。以上对于终端的类别仅是举例说明，可根据实际需要进行具体设定，其他未说明的终端的类别也在本申请的保护范围之内，在此不再赘述。

根据本申请实施例的终端，通过编码装置对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像，能够明确终端对辅流图像进行标注的信息；对当前帧合成图像和前一帧合成图像进行检测，确定差异信息，使用户可以同步获取连续两帧之间的差异信息，提升终端与用户之间的互动性；依据差异信息对辅流图像进行编码，生成编码数据，可加快图像的编码速度，以降低编码的能耗。并通过编码装置获取编码数据及其对应的标注信息，能够明确对编码数据的处理需求，并且，其中的编码数据是编码装置依据差异信息对辅流图像进行编码获得的图像，差异信息是编码装置对当前帧合成图像和前一帧合成图像进行检测获得的信息，能够使用户可以同步获取连续两帧之间的差异信息，提升终端与用户之间的互动性；对编码数据进行解码，获得待分析图像，以加快对待分析图像的处理速度；依据编码数据对应的标注信息对待分析图像进行处理，获得解码图像，以使该解码图像能够体现标注信息和辅流图像的特征，方便用户的使用。

图12示出本申请另一实施例提供的图像处理系统的组成方框图。图像处理系统包括通信连接的多个终端；其中，终端能够实现本申请实施例中的任意一种图像处理方法。

例如，如图12所示，该图像处理系统包括但不限于如下设备：通信连接的至少一个发送终端1201，以及至少一个第一接收终端1202和/或第二接收终端1203。

例如，图12中的(A)表示图像处理系统包括：通信连接的发送终端1201和第一接收终端1202；

图12中的(B)表示图像处理系统包括：通信连接的发送终端1201和第二接收终端1203；

图12中的(C)表示图像处理系统包括：发送终端1201、以及分别与发送终端1201通信连接的第一接收终端1202和第二接收终端1203。

其中，第一发送终端1201，被配置为执行本申请实施例中任一种应用于编码装置的图像处理方法。

第一接收终端1202，被配置为执行本申请实施例中任一种应用于解码装置的图像处理方法。

第二接收终端1203，被配置为获取第一终端发送的编码数据，对编码数据进行解码，获得并显示包括辅流图像对应的标注信息的解码图像，其中，编码数据是编码装置依据差异信息对当前帧合成图像进行编码获得的数据，差异信息是编码装置对当前帧合成图像和前一帧合成图像进行检测获得的信息，当前帧合成图像是编码装置对辅流图像及其对应的标注信息进行合成的图像。

根据本申请实施例的图像处理系统，通过发送终端对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像，能够明确发送终端对辅流图像进行标注的信息；对当前帧合成图像和前一帧合成图像进行检测，确定差异信息，使用户可以同步获取连续两帧之间的差异信息，提升终端与用户之间的互动性；依据差异信息对辅流图像进行编码，生成编码数据，可加快图像的编码速度，以降低编码的能耗。进一步地，通过至少一个发送终端向第一接收终端和/或第二接收终端发送编码数据，能够使不同的接收终端都接收到该编码数据，并对编码数据进行处理，从而获得并显示包括辅流图像对应的标注信息的解码图像，使第一接收终端和/或第二接收终端都能够查看到带有标注信息的解码图像，以便更清晰明确的显示标注信息。

需要明确的是，本发明并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁，这里省略了对已知方法的详细描述，并且上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图13示出能够实现根据本发明实施例的图像处理方法和装置的计算设备的示例性硬件架构的结构图。

如图13所示，计算设备1300包括输入设备1301、输入接口1302、中央处理器1303、存储器1304、输出接口1305、以及输出设备1306。其中，输入接口1302、中央处理器1303、存储器1304、以及输出接口1305通过总线1307相互连接，输入设备1301和输出设备1306分别通过输入接口1302和输出接口1305与总线1307连接，进而与计算设备1300的其他组件连接。

具体地，输入设备1301接收来自外部的输入信息，并通过输入接口1302将输入信息传送到中央处理器1303；中央处理器1303基于存储器1304中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器1304中，然后通过输出接口1305将输出信息传送到输出设备1306；输出设备1306将输出信息输出到计算设备1300的外部供用户使用。

在一个实施例中，图13所示的计算设备可以被实现为一种电子设备，该电子设备可以包括：存储器，被配置为存储程序；处理器，被配置为运行存储器中存储的程序，以执行上述实施例描述的图像处理方法。

在一个实施例中，图13所示的计算设备可以被实现为一种图像处理系统，该系统可以包括：存储器，被配置为存储程序；处理器，被配置为运行存储器中存储的程序，以执行上述实施例描述的图像处理方法。

以上所述，仅为本申请的示例性实施例而已，并非用于限定本申请的保护范围。一般来说，本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中，尽管本申请不限于此。

本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现，例如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。

本申请附图中的任何逻辑流程的框图可以表示程序步骤，或者可以表示相互连接的逻辑电路、模块和功能，或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现，例如但不限于只读存储器(ROM)、随机访问存储器(RAM)、光存储器装置和系统(数码多功能光碟DVD或CD光盘)等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型，例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑器件(FGPA)以及基于多核处理器架构的处理器。

通过示范性和非限制性的示例，上文已提供了对本申请的示范实施例的详细描述。但结合附图和权利要求来考虑，对以上实施例的多种修改和调整对本领域技术人员来说是显而易见的，但不偏离本发明的范围。因此，本发明的恰当范围将根据权利要求确定。

Claims (17)

1.一种图像处理方法，其特征在于，所述方法包括：

对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像；

对所述当前帧合成图像和前一帧合成图像进行检测，确定差异信息；

依据所述差异信息对所述当前帧合成图像进行编码，生成编码数据；

向对端设备发送所述编码数据，以使所述对端设备对所述编码数据进行处理，获得并显示包括所述辅流图像对应的标注信息的解码图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述当前帧合成图像和前一帧合成图像进行检测，确定差异信息，包括：

依据预设尺寸，分别对所述当前帧合成图像和预先存储的所述前一帧合成图像进行分区处理，获得与所述当前帧合成图像对应的第一区域图像集合，以及与所述前一帧合成图像对应的第二区域图像集合；其中，所述第一区域图像集合包括多个第一区域图像，所述第二区域图像集合包括多个第二区域图像，所述第一区域图像集合中的区域数量与所述第二区域图像集合中的区域数量相同；

依据所述区域数量，分别对比所述第一区域图像和所述第二区域图像，获得所述差异信息。

3.根据权利要求2所述的方法，其特征在于，所述差异信息包括：至少一个差异区域，所述差异区域为所述第一区域图像的图像特征和所述第二区域图像的图像特征不同的图像区域；

所述依据所述差异信息对所述当前帧合成图像进行编码，生成编码数据，包括：

依据至少一个所述差异区域，确定差异轮廓信息；

依据所述差异轮廓信息对所述当前帧合成图像进行剪裁，获得变化区域图像；

对所述变化区域图像进行编码，生成所述编码数据。

4.根据权利要求1所述的方法，其特征在于，所述对所述当前帧合成图像和前一帧合成图像进行检测，确定差异信息之后，还包括：

在确定所述差异信息表征所述当前帧合成图像和所述前一帧合成图像之间无差异的情况下，跳过所述当前帧合成图像。

5.根据权利要求1所述的方法，其特征在于，所述对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像，包括：

基于多种帧频，获取所述辅流图像对应的标注信息；

依据预设容器和预设图像格式对所述辅流图像对应的标注信息进行处理，生成标注图像；

将所述辅流图像和所述标注图像进行图像整合，生成所述当前帧合成图像。

6.根据权利要求5所述的方法，其特征在于，所述将所述辅流图像和所述标注图像进行图像整合，生成所述当前帧合成图像，包括：

分别对所述辅流图像和所述标注图像进行图像格式转换，获得转换图像集合；

依据预设图像分辨率对所述转换图像集合中的各个图像进行缩放处理，获得缩放图像集合；

依据预设帧频对所述缩放图像集合中的各个图像进行同步，获得处理后的辅流图像和处理后的标注图像；

将所述处理后的辅流图像和所述处理后的标注图像进行叠加合成，生成所述当前帧合成图像。

7.根据权利要求6所述的方法，其特征在于，所述依据预设帧频对所述缩放图像集合中的各个图像进行同步，获得处理后的辅流图像和处理后的标注图像，包括：

在确定所述缩放图像集合中的图像的实际帧频大于所述预设帧频的情况下，基于采样的方式对所述缩放图像集合中的各个图像进行丢帧处理，获得所述处理后的辅流图像和所述处理后的标注图像；

在确定所述缩放图像集合中的图像的实际帧频小于所述预设帧频的情况下，采用内部插帧的方式对所述缩放图像集合中的各个图像进行处理，获得所述处理后的辅流图像和所述处理后的标注图像。

8.根据权利要求6所述的方法，其特征在于，所述将所述处理后的辅流图像和所述处理后的标注图像进行叠加合成，生成所述当前帧合成图像，包括：

以所述处理后的辅流图像为背景图像，将所述处理后的标注图像中的标注特征叠加至所述处理后的辅流图像中，获得所述当前帧合成图像。

9.根据权利要求6所述的方法，其特征在于，所述将所述处理后的辅流图像和所述处理后的标注图像进行叠加合成，生成所述当前帧合成图像，包括：

依据预设透明度信息对所述处理后的辅流图像进行处理，获得所述处理后的辅流图像的图像特征，所述处理后的辅流图像的图像特征与所述标注信息相匹配；

以所述处理后的标注图像为背景图像，将所述处理后的辅流图像的图像特征叠加至所述处理后的标注图像中，获得所述当前帧合成图像。

10.一种图像处理方法，其特征在于，所述方法包括：

获取编码数据，所述编码数据为权利要求1至9中任意一项所述的图像处理方法所发送的数据；

对所述编码数据进行解码，获得解码图像，所述解码图像为携带有辅流图像及其对应的标注信息的图像；

将所述解码图像和前一帧合成图像进行叠加，生成待显示图像；

显示所述待显示图像。

11.根据权利要求10所述的方法，其特征在于，所述显示所述待显示图像之前，还包括：

对所述待显示图像进行渲染，获得渲染后的待显示图像。

12.一种编码装置，其特征在于，其包括：

合成模块，被配置为对辅流图像及其对应的标注信息进行合成，生成当前帧合成图像；

检测模块，被配置为对所述当前帧合成图像和前一帧合成图像进行检测，确定差异信息；

编码模块，被配置为依据所述差异信息对所述当前帧合成图像进行编码，生成编码数据；

发送模块，被配置为向对端设备发送所述编码数据，以使所述对端设备对所述编码数据进行处理，获得并显示包括所述辅流图像对应的标注信息的解码图像。

13.一种解码装置，其特征在于，其包括：

获取模块，被配置为获取编码数据，所述编码数据为权利要求1至9中任意一项所述的图像处理方法所发送的数据；

解码模块，被配置为对所述编码数据进行解码，获得解码图像，所述解码图像为携带有辅流图像及其对应的标注信息的图像；

生成模块，被配置为将所述解码图像和前一帧合成图像进行叠加，生成待显示图像；

显示模块，被配置为显示所述待显示图像。

14.一种终端，其特征在于，所述终端包括：编码装置和/或解码装置；

所述编码装置，被配置为执行如权利要求1至9中任一项所述的图像处理方法；

所述解码装置，被配置为执行如权利要求10至11中任一项所述的图像处理方法。

15.一种图像处理系统，其特征在于，所述系统包括：通信连接的多个终端；

所述终端，被配置为执行如权利要求1至9中任一项，或，如权利要求10至11中任一项所述的图像处理方法。

16.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至9中任一项，或，如权利要求10至11中任一项所述的图像处理方法。

17.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项，或，如权利要求10至11中任一项所述的图像处理方法。