CN110720224B - 图像处理方法和装置 - Google Patents

Abstract

一种图像处理方法和装置，该方法包括：获取当前图像的码流数据，该码流数据中包括标识信息，该标识信息用于标识该当前图像中的至少一个目标物体，该标识信息包括图像区域信息和像素信息，该图像区域信息包括该目标物体所在的图像区域的位置和尺寸，该像素信息包括该图像区域中的至少一个像素的属性；对该码流数据进行解码，得到该当前图像和该标识信息；根据该标识信息，对该当前图像进行像素级别处理。该图像处理方法和装置通过图像区域信息指示目标物体所在的图像区域的位置和尺寸，通过像素信息指示图像区域中的多个像素的属性，从而以更细的粒度来标识目标物体，使得解码设备可以更高效更准确地对目标物体执行像素级别处理。

Description

图像处理方法和装置

版权申明

本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法和装置。

背景技术

在视频监控、人机互动、安全巡视等场景中，重点关注的物体(包括人物、动物、植物、公共设施、交通工具或景观、景物等)通常需要被标识出来，以便解码端或观测者更好地跟踪该物体在视频流中的变化，从而更好地辅助观测者对该物体进行观测或与其进行互动。图像处理中的这类方法一般可以被称为物体跟踪(object tracking)技术。

现有的物体跟踪技术，通常利用图像处理、计算机视觉以及计算机分析与理解等技术识别出视频流的内容，并将需要重点关注的物体标识出来。现有的方案，在编码端或解码端通过矩形区域标识每一帧图像中重点关注的物体的位置和尺寸。解码端基于矩形区域执行额外操作，处理效果差，处理效率低。

发明内容

本申请提供了一种图像处理方法和装置，使得解码设备可以更高效更准确地对目标物体执行像素级别处理。

第一方面，提供一种图像处理方法，包括：获取当前图像的码流数据，所述码流数据中包括标识信息，所述标识信息用于标识所述当前图像中的至少一个目标物体，所述标识信息包括图像区域信息和像素信息，所述图像区域信息包括所述目标物体所在的图像区域的位置和尺寸，所述像素信息包括所述图像区域中的至少一个像素的属性；对所述码流数据进行解码，得到所述当前图像和所述标识信息；根据所述标识信息，对所述当前图像进行像素级别处理。

第二方面，提供一种图像处理装置，包括：至少一个存储器，用于存储计算机可执行指令；至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：获取当前图像的码流数据，所述码流数据中包括标识信息，所述标识信息用于标识所述当前图像中的至少一个目标物体，所述标识信息包括图像区域信息和像素信息，所述图像区域信息包括所述目标物体所在的图像区域的位置和尺寸，所述像素信息包括所述图像区域中的至少一个像素的属性；对所述码流数据进行解码，得到所述当前图像和所述标识信息；根据所述标识信息，对所述当前图像进行像素级别处理。

第三方面，提供一种计算机可读存储介质，其上存储有指令，当指令在计算机上运行时，使得计算机执行第一方面的方法。

本申请的图像处理方法和装置，通过图像区域信息指示目标物体所在的图像区域的位置和尺寸，通过像素信息指示图像区域中的多个像素的属性，从而以更细的粒度来标识目标物体，使得解码设备可以更高效更准确地对目标物体执行像素级别处理。

本申请的图像处理方法和装置使得目标物体的识别可以放在编码端进行，解码设备仅需要进行后续的图像处理即可。因此，一方面，本申请的图像处理方法可以在手机、平板电脑等平台上实现；另一方面，解码设备的计算资源可以用于更复杂的图像处理，使得解码设备能够呈现出更优质更精美的图像。

附图说明

图1是本申请提供的一个实施例的编码方法的示意性流程图。

图2是本申请的一个实施例的图像中目标物体的示意图。

图3本申请提供的一个实施例的解码方法的示意性流程图。

图4本申请提供的一个实施例的编码设备的示意性流程图。

图5本申请提供的另一个实施例的编码设备的示意性流程图。

图6本申请提供的一个实施例的解码设备的示意性流程图。

图7本申请提供的另一个实施例的解码设备的示意性流程图。

图8是本申请一个实施例的图像处理方法的示意性流程图。

图9A和图9B是本申请实施例的融合得到的两张图像的示意图。

图10A和图10B是本申请实施例的在目标物体上添加指示光环的示意图。

图11是本申请实施例的改变目标物体的亮度的示意图。

图12A是当前图像的原图；图12B是当前图像对应的物体类别分割图像。

图13是本申请一个实施例的不同部位用不同的颜色标识的图像的示意图。

图14A是当前图像的原图；图14B是当前图像对应的反射强度分割图像。

图15A是当前图像的原图；图15B是当前图像对应的深度图。

图16是本申请一个实施例的图像处理装置的示意性框图。

图17是本申请另一个实施例的图像处理装置的示意性框图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

首先介绍本申请实施例涉及的相关技术及概念。

目标物体可以是指图像中需重点关注的、待标识、已标识或待观测的物体，其可以包括人物、动物、植物、公共设施、交通工具或景观、景物等，也可以包括其他类型的物体；也可以包括人物、动物、植物、公共设施、交通工具景观、景物或其他类型物体的特定部位。

图像区域可以是指目标物体所在的、形状规则或不规则的一片区域。通常而言，图像区域的位置和尺寸应使得目标物体的各部位全部落入该图像区域中，或者应使得目标物体上至少80％的区域落入该图像区域中。图像区域可以大致圈定一个范围，使得解码端能更快地确定出目标物体的位置和尺寸。

子图像区域可以是图像区域中像素具有同一属性的一片区域。

对于一个从编码端到解码端的系统，现有的一种物体追踪技术的做法是在编码端对视频内容进行编码；在解码端对视频内容进行分析，找到需要重点关注的物体，并对该需要重点关注的物体进行标识，即标识在解码端完成。

在解码端完成标识的问题在于，视频编码通常是一个有损的过程，视频内容经过编码之后其信息会遭受损失。解码端解码得到的视频内容相比于编码端的视频内容在质量、信息量上都有一定程度的下降。解码端针对一个受损的视频内容进行分析、提取出需要重点关注的物体，效果通常不如人意。此外，在解码端对视频内容进行分析以及进行物体的提取，会大量耗费解码端的计算资源。然而，解码端广泛应用于手机等移动设备中，此类移动设备对功耗较为敏感。因此，在解码端耗费计算能力进行视频内容的分析，会在一定程度上影响用户体验。

本申请中，将对视频内容分析的功能由解码端转移到编码端执行。这些技术通过在编码端对提取出来的物体进行标识，将标识信息写入视频文件中，保证解码端通过解析标识信息可以识别从编码端提取出来的物体。这样做的好处在于：1、在编码端对原始的未经压缩损失的视频内容进行分析，可以更高效、更准确地提取出需要重点关注的物体。2、由于编码端的设备通常具有更强的计算能力，并且编码端的设备通常本身就需要对视频内容进行分析以便执行一些额外的操作，因此将原来解码端的计算和分析转移至编码端，不会带来不好的用户体验。这些额外的操作，可以是例如在无人机系统上对所拍摄的视频内容进行分析之后，执行的避障操作。

在一些实现方式中，编码端可以使用通用的视频编码标准，例如，H.264/高级视频编码(advanced video coding，AVC)标准、H.265/高效率视频编码(high efficiencyvideo coding，HEVC)标准、信源编码标准(audio video coding standard，AVS)1-P2、AVS2-P2、VP9标准、开放媒体联盟视频(AOMedia Video，AV)1标准、通用视频编码(versatile video coding，VVC)标准对视频内容进行编码，得到视频文件。然后，

图1是本申请提供的一个实施例的编码方法100的示意性流程图。编码方法100由编码设备执行。如图1所示，该编码方法100包括：S110，对当前图像进行编码处理，生成码流数据，该码流数据中包括标识信息，该标识信息用于标识该当前图像中的至少一个目标物体，该标识信息包括图像区域信息和像素信息，该图像区域信息包括该目标物体所在的图像区域的位置和尺寸，该像素信息包括该图像区域中的至少一个像素的属性。

本申请实施例提供的编码方法，通过图像区域信息指示目标物体所在的图像区域的位置和尺寸，通过像素信息指示图像区域中的多个像素的属性，从而以更细的粒度来标识目标物体，有利于解码端更高效更准确地对目标物体执行操作。

在一些可能的实现方式中，在S110对当前图像进行编码处理，生成码流数据之前，编码方法100还可以包括：对该当前图像进行图像识别，确定该目标物体，得到该目标物体的该标识信息。其中，图像识别可以基于图像处理、计算机视觉以及计算机分析与理解等技术。当然本申请实施例的标识信息也可以是通过其他方式得到的，例如通过接收外界输入等。得到的标识信息的形式和内容可以是多样的，这将在下文进行详细描述。

在一些可能的实现方式中，标识信息可以位于当前图像的辅助强化信息或扩展数据。例如，辅助强化信息可以为SEI(Supplemental Enhancement Information)扩展数据可以为ED(Extension Data)中。SEI和ED通常可以认为是码流数据的一部分。解码设备接收到SEI和/或ED时，可以根据SEI和/或ED进行解码，也可以丢弃SEI和/或ED，是否对标识信息进行解码可以不影响对当前图像的内容的解码。这也将在下文进行详细描述。

可选地，在本申请的一些实施例中，图像区域可以为矩形区域。一些实现方式中，图像区域为能够框住目标物体的最小矩形区域或较小的矩形区域。用图像区域信息指示矩形区域的位置和尺寸的方式可以有多种。例如，图像区域信息可以包括该矩形区域的任意一角的坐标(例如可以是左上角的坐标)、该矩形区域的高度信息和该矩形区域的宽度信息。再如，图像区域信息可以包括该矩形区域的中心点坐标、该矩形区域的高度信息和该矩形区域的宽度信息；其中，该矩形区域的高度信息可以是该矩形区域的全高或者半高，该矩形区域的宽度信息可以是该矩形区域的全宽或者半宽，在此不做限制。又如，图像区域信息可以包括该矩形区域的左上角坐标和该矩形区域的右下角坐标。当然，图像区域信息可以包括该矩形区域的右上角坐标和该矩形区域的左下角坐标，等等。本申请各实施例对图像区域信息的具体内容不作限定。

此外，在本申请的另一些实施例中，图像区域可以为其他形状，例如为圆形、多边形或曲边形，等等。当图像区域为圆形时，图像区域信息可以包括圆心的坐标(即中心点的坐标)和半径信息。当图像区域为多边形，例如为正六边形时，图像区域信息可以包括中心点的坐标，以及中心点至正六边形的顶点的距离信息。本领域技术人员可理解地，图像区域和图像区域信息还可以由其他可替换的形式或方案得到，此处不在文中一一列举。

应理解，在本申请各实施例中，图像区域可以包括多个子图像区域。子图像区域可以是图像区域中像素具有同一属性的一片区域。例如，一个子图像区域可以是目标物体对应的一片区域，另一个子图像区域可以是背景对应的一片区域。再如，一个子图像区域可以是目标物体的一个部位对应的一片区域，另一个子图像区域可以是目标物体的另一个部位对应的一片区域，又一个子图像区域可以是背景对应的一片区域。

在本申请各实施例中，属性可以以像素为计量单位，即每个像素对应各自的属性，对应地，像素信息包括每个像素的属性的信息；属性也可以以像素块为计量单位，对应地，像素信息包括至少一个像素块的属性的信息，像素块包括至少两个像素。

像素块可以是粒度比图像区域细或小的区域。一个像素块的属性指的是，该像素块内的所有像素点的属性均为该像素块的属性。像素块可以是一个形状规则的块，例如为正方形、或矩形的块。像素块也可以是一个形状不规则的块。像素块可以包括多个像素(例如，2个、4个、9个或16个像素)。当属性以像素块为计量单位时，多个像素块的尺寸可以是相同的，也可以是不同的。可以先对当前图像进行下采样，来得到像素块对应的属性的信息。

相对于属性以像素为计量单位的情况，属性以像素块为计量单位可以减少编码设备存储或传输的数据量。本领域技术人员可理解地，像素信息还可以由其他可替换的形式或方案得到，此处不在文中一一列举。

可选地，在本申请的一些实施例中，像素信息可以包括赋予图像区域中的至少一个像素的数值；其中，不同子图像区域中的像素赋予相同或者不同的数值。应理解，同一图像区域中不同子图像区域的像素的数值可以相同或者不同，例如图形区域中包括不相接的两个子图像区域均为除目标物体以外的区域，那么该两个子图像区域中的像素所赋予的数值可以相同或者不同。不同图像区域中的子图像区域的像素的数值可以相同或者不同，例如不同图像区域中属于目标物体的子图像区域所赋予的数值可以相同或者不同，不同图像区域中属于目标物体以外的子图像区域所赋予的数值可以相同或者不同。当然，像素信息也可以用非数值的指示符表示，本申请实施例对此不作限定。

可选地，在本申请的一些实施例中，至少一个像素的属性可以包括至少一个像素是否属于目标物体。例如，在像素信息中，为至少一个像素赋予不同的数值，用于指示至少一个像素是否属于目标物体。

在一种可能的实现方式中，至少一个像素中，第一部分像素被赋予第一数值，来指示第一部分像素不属于目标物体。即，像素信息中包括不属于目标物体的像素的数值。例如，图像区域中包括一个(或多个)子图像区域，为目标物体；图像区域中还包括若干个子图像区域，为不属于目标物体的背景。像素信息中可以仅包括不属于目标物体的像素的属性，或者说像素信息中可以仅包括不属于目标物体的像素的数值。换句话说，像素信息中可以仅包括属于背景的若干个子图像区域的像素的属性或数值。

在另一种可能的实现方式中，至少一个像素中，第二部分像素被赋予第二数值，来指示第二部分像素属于目标物体。即，像素信息中包括属于目标物体的像素的数值。例如，图像区域中包括一个(或多个)子图像区域，为目标物体；图像区域中还包括若干个子图像区域，为不属于目标物体的背景。像素信息中可以仅包括属于目标物体的像素的属性，或者说像素信息中可以仅包括属于目标物体的像素的数值。换句话说，像素信息中可以仅包括属于目标物体的一个(或多个)子图像区域的像素的属性或数值。

在又一种可能的实现方式中，至少一个像素中，第一部分像素被赋予第一数值，来指示第一部分像素不属于目标物体；第二部分像素被赋予第二数值，来指示第二部分像素属于目标物体。即，像素信息中包括所有像素的数值。例如，图像区域中包括一个(或多个)子图像区域，为目标物体；图像区域中还包括若干个子图像区域，为不属于目标物体的背景。像素信息中可以既包括属于目标物体的像素的属性，又包括属于背景的像素的属性；或者说，像素信息中可以既包括属于目标物体的像素的数值，又包括属于背景的像素的数值。换句话说，像素信息中可以既包括属于目标物体的一个(或多个)子图像区域的像素的属性或数值；又包括属于背景的若干个子图像区域的像素的属性或数值。

在属性以像素为计量单位一个例子中，像素信息可以以模板(mask)来表示。模板值可以以二进制数值0和1来标识。像素信息中属于目标物体的像素的模板值为1；属于背景的像素的模板值为0。以目标物体i的图像区域为矩形区域为例；目标物体i的图像区域信息包括该矩形区域的左上角的坐标、该矩形区域的高度信息和该矩形区域的宽度信息；目标物体i的像素信息以模板来表示为例，目标物体i的标识信息的具体内容可以如下。本领域技术人员可理解地，该内容仅是示意性的，可以由其他可替换的形式或方案得到，此处不在文中一一列举。

ar_object_top[i]

ar_object_left[i]

ar_object_width[i]

ar_object_height[i]

for(m＝0；m<ar_object_height[i]；m++)

for(n＝0；n<ar_object_width[i]；n++)

mask[m][n]＝is object？1:0

其中，ar_object_top[i]、ar_object_left[i]、ar_object_width[i]和ar_object_height[i]表示目标物体i的位置和尺寸，ar_object_top[i]和ar_object_left[i]表示目标物体i的左上角的位置；ar_object_width[i]和ar_object_height[i]表示目标物体i的宽度和高度。mask[m][n]表示相对于矩形区域的左上角，坐标在垂直和水平方向偏移m和n的像素对应的模板值。当像素属于目标物体时，mask[m][n]的值为1；否则，像素属于背景时，mask[m][n]的值为0。

此外，对于mask的标识可以采用逐点的标识方法，也可以通过表示所述目标物体在所述以ar_object_top[i]、ar_object_left[i]、ar_object_width[i]和ar_object_height[i]标识的目标框类的每一行的起点位置以及所述目标物体在该行的长度来标识。具体方法如下：

其中，mask_pos[i][m]表示第i个物体在所述目标框内第m行的起点位置，mask_len[i][m]表示第i个物体在所述目标框内第m行的长度。

图2是本申请的一个实施例的图像200中目标物体的示意图。如图2所示，该图像200中包括目标物体1和目标物体2。目标物体1对应的图像区域1为矩形区域；目标物体2对应的图像区域2也为矩形区域。图像区域1中，值为1的像素属于目标物体1，值为0的像素不属于目标物体1。图像区域2中，值为1的像素属于目标物体2，值为0的像素不属于目标物体2。

可选地，在本申请的一些实施例中，至少一个像素的属性包括至少一个像素所属的目标物体的部位。例如，在像素信息中，不同像素被赋予不同的数值，用于指示不同像素属于目标物体的不同部位。当然还可以有部分像素用于指示不属于目标物体，而是属于背景。

在一个具体的例子中，目标物体是人；该至少一个像素中的第一部分像素被赋予第三数值，用于指示该第一部分像素属于目标物体的头部；和/或，该至少一个像素中的第二部分像素被赋予第四数值，用于指示该第二部分像素属于目标物体的手部。至少一个像素中还可以包括第三部分像素，用于指示该第三部分像素不属于目标物体，而是属于背景。例如，第三部分像素被赋予0，用于指示该第三部分像素不属于目标物体，而是属于背景；第一部分像素被赋予1，用于指示该第一部分像素属于目标物体的头部；第二部分像素被赋予2，用于指示该第二部分像素属于目标物体的手部。

在另一个具体的例子中，目标物体是车；该至少一个像素中的第一部分像素赋予第五数值，用于指示该第一部分像素属于目标物体的车头；和/或，该至少一个像素中的第二部分像素赋予第六数值，用于指示该第二部分像素属于目标物体的车尾。至少一个像素中还可以包括第三部分像素，用于指示该第三部分像素不属于目标物体，而是属于背景。例如，第三部分像素被赋予0，用于指示该第三部分像素不属于目标物体，而是属于背景；第一部分像素被赋予1，用于指示该第一部分像素属于目标物体的车头；第二部分像素被赋予2，用于指示该第二部分像素属于目标物体的车尾。

可选地，在本申请的一些实施例中，至少一个像素的属性包括至少一个像素对应的描述特征。例如，该描述特征可以是点云数据。在一个具体的例子中，至少一个像素对应的描述特征可以包括以下中的至少一种：所述至少一个像素对应的点云的反射强度(intensity)、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值。其中，深度是一种距离上的度量，例如到镜头的距离。

上文具体描述了编码设备标识目标物体使用的标识信息。下面将给出一种既可以有效的标识出目标物体，又可以有效提高标识的效率，减少数据存储和传输的具体的标识方案。该具体的标识方案的核心思想在于，通过将当前图像与已编码图像进行对比，标识出相对已编码图像有变化的一个或多个目标物体。其中，可以将当前图像中的标识物体与已编码图像中的标识物体逐个对比。

可选地，在本申请的一些实施例中，目标物体可以为符合以下情况的至少一种的物体：当前图像相对已编码图像新增的标识物体；当前图像相对已编码图像位置发生变化的标识物体；当前图像相对已编码图像尺寸发生变化的标识物体；当前图像相对已编码图像中图像区域中的像素信息发生变化的标识物体。

或者，从执行步骤的角度，编码方法100还可以包括以下步骤中的至少一个：将当前图像相对已编码图像，新增的待标识物体确定为目标物体；将当前图像相对已编码图像，位置和/或尺寸发生变化的待标识物体确定为目标物体；将当前图像相对已编码图像，图像区域中的像素信息发生变化的待标识物体确定为目标物体。

从码流数据的角度，码流数据的标识信息中还包括用于指示以下至少一种情况的类别标识位：所述目标物体为所述当前图像相对已编码图像新增的标识物体；所述目标物体为所述当前图像相对已编码图像位置发生变化的标识物体；所述目标物体为所述当前图像相对已编码图像尺寸发生变化的标识物体；所述目标物体为所述当前图像相对已编码图像中所述图像区域中的像素信息发生变化的标识物体。通过类别标识位将标识物体的变化情况标识出来。例如，通过类别标识位表示出标识物体是新增的、或是位置/尺寸、像素信息发生了变化。

应理解，本申请各实施例中，当前图像相对已编码图像位置发生变化的标识物体，可以是指标识物体本身的位置发生变化，也可以是指标识物体所在的图像区域的位置发生变化。当前图像相对已编码图像尺寸发生变化的标识物体，可以是指标识物体本身的尺寸发生变化，也可以是指标识物体所在的图像区域的尺寸发生变化。

在一些实现方式中，目标物体包括当前图像相对已编码图像新增的标识物体，图像区域信息包括新增的标识物体所在的图像区域的位置的绝对值和尺寸的绝对值。在当前图像相对已编码图像新增标识物体时，图像区域信息和像素信息均应标出。图像区域信息可以包括新增的标识物体所在的图像区域的位置的绝对值和尺寸的绝对值。

在一些实现方式中，目标物体可以包括当前图像相对已编码图像，位置发生变化的标识物体，那么该目标物体(也即该位置发生变化的标识物体)的图像区域信息包括该目标物体所在的图像区域的位置的绝对值或位置变化的相对值。其中，该位置的绝对值，指的是目标物体在当前图像中所在图像区域的位置；该位置变化的相对值，指的是目标物体在已编码图像中所在图像区域的位置，与该目标物体在当前图像中所在图像区域的位置之间的差值。

在上述当前图像相对已编码图像存在目标物体(也即位置发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的尺寸相比在该已解码图像中所在图像区域的尺寸发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的图像区域信息包括该目标物体所在的图像区域的尺寸的绝对值或尺寸变化的相对值。其中，该尺寸的绝对值，指的是目标物体在当前图像中所在图像区域的尺寸；该尺寸变化的相对值，指的是目标物体在已编码图像中所在区域的尺寸，与该目标物体在当前图像中所在图像去的尺寸之间的差值。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的尺寸相比在该已解码图像中保持不变。可选的，码流数据中该目标物体的图像区域信息中不对该图像区域的尺寸进行编码。

在上述当前图像相对已编码图像存在目标物体(也即位置发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的像素信息相比在该已解码图像中所在图像区域的像素发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的像素信息包括该目标物体所在的图像区域的至少一个像素的属性的绝对值或者至少一个像素的属性变化的相对值。其中，该属性的绝对值，指的是目标物体在当前图像中所在图像区域的至少一个像素的属性；至少一个像素的属性可以是指该图像区域中所有像素的属性的绝对值，也可以是指该图像区域中属性发生变化的部分像素的属性的绝对值。该属性变化的相对值，指的是该目标物体在当前图像中所在图像区域的像素被赋予的数值，与该目标物体在已编码图像中所在图像区域的像素被赋予的数值之间的差值。该相对值可以是该图像区域中所有像素分别对应的差值，也可以是该图像区域中属性发生变化的部分像素对应的差值。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的像素信息相比在该已解码图像中保持不变。可选的，码流数据中不对该目标物体的像素信息进行编码。

在一些实现方式中，目标物体可以包括当前图像相对已编码图像，尺寸发生变化的标识物体，那么该目标物体(也即该尺寸发生变化的标识物体)的图像区域信息包括该目标物体所在的图像区域的尺寸的绝对值或尺寸变化的相对值。

在上述当前图像相对已编码图像存在目标物体(也即尺寸发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的位置相比在该已解码图像中所在图像区域的位置发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的图像区域信息包括该目标物体所在的图像区域的位置的绝对值或位置变化的相对值。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的位置相比在该已解码图像中保持不变。可选的，码流数据中该目标物体的图像区域信息中不对该图像区域的位置进行编码。

在上述当前图像相对已编码图像存在目标物体(也即位置发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的像素信息相比在该已解码图像中所在图像区域的像素发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的像素信息包括该目标物体所在的图像区域的至少一个像素的属性的绝对值或者至少一个像素的属性变化的相对值。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的像素信息相比在该已解码图像中保持不变。可选的，码流数据中不对该目标物体的像素信息进行编码。

在一些实现方式中，目标物体可以包括当前图像相对已编码图像，所在图像区域的像素信息发生变化的标识物体，那么该目标物体(也即该像素信息发生变化的标识物体)在当前图像所在图像区域的像素信息包括该目标物体所在的图像区域的至少一个像素的属性的绝对值或属性的变化的相对值。

在上述当前图像相对已编码图像存在目标物体(也即像素信息发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的位置相比在该已解码图像中所在图像区域的位置发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的图像区域信息包括该目标物体所在的图像区域的位置的绝对值或位置变化的相对值。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的位置相比在该已解码图像中保持不变。可选的，码流数据中该目标物体的图像区域信息中不对该图像区域的位置进行编码。

在上述当前图像相对已编码图像存在目标物体(也即像素信息发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的尺寸相比在该已解码图像中所在图像区域的尺寸发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的图像区域信息包括该目标物体所在的图像区域的尺寸的绝对值或尺寸变化的相对值。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的尺寸相比在该已解码图像中保持不变。可选的，码流数据中该目标物体的图像区域信息中不对该图像区域的尺寸进行编码。

需要补充说明的是，上面所述的几种实现方式之间至少部分实现方式是可以结合的。例如，对于上述目标物体所在的图像区域的位置和尺寸均保持不变的情况，图像区域信息中可包括标识位，用于指示目标物体所在的图像区域的尺寸和位置相比已编码图像保持不变。应理解，该标识位可以是一个标识位，同时指示尺寸和位置均不变；该标识位也可以包括两个子标识位，分别指示尺寸不变和位置不变。

本领域技术人员可理解地，当目标物体所在的图像区域的位置、目标物体所在的图像区域的尺寸和目标物体在图像区域中的像素三个参数中，仅有一个或两个发生变化时，标识信息中均可以既包括图像区域信息又包括像素信息。这种方案中，标识信息的具体内容可以如下。

其中，ar_object_mask_present_flag表示当前图像中是否需要标识物体的mask信息；ar_num_objects_minus1表示当前图像中需要标识的物体的数目；ar_object_idx[i]表示当前图像中第i个需要标识的物体的标号；ar_bounding_box_mask_present_flag[ar_object_idx[i]]表示标号为ar_object_idx[i]是否有标识物体形状的mask；ar_bounding_box_mask_infer_flag[ar_object_idx[i]]表示当标号为ar_object_idx[i]含有mask信息时，该mask值是否来自于之前已编码图像的标号为ar_object_idx[i]的物体的mask；ar_new_object_flag[ar_object_idx[i]]表示当前图像中标号为ar_object_idx[i]的物体是否是新出现的物体；ar_object_bounding_box_update_flag[ar_object_idx[i]]表示当前图像和已编码图像中，标号为ar_object_idx[i]的物体在当前图像中的位置和尺寸是否发生了变化；ar_object_top[ar_object_idx[i]]、ar_object_left[ar_object_idx[i]]、ar_object_width[ar_object_idx[i]]和ar_object_height[ar_object_idx[i]]表示标号为ar_object_idx[i]的物体的位置和尺寸，其中ar_object_top[ar_object_idx[i]]和ar_object_left[ar_object_idx[i]]表示标号为ar_object_idx[i]的物体左上角的位置；ar_object_width[ar_object_idx[i]]和ar_object_height[ar_object_idx[i]]表示标号为ar_object_idx[i]的物体的宽度和高度。mask[m][n]表示相对于矩形区域的左上角，坐标在垂直和水平方向偏移m和n的像素对应的模板值。当像素属于目标物体时，mask[m][n]的值为1；否则，像素属于背景时，mask[m][n]的值为0。

此外，对于mask的标识可以采用逐点的标识方法，也可以通过表示所述目标物体在所述以ar_object_top[ar_object_idx[i]]、ar_object_left[ar_object_idx[i]]、ar_object_width[ar_object_idx[i]]和ar_object_height[ar_object_idx[i]]标识的目标框类的每一行的起点位置以及所述目标物体在该行的长度来标识。具体方法如下：

其中，mask_pos[ar_object_idx[i]][m]表示第ar_object_idx[i]个物体在所述目标框内第m行的起点位置，mask_len[ar_object_idx[i]][m]表示第ar_object_idx[i]个物体在所述目标框内第m行的长度。

应理解，ar_new_object_flag等可以认为是上文中提到的类别标识位。ar_object_idx[i]是目标物体的标号，也可以叫做目标物体的指示位、编号或索引，用于指示是哪个目标物体。

可选地，在本申请的一些实施例中，码流数据和/或标识信息中还可以包括已编码图像的指示位，用于指示当前参考的是哪个已编码图像。该指示位可以是已编码图像的编号，或者是在编码顺序上距离当前图像的帧数。当然，码流数据和标识信息也可以不包括已编码图像的参考位，而是使用协议规定或默认的前一帧图像或者前N帧图像，作为参考的已编码图像。

可选地，在本申请的另一些实施例中，已编码图像可以是通过以下方法确定的。采用当前图像中的一个或多个目标物体的标号作为搜索条件，从已完成编码的多个图像中，搜索出所包括的目标物体最接近当前图像的图像，作为用作参考的已编码图像。

可选地，在本申请的又一些实施例中，已编码图像可以是通过以下方法确定的。采用当前图像中的目标物体所在的图像区域的位置、尺寸和像素信息这三个参数中的至少一个参数值作为搜索条件，从已完成编码的多个图像中，搜索出与该至少一个参数值最接近的图像，作为用作参考的已编码图像。其中，该目标物体可以为一个或多个。搜索可以基于与当前图像中相同的目标物体的至少一个参数值进行，即当是相同目标物体、并且位置和/或尺寸和/或像素信息最接近时，认为搜索到了用作参考的已编码图像。搜索也可以不基于与当前图像中相同的目标物体，而是仅基于位置、尺寸和像素信息中的至少一个数值进行，即不考虑目标物体是否相同，位置和/或尺寸和/或像素信息最接近时，就认为搜索到了用作参考的已编码图像。

在无人机的一种应用场景中，无人机会通过云台控制摄像设备，使得人物等目标物体一直保持在画面的中心或者画面的某个特定位置。结合本申请实施例的编码方法，即将目标物体所在的图像区域的中心一直保持在画面的中心或者画面的某个特定位置。在该应用场景中，或者其他目标物体会在图像区域的位置在多帧中保持不变的应用场景中，图像区域可以为矩形区域，图像区域信息可以包括矩形区域的中心点坐标、矩形区域的高度信息和矩形区域的宽度信息。由于这种应用场景中图像区域的位置在多帧中保持不变，只是图像区域的尺寸和/或图像区域中的像素信息发生变化，因此码流数据中可以不对图像区域信息中图像区域的中心点坐标的具体数值进行编码，而是用标识位来指示其数值不变。

对于上述应用场景，图像区域为矩形区域，图像区域信息包括矩形区域的中心点坐标、矩形区域的高度信息和矩形区域的宽度信息。图像区域信息可以包括标识位，用于指示目标物体所在的图像区域的中心点坐标相比所述已编码图像保持不变。

可选地，在本申请的一些实施例中，标识信息还可以用于标识当前图像相对已编码图像的被移除物体。应理解，本申请各实施例的每个标识物体可以具有唯一的标号或索引。并且，相同的标识物体在不同图像中的标号或索引可以相同。在一些可能的实现方式中，标识信息包括被移除物体的标号信息或被移除物体的位置信息。在一个例子中，被移除物体的具体的标识方案可以如下。

其中，ar_num_cancel_objects表示当前图像相对于已编码图像不再存在的物体；ar_cancel_object_idx[i]表示上述不再存在的物体的标号。

上文中提到目标物体可以是人、车和公共设施等。可选地，在本申请的一些实施例中，标识信息中还可以包括内容信息，内容信息用于指示目标物体的内容。

在一个例子中，内容信息可以为标签(label)信息。label内可以使用自然语言，直接标明目标物体的内容，所述的自然语言可以采用互联网工程任务组(InternetEngineering Task Force，IETF)请求注解(Request For Comments，RFC)5646标准，即IETFRFC 5646标准来表示。在另一个例子中，内容信息可以为数值。即可以增加一维数值，通过不同的数值来指示目标物体为何种内容。例如，内容信息的数值为1表示目标物体的内容为人；内容信息的数值为2表示目标物体的内容为车。

可选地，在本申请的一些实施例中，所述码流数据还可以包括所述当前图像的图像内容数据。

在一种可能的实现方式中，所述当前图像的图像内容数据包括所述当前图像的参考帧数据以及所述当前图像与所述参考帧之间的残差数据。

图3是本申请提供的一个实施例的解码方法300的示意性流程图。解码方法300由解码设备执行。如图3所示，该解码方法300包括：S310，获取当前图像的码流数据，该码流数据中包括标识信息，该标识信息用于标识该当前图像中的至少一个目标物体，该标识信息包括图像区域信息和像素信息，该图像区域信息包括该目标物体所在的图像区域的位置和尺寸，该像素信息包括该图像区域中的至少一个像素的属性；S320，对该码流数据的至少部分进行解码处理。

本申请实施例提供的解码方法，通过图像区域信息指示目标物体所在的图像区域的位置和尺寸，通过像素信息指示图像区域中的多个像素的属性，从而以更细的粒度来标识目标物体，有利于解码设备更高效更准确地对目标物体执行操作。

本实施例提供的解码方法中，步骤310中所获取到的当前图像的码流数据可以和本发明中提供的编码方法中的码流数据相同，对于步骤310中的码流数据的解释可以参考上述编码方法中对码流数据的解释。

可选地，在本申请的一些实施例中，至少一个像素的属性可以包括至少一个像素是否属于目标物体。

可选地，在本申请的一些实施例中，图像区域可以包括多个子图像区域，像素信息可以包括赋予图像区域中的至少一个像素的数值；其中，不同子图像区域中的像素赋予不同的数值。

可选地，在本申请的一些实施例中，像素信息中，可以为至少一个像素赋予不同的数值，S320，对该码流数据的至少部分进行解码处理，可以包括：根据码流数据中的像素信息，确定图像区域中的至少一个像素是否属于目标物体。

在一种可能的实现方式中，至少一个像素中，第一部分像素可以被赋予第一数值，根据码流数据中的像素信息，确定图像区域中的至少一个像素是否属于目标物体，可以包括：当码流数据中的像素信息中第一部分像素对应第一数值是，确定第一部分像素不属于目标物体。例如，像素信息中第一部分像素对应0，则第一部分像素不属于目标物体。

在另一种可能的实现方式中，至少一个像素中，第二部分像素可以被赋予第二数值，根据码流数据中的像素信息，确定图像区域中的至少一个像素是否属于目标物体，可以包括：当码流数据中的像素信息中第二部分像素对应第二数值时，确定第二部分像素属于目标物体。例如，像素信息中第二部分像素对应1，则第二部分像素属于目标物体。

应理解，与编码方法类似地，上述两种可能的实现方式可以单独实现，也可以相互结合实现，本申请实施例对此不作限定。

可选地，在本申请的一些实施例中，至少一个像素的属性可以包括至少一个像素所属的目标物体的部位。

在一种可能的实现方式中，像素信息中，不同像素可以被赋予不同的数值，S320对该码流数据的至少部分进行解码处理，可以包括：根据码流数据中的像素信息，确定图像区域中的至少一个像素在目标物体所属的部位。

在一个具体的例子中，目标物体可以是人；至少一个像素中的第一部分像素可以被赋予第三数值，根据码流数据中的像素信息，确定图像区域中的至少一个像素在目标物体所属的部位，可以包括：当码流数据中的像素信息中第一部分像素对应第三数值时，确定第一部分像素属于目标物体的头部；和/或，至少一个像素中的第二部分像素可以被赋予第四数值，根据码流数据中的像素信息，确定图像区域中的至少一个像素在目标物体所属的部位，可以包括：当码流数据中的像素信息中第二部分像素对应第四数值时，确定第二部分像素属于目标物体的手部。

在另一个具体的例子中，目标物体可以是车；至少一个像素中的第一部分像素可以被赋予第五数值，根据码流数据中的像素信息，确定图像区域中的至少一个像素在目标物体所属的部位，可以包括：当码流数据中的像素信息中第一部分像素对应第五数值时，确定第一部分像素属于目标物体的车头；和/或，至少一个像素中的第二部分像素可以被赋予第六数值，根据码流数据中的像素信息，确定图像区域中的至少一个像素属于目标物体的部位，可以包括：当码流数据中的像素信息中第二部分像素对应第六数值时，确定第二部分像素属于目标物体的车尾。

在一种可能的实现方式中，至少一个像素的属性可以包括至少一个像素对应的描述特征。例如，至少一个像素对应的描述特征可以包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值。

可选地，在本申请的一些实施例中，属性以像素块为计量单位，像素信息可以包括至少一个像素块的属性的信息，像素块可以包括至少两个像素。

可选地，在本申请的一些实施例中，码流数据中还可以包括类别标识位。该解码方法300还可以包括：根据类别标识位确定目标物体可以为符合以下情况的至少一种的物体：当前图像相对已解码图像新增的标识物体；当前图像相对已解码图像位置发生变化的标识物体；当前图像相对已解码图像尺寸发生变化的标识物体；当前图像相对已解码图像中图像区域中的像素信息发生变化的标识物体。

在一些实现方式中，目标物体可以包括当前图像相对已解码图像新增的标识物体。图像区域信息可以包括目标物体所在的图像区域的位置的绝对值和尺寸的绝对值。在当前图像相对已解码图像新增标识物体时，图像区域信息和像素信息均应标出。S320对该码流数据的至少部分进行解码处理，可以包括：根据码流数据中的图像区域信息，确定目标物体，即新增的标识物体所在的图像区域的位置和尺寸。

在一些实现方式中，目标物体可以包括当前图像相对已解码图像，位置发生变化的标识物体，那么该目标物体(也即该位置发生变化的标识物体)的图像区域信息包括该目标物体所在的图像区域的位置的绝对值或位置变化的相对值。其中，该位置的绝对值，指的是目标物体在当前图像中所在图像区域的位置；该位置变化的相对值，指的是目标物体在已解码图像中所在图像区域的位置，与该目标物体在当前图像中所在图像区域的位置之间的差值。

在图像区域信息中包括该目标物体所在的图像区域的位置变化的相对值时，S320对该码流数据的至少部分进行解码处理，可以包括：根据所述目标物体在所述已解码图像中所在图像区域的位置，以及所述图像区域的位置变化的相对值，确定所述目标物体在所述当前图像中所在图像区域的位置。例如，解码设备可以确定目标物体在已解码图像中所在图像区域的位置；根据目标物体在已解码图像中所在图像区域的位置，以及目标物体在已解码图像中所在图像区域的位置与该目标物体在当前图像中所在图像区域的位置之间的差值，确定当前图像中目标物体所在的图像区域的位置。

在上述当前图像相对已解码图像存在目标物体(也即位置发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的尺寸相比在该已解码图像中所在图像区域的尺寸发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的图像区域信息包括该目标物体所在的图像区域的尺寸的绝对值或尺寸变化的相对值。其中，该尺寸的绝对值，指的是目标物体在当前图像中所在图像区域的尺寸；该尺寸变化的相对值，指的是目标物体在已解码图像中所在区域的尺寸，与该目标物体在当前图像中所在图像去的尺寸之间的差值。

在图像区域信息中包括该目标物体所在的图像区域的尺寸变化的相对值时，S320对该码流数据的至少部分进行解码处理，可以包括：根据所述目标物体在所述已解码图像中所在图像区域的尺寸，以及所述图像区域的尺寸变化的相对值，确定所述目标物体在所述当前图像中所在图像区域的尺寸。例如，解码设备可以确定目标物体在已解码图像中所在图像区域的尺寸；根据目标物体在已解码图像中所在图像区域的尺寸，以及目标物体在已解码图像中所在图像区域的尺寸与该目标物体在当前图像中所在图像区域的尺寸之间的差值，确定当前图像中目标物体所在的图像区域的尺寸。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的尺寸相比在该已解码图像中保持不变。可选的，码流数据中该目标物体的图像区域信息中不对该图像区域的尺寸进行编码。S320对该码流数据的至少部分进行解码处理，还可以包括：根据所述目标物体在所述已解码图像中所在图像区域的尺寸，确定所述目标物体在所述当前图像中所在图像区域的尺寸。即将目标物体在已解码图像中所在图像区域的尺寸确定为其在所述当前图像中所在图像区域的尺寸。

在上述当前图像相对已解码图像存在目标物体(也即位置发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的像素信息相比在该已解码图像中所在图像区域的像素发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的像素信息包括该目标物体所在的图像区域的至少一个像素的属性的绝对值或者至少一个像素的属性变化的相对值。其中，该属性的绝对值，指的是目标物体在当前图像中所在图像区域的至少一个像素的属性；至少一个像素的属性可以是指该图像区域中所有像素的属性的绝对值，也可以是指该图像区域中属性发生变化的部分像素的属性的绝对值。该属性变化的相对值，指的是该目标物体在当前图像中所在图像区域的像素被赋予的数值，与该目标物体在已解码图像中所在图像区域的像素被赋予的数值之间的差值。该相对值可以是该图像区域中所有像素分别对应的差值，也可以是该图像区域中属性发生变化的部分像素对应的差值，即当差值为0时，该差值可以省略。

在像素信息包括该目标物体所在的图像区域的至少一个像素的属性变化的相对值时，S320对该码流数据的至少部分进行解码处理，还可以包括：根据所述目标物体在所述已解码图像中的像素信息，以及所述至少一个像素的属性变化的相对值，确定所述目标物体在所述当前图像的像素信息。例如，解码设备可以确定目标物体在已解码图像中所在图像区域的至少一个像素的属性；根据目标物体在已解码图像中所在图像区域的至少一个像素的属性，以及目标物体在已解码图像中所在图像区域的至少一个像素的属性与该目标物体在当前图像中所在图像区域的至少一个像素的属性之间的差值，确定当前图像中目标物体所在的图像区域的至少一个像素的属性。

当像素信息中包括目标物体在当前图像中所在图像区域中属性发生变化的部分像素的信息时，解码设备可以认为其余部分像素的属性没有发生变化。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的像素信息相比在该已解码图像中保持不变。可选地，码流数据中不对该目标物体的像素信息进行编码。相应地，S320对该码流数据的至少部分进行解码处理，还可以包括：根据目标物体在已解码图像中所在图像区域的像素信息，确定目标物体在当前图像所在图像区域的像素信息。

在一些实现方式中，目标物体可以包括当前图像相对已解码图像，尺寸发生变化的标识物体，那么该目标物体(也即该尺寸发生变化的标识物体)的图像区域信息包括该目标物体所在的图像区域的尺寸的绝对值或尺寸变化的相对值。在图像区域信息中包括该目标物体所在的图像区域的尺寸变化的相对值时，S320对该码流数据的至少部分进行解码处理，可以包括：根据所述目标物体在所述已解码图像中所在图像区域的尺寸，以及所述图像区域的尺寸变化的相对值，确定所述目标物体在所述当前图像中所在图像区域的尺寸。

在上述当前图像相对已解码图像存在目标物体(也即尺寸发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的位置相比在该已解码图像中所在图像区域的位置发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的图像区域信息包括该目标物体所在的图像区域的位置的绝对值或位置变化的相对值。在图像区域信息中包括该目标物体所在的图像区域的位置变化的相对值时，S320对该码流数据的至少部分进行解码处理，还可以包括：根据所述目标物体在所述已解码图像中所在图像区域的位置，以及所述图像区域的位置变化的相对值，确定所述目标物体在所述当前图像中所在图像区域的位置。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的位置相比在该已解码图像中保持不变。可选的，码流数据中该目标物体的图像区域信息中不对该图像区域的位置进行编码。S320对该码流数据的至少部分进行解码处理，还可以包括：根据所述目标物体在所述已解码图像中所在图像区域的位置，确定所述目标物体在所述当前图像中所在图像区域的位置。即将目标物体在已解码图像中所在图像区域的位置确定为其在所述当前图像中所在图像区域的位置。

在上述当前图像相对已解码图像存在目标物体(也即位置发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的像素信息相比在该已解码图像中所在图像区域的像素发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的像素信息包括该目标物体所在的图像区域的至少一个像素的属性的绝对值或者至少一个像素的属性变化的相对值。在像素信息包括该目标物体所在的图像区域的至少一个像素的属性变化的相对值时，S320对该码流数据的至少部分进行解码处理，还可以包括：根据所述目标物体在所述已解码图像中的像素信息，以及所述至少一个像素的属性变化的相对值，确定所述目标物体在所述当前图像的像素信息。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的像素信息相比在该已解码图像中保持不变。可选的，码流数据中不对该目标物体的像素信息进行编码。可选地，码流数据中不对该目标物体的像素信息进行编码。相应地，S320对该码流数据的至少部分进行解码处理，还可以包括：根据目标物体在已解码图像中所在图像区域的像素信息，确定目标物体在当前图像所在图像区域的像素信息。

在一些实现方式中，目标物体可以包括当前图像相对已解码图像，所在图像区域的像素信息发生变化的标识物体，那么该目标物体(也即该像素信息发生变化的标识物体)在当前图像所在图像区域的像素信息包括该目标物体所在的图像区域的至少一个像素的属性的绝对值或属性的变化的相对值。

在上述当前图像相对已解码图像存在目标物体(也即像素信息发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的位置相比在该已解码图像中所在图像区域的位置发生变化或保持不变两种情况。在像素信息包括该目标物体所在的图像区域的至少一个像素的属性变化的相对值时，S320对该码流数据的至少部分进行解码处理，可以包括：根据所述目标物体在所述已解码图像中的像素信息，以及所述至少一个像素的属性变化的相对值，确定所述目标物体在所述当前图像的像素信息。

在发生变化的情况中，可选地，该目标物体的图像区域信息包括该目标物体所在的图像区域的位置的绝对值或位置变化的相对值。在图像区域信息中包括该目标物体所在的图像区域的位置变化的相对值时，S320对该码流数据的至少部分进行解码处理，还可以包括：根据所述目标物体在所述已解码图像中所在图像区域的位置，以及所述图像区域的位置变化的相对值，确定所述目标物体在所述当前图像中所在图像区域的位置。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的位置相比在该已解码图像中保持不变。可选的，码流数据中该目标物体的图像区域信息中不对该图像区域的位置进行编码。S320对该码流数据的至少部分进行解码处理，还可以包括：根据所述目标物体在所述已解码图像中所在图像区域的位置，确定所述目标物体在所述当前图像中所在图像区域的位置。即将目标物体在已解码图像中所在图像区域的位置确定为其在所述当前图像中所在图像区域的位置。

在上述当前图像相对已解码图像存在目标物体(也即像素信息发生变化的标识物体)的实现方式中，可能存在该目标物体在当前图像中所在图像区域的尺寸相比在该已解码图像中所在图像区域的尺寸发生变化或保持不变两种情况。

在发生变化的情况中，可选地，该目标物体的图像区域信息包括该目标物体所在的图像区域的尺寸的绝对值或尺寸变化的相对值。在图像区域信息中包括该目标物体所在的图像区域的尺寸变化的相对值时，S320对该码流数据的至少部分进行解码处理，可以包括：根据所述目标物体在所述已解码图像中所在图像区域的尺寸，以及所述图像区域的尺寸变化的相对值，确定所述目标物体在所述当前图像中所在图像区域的尺寸。

在保持不变的情况中，可选地，该目标物体的图像区域信息包括标识位，用于指示该目标物体所在图像区域的尺寸相比在该已解码图像中保持不变。可选的，码流数据中该目标物体的图像区域信息中不对该图像区域的尺寸进行编码。S320对该码流数据的至少部分进行解码处理，还可以包括：根据所述目标物体在所述已解码图像中所在图像区域的尺寸，确定所述目标物体在所述当前图像中所在图像区域的尺寸。

需要补充说明的是，上面所述的几种实现方式之间至少部分实现方式是可以结合的。

在无人机的一种具体的应用场景中，图像区域可以为矩形区域。图像区域信息可以包括矩形区域的中心点坐标、矩形区域的高度信息和矩形区域的宽度信息。在目标物体所在的图像区域的位置保持不变，且尺寸发生变化的情况下，码流数据中可以不包括图像区域信息中图像区域的中心点坐标的数值，而是用标识位来指示其内容不变。所述图像区域信息还可以包括标识位，用于指示所述目标物体所在图像区域的中心点坐标保持不变。S320对所述码流数据的至少部分进行解码处理，可以包括：根据所述目标物体在所述已解码图像中所在图像区域的中心点坐标，确定所述目标物体在所述图像区域的中心点坐标。解码设备可以根据位置保持不变的标识物体在已解码图像中所在图像区域的中心点坐标，确定位置保持不变的标识物体在图像区域的中心点坐标；根据当前图像的图像区域信息，确定图像区域的高度信息和宽度信息；根据图像区域的中心点坐标，以及图像区域的高度信息和宽度信息，确定位置保持不变的标识物体所在的图像区域。

可选地，在本申请的一些实施例中，标识信息还可以用于标识当前图像相对已解码图像的被移除物体。

在一种可能的实现方式中，标识信息可以包括被移除物体的标号信息或被移除物体的位置信息。

可选地，在本申请的一些实施例中，所述码流数据还可以包括所述当前图像的图像内容数据。S320对所述码流数据的至少部分进行解码处理，可以包括：对所述码流数据中的所述当前图像的图像内容数据进行解码处理。

在一种可能的实现方式中，所述当前图像的图像内容数据包括所述当前图像的参考帧数据以及所述当前图像与所述参考帧之间的残差数据。

可选地，在本申请的一些实施例中，S320对所述码流数据的至少部分进行解码处理，可以包括：对码流数据中的标识信息解码，获得当前图像以及解码后的标识信息。

可选地，在本申请的一些实施例中，S320对所述码流数据的至少部分进行解码处理，可以包括：丢弃标识信息，不对标识信息进行解码。

可选地，在本申请的一些实施例中，标识信息中还可以包括内容信息。S320对所述码流数据的至少部分进行解码处理，可以包括：根据码流数据中的内容信息，确定目标物体的内容。

在一种可能的实现方式中，内容信息可以为label信息。

在另一种可能的实现方式中，内容信息可以为数值。

可选地，在本申请的一些实施例中，图像区域可以为矩形区域。

在一种可能的实现方式中，图像区域信息可以包括矩形区域的任意一角的坐标、矩形区域的高度信息和矩形区域的宽度信息。

或者，图像区域信息可以包括矩形区域的中心点坐标、矩形区域的高度信息和矩形区域的宽度信息。

或者，图像区域信息可以包括矩形区域的左上角坐标和矩形区域的右下角坐标。

或者，图像区域信息可以包括矩形区域的右上角坐标和矩形区域的左下角坐标。

可选地，在本申请的一些实施例中，标识信息可以位于当前图像的辅助强化信息或扩展数据中。

在属性以像素为计量单位一个例子中，像素信息可以以模板(mask)来表示。模板值可以以二进制数值0和1来标识。像素信息中属于目标物体的像素的模板值为1；属于背景的像素的模板值为0。以目标物体i的图像区域为矩形区域；目标物体i的图像区域信息包括该矩形区域的左上角的坐标、该矩形区域的高度信息和该矩形区域的宽度信息；目标物体i的像素信息以模板来表示为例，对于解码设备，目标物体i的标识信息的具体内容可以如下。本领域技术人员可理解地，该内容仅是示意性的，可以由其他可替换的形式或方案得到，此处不在文中一一列举。

ar_object_top[i]

ar_object_left[i]

ar_object_width[i]

ar_object_height[i]

for(m＝0；m<ar_object_height[i]；m++)

for(n＝0；n<ar_object_width[i]；n++)

mask[m][n]＝mask_value

其中，ar_object_top[i]、ar_object_left[i]、ar_object_width[i]和ar_object_height[i]表示目标物体i的位置和尺寸，ar_object_top[i]和ar_object_left[i]表示目标物体i的左上角的位置；ar_object_width[i]和ar_object_height[i]表示目标物体i的宽度和高度。mask[m][n]表示相对于矩形区域的左上角，坐标在垂直和水平方向偏移m和n的像素对应的模板值。当所述解码得到的mask_value的值为1时，mask[m][n]的值为1，表示像素属于目标物体i；当解码得到的mask_value的值为0时，mask[m][n]的值为0，表示像素属于背景。

此外，对于mask的标识可以采用逐点的标识方法，也可以通过表示所述目标物体在所述以ar_object_top[i]、ar_object_left[i]、ar_object_width[i]和ar_object_height[i]标识的目标框类的每一行的起点位置以及所述目标物体在该行的长度来标识。具体方法如下：

其中，mask_pos[i][m]表示第i个物体在所述目标框内第m行的起点位置，mask_len[i][m]表示第i个物体在所述目标框内第m行的长度。

对于解码设备，解码当前图像的标识物体的相关信息可以参考已解码图像的情况。解码设备接收的标识信息的具体内容可以如下。

其中，ar_object_mask_present_flag表示当前图像中是否需要标识物体的mask信息；ar_num_cancel_objects表示当前图像相对于已解码图像不再存在的物体；ar_cancel_object_idx[i]表示上述不再存在的物体的标号；ar_num_objects_minus1表示当前图像中需要标识的物体的数目；ar_object_idx[i]表示当前图像中第i个需要标识的物体的标号；ar_bounding_box_mask_present_flag[ar_object_idx[i]]表示标号为ar_object_idx[i]是否有标识物体形状的mask；ar_bounding_box_mask_infer_flag[ar_object_idx[i]]表示当标号为ar_object_idx[i]含有mask信息时，该mask值是否来自于之前已编码图像的标号为ar_object_idx[i]的物体的mask；ar_new_object_flag[ar_object_idx[i]]表示当前图像中标号为ar_object_idx[i]的物体是否是新出现的物体；ar_object_bounding_box_update_flag[ar_object_idx[i]]表示当前图像和已解码图像中，标号为ar_object_idx[i]的物体在当前图像中的位置和尺寸是否发生了变化；ar_object_top[ar_object_idx[i]]、ar_object_left[ar_object_idx[i]]、ar_object_width[ar_object_idx[i]]和ar_object_height[ar_object_idx[i]]表示标号为ar_object_idx[i]的物体的位置和尺寸，ar_object_top[ar_object_idx[i]]和ar_object_left[ar_object_idx[i]]表示标号为ar_object_idx[i]的物体左上角的位置；ar_object_width[ar_object_idx[i]]和ar_object_height[ar_object_idx[i]]表示标号为ar_object_idx[i]的物体的宽度和高度。如果未变化，则ar_object_idx[i]对应的矩形区域的位置、尺寸及像素信息与所述已解码图像中标号为ar_object_idx[i]对应的矩形区域的位置、尺寸及像素信息一致；如果发生了变化，则重新解码ar_object_idx[i]对应的矩形区域的位置、尺寸及像素信息。mask[m][n]表示相对于矩形区域的左上角，坐标在垂直和水平方向偏移m和n的像素对应的模板值。当所述解码得到的mask_value的值为1时，mask[m][n]的值为1，表示像素属于标号为ar_object_idx[i]的物体；当解码得到的mask_value的值为0时，mask[m][n]的值为0，表示像素属于背景。

此外，对于mask的标识可以采用逐点的标识方法，也可以通过表示所述目标物体在所述以ar_object_top[ar_object_idx[i]]、ar_object_left[ar_object_idx[i]]、ar_object_width[ar_object_idx[i]]和ar_object_height[ar_object_idx[i]]标识的目标框类的每一行的起点位置以及所述目标物体在该行的长度来标识。具体方法如下：

其中，mask_pos[ar_object_idx[i]][m]表示第ar_object_idx[i]个物体在所述目标框内第m行的起点位置，mask_len[ar_object_idx[i]][m]表示第ar_object_idx[i]个物体在所述目标框内第m行的长度。

可选地，在本申请的一些实施例中，码流数据和/或标识信息中还可以包括已解码图像的指示位，用于指示当前参考的是哪个已解码图像。该指示位可以是已解码图像的编号，或者是在解码顺序上距离当前图像的帧数。当然，码流数据和标识信息也可以不包括已解码图像的参考位，而是使用协议规定或默认的前一帧图像或者前N帧图像，作为参考的已解码图像。

以上详细说明了本申请实施例的方法，下面详细说明本申请实施例的编码设备和解码设备。

图4是本申请一个实施例的编码设备400的示意性框图。如图4所示，编码设备400包括：

至少一个存储器410，用于存储计算机可执行指令；

至少一个处理器420，单独或共同地用于：访问所述至少一个存储器410，并执行所述计算机可执行指令，以实施以下操作：

对当前图像进行编码处理，生成码流数据，所述码流数据中包括标识信息，所述标识信息用于标识所述当前图像中的至少一个目标物体，所述标识信息包括图像区域信息和像素信息，所述图像区域信息包括所述目标物体所在的图像区域的位置和尺寸，所述像素信息包括所述图像区域中的至少一个像素的属性。

本申请实施例的编码设备，通过图像区域信息指示目标物体所在的图像区域的位置和尺寸，通过像素信息指示图像区域中的多个像素的属性，从而以更细的粒度来标识目标物体，有利于解码设备更高效更准确地对目标物体执行操作。

在一些实施例中，所述至少一个像素的属性包括所述至少一个像素是否属于所述目标物体。

在一些实施例中，所述图像区域包括多个子图像区域，所述像素信息包括赋予所述图像区域中的至少一个像素的数值；其中，不同所述子图像区域中的像素赋予不同的数值。

在一些实施例中，所述像素信息中，为所述至少一个像素赋予不同的数值，用于指示所述至少一个像素是否属于所述目标物体。

在一些实施例中，所述至少一个像素中，第一部分像素赋予第一数值，来指示所述第一部分像素不属于所述目标物体。

在一些实施例中，所述至少一个像素中，第二部分像素赋予第二数值，来指示所述第二部分像素属于所述目标物体。

在一些实施例中，所述至少一个像素的属性包括所述至少一个像素所属的所述目标物体的部位。

在一些实施例中，所述像素信息中，不同像素赋予不同的数值，用于指示所述不同像素属于所述目标物体的不同部位。

在一些实施例中，所述目标物体是人；

所述至少一个像素中的第一部分像素赋予第三数值，用于指示所述第一部分像素属于所述目标物体的头部；

和/或，

所述至少一个像素中的第二部分像素赋予第四数值，用于指示所述第二部分像素属于所述目标物体的手部。

在一些实施例中，所述目标物体是车；

所述至少一个像素中的第一部分像素赋予第五数值，用于指示所述第一部分像素属于所述目标物体的车头；

和/或，

所述至少一个像素中的第二部分像素赋予第六数值，用于指示所述第二部分像素属于所述目标物体的车尾。

在一些实施例中，所述至少一个像素的属性包括所述至少一个像素对应的描述特征。

在一些实施例中，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值。

在一些实施例中，其特征在于，所述属性以像素块为计量单位，所述像素信息包括至少一个像素块的属性的信息，所述像素块包括至少两个像素。

在一些实施例中，所述目标物体为符合以下情况的至少一种的物体：

所述当前图像相对已编码图像新增的标识物体；

所述当前图像相对已编码图像位置发生变化的标识物体；

所述当前图像相对已编码图像尺寸发生变化的标识物体；

所述当前图像相对已编码图像中所述图像区域中的像素信息发生变化的标识物体。

在一些实施例中，所述码流数据中还包括用于指示以下至少一种情况的类别标识位：

所述目标物体为所述当前图像相对已编码图像新增的标识物体；

所述目标物体为所述当前图像相对已编码图像位置发生变化的标识物体；

所述目标物体为所述当前图像相对已编码图像尺寸发生变化的标识物体；

所述目标物体为所述当前图像相对已编码图像中所述图像区域中的像素信息发生变化的标识物体。

在一些实施例中，所述目标物体包括所述当前图像相对已编码图像新增的标识物体，所述图像区域信息包括所述新增的标识物体所在的图像区域的位置的绝对值和尺寸的绝对值。

在一些实施例中，所述目标物体包括所述当前图像相对已编码图像、位置发生变化的标识物体；

所述图像区域信息包括所述目标物体所在的图像区域的位置的绝对值或位置变化的相对值。

在一些实施例中，所述图像区域信息中包括标识位，用于指示所述目标物体所在图像区域的尺寸相比已编码图像保持不变。

在一些实施例中，所述目标物体包括所述当前图像相对已编码图像、尺寸发生变化的标识物体；

所述图像区域信息包括所述目标物体所在的图像区域的尺寸的绝对值或尺寸变化的相对值。

在一些实施例中，所述像素信息中包括标识位，用于指示所述目标物体所在图像区域的像素信息相比已编码图像保持不变。

在一些实施例中，所述目标物体包括所述当前图像相对已编码图像、像素信息发生变化的标识物体，所述像素信息包括所述像素信息的绝对值或者所述像素信息变化的相对值。

在一些实施例中，所述像素信息中包括标识位，用于指示所述目标物体所在图像区域的像素信息相比已编码图像发生改变。

在一些实施例中，所述图像区域信息中包括标识位，用于指示所述目标物体所在图像区域的尺寸和/或位置相比已编码图像保持不变。

在一些实施例中，所述图像区域为矩形区域，所述图像区域信息包括所述矩形区域的中心点坐标、所述矩形区域的高度信息和所述矩形区域的宽度信息；

所述图像区域信息包括标识位，用于指示所述目标问题所在图像区域的中心点坐标相比所述已编码图像保持不变。

在一些实施例中，所述标识信息还用于标识所述当前图像相对已编码图像的被移除物体。

在一些实施例中，所述标识信息包括所述被移除物体的标号信息或所述被移除物体的位置信息。

在一些实施例中，所述处理器420还用于：

将所述当前图像相对已编码图像，新增的待标识物体确定为所述目标物体；

将所述当前图像相对已编码图像，位置和/或尺寸发生变化的待标识物体确定为所述目标物体；

将所述当前图像相对已编码图像，图像区域中的像素信息发生变化的待标识物体确定为所述目标物体。

在一些实施例中，所述标识信息中还包括内容信息，所述内容信息用于指示所述目标物体的内容。

在一些实施例中，所述内容信息为标签label信息。

在一些实施例中，所述内容信息为数值。

在一些实施例中，所述图像区域为矩形区域。

在一些实施例中，所述图像区域信息包括所述矩形区域的任意一角的坐标、所述矩形区域的高度信息和所述矩形区域的宽度信息；

或者，

所述图像区域信息包括所述矩形区域的中心点坐标、所述矩形区域的高度信息和所述矩形区域的宽度信息；

或者，

所述图像区域信息包括所述矩形区域的左上角坐标和所述矩形区域的右下角坐标；

或者，

所述图像区域信息包括所述矩形区域的右上角坐标和所述矩形区域的左下角坐标。

在一些实施例中，在所述对当前图像进行编码处理，生成码流数据之前，所述处理器420还可以用于：

对所述当前图像进行图像识别，确定所述目标物体，得到所述目标物体的所述标识信息。

在一些实施例中，其特征在于，所述标识信息位于所述当前图像的辅助强化信息或扩展数据中。

应理解，本申请各实施例的编码设备可以基于模块实现。例如，图5是本申请一个实施例的编码设备500的示意性框图。如图5所示，编码设备500可以包括编码模块510，用来进行编码处理，生成码流数据等。编码设备中的各模块可以用于执行本申请各实施例的方法，此处不再赘述。

图6是本申请一个实施例的解码设备600的示意性框图。如图6所示，

至少一个存储器610，用于存储计算机可执行指令；

至少一个处理器620，单独或共同地用于：访问所述至少一个存储器610，并执行所述计算机可执行指令，以实施以下操作：

获取当前图像的码流数据，所述码流数据中包括标识信息，所述标识信息用于标识所述当前图像中的至少一个目标物体，所述标识信息包括图像区域信息和像素信息，所述图像区域信息包括所述目标物体所在的图像区域的位置和尺寸，所述像素信息包括所述图像区域中的至少一个像素的属性；

对所述码流数据的至少部分进行解码处理。

本申请实施例提供的解码设备，通过图像区域信息指示目标物体所在的图像区域的位置和尺寸，通过像素信息指示图像区域中的多个像素的属性，从而以更细的粒度来标识目标物体，有利于解码设备更高效更准确地对目标物体执行操作。

在一些实施例中，所述至少一个像素的属性包括所述至少一个像素是否属于所述目标物体。

在一些实施例中，所述图像区域包括多个子图像区域，所述像素信息包括赋予所述图像区域中的至少一个像素的数值；其中，不同所述子图像区域中的像素赋予不同的数值。

在一些实施例中，所述像素信息中，为所述至少一个像素赋予不同的数值，所述处理器620对所述码流数据的至少部分进行解码处理，包括：

根据所述码流数据中的像素信息，确定所述图像区域中的所述至少一个像素是否属于所述目标物体。

在一些实施例中，所述处理器620根据所述码流数据中的像素信息，确定所述图像区域中的所述至少一个像素是否属于所述目标物体，可以包括：

当所述码流数据中的像素信息中第一部分像素对应第一数值时，确定所述第一部分像素不属于所述目标物体。

在一些实施例中，所述处理器620根据所述码流数据中的像素信息，确定所述图像区域中的所述至少一个像素是否属于所述目标物体，可以包括：

当所述码流数据中的像素信息中第二部分像素对应所述第二数值时，确定所述第二部分像素属于所述目标物体。

在一些实施例中，所述至少一个像素的属性包括所述至少一个像素所属的所述目标物体的部位。

在一些实施例中，所述像素信息中，不同像素赋予不同的数值，

所述处理器620对所述码流数据的至少部分进行解码处理，包括：

根据所述码流数据中的像素信息，确定所述图像区域中的所述至少一个像素属于所述目标物体的部位。

在一些实施例中，所述目标物体是人；

所述处理器620根据所述码流数据中的像素信息，确定所述图像区域中的所述至少一个像素在所述目标物体所属的部位，包括：

当所述码流数据中的像素信息中第一部分像素对应所述第三数值时，确定所述第一部分像素属于所述目标物体的头部；

和/或，

所述处理器620根据所述码流数据中的像素信息，确定所述图像区域中的所述至少一个像素在所述目标物体所属的部位，包括：

当所述码流数据中的像素信息中第二部分像素对应所述第四数值时，确定所述第二部分像素属于所述目标物体的手部。

在一些实施例中，所述目标物体是车；

所述处理器620根据所述码流数据中的像素信息，确定所述图像区域中的所述至少一个像素在所述目标物体所属的部位，包括：

当所述码流数据中的像素信息中第一部分像素对应所述第五数值时，确定所述第一部分像素属于所述目标物体的车头；

和/或，

所述至少一个像素中的第二部分像素赋予第六数值，所述处理器620根据所述码流数据中的像素信息，确定所述图像区域中的所述至少一个像素属于所述目标物体的部位，包括：

根据所述码流数据中的像素信息中第二部分像素对应所述第六数值，确定所述第二部分像素属于所述目标物体的车尾。

在一些实施例中，所述至少一个像素的属性包括所述至少一个像素对应的描述特征。

在一些实施例中，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值。

在一些实施例中，所述属性以像素块为计量单位，所述像素信息包括至少一个像素块的属性的信息，所述像素块包括至少两个像素。

在一些实施例中，所述码流数据中包括类别标识位，所述处理器620还用于：

根据所述类别标识位确定所述目标物体为符合以下情况的至少一种的物体：

所述当前图像相对已解码图像新增的标识物体；

所述当前图像相对已解码图像位置发生变化的标识物体；

所述当前图像相对已解码图像尺寸发生变化的标识物体；

所述当前图像相对已解码图像中所述图像区域中的像素信息发生变化的标识物体。

在一些实施例中，所述目标物体包括所述当前图像相对已解码图像新增的标识物体，所述图像区域信息包括所述目标物体所在的图像区域的位置的绝对值和尺寸的绝对值。

在一些实施例中，所述目标物体包括所述当前图像相对已解码图像位置发生变化的标识物体；

所述图像区域信息包括所述目标物体所在的图像区域的位置的绝对值，

或者，

所述图像区域信息包括所述目标物体所在的图像区域的位置变化的相对值，所述处理器620对所述码流数据的至少部分进行解码处理，可以包括：

根据所述目标物体在所述已解码图像中所在图像区域的位置，以及所述图像区域的位置变化的相对值，确定所述目标物体在所述当前图像中所在图像区域的位置。

在一些实施例中，所述图像区域信息中包括标识位，用于指示所述目标物体所在图像区域的尺寸相比在所述已解码图像中保持不变；

所述处理器620可以对所述码流数据的至少部分进行解码处理，还包括：

根据所述目标物体在所述已解码图像中所在图像区域的尺寸，确定所述目标物体在所述当前图像中所在图像区域的尺寸。

在一些实施例中，所述目标物体包括所述当前图像相对已解码图像尺寸发生变化的标识物体；

所述图像区域信息包括所述图像区域的尺寸的绝对值，

或者，

所述图像区域信息包括所述图像区域的尺寸变化的相对值，所述处理器620对所述码流数据的至少部分进行解码处理，包括：

根据所述目标物体在所述已解码图像中所在图像区域的尺寸，以及所述图像区域的尺寸变化的相对值，确定所述目标物体在所述当前图像中所在图像区域的尺寸。

在一些实施例中，所述像素信息包括标识位，用于指示所述目标物体所在图像区域的像素信息相比所述已解码图像保持不变；

所述处理器620对所述码流数据的至少部分进行解码处理，还包括：

根据所述目标物体在所述已解码图像中所在图像区域的像素信息，确定所述目标物体在所述当前图像所在图像区域的像素信息。

在一些实施例中，所述码流数据包括所述像素信息；

所述处理器620对所述码流数据的至少部分进行解码处理，还包括：

解码所述目标物体在所述当前图像所在图像区域的像素信息。

在一些实施例中，所述码流数据还包括标识位，用于指示所述目标物体所在图像区域的像素信息相比所述已解码图像改变。

在一些实施例中，所述目标物体包括所述当前图像相对已解码图像像素信息发生变化的标识物体；

所述像素信息包括所述至少一个像素的属性的绝对值；

或者，

所述像素信息包括所述至少一个像素的属性变化的相对值，所述处理器620对所述码流数据的至少部分进行解码处理，包括：

根据所述目标物体在所述已解码图像中的像素信息，以及所述至少一个像素的属性变化的相对值，确定所述目标物体在所述当前图像的像素信息。

在一些实施例中，所述图像区域信息还包括标识位，用于指示所述目标物体在所述当前图像所在图像区域相比在所述已解码图像中不变；

所述处理器620对所述码流数据的至少部分进行解码处理，包括：

根据所述目标物体在所述已解码图像中的图像区域信息，确定所述目标物体在当前图像中的图像区域信息。

在一些实施例中，所述图像区域为矩形区域，所述图像区域信息包括所述矩形区域的中心点坐标、所述矩形区域的高度信息和所述矩形区域的宽度信息；

所述图像区域信息还包括标识位，用于指示所述目标物体所在图像区域的中心点坐标保持不变；

所述处理器620对所述码流数据的至少部分进行解码处理，包括：

根据所述目标物体在所述已解码图像中所在图像区域的中心点坐标，确定所述目标物体在所述图像区域的中心点坐标。

在一些实施例中，所述标识信息还用于标识所述当前图像相对已解码图像的被移除物体。

在一些实施例中，所述标识信息包括所述被移除物体的标号信息或所述被移除物体在所述已解码图像中的位置信息。

在一些实施例中，所述处理器620对所述码流数据的至少部分进行解码处理，包括：

对所述码流数据中的所述标识信息解码，获得所述当前图像以及解码后的所述标识信息。

在一些实施例中，所述处理器620对所述码流数据的至少部分进行解码处理，包括：

丢弃所述标识信息，不对所述标识信息进行解码。

在一些实施例中，所述码流数据还包括所述当前图像的图像内容数据；

所述处理器620对所述码流数据的至少部分进行解码处理，包括：

对所述码流数据中的所述当前图像的图像内容数据进行解码处理。

在一些实施例中，所述当前图像的图像内容数据包括所述当前图像的参考帧数据以及所述当前图像与所述参考帧之间的残差数据。

在一些实施例中，所述标识信息中还包括内容信息，

所述处理器620对所述码流数据的至少部分进行解码处理，包括：

根据所述码流数据中的所述内容信息，确定所述目标物体的内容。

在一些实施例中，所述内容信息为标签label信息。

在一些实施例中，所述内容信息为数值。

在一些实施例中，所述图像区域为矩形区域。

在一些实施例中，所述图像区域信息包括所述矩形区域的任意一角的坐标、所述矩形区域的高度信息和所述矩形区域的宽度信息；

或者，

所述图像区域信息包括所述矩形区域的中心点坐标、所述矩形区域的高度信息和所述矩形区域的宽度信息；

或者，

所述图像区域信息包括所述矩形区域的左上角坐标和所述矩形区域的右下角坐标；

或者，

所述图像区域信息包括所述矩形区域的右上角坐标和所述矩形区域的左下角坐标。

在一些实施例中，所述标识信息位于所述当前图像的辅助强化信息或扩展数据中。

应理解，本申请各实施例的解码设备可以基于模块实现。例如，图7是本申请一个实施例的解码设备700的示意性框图。如图7所示，解码设备700可以包括获取模块710，用来获取当前图像的码流数据；还包括解码模块720，用来对所述码流数据的至少部分进行解码处理。解码设备中的各模块可以用于执行本申请各实施例的方法，此处不再赘述。

本申请还提供了一种图像处理方法。图8是本申请一个实施例的图像处理方法800的示意性流程图。如图8所示，该方法800包括以下步骤。

S810，获取当前图像的码流数据，该码流数据中包括标识信息，该标识信息用于标识该当前图像中的至少一个目标物体，该标识信息包括图像区域信息和像素信息，该图像区域信息包括该目标物体所在的图像区域的位置和尺寸，该像素信息包括该图像区域中的至少一个像素的属性。

S820，对该码流数据进行解码，得到该当前图像和该标识信息。

S830，根据该标识信息，对该当前图像进行像素级别处理。

本申请实施例的图像处理方法，通过图像区域信息指示目标物体所在的图像区域的位置和尺寸，通过像素信息指示图像区域中的多个像素的属性，从而以更细的粒度来标识目标物体，解码设备可以更高效更准确地对目标物体执行像素级别处理。

应理解，现有的方案中，由于识别目标物体的运算较为复杂，通常对解码设备的硬件要求较高，解码设备通常为电脑或服务器。本申请实施例的图像处理方法使得目标物体的识别可以放在编码端进行，解码设备仅需要进行后续的图像处理即可。因此，一方面，本申请实施例的图像处理方法可以在手机、平板电脑等平台上实现；另一方面，解码设备的计算资源可以用于更复杂的图像处理，使得解码设备能够呈现出更优质更精美的图像。

在本申请一些实施例中，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据所述标识信息，更改所述当前图像的显示内容。

在本申请另一些实施例中，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据所述标识信息，对所述当前图像中的数据信息进行统计。

换而言之，标识信息中可以包括图像区域信息以及更精细的像素信息。解码设备在对当前图像中的一个或多个像素进行显示处理或进行统计时，参考该图像区域信息以及更精细的像素信息，可以减少自身的运算量，能够节省计算资源、降低处理所需要的时间。下面将分别就显示和统计两方面，对本申请实施例的图像处理方法进行更详细地说明。

如前文所描述地，所述至少一个像素的属性包括所述至少一个像素是否属于所述目标物体。在一个实施例中，在像素信息中，为至少一个像素赋予不同的数值，用于指示至少一个像素是否属于目标物体。在一个例子中，至少一个像素中第一部分像素被赋予第一数值，来指示第一部分像素不属于目标物体；和/或，至少一个像素中第二部分像素被赋予第二数值，来指示第二部分像素属于目标物体。

可选地，在本申请的一些实施例中，所述方法800还可以包括：获取第一图像。S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：基于所述标识信息对所述当前图像和所述第一图像进行融合处理，得到第二图像，所述第二图像包括所述当前图像的至少部分内容和所述第一图像的至少部分内容。

应理解，当前图像与第二图像的参数可以相同，例如大小相等，像素数量相同，分辨率相同等。当前图像与第二图像的参数也可以不同，本申请实施例对此不作限定。

在一个实施例中，所述基于所述标识信息对所述当前图像和所述第一图像进行融合处理，可以包括：基于所述标识信息对所述当前图像和所述第一图像进行加权求与，其中所述当前图像中所述目标物体对应的像素的加权值与所述当前图像中除所述目标物体以外的至少部分像素的加权值不同。目标物体对应的像素的加权值较大，除所述目标物体以外的至少部分像素的加权值较小，使得融合处理后得到的第二图像中当前图像的目标物体比非目标物体更突出。此外，还可以采取如下处理：将所述当前图像中的像素与所述第一图像中的像素进行加权求与，所述当前图像中属于所述目标物体的像素的权重大于所述第一图像中的相应位置像素的权重，所述当前图像中不属于所述目标物体的像素的权重小于所述第一图像中的相应像素的权重。

例如，目标物体对应的像素的加权值为0.6，第一图像对应目标物体位置的像素的加权值为0.4；当前图像的除目标物体以外的至少部分像素的加权值为0.2，第一图像对应除目标物体以外的位置的至少部分像素的加权值为0.8。最终的图像效果为当前图像呈半透明状浮在作为背景的第一图像上，并且目标物体在融合的图片中更突出。目标物体浮在第一图像展示的背景上。

在另一个实施例中，所述基于所述标识信息对所述当前图像和所述第一图像进行融合处理，可以包括：根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素；用所述第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素，得到第二图像。

在一个具体的例子中，所述至少一个像素被赋予不同的数值。所述根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素，可以包括：根据所述图像区域信息，将所述目标物体所在的图像区域以外的像素确定为所述当前图像中不属于所述目标物体的像素；当所述像素信息中第一部分像素对应第一数值时，确定所述第一部分像素不属于所述目标物体。由此，解码设备不需要进行复杂的运算，就可以简单地将目标物体的位置、尺寸以及边界等细节清楚的确定出来。

在一个具体的例子中，用所述第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素，得到第二图像，可以包括：将所述当前图像中的像素与所述第一图像中的像素进行加权求与，用第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素。其中，第一图像的部分像素作为背景。例如，将所述当前图像中的像素与所述第一图像中的像素进行加权求与，所述当前图像中属于所述目标物体的像素的权重为1，所述第一图像中的相应位置像素的权重为0；所述当前图像中不属于所述目标物体的像素的权重为0，所述第一图像中的相应位置像素的权重为1。如果像素信息中属于所述目标物体的像素被赋予数值1，不属于所述目标物体的像素被赋予数值0，则像素信息中的数值可以直接对应该像素在融合时的权重。图9A和图9B是本申请实施例的融合得到的两张图像的示意图。图中分别示出了目标物体和背景。

可选地，在所述根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素之前，所述方法还可以包括：所述根据所述像素信息，确定所述目标物体的边界，基于所述边界对所述目标物体进行膨胀运算；所述根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素，包括：根据所述图像区域信息、所述像素信息和膨胀后的所述目标物体的边界，确定所述当前图像中不属于所述目标物体的像素。应理解，本申请实施例中，膨胀运算是将目标物体的领域扩张，使得原不属于目标物体的像素变为属于目标物体的像素。具体可以是将目标物体的原边界附近的像素在像素信息中的数值由0变为1，使得这些像素在融合时，不被第一图像中的像素替换，从而起到保护目标物体的作用。

在又一个实施例中，可以根据标识信息，可以将目标物体的像素提取出来用于其他场合。相应地，所述根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据所述图像区域信息和所述像素信息，确定所述当前图像中属于所述目标物体的像素，提取属于所述目标物体的像素。

可选地，所述当前图像的拍摄角度与所述第一图像的拍摄角度相同。本申请实施例可以应用于单帧图像中，也可以应用于视频中。例如，该方法被应用于单帧图像的场景可以如下。某人拥有一张在泰山山顶某位置、某拍摄角度拍摄的人物(即目标物体)照片。然而，由于拍摄当天为阴天，并未拍摄到日出。另外有一张第一图像，也是在泰山山顶该位置、该拍摄角度拍摄的景物照片。将该人物照片和该景物照片进行融合，或者进行缩小或放大后进行融合，可以得到非常逼真的融合效果，得到该人沐浴初升的太阳的纪念照片。类似地，该方法可以被应用于视频的场景，得到较好的增强现实(Augmented Reality，AR)效果，这将在下文中进行详细说明。

应理解，当前图像的拍摄角度可以携带在码流数据中或更具体地在标识信息中。相应地，标识信息中还包括视角信息，所述视角信息用于指示所述目标物体相对拍摄装置的拍摄角度，或者指示当前图像的拍摄角度。在所述用第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素之前，所述方法还可以包括：确定所述目标物体的拍摄角度与所述第一图像的拍摄角度相同。当然，标识信息中也可以不包括视角信息。由解码设备通过其他方式或算法等，确定目标物体相对拍摄装置的拍摄角度，本申请实施例对此不作限定。

可选地，在一些实施例中，S830，根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体，对所述目标物体添加增强现实AR特效。

在一个实施例中，所述标识信息中还可以包括视角信息，所述视角信息用于指示所述目标物体相对拍摄装置的拍摄角度，所述至少一个像素的属性还可以包括所述至少一个像素对应的深度值。根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体，对所述目标物体添加AR特效，包括：根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体；根据所述目标物体、所述拍摄角度和所述至少一个像素对应的深度值，对所述目标物体添加AR特效。应理解，AR特效可以是增加图标(例如，箭头、光环等)、文字以及图层等。

应理解，当前图像的拍摄角度和/或至少一个像素对应的深度值等可以携带在码流数据中或更具体地在标识信息中，也可以由解码设备通过其他方式或算法等，确定目标物体相对拍摄装置的拍摄角度。例如，视角信息和/或至少一个像素对应的深度值可以通过无人机的对地姿态计算得到，本申请实施例对此不作限定。

在一个具体的例子中，所述像素信息中，所述至少一个像素被赋予不同的数值。例如，至少一个像素中第一部分像素被赋予第一数值，来指示第一部分像素不属于目标物体；和/或，至少一个像素中第二部分像素被赋予第二数值，来指示第二部分像素属于目标物体。所述根据所述图像区域信息和所述像素信息，确定所述当前图像中所述目标物体的边界，对所述目标物体添加增强现实AR特效，可以包括：当所述像素信息中第二部分像素对应第二数值时，确定所述第二部分像素属于所述目标物体；基于所述目标物体的边界，在所述目标物体上添加指示光环。图10A和图10B是本申请实施例的在目标物体上添加指示光环的示意图。如图10A所示，当指示光环的光亮部分旋转至目标物体前方时，指示光环的光亮部分遮挡目标物体。如图10B所示，当指示光环的光亮部分旋转至目标物体后方时，指示光环的光亮部分被目标物体遮挡。

可选地，在一些实施例中，S830所述根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据所述图像区域信息和所述像素信息，确定所述当前图像中属于所述目标物体的像素或所述当前图像中不属于所述目标物体的非目标物体的像素；改变所述目标物体的亮度、颜色和灰度中的至少一种，或改变所述非目标物体的亮度、颜色和灰度中的至少一种，或改变所述目标物体和所述非目标物体的对比度。

具体地，所述改变所述目标物体的亮度或颜色，或改变所述非目标物体的亮度或颜色，可以包括：通过修改所述目标物体或所述非目标物体的YUV值、RGB值或γ曲线，来改变所述目标物体的亮度或颜色，或改变所述非目标物体的亮度或颜色。当图像为灰度图像时，可以根据标识信息，改变目标物体的灰度。当需要突出目标物体和非目标物体的对比时，可以提高目标物体和非目标物体之间的对比度。

下面以几个具体的例子来说明改变亮度、颜色、灰度或对比度的情况。在这些例子中，所述像素信息中所述至少一个像素可以被赋予不同的数值。例如，至少一个像素中第一部分像素被赋予第一数值，来指示第一部分像素不属于目标物体；和/或，至少一个像素中第二部分像素被赋予第二数值，来指示第二部分像素属于目标物体。

例如，当所述像素信息中第二部分像素对应第二数值时，确定所述第二部分像素属于所述目标物体；提高所述第二部分像素的亮度。

再如，当所述像素信息中第一部分像素对应第一数值时，确定所述第一部分像素不属于所述目标物体；降低所述第一部分像素的亮度。

又如，当所述像素信息中第一部分像素对应第一数值时，确定所述第一部分像素属于所述目标物体；将所述第一部分像素用预设颜色标识。

又如，当所述像素信息中第一部分像素对应第一数值时，确定所述第一部分像素属于所述目标物体；当所述像素信息中第二部分像素对应第二数值时，确定所述第二部分像素属于不所述目标物体；提高所述第一部分像素和所述第二部分像素之间的对比度。

可选地，所述标识信息中还包括内容信息，用于指示所述目标物体的内容类别。所述改变所述目标物体的亮度、颜色和灰度中的至少一种，可以包括：当所述目标物体为第一内容类别时，改变所述目标物体的亮度为预设的第一亮度值、改变所述目标物体的颜色为预设的第一颜色值、或改变所述目标物体的灰度为预设的第一灰度值。图11是本申请实施例的改变目标物体的亮度的示意图。例如当前图像中包括多个目标物体，该多个目标物体一部分内容类别是人，另一部分内容类别不是人。可以改变内容类别是人的目标物体的亮度为预设的第一亮度值。如图11所示，内容类别是人的目标物体被高亮或者说突出(popout)显示，以便于观察者观察。例如，该例子可用于智能摄像头的录像结果回放查看，或实时播放等。

可选地，当所述当前图像中包括多个所述目标物体时，所述改变所述目标物体的亮度、颜色和灰度中的至少一种，可以包括：根据多个所述目标物体的内容类别，对不同内容类别的所述目标物体赋予不同的亮度值、颜色值或灰度值。即，以不同的亮度、颜色或灰度来标识不同内容类别的目标物体，以便于观察者观察。

可选地，在一些实施例中，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据所述图像区域信息、所述像素信息和所述内容类别，基于所述当前图像生成物体类别分割图像。物体类别分割图像中，不同内容类别的目标物体可以被赋予不同的颜色。图12A是当前图像的原图，图12B是当前图像对应的物体类别分割图像。如图12B所示，例如，车用蓝色标识，建筑物用灰色标识，大地用紫色标识。此外，人用红色标识，路灯用黄色标识，植物用绿色标识等等，图12B中未标出。

应理解，如前文所述，内容信息可以为标签label或数值。

可选地，在一些实施例中，所述至少一个像素的属性可以包括所述至少一个像素所属的所述目标物体的部位。例如，所述像素信息中所述至少一个像素被赋予不同的数值，以表示所述至少一个像素属于所述目标物体的不同部位。

可选地，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据所述图像区域信息和所述像素信息，对所述目标物体的不同部位用不同的亮度、颜色或灰度标识，或者不同部位之间具有不同的对比度。下面以目标物体的不同部位用不同的颜色标识为例进行说明。图13是本申请一个实施例的不同部位用不同的颜色标识的图像的示意图。例如，图13左下方的人与包、自行车一起构成目标物体。该目标物体中，人用黄色标识、包用红色标识，自行车用绿色标识。此外，在该图像中，其他内容类型的目标物体，例如汽车用蓝色标识，人用黄色标识。

可选地，所述至少一个像素的属性可以包括所述至少一个像素对应的描述特征。所述至少一个像素对应的描述特征可以包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值。

可选地，在本申请一些实施例中，所述当前图像中可以包括多个所述目标物体。S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据多个所述目标物体的反射强度、红外强度或深度值，对不同反射强度、红外强度或深度值的所述目标物体赋予不同的亮度值、颜色值和灰度值。以颜色为例，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括以下中的至少一种处理。

在一个实施例的处理中，根据所述图像区域信息、像素信息和所述至少一个像素对应的点云的反射强度，基于所述当前图像生成反射强度分割图像。反射强度分割图像中，可以区分目标物体的各个部分，不同反射强度的部分以不同的颜色标识；也可以不区分目标物体的各个部分，例如对目标物体各个部分的反射强度求平均值(或者反射强度本身就是对应整个目标物体的平均反射强度)，一个目标物体以一个单一的颜色标识。不同反射强度的目标物体被赋予不同的颜色。图14A是当前图像的原图，图14B是当前图像对应的反射强度分割图像。如图14B所示，不同反射强度的目标物体被赋予不同的颜色，图14B中不属于任何目标物体的部分，例如背景部分以白色标识。

在一个实施例的处理中，根据所述图像区域信息、像素信息和所述至少一个像素对应的深度值，基于所述当前图像生成深度图。深度图中，可以区分目标物体的各个部分，不同深度值的部分以不同的颜色标识；也可以不区分目标物体的各个部分，例如对目标物体各个部分的深度值求平均值(或者深度值本身就是对应整个目标物体的平均深度值)，一个目标物体以一个单一的颜色标识。图15A是当前图像的原图，图15B是当前图像对应的深度图。如图15B所示，不同深度值的像素点被赋予不同的颜色。

类似地，根据所述图像区域信息、所述像素信息和所述至少一个像素对应的红外强度，基于所述当前图像可以生成红外图像，此处不再赘述。

可选地，在本申请一些实施例中，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据所述标识信息，对所述当前图像中的数据信息进行统计。

可选地，在本申请一些实施例中，所述标识信息中还包括内容信息，用于指示所述目标物体的内容类别。可以利用内容信息中所包括的目标物体的内容类别进行一些统计。

相应地，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果。

例如，所述根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果，可以包括：对所述当前图像中内容类别为人的目标物体进行统计，获得人流量结果和/或人流密度结果。该场景可以用于市政管理部门用于上下班高峰期或节假日的人流管理，或者可以用于商业布局目的，用于统计客流量等。

再如，所述根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果，可以包括：对所述当前图像中内容类别为车的目标物体进行统计，获得车流量结果和/或车流密度结果。该场景可以用于交通管理部门用于上下班高峰期或公共交通站点的交通管理等。

可选地，在本申请一些实施例中，S830中的像素级别处理可以是表情识别或动作识别等。

例如，当目标物体是人时，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：当所述像素信息中第一部分像素对应第三数值时，确定所述第一部分像素属于所述目标物体的头部；根据所述目标物体的头部，进行人物表情识别；和/或，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：当所述像素信息中第二部分像素对应第四数值时，确定所述第二部分像素属于所述目标物体的手部；根据所述目标物体的手部，进行手部动作识别。

该场景可以用于无人机领域。解码设备可以基于人物表情识别的结果或手部动作识别的结果，向无人机发送控制指令。例如，当手部摆出“T”形状时，无人机悬空或者返航。再如，当操作者点头时，无人机加速飞行等等。人物表情或手部动作所代表的含义可以是无人机与控制端提前约定好的，本申请实施例对此不再赘述。

可选地，在本申请一些实施例中，S830中的像素级别处理可以涉及交通管理等。例如，所述目标物体是车，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：当所述像素信息中第一部分像素对应第五数值时，确定所述第一部分像素属于所述目标物体的车头；根据所述目标物体的车头，确定所述目标物体的行驶方向；和/或，S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：当所述像素信息中第一部分像素对应第六数值时，确定所述第二部分像素属于所述目标物体的车尾；根据所述目标物体的车尾，确定所述目标物体的行驶方向。通过本申请实施的方法，可以快速找到逆行车辆，辅助交通警察进行及时处理。

可选地，在本申请一些实施例中，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值。S830根据所述标识信息，对所述当前图像进行像素级别处理，可以包括：根据所述描述特征，对所述当前图像中的所述目标物体进行统计，得到统计结果。以深度值为例，统计深度值为某个值的目标物体的数量，或者深度值处于某个范围内的目标物体的数量，以用于距离相关的一些统计，此处不进行一一赘述。

可选地，在统计完成后，所述方法800还可以包括：根据所述统计结果，生成针对所述目标物体的所述统计结果的热力图。即在统计完成后，生成热力图，以用于展示统计结果。

应理解，本申请各实施例中，所述属性可以以像素为计量单位；所述属性也可以以像素块为计量单位，所述像素信息可以包括至少一个像素块的属性的信息，所述像素块包括至少两个像素。

应理解，本申请各实施例中，所述标识信息可以位于所述当前图像的辅助强化信息或扩展数据中。

以上详细说明了本申请实施例的图像处理方法，下面详细说明本申请实施例的图像处理装置。

图16是本申请一个实施例的图像处理装置1600的示意性框图。如图16所示，装置1600包括：

至少一个存储器1610，用于存储计算机可执行指令；

至少一个处理器1620，单独或共同地用于：访问所述至少一个存储器1610，并执行所述计算机可执行指令，以实施以下操作：

获取当前图像的码流数据，所述码流数据中包括标识信息，所述标识信息用于标识所述当前图像中的至少一个目标物体，所述标识信息包括图像区域信息和像素信息，所述图像区域信息包括所述目标物体所在的图像区域的位置和尺寸，所述像素信息包括所述图像区域中的至少一个像素的属性；

对所述码流数据进行解码，得到所述当前图像和所述标识信息；

根据所述标识信息，对所述当前图像进行像素级别处理。

本申请实施例的图像处理装置，通过图像区域信息指示目标物体所在的图像区域的位置和尺寸，通过像素信息指示图像区域中的多个像素的属性，从而以更细的粒度来标识目标物体，使得图像处理装置可以更高效更准确地对目标物体执行像素级别处理。

应理解，该图像处理装置1600可以为解码设备。现有的方案中，由于识别目标物体的运算较为复杂，通常对解码设备的硬件要求较高，解码设备通常为电脑或服务器。本申请实施例的图像处理方法使得目标物体的识别可以放在编码端进行，解码设备仅需要进行后续的图像处理即可。因此，一方面，本申请实施例的图像处理方法可以在手机、平板电脑等平台上实现；另一方面，解码设备的计算资源可以用于更复杂的图像处理，使得解码设备能够呈现出更优质更精美的图像。

可选地，在一些实施例中，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：根据所述标识信息，更改所述当前图像的显示内容。

可选地，在一些实施例中，所述至少一个像素的属性包括所述至少一个像素是否属于所述目标物体。

可选地，在一些实施例中，所述处理器1620还用于获取第一图像；所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：基于所述标识信息对所述当前图像和所述第一图像进行融合处理，得到第二图像，所述第二图像包括所述当前图像的至少部分内容和所述第一图像的至少部分内容。

可选地，在一些实施例中，所述处理器1620基于所述标识信息对所述当前图像和所述第一图像进行融合处理，包括：基于所述标识信息对所述当前图像和所述第一图像进行加权求与，其中所述当前图像中所述目标物体对应的像素的加权值与所述当前图像中除所述目标物体以外的至少部分像素的加权值不同。

可选地，在一些实施例中，所述处理器1620基于所述标识信息对所述当前图像和所述第一图像进行融合处理，包括：根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素；用所述第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素，得到第二图像。

可选地，在一些实施例中，所述像素信息中，所述至少一个像素被赋予不同的数值，所述处理器1620根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素，包括：根据所述图像区域信息，将所述目标物体所在的图像区域以外的像素确定为所述当前图像中不属于所述目标物体的像素；当所述像素信息中第一部分像素对应第一数值时，确定所述第一部分像素不属于所述目标物体。

可选地，在一些实施例中，所述处理器1620根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素之前，所述处理器1620还用于：根据所述像素信息，确定所述目标物体的边界，基于所述边界对所述目标物体进行膨胀运算；所述处理器1620根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素，包括：根据所述图像区域信息、所述像素信息和膨胀后的所述目标物体的边界，确定所述当前图像中不属于所述目标物体的像素。

可选地，在一些实施例中，所述当前图像的拍摄角度与所述第一图像的拍摄角度相同。

可选地，在一些实施例中，所述标识信息中还包括视角信息，所述视角信息用于指示所述目标物体相对拍摄装置的拍摄角度；在所述处理器1620用第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素之前，所述处理器1620还用于：确定所述目标物体的拍摄角度与所述第一图像的拍摄角度相同。

可选地，在一些实施例中，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体，对所述目标物体添加增强现实AR特效。

可选地，在一些实施例中，所述标识信息中还包括视角信息，所述视角信息用于指示所述目标物体相对拍摄装置的拍摄角度，所述至少一个像素的属性还包括所述至少一个像素对应的深度值；所述处理器1620根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体，对所述目标物体添加AR特效，包括：根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体；根据所述目标物体、所述拍摄角度和所述至少一个像素对应的深度值，对所述目标物体添加AR特效。

可选地，在一些实施例中，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：根据所述图像区域信息和所述像素信息，确定所述当前图像中属于所述目标物体的像素或所述当前图像中不属于所述目标物体的非目标物体的像素；改变所述目标物体的亮度、颜色和灰度中的至少一种，或改变所述非目标物体的亮度、颜色和灰度中的至少一种，或改变所述目标物体和所述非目标物体的对比度。

可选地，在一些实施例中，所述处理器1620改变所述目标物体的亮度或颜色，或改变所述非目标物体的亮度或颜色，包括：通过修改所述目标物体或所述非目标物体的YUV值、RGB值或γ曲线，来改变所述目标物体的亮度或颜色，或改变所述非目标物体的亮度或颜色。

可选地，在一些实施例中，所述标识信息中还包括内容信息，用于指示所述目标物体的内容类别。

可选地，在一些实施例中，所述处理器1620改变所述目标物体的亮度、颜色和灰度中的至少一种，包括：当所述目标物体为第一内容类别时，改变所述目标物体的亮度为预设的第一亮度值、改变所述目标物体的颜色为预设的第一颜色值、或改变所述目标物体的灰度为预设的第一灰度值。

可选地，在一些实施例中，所述当前图像中包括多个所述目标物体，所述处理器1620改变所述目标物体的亮度、颜色和灰度中的至少一种，包括：根据多个所述目标物体的内容类别，对不同内容类别的所述目标物体赋予不同的亮度值、颜色值或灰度值。

可选地，在一些实施例中，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：根据所述图像区域信息、所述像素信息和所述内容类别，基于所述当前图像生成物体类别分割图像。

可选地，在一些实施例中，所述内容信息为标签label或数值。

可选地，在一些实施例中，所述至少一个像素的属性包括所述至少一个像素所属的所述目标物体的部位。

可选地，在一些实施例中，所述像素信息中，所述至少一个像素被赋予不同的数值，以表示所述至少一个像素属于所述目标物体的不同部位。

可选地，在一些实施例中，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：根据所述图像区域信息和所述像素信息，对所述目标物体的不同部位用不同的亮度、颜色或灰度标识，或者不同部位之间具有不同的对比度。

可选地，在一些实施例中，所述至少一个像素的属性包括所述至少一个像素对应的描述特征。

可选地，在一些实施例中，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值。

可选地，在一些实施例中，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括以下中的至少一种：根据所述图像区域信息、所述像素信息和所述至少一个像素对应的点云的反射强度，基于所述当前图像生成反射强度分割图像；根据所述图像区域信息、所述像素信息和所述至少一个像素对应的红外强度，基于所述当前图像生成红外图像；根据所述图像区域信息、所述像素信息和所述至少一个像素对应的深度值，基于所述当前图像生成深度图。

可选地，在一些实施例中，所述当前图像中包括多个所述目标物体，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：根据多个所述目标物体的反射强度、红外强度或深度值，对不同反射强度、红外强度或深度值的所述目标物体赋予不同的亮度值、颜色值和灰度值。

可选地，在一些实施例中，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：根据所述标识信息，对所述当前图像中的数据信息进行统计。

可选地，在一些实施例中，所述标识信息中还包括内容信息，用于指示所述目标物体的内容类别。

可选地，在一些实施例中，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果。

可选地，在一些实施例中，所述目标物体是人，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：当所述像素信息中第一部分像素对应第三数值时，确定所述第一部分像素属于所述目标物体的头部；根据所述目标物体的头部，进行人物表情识别；

和/或，

所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：当所述像素信息中第二部分像素对应第四数值时，确定所述第二部分像素属于所述目标物体的手部；根据所述目标物体的手部，进行手部动作识别。

可选地，在一些实施例中，所述处理器1620还用于：基于人物表情识别的结果或手部动作识别的结果，向无人机发送控制指令。

可选地，在一些实施例中，所述目标物体是车，所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：当所述像素信息中第一部分像素对应第五数值时，确定所述第一部分像素属于所述目标物体的车头；根据所述目标物体的车头，确定所述目标物体的行驶方向；

和/或，

所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：当所述像素信息中第一部分像素对应第六数值时，确定所述第二部分像素属于所述目标物体的车尾；根据所述目标物体的车尾，确定所述目标物体的行驶方向。

可选地，在一些实施例中，所述处理器1620根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果，包括：对所述当前图像中内容类别为人的目标物体进行统计，获得人流量结果和/或人流密度结果。

可选地，在一些实施例中，所述处理器1620根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果，包括：对所述当前图像中内容类别为车的目标物体进行统计，获得车流量结果和/或车流密度结果。

可选地，在一些实施例中，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值；所述处理器1620根据所述标识信息，对所述当前图像进行像素级别处理，包括：根据所述描述特征，对所述当前图像中的所述目标物体进行统计，得到统计结果。

可选地，在一些实施例中，所述处理器1620还用于：根据所述统计结果，生成针对所述目标物体的所述统计结果的热力图。

可选地，在一些实施例中，所述属性以像素块为计量单位，所述像素信息包括至少一个像素块的属性的信息，所述像素块包括至少两个像素。

可选地，在一些实施例中，所述标识信息位于所述当前图像的辅助强化信息或扩展数据中。

应理解，本申请各实施例的图像处理装置可以基于模块实现。例如，图17是本申请一个实施例的图像处理装置1700的示意性框图。如图17所示，图像处理装置1700可以包括获取模块1710，用来获取当前图像的码流数据；解码模块1720，用于对该码流数据进行解码，得到该当前图像和该标识信息；处理模块1730，用于根据该标识信息，对该当前图像进行像素级别处理等。图像处理装置1700中的各模块可以用于执行本申请各实施例的图像处理方法，此处不再赘述。

应理解，本申请实施例中提及的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。

应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本申请实施例还提供一种计算机可读存储介质，其上存储有指令，当指令在计算机上运行时，使得计算机执行上述各方法实施例的方法。

本申请实施例还提供一种计算机程序，该计算机程序使得计算机执行上述各方法实施例的方法。

本申请实施例还提供一种计算设备，该计算设备包括上述计算机可读存储介质。

本申请实施例可以应用在飞行器，尤其是无人机领域。

应理解，本申请各实施例的电路、子电路、子单元的划分只是示意性的。本领域普通技术人员可以意识到，本文中所公开的实施例描述的各示例的电路、子电路和子单元，能够再行拆分或组合。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应理解，在本申请实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (71)

1.一种图像处理方法，其特征在于，包括：

获取当前图像的码流数据，所述码流数据中包括标识信息，所述标识信息用于标识所述当前图像中的至少一个目标物体，所述标识信息包括图像区域信息和像素信息，所述图像区域信息包括所述目标物体所在的图像区域的位置和尺寸，所述像素信息包括所述图像区域中的至少一个像素的属性，所述至少一个像素的属性包括：所述至少一个像素是否属于所述目标物体以及所述至少一个像素所属的所述目标物体的部位，其中，所述像素信息中，所述至少一个像素被赋予不同的数值，以表示所述至少一个像素是否属于所述目标物体和属于所述目标物体的不同部位；

对所述码流数据进行解码，得到所述当前图像和所述标识信息；

根据所述标识信息，对所述当前图像进行像素级别处理。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述标识信息，更改所述当前图像的显示内容。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取第一图像；

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

基于所述标识信息对所述当前图像和所述第一图像进行融合处理，得到第二图像，所述第二图像包括所述当前图像的至少部分内容和所述第一图像的至少部分内容。

4.根据权利要求3所述的方法，其特征在于，所述基于所述标识信息对所述当前图像和所述第一图像进行融合处理，包括：

基于所述标识信息对所述当前图像和所述第一图像进行加权求与，其中所述当前图像中所述目标物体对应的像素的加权值与所述当前图像中除所述目标物体以外的至少部分像素的加权值不同。

5.根据权利要求3所述的方法，其特征在于，所述基于所述标识信息对所述当前图像和所述第一图像进行融合处理，包括：

根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素；

用所述第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素，得到第二图像。

6.根据权利要求5所述的方法，其特征在于，所述像素信息中，所述至少一个像素被赋予不同的数值，

所述根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素，包括：

根据所述图像区域信息，将所述目标物体所在的图像区域以外的像素确定为所述当前图像中不属于所述目标物体的像素；

当所述像素信息中第一部分像素对应第一数值时，确定所述第一部分像素不属于所述目标物体。

7.根据权利要求6所述的方法，其特征在于，在所述根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素之前，所述方法还包括：

根据所述像素信息，确定所述目标物体的边界，基于所述边界对所述目标物体进行膨胀运算；

所述根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素，包括：

根据所述图像区域信息、所述像素信息和膨胀后的所述目标物体的边界，确定所述当前图像中不属于所述目标物体的像素。

8.根据权利要求5所述的方法，其特征在于，所述当前图像的拍摄角度与所述第一图像的拍摄角度相同。

9.根据权利要求8所述的方法，其特征在于，所述标识信息中还包括视角信息，所述视角信息用于指示所述目标物体相对拍摄装置的拍摄角度；

在用所述第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素之前，所述方法还包括：

确定所述目标物体的拍摄角度与所述第一图像的拍摄角度相同。

10.根据权利要求1或2所述的方法，其特征在于，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体，对所述目标物体添加增强现实AR特效。

11.根据权利要求10所述的方法，其特征在于，所述标识信息中还包括视角信息，所述视角信息用于指示所述目标物体相对拍摄装置的拍摄角度，所述至少一个像素的属性还包括所述至少一个像素对应的深度值；

所述根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体，对所述目标物体添加AR特效，包括：

根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体；

根据所述目标物体、所述拍摄角度和所述至少一个像素对应的深度值，对所述目标物体添加AR特效。

12.根据权利要求1或2所述的方法，其特征在于，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述图像区域信息和所述像素信息，确定所述当前图像中属于所述目标物体的像素或所述当前图像中不属于所述目标物体的非目标物体的像素；

改变所述目标物体的亮度、颜色和灰度中的至少一种，或改变所述非目标物体的亮度、颜色和灰度中的至少一种，或改变所述目标物体和所述非目标物体的对比度。

13.根据权利要求12所述的方法，其特征在于，

所述改变所述目标物体的亮度或颜色，或改变所述非目标物体的亮度或颜色，包括：

通过修改所述目标物体或所述非目标物体的YUV值、RGB值或γ曲线，来改变所述目标物体的亮度或颜色，或改变所述非目标物体的亮度或颜色。

14.根据权利要求12所述的方法，其特征在于，所述标识信息中还包括内容信息，用于指示所述目标物体的内容类别。

15.根据权利要求14所述的方法，其特征在于，

所述改变所述目标物体的亮度、颜色和灰度中的至少一种，包括：

当所述目标物体为第一内容类别时，改变所述目标物体的亮度为预设的第一亮度值、改变所述目标物体的颜色为预设的第一颜色值、或改变所述目标物体的灰度为预设的第一灰度值。

16.根据权利要求14所述的方法，其特征在于，所述当前图像中包括多个所述目标物体，

所述改变所述目标物体的亮度、颜色和灰度中的至少一种，包括：

根据多个所述目标物体的内容类别，对不同内容类别的所述目标物体赋予不同的亮度值、颜色值或灰度值。

17.根据权利要求14所述的方法，其特征在于，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述图像区域信息、所述像素信息和所述内容类别，基于所述当前图像生成物体类别分割图像。

18.根据权利要求14至17中任一项所述的方法，所述内容信息为标签label或数值。

19.根据权利要求1或2所述的方法，其特征在于，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述图像区域信息和所述像素信息，对所述目标物体的不同部位用不同的亮度、颜色或灰度标识，或者不同部位之间具有不同的对比度。

20.根据权利要求1或2所述的方法，其特征在于，所述至少一个像素的属性包括所述至少一个像素对应的描述特征。

21.根据权利要求20所述的方法，其特征在于，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值。

22.根据权利要求21所述的方法，其特征在于，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括以下中的至少一种：

根据所述图像区域信息、所述像素信息和所述至少一个像素对应的点云的反射强度，基于所述当前图像生成反射强度分割图像；

根据所述图像区域信息、所述像素信息和所述至少一个像素对应的红外强度，基于所述当前图像生成红外图像；

根据所述图像区域信息、所述像素信息和所述至少一个像素对应的深度值，基于所述当前图像生成深度图。

23.根据权利要求21所述的方法，其特征在于，所述当前图像中包括多个所述目标物体，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据多个所述目标物体的反射强度、红外强度或深度值，对不同反射强度、红外强度或深度值的所述目标物体赋予不同的亮度值、颜色值和灰度值。

24.根据权利要求1所述的方法，其特征在于，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述标识信息，对所述当前图像中的数据信息进行统计。

25.根据权利要求1或24所述的方法，其特征在于，所述标识信息中还包括内容信息，用于指示所述目标物体的内容类别。

26.根据权利要求25所述的方法，其特征在于，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果。

27.根据权利要求1或24所述的方法，其特征在于，所述目标物体是人，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

当所述像素信息中第一部分像素对应第三数值时，确定所述第一部分像素属于所述目标物体的头部；

根据所述目标物体的头部，进行人物表情识别；

和/或，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

当所述像素信息中第二部分像素对应第四数值时，确定所述第二部分像素属于所述目标物体的手部；

根据所述目标物体的手部，进行手部动作识别。

28.根据权利要求27所述的方法，其特征在于，所述方法还包括：

基于人物表情识别的结果或手部动作识别的结果，向无人机发送控制指令。

29.根据权利要求1或24所述的方法，其特征在于，所述目标物体是车，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

当所述像素信息中第一部分像素对应第五数值时，确定所述第一部分像素属于所述目标物体的车头；

根据所述目标物体的车头，确定所述目标物体的行驶方向；

和/或，

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

当所述像素信息中第二部分像素对应第六数值时，确定所述第二部分像素属于所述目标物体的车尾；

根据所述目标物体的车尾，确定所述目标物体的行驶方向。

30.根据权利要求26所述的方法，其特征在于，

所述根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果，包括：

对所述当前图像中内容类别为人的目标物体进行统计，获得人流量结果和/或人流密度结果。

31.根据权利要求26所述的方法，其特征在于，

所述根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果，包括：

对所述当前图像中内容类别为车的目标物体进行统计，获得车流量结果和/或车流密度结果。

32.根据权利要求1或24所述的方法，其特征在于，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值；

所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述描述特征，对所述当前图像中的所述目标物体进行统计，得到统计结果。

33.根据权利要求32所述的方法，其特征在于，所述方法还包括：

根据所述统计结果，生成针对所述目标物体的所述统计结果的热力图。

34.根据权利要求1或2所述的方法，其特征在于，所述属性以像素块为计量单位，所述像素信息包括至少一个像素块的属性的信息，所述像素块包括至少两个像素。

35.根据权利要求1或2所述的方法，其特征在于，所述标识信息位于所述当前图像的辅助强化信息或扩展数据中。

36.一种图像处理装置，其特征在于，包括：

至少一个存储器，用于存储计算机可执行指令；

至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：

获取当前图像的码流数据，所述码流数据中包括标识信息，所述标识信息用于标识所述当前图像中的至少一个目标物体，所述标识信息包括图像区域信息和像素信息，所述图像区域信息包括所述目标物体所在的图像区域的位置和尺寸，所述像素信息包括所述图像区域中的至少一个像素的属性，所述至少一个像素的属性包括：所述至少一个像素是否属于所述目标物体以及所述至少一个像素所属的所述目标物体的部位，其中，所述像素信息中，所述至少一个像素被赋予不同的数值，以表示所述至少一个像素是否属于所述目标物体和属于所述目标物体的不同部位；

对所述码流数据进行解码，得到所述当前图像和所述标识信息；

根据所述标识信息，对所述当前图像进行像素级别处理。

37.根据权利要求36所述的装置，其特征在于，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述标识信息，更改所述当前图像的显示内容。

38.根据权利要求36或37所述的装置，其特征在于，所述处理器还用于获取第一图像；

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

基于所述标识信息对所述当前图像和所述第一图像进行融合处理，得到第二图像，所述第二图像包括所述当前图像的至少部分内容和所述第一图像的至少部分内容。

39.根据权利要求38所述的装置，其特征在于，所述处理器基于所述标识信息对所述当前图像和所述第一图像进行融合处理，包括：

基于所述标识信息对所述当前图像和所述第一图像进行加权求与，其中所述当前图像中所述目标物体对应的像素的加权值与所述当前图像中除所述目标物体以外的至少部分像素的加权值不同。

40.根据权利要求38所述的装置，其特征在于，所述处理器基于所述标识信息对所述当前图像和所述第一图像进行融合处理，包括：

根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素；

用所述第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素，得到第二图像。

41.根据权利要求40所述的装置，其特征在于，所述像素信息中，所述至少一个像素被赋予不同的数值，

所述处理器根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素，包括：

根据所述图像区域信息，将所述目标物体所在的图像区域以外的像素确定为所述当前图像中不属于所述目标物体的像素；

当所述像素信息中第一部分像素对应第一数值时，确定所述第一部分像素不属于所述目标物体。

42.根据权利要求41所述的装置，其特征在于，在所述处理器根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素之前，所述处理器还用于：

根据所述像素信息，确定所述目标物体的边界，基于所述边界对所述目标物体进行膨胀运算；

所述处理器根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素，包括：

根据所述图像区域信息、所述像素信息和膨胀后的所述目标物体的边界，确定所述当前图像中不属于所述目标物体的像素。

43.根据权利要求40所述的装置，其特征在于，所述当前图像的拍摄角度与所述第一图像的拍摄角度相同。

44.根据权利要求43所述的装置，其特征在于，所述标识信息中还包括视角信息，所述视角信息用于指示所述目标物体相对拍摄装置的拍摄角度；

在所述处理器用所述第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素之前，所述处理器还用于：

确定所述目标物体的拍摄角度与所述第一图像的拍摄角度相同。

45.根据权利要求36或37所述的装置，其特征在于，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体，对所述目标物体添加增强现实AR特效。

46.根据权利要求45所述的装置，其特征在于，所述标识信息中还包括视角信息，所述视角信息用于指示所述目标物体相对拍摄装置的拍摄角度，所述至少一个像素的属性还包括所述至少一个像素对应的深度值；

所述处理器根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体，对所述目标物体添加AR特效，包括：

根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体；

根据所述目标物体、所述拍摄角度和所述至少一个像素对应的深度值，对所述目标物体添加AR特效。

47.根据权利要求36或37所述的装置，其特征在于，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述图像区域信息和所述像素信息，确定所述当前图像中属于所述目标物体的像素或所述当前图像中不属于所述目标物体的非目标物体的像素；

改变所述目标物体的亮度、颜色和灰度中的至少一种，或改变所述非目标物体的亮度、颜色和灰度中的至少一种，或改变所述目标物体和所述非目标物体的对比度。

48.根据权利要求47所述的装置，其特征在于，

所述处理器改变所述目标物体的亮度或颜色，或改变所述非目标物体的亮度或颜色，包括：

通过修改所述目标物体或所述非目标物体的YUV值、RGB值或γ曲线，来改变所述目标物体的亮度或颜色，或改变所述非目标物体的亮度或颜色。

49.根据权利要求47所述的装置，其特征在于，所述标识信息中还包括内容信息，用于指示所述目标物体的内容类别。

50.根据权利要求49所述的装置，其特征在于，

所述处理器改变所述目标物体的亮度、颜色和灰度中的至少一种，包括：

当所述目标物体为第一内容类别时，改变所述目标物体的亮度为预设的第一亮度值、改变所述目标物体的颜色为预设的第一颜色值、或改变所述目标物体的灰度为预设的第一灰度值。

51.根据权利要求49所述的装置，其特征在于，所述当前图像中包括多个所述目标物体，

所述处理器改变所述目标物体的亮度、颜色和灰度中的至少一种，包括：

根据多个所述目标物体的内容类别，对不同内容类别的所述目标物体赋予不同的亮度值、颜色值或灰度值。

52.根据权利要求51所述的装置，其特征在于，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述图像区域信息、所述像素信息和所述内容类别，基于所述当前图像生成物体类别分割图像。

53.根据权利要求49至52中任一项所述的装置，所述内容信息为标签label或数值。

54.根据权利要求36或37所述的装置，其特征在于，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述图像区域信息和所述像素信息，对所述目标物体的不同部位用不同的亮度、颜色或灰度标识，或者不同部位之间具有不同的对比度。

55.根据权利要求36或37所述的装置，其特征在于，所述至少一个像素的属性包括所述至少一个像素对应的描述特征。

56.根据权利要求55所述的装置，其特征在于，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值。

57.根据权利要求56所述的装置，其特征在于，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括以下中的至少一种：

根据所述图像区域信息、所述像素信息和所述至少一个像素对应的点云的反射强度，基于所述当前图像生成反射强度分割图像；

根据所述图像区域信息、所述像素信息和所述至少一个像素对应的红外强度，基于所述当前图像生成红外图像；

根据所述图像区域信息、所述像素信息和所述至少一个像素对应的深度值，基于所述当前图像生成深度图。

58.根据权利要求56所述的装置，其特征在于，所述当前图像中包括多个所述目标物体，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据多个所述目标物体的反射强度、红外强度或深度值，对不同反射强度、红外强度或深度值的所述目标物体赋予不同的亮度值、颜色值和灰度值。

59.根据权利要求36所述的装置，其特征在于，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述标识信息，对所述当前图像中的数据信息进行统计。

60.根据权利要求36或59所述的装置，其特征在于，所述标识信息中还包括内容信息，用于指示所述目标物体的内容类别。

61.根据权利要求60所述的装置，其特征在于，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果。

62.根据权利要求36或59所述的装置，其特征在于，所述目标物体是人，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

当所述像素信息中第一部分像素对应第三数值时，确定所述第一部分像素属于所述目标物体的头部；

根据所述目标物体的头部，进行人物表情识别；

和/或，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

当所述像素信息中第二部分像素对应第四数值时，确定所述第二部分像素属于所述目标物体的手部；

根据所述目标物体的手部，进行手部动作识别。

63.根据权利要求62所述的装置，其特征在于，所述处理器还用于：

基于人物表情识别的结果或手部动作识别的结果，向无人机发送控制指令。

64.根据权利要求36或59所述的装置，其特征在于，所述目标物体是车，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

当所述像素信息中第一部分像素对应第五数值时，确定所述第一部分像素属于所述目标物体的车头；

根据所述目标物体的车头，确定所述目标物体的行驶方向；

和/或，

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

当所述像素信息中第二部分像素对应第六数值时，确定所述第二部分像素属于所述目标物体的车尾；

根据所述目标物体的车尾，确定所述目标物体的行驶方向。

65.根据权利要求61所述的装置，其特征在于，

所述处理器根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果，包括：

对所述当前图像中内容类别为人的目标物体进行统计，获得人流量结果和/或人流密度结果。

66.根据权利要求61所述的装置，其特征在于，

所述处理器根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果，包括：

对所述当前图像中内容类别为车的目标物体进行统计，获得车流量结果和/或车流密度结果。

67.根据权利要求36或59所述的装置，其特征在于，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值；

所述处理器根据所述标识信息，对所述当前图像进行像素级别处理，包括：

根据所述描述特征，对所述当前图像中的所述目标物体进行统计，得到统计结果。

68.根据权利要求67所述的装置，其特征在于，所述处理器还用于：

根据所述统计结果，生成针对所述目标物体的所述统计结果的热力图。

69.根据权利要求36或37所述的装置，其特征在于，所述属性以像素块为计量单位，所述像素信息包括至少一个像素块的属性的信息，所述像素块包括至少两个像素。

70.根据权利要求36或37所述的装置，其特征在于，所述标识信息位于所述当前图像的辅助强化信息或扩展数据中。

71.一种计算机可读存储介质，其特征在于，其上存储有指令，当指令在计算机上运行时，使得计算机执行权利要求1至35中任一项所述的方法。

Images