CN116095331B - 编码方法以及解码方法 - Google Patents

Abstract

本申请公开了一种编码方法以及解码方法，该编码方法包括：识别目标图像中的隐私区域；将目标图像划分为多个预设大小的宏块；将隐私区域中的至少部分宏块加入第一宏块集；基于预设编码标准对目标图像进行编码而得到目标码流，其中在基于预设编码标准对目标图像进行编码的过程中，采用I_PCM模式对第一宏块集中的第一宏块进行处理；根据第一宏块对应的目标位置，在目标码流中查找至少部分第一宏块对应的目标宏块数据；对查找到的第一宏块对应的目标宏块数据进行加密处理。本申请所提供的编码方法能够在将目标图像编码成一份目标码流的同时实现对目标图像进行加密处理。

Description

编码方法以及解码方法

技术领域

本申请涉及图像处理技术领域，特别是涉及一种编码方法以及解码方法。

背景技术

目前在安防监控领域越来越注重对隐私的保护，但是目前针对这种要求的编码做法普遍存在对编码性能消耗较大，且网络传输带宽占用较高等缺陷。

发明内容

本申请提供一种编码方法以及解码方法，能够在将目标图像编码成一份目标码流的同时实现对目标图像进行加密处理。

本申请实施例第一方面提供一种编码方法，所述编码方法包括：识别目标图像中的隐私区域；将所述目标图像划分为多个预设大小的宏块；将所述隐私区域中的至少部分所述宏块加入第一宏块集，并将所述第一宏块集中的所述宏块定义为第一宏块；基于预设编码标准对所述目标图像进行编码而得到目标码流，其中，在基于所述预设编码标准对所述目标图像进行编码的过程中，采用I_PCM模式对所述第一宏块集中的所述第一宏块进行处理，同时所述目标码流包括的目标网络抽象单元记载每个所述第一宏块对应的目标位置，其中，所述目标位置表征所述第一宏块对应的目标宏块数据在所述目标码流中的位置，所述目标宏块数据包括所述第一宏块对应的亮度数据、色度数据中的至少一种数据，所述目标网络抽象单元的类型是非视频编码类型；根据所述第一宏块对应的所述目标位置，在所述目标码流中查找至少部分所述第一宏块对应的目标宏块数据；对查找到的所述第一宏块对应的所述目标宏块数据进行加密处理。

本申请实施例第二方面提供一种解码方法，所述解码方法包括：获取目标码流，其中，所述目标码流是通过上述任一项的编码方法对目标图像进行编码处理而得到的；响应于接收到用户触发的解密指令，根据所述目标码流包括的目标网络抽象单元记载的每个所述第一宏块对应的所述目标位置，查找所述目标码流中所述第一宏块经过所述加密处理后的所述目标宏块数据，并对查找到的所述目标宏块数据进行解密处理，以及对解密处理后的所述目标码流进行解码处理。

本申请实施例第三方面提供一种电子设备，所述电子设备包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述方法中的步骤。

本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现上述方法中的步骤。

有益效果是：本申请考虑到I_PCM模式的特点，采用I_PCM模式对第一宏块集中的第一宏块进行处理，并利用目标网络抽象单元记载每个第一宏块对应的目标位置，并在根据第一宏块对应的目标位置在目标码流中查找到第一宏块对应的目标宏块数据后，通过对第一宏块对应的目标宏块数据进行加密，从而实现对目标图像每个隐私区域的至少部分进行加密，在经过编码后，得到一份码流（即目标码流），与现有技术相比无需编两份码流，能够将目标图像编码成一份目标码流的同时实现对目标图像进行加密处理，保证在几乎不增加编码性能开销的前提下，对目标图像中的隐私区域进行加密处理，同时还可以降低码流的大小，从而传输过程中占用的带宽更小。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1是NAL单元的NALU头部的结构示意图；

图2是本申请编码方法一实施方式的流程示意图；

图3是目标图像在一应用场景中的示意图；

图4是图3的目标图像进行宏块划分的示意图；

图5是目标图像在另一应用场景中的示意图；

图6是本申请解码方法一实施方式的流程示意图；

图7是本申请电子设备一实施方式的结构示意图；

图8是本申请电子设备另一实施方式的结构示意图；

图9是本申请电子设备又一实施方式的结构示意图；

图10是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

需要说明的是，本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在介绍本申请的方案之前，首先对H.264编码标准以及H.265编码标准进行介绍：

H.264是国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式。H.264是ITU-T以H.26x系列为名称命名的视频编解码技术标准之一。H.264是ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）的联合视频组（JVT：joint video team）开发的一个数字视频编码标准。该标准最早来自于ITU-T的称之为H.26L的项目的开发。H.26L这个名称虽然不太常见，但是一直被使用着。H.264是ITU-T以H.26x系列为名称命名的标准之一，AVC是ISO/IEC MPEG一方的称呼。

H.264是在MPEG-4技术的基础之上建立起来的，其编解码流程主要包括5个部分：帧间和帧内预测（Estimation）、变换（Transform）和反变换、量化（Quantization）和反量化、环路滤波（Loop Filter）、熵编码（Entropy Coding）。

国际电联ITU和MPEG组织在发布了H.264标准之后，很快就发布公告，为下一代视频编解码标准H.265征集技术方案。为H.265设定的技术性能指标是：压缩效率比H.264提高1倍、且不明显提高编码和解码的计算量，H265是对H264的扩展与优化，技术原理上存在相当部分一致性。

其中一帧图像经过H.264编码器之后而得到的码流由多个NALU（Nal Unit，NAL单元）装载，其中，NAL（Network abstraction layer）单元也可以称为网络抽象单元，也就是码流包括多个NAL单元（网络抽象单元），其中，有的NAL单元装载的是图像编码后的切片数据，这些切片数据是对图像本身的像素数据进行编码而得到的，是图像真正需要关注的信息，而还有的NAL单元装载的是其他用作描述图像或者视频的信息。其中每个NAL单元都可以拆分成NAL Header（NALU头部结构）和RBSP结构，其中，RBSP结构是该NAL单元携带的内容结构。

参阅图1，图1为NALU头部结构，一个NALU头部结构占8个字节，其中各个字节位参数说明如下：

占5bit的是T，表示的是nal_unit_type，即表征当前NAL单元类型的类型数值，具体表征包含在当前NAL单元中的RBSP数据结构（也就是当前NAL单元所装载的数据结构）的类型，其中nal_unit_type表示的类型如下表1所示，nal_unit_type取0~31。

占2bit的是R，表示的是nal_ref_idc，取00~11。

占1bit的是F，表示的是forbidden_zero_bit，在H.264编码标准中规定了这一位必须为0。

表1 NAL单元的类型数值

上表中“C”列列出的是可能出现在NAL单元中的语法元素的种类。

其中，nal_unit_type值等于1到5（包括1和5）的NAL单元称为VCL NAL单元，也就是这些NAL单元的类型是VCL（视频编码类型），所有其他的NAL单元都称作非VCL NAL单元（即非视频编码类型的NAL单元）。其中VCL是为了有效的表示视频数据（或者图像数据）的内容，也就是说，有效表示图像数据的内容都保存在nal_unit_type值等于1到5的NAL单元中。

下面介绍宏块的概念：

宏块是图像信息的主要装载者，因为它包含着每一个像素的亮度和色度信息。解码最主要的工作则是提供高效的方式从码流中获得宏块中的像素阵列。一般情况下，一个宏块由一个16×16亮度像素块和附加的一个8×8 Cb像素块、一个8×8 Cr像素块组成。

同时在现有技术中，通常采用以下方法对图像A中的隐私区域进行加密处理，以及后续的解密处理：

将图像A中的隐私区域抠出，并按相同位置存放至另一张与图像A尺寸一样的空白图像中，得到图像B，同时对图像A中的隐私区域用马赛克涂抹，接着对图像A和图像B进行编码，分别得到码流a和码流b，接着对码流b进行加密处理，并将码流a和加密后的码流b一起封装，得到码流c，码流c包括码流a、加密后的码流b以及隐私区域的坐标，最后编码端将码流c发送给解码端。

同时解码端在接收到码流c之后，对码流c解封装，得到码流a、加密后的码流b以及隐私区域的坐标。当需要进行解密处理时，对码流b进行解密，然后对码流a、解密后的码流b进行解码，得到图像A和图像B，接着根据隐私区域的坐标，将图像B中的所有隐私区域抠下，覆盖到图像A的对应位置上，最终得到了还原隐私区域的图像，当不需要进行解码处理时，对码流a进行解码，得到隐私区域被马赛克处理的图像。

在上述现有技术的方案中，一方面在编码时需要编两份码流，对编码性能消耗较大，且网络传输带宽占用倍增，另一方面在解码时，处理复杂，需要两份码流全解出来后，再进行抠图与粘贴处理，对解码性能、图像处理性能等均有较大消耗。因此为了避免现有技术方案中的缺陷，本申请采用了如下的技术方案：

首先需要说明的是，本申请的编码方法可以应用于基于各种编码标准的编码方法，例如，基于H.264编码标准的编码方法，或者基于H.265编码标准的编码方法，但是为了便于说明，以下主要以基于H.264标准为例进行说明。

参阅图2，图2是本申请编码方法一实施方式的流程示意图，该编码方法由编码端执行，该方法包括：

S110：识别目标图像中的隐私区域。

其中，目标图像是待编码的图像，同时目标图像是YUV格式的图像，当需要对其他格式的图像采用本申请的方案进行编码时，需要将其他格式的图像转变为YUV格式的目标图像。其中，当某一个视频包括多个图像时，将视频中的每个图像做作为目标图像执行以下步骤，从而实现完成对视频的编码。

其中目标图像中的隐私区域可以是一个，也可以是多个，且隐私区域可以是人脸区域，也可以是车牌区域，具体可根据用户需求进行设置。其中可以采用目标识别算法识别目标图像中的各个隐私区域。结合图3，以隐私区域是人脸区域为例：步骤S110在识别隐私区域时，可以采用人脸识别算法识别目标图像中的各个人脸，从而得到各个人脸的检测框101，其中各个人脸的检测框101所占的矩形区域即为目标图像中的多个隐私区域。

S120：将目标图像划分为多个预设大小的宏块。

其中，可以按照H.264标准的定义，将目标图像划分成多个16×16像素大小的宏块，例如，当目标图像的尺寸为720P时，将目标图像划分为3600个16×16像素大小的宏块。需要说明的是，从上述介绍可知，一个宏块由一个亮度像素块、该亮度像素块对应的Cb像素块以及Cr像素块组成，而本申请所说的宏块的尺寸指的是该宏块所包括的亮度像素块的尺寸。

当然宏块也可以是其他尺寸，例如32×32、8×8等，在此不做限制。且在将目标图像划分为多个宏块时，所划分的多个宏块大小可以相等，也可以不等，总而言之，本申请对宏块划分的规则不做具体限制。

其中，当目标图像为图3所示的图像时，对目标图像进行宏块划分的结果如图4所示，且在图4中，宏块用标号102表示。

其中，还可以对得到的多个宏块依次进行编号，例如，当目标图像的尺寸为720P，且宏块的尺寸为16×16时，按照从左往右，从上至下的光栅扫描顺序从0开始编号，最终宏块编号的取值范围为0~3599。

S130：将隐私区域中的至少部分宏块加入第一宏块集，并将第一宏块集中的宏块定义为第一宏块。

具体地，将每个隐私区域中的至少部分宏块加入第一宏块集，且为了便于说明，在得到第一宏块集之后，将第一宏块集中的宏块定义为第一宏块。

其中，针对每个隐私区域而言，可以将其所包括的所有宏块都加入第一宏块集，也可以只将其包括的部分宏块加入第一宏块集。

其中，判断宏块是否处于隐私区域中的标准是：如果一个宏块中的所有像素均处于隐私区域，则确定该宏块处于该隐私区域，否则确定该宏块不处于该隐私区域；或者也可以是，如果一个宏块中的至少部分像素处于隐私区域，则确定该宏块处于该隐私区域，否则确定该宏块不处于该加密区域。

S140：基于预设编码标准对目标图像进行编码而得到目标码流，其中，在基于预设编码标准对目标图像进行编码的过程中，采用I_PCM模式对第一宏块集中的第一宏块进行处理，同时目标码流包括的目标网络抽象单元记载每个第一宏块对应的目标位置，其中，目标位置表征第一宏块对应的目标宏块数据在目标码流中的位置，目标宏块数据包括第一宏块对应的亮度数据、色度数据中的至少一种数据，目标网络抽象单元的类型是非视频编码类型。

具体地，预设编码标准可以是H.264标准，也可以是H.265标准，或者也可以是其他编码标准，例如，H.261或者H.262等，但是为了便于说明，以下以H.264标准进行说明：

步骤S140基于H.264标准对目标图像进行编码而得到目标码流，且此时在编码过程中，采用I_PCM模式对第一宏块集中的每个第一宏块进行处理，而对于第一宏块集之外的宏块，可以采用任何模式对其进行处理。

下面介绍I_PCM模式：

I_PCM模式是一种帧内编码模式，在该模式下，编码器直接传输图像的像素值，而不经过预测和变换，从而在I_PCM模式下，允许编码器精确地表示图像的像素值，从而对码流中的内容进行修改，可以达到直接对图像的内容进行修改的目的。

同时由上述介绍可知，VCL NAL单元保存的是图像的有效数据，因此本申请为了不影响图像的有效数据，利用非VCL NAL单元记录第一宏块的目标位置，其中，VCL NAL单元的nal_unit_type等于1~5，而非VCL NAL单元的nal_unit_type等于6~31，其中目标NAL单元可以是类型为非VCL的任何一个NAL单元。

在本实施方式中，将目标NAL单元设置为SEI NAL单元（辅助增强信息网络抽象单元），结合上表1可以看出，目标码流所包括的SEL NAL单元的类型数值nal_unit_type等于6，其携带的是辅助增强信息，也就是说，SEL NAL单元用来记载编码过程中的辅助类信息，本实施方式利用SEL NAL单元这一特点，还额外用SEL NAL单元记载每个第一宏块对应的目标位置。

其中目标位置表征第一宏块对应的目标宏块数据在目标码流中的位置，通过目标位置能够在目标码流中查找到第一宏块对应的目标宏块数据。

其中宏块的宏块数据包括该宏块对应的亮度数据和色度数据，而本申请第一宏块对应的目标宏块数据包括第一宏块对应的亮度数据、色度数据中的至少一种数据，也就是说，第一宏块对应的目标宏块数据可以是第一宏块对应的亮度数据，也可以是色度数据，或者同时包括第一宏块对应的亮度数据和色度数据。

其中宏块的宏块数据指的是宏块层语法macroblock_layer()，第一宏块集中的每个第一宏块也对应有各自的macroblock_layer()，其中由于强制采用I_PCM模式对第一宏块进行处理，因此在第一宏块的macroblock_layer()中，mb_type = I_PCM，此时将第一宏块的macroblock_layer()展开如下表2所示；

表2 macroblock_layer()展开内容

其中，pcm_sample_luma[i]为第一宏块的亮度数据，当第一宏块的尺寸为16*16时，pcm_sample_luma[i]包括256个亮度样点值；pem_sample_chromal[i]为第一宏块的色度数据，其包括多个色度样点值。

S150：根据第一宏块对应的目标位置，在目标码流中查找至少部分第一宏块对应的目标宏块数据。

具体地，根据第一宏块对应的目标位置，能够在目标码流中查找到第一宏块对应的目标宏块数据，例如当第一宏块对应的目标宏块数据是亮度数据时，通过第一宏块对应的目标位置，可以查找到pcm_sample_luma[i]，当第一宏块对应的目标宏块数据是色度数据时，通过第一宏块对应的目标位置，可以查找到pem_sample_chromal[i]。

S160：对查找到的第一宏块对应的目标宏块数据进行加密处理。

具体地，由于在编码过程中是采用I_PCM模式对第一宏块进行处理，根据上述介绍的I_PCM模式特点，在对查找到的第一宏块对应的目标宏块数据进行加密处理后，能够直接对目标图像中第一宏块所在位置的内容进行加密处理。

其中在得到加密后的目标码流后，可以将目标码流发送给解码端。

从上述内容可以看出，本申请考虑到I_PCM模式的特点，采用I_PCM模式对第一宏块集中的第一宏块进行处理，并利用目标NAL单元记载每个第一宏块对应的目标位置，并在根据第一宏块对应的目标位置在目标码流中查找到第一宏块对应的目标宏块数据后，通过对第一宏块对应的目标宏块数据进行加密，从而实现对目标图像每个隐私区域的至少部分进行加密，在经过编码后，得到一份码流（即目标码流），与现有技术相比无需编两份码流，能够将目标图像编码成一份目标码流的同时实现对目标图像进行加密处理，保证在不增加编码性能开销的前提下，对目标图像中的隐私区域进行加密处理，同时还可以降低码流的大小，从而传输过程中占用的带宽更小。

在本实施方式的第一应用场景中，步骤S130具体包括：至少将隐私区域内部的宏块均加入第一宏块集。

具体地，结合图5，在图5中，虚线所框选的区域为隐私区域，标号为1的宏块为隐私区域中左侧和上侧的宏块，标号为2的宏块为隐私区域中右侧和下侧的宏块，其中，标号为1的宏块和标号为2的宏块构成隐私区域中位于边缘的所有宏块，其中隐私区域中位于边缘的所有宏块也可以理解为识别隐私区域时的检测框所经过的宏块。

而除了位于边缘的宏块，隐私区域中的其他宏块为隐私区域中位于内部的宏块。也就是检测框内部的宏块为隐私区域内部的宏块。也就是本应用场景针对图5所示的目标图像，将隐私区域中未填充的宏块加入第一宏块集。

由于隐私区域内部的宏块构成隐私区域的主体内容，因此只要对隐私区域内部的宏块对应的目标宏块数据进行处理，就可以保证整个隐私区域。

当然在其他实施方式中，也可以将隐私区域中的每个宏块都加入第一宏块集。

同时在该应用场景中，步骤S150在查找第一宏块对应的目标宏块数据时，查找每个第一宏块的目标宏块数据，从而后续对每个第一宏块的目标宏块数据进行加密处理，从而实现对隐私区域的内部都进行加密处理，后续在该第一应用场景中，如果解码端直接对目标码流进行解码处理，隐私区域内部的图像将无法正确显示，从而达到保护隐私的目的。

但是步骤S150也可以是查找部分第一宏块对应的目标宏块数据，而后只对隐私区域中的部分区域进行加密处理，此时虽然不能对整个隐私区域都进行加密处理，但是依然可以达到保护隐私区域的目的。

在本实施方式的第二应用场景中，步骤S130具体包括：至少将隐私区域中位于第一侧和第二侧的宏块加入第一宏块集，其中，第一侧、第二侧中的一个为左侧，另一个为上侧，或者一个为右侧，另一个为下侧。

同时在步骤S140之前，还包括：

S170：将隐私区域中位于内部的宏块加入第二宏块集，并将第二宏块集中的宏块定义为第二宏块。

以及步骤S140在基于预设编码标准对目标图像进行编码的过程，还包括：采用帧内预测模式对第二宏块集中的第二宏块进行处理。

具体地，当按照从左往右，从上往下的顺序对目标图像中的宏块进行编码时，第一侧、第二侧中的一个为左侧，另一个为上侧，但是当按照从右往左，从下网上的顺序对目标图像中的宏块进行编码时，一个为右侧，另一个为下侧。为了便于说明，以下均以第一侧、第二侧中的一个为左侧，另一个为上侧进行说明。

在本应用场景中，将隐私区域中左侧和上侧的宏块都加入第一宏块集，后续针对隐私区域中左侧和上侧的宏块采用I_PCM模式进行处理，且后续对隐私区域中左侧和上侧的至少部分宏块对应的目标宏块数据进行加密处理。

同时将隐私区域中位于内部的宏块加入第二宏块集，并将第二宏块集中的宏块定义为第二宏块。也就是说，针对图5所示的目标图像，将隐私区域中未填充的宏块加入第二宏块集。

帧内预测模式是图像编码预测的一种模式，当按照从左往右，从上往下的顺序进行编码时，待预测块的编码像素值依赖于相邻上方像素集和相邻左侧像素集的值。

在该应用场景中，采用帧内预测模式对第二宏块集中的第二宏块进行处理，则第二宏块编码的值依赖于隐私区域中左侧和上侧的宏块的像素值。而由于步骤S160会对隐私区域中左侧和上侧的至少部分宏块对应的目标宏块数据进行加密处理，因此后续如果解码端直接对目标码流进行解码，此时由于隐私区域中左侧和上侧的至少部分宏块对应的目标宏块数据为加密处理，也就是错误的数据，而第二宏块的数据依赖于左侧和上侧的宏块，因此此时直接对第二宏块进行解码的数据将是错误的数据，最终导致第二宏块解码重建的图像是错乱的，也就是针对第二应用场景，如果解码端直接对目标码流进行解码处理，则隐私区域内部的图像也将无法正确显示，同样能够达到保护隐私的目的。

在第二应用场景中，步骤S130还具体包括：将隐私区域中位于边缘的所有宏块均加入第一宏块集；此时步骤S150具体包括：将第一宏块集中位于隐私区域的第一侧和第二侧的第一宏块，确定为查找到的第一宏块。

具体地，此时在基于预设编码标准对目标图像进行编码的过程中，针对隐私区域边缘的所有宏块，都采用I_PCM模式进行处理，但是后续在加密处理的过程中，只针对隐私区域中位于左侧和上侧的宏块对应的目标宏块数据进行处理，即不对隐私区域中位于右侧和下侧的宏块对应的目标宏块数据进行加密处理，这样设置的目的在于：在解码过程中，将上述的错误解码限定在隐私区域中，保证隐私区域右侧和下侧的宏块能够正确解码。

下面以目标宏块数据是第一宏块对应的亮度数据，且宏块的尺寸都是16*16对本申请的方案进行进一步地介绍：

经过上述相关内容的介绍可知，第一宏块的亮度数据保存在pcm_sample_luma[i]中，且pcm_sample_luma[i]包括256个亮度样点值，即i=0~255，可以理解的是，pcm_sample_luma[0]的位置为第一宏块对应的亮度数据在目标码流中的起始位置。

在对目标图像进行编码的过程中，生成一个目标写指针w，其中初始时，w=0，在编码过程中，每次写入编码数据后，w=w+len，其中，len为本次写入的编码数据的长度。

其中在生成某一个第一宏块所对应的亮度数据之前，记录w，此时w的值即为pcm_sample_luma[0]的位置，其中，用pi记录宏块i的pcm_sample_luma[0]的位置，从而最终得到每个第一宏块对应的目标位置。

例如，假设目标码流的总大小为1024个字节，在内存中以字符数组A[1024]进行存放，如果一个第一宏块对应的pi等于80，则可以A[80]快速在目标码流中查找到该第一宏块的pcm_sample_luma[0]，并以此为起始访问到此第一宏块的亮度样点值（pcm_sample_luma[0]~pcm_sample_luma[255]）以及色度样点值，此后可以对第一宏块的亮度数据以及色度数据均进行加密处理。

例如，多个第一宏块对应的目标位置分别是p0、p1、p2……pk，则这些第一宏块对应的目标宏块数据分别是：A[p0]~ A[p0+255]、A[p1]~ A[p1+255]、A[p2]~ A[p2+255]……A[pk]~ A[pk+255]。

在本实施方式中，当目标NAL单元是SEI NAL单元时，由于在H.264标准以及H.265标准中都规定，SEI NAL单元必须在VCL NAL单元之前，但是由于在生成SEI NAL单元之前，还无法得到每个第一宏块对应的pi，因此在生成目标NAL单元时，在目标NAL单元中先预留预设长度的目标字段，在后续得到每个第一宏块对应的目标位置时，将每个第一宏块对应的目标位置写入目标字段中。

在本实施方式中，步骤S160对查找到的第一宏块对应的目标宏块数据进行加密处理的过程有两种方式：

第一种方式是：将查找到的一第一宏块对应的目标宏块数据与查找到的另一第一宏块对应的目标宏块数据进行交换处理。

具体地，假设步骤S150查找到多个第一宏块对应的目标宏块数据，并将该多个第一宏块记为MB_0、MB_2、MB_3……、MB_k，其中，在编码过程中，光栅依次扫描MB_0、MB_2、MB_3……、MB_k。

此时在加密处理的过程中，可以将第一宏块MB_0对应的目标宏块数据与第一宏块MB_k对应的目标宏块数据进行交换，将第一宏块MB_1对应的目标宏块数据与第一宏块MB_k-1对应的目标宏块数据进行交换，将第一宏块MB_2对应的目标宏块数据与第一宏块MB_k-2对应的目标宏块数据进行交换，以此类推。

第二种方式是：针对查找到的每个第一宏块的目标宏块数据，将目标宏块数据进行加密处理，并用加密得到的数据替换目标宏块数据。

具体地，与第一种方式不同的是，此时针对查找到的每个第一宏块单独进行加密处理：针对查找到的每个第一宏块而言，将其对应的目标宏块数据加密后，用加密后的数据替换加密前的数据，其中，加密后的数据与加密前的数据等长。

当然在其他实施方式中，还可以采用其他方式进行加密处理，例如针对查找到的每个第一宏块而言，将其对应的目标宏块数据进行打乱处理，总而言之，本申请对加密处理的具体过程不做限制。

在本实施方式中，在加密处理之后，还包括：响应于加密处理后的目标宏块数据中存在目标字节序列，将目标字节序列替换为对应的魔数。

其中，当预设编码标准为H.264标准时，目标字节序列是0x000000、0x000001、0x000002或者除了0x00000300、0x00000301、0x00000302、0x00000303以外的以0x000003开头的四字节序列。

具体地，由于在H.264标准中，0x000000、0x000001、0x000002以及除了0x00000300、0x00000301、0x00000302、0x00000303以外的以0x000003开头的四字节序列均有特殊用途，因此在加密之后的数据中，如果存在上述目标字节序列，则用目标字节序列对应的魔数进行替换。

其中，每个目标字节序列均有各自对应的魔数，例如，0x000000对应的魔数是0xfefe55、0x000001对应的魔数是0xfefe56、0x000002对应的魔数是0xfefe57等等，其中，本申请并不限制每个目标字节序列对应的魔数，只要保证每个目标字节序列对应的魔数在目标码流中唯一即可。

需要说明的是，在其他实施方式中，目标位置还可以是目标宏块数据在目标码流中的结束位置，总而言之，只要目标位置能够表征目标宏块数据在目标码流中的位置即可。

在本申请的编码过程中，为了简化处理，还可以对各项参数进行如下预设定：

设定chroma_format_idc = 1，即限定色彩格式为YUV420；设定entropy_coding_mode_flag = 0，即限定熵编码方式采用CAVLC编码；设定mb_adaptive_frame_field_flag= 0，限定一个图像的帧和场宏块之间没有交换；设定field_pic_flag = 0，即限定为帧编码。

参阅图6，图6是本申请解码方法一实施方式的流程示意图，该解码方法由解码端执行，该方法包括：

S210：获取目标码流。

其中，目标码流是采用上述任一项实施方式中的编码方法对目标图像进行编码处理而得到的，详细的方法可参见上述内容，在此不再赘述。

S220：判断是否接收到用户触发的解密指令。

其中，用户可以选择是否对目标码流进行解密处理，当用户选择不对目标码流进行解密处理时，解码端将不会接收到用户触发的解密指令，当用户选择对目标码流进行解密处理时，解码端将接收到用户触发的解密指令。

当接收到用户触发的解密指令时，执行步骤S230，否则执行步骤S240。

S230：根据目标码流包括的目标网络抽象单元记载的每个第一宏块对应的目标位置，查找目标码流中第一宏块经过加密处理后的目标宏块数据，并对查找到的目标宏块数据进行解密处理。

具体地，解析目标NAL单元得到每个第一宏块对应的目标位置，然后根据目标位置，查找到第一宏块经过加密处理后的目标宏块数据，并根据编码过程中加密的规则相应地对查找到的目标宏块数据进行解密处理。

其中当第一宏块对应的目标宏块数据是第一宏块对应的亮度数据，以及目标位置是第一宏块对应的目标宏块数据在目标码流中的起始位置时，步骤S230根据第一宏块对应的目标位置，可以在目标码流中查找到第一宏块亮度数据中的多个亮度样点值。

其中，解密过程中查找目标码流中第一宏块经过加密处理后的目标宏块数据的过程与加密过程中查找目标码流中第一宏块对应的目标宏块数据的过程相同，具体可参见上述相关内容，在此不再赘述。

其中，如果加密处理时是将查找到的一第一宏块对应的目标宏块数据与查找到的另一第一宏块对应的目标宏块数据进行交换处理时，则此时在解密处理时，相应地也是将查找到的一第一宏块对应的目标宏块数据与查找到的另一第一宏块对应的目标宏块数据进行交换处理，且解密过程中交换的两个第一宏块与加密过程中交换的两个第一宏块相同。

如果加密处理时是针对查找到的每个第一宏块的目标宏块数据，将目标宏块数据进行加密处理，并用加密得到的数据替换目标宏块数据，则此时在解密处理时，相应地针对查找到的每个第一宏块的目标宏块数据，将目标宏块数据进行解密处理，并用解密得到的数据替换目标宏块数据。

总而言之，解密过程与加密过程对应。

其中，在编码过程中如果在加密处理之后进行了魔数替换，则此时在解密之前，也要相应地进行魔数替换，具体地，在对查找到的目标宏块数据进行解密之前，响应于查找到的目标宏块数据中存在魔数，将魔数替换为对应的目标字节序列。

其中，当预设编码标准是H.264标准时，目标字节序列是0x000000、0x000001、0x000002或者除了0x00000300、0x00000301、0x00000302、0x00000303以外的以0x000003开头的四字节序列。

可以理解的是，此时魔数与目标字节序列之间的对应关系与编码过程中魔数与目标字节序列之间的对应关系相同。

S240：对目标码流进行解码处理。

具体地，当用户选择不对目标码流进行解密处理时，解码端直接对目标码流进行解码处理，此时由于至少部分第一宏块的目标宏块数据经过加密处理，因此至少这部分第一宏块的目标宏块数据无法正确被解码，从而整个隐私区域的至少部分内容无法正确显示，从而达到保护隐私的目的。

且针对上述第一应用场景，此时隐私区域内部经过加密处理的第一宏块的目标宏块数据无法正确被解码，针对上述第二应用场景，此时不仅隐私区域中左侧和上侧经过加密处理的宏块的目标宏块数据无法正确被解码，由于隐私区域内部宏块的目标宏块数据依赖于左侧和上侧的宏块，因此隐私区域内部宏块的目标宏块数据也无法正确被解密。也就是说，针对上述第一应用场景，隐私区域内部的图像无法正确被解码，针对上述第二应用场景，隐私区域左侧、上侧以及隐私区域内部均无法正确被解码。

当用户选择对目标码流进行解密处理时，解码端会先进行解密处理，然后再对解密后的目标码流进行解码处理，此时因为经过隐私还原，解码端能够正确解码，最终能够得到最终的目标图像，在该目标图像中，隐私区域能够正确显示。

可以理解的是，在执行完步骤S230之后再执行步骤S240时，步骤S240中的目标码流是经过解密处理后的目标码流，而如果是步骤S220之后直接执行步骤S240，步骤S240中的目标码流是未经过解密处理的目标码流。

从上述内容可以看出，本申请不管是编码过程还是解码过程都只有一份码流，编码性能和解码性能大大降低，在传输过程中所需的传输带宽也较小。

参阅图7，图7是本申请电子设备一实施方式的结构示意图。该电子设备200包括处理器210、存储器220以及通信电路230，处理器210分别耦接存储器220、通信电路230，存储器220中存储有程序数据，处理器210通过执行存储器220内的程序数据以实现上述任一项实施方式方法中的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。

其中，电子设备200可以是电脑、手机等任一项具有算法处理能力的装置，在此不做限制。

参阅图8，图8是本申请电子设备另一实施方式的结构示意图，该电子设备300包括依次连接的识别模块310、划分模块320、加入模块330、编码模块340以及加密模块350。

识别模块310用于识别目标图像中的隐私区域。

划分模块320用于将目标图像划分为多个预设大小的宏块。

加入模块330用于将隐私区域中的至少部分宏块加入第一宏块集，并将第一宏块集中的宏块定义为第一宏块；

编码模块340用于基于预设编码标准对目标图像进行编码而得到目标码流，其中，在基于预设编码标准对目标图像进行编码的过程中，采用I_PCM模式对第一宏块集中的第一宏块进行处理，同时目标码流包括的目标网络抽象单元记载每个第一宏块对应的目标位置，其中，目标位置表征第一宏块对应的目标宏块数据在目标码流中的位置，目标宏块数据包括第一宏块对应的亮度数据、色度数据中的至少一种数据，目标网络抽象单元的类型是非视频编码类型；

加密模块350用于根据第一宏块对应的目标位置，在目标码流中查找至少部分第一宏块对应的目标宏块数据，并对查找到的第一宏块对应的目标宏块数据进行加密处理。

其中，电子设备300在工作时执行上述任一项实施方式中的编码方法，详细的编码方法可参见上述相关内容，在此不再赘述。

其中，电子设备300可以是电脑、手机等任一项具有算法处理能力的装置，在此不做限制。

参阅图9，图9是本申请电子设备又一实施方式的结构示意图，该电子设备400包括依次连接的获取模块410、解密模块420以及解码模块430。

获取模块410用于获取目标码流。其中，目标码流是通过采用上述任一项实施方式中的编码方法对目标图像进行编码处理而得到的，详细的编码方法可参见上述相关内容，在此不再赘述。

解密模块420用于响应于接收到用户触发的解密指令，根据目标码流包括的目标网络抽象单元记载的每个第一宏块对应的目标位置，查找目标码流中第一宏块经过加密处理后的目标宏块数据，并对查找到的目标宏块数据进行解密处理。

解码模块430用于对解密处理后的目标码流进行解码处理，或者在未接收到用户触发的解密指令时，直接对目标码流进行解密处理。

其中，电子设备400在工作时执行上述任一项实施方式中的解码方法，详细的解码法可参见上述相关内容，在此不再赘述。

其中，电子设备400可以是电脑、手机等任一项具有算法处理能力的装置，在此不做限制。

参阅图10，图10是本申请计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质500存储有计算机程序510，计算机程序510能够被处理器执行以实现上述任一项方法中的步骤。

其中，计算机可读存储介质500具体可以为U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等可以存储计算机程序510的装置，或者也可以为存储有该计算机程序510的服务器，该服务器可将存储的计算机程序510发送给其他设备运行，或者也可以自运行该存储的计算机程序510。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (15)

1.一种编码方法，其特征在于，所述方法包括：

识别目标图像中的隐私区域；

将所述目标图像划分为多个预设大小的宏块；

将所述隐私区域中的至少部分所述宏块加入第一宏块集，并将所述第一宏块集中的所述宏块定义为第一宏块；

基于预设编码标准对所述目标图像进行编码而得到目标码流，其中，在基于所述预设编码标准对所述目标图像进行编码的过程中，采用I_PCM模式对所述第一宏块集中的所述第一宏块进行处理，同时所述目标码流包括的目标网络抽象单元记载每个所述第一宏块对应的目标位置，其中，所述目标位置表征所述第一宏块对应的目标宏块数据在所述目标码流中的位置，所述目标宏块数据包括所述第一宏块对应的亮度数据、色度数据中的至少一种数据，所述目标网络抽象单元的类型是非视频编码类型；

根据所述第一宏块对应的所述目标位置，在所述目标码流中查找至少部分所述第一宏块对应的目标宏块数据；

对查找到的所述第一宏块对应的所述目标宏块数据进行加密处理。

2.根据权利要求1所述的方法，其特征在于，所述将所述隐私区域中的至少部分所述宏块加入第一宏块集的步骤，包括：

至少将所述隐私区域内部的所述宏块均加入所述第一宏块集。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一宏块对应的所述目标位置，在所述目标码流中查找至少部分所述第一宏块对应的目标宏块数据的步骤，包括：

根据所述第一宏块对应的所述目标位置，在所述目标码流中查找每个所述第一宏块对应的目标宏块数据。

4.根据权利要求1所述的方法，其特征在于，所述将所述隐私区域中的至少部分所述宏块加入第一宏块集的步骤，包括：

至少将所述隐私区域中位于第一侧和第二侧的所述宏块加入所述第一宏块集，其中，所述第一侧、所述第二侧中的一个为左侧，另一个为上侧，或者一个为右侧，另一个为下侧，所述隐私区域中位于左侧、上侧、右侧以及下侧的所述宏块构成所述隐私区域中位于边缘的所有所述宏块；

在所述基于预设编码标准对所述目标图像进行编码而得到目标码流之前，还包括：

将所述隐私区域中位于内部的所述宏块加入第二宏块集，并将所述第二宏块集中的所述宏块定义为第二宏块，其中，所述隐私区域中位于内部的所述宏块是所述隐私区域中位于边缘的所有所述宏块之外的其他所述宏块；

在基于所述预设编码标准对所述目标图像进行编码的过程中，所述方法还包括：

采用帧内预测模式对所述第二宏块集中的所述第二宏块进行处理。

5.根据权利要求4所述的方法，其特征在于，所述至少将所述隐私区域中位于第一侧和第二侧的所述宏块加入所述第一宏块集的步骤，包括：

将所述隐私区域中位于边缘的所有所述宏块均加入所述第一宏块集；

所述根据所述第一宏块对应的所述目标位置，在所述目标码流中查找至少部分所述第一宏块对应的目标宏块数据的步骤，包括：

将所述第一宏块集中位于所述隐私区域的所述第一侧和所述第二侧的所述第一宏块，确定为查找到的所述第一宏块。

6.根据权利要求1所述的方法，其特征在于，所述目标宏块数据是所述第一宏块对应的亮度数据，所述目标位置是所述第一宏块对应的所述目标宏块数据在所述目标码流中的起始位置。

7.根据权利要求1所述的方法，其特征在于，所述目标位置是所述第一宏块对应的所述目标宏块数据在所述目标码流中的起始位置；所述方法还包括：

在基于所述预设编码标准对所述目标图像进行编码的过程中，生成目标写指针，其中，所述目标写指针的初始数值为零，在编码过程中，每次在写入编码数据后，在所述目标写指针的当前数值上加上本次写入的编码数据的长度；

在生成所述第一宏块的所述目标宏块数据之前，将所述目标写指针的当前数值确定为所述第一宏块对应的所述目标位置。

8.根据权利要求1所述的方法，其特征在于，所述目标网络抽象单元是辅助增强信息SEI 网络抽象单元，所述方法还包括：

在基于所述预设编码标准对所述目标图像进行编码的过程中，在生成所述目标码流中的所述目标网络抽象单元时，在所述目标网络抽象单元中预留预设长度的目标字段，并在得到每个所述第一宏块对应的所述目标位置时，将每个所述第一宏块对应的所述目标位置写入所述目标字段中。

9.根据权利要求1所述的方法，其特征在于，所述对查找到的所述第一宏块对应的所述目标宏块数据进行加密处理的步骤，包括：

将查找到的一所述第一宏块对应的所述目标宏块数据与查找到的另一所述第一宏块对应的所述目标宏块数据进行交换处理，或者，

针对查找到的每个所述第一宏块的所述目标宏块数据，将所述目标宏块数据进行加密处理，并用加密得到的数据替换所述目标宏块数据。

10.根据权利要求1所述的方法，其特征在于，在所述对查找到的所述第一宏块对应的所述目标宏块数据进行加密处理之后，还包括：

响应于所述加密处理后的所述目标宏块数据中存在目标字节序列，将所述目标字节序列替换为对应的魔数。

11.一种解码方法，其特征在于，所述方法包括：

获取目标码流，其中，所述目标码流是通过采用如权利要求1至10任一项所述的编码方法对目标图像进行编码处理而得到的；

响应于接收到用户触发的解密指令，根据所述目标码流包括的目标网络抽象单元记载的每个所述第一宏块对应的所述目标位置，查找所述目标码流中所述第一宏块经过所述加密处理后的所述目标宏块数据，并对查找到的所述目标宏块数据进行解密处理，以及对解密处理后的所述目标码流进行解码处理。

12.根据权利要求11所述的方法，其特征在于，在所述对查找到的所述目标宏块数据进行解密处理之前，还包括：

响应于查找到的所述目标宏块数据中存在魔数，将所述魔数替换为对应的目标字节序列。

13.根据权利要求11所述的方法，其特征在于，所述对查找到的所述目标宏块数据进行解密处理的步骤，包括：

将查找到的一所述第一宏块对应的所述目标宏块数据与查找到的另一所述第一宏块对应的所述目标宏块数据进行交换处理，或者，

针对查找到的每个所述第一宏块的所述目标宏块数据，将所述目标宏块数据进行解密处理，并用解密得到的数据替换所述目标宏块数据。

14.一种电子设备，其特征在于，所述电子设备包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现如权利要求1-13任一项所述方法中的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1-13任一项所述方法中的步骤。

Images