CN108206951B - 对包括隐私遮挡的图像进行编码的方法 - Google Patents

Abstract

公开了一种对包括隐私遮挡的图像进行编码的方法。根据对包括隐私遮挡的数字图像(20)进行编码的方法，接收表示数字图像中的像素的信息。像素被分组到编码单元(22)中。还接收表示隐私遮挡区域(21)的信息，其中隐私遮挡将在所述隐私遮挡区域中被应用在所述图像上。确定至少部分位于所述隐私遮挡区域内的所有编码单元，并且将隐私遮挡区域扩展为与所确定的编码单元(23)对齐。针对每个编码单元(22)，确定用于编码图像(20)的各个量化参数。将隐私遮挡应用在所述图像的所扩展的隐私遮挡区域(24)中，并且利用所确定的量化参数对具有所应用的隐私遮挡(24)的图像(20)进行编码。还公开了一种数字图像编码系统，以及包括这种系统的摄像机以及用于执行该方法的计算机程序产品。

Description

对包括隐私遮挡的图像进行编码的方法

技术领域

本发明涉及对包括隐私遮挡的数字图像的编码。

背景技术

监控摄像机被用于许多不同的应用，无论是在室内还是室外，用于监控各种环境。描绘被捕获场景的图像可以由诸如操作员或守卫来监控。在某些情况下，可能需要将捕获图像的一部分与另一部分区别对待，例如为了个人诚信而需要遮挡图像的一部分。例如，当摄像机被设置在建筑物内或公共汽车或火车内时，这种情况可能发生，外界的环境将被排除在摄像机的监控之外。另一个例子是当有窗户的建筑物被监控时，需要避免通过窗户监控建筑物的内部。

在这种情况下，操作员可以在监控设备的设置过程中定义一个隐私遮挡(privacymask)。隐私遮挡可以是静态的或动态的。静态隐私遮挡通常由操作员在图形用户界面中标记要在图像上遮挡的区域来创建。该静态隐私遮挡固定不动，直到操作者决定移动或删除它。动态隐私遮挡可以随时间而变化。类似于动态隐私遮挡，操作者可以在需要遮挡的图像中标记一个区域。操作员还可以输入确定何时应当应用该隐私遮挡的设置。例如，操作者可以在图像中的窗口周围画一个矩形，并进行设置，使得如果在标记区域内检测到一个人脸，则该人脸将被遮挡。这样的动态隐私遮挡可以是有益的，因为只要为隐私遮挡而设置的条件不满足，就没有阻挡视线的遮挡，但是一旦诸如面部检测算法、对象检测算法或运动检测算法检测到条件被满足，则应用该隐私遮挡。隐私遮挡可以作为覆盖物应用于图像。一些隐私遮挡采用黑色的或其他颜色的不透明区域的形式。其他的隐私遮挡采用模糊的形式(图像数据在隐私遮挡区域被“涂抹”)或像素化的形式(隐私遮挡中的图像被分割成像素化块，并且像素化块的所有像素被赋予相同的值，因此图像在隐私遮蔽区域中出现块状)。隐私遮挡在许多情况下是一个长方形，或可能是另一种多边形，或具有任何其他的更符合要进行遮罩的区域的形状的形状。

当摄像机捕捉图像时，图像通常被传送到使用场所，例如控制中心，在那里图像可以被查看和/或存储。图像也可以被存储在所谓的“边缘存储”中，即存储在摄像机，或者放在摄像机上，例如在SD卡上，或者与摄像机相连，例如在NAS(网络附加存储)上。在传输或边缘存储之前，对图像进行编码以节省带宽和存储。编码可以以许多不同的方式执行，例如，根据H.264标准或其他编码标准。大多数，如果不是全部，视频编码是有损的，这意味着原始图像中的信息在编码过程中丢失，并且无法在解码中恢复。减少表示原始图像所需的比特数和所得的图像质量之间存在一种折衷。已经在努力开发编码方案，以尽可能有效地利用可用的比特。

大多数视频压缩标准最初是为广播和电影摄影而开发的，但它们也用于需求不同的其它领域。其中一个这种领域是监控或监视，并已经努力优化用于监控或监视使用的编码。在申请人的EP-3021583中公开了一种特别适用于监控应用程序的编码方法的示例。虽然这种编码方法可以显著提高效率，但仍有希望进一步改进编码。例如，在包含隐私遮挡的图像中，比特可能并不总是被用在最重要的图像或图像的最重要部分。在被编码和被解码图像中也可能存在视觉伪影。

发明内容

本发明的目的是提供一种对包括隐私遮挡的数字图像进行编码的方法，该方法能够有效地利用可用带宽和存储。

另一个目的是提供一种对包括隐私遮挡的数字图像进行编码的方法，该方法减少恼人的视觉伪影。

进一步的目的是提供一种对包括隐私遮挡的数字图像进行编码的方法，该方法使得可以确保应该被隐私遮挡遮挡的图像信息不可访问。

本发明的目的还在于提供一种用于对包括隐私遮挡的数字图像进行编码的数字图像编码系统，该系统能够有效地利用可用比特来表示图像。

本发明的一个目的还在于提供用于对包括隐私遮挡的数字图像的数字图像进行编码的编码系统，该系统能够减少编码和解码图像中的视觉伪影。

另外一个目的是提供用于对包括隐私遮挡的数字图像进行编码的数字图像编码系统，该系统能够提高由隐私遮挡所提供的保护的安全性。

根据第一方面，通过对包括隐私遮挡的数字图像进行编码的方法，全部或至少部分地实现这些和其它目的，该方法包括：接收表示数字图像中的像素的信息，将图像的像素分组到相邻像素组的编码单元中，接收表示隐私遮挡区域的信息，隐私遮挡将在隐私遮挡区域中被应用在图像上，确定至少部分位于隐私遮挡区域内的所有编码单元，扩展隐私遮挡区域以与所确定的编码单元对齐，针对每个编码单元，确定用于编码图像的各个量化参数，在图像的所扩展的隐私遮挡区域中应用隐私遮挡，并使用所确定的量化参数对具有所应用的隐私遮挡的图像进行编码。以这种方式，可以确保要被隐私遮挡所遮挡的所有图像数据可以以适当的方式被编码。例如，可以为隐私遮挡所覆盖的区域设置一个量化参数，并为图像的其余部分设置另一个量化参数。还可以确保最初仅部分在隐私遮挡区域内的块的部分中的图像数据不提供对应该被隐私遮挡所遮挡的信息的无意访问。至少在理论上，这可能发生在编码方案中，其中，编码单元的量化参数的确定是基于图像分析或图像统计。如果部分位于初始的隐私遮挡区域之内且部分位于初始隐私遮挡区域之外的编码单元的量化参数是基于对该编码单元中图像数据的分析，本身被初始的隐私遮挡所覆盖的图像数据将影响在初始的隐私遮挡之外的同一编码单元中的图像数据的编码，因此可以通过对量化参数进行反向工程来获得关于应该被隐私遮挡保护的图像数据的一些信息。此外，可以避免在隐私遮挡的边界上进行剧烈的质量变化，从而减少视觉伪影。

根据本发明方法的变型，预定的编码参数被用于对所确定的编码单元进行编码，预定的编码参数是预定的编码单元大小和预定的量化参数中的至少一个。通过实施预定的编码单元大小或量化参数，可以确保没有关于要被隐私遮挡所遮挡的图像数据的信息可以通过研究遮挡区域内的编码单元大小或量化参数的空间图案来访问。

确定用于编码图像的各个量化参数的步骤可以包括：将所确定的编码单元的量化参数设置为预定的降低质量量化参数。这使得可以减少用于编码由隐私遮挡覆盖的图像部分的比特的数目。否则，如果对量化参数的确定像往常一样执行，而不考虑隐私遮挡，则隐私遮挡所覆盖的图像的一部分可以采用高质量编码，这对用户毫无价值。相反，通过降低由隐私遮挡所覆盖的图像的部分的质量，比特可以被节省以用于图像中的实际用于监视目的其他的更感兴趣的部分。

所确定的编码单元中的像素可以被分组或重新分组到预定的大尺寸的被修改的编码单元中。通常，使用大编码单元对图像的给定部分进行编码比使用小编码单元对同一部分进行编码所需的比特更少。使用较大的编码单元可能会丢失更多的信息，但是对于隐私遮挡，这是没有关系的，因为那里没有显示感兴趣的图像数据。存在编码方案，其中基于图像数据的分析来确定编码单元的大小。在这些方案中，至少在理论上，信息可以通过对隐私遮挡区域中的编码单元大小的空间图案的反向工程而从隐私遮挡下泄漏出来。通过设置用于对扩展的隐私遮挡区域内的像素进行分组的预定的编码单位大小，避免了这种风险。

隐私遮挡可以包括统一颜色、模糊和像素化中的至少一个。

根据该方法的一个变种，隐私遮挡包括像素化，其中，隐私遮挡区域内的像素被分组到相邻像素的像素化组中，并且其中各个像素化组的每个像素的像素值被设置为代表各个像素化组的一个共同的像素值，该方法还包括：将隐私遮挡区域内的图像的像素分组到对应于像素化组的编码单元中。这样的方法可以避免由于隐私遮挡边缘上的质量差异而引起的令人讨厌的视觉伪影。通过使得可以确保编码单元不形成与可以用于导出关于应当由隐私遮挡覆盖的图像数据的信息的像素化不同的空间图案，提高了安全性。

确定用于编码图像的各个量化参数的步骤可以包括：基于图像中相关区域的标识为每个编码单元设置量化参数，使得相关区域中的编码单元被赋予第一量化参数，并且在不相关区域中的编码单元被赋予第二量化参数，第一量化参数表示比第二量化参数产生更高的图像质量的压缩。使用这种方法来确定量化参数，可以有效地利用可用带宽和存储。可以保留一些用于表示图像的非相关区域的比特，同时允许图像的相关区域的高质量表示。

确定用于编码图像的各个量化参数的步骤可以进一步包括：针对每个编码单元计算表示像素的信息的空间统计测量以形成每个编码单位的组值，计算组值之间的差值，将差值与阈值比较，如果差值等于或大于阈值，则将编码单元确定为在图像的相关区域中，并且如果差值低于阈值，将编码单元确定为在图像的非相关区域中。这可以提供一种有效的方式来确定图像中的相关区域和不相关区域。

空间统计测量可以是来自由信息的总和、平均值、中位数、四分位数间距、标准偏差、方差、偏度和峰度所组成的组中的至少一个。

每个编码单元可以包括至少256个像素。这个尺寸可能与人脸的大小相对应，人脸在许多监控用例中可以被视为图像的相关部分。

表示图像中的像素的信息可以是来自由关于亮度、光强和颜色值的数据组成的组中的至少一个。

根据第二方面，通过用于对包括隐私遮挡的数字图像进行编码的数字图像编码系统完全地或至少部分地实现这些和其他目的，该系统包括：接收模块，被配置为接收表示数字图像中的像素的信息，并且将图像的像素分组到相邻像素组的编码单元中；隐私遮挡输入模块，被配置为接收表示隐私遮挡区域的信息，隐私遮挡将在隐私遮挡区域中被应用在图像上；适配模块，被配置为确定至少部分地位于隐私遮挡区域内的所有编码单元，并将隐私遮挡区域扩展为与所确定的编码单元对齐；压缩确定模块，被配置为针对每个编码单元确定用于编码图像的各个量化参数；隐私遮挡应用模块，被配置为将隐私遮挡应用于图像的所扩展的隐私遮挡区域中；以及编码器模块，被配置为使用所确定的量化参数对具有隐私遮挡的图像进行编码。使用这样的编码系统，可以确保有效使用带宽和存储。也可以通过被初始隐私遮挡部分地覆盖的编码单元的非遮挡部分来避免要被隐私遮挡所遮挡的图像数据的信息的“泄漏”。第二方面的编码系统通常可以以与第一方面的方法相同的方式来体现，并具有伴随的优点

在一个实施例中，隐私遮挡输入模块被配置为接收关于像素化的信息，在像素化中，隐私遮挡区域内的像素被分组到相邻像素的像素化组中，接收模块被配置为将隐私遮挡区域中的图像的像素分组到与像素化组对应的编码单元中，并且隐私遮挡应用模块被配置为将各个像素化组的每个像素的像素值设置为表示各个像素化组的共同像素值。以这种方式，可以确保避免在隐私遮挡的边缘处的令人讨厌的视觉伪影。改进的安全性也可以如在前面讨论的第一个方面的方法得到保证。

压缩确定模块可以被配置为基于图像中的相关区域的标识来为每个编码单元设置量化参数，使得相关区域中的编码单元被赋予第一量化参数，并且不相关区域中的编码单元被赋予第二量化参数，第一量化参数代表比第二量化参数产生更高的图像质量的压缩。因此，所述编码系统可以有效地利用可用比特。

编码系统的压缩确定模块可以被配置为针对每个编码单元计算表示像素的信息的空间统计测量以形成每个编码单位的组值，计算组值之间的差异，将差异与阈值比较，如果差值等于或大于述阈值，则将编码单元确定为在图像的相关区域中，并且如果差值低于阈值，则将编码单元确定为在图像的非相关区域中。以这种方式，编码系统可以确保在基于监视使用的需要的情况下明智地使用比特。

根据第三方面，通过包括根据第二方面的数字编码系统的摄像机全部或至少部分地实现这些和其他目的。

根据第四方面，通过计算机程序产品全部或至少部分地实现了这些和其他目的，该计算机程序产品包括具有指令的计算机可读存储介质，该指令在被处理器执行时适合于执行根据第一方面的方法。

根据下面给出的详细描述，本发明的进一步适用范围将变得显而易见。然而，应当理解的是，尽管指出了本发明的优选实施例，但是详细描述和具体示例仅仅是以示例的方式给出的，因为在本发明的范围内的各种变化和修改从本详细说明中对于本领域技术人员而言将变得显而易见。

因此，应该理解的是，本发明不限于所描述的装置的特定组成部分或所描述的方法的步骤，因为这种装置和方法可以改变。还应该理解的是，这里使用的术语仅仅是为了描述特定实施例的目的，而不是限制性的。必须注意的是，如说明书和所附权利要求中所使用的，冠词“一”，“该”和“所述”旨在表示存在一个或多个元素，除非上下文另有明确规定。因此，例如，对“对象”或“该对象”的引用可以包括多个对象等。此外，词语“包括”不排除其他元素或步骤。

附图说明

现在将通过实例并参照附图来更详细地描述本发明，其中：

图1是由摄像机监控的场景的透视图，

图2是数字图像的图示，

图3是图2的数字图像的图示，其中像素被分组到编码单元中，

图4是图1的场景的图像的图示，

图5是应用了隐私遮挡的图4的图像的图示，

图6a-c示出了图像和不同的像素化，

图7是示出了图5的图像的图示，其中图像的像素也被分组到编码单元的，

图8是示出了被确定的编码单元的图5和7的图像的图示，

图9是示出了隐私遮挡区域被扩展的图7的图像的图示。

图10是示出本发明方法的变型的流程图，

图11是根据实施例的编码系统的框图，

图12是根据实施例的摄像机的框图。

具体实施方式

在图1中，示出了由摄像机2监控的场景1。在场景1中，有一个具有窗户4和门口5的房子3。一辆汽车6停在房子前面，第一人7站在房子外面。第二人8在房子里，透过窗户4中的一个窗户可见。

摄像机2拍摄场景的图像。在图2中，示出了图像10的主要结构。图像10由与摄像机2的图像传感器(未示出)的像素相对应的像素11组成。图像可以例如由1280×720个像素、1920×1080个像素或3840×2160个像素组成。

如图3所示，图像10的像素11可以被分组到相邻像素11的编码单元12中。编码单元12也可以被称为宏块、像素块、编码树单元或编码单元。编码单元12在大多数情况下可以是正方形的，例如由8×8、16×16或32×32个像素组成。也可以将像素11分组到其他尺寸和形状的编码单元中。

图4示出摄像机2拍摄的图像20。可以看出，在图像20中，在房子中的第二人8是通过窗口看得到的。监控场景1的目的可以是记录在房子3外面发生的事情，而不是在房子3内发生的事情。因此可能希望遮挡显示房子3内部的图像20的那些部分。如图5所示，摄像机2的用户可以指定图像数据将被遮挡的隐私遮挡区域21。在图5中，隐私遮挡21仅仅是黑色矩形。因此隐私遮挡21后面的图像数据将不会被观看来自场景1的连续镜头的操作者看到。

应该注意的是，隐私遮挡21也可以采取其他形式。例如，可以使用像素化的隐私遮挡，而不是仅在图像上覆盖黑色矩形。在图6a中，显示了一个人脸的图像。该面部可以是希望遮挡面部的场景的图像的一部分，使得出现在场景中的人不能被识别。在图6b中完成像素化，其中图像中的像素被分组到像素化组31中。对于每个像素化组31，像素化组31中的所有像素被设置为代表像素化组31中的像素的一个公共值。例如，像素化组31中的所有像素值的平均值可以作为公共值。也存在像素化的变化，其中该组中的一个单个像素的值被用作同一像素化组中的所有像素的公共值，以及像素的变化，其中使用像素化组中的像素的子集的平均值作为公共值。

从图6b可以看出，仍然有可能检测到图像30中存在人脸。对于认识图像中的人的某人，甚至有可能认出他来。图6c示出使用较大尺寸的像素化组32的例子。以与图6b中相同的方式，为像素化组32中的所有像素设置公共像素值，但是由于像素化组更大，遮挡区域中留下较少的信息，甚至难以分辨出存在人脸。像素化组的大小可以根据诸如图像大小、到要被遮挡的物体的距离以及使物体无法识别的程度等因素来选择。

在图7中，图像20再次被示出，但是现在还示意性地示出了图像20的像素已经被分组到其中的编码单元22。这里可以看出，隐私遮挡21各自完全覆盖了多个编码单元22，并且隐私遮挡21也部分地覆盖了多个编码单元22。被隐私遮挡21至少部分地覆盖的所有编码单元22已经在图8中用有点的图案标记，并且将被称为已确定的编码单元23。为了清楚起见，指出即使在黑色矩形之上不能看到有点的图案，被隐私遮挡21完全覆盖的编码单元也包括在已确定的编码单元23中。

根据本发明，在图7和8中示出的初始隐私遮挡区域21被扩展为与已确定的编码单元23对齐，现在形成扩展的隐私遮挡区域24。因此，至少部分位于初始隐私遮挡区域21内的所有编码单元22，即已确定的编码单元23，被扩展的隐私遮挡区域24覆盖。由此可以确保，在初始隐私遮挡21外部但是在已确定的编码单元23内的图像数据不会无意中提供对初始隐私遮挡区域21内的图像数据的访问。也就是说，防止了来自隐私遮挡下的信息的“泄露”。否则，如果被部分覆盖的编码单元的编码基于至少部分隐私遮挡区域21内的信息，则可能发生这种情况。

图6中的隐私遮挡的扩展可能看起来相当剧烈，但是应该注意的是，编码单元22是示意性的。为了使附图清楚起见，像素和编码单元的尺寸被放大。例如，如果要将1920×1080个像素的图像帧分成16×16个像素的编码单元，则将会有120×68个编码单元，并且显示所有这些将会形成杂乱的图。

为了利用扩展的隐私遮挡24对图像20进行编码，针对图像20中的每个编码单元22确定量化参数。在一些应用中，可能为整个图像仅设置一个量化参数，从而为每个编码单元22给出相同的量化参数。量化参数可以由用户输入来设置，或者例如基于视频序列中的图像中的运动来确定。然而，在许多情况下，有利的是能够为图像的不同部分设置不同的量化参数，甚至细到为各个编码单元设置不同的量化参数。在一些编码方案中，有可能设置一个或多个感兴趣的区域(通常用缩写ROI来表示)，在一个或多个感兴趣的区域中的图像数据应该比图像的其余部分更少地被压缩。以图1所示的场景1为例，用户可以在其前面的区域中设置覆盖住宅3的ROI。也可以设置不感兴趣的区域。例如，用户可能对房子3上方的天空不感兴趣，并且因此可以确定图像中显示天空的区域比图像的其余部分被更多地压缩。

还努力进一步改进这种基于ROI的编码方法，使得ROI是动态的。在申请人的EP-3021583中公开了一种这样的方法，其通过引用结合于此。根据该方法，通过研究图像中像素的块统计来确定图像的相关区域和不相关区域。对于图像中的每个相邻像素组确定空间统计量度以形成每组像素的组值。将组值相互比较，如果一个组的组值与相邻组有足够的差异，则该组被确定为在图像的相关区域中。有了这样一个动态的ROI，有可能在图像中存在有趣的细节的区域获得良好的图像质量，并且在图像的不包含感兴趣的细节的区域上花费较少的比特。例如，在监控情况下，人脸可以被认为是相关的，而草坪中的小细节可以被认为是不相关的。用于计算组值的相邻像素组可以与编码单元22相同也可以不相同。例如，用于确定图像的相关区域和不相关区域的像素的组可以大于编码单元22，使得例如一个32×32个像素的组包括四个编码单元，每个编码单元由16×16个像素组成。当基于对图像的相关区域和不相关区域的确定来确定相邻像素组的量化参数时，将该量化参数应用于该相邻像素组中的所有编码单元。

为了充分利用可用的带宽和/或存储，根据该方法的变型，针对图像20的在扩展的隐私遮挡24之外的部分和图像20的在扩展的隐私遮挡24之内的部分，量化参数可以被不同地设置。更具体地说，针对已确定的编码单元23，量化参数可以被设置为高，意味着高压缩并且因此被解码图像帧的低图像质量。在隐私遮挡所覆盖的图像的部分，很可能有很多细节，并且取决于量化参数被确定的方法，这可能导致针对该部分图像的低量化参数，意味着低压缩和被解码图像帧的高图像质量。但是，一旦将隐私遮挡应用于图像，在隐私遮挡所覆盖的区域中具有高图像质量就没有多少意义，因为只有隐私遮挡才能看到，并且没有相关的图像数据。通过为已确定的编码单元23(即，由扩展的隐私遮挡24覆盖的编码单元)设置表示低图像质量的量化参数，可以节省比特并且可以更好地使用在图像20的其他部分、视频序列中的其他图像或来自同一监控系统中的其他摄像机的图像。例如，在可以在其中设置0-51的量化参数的编解码器中，并且其中0意味着最小的压缩以及51意味着最严格的压缩，可以为已确定的编码单元23设置51的量化参数。

类似地，已确定的编码单元中的像素可被分组或重组到预定编码单元大小的编码单元中。作为示例，编解码器可以使用在8×8个像素到64×64个像素的范围内的编码单元尺寸或宏块尺寸或编码树单元尺寸。预定的64×64个像素的编码单元尺寸在此可以用于在已确定的编码单元23中的像素，即被扩展的隐私遮挡24覆盖的像素。

这里可以注意到，存在现有技术的隐私遮挡方法，其中编码单元固有地与隐私遮挡对齐，这是因为隐私遮挡由编码器应用。在这样的方法中，通过严重地压缩要被遮挡的区域来应用隐私遮挡。从而，在隐私遮挡区域中信息丢失到如此高的程度，使得对于观看者来说图像数据被充分地遮挡。这种方法完全取决于编码器的实现方式，因此不可能控制隐私遮挡的外观。在不同的编码器中，相同预期的隐私遮挡也会被不同地应用，如果相同的图像帧的视频序列要被同时发送到不同的编码器，这可能是不期望的。在安全性方面，这样的方法也可能不太可靠，因为所有的图像数据实际上都被提供给编码器，也包括在要被遮挡的区域中的数据。因此可以从隐私遮挡下提取信息。

在图7至图9中，隐私遮挡21只是黑色矩形。如前所述，隐私遮挡也可以是像素化的形式，如图6a-c所示。利用像素化的隐私遮挡，上述方法可以进一步发展。如前所述，初始隐私遮挡21被扩展为与被初始隐私遮挡21至少部分地覆盖的那些已确定的编码单元23对准，由此形成扩展的隐私遮挡24。在扩展的隐私遮挡区域24内，图像的像素可以被分组或者重新组合以对应于像素化组31、32的大小。例如，假设图像20最初被分组为16×16个像素的编码单位，并且为像素化组设置的大小是32×32个像素，可以看出像素组大小存在不匹配。因此，在扩展的隐私遮挡区域24内，编码单元可以被分组成与像素化组31、32相同大小的编码单元22，使得每个像素化组31、32对应于一个编码单元22。由此，可以避免由于编码单元和像素化组不对准造成的令人讨厌的视觉伪影。编码单元和像素化组的这种对齐也可以在没有实际地扩展隐私遮挡的情况下完成。然而，以这种方式，取决于如何确定量化参数，可能仍然存在来自隐私遮挡下的信息通过部分地覆盖的编码单元的可见部分的泄漏。

现在将参考图10更简要地概述上述方法，图10是本发明方法的变体的流程图。

表示图像中的像素的信息被接收(步骤S1)。像素被分组到相邻像素的编码单元中(S2)。还接收到表示要应用于图像的隐私遮挡的信息(S3)。确定将至少部分地被隐私遮挡覆盖(即，至少部分在隐私遮挡区域内)的图像中的那些编码单元(S4)。隐私遮挡被扩展以覆盖已确定的编码单元，使得隐私遮挡覆盖所扩展的隐私遮挡区域(S5)。对于图像中的每个编码单元，确定量化参数(S6)。将扩展的隐私遮挡应用于图像(S7)，并且使用所确定的量化参数对具有隐私遮挡的图像进行编码(S8)。随后相同的过程可以用于视频序列中的后续图像。

图11是可以根据上述方法操作的编码系统40的简化框图。编码系统40包括接收模块41，接收模块41被配置为接收表示图像中的像素的信息以进行编码。如前所述，该信息例如可以是关于亮度、光强和颜色值的数据中的至少一个。接收模块还被配置为将像素分组到相邻像素组的编码单元中。编码单元也可以被称为宏块或像素块。

编码系统40还具有隐私遮挡输入模块42，隐私遮挡输入模块42用于接收表示隐私遮挡区域的信息，隐私遮挡将在隐私遮挡区域中被应用在图像上。应该注意的是，多于一个隐私遮挡可以应用于同一图像，并且多于一个隐私遮挡可以具有相同或不同的类型、形状和尺寸。例如，一个隐私遮挡可以是一个黑色的矩形，而另一个隐私遮挡可以是一个像素化的正方形。隐私遮挡信息可以以任何合适的方式输入，诸如通过用户在所监控的场景的显示图像上绘制框。如在背景技术部分所讨论的，隐私遮挡信息也可以来自例如可以用于确定用户设定的条件是否已经被满足的面部检测器、对象检测器或运动检测器。

此外，编码系统40具有适配模块43，适配模块43用于确定至少部分位于隐私遮挡区域内的所有编码单元，并用于扩展隐私遮挡区域以与已确定的编码单元对齐。这样，适配模块可以确保没有编码单元在被隐私遮挡部分地覆盖的同时对于观看者来说是部分地可访问的。

压缩确定模块44被包括在编码系统40中，以用于为每个编码单元确定各个量化参数。这个确定可以以各种已知的或可能的创造性的方式之一来执行。

编码系统40还包括隐私遮挡应用模块45，隐私遮挡应用模块45被配置成将隐私遮挡应用于扩展的隐藏遮挡区域中。

另外，编码系统40具有编码器模块46，编码器模块46用于使用所确定的量化参数、利用所应用的隐私遮挡来执行图像的实际编码。因此，编码系统40能够利用扩展的隐私遮挡对图像进行编码，使得可以避免来自隐私遮挡下方的信息的泄漏，并且可以减少视觉伪像。

根据上述方法的变型，压缩确定模块44可以根据动态ROI方法进行操作，例如在EP-3021583中公开的动态ROI方法。

在图12中，示出了摄像机1的框图。众所周知，摄像机1包括光学器件51和图像传感器52。摄像机1还包括上述的编码系统40和图像处理模块53，图像处理模块53也可以被称为图像处理流水线。图像处理模块例如可以执行诸如去马赛克、噪声滤波、锐化和色调映射的处理。如本领域技术人员认识到的那样，摄像机将具有额外的部件，但是由于它们对于本发明的理解不是必需的，所以它们在图12中未示出并且将不会被进一步讨论。

可以理解的是，本领域技术人员可以以多种方式修改上述实施例，并仍然使用上述实施例中所示的本发明的优点。作为例子，可以以任何期望的方式来确定量化参数。它们可以针对整个图像被静态设置，或者可以以更精细的方式被确定，例如基于图像分析或图像统计被确定。

隐私遮挡可以采取不同的形式，并且例如可以是黑色或其它颜色的矩形或其他形状的区域。如上面进一步详细讨论的，隐私遮挡可以是像素化的，或者隐私遮挡可以通过用所涉及的像素的邻域中的像素值的平均值替换每个像素的像素值而被模糊或涂抹，即，应用相当笨重噪音过滤器。像素化和涂抹有时被称为模糊。

取决于图像的不同编码单元如何被编码，编码和解码的图像可以显出块状。例如，如果一个编码单元或宏块以帧内模式编码(作为I块)并且相邻编码单元或宏块以帧间模式编码(作为P块或B块)，则两者之间的边界可能会很显眼。因此，许多编码器应用去块滤波器，可以消除跨编码单元之间的边界的差异。这可以通过在边界的两侧形成几个像素值的平均值，并用平均值替换边界附近的像素的值来实现。为了进一步确保没有图像数据可能从隐私遮挡下泄露出来，对于被屏蔽的编码单元，即已确定的编码单元23，可以关闭这种去块滤波器。

应该注意的是，上述的方法的步骤的顺序并不重要。例如，可以首先为图像中的所有编码单元设置量化参数，而不考虑隐私遮挡，并且然后可以在已确定的编码单元中重写该量化参数。也可以首先确定将被隐私遮挡覆盖的编码单元，并为该编码单元设置低质量量化参数，然后确定在扩展的隐私遮挡区域外的编码单元的量化参数。类似地，图像的像素可以首先被全部分组到编码单元中，然后在扩展的隐私遮挡区域中重新分组，或者图像的像素可以在扩展的隐私遮挡区域内以一种方式分组，并以另一种方式在扩展的隐私遮挡区域之外分组。

只要可以设置量化参数和/或编码单元的大小，就可以根据任何期望的方法使用任何期望的编解码器来执行编码。可以使用基于块的混合编解码器，诸如H.264、H.265、MPEG-4第2部分或VP9编解码器来进行编码。在其最一般的形式中，本发明实际上可以与任何编码方法一起使用，甚至那些编码方法对于量化参数和/或编码单元大小来说是不灵活的。

如结合图12所描述的，编码系统可以被集成在摄像机中。但是，也可以将编码系统单独地布置，并将编码系统可操作地连接到摄像机。也可以将来自摄像机的没有隐私遮挡的图像发送到例如控制中心，并且在控制中心例如在VMS(视频管理系统)中应用隐私遮挡。在这种情况下，编码系统可以被配置在VMS或者控制中心中，并且被用于所谓的代码转换，其中从摄像机接收被编码图像，被解码，然后被重新编码，但是现在具有隐私遮挡。如果不同的访问权限适用于图像的不同用户，这可能是感兴趣的。例如，可能希望记录没有隐私遮挡的视频序列以供警察随后的取证使用，但是观看现场传输的警卫可能不被允许看到未遮挡的图像。

该方法可以通过执行存储在计算机可读存储介质上的指令来执行。该指令可以由任何种类的处理器执行，例如中央处理单元(CPU)、图形处理单元(GPU)、在集成电路中实现的定制处理设备、ASIC、FPGA或包括分立元件的逻辑电路。

编码系统可以体现为软件、固件、硬件或其任何组合。

摄像机可以是任何类型的摄像机，诸如可见光摄像机，红外摄像机或热成像摄像机。

因此，本发明不应限于所示实施例，而应该仅由所附权利要求限定。

Claims (15)

1.一种对包括隐私遮挡的数字图像进行编码的方法，所述方法包括：

接收表示所述数字图像中的像素的信息，

将所述图像的所述像素分组到相邻像素组的编码单元中，

接收表示隐私遮挡区域的信息，隐私遮挡将在所述隐私遮挡区域中被应用在所述图像上，

确定至少部分位于所述隐私遮挡区域内的所有编码单元，

将所述隐私遮挡区域扩展为与所确定的编码单元对齐，

针对每个编码单元，确定用于编码所述图像的各个量化参数，

将所述隐私遮挡应用于所述图像的所扩展的隐私遮挡区域中，

使用所确定的量化参数对具有隐私遮挡的所述图像进行编码。

2.根据权利要求1所述的方法，其中，预定的编码参数被用于对所确定的编码单元进行编码，所述预定的编码参数是预定的编码单元大小和预定的量化参数中的至少一个。

3.根据权利要求1所述的方法，其中，确定用于编码所述图像的各个量化参数包括：将所确定的编码单元的量化参数设置为预定的降低质量量化参数。

4.根据权利要求1所述的方法，其中，所述隐私遮挡包括像素化，其中所述隐私遮挡区域内的像素被分组到相邻像素的像素化组中，并且其中各个像素化组的每个像素的像素值被设置为表示所述各个像素化组的公共像素值，所述方法进一步包括：

将所述隐私遮挡区域内的所述图像的所述像素分组到对应于所述像素化组的编码单元中。

5.根据权利要求1所述的方法，其中，确定用于编码所述图像的各个量化参数包括：

基于所述图像中的相关区域的标识来为每个编码单元设置量化参数，使得在相关区域中的编码单元被赋予第一量化参数，并且在不相关区域中的编码单元被赋予第二量化参数，所述第一量化参数表示比所述第二量化参数产生更高的图像质量的压缩。

6.根据权利要求5所述的方法，其中，确定用于编码所述图像的各个量化参数包括：

针对每个编码单元计算表示所述像素的信息的空间统计测量，以形成每个编码单元的组值，

计算组值之间的差值，

将所述差值与阈值进行比较，

如果所述差值等于或高于所述阈值，则将所述编码单元确定为在所述图像的相关区域中，并且

如果所述差值低于所述阈值，则将所述编码单元确定为在所述图像的不相关区域中。

7.根据权利要求6所述的方法，其中，所述空间统计测量是来自由所述信息的总和、平均值、中位数、四分位数间距、标准偏差、方差、偏度和峰度所组成的组中的至少一个。

8.根据权利要求6所述的方法，其中，每个编码单元包括至少256个像素。

9.根据权利要求1所述的方法，其中，表示所述图像中的所述像素的所述信息是来自由关于亮度、光强和颜色值的数据组成的组中的至少一个。

10.一种用于对包括隐私遮挡的数字图像进行编码的数字图像编码系统，所述系统包括：

接收模块，被配置为接收表示所述数字图像中的像素的信息，并将所述图像的所述像素分组到相邻像素组的编码单元中，

隐私遮挡输入模块，被配置为接收表示隐私遮挡区域的信息，隐私遮挡将在所述隐私遮挡区域中被应用在所述图像上，

适配模块，被配置为确定至少部分地位于所述隐私遮挡区域内的所有编码单元，并且将所述隐私遮挡区域扩展为与所确定的编码单元对齐，

压缩确定模块，被配置为针对每个编码单元确定用于编码所述图像的各个量化参数，

隐私遮挡应用模块，被配置为将所述隐私遮挡应用于所述图像的所扩展的隐私遮挡区域中，以及

编码器模块，被设置为使用所确定的量化参数对具有隐私遮挡的所述图像进行编码。

11.根据权利要求10所述的编码系统，其中：

所述隐私遮挡输入模块被配置为接收关于像素化的信息，在所述像素化中，所述隐私遮挡区域内的像素被分组到相邻像素的像素化组，

所述接收模块被配置为将所述隐私遮挡区域中的所述图像的所述像素分组到对应于所述像素化组的编码单元中，并且

所述隐私遮挡应用模块被配置为将各个像素化组的每个像素的像素值设置为表示所述各个像素化组的公共像素值。

12.根据权利要求10所述的编码系统，其中，所述压缩确定模块被配置为基于所述图像中的相关区域的标识来为每个编码单元设置量化参数，使得在相关区域中的编码单元被赋予第一量化参数，并且在不相关区域中的编码单元被给予第二量化参数，所述第一量化参数表示比所述第二量化参数产生更高的图像质量的压缩。

13.根据权利要求12所述的编码系统，其中，所述压缩确定模块被配置为：

针对每个编码单元计算表示所述像素的信息的空间统计测量，以形成每个编码单元的组值，

计算组值之间的差值，

将所述差值与阈值进行比较，

如果所述差值等于或高于所述阈值，则将所述编码单元确定为在所述图像的相关区域中，并且

如果所述差值低于所述阈值，则将所述编码单元确定为在所述图像的不相关区域中。

14.一种摄像机，包括根据权利要求10所述的数字图像编码系统。

15.一种包括计算机可读存储介质的计算机程序产品，所述计算机可读存储介质具有指令，所述指令在被处理器执行时适合于执行根据权利要求1的所述的方法。

Images