CN111355964A - 解码和编码对象的隐私被保护的图像帧序列的方法和设备 - Google Patents

解码和编码对象的隐私被保护的图像帧序列的方法和设备 Download PDF

Info

Publication number
CN111355964A
CN111355964A CN201911171669.6A CN201911171669A CN111355964A CN 111355964 A CN111355964 A CN 111355964A CN 201911171669 A CN201911171669 A CN 201911171669A CN 111355964 A CN111355964 A CN 111355964A
Authority
CN
China
Prior art keywords
sequence
image frames
coded
privacy
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911171669.6A
Other languages
English (en)
Other versions
CN111355964B (zh
Inventor
袁嵩
维克托·埃德帕尔姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN111355964A publication Critical patent/CN111355964A/zh
Application granted granted Critical
Publication of CN111355964B publication Critical patent/CN111355964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

解码和编码对象的隐私被保护的图像帧序列的方法和设备。提供用于对描绘隐私要被保护的对象的图像帧序列进行编码的方法。生成图像帧序列的第一版本和第二版本。为序列的第一版本而不是第二版本的图像帧提供隐私遮蔽以保护在其中描绘的对象的隐私。将序列的第一版本编码为帧内编码图像帧和帧间编码图像帧的第一编码序列。将序列的第二版本编码为帧间编码图像帧的第二编码序列。通过使用第一编码序列的帧内编码图像帧来对第二编码序列的帧间编码图像帧进行编码。第二编码序列的帧间编码图像帧被加密，并且在其后第一编码序列和第二编码序列被合并到单个输出序列中。

Description

解码和编码对象的隐私被保护的图像帧序列的方法和设备
技术领域
本发明涉及视频编码和解码的领域。具体地，其涉及描绘隐私要被保护的对象的图像帧序列的编码和解码。
背景技术
摄像机常常用于诸如商店、停车场火车站等等之类的公用区域的监控。所捕捉的视频可以有利地用于保护普通人的安全。然而，关于所捕捉的视频的缺点是，它们可能侵犯在其中描绘的人的完整性(integrity)。最近，已经通过限制可以被收集和存储的个人数据经由条例作出努力来保护人的完整性。这样的个人数据包括从中可以识别人的视频。
摄像机制造商已经提出允许人，或其他对象的隐私在捕捉的视频中被保护的各种解决方案。常用方法是分析视频以找出应当被保护的对象。对象可以是面部、人、屏幕、汽车等等。这些对象是然后由所谓的隐私遮蔽覆盖以使得不可能从视频中识别对象。然而，当偶发事件发生时，仍然期望诸如警察或专门保安人员之类的授权用户能够观看没有隐私遮蔽的视频以能够识别犯罪者、受害者和证人。因此，普通用户应当仅仅被允许观看隐私遮蔽的视频并且授权用户应当能够观看未被遮蔽的视频。普通的用户可以是安全职员，而授权用户可以是调查报告偶发事件的警官、专门的高级安全职员或已经经历了用于处理特定偶发事件的安全训练的安全职员。
为了满足该需求，摄像机可以从所捕捉的视频产生两个单独的流。在第一流中，可以为对象提供隐私遮蔽，而在第二流中，不提供隐私遮蔽。为了未被授权的用户观看第二流，其可以被加密，使得其仅仅被拥有加密密钥的用户观看。
具有两个单独的流的方法具有若干缺点。例如，具有两个流而非一个流对比特率具有负影响并且在接收端需要更多存储空间。另外，两个单独的流共同属于一对，并且必须作出努力以在接收端在处理期间保持两个单独的流之间的关联。例如，在两个流的存储期间需要作出这样的努力。另外，通常情况是在接收端的视频管理系统将必须具体地被设计为接收两个单独流而非一个。典型地，视频管理系统用于处理来自可能具有大批不同的设定的相机的视频。可能存在支持接收单独的流的一些视频管理系统，可用的视频管理系统中的大多数仅仅被设计为处理单个流。因此存在改善的空间。
发明内容
鉴于以上所述，本发明的目的因此是缓解以上缺点并且仍然提供视频，提供的视频允许授权用户观看初始的视频、而仅仅允许普通用户观看隐私遮蔽的视频
根据第一方面，通过对描绘对象的图像帧序列进行编码(该对象的隐私要被保护)的方法来实现以上目的，该方法包括：
接收要被编码的图像帧序列，其中，图像帧序列描绘隐私要被保护的对象；
生成图像帧序列的第一版本和第二版本，其中，为序列的第一版本而不是第二版本的图像帧提供隐私遮蔽以保护图像帧序列中所描绘的对象的隐私；
将图像帧序列的第一版本编码为帧内编码图像帧和帧间编码图像帧的第一编码序列；
将图像帧序列的第二版本编码为帧间编码图像帧的第二编码序列，其中，通过使用第一编码序列的帧内编码图像帧来对第二编码序列的帧间编码图像帧进行编码；
对第二编码序列的帧间编码图像帧进行加密；以及
通过对第一编码序列和第二编码序列进行交织将第一编码序列和第二编码序列合并到单个输出序列中。
描绘的对象可以是一个或多个固定的或活动对象。对象的隐私为什么要被保护的原因可以是由于条例，诸如EU一般数据保护条例。
如在本文所使用的，隐私遮蔽是限制查看特定区域的电子应用的遮蔽。以该方式，限制区域保持私密。
如在本文所使用的，帧内编码帧指的是仅仅通过参考本身被编码的图像帧。帧内编码帧因此是自含(self-contained)的。帧内编码帧也被称为I-帧。
如在本文所使用的，帧间编码帧指的是通过参考一个或多个其他图像帧被编码的图像帧。一个或多个其他图像帧典型地是诸如先前帧内编码帧或先前帧间编码帧之类的先前编码帧的解码版本。帧间编码帧的示例是P帧和B帧。
在编码之前，可以对所接收的图像帧序列执行不同类型的处理。作为处理的结果，生成图像帧序列的第一版本和第二版本。如在本文所使用的，所接收的图像帧序列的版本因此指的是从所接收的图像帧序列导出的，或基于所接受的图像帧序列生成的图像帧序列。图像帧序列的版本可以与图像帧序列相同。然而，其也可以不同于图像帧序列。例如，所接收的图像帧序列的第一版本不同于所接收的图像帧序列，这是因为对象被第一版本中的隐私遮蔽所遮蔽。所接收的图像帧序列的第二版本在一些实施例中与所接收的图像帧序列相同。在其他实施例中，第二版本可以是所接收的图像帧序列的修改版本。
利用这种安排，两个版本的图像序列被处理。在序列的第一版本中，为要被保护的描绘的对象提供隐私遮蔽。然后对第一版本和第二版本进行编码。然而，两个版本彼此独立地进行编码。更详细地，对于第二版本(没有隐私遮蔽的版本)不对单独的帧内编码帧进行编码。取而代之，第二版本共享编码的第一版本的内帧。具体地，仅仅使用帧间编码帧来对第二版本进行编码。将编码的第一版本的帧内编码帧作为起始点来对这些帧间编码帧进行编码。以这种方式，对于第二版本不对帧内编码帧进行编码。由于与帧间编码帧相比，就比特率而言帧内编码帧显著更昂贵，与彼此独立地编码两个版本相比，图像序列的编码的第一版本和第二版本的总比特率显著更低。测试已经示出这可以导致总比特率的30％的减少。为了进一步减少比特率，与当对图像帧序列中的第二(没有隐私遮蔽的版本)进行编码时相比，当对图像帧序列的第一版本(具有隐私遮蔽的版本)进行编码时，能够使用更高的压缩。通过设计，从监控观点具有隐私遮蔽的版本具有感兴趣的较少的细节并且可以因此被更加压缩。
在编码之后，对图像序列的编码的第二版本进行加密。以该方式，仅仅授权用户将能够观看编码的第二版本中的保护对象。
此外，提供单流单输出序列，而非两个单独的流。在单个流中，通过交织来组合包括隐私遮蔽的编码帧，和不包括隐私遮蔽的加密编码帧。因此，接收端既不必需具体地适于接收两个单独的流，也不必需将两个单独流作为对来处理。
第二编码序列的图像帧可以被隐藏在输出序列中。这可以通过为第二编码序列的帧间编码图像帧提供防止它们被标准化图像解码器解码的指示来实现。以这种方式，标准化解码器可以忽视第二编码序列的图像帧并且将因此仅仅对第一编码序列的帧内编码和帧间编码帧进行解码。因此，标准化解码器将对其中借助于隐私遮蔽来保护对象的图像序列的版本进行解码。然而，为了对隐藏的图像帧进行解码，需要定制解码器。
通过标准化解码器意味着被配置为对是标准化视频编码格式化的视频进行解码的解码器。H.264/AVC/MPEG-4部分10和H.265/HEVC/MPEG-H部分2是这样的标准的示例。
指示可以被提供在第二编码序列的帧间编码图像帧的报头中。以这种方式，解码器可以在不用必须对帧进行解码的情况下容易地访问信息。
可以以不同的方式——例如，通过在报头中设置标志来实施指示。指示隐藏的图像帧的便利的方式是利用在手头上的标准未被指定的报头中的比特或比特组合。例如，在H.264和H.265标准中，为网络抽象层(NAL)单元提供包括NAL单元的类型的报头信息。可以通过设置NAL的值、与第二编码序列的帧间编码图像帧相关联的NAL单元的单元类型来提供指示。可以将值设置为指示NAL单元不应当被标准化解码器解码。因此，通过以这种方式提供指示，标准化解码器将自动地忽视与NAL单元相关联的帧间编码图像帧。然而，定制解码器可以被专门设计为基于指示来识别这些帧间编码帧。
如以上解释的，标准化解码器可以忽视第二编码序列的帧间编码帧，而定制解码器反而可以识别和解码第二编码序列的帧间编码帧。因为第二编码序列与第一编码序列共享帧内编码帧，定制解码器需要对第一编码序列的帧内编码帧进行解码以便对第二编码序列的帧间编码帧进行解码。然而，不应当在定制解码器处显示第一编码序列的解码的帧内编码帧，这是因为它们包括隐私遮蔽(定制解码器的角色是对没有隐私遮蔽的序列进行解码)。
存在避免在定制解码器处显示第一编码序列的帧内编码帧的若干方式。
在第一方法中，定制解码器被专门设计为不在目的用于显示的最后的解码序列中包括帧内编码帧。
在第二方法中，在编码期间，为第一编码序列的帧内编码帧提供它们不应当被显示的指示。以那种该方式，定制解码器将不示出帧内编码帧。然而，该方法的缺点是，标准化解码器将也不示出帧内编码帧。为了应对该缺点，该方法可以进一步包括，在每一个帧内编码图像帧之后，向第一编码序列添加空的帧间编码图像帧。当被解码和显示时，空的帧间编码图像帧将显现为帧内编码图像帧的副本。
图像帧序列可以描绘隐私要被保护的不同类型的对象。例如，一种类型的对象可以是人，另一种类型可以是汽车牌照，并且又一种类型可以是特定建筑物。在另一个示例中，一种类型的对象是第一类别的人(诸如商店中的顾客)，并且另一种类型的对象是第二类别的人(诸如商店中的杆)。在这种情况下，可以为序列的第一版本的图像帧提供隐私遮蔽以保护隐私要被保护的所有类型的对象的隐私，并且可以为序列的第二版本的图像帧提供隐私遮蔽以保护除第一类型对象之外的隐私要被保护的所有类型对象的隐私。这允许给出看见第一类型对象而不看见其他类型的对象的用户授权。
可以扩展以上方法以便允许对不同的对象类型给出不同的用户授权。更具体地，该方法可以进一步包括：
生成图像帧序列的第三版本，其中，为序列的第三版本的图像帧提供隐私遮蔽以保护除第二类型对象之外的隐私要被保护的所有类型对象的隐私；
将图像帧序列的第三版本编码为帧间编码图像帧的作为第三编码序列，其中，通过使用第一编码序列的帧内编码图像帧来对第三编码序列的帧间编码图像帧进行编码，
对第三编码序列的帧间编码图像帧进行加密；并且
通过交织第一编码序列、第二编码序列和第三编码序列的图像帧来将第三编码序列与第一编码序列和第二编码序列合并到单个输出序列中。
利用这种方法，生成图像帧序列的第三版本。在第三版本中，提供隐私遮蔽以保护除第二类型对象之外的所有类型对象的隐私。然后通过使用第一编码序列的帧内编码帧来以与序列的第二版本类似的方式对序列的第三版本进行编码。从第二编码序列的图像帧，授权用户可以对第二类型对象进行解密、解码和显示。从第三编码序列的图像帧，授权用户可以对第三类型的对象进行解密、解码和显示。
第二编码序列典型地仅仅包括帧间编码图像帧。这些帧间编码图像帧可以被布置在连续帧间编码图像帧的子序列中。可以通过使用第一编码序列的帧内编码图像帧作为编码的起始点来编码子序列。例如，可以参考帧内编码图像帧的解码版本来对子序列的第一帧间编码帧进行编码。可以参考第一帧间编码图像帧的解码版本，等等来对子序列的接下来的帧间编码帧进行编码。
根据第二方面，提供一种用于对描绘隐私要被保护的对象的图像帧序列进行编码的设备，包括：
接收器，被配置为接收要被编码的图像帧序列，其中，图像帧序列描绘隐私要被保护的对象；
隐私遮蔽器，被配置为生成图像帧序列的第一版本，其中，为序列的第一版本的图像帧提供隐私遮蔽以保护在图像帧序列中描绘的对象的隐私；
编码器，被配置为将图像帧序列的第一版本编码为帧内编码图像帧和帧间编码图像帧的第一编码序列，并且将图像帧序列的第二版本编码为帧间编码图像帧的第二编码序列，其中，不为所述图像帧序列的第二版本的图像帧提供保护在图像帧序列中描绘的对象的隐私的隐私遮蔽，并且其中，通过使用第一编码序列的帧内编码图像帧来对第二编码序列的帧间编码图像帧进行编码；
加密器，被配置为对第二编码序列的帧间编码帧进行加密；以及
交织器，被配置为通过对第一编码序列和第二编码序列的图像帧进行交织来将第一编码序列和第二编码序列合并到单个输出序列中。
根据第三方面，提供一种相机，该相机包括：
图像传感器，被配置为捕捉描绘隐私要被保护的对象的图像帧序列，以及
被安排为接收由图像传感器捕捉的图像帧序列并且将所接收的图像帧序列编码到单个输出序列中的根据第二方面的设备。
根据第四方面，提供一种计算机可读介质，该计算机可读介质上存储有计算机代码指令(非暂时性)，当计算机代码指令由处理器执行时，适于执行第一方面的方法。
第二方面、第三方面和第四方面可以大体上具有与第一方面相同的特征和优点。
根据第五方面，提供一种对图像帧的编码序列进行解码的方法，该图像帧的编码序列中的对象的隐私要被保护，该方法包括：
接收图像帧的编码序列，
其中，图像帧的编码序列包括图像帧的第一编码序列和第二编码序列的交错图像帧，
其中，图像帧的第二编码序列包括通过使用第一编码序列的帧内编码图像帧而被编码的帧间编码图像帧，
其中，对象的隐私通过第一编码序列的图像帧中的隐私遮蔽、以及第二编码序列中的加密被保护；
从图像帧的编码序列中提取第一编码序列的帧内编码图像帧和第二编码序列的帧间编码图像帧，
对第二编码序列的帧间编码图像帧进行解密，
对第一编码序列的帧内编码帧和第二编码序列的解密的帧间编码图像帧进行解码，其中，通过使用第一编码序列的解码帧内编码帧对解密的帧间编码图像帧进行解码；并且
第二编码序列的解码的、解密的帧间编码图像帧形成用于显示的解码序列。
可以在定制解码器中执行以上解码方法。定制解码器可以相应地对第一编码序列的帧内编码帧和第二编码序列的帧间编码帧进行解码。然而，定制解码器仅仅包括用于显示的结果而产生的序列中的解码的帧间编码帧。
如以上解释的，可以为第二编码序列的帧间编码图像帧提供防止它们被标准化解码器解码的指示。在提取的步骤中，指示可以用于识别图像帧的编码序列中的帧间编码图像帧。指示因此用信号通知解码器从哪些帧中提取所接收的编码序列。
所接收的编码序列中的帧与指示显示它们的时间点的时间戳相关联。具体地，为第一编码序列的帧内编码帧和第二编码序列的帧间编码图像帧提供指示显示它们的时间点的时间戳。然而，因为解码器不在显示序列中包括帧内编码帧，所以在帧内编码帧应当已经位于其中的显示序列中在时间戳之间将有间隙。为了应对该问题，该方法可以进一步包括调整第二编码序列的帧间编码图像帧的时间戳，以便补偿没有被包括在用于显示的解码序列中的第一编码序列的帧内编码帧。
根据第六方面，提供一种对图像帧的编码序列进行解码的设备，在该图像帧的编码序列中对象的隐私要被保护，该设备包括：
接收器，被配置为接收图像帧的编码序列，
其中，图像帧的编码序列包括图像帧的第一编码序列和第二编码序列的交错图像帧，
其中，图像帧的第二编码序列包括通过使用第一编码序列的帧内编码图像帧而被编码的帧间编码图像帧，
其中，对象的隐私通过第一编码序列的图像帧中的隐私遮蔽以及第二编码序列中的加密被保护；
帧提取器，被配置为从图像帧的编码序列中提取第一编码序列的帧内编码图像帧和第二编码序列的帧间编码图像帧，
解密器，被配置为对第二编码序列的帧间编码图像帧进行解密，
解码器，被配置为对第一编码序列的帧内编码帧和第二编码序列的解密的帧间编码图像帧进行解码，其中，通过使用第一编码序列的解码帧内编码帧对解密的帧间编码图像帧进行解码；以及从第二编码序列的解码的、解密的帧间编码图像帧形成用于显示的解码序列。
第六方面可以通常具有与第五方面相同的特征和优点。进一步请注意，本发明涉及特征的所有可能组合，除非另有明确的陈述。
附图说明
通过参考附图(其中将对类似的要素使用相同的附图标记)进行的以下对本发明的实施例的说明性的且非限制性的详细描述将更好地理解本发明的以上以及附加的目的、特征和优点，在附图中：
图1示意地图示出其中可以实施本发明的实施例的系统。
图2示意地图示出根据实施例的编码设备。
图3是根据实施例的编码方法的流程图。
图4示意地图示出根据另外的实施例的编码设备。
图5示意地图示出根据又一些另外的实施例的编码设备。
图6是根据实施例的解码方法的流程图。
图7示意地图示出根据实施例的定制解码设备。
图8示意地图示出标准化解码设备的操作。
具体实施方式
图1图示出包括摄像机11和客户端设备12的系统1。摄像机11被安排为例如经由有线或无线网络来与客户端设备12通信。摄像机11可以是监视相机。
相机11包括图像传感器111以及编码设备113。相机11还可以包括处理设备112。处理设备112和编码设备113可以是相机11的图像处理流水线114的一部分。
图像传感器111被安排为捕捉图像帧序列115，即，视频。图像帧序列115可以描绘隐私要被保护的一个或多个对象。例如，所描绘的一个或多个对象可以是人、汽车的牌照、建筑物、标志等等。
图像传感器111可以将图像帧序列115转发到图像处理流水线114的处理设备112，图像帧序列115在此经受如在现有技术中已知的图像处理。作为处理的结果，处理设备112向编码设备113提供图像帧的已处理序列116。
以下将更详细地描述的编码设备113接收图像帧序列116并且将其编码到编码图像帧的单个输出序列117中。简言之，输出序列117包括其中借助于隐私遮蔽来保护一个或多个对象的编码图像帧，以及其中借助于加密来保护一个或多个对象的编码图像帧两者。
客户端设备12可以包括标准化解码设备121、定制解码设备122或包括这两者。标准化解码设备121符合诸如H.264或H.265，并且对在手头上的遵循标准的的规范的视频进行解码。相比之下，定制解码器122被专门设计为对图像帧的编码序列117进行解码，所述图像帧的编码序列117包括借助于隐私遮蔽来保护一个或多个对象的编码图像帧，以及借助于加密来保护一个或多个对象的编码图像帧两者。
客户端设备12还可以包括用于显示解码视频的显示器123。替换地，客户端设备12可以向外部显示器发送解码视频。
标准化121和/或定制122解码设备接收图像帧的编码序列117。如下面将更详细地解释，标准化解码设备121忽视其中借助于加密来保护一个或多个对象的编码的图像帧。取而代之的是，标准化解码设备121将对其中借助于隐私遮蔽来保护一个或多个对象的图像帧进行解码。因此，标准化解码设备121仅仅对其中一个或多个对象通过隐私遮蔽被保护的图像帧进行解码。因而，标准化解码设备121产生其中一个或多个对象通过隐私遮蔽被保护的图像帧的解码序列124。相比之下，定制解码设备122产生一个或多个对象是可见的图像帧的解码序列125。
在图2中更详细地图示出编码设备113。编码设备113包括接收器201、隐私遮蔽器202、编码器203、加密器204，以及交织器205。
编码设备113因此包括被配置为实施设备113的功能的各个组件201、202、203、204、205。具体地，每个图示出的组件对应于设备113的功能。通常，设备113可以包括被配置为实施组件201、202、203、204、205并且更具体地实施它们的功能的电路。
在硬件实施中，组件201、202、203、204、205中的每一个可以对应于专用于并且具体被设计为提供组件的功能的电路。电路可以是一个或多个集成电路的形式，诸如一个或多个专用集成电路或一个或多个现场可编程门阵列。作为示例，编码器203可以因此包括电路，当在使用中时，该电路对图像帧序列的第一版本和第二版本进行编码。
在软件实施中，电路可以替代地是与存储在诸如非易失性存储器之类的(非暂时性)计算机可读介质上的、使设备104执行在本文公开的任何方法的计算机代码指令相关联的诸如微处理器之类的处理器的形式。非易失性存储器的示例包括只读存储器、闪速存储器、铁电RAM、磁性计算机存储设备、光盘，等等。在软件情况中，组件201、202、203、204、205可以因此每个对应于存储在计算机可读介质上的计算机代码指令的一部分，当指令由处理器执行时，使设备113执行组件的功能。
应当理解，也可以具有硬件和软件实施的组合，意味着，可以在硬件中实施组件201、202、203、204、205中的一些的功能，并且在软件中实施其他功能。
现在将参考图2和图3的流程图来描述当对描绘隐私要被保护的对象的图像帧序列进行编码时编码设备113的操作。
在步骤E02中，接收器201接收图像帧序列116。顺序地接收图像帧序列116中的图像帧，并且编码设备113在接收到图像帧时一个接一个地处理图像帧。图像帧序列被图示为接收器块201中的白块的序列。接收器201将图像帧序列116转发到隐私遮蔽器202。在步骤E04中，隐私遮蔽器202生成图像帧序列216的第一版本216a。在序列的第一版本216a中，为图像帧提供一个或多个隐私遮蔽以保护在所接收的序列116的图像帧中描绘的一个或多个对象。为了进行此，隐私遮蔽器202可以首先在所接收的序列116的图像帧中检测隐私要被保护的一个或多个对象。为此目的，隐私遮蔽器202可以使用用于对象检测的任何已知的方法。例如，如果一个或多个对象是人类，可以使用用于在图像中检测人类的任何已知的方法。在一个或多个对象是活动对象的情况下，隐私遮蔽器202可以使用运动检测或跟踪方法，其允许通过研究所接收的图像帧序列116中的图像帧之间的之间来检测对象。
作为示例，隐私遮蔽器202可以存储或者可以访问背景图像。背景图像描绘在没有任何前景对象的情况下在场景中的背景。隐私遮蔽器202可以通过将图像帧与背景图像相比较来检测序列116的图像帧中的一个或多个对象。以那种方式，隐私遮蔽器202可以识别对应于一个或多个对象的图像帧中的那些像素。隐私遮蔽器202可以基于序列116的图像帧来进一步更新背景图像。例如，隐私遮蔽器202可以形成背景图像中的像素和不对应于一个或多个对象的图像帧中的像素的加权平均值。当在序列116中的随后的图像帧中检测到一个或多个对象时，然后可以使用更新的背景图像。
一旦已经检测到一个或多个对象，隐私遮蔽器202可以通过由使用一个或多个隐私遮蔽隐藏序列116的图像帧中的一个或多个对象，来生成图像序列的第一版本216a。替换地，隐私遮蔽器202可以通过将一个或多个隐私遮蔽添加到用于检测一个或多个对象的背景图像来生成图像序列的第一版本216a。可以将隐私遮蔽添加到与检测到的一个或多个对象相对应的覆盖像素位置。
隐私遮蔽可以通常是防止对象被查看的任何东西。其可以用于替换或覆盖对应于对象的图像数据。隐私遮蔽例如可以向区域添加均一颜色，使得不能够看见覆盖的对象的详情。替换地，遮蔽可以将图像的区域模糊或像素化，以便防止任何细节被看见。隐私遮蔽可以是实心(solid)的，使得不能通透过遮蔽看见场景。隐私遮蔽可以具有矩形的形状。然而，优选地，隐私遮蔽跟随对象的轮廓以允许诸如对象的手势，或者姿态之类的移动被看见。例如，其允许用户看见在那里有多少人位于特定区域内、人是在跑步、打架还是进行积极行为。如果隐私遮蔽被添加到背景图像，则隐私遮蔽可以是透明的以使对象后面的背景透过遮蔽表现出来。
隐私遮蔽器202将图像帧序列的第一版本216a转发到编码器203。图像帧序列的第一版本216a被图示为隐私遮蔽块202中的具有点图案的块的序列。
接收器201进一步将所接收的图像帧序列116作为图像帧序列的第二版本216b转发到编码器203。在图2的实施例中，图像帧序列的第二版本216b因此与所接收的图像帧序列116相同。在步骤E04中，编码设备113因此生成与所接收的图像帧序列116相同的所接收的图像帧序列116的第二版本216b。
然后，在步骤E06中，编码器203对图像帧序列的第一版本216a进行编码以产生第一编码序列207。编码器203例如根据H.265标准的H.264、使用帧内编码帧(I-帧)和帧间编码帧(P帧和/或B帧)对序列的第一版本216a中的图像帧进行编码。可以将图像帧编码为连续的图片组GOP，该连续的图片组规定哪些帧应当被帧内编码并且哪些帧应当被帧间编码。典型地，每个GOP开始于帧内编码帧，后面是一个或多个帧间编码帧序列。作为示例，在编码器块203的顶部图示出第一编码序列207的GOP的一部分。GOP中的第一帧被帧内编码(通过I表示)、第二帧参考帧内编码帧被帧间编码(通过P表示)、第三帧参考第二帧被帧间编码等等。
在步骤E08中，编码器203进一步将图像帧序列的第二版本216b编码为第二编码序列208。第二编码序列208仅仅包括帧间编码图像帧。当对序列的第二版本216b进行编码时，编码器203利用序列的第一(隐私遮蔽的)版本206的帧内编码帧。第二编码序列208包括连续的帧间编码图像帧的子序列。这些子序列中的每一个与第一编码序列207中的帧内编码帧相关联。第一编码序列207中的帧内编码帧用作起始点，即，用作起始参考帧，用于对第二编码序列208的相关联的子帧序列进行编码。第一编码序列207中的帧内编码帧用作第二编码序列208的相关联的子序列中的第一帧间编码帧的参考帧，但是也可以被用作第二编码序列208的相关联的子序列中的子序列帧间编码帧的参考帧。在编码器块203的底部图示出第二编码序列208的帧间编码帧的子序列。所图示的子序列与在编码器块203的上部示出的GOP帧内编码帧相关联。对帧内编码帧进行参考以编码子序列的第一帧间编码帧，而参考子序列中的先前帧对子序列的随后的帧间编码帧进行编码。
应当注意到，第一编码序列207的帧内编码帧和与帧内编码帧相关联的子序列的第一帧间编码帧对应于捕捉的视频中的相同的帧。两者之间的差别是，对象在第一个中被遮蔽而没有在另一个中被遮蔽。因此，通过转而对帧内编码帧进行参考，由第二编码序列的帧间编码帧所携带的唯一信息是在第一编码序列中隐私被遮蔽的一个或多个对象。
编码器203向交织器205转发第一编码序列207并且向加密器204转发第二编码序列208。
在步骤E10中，加密器204对第二编码序列208的帧间编码图像帧进行加密以产生向交织器205转发的加密且编码的第二序列209。具体地，加密器204对帧间编码图像帧的有效负载——即，由这些帧携带的编码数据进行编码。为此目的，可以使用任何已知的加密方案。例如，可以使用诸如AES256之类的对称加密算法或类似。由于第二编码序列208的帧间编码帧仅仅包括关于隐私在第一编码序列207中被遮蔽的一个或多个对象的信息，加密意味着仅仅一个或多个对象被加密。借助于具有在加密块204的底部的虚线图案的块的序列来图示出加密第二编码序列209。如图2中所示，在编码之后进行有利地加密。否则，存在编码损坏加密的风险。
在步骤E12中，交织器205合并第一编码序列207和第二编码序列209以产生编码帧的单个输出序列117。为了进行此，交织器205对第一编码序列207和第二编码序列209的帧进行交织。例如，并且如交织器块205中所图示的，交织器205可以在输出序列117中交替地包括来自第一编码序列207和第二编码序列209的帧。应当理解，可以以相反顺序执行步骤E10和E12。换句话说，可以在源自第二编码序列的帧间编码帧已经与第一编码序列的帧交错之后对其进行加密。
可以在输出序列117中隐藏第二编码序列209的帧间编码帧，使得标准化解码设备121忽视这些帧。为了隐藏帧，编码器203可以提供具有防止图像帧被标准化解码设备121解码的指示的第二编码序列208的图像帧。指示可以是使标准化解码设备121忽视所关注的帧的任何类型的指示。指示可以被提供在第二编码序列的帧间编码图像帧的报头中。更详细地，可以在输出序列117中的NAL单元中组织编码视频数据，即，帧内编码和帧间编码图像帧。在H.264和H.265标准中，提供具有报头信息的NAL单元，该报头信息将数据的类型包括在NAL单元中。报头信息后面是通过报头指定的类型的有效负载数据。例如，如果NAL单元携带帧内编码帧的数据，则报头信息可以指定数据是帧内编码帧。可以通过设置NAL的值、与第二编码序列的帧间编码图像帧相关联的NAL单元的单元类型来提供指示。可以将值设置为指示NAL单元不应当被标准化解码器解码。更具体地，给出32个可能值的五个比特可以被设置为指示根据H.264的NAL单元的类型。这些值——值0或范围24-31中的值中的一些在标准中是未指定的并且不影响解码处理。因此，通过将NAL单元类型设置为这些值之一，标准化解码器121将自动地忽视与这些NAL单元相关联的帧间编码图像帧。然而，定制解码器可以被专门设计为基于指示来识别这些帧间编码帧，如下面将更详细地解释。
在一些实施例中，编码器203可以将第一编码序列207的帧内编码帧设置为由H.265标准所支持的非显示帧。这意味着标准化解码器121或定制解码器122两者都将不在发送给显示器123的解码输出序列124、125中包括帧内编码帧的解码版本。然而，因为可以期望标准化解码设备121仍然显示帧内编码帧的内容，编码器203可以在第一编码序列207中的每个帧内编码图像帧之后添加空的帧间编码帧。这样的空帧可以被实施为P-skip帧。可以为空帧提供与先前的帧内编码帧相同的时间戳。
图4图示出当存在隐私要被检测的场景中的不同类型的对象时可以有用的替换实施例。图4中示出的编码设备413与图2的编码设备的不同之处在于，编码设备413包括生成图像帧序列的第二版本416b的隐私遮蔽器402。隐私遮蔽器402与隐私遮蔽器202类似地进行操作并且为图像帧序列的第二版本416b的图像帧提供隐私遮蔽。然而，尽管隐私遮蔽器202利用隐私遮蔽来保护第一版本216a的图像帧中的不同类型的对象的全部，但隐私遮蔽器402避免为第一类型对象提供隐私遮蔽。因此，除第一类型对象之外，所有类型对象都被隐藏在作为隐私遮蔽器402的输出的序列的第二版本416b的图像帧中。这通过利用点图案部分地填充的隐私遮蔽块402中的块的序列来图示出。
图5图示出相同的主题的又一替换实施例。图5的编码设备513与图4的编码设备413的不同之处在于，隐私遮蔽器402进一步生成图像帧序列的第三版本516b。隐私遮蔽器402为序列的第三版本516b的图像帧提供隐私遮蔽。更详细地，隐私遮蔽器利用隐私遮蔽来隐藏除第二类型对象之外的所有类型对象。因此，在作为隐私遮蔽器402的输出的第二版本416b和第三版本516b中，对象是可见的。否则编码设备513以与第二版本416b相同的方式处理第三版本516b。因此，在结果得到的输出流117中，第一编码序列207、第二编码序列209以及第三编码序列509的编码帧是交替的。
应当理解，图5实施例概括为情况——生成超过三个版本的图像序列，其中在第二版本、第三版本、第四版本等等中的不同一个中遮蔽不同类型的对象。还应当理解的是，存在其中在图像的序列的不同的版本中遮蔽不同数量的对象类型的实施例。在第一版本中，所有对象类型被遮蔽，在第二版本中，除一个对象类型之外的所有类型对象被遮蔽，在第三版本中，除两个对象类型之外的所有类型对象被遮蔽等等。
现在将参考图6的流程图和更详细地示出定制解码设备122的图7来描述定制解码设备122的操作。类似于编码设备113，可以在软件和/或硬件中实施解码设备122的不同的组件701、702、703、704、705如以上结合图2解释的。
在步骤D02中，接收器701的解码设备122接收由编码设备113产生的图像帧的编码序列117。将图像帧的编码序列117转发到帧提取器702。
在步骤D04中，帧提取器702提取第一编码序列207的帧内编码帧，以及第二编码序列209的帧间编码帧。换句话说，帧提取器702提取重构所接收的图像帧序列的第二版本216b(或在图4和图5的实施例中的第二版本416b和第三版本516b)所需要的那些帧。在其中图像帧的编码序列117还包括另外的编码序列509的帧间编码图像帧的图5中图示出的情形中，帧提取器702也提取那些帧间编码帧。
当从图像帧的编码序列117中提取帧时，帧提取器702可以利用指定帧的类型的报头信息。报头信息可以指定帧是帧内编码帧还是帧间编码帧。例如，可以经由NAL单元类型用信号通知帧的类型。因此，帧提取器702可以提取被指定为指定的帧内编码帧的所有帧。为了将第二编码序列209的帧间编码帧与第一编码序列207的帧间编码帧相区分，帧提取器702可以使用指示帧不应当被标准化解码器121解码的在以上描述的指示。具体地，帧提取器702可以识别包括这样的指示的帧间编码帧并且从序列117中提取它们。
将所提取的帧706转发到解密器703。在步骤D06中，解密器703对所提取的帧间编码帧的有效负载进行解密。值得注意地是，这需要为解密器703提供解密密钥，所述解密密钥与由编码设备113的加密器204使用的加密密钥匹配。因此，仅仅拥有解密密钥的用户可以对帧间编码帧进行解密。
接下来，在步骤D08中，解码器704继续对帧内编码帧和解密的帧间编码帧序列707进行解码。解码器704可以在这方面操作为标准H.264或H.265解码器。解码器704因此产生解码帧708序列。在与帧内编码帧相对应的解码帧708中的一些中，存在保护对象的隐私的隐私遮蔽，而在与帧间编码帧相对应的其它解码帧中，没有为至少一个类型的对象提供隐私遮蔽。因为仅仅应当由解码器704来显示后面的帧，即，没有隐私遮蔽的帧，在步骤D10中，形成显示序列125，其仅仅包括与解密的、解码的帧间编码帧相对应的帧。因此，在最后的显示序列125中，一个或多个对象是可见的。
典型地，帧内编码帧和帧间编码帧的序列707的帧与时间戳相关联。时间戳指示当帧要被显示时的时间点。优选地调整这些时间戳，以便补偿显示序列125中没有包括与帧内编码帧相对应的帧。在没有这样的调整的情况下，当重放显示序列125时，就存在围绕帧内编码帧的时间点的跳跃。可以通过在时间上移位和伸展帧间编码帧的时间戳来实现这。具体地，帧间编码帧的时间戳可以在在中时间上被插值，使得它们随着时间的推移被均匀分布。以示例的方式，假定序列707包括根据下述的帧与时间戳：
Figure BDA0002288884940000141
当帧内编码帧被移除时，时间戳可以根据以下被移位和伸展：
Figure BDA0002288884940000142
因此，可以在时间上移位GOP的第一帧间编码帧的时间戳，使得其被给出使GOP起始的帧内编码帧的时间戳。GOP的其他帧间编码帧的时间戳可以被插值，使得它们被均匀分布在通过使GOP起始的帧内编码帧和接下来的GOP的帧内编码帧的时间戳所跨过的时间间隔之上。
图8图示出标准化解码器121将如何处理图像的编码序列117。标准化解码器121接收图像的编码序列117。当读取所接收的序列117时，标准化解码器121忽视与第二编码序列相对应的帧间编码帧(图8中的虚线帧)。具体地，由于关于这些帧不应当被标准化解码器解码的指示，标准化解码器121忽视这些帧。因此，标准化解码器121继续解码与第一编码序列207相对应的帧并且将因此产生对应于初始图像序列的隐私遮蔽的第一版本216b的显示序列124。因此，在显示序列124中，通过隐私遮蔽来保护一个或多个对象。
将理解的是，本领域技术人员能够以许多方式修改以上所描述的实施例并且仍然使用在以上实施例中示出的本发明的优点。因而，本发明不应当被限制到示出的实施例，而是应当通过所附权利要求物来限定。另外地，如本领域技术人员所理解的，可以对示出的实施例进行组合。

Claims (14)

1.一种对描绘对象的图像帧序列(116)进行编码的方法，其中所述对象的隐私要被保护，所述方法包括：
接收(E02)要被编码的图像帧序列(116)，其中，所述图像帧序列(116)描绘隐私要被保护的不同类型的对象；
生成(E04)所述图像帧序列(116)的第一版本(216a)和第二版本(416b)，
其中，当生成所述图像帧序列的第一版本(216a)时，为所述第一版本(216a)的图像帧提供隐私遮蔽以保护隐私要被保护的所有类型对象的隐私，并且
其中，当生成所述图像帧序列的第二版本(416b)时，为序列的所述第二版本(216b)的图像帧提供隐私遮蔽以保护除第一类型对象之外的隐私要被保护的所有类型对象的隐私；
将所述图像帧序列的第一版本(216a)编码(E06)为帧内编码图像帧和帧间编码图像帧的第一编码序列(207)；
将所述图像帧序列的第二版本(416b)编码(E08)为帧间编码图像帧的第二编码序列(208)，其中，通过使用所述第一编码序列(207)的帧内编码图像帧来对所述第二编码序列(208)的帧间编码图像帧进行编码；
对所述第二编码序列(208)的帧间编码图像帧进行加密(E10)；并且
通过对所述第一编码序列(207)和所述第二编码序列(209)的图像帧进行交织来将所述第一编码序列(207)和所述第二编码序列(209)合并(E12)到单个输出序列(117)中。
2.根据权利要求1所述的方法，进一步包括：
为所述第二编码序列(208)的帧间编码图像帧提供防止它们被标准化图像解码器(121)解码的指示。
3.根据权利要求2所述的方法，其中，在所述第二编码序列(208)的帧间编码图像帧的报头中提供所述指示。
4.根据权利要求2或3所述的方法，其中，通过设置网络抽象层NAL的值、与所述第二编码序列(208)的帧间编码图像帧相关联的NAL单元的单元类型来提供所述指示，其中，所述值指示所述NAL单元不应当被标准化解码器(121)解码。
5.根据在先权利要求中的任何一项所述的方法，进一步包括：
为所述第一编码序列(207)的帧内编码图像帧提供它们不应当被显示的指示；并且
在所述帧内编码图像帧中的每个帧内编码图像帧之后向所述第一编码序列(207)添加P-skip帧。
6.根据权利要求5所述的方法，进一步包括：
生成所述图像帧序列(116)的第三版本(516b)，其中，为序列的所述第三版本(516b)的图像帧提供隐私遮蔽以保护除第二类型对象之外的隐私要被保护的所有类型对象的隐私；
将所述图像帧序列的第三版本(516b)编码为帧间编码图像帧的第三编码序列(508)，其中，通过使用所述第一编码序列(207)的帧内编码图像帧对所述第三编码序列(508)的帧间编码图像帧进行编码，对所述第三编码序列(508)的帧间编码图像帧进行加密；并且
通过交织所述第一编码序列、所述第二编码序列和所述第三编码序列的图像帧来将所述第三编码序列(509)与所述第一编码序列(207)和所述第二编码序列(209)合并到所述单个输出序列(117)中。
7.根据在先权利要求中的任何一项所述的方法，其中，所述第二编码序列(208)包括连续调解图像帧的子序列，所述连续调解图像帧的子序列通过使用所述第一编码序列(207)的帧内编码图像帧作为编码的起始点而被编码。
8.一种对描绘对象的图像帧序列(116)进行编码的设备(113、413、513)，其中所述对象的隐私要被保护，所述设备包括：
接收器(201)，被配置为接收要被编码的图像帧序列(116)，其中，所述图像帧序列描绘隐私要被保护的不同类型的对象；
第一隐私遮蔽器(202)，被配置为生成所述图像帧序列的第一版本(216a)，其中，当生成所述第一版本(216a)的图像帧时，所述第一隐私遮蔽器(202)被配置为向所述序列的第一版本(216a)的图像帧提供隐私遮蔽以保护隐私要被保护的所有不同类型的对象的隐私；
第二隐私遮蔽器(402)，被配置为生成所述图像帧序列的第二版本(416b)，其中，当生成所述第二版本(416b)的图像帧时，所述第二隐私遮蔽器(402)被配置为向所述第二版本(416b)的图像帧提供隐私遮蔽以保护除第一类型对象之外的隐私要被保护的所有类型对象的隐私；
编码器(203)，被配置为将所述图像帧序列的第一版本(216a)编码为帧内编码图像帧和帧间编码图像帧的第一编码序列(207)，并且将所述图像帧序列的第二版本(216b、416b)编码为帧间编码图像帧的第二编码序列(208)，其中，通过使用所述第一编码序列(207)的帧内编码图像帧来对所述第二编码序列(208)的帧间编码图像帧进行编码；
加密器(204)，被配置为对所述第二编码序列(208)的帧间编码帧进行加密；以及
交织器(205)，被配置为通过交织所述第一编码序列和所述第二编码序列的图像帧来将所述第一编码序列(207)和所述第二编码序列(209)合并到单个输出序列(117)中。
9.一种相机(11)，包括：
图像传感器(111)，被配置为捕捉描绘隐私要被保护的对象的图像帧序列，以及
根据权利要求8所述的设备(113、413、513)，所述设备(113、413、513)被安排为接收由所述图像传感器(111)捕捉的所述图像帧序列，并且将所接收的所述图像帧序列编码到单个输出序列中。
10.一种非暂时性计算机可读介质，在所述非暂时性计算机可读介质上存储有计算机代码指令，当由处理器执行时，所述计算机代码指令适于执行根据权利要求1至7中的任何一项所述的方法。
11.一种对图像帧的编码序列(117)进行解码的方法，在所述图像帧的编码序列(117)中对象的隐私要被保护，所述方法包括：接收(D02)描绘隐私要被保护的不同类型的对象的图像帧的编码序列(117)，
其中，所述图像帧的编码序列包括图像帧的第一编码序列(207)和第二编码序列(209)的交错图像帧，
其中，图像帧的所述第二编码序列(209)包括通过使用所述第一编码序列(207)的帧内编码图像帧而被编码的帧间编码图像帧，
其中，所有所述类型的对象的隐私在所述第一编码序列(207)的图像帧中通过隐私遮蔽被保护，
其中，在所述第二编码序列(209)的图像帧中通过隐私遮蔽来保护所述类型对象中的除第一类型对象之外的所有类型对象的隐私，并且
其中，所述第二编码序列(209)被加密；
从图像帧的所述编码序列(117)中提取(D04)所述第一编码序列(207)的帧内编码图像帧和所述第二编码序列(209)的帧间编码图像帧，
对所述第二编码序列(209)的帧间编码图像帧进行解密(D06)，
对所述第一编码序列(207)的帧内编码帧和所述第二编码序列(208)的解密的帧间编码图像帧进行解码(D08)，其中，通过使用所述第一编码序列(207)的解码的帧内编码帧来对所述解密的帧间编码图像帧进行解码；并且
从所述第二编码序列的解码的、解密的帧间编码图像帧来形成(D10)用于显示的解码序列(125)。
12.根据权利要求11所述的方法，其中，为所述第二编码序列(209)的帧间编码图像帧提供防止它们被标准化解码器(121)解码的指示，并且其中，在提取的步骤中，所述指示用于识别所述图像帧的编码序列(117)中的调解图像帧。
13.根据权利要求11或12所述的方法，其中，为所述第一编码序列(207)的帧内编码帧和所述第二编码序列(209)的帧间编码图像帧提供指示显示它们的时间点的时间戳，所述方法进一步包括：
调整所述第二编码序列(209)的帧间编码图像帧的所述时间戳，以便补偿没有被包括在用于显示的解码序列(125)中的所述第一编码序列(207)的帧内编码帧。
14.一种对图像帧的编码序列进行解码的设备(122)，在所述图像帧的编码序列中对象的隐私要被保护，所述设备包括：
接收器(701)，被配置为接收描绘隐私要被保护的不同类型的对象的图像帧的编码序列(117)，
其中，所述图像帧的编码序列(117)包括图像帧的第一编码序列(207)和第二编码序列(209)的交错图像帧，
其中，图像帧的所述第二编码序列(209)包括通过使用所述第一编码序列(207)的帧内编码图像帧而被编码的帧间编码图像帧，
其中，所有所述类型的对象的隐私在所述第一编码序列(207)的图像帧中通过隐私遮蔽被保护，
其中，在所述第二编码序列(209)的图像帧中通过隐私遮蔽来保护所述类型对象中的除第一类型对象之外的所有类型对象的隐私，并且
其中，所述第二编码序列(209)被加密；
帧提取器(702)，被配置为从所述图像帧的编码序列(117)中提取所述第一编码序列(207)的帧内编码图像帧和所述第二编码序列(209)的帧间编码图像帧，
解密器(703)，被配置为对所述第二编码序列(209)的帧间编码图像帧进行解密，
解码器(704)，被配置为对所述第一编码序列(207)的帧内编码帧和所述第二编码序列(208)的解密的帧间编码图像帧进行解码，其中，通过使用所述第一编码序列(207)的解码的帧内编码帧来对所述解密的帧间编码图像帧进行解码；并且从所述第二编码序列的解码的、解密的帧间编码图像帧来形成用于显示的解码序列(125)。
CN201911171669.6A 2018-12-20 2019-11-26 对图像帧序列进行编码的方法、设备、相机和介质 Active CN111355964B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18214316.4A EP3672244B1 (en) 2018-12-20 2018-12-20 Methods and devices for encoding and decoding a sequence of image frames in which the privacy of an object is protected
EP18214316.4 2018-12-20

Publications (2)

Publication Number Publication Date
CN111355964A true CN111355964A (zh) 2020-06-30
CN111355964B CN111355964B (zh) 2021-08-13

Family

ID=64746300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911171669.6A Active CN111355964B (zh) 2018-12-20 2019-11-26 对图像帧序列进行编码的方法、设备、相机和介质

Country Status (6)

Country Link
US (1) US10964182B2 (zh)
EP (1) EP3672244B1 (zh)
JP (1) JP6964647B2 (zh)
KR (1) KR102219661B1 (zh)
CN (1) CN111355964B (zh)
TW (1) TWI712311B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489990A (zh) * 2021-06-30 2021-10-08 杭州海康威视数字技术股份有限公司 视频编码方法、装置、电子设备及存储介质
CN113489991A (zh) * 2021-06-30 2021-10-08 杭州海康威视数字技术股份有限公司 视频编码方法、装置、视频编码设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3996367B1 (en) * 2020-11-05 2023-07-26 Axis AB Method and image-processing device for video processing
EP4020998A1 (en) * 2020-12-23 2022-06-29 Axis AB Encoding of modified video
US20220279244A1 (en) * 2021-03-01 2022-09-01 Charter Communications Operating, Llc Blurred viewer monitoring and advertisement system
DE102022202943A1 (de) 2022-03-25 2023-09-28 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanordnung mit Zugriffsberechtigung, Verfahren, Computerprogramm und Speichermedium
DE102022202941A1 (de) 2022-03-25 2023-09-28 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanordnung, Verfahren zur Überwachung, Computerprogramm und Datenträger
CN115426507B (zh) * 2022-07-29 2023-12-05 宁波星巡智能科技有限公司 基于目标检测的隐私视频传输、播放方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2972886A1 (fr) * 2011-03-17 2012-09-21 Thales Sa Procede de compression/decompression de flux video partiellement masques, codeur et decodeur mettant en oeuvre le procede
CN108289202A (zh) * 2018-01-29 2018-07-17 北京大椽科技有限公司 一种智能网络监控方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179712A1 (en) 2001-07-24 2004-09-16 Gerrit Roelofsen Method and sysem and data source for processing of image data
JP4402998B2 (ja) * 2004-03-29 2010-01-20 三菱電機株式会社 マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置
EP1831849A1 (en) 2004-12-27 2007-09-12 Emitall Surveillance S.A. Efficient scrambling of regions of interest in an image or video to preserve privacy
US8867853B2 (en) 2011-06-28 2014-10-21 Stoplift, Inc. Image processing to prevent access to private information
RU2016115055A (ru) * 2013-09-20 2017-10-25 Вид Скейл, Инк. Системы и способы обеспечения кодирования 3d справочной таблицы для масштабируемости цветовой гаммы
EP2874396A1 (en) 2013-11-15 2015-05-20 Everseen Ltd. Method and system for securing a stream of data
DE102013226802A1 (de) 2013-12-20 2015-06-25 Siemens Aktiengesellschaft Schutz von Privatsphäre in einem Videostrom mittels einer redundanten Slice
US10297126B2 (en) * 2015-09-16 2019-05-21 Sensormatic Electronics, LLC Privacy masking video content of alarm exceptions and mask verification
EP3340623B1 (en) * 2016-12-20 2023-04-12 Axis AB Method of encoding an image including a privacy mask

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2972886A1 (fr) * 2011-03-17 2012-09-21 Thales Sa Procede de compression/decompression de flux video partiellement masques, codeur et decodeur mettant en oeuvre le procede
CN108289202A (zh) * 2018-01-29 2018-07-17 北京大椽科技有限公司 一种智能网络监控方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SNJEZANA RIMAC-DRLJE等: "Scalable Video Coding extension of the H.264/AVC standard", 《2008 50TH INTERNATIONAL SYMPOSIUM ELMAR》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489990A (zh) * 2021-06-30 2021-10-08 杭州海康威视数字技术股份有限公司 视频编码方法、装置、电子设备及存储介质
CN113489991A (zh) * 2021-06-30 2021-10-08 杭州海康威视数字技术股份有限公司 视频编码方法、装置、视频编码设备及存储介质

Also Published As

Publication number Publication date
EP3672244A1 (en) 2020-06-24
US10964182B2 (en) 2021-03-30
TW202032981A (zh) 2020-09-01
JP6964647B2 (ja) 2021-11-10
US20200202689A1 (en) 2020-06-25
KR20200077394A (ko) 2020-06-30
JP2020120370A (ja) 2020-08-06
KR102219661B1 (ko) 2021-02-23
CN111355964B (zh) 2021-08-13
EP3672244B1 (en) 2020-10-28
TWI712311B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN111355964B (zh) 对图像帧序列进行编码的方法、设备、相机和介质
Zhang et al. Hiding privacy information in video surveillance system
US20080267403A1 (en) System and method for privacy enhancement via adaptive cryptographic embedding
Fallahpour et al. Tampering detection in compressed digital video using watermarking
Carrillo et al. Compression independent reversible encryption for privacy in video surveillance
KR20130067530A (ko) 영상 보안 전송 장치 및 방법과 그 수신 장치 및 방법
CA2592511A1 (en) Efficient scrambling of regions of interest in an image or video to preserve privacy
JP4825449B2 (ja) 映像配信システム
Guo et al. An efficient motion detection and tracking scheme for encrypted surveillance videos
KR101460552B1 (ko) 프라이버시 영역의 마스킹 및 복원 방법
Carrillo et al. Compression independent object encryption for ensuring privacy in video surveillance
CN112543327B (zh) 对视频流提供隐私屏蔽的方法、编码器系统和存储介质
Ma et al. Lossless ROI privacy protection of H. 264/AVC compressed surveillance videos
Paruchuri et al. Video data hiding for managing privacy information in surveillance systems
Ruchaud et al. Privacy protecting, intelligibility preserving video surveillance
CN112351275A (zh) 一种基于原始图像的特征区域隐私保护的方法及装置
US20230269422A1 (en) Selective video modification
Asikuzzaman et al. A blind and robust video watermarking scheme using chrominance embedding
JP4654330B2 (ja) 映像変更装置、映像変更方法および映像変更プログラム
Ruchaud et al. ASePPI: Robust Privacy Protection Against De-Anonymization Attacks.
US11463240B2 (en) Methods and image processing devices for encoding and decoding private data
US20160337673A1 (en) Protection of privacy in a video stream by means of a redundant slice
Su et al. Partial frame content scrambling in H. 264/AVC by information hiding
Yabuta et al. Privacy protection by masking moving objects for security cameras
Noorkami Secure and Robust compressed-domain video watermarking for H. 264

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant