CN108206953B - 对隐私屏蔽图像进行编码 - Google Patents

对隐私屏蔽图像进行编码 Download PDF

Info

Publication number
CN108206953B
CN108206953B CN201711346423.9A CN201711346423A CN108206953B CN 108206953 B CN108206953 B CN 108206953B CN 201711346423 A CN201711346423 A CN 201711346423A CN 108206953 B CN108206953 B CN 108206953B
Authority
CN
China
Prior art keywords
privacy
mask
image
pixels
privacy mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711346423.9A
Other languages
English (en)
Other versions
CN108206953A (zh
Inventor
维克托·埃德帕尔姆
袁嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN108206953A publication Critical patent/CN108206953A/zh
Application granted granted Critical
Publication of CN108206953B publication Critical patent/CN108206953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明涉及对隐私屏蔽图像进行编码，具体地，本发明涉及用于将包括多个像素的图像编码为视频流的编码图像帧的方法。该方法包括：接收该图像的像素划分图像数据，其中该像素划分图像数据表示该图像的像素；将该图像的像素组合为编码单元，其中每个编码单元包括多个邻近像素；接收定义隐私屏蔽的数据和隐私屏蔽的图形特性；识别具有位于该隐私屏蔽中的一个或多个像素的所有编码单元；扩展该隐私屏蔽以与所识别的编码单元对齐，由此形成覆盖该识别的编码单元的重定义隐私屏蔽；通过将该重定义隐私屏蔽和所接收的图形特性应用于该图像来生成隐私屏蔽图像；以及将该隐私屏蔽图像编码为视频流的编码图像帧。

Description

对隐私屏蔽图像进行编码
技术领域
本发明涉及图像的隐私屏蔽，尤其涉及隐私屏蔽图像的编码。
背景技术
监控照相机使用于多种不同的应用，用于监控室内和户外的多种环境。描述捕获场景的图像例如可由操作者或守卫者监控。在某些情况下，可能需要对被捕获图像的一部分进行与另一部分不同方式的处理，如在出于个人诚信的考虑需要屏蔽图像的一部分时。例如，其可发生在照相机置于建筑物内部或公共汽车或火车内部而外部环境被排除于照相机的监控之外时。另一示例为有窗户的建筑被监控并需要避免通过窗户监控建筑物内部时。
在这些实例中，隐私屏蔽可在监视装置启动期间由操作者定义。隐私屏蔽可为静态或动态。静态隐私屏蔽通常由操作者在图形用户界面上通过标记图像上要屏蔽的区域来建立。于是静态隐私屏蔽保持不变，直到操作者决定将其移动或移除。动态隐私屏蔽可随时间变化。类似于动态隐私屏蔽，操作者可标记图像中希望屏蔽的区域。操作者还可输入设置，确定隐私屏蔽何时应当被应用。例如，操作者可在图像中的窗口周围绘制矩形，并进行设置，使得如果在标记区域中检测到面部，则该面部被屏蔽掉。这种动态隐私屏蔽可能是有益的，因为只要不满足为隐私屏蔽设置的条件，则不存在阻止视图的屏蔽，但只要例如面部检测算法、对象检测算法或运动检测算法检测到条件被满足，则隐私屏蔽就被应用。隐私屏蔽可作为覆盖层而应用于图像。某些隐私屏蔽采用黑色或其他颜色的不透明区域的形式。其他隐私屏蔽采用模糊的形式，其中隐私屏蔽区域中的图像数据被“抹掉”，或像素化，其隐私屏蔽内部的图像被划分为像素化的块并且像素化块的所有像素被给定相同的值，以使图像在隐私屏蔽区域内部呈现分块状。在多种情况下，隐私屏蔽为矩形，或可为另一种多边形，或具有更接近符合要遮挡区域形状的其他任何形状。
当照相机捕获到图像时，图像被正常传输至使用站点，如控制中心，在这里图像可被浏览和/或存储。图像还可存储于所谓的“边缘存储器”中，即位于照相机处的存储器，其可以在照相机板上(如SD卡)，或者也可连接于照相机，如NAS(网络连接存储器)。在传输或边缘存储之前，图像被编码以节省带宽和存储。编码可以多种不同的方式执行，例如，根据H.264标准或其他编码标准。即使不是所有情况，大多数情况下视频编码也是有损的，这表示呈现于原始图像的信息在编码期间丢失并且无法在解码时重新获得。在减少表示原始图像所需的比特数与结果图像质量之间存在权衡。已致力于开发编码机制以尽可能有效使用可用比特。
然而在编码期间，编码器自由使用当前和先前图像帧(所谓预测编码)中的所有可用信息。因此，编码器例如可通过参考当前编码图像帧或参考图像帧的另一部分来选择编码隐私屏蔽区域，结果原始隐私屏蔽区域在解码时将具有不同于原始隐私屏蔽区域的外观。特别地，利用过于智能的编码器算法或过于繁杂的压缩算法，原始隐私屏蔽可能会被干扰。
以下将讨论编码隐私屏蔽图像的某些问题。
根据第一情形：场景由捕获场景视频序列的视频照相机监控。在该场景下，场景上半部分中的所有面部被描述为被照相机捕获。而场景下半部分被定义为隐私区，在此检测到的面部应当被隐私屏蔽。一个人从场景的上半部分走到下半部分。在场景的第一帧中，此人位于场景的上半部分，面部清晰可见。在场景的第二帧中，此人位于场景下半部分，即在定义的隐私区中，隐私屏蔽应用于第二帧，屏蔽人的面部。即，人脸被隐藏或不可辨认。当编码包括第一和第二帧的视频时，此人最有可能被识别为视频中的移动对象并且因此可为P块编码。在这种情况下，参考描述面部的先前帧1以P块编码，将使面部在帧2也清晰可见，即使隐私屏蔽在编码之前应用于第二图像。
根据第二情形：场景由捕获场景视频序列的视频照相机监控。在该场景中，场景的左半部分中的所有面部被描述为被照相机捕获。而场景的右半部分被定义为隐私区，在此检测到的面部应当被隐私屏蔽。第一个人站在场景的左半部分，第二个人站在场景的右半部分。因此，在场景的帧中，第二个人的面部在编码该帧之前被隐私屏蔽。然而，在编码时，第一个人未被屏蔽的面部可由编码器感知为足够相似于直接复制到第二个人的面部的位置。其将在没有面部的隐私区生成可见面部，并且在这种情况下，甚至不是“正确的”面部。
因此，需要改进对隐私屏蔽的视频图像的编码。
发明内容
鉴于上述情况，本发明的目标在于在将视频序列的隐私屏蔽图像编码为视频流的编码图像帧方面提供改进。
根据第一方面，提供了一种用于将包括多个像素的图像编码为视频流的编码图像帧的方法。该方法包括：接收该图像的像素划分图像数据，其中该像素划分图像数据表示该图像的像素；将该图像的像素组合为编码单元，其中每个编码单元包括多个邻近像素；接收定义隐私屏蔽的数据和隐私屏蔽的图形特性；识别具有位于该隐私屏蔽中的一个或多个像素的所有编码单元；扩展该隐私屏蔽以与所识别的编码单元对齐，由此形成覆盖该识别的编码单元的重定义隐私屏蔽；通过将重定义隐私屏蔽和所接收的图形特性应用于该图像来生成隐私屏蔽图像；以及根据如下步骤将该隐私屏蔽图像编码为该视频流的编码图像帧：基于与该重定义隐私屏蔽之外的像素有关的图像数据，禁用位于该图像的重定义隐私屏蔽中的像素的空间预测编码；基于与该视频流的任意参考图像帧的任意隐私屏蔽之外的像素有关的图像数据，禁用位于该图像的重定义屏蔽中的像素的时间预测编码；以及基于与该视频流中的参考图像帧的隐私屏蔽内部的像素有关的图像数据，允许位于图像的重定义隐私屏蔽中的像素的时间预测编码。
因此，本方法基于重定义隐私屏蔽，以使该隐私屏蔽编码被定义为包括与要插入该图像中的隐私屏蔽至少部分重叠的所有编码单元。进一步地，该编码器还将根据上文而被指示。因此，该编码器将被限制以不允许从本帧或参考帧中的隐私屏蔽的外部进行任何预测编码，无论是帧内还是帧间。然而，不同帧的隐私屏蔽区域之间的帧间编码是允许的。
因此，与编码有关的损坏该隐私屏蔽图像的隐私屏蔽区域的风险也会被减少，即使无法完全移除。
实现预测编码限制的一种方式为将该隐私屏蔽图像的隐私屏蔽区域编码为独立切片(和/或瓦片)，因为不允许对这些边界进行预测。另一实现选项为，设置该编码器独自使用帧内编码单元，用于编码该隐私屏蔽图像的隐私屏蔽区域。
该图像的隐私屏蔽与该参考图像帧的隐私屏蔽可进一步关联于相应隐私屏蔽的分类，其中允许时间预测编码的动作可进一步基于相应隐私屏蔽的分类。例如，进一步的限制可被设置为不使用来自具有不同类型或屏蔽程度的隐私屏蔽区域的预测编码。将隐私屏蔽区域进行分类允许增加编码预测(帧间和帧内)，因此提高了编码效率。此外，来自不同类别区域的信息将不被混合。
相应隐私屏蔽的分类可包括由相应隐私屏蔽所屏蔽的对象的类型，其中该方法可进一步包括：当由图像的隐私屏蔽所屏蔽的对象类型和由参考图像帧的隐私屏蔽所屏蔽的对象类型相同时，基于与该参考图像帧的隐私屏蔽内部的像素有关的图像数据，发起该图像的重定义隐私屏蔽内的像素的时间预测编码。其将允许屏蔽区域的更加有效的编码。例如，关于屏蔽面部的图像数据可在另一帧中被重用。其将使编码更有效，同时节省存储器和带宽。
相应隐私屏蔽的分类可包括相应隐私屏蔽的隐私等级，其中该方法可进一步包括：在该图像的隐私屏蔽的隐私等级高于该参考图像帧的隐私屏蔽的隐私等级时，基于与该参考图像帧的隐私屏蔽内部的像素有关的图像数据，禁用该图像的重定义隐私屏蔽中的像素的时间预测编码。
重用来自具有高于当前区域隐私等级的区域的信息将保证隐私屏蔽等级如果未提高则被保持，同时提供编码增益。因此，该编码器在编码期间由于降低屏蔽区域的隐私等级而公开多于所设定外观特征的问题被避免。这可根据如下步骤说明：假设一个隐私区(A)被定义，以使其中的所有面部应被模糊，而一个隐私区(B)被定义，以使其中所有文本应被模糊。在隐私区(A)和(B)的屏蔽对象之间允许时间预测将提供(A)中的面部基于(B)中的非模糊面部而被预测的可能性。根据另一示例：两个隐私屏蔽具有不同的隐私等级，例如，一个隐私屏蔽被定义为2像素均值隐私屏蔽，而另一隐私屏蔽被定义为16像素均值隐私屏蔽。因此一个隐私区(C)被定义为由2像素均值隐私屏蔽来屏蔽，而另一隐私区(D)被定义为由16像素均值隐私屏蔽来屏蔽。在隐私区(C)和(D)中的屏蔽对象之间允许时间预测将提供(D)中的像素仅利用2像素均值来模糊的可能性。
编码该隐私屏蔽图像的动作可进一步包括：基于与该图像重定义隐私屏蔽内部的像素有关的图像帧数据，允许该图像重定义隐私屏蔽中的像素的空间预测编码。更有效的编码将得到节省存储器使用和带宽的结果。
该隐私屏蔽可包括多个独立的隐私屏蔽子区域，其中形成重定义隐私屏蔽的动作可包括针对多个独立的隐私屏蔽子区域中的每一个形成重定义子隐私屏蔽，其中该方法可进一步包括，基于与该图像的不同重定义子隐私屏蔽的像素有关的图像数据，禁用空间预测编码。
根据第二方面，一种编码系统被提供。该编码系统包括：编码器，被配置为将图像编码为视频流的编码图像帧；数据存储器，被配置为存储表示该图像的像素的像素划分图像数据；像素组合模块，被配置为将该图像的像素组合为编码单元，其中每个编码单元包括多个邻近像素；编码单元模块，被配置为接收定义隐私屏蔽的数据，并识别具有位于该隐私屏蔽中的一个或多个像素的所有编码单元；隐私屏蔽重定义模块，被配置为扩展该隐私屏蔽以与所识别的编码单元对齐，由此形成覆盖该识别的编码单元的重定义隐私屏蔽；隐私屏蔽模块被配置为接收该隐私屏蔽的图形特性并通过将重定义隐私屏蔽和所接收的图形特性应用于该图像来生成隐私屏蔽图像；以及编码器指示器，被配置为对该编码器生成编码指令，并发送该编码指令至该编码器。其中该编码指令包括：基于与该重定义隐私屏蔽之外的像素有关的图像数据，禁用该图像的重定义隐私屏蔽中的像素的空间预测编码；基于与该视频流中的任意参考图像帧的任意隐私屏蔽之外的像素有关的图像数据，禁用该图像的重定义屏蔽中的像素的时间预测编码；以及基于与该视频流中的参考图像帧的隐私屏蔽内部的像素有关的图像数据，允许该图像的重定义隐私屏蔽中的像素的时间预测编码；其中该编码器被配置为接收该编码指令并编码该隐私屏蔽图像。
该编码系统可进一步包括隐私屏蔽控制器，隐私屏蔽控制器被配置为输出定义该图像的由该图像内的隐私屏蔽所覆盖的像素的数据并输出该隐私屏蔽的图形特性。
该隐私屏蔽控制器可被配置为基于由视频分析模块提供的视频分析，生成定义图像的由该隐私屏蔽所覆盖的像素的数据。
该隐私屏蔽控制器可进一步被配置为将分类关联于该隐私屏蔽，其中该编码器指示器可进一步被配置为将该时间预测编码的允许建立在该隐私屏蔽的分类和参考图像帧的隐私屏蔽的分类的基础上。
以上提到的该方法的特征在可利用时同样适用于第二方面。为避免不适当的重复，参考上文所述。
该编码系统可设置于视频照相机中。
根据第三方面，非暂时性计算机可读记录介质被提供。该非暂时性计算机可读记录介质上记录有程序，程序在具有处理能力设备上执行时用于实现根据第一方面的方法。
以上提到的该方法和编码系统的特征在可利用时同样适用于第三方面。为避免不适当的重复，参考上文所述。
本发明的可用性的进一步范围将从以下给出的详细描述显而易见。然而，应当理解，尽管详细描述和特定示例表示本发明优选的实施例，但仅以说明的形式给出，因为本发明范围内的多种改变和修改将从详细描述中对本领域技术人员显而易见。
因此应当理解，本发明不限于所描述的系统特定组成部分或所描述的方法步骤，因为系统和方法是可变的。还应理解，本文使用的术语仅用于描述特定实施例的目的，而非意图限制。应当注意，说明书和所附权利要求所使用的冠词“一”、“该”和“所述”意图表示存在的一个或多个这种元素，除非上下文明确另行表述。因此，例如，“一个单元”或“该单元”的引用可包括某些设备等。此外，词语“包括”、“包含”和相似用语不排除其他元素或步骤。
附图说明
本发明以上和其他方面现将参考示出本发明的实施例的附图被更详细地描述。附图不应被考虑为将本发明限制在具体实施例；相反，其用于说明和理解本发明。
如图所图示的，为了说明的目的，层和区域的尺寸被夸大，并且因此被提供以说明本发明实施例的总体结构。在全文中，相同附图标记指代相同元素。
图1为编码系统的示意性框图。
图2A和图2B为图像和覆盖图像的隐私屏蔽的示意性图示。图2A图示了原始隐私屏蔽，图2B图示了重定义隐私屏蔽。
图3为用于将包括多个像素的图像编码为视频流的编码图像帧的方法的框图。
具体实施方式
现将在下文参考附图更全面地描述本发明，其中本发明当前优选的实施例被示出。然而，本发明可以以多个不同的形式来体现并且不应解释为限于本文提出的实施例；相反，该实施例被提供用于全面性和完整性目的，并将本发明的范围完全传达给本领域技术人员。
图1图示了编码系统200。编码系统200被配置为将视频序列的图像编码为视频流的编码图像帧。视频序列的图像和视频序列本身被表示为数字数据。在编码视频序列的图像之前，编码系统200被配置为将隐私屏蔽应用于图像。因此，编码系统200被配置为将视频序列的隐私屏蔽图像编码为视频流的编码图像帧。视频流典型地包括帧内帧和帧间帧。帧内帧通常称为I帧。帧间帧通常称为P帧或B帧。编码系统例如可设置于视频照相机中。视频照相机例如可为网络使能的监控视频照相机。可选地，编码系统200可设置于连接至模拟视频照相机的设备(未示出)中。该设备可进一步包括被配置为将模拟视频信号转换为视频序列的图像的电路。编码系统200包括数据存储器10、像素组合模块12、编码单元模块14、隐私屏蔽重定义模块16、隐私屏蔽模块18、编码器指示器20和编码器100。
数据存储器10被配置为存储数字数据。数据存储器10可为任何类型的易失性或非易失性数据存储器。进一步地，数据存储器10可包括多个数据存储单元。多个数据存储单元中的至少一个可作为缓冲存储器用于在处理数字数据时缓存数据。数据存储器10例如可存储表示照相机的图像传感器所捕获的图像的数字数据。数字数据可接收自图像处理模块，图像处理模块例如可能已对图像传感器所捕获的图像执行诸如去马赛克、噪声过滤、锐化以及色调映射之类的过程。因此，数据存储器10被配置为存储表示图像的数字数据。图像包括多个像素。因此，表示图像的数字数据被划分为像素划分图像数据。因此，像素划分图像数据表示图像的像素。
数据存储器10、像素组合模块12、编码单元模块14、隐私屏蔽重定义模块16、隐私屏蔽模块18、编码器指示器20和编码器可经数据总线21相互通信。
数据存储器10、像素组合模块12、编码单元模块14、隐私屏蔽重定义模块16、隐私屏蔽模块18、编码器指示器20、数据总线21和编码器100包括于编码系统200的电路2中。
像素组合模块12、编码单元模块14、隐私屏蔽重定义模块16、隐私屏蔽模块18、编码器指示器20和编码器100中的一个或多个可被实现为专用硬件电路和/或软件模块。在被实现为软件的情况下，软件可运行于中央处理单元CPU 22或专用处理单元上。CPU 22可为用于执行数字数据处理的任何合适的CPU。专用处理单元可为用于执行数字数据处理的任何合适的处理单元。还应注意，任何专用硬件电路可部分地包括运行于专用处理单元或CPU22上的软件部分。在处理期间，像素组合模块12、编码单元模块14、隐私屏蔽重定义模块16、隐私屏蔽模块18、编码器指示器20和编码器100中的一个或多个可被配置为在数据存储器10中存储或缓冲数据。
像素组合模块12被配置为在数据存储器10中存取表示图像像素的像素划分图像数据。像素组合模块12被配置为将图像像素组合为编码单元。每个编码单元包括多个邻近像素。根据使用的编码方法，编码单元可以以多种形式描述。例如，利用H.264编码，编码单元为宏块，利用H.265编码，编码单元为编码树单元。因此，应当认为，编码单元可根据使用的编码方法而命名为不同的名称。将图像像素组合为编码单元还可根据使用的编码方法而以不同的方式来作出。多种方式已由本领域技术人员所知，并且本文不再更详细地讨论。像素组合模块12被配置为将与图像的编码单元有关的数据发送至编码单元模块14。可选地或作为组合，像素组合模块12被配置为将与图像的编码单元有关的数据存储在数据存储器10中。
编码单元模块14被配置为接收定义隐私屏蔽的数据。编码单元模块14被配置为从像素组合模块12接收与图像的编码单元有关的数据。可选地或作为组合，编码单元模块14被配置为从数据存储器10中获取与图像的编码单元有关的数据。编码单元模块14进一步被配置为识别具有位于隐私屏蔽中的一个或多个像素的所有编码单元。因此，编码单元模块14被配置为识别至少部分地与待插入图像中的隐私屏蔽重叠的所有编码单元。
编码单元模块14被配置为将与具有位于隐私屏蔽中的一个或多个像素的编码单元有关的数据发送至隐私屏蔽重定义模块16。与具有位于隐私屏蔽中的一个或多个像素的编码单元有关的数据例如可为这些编码单元的图像坐标或可为用于定义包围这些编码单元的图像区域的图像坐标。可选地或作为组合，编码单元模块14被配置为在数据存储器10中存储与具有位于隐私屏蔽中的一个或多个像素的编码单元有关的数据。
用于定义隐私屏蔽的数据可接收自隐私屏蔽控制器30。因此，编码系统200可进一步包括隐私屏蔽控制器30。隐私屏蔽控制器30被配置为控制哪些图像像素要由隐私屏蔽所屏蔽。因此，用于定义隐私屏蔽的数据包括要由隐私屏蔽所屏蔽的图像像素。根据非限制示例，用于定义隐私屏蔽的数据包括用于识别图像中应被隐私屏蔽的区域的图像坐标。
隐私屏蔽控制器30可从视频分析模块32接收输入，视频分析模块32用于检测要被隐私屏蔽的对象。视频分析模块32的非限制示例为移动对象检测器、面部检测器和牌照检测器。根据非限制示例，定义隐私屏蔽的数据可包括跟踪被检测对象的轮廓的图像坐标。可选地，定义隐私屏蔽的数据可包括包含被检测对象的包围盒的图像坐标。
隐私屏蔽控制器30可从操作者接收输入。来自操作者的输入可定义照相机视图中的隐私区，其中在该隐私区，用于检测要被隐私屏蔽的对象的分析模块应检测到对象。可选地，整个视图可能都是感兴趣的。
隐私屏蔽控制器30可被实现为专用硬件电路和/或软件模块。在被实现为软件的情况下，软件可运行于中央处理单元CPU 22或专用处理单元上。专用处理单元可为用于执行数字数据处理的任何合适的处理单元。还应注意，任何专用硬件电路可部分地包括运行于专用处理单元或CPU 22上的软件部分。在处理期间，隐私屏蔽控制器30可被配置为在数据存储器10中存储或缓存数据。
视频分析模块32可被实现为专用硬件电路和/或软件模块。在被实现为软件的情况下，软件可运行于中央处理单元CPU 22或专用处理单元上。专用处理单元可为用于执行数字数据处理的任何合适的处理单元。还应注意，任何专用硬件电路可部分地包括运行于专用处理单元或CPU 22上的软件部分。在处理期间，视频分析模块32可被配置为在数据存储器10中存储或缓存数据。
隐私屏蔽控制器30和视频分析模块32中的一个或两者可包括于电路2中。
待由隐私屏蔽所覆盖的图像像素可被组合为单个隐私屏蔽区域。因此，隐私屏蔽包括单个隐私屏蔽区域。可选地，要由隐私屏蔽所覆盖的图像像素可被组合为多个独立的隐私屏蔽子区域。隐私屏蔽子区域可为用于不同对象的隐私屏蔽区域，可选地或作为组合，隐私屏蔽子区域可为用于一个对象的不同部分的隐私屏蔽区域。因此，隐私屏蔽包括多个隐私屏蔽子区域。隐私屏蔽区域可为矩形或其他形状。隐私屏蔽子区域可为矩形或其他形状。
隐私屏蔽控制器30可进一步被配置为确定隐私屏蔽的图形特性。因此，定义隐私屏蔽的数据可进一步包括隐私屏蔽的图形特性。图形特性的非限制示例为常量着色(constant coloring)(例如通过黑色方块)、涂抹或像素化。因此，隐私屏蔽可采用不同的形式。常量着色表示图像的隐私屏蔽区域着黑色或其他颜色。涂抹表示以有问题的像素附近的平均像素值替换每个像素的像素值，即应用更加严厉的噪声过滤。像素化表示隐私屏蔽区域中的像素被组合为邻近像素的像素化组。邻近像素的像素化组例如可为宏块。各个像素化组的每个像素的像素值被设置为表示相应像素化组的公共像素值。像素化和涂抹有时都称为模糊。
隐私屏蔽控制器30可进一步被配置为将分类关联于隐私屏蔽。
隐私屏蔽的分类可包括要由隐私屏蔽所屏蔽的对象类型。对象的不同类型可为面部、牌照、移动对象、人、窗户等。对象类型可利用一个或多个视频分析模块来识别。此外，隐私屏蔽的分类还可连接于由操作者定义的隐私区。所定义的隐私区中的隐私屏蔽可关联于第一特定类，而定义的另一隐私区中的隐私屏蔽可关联于另一特定类。
可选地或作为组合，隐私屏蔽的分类可包括隐私屏蔽的隐私等级。根据非限制示例，面部可始终具有高隐私等级。隐私等级为在隐私屏蔽图像的隐私屏蔽区域中可公开的特征数量的测量。
根据非限制示例，最高隐私等级为常量着色屏蔽(因此隐私屏蔽图像的隐私屏蔽区域中的所有信息被移除)。下一隐私等级则可为像素化屏蔽。邻近像素的像素化组的尺寸确定屏蔽的隐私等级。邻近像素的像素化组越小，隐私等级越低。当利用像素化时，隐私等级还可与在图像中待被隐私屏蔽的对象尺寸与像素化组的尺寸之间的关系相关联。
因此，隐私等级可与应用于待被隐私屏蔽的图像隐私屏蔽区域的隐私屏蔽的特定图形特性相关联。例如，将常量着色作为图形特性的隐私屏蔽可具有比将模糊作为图形特性的隐私屏蔽更高的隐私等级。可选地或作为组合，矩形隐私屏蔽可具有比符合要被隐私屏蔽的对象外形的隐私屏蔽更高的隐私等级。
隐私屏蔽重定义模块16被配置为从编码单元模块14接收与具有位于隐私屏蔽中的一个或多个像素的编码单元有关的数据。可选地或作为组合，隐私屏蔽重定义模块16被配置为从数据存储器10中获取与具有位于隐私屏蔽中的一个或多个像素的编码单元有关的数据。隐私屏蔽重定义模块16被配置为扩展隐私屏蔽，以与具有位于隐私屏蔽中的一个或多个像素的编码单元对齐。因此，隐私屏蔽重定义模块16被配置为扩展隐私屏蔽，以与编码单元模块14所识别的编码单元对齐。由此，隐私屏蔽重定义模块16被配置为形成覆盖所识别的编码单元的重定义隐私屏蔽。因此，隐私屏蔽重定义模块16被配置为调整隐私屏蔽的尺寸，使得重定义隐私屏蔽覆盖整个编码单元。进一步地，在隐私屏蔽包括多个隐私屏蔽子区域时，隐私屏蔽重定义模块16被配置为针对多个隐私屏蔽子区域中的每一个形成重定义子隐私屏蔽。
隐私屏蔽重定义模块16被配置为将用于定义重定义隐私屏蔽的数据发送至隐私屏蔽模块18。描述图像中重定义屏蔽的顶点的图像坐标可用于定义重定义屏蔽。可选地或作为组合，隐私屏蔽重定义模块16被配置为在数据存储器10中存储用于定义重定义隐私屏蔽的数据。
隐私屏蔽的重定义在图2A和图2B示意性地图示。在图2A和图2B中，图示了图像300的一部分被划分为像素302。图像300的像素302进一步组合为编码单元304。图2A图示了隐私屏蔽控制器30所输出的隐私屏蔽306。根据该示例，隐私屏蔽306覆盖属于编码单元304a-f的像素。换言之，隐私屏蔽306至少部分地重叠于编码单元304a-f。重定义隐私屏蔽308被图示为完全覆盖图2B中的编码单元304a-f的区域。如图2B，重定义隐私屏蔽308覆盖完整的编码单元304。
隐私屏蔽模块18被配置为从隐私屏蔽控制器30接收隐私屏蔽的图形特性。隐私屏蔽模块18进一步被配置为从隐私屏蔽重定义模块16接收用于定义重定义隐私屏蔽的数据。可选地或作为组合，隐私屏蔽模块18被配置为从数据存储器10获取用于定义重定义隐私屏蔽的数据。隐私屏蔽模块18进一步被配置为通过将重定义隐私屏蔽和所接收的图形特性应用于图像来生成隐私屏蔽图像。
隐私屏蔽模块18被配置为发送与隐私屏蔽图像有关的数据至编码器100。与隐私屏蔽图像有关的数据优选为数字数据。隐私屏蔽图像包括多个像素。因此，表示隐私屏蔽图像的数字数据被划分为像素划分图像数据。因此，像素划分图像数据表示隐私屏蔽图像的像素。可选地或作为组合，隐私屏蔽模块18被配置为在数据存储器10中存储与隐私屏蔽图像有关的数据。
编码器指示器20被配置为从存储器10中获取与隐私屏蔽图像有关的数据、用于定义重定义隐私屏蔽的数据、与具有位于隐私屏蔽中的一个或多个像素的编码单元有关的数据。可选地或作为组合，编码器指示器20被配置为从被配置为生成相应数据的相应模块14、16、18接收这些数据中的一个或多个。
编码器指示器20被配置为生成用于使编码器100将图像编码为视频流的编码图像帧的编码指令。编码指令包括基于与当前图像帧或任意参考图像帧的任意隐私屏蔽之外的像素有关的图像数据，禁用位于图像的重定义隐私屏蔽内的像素的空间和时间预测编码。因此，编码指令包括基于与重定义隐私屏蔽之外的像素有关的图像数据，禁用位于图像的重定义隐私屏蔽内的像素的空间预测编码；以及基于与视频流中任意参考图像帧的任意隐私屏蔽之外的像素有关的图像数据，禁用位于图像的重定义屏蔽中内的像素的时间预测编码。编码指令可进一步包括基于与视频流中参考图像帧的隐私屏蔽内部的像素有关的图像数据，允许位于图像的重定义隐私屏蔽内的像素的时间预测编码。
编码器指示器20可进一步被配置为将时间预测编码的允许建立在隐私屏蔽的分类和参考图像帧的隐私屏蔽的分类基础上。
关于编码器指示器20如何被进一步被配置为将时间预测编码的允许建立在分类基础上，存在多种情形。
根据一个示例，分类包括要由隐私屏蔽所屏蔽的对象的类型。在该示例中，在由图像的隐私屏蔽所屏蔽的对象的类型和由参考图像帧的隐私屏蔽所屏蔽的对象的类型相同时，编码器指示器20被配置为生成编码指令，用于基于与参考图像帧的隐私屏蔽内部的像素有关的图像数据，发起图像的重定义隐私屏蔽内的像素的时间预测编码。因此，对于基于对象类型的分类，屏蔽相同类型对象的两个隐私屏蔽之间的时间预测编码被发起。这使得编码更有效，同时仍然保证屏蔽区域的隐私。
根据另一示例，分类包括隐私屏蔽的隐私等级。在该示例中，在图像的隐私屏蔽的隐私等级高于参考图像帧的隐私屏蔽的隐私等级时，编码器指示器20被配置为生成编码指令，用于基于与位于参考图像帧的隐私屏蔽内部的像素有关的图像数据，禁用位于图像的重定义隐私屏蔽内的像素的时间预测编码。因此，在图像的隐私屏蔽的隐私等级等于或低于参考图像帧的隐私屏蔽的隐私等级时，编码器指示器20被配置为生成编码指令，用于基于与参考图像帧的隐私屏蔽内部的像素有关的图像数据，发起位于图像的重定义隐私屏蔽内的像素的时间预测编码。
编码器指示器20进一步被配置为发送编码指令至编码器100。
编码器100被配置为从编码器指示器20接收编码指令。编码器100进一步被配置为从隐私屏蔽模块18接收与隐私屏蔽图像有关的数据。可选地或作为组合，编码器100进一步被配置为从数据存储器10获取与隐私屏蔽图像有关的数据。编码器100进一步被配置为根据编码指令编码隐私屏蔽图像。
参考图3，将讨论用于将包括多个像素的图像编码为视频流的编码图像帧的方法。该方法包括：
接收S400图像的像素划分图像数据，其中像素划分图像数据表示图像的像素；
将图像的像素组合S402为编码单元，其中每个编码单元包括多个邻近像素；
接收S404定义隐私屏蔽的数据和隐私屏蔽的图形特性；
识别S406具有位于隐私屏蔽中的一个或多个像素的所有编码单元；
将隐私屏蔽扩展S408为与所识别的编码单元对齐，由此形成覆盖所识别的编码单元的重定义隐私屏蔽；
通过将重定义隐私屏蔽和所接收的图形特性应用于图像，生成S410隐私屏蔽图像；以及
将隐私屏蔽图像编码S412为视频流的编码图像帧。其中编码S412的动作根据如下编码指令执行：
基于与重定义隐私屏蔽之外的像素有关的图像数据，禁用图像的重定义隐私屏蔽内的像素的空间预测编码；
基于与视频流中任意参考图像帧的任意隐私屏蔽之外的像素有关的图像数据，禁用位于图像的重定义屏蔽中的像素的时间预测编码；以及
基于与视频流中的参考图像帧的隐私屏蔽内部的像素有关的图像数据，允许位于图像的重定义隐私屏蔽中的像素的时间预测编码。
方法可进一步包括：在图像的隐私屏蔽和参考图像帧的隐私屏蔽进一步关联于相应隐私屏蔽的分类时，允许时间预测编码的动作进一步基于相应隐私屏蔽的分类。
该方法可进一步包括：在相应隐私屏蔽的分类包括由相应隐私屏蔽所屏蔽的对象的类型时，并且在由图像的隐私屏蔽和参考图像帧的隐私屏蔽所屏蔽的对象类型相同时，基于与参考图像帧的隐私屏蔽内部的像素有关的图像数据，发起位于图像的重定义隐私屏蔽内的像素的时间预测编码。
该方法可进一步包括：在相应隐私屏蔽的分类包括相应隐私屏蔽的隐私等级时，并且在图像的隐私屏蔽的隐私等级高于参考图像帧的隐私屏蔽的隐私等级时，基于与参考图像帧的隐私屏蔽内部的像素有关的图像数据，禁用位于图像的重定义隐私屏蔽内的像素的时间预测编码。
本领域技术人员认识到，本发明不限于上述优选的实施例。相反，在所附权利要求的范围内，多个修改和变型是可能的。
例如，编码器指示器20可进一步被配置为生成编码指令，以基于与图像的重定义隐私屏蔽内部像素有关的图像帧数据，允许位于图像的重定义隐私屏蔽中的像素的空间预测编码。
在隐私屏蔽包括多个隐私屏蔽子区域时，编码器指示器20可进一步被配置为生成编码指令，以基于与图像的不同的重定义子隐私屏蔽的像素有关的图像数据，禁用空间预测编码。然而在这种情况下，编码器指示器20可进一步被配置为生成编码指令，以基于与图像的重定义子隐私屏蔽内部的像素有关的图像帧数据，允许位于图像的重定义子隐私屏蔽中的像素的空间预测编码。
此外，编码器指示器20可进一步被配置为生成编码指令，以当新的隐私屏蔽被生成时生成新的I帧，以便对隐私屏蔽的编码强制新的开始。
此外，编码器指示器20可进一步被配置为生成编码指令，以不允许在隐私屏蔽的边界上解块(deblocking)。
附加地，所公开实施例的变型可由本领域技术人员在实施所声明的发明中通过学习附图、公开和所附权利要求来理解和实现。

Claims (12)

1.一种用于将包括多个像素的隐私屏蔽图像编码为视频流的编码图像帧的方法，该方法包括：
接收所述图像的像素划分图像数据，其中所述像素划分图像数据表示所述图像的像素；
将所述图像的像素组合为编码单元，其中每个编码单元包括多个邻近像素；
接收定义隐私屏蔽的数据以及所述隐私屏蔽的图形特性，所述隐私屏蔽出于个人诚信的考虑屏蔽所述图像的一部分；
识别具有位于所述隐私屏蔽内的一个或多个像素的所有编码单元；
将所述隐私屏蔽扩展为与所识别的编码单元对齐，由此形成覆盖所识别的编码单元的重定义隐私屏蔽；
通过将所述重定义隐私屏蔽和所接收的图形特性应用于所述图像来生成隐私屏蔽图像，从而隐藏隐私屏蔽区域中的信息；以及
根据如下步骤将所述隐私屏蔽图像编码为所述视频流的编码图像帧：
基于与所述重定义隐私屏蔽之外的像素有关的图像数据，禁用位于所述图像的重定义隐私屏蔽内的像素的空间预测编码；
基于与所述视频流中的任意参考图像帧的任意隐私屏蔽之外的像素有关的图像数据，禁用位于所述图像的重定义屏蔽内的像素的时间预测编码；以及
基于与所述视频流中的参考图像帧的隐私屏蔽内部的像素有关的图像数据，允许位于所述图像的重定义隐私屏蔽内的像素的时间预测编码。
2.根据权利要求1所述的方法，其中所述图像的隐私屏蔽和所述参考图像帧的隐私屏蔽进一步与相应隐私屏蔽的分类相关联，其中允许时间预测编码的动作进一步基于相应隐私屏蔽的分类。
3.根据权利要求2所述的方法，其中相应隐私屏蔽的分类包括被相应隐私屏蔽屏蔽的对象的类型，其中所述方法进一步包括：当被所述图像的隐私屏蔽所屏蔽的对象的类型和被所述参考图像帧的隐私屏蔽所屏蔽的对象的类型相同时，基于与所述参考图像帧的隐私屏蔽内部的像素有关的图像数据，发起位于所述图像的重定义隐私屏蔽内的像素的时间预测编码。
4.根据权利要求2或3所述的方法，其中相应隐私屏蔽的分类包括相应隐私屏蔽的隐私等级，其中所述方法进一步包括：当所述图像的隐私屏蔽的隐私等级高于所述参考图像帧的隐私屏蔽的隐私等级时，基于与所述参考图像帧的隐私屏蔽内部的像素有关的图像数据，禁用位于所述图像的重定义隐私屏蔽内的像素的时间预测编码。
5.根据权利要求1所述的方法，其中编码所述隐私屏蔽图像的动作进一步包括：基于与所述图像的重定义隐私屏蔽内部的像素有关的图像帧数据，允许位于所述图像的重定义隐私屏蔽内的像素的空间预测编码。
6.根据权利要求5所述的方法，其中所述隐私屏蔽包括多个独立的隐私屏蔽子区域，其中形成重定义隐私屏蔽的动作包括：针对所述多个独立的隐私屏蔽子区域中的每一个，形成重定义子隐私屏蔽，其中所述方法进一步包括：基于与所述图像的不同重定义子隐私屏蔽的像素有关的图像数据，禁用空间预测编码。
7.一种编码系统，包括：
编码器，被配置为将图像编码为视频流的编码图像帧；
数据存储器，被配置为存储表示所述图像的像素的像素划分图像数据；
像素组合模块，被配置为将所述图像的像素组合为编码单元，其中每个编码单元包括多个邻近像素；
编码单元模块，被配置为接收定义隐私屏蔽的数据，并识别具有位于所述隐私屏蔽内的一个或多个像素的所有编码单元，所述隐私屏蔽出于个人诚信的考虑屏蔽所述图像的一部分；
隐私屏蔽重定义模块，被配置为将所述隐私屏蔽扩展为与所识别的编码单元对齐，由此形成覆盖所识别的编码单元的重定义隐私屏蔽；
隐私屏蔽模块，被配置为接收所述隐私屏蔽的图形特性，并通过将所述重定义隐私屏蔽和所接收的图形特性应用于所述图像来生成隐私屏蔽图像，从而隐藏隐私屏蔽区域中的信息；以及
编码器指示器，被配置为生成用于所述编码器的编码指令并发送所述编码指令至所述编码器，其中所述编码指令包括：
基于与所述重定义隐私屏蔽之外的像素有关的图像数据，禁用位于所述图像的重定义隐私屏蔽内的像素的空间预测编码；
基于与所述视频流中的任意参考图像帧的任意隐私屏蔽之外的像素有关的图像数据，禁用位于所述图像的重定义屏蔽内的像素的时间预测编码；以及
基于与所述视频流中的参考图像帧的隐私屏蔽内部的像素有关的图像数据，允许位于所述图像的重定义隐私屏蔽内的像素的时间预测编码；
其中所述编码器被配置为接收所述编码指令并对所述隐私屏蔽图像进行编码。
8.根据权利要求7所述的编码系统，进一步包括隐私屏蔽控制器，所述隐私屏蔽控制器被配置为输出定义所述图像的被所述图像内的隐私屏蔽所覆盖的像素的数据并输出所述隐私屏蔽的图形特性。
9.根据权利要求8所述的编码系统，其中所述隐私屏蔽控制器被配置为基于由视频分析模块提供的视频分析，生成定义所述图像的被所述图像内的隐私屏蔽所覆盖的像素的数据。
10.根据权利要求8或9所述的编码系统，其中所述隐私屏蔽控制器进一步被配置为使分类与所述隐私屏蔽相关联，其中所述编码器指示器进一步被配置为将时间预测编码的允许建立在所述隐私屏蔽的分类和所述参考图像帧的隐私屏蔽的分类的基础上。
11.根据权利要求7所述的编码系统，其中所述编码系统设置于视频照相机中。
12.一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质上记录有程序，所述程序在具有处理能力的设备上执行时用于实现根据权利要求1所述的方法。
CN201711346423.9A 2016-12-20 2017-12-15 对隐私屏蔽图像进行编码 Active CN108206953B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16205466.2A EP3340624B1 (en) 2016-12-20 2016-12-20 Encoding a privacy masked image
EP16205466.2 2016-12-20

Publications (2)

Publication Number Publication Date
CN108206953A CN108206953A (zh) 2018-06-26
CN108206953B true CN108206953B (zh) 2023-06-16

Family

ID=57755002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711346423.9A Active CN108206953B (zh) 2016-12-20 2017-12-15 对隐私屏蔽图像进行编码

Country Status (6)

Country Link
US (2) US10924761B2 (zh)
EP (1) EP3340624B1 (zh)
JP (1) JP7057651B2 (zh)
KR (1) KR102386295B1 (zh)
CN (1) CN108206953B (zh)
TW (1) TWI766906B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
CN108848382B (zh) * 2018-06-12 2020-04-03 浙江大华技术股份有限公司 一种编解码方法及装置
JP7070194B2 (ja) 2018-07-23 2022-05-18 住友ゴム工業株式会社 空気入りタイヤ
CN109872282B (zh) * 2019-01-16 2021-08-06 众安信息技术服务有限公司 一种基于计算机视觉的图像脱敏方法与系统
EP3751851A1 (en) * 2019-06-14 2020-12-16 Axis AB Method of highlighting an object of interest in an image or video
TWI709087B (zh) * 2019-08-30 2020-11-01 華南商業銀行股份有限公司 影像辨識系統
TWI726816B (zh) * 2019-08-30 2021-05-01 華南商業銀行股份有限公司 具有顯示存摺影像功能的影像辨識系統
TWI736427B (zh) * 2019-08-30 2021-08-11 華南商業銀行股份有限公司 以色塊取代入金欄位的影像辨識系統
TWI723946B (zh) * 2019-08-30 2021-04-01 華南商業銀行股份有限公司 能產生具有色塊之存摺影像的影像辨識系統
EP3796655B1 (en) * 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame
EP3796654A1 (en) 2019-09-20 2021-03-24 Axis AB Privacy masks where intra coefficients are set to zero
JP7455545B2 (ja) * 2019-09-30 2024-03-26 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US11463240B2 (en) * 2020-05-21 2022-10-04 Novatek Microelectronics Corp. Methods and image processing devices for encoding and decoding private data
EP3985976B1 (en) 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask
TWI757940B (zh) * 2020-10-29 2022-03-11 宏碁股份有限公司 視訊會議系統及其排除打擾的方法
TWI759955B (zh) 2020-11-10 2022-04-01 財團法人工業技術研究院 通訊系統及其方法
CN112468823A (zh) * 2020-11-10 2021-03-09 浙江大华技术股份有限公司 一种基于模拟录像装置的隐私遮挡方法、装置和存储介质
CN112637635B (zh) * 2020-12-15 2023-07-04 西安万像电子科技有限公司 文件保密方法及系统、计算机可读存储介质及处理器
US11907402B1 (en) 2021-04-28 2024-02-20 Wells Fargo Bank, N.A. Computer-implemented methods, apparatuses, and computer program products for frequency based operations
CN113923476B (zh) * 2021-09-30 2024-03-26 支付宝(杭州)信息技术有限公司 一种基于隐私保护的视频压缩方法及装置
CN115187819B (zh) * 2022-08-23 2023-05-16 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3502392B2 (ja) * 1996-01-29 2004-03-02 松下電器産業株式会社 デジタル画像画素補填方法、及びそれを用いたデジタル画像符号化装置、画像復号化装置
US6373530B1 (en) 1998-07-31 2002-04-16 Sarnoff Corporation Logo insertion based on constrained encoding
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
US7940302B2 (en) * 2004-09-15 2011-05-10 The Regents Of The University Of California Apparatus and method for privacy protection of data collection in pervasive environments
GB2435140B (en) * 2006-02-13 2011-04-06 Snell & Wilcox Ltd Sport action coding
JP5088161B2 (ja) * 2008-02-15 2012-12-05 ソニー株式会社 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
JP2009239718A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 動画像分離装置、動画像結合装置および動画像分離・結合システム
US8326061B2 (en) * 2008-05-12 2012-12-04 Google Inc. Fast visual degrading of images
FR2932045B1 (fr) * 2008-06-03 2010-08-20 Thales Sa Procede et systeme permettant de proteger des la compression la confidentialite des donnees d'un flux video lors de sa transmission
JP5108666B2 (ja) * 2008-07-23 2012-12-26 株式会社東海理化電機製作所 ウェビング巻取装置
KR101271461B1 (ko) * 2009-10-09 2013-06-05 한국전자통신연구원 감시영상의 프라이버시 정보 보호 장치 및 방법
US8472725B2 (en) * 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
JP5791256B2 (ja) * 2010-10-21 2015-10-07 キヤノン株式会社 表示制御装置、表示制御方法
US8965140B1 (en) * 2011-01-31 2015-02-24 Teradici Corporation Method and apparatus for encoding mixed content image sequences
US9282333B2 (en) * 2011-03-18 2016-03-08 Texas Instruments Incorporated Methods and systems for masking multimedia data
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
EP2801958B1 (en) * 2013-05-08 2016-09-14 Axis AB Monitoring method and camera
JP6179183B2 (ja) * 2013-05-15 2017-08-16 富士通株式会社 情報処理装置、プログラム、及び画像処理方法
US20150264357A1 (en) * 2014-03-11 2015-09-17 Stmicroelectronics S.R.L. Method and system for encoding digital images, corresponding apparatus and computer program product
KR102457810B1 (ko) * 2014-03-19 2022-10-21 삼성전자주식회사 3d 영상에 관련된 블록의 파티션 경계에서 필터링 수행 방법
EP3140989A4 (en) * 2014-05-22 2017-07-05 MediaTek Inc. Method of intra block copy with flipping for image and video coding
JP5707562B1 (ja) * 2014-05-23 2015-04-30 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US9876964B2 (en) * 2014-05-29 2018-01-23 Apple Inc. Video coding with composition and quality adaptation based on depth derivations
EP3021579B1 (en) * 2014-11-14 2016-10-12 Axis AB Method and encoder system for encoding video
EP3021583B1 (en) * 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
EP3340623B1 (en) * 2016-12-20 2023-04-12 Axis AB Method of encoding an image including a privacy mask
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
US10277901B2 (en) * 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
US11778195B2 (en) * 2017-07-07 2023-10-03 Kakadu R & D Pty Ltd. Fast, high quality optical flow estimation from coded video
CN107563978A (zh) * 2017-08-31 2018-01-09 苏州科达科技股份有限公司 人脸去模糊方法及装置
US10778412B2 (en) * 2017-12-28 2020-09-15 Intel Corporation Multi-domain convolutional neural network
EP3796655B1 (en) * 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame

Also Published As

Publication number Publication date
US20180176597A1 (en) 2018-06-21
TWI766906B (zh) 2022-06-11
JP2018137730A (ja) 2018-08-30
US10924761B2 (en) 2021-02-16
US11601674B2 (en) 2023-03-07
TW201828699A (zh) 2018-08-01
US20210185355A1 (en) 2021-06-17
KR102386295B1 (ko) 2022-04-13
EP3340624A1 (en) 2018-06-27
EP3340624B1 (en) 2019-07-03
KR20180071957A (ko) 2018-06-28
JP7057651B2 (ja) 2022-04-20
CN108206953A (zh) 2018-06-26

Similar Documents

Publication Publication Date Title
CN108206953B (zh) 对隐私屏蔽图像进行编码
TWI804478B (zh) 編碼包括隱私遮罩之影像之方法
US10277901B2 (en) Encoding a video stream having a privacy mask
CN106341664B (zh) 一种数据处理方法及装置
CN112543327B (zh) 对视频流提供隐私屏蔽的方法、编码器系统和存储介质
CN110741635A (zh) 编码方法、解码方法、编码设备和解码设备
KR102015082B1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
CN113228046B (zh) 图像融合的系统和方法
CN115147318A (zh) 隐私遮挡方法及装置
KR20180099327A (ko) 영상 데이터의 마스킹 및 언마스킹 방법 및 장치
CN117061581B (zh) 远程控制方法、装置、电子设备、存储介质及程序产品
Sowmya et al. Object based forgery detection and localization in videos
CN113205518B (zh) 医疗车图像信息处理方法及装置
KR20150137891A (ko) 사생활 보호를 위한 마스크 처리 방법 및 장치
TW202415082A (zh) 用於確定指示在影像框的串流中捕獲的物件屬於物件類型的機率值之方法及影像處理裝置
CN114598868A (zh) 包括隐私滤波器的对图像进行编码的装置和方法
CN117635652A (zh) 移动侦测处理方法、处理系统、电子设备及存储介质
CN112422973A (zh) 编码方法及装置
US20160092747A1 (en) Devices and methods for facilitating digital imagery encoding based on detection of text and computer generated graphics
KR20170014907A (ko) 지역적 방향 패턴을 이용한 장면 검출 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant