CN114374842A - 对包括隐私屏蔽的图像进行编码的方法 - Google Patents

对包括隐私屏蔽的图像进行编码的方法 Download PDF

Info

Publication number
CN114374842A
CN114374842A CN202111181210.1A CN202111181210A CN114374842A CN 114374842 A CN114374842 A CN 114374842A CN 202111181210 A CN202111181210 A CN 202111181210A CN 114374842 A CN114374842 A CN 114374842A
Authority
CN
China
Prior art keywords
image
privacy
movement
pixels
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111181210.1A
Other languages
English (en)
Other versions
CN114374842B (zh
Inventor
约翰·尼斯特伦
约翰·弗波哥
袁嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN114374842A publication Critical patent/CN114374842A/zh
Application granted granted Critical
Publication of CN114374842B publication Critical patent/CN114374842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种对包括隐私屏蔽的图像进行编码的方法。调整像素化隐私屏蔽区域内的图像编码，以便减少摄像机的移动期间的闪烁。运动向量被设置成等于摄像机的移动，并且残差被设置成零，从而将隐私屏蔽区域内的像素块编码为参考图像中对应的像素块的副本。

Description

对包括隐私屏蔽的图像进行编码的方法
技术领域
本发明涉及包括隐私屏蔽的数字图像的编码。
背景技术
监控摄像机用于室内和室外两者的许多不同的应用中，用于监控各种环境。描绘捕获的场景的图像可以由例如操作员或者警卫来监控。在许多摄像机监控应用中，使用具有可以改变或者移动的视场以便能够覆盖更大的区域的摄像机是有利的。这种摄像机通常被表示为PT或者PTZ摄像机，其中PT摄像机能够平移和倾斜，并且PTZ摄像机附加地能够变焦。
在某些情况下，可能需要以不同于另一部分的方式处理捕获的图像的一部分，诸如当为了个体完整性而需要阻挡或者屏蔽图像的一部分时。例如，当在摄像机被放置在建筑内或者公共汽车或者火车内，并且外部环境被排除在摄像机的监控之外时，这可能发生。另一示例是，当监控带有窗口的建筑时，需要避免通过窗口监控建筑的内部。
隐私屏蔽可以是静态的或者动态的。静态隐私屏蔽通常由操作员在图形用户界面中标记图像上要屏蔽的区域来创建。然后，静态隐私屏蔽保持原位，直到操作员决定移动或者移除它。动态隐私屏蔽可以随着时间而改变。与静态隐私屏蔽类似，操作员可以标记图像中期望屏蔽的区域，或者动态屏蔽可以应用于整个摄像机视场。操作员还输入确定何时应当应用隐私屏蔽的设置。例如，操作员可以增加设置，使得如果检测到面部，则该面部将被屏蔽。
对于PTZ摄像机，隐藏某些区域的视图以进行摄像机监控的可能特别重要，因为它们能够放大远距离的细节并且覆盖范围广。在具有可移动视场的摄像机中，静态隐私屏蔽被固定在摄像机的坐标系中，确保屏蔽被保持在场景的相同区域，即使摄像机的视场通过平移、倾斜和变焦而改变。
隐私屏蔽可以作为覆盖应用于图像。一些隐私屏蔽采用黑色或者其他颜色的不透明区域的形式。其他隐私屏蔽采取模糊的形式，其中图像数据在隐私屏蔽区域上被“抹去”。屏蔽的又一种变型是马赛克或者像素化屏蔽，其中隐私屏蔽内的图像被分成像素化块，并且像素化块的所有像素被赋予相同的值(通常是像素化块内几个或者所有像素的平均值)，使得图像在隐私屏蔽区域内看起来是块状的。适当配置的像素化屏蔽具有吸引力的特性，即允许对屏蔽区域中发生的事情有一些了解，例如，通过允许操作员看到有人在屏蔽区域中移动，同时仍然通过隐藏人的识别特征(诸如他们的面部、步态等)来禁止对人的识别。
当应用像素化隐私屏蔽时，特别是当这种屏蔽用于具有可移动视场的摄像机中时，出现的问题是屏蔽可能振荡或者闪烁，这产生了不愉快的用户体验。时间平滑已被建议用于缓解该问题，例如，O.Sarwar，A.Caval-laro和B.Rinner，“时间平滑隐私保护的机载视频(Temporally Smooth Privacy-Protected AirborneVideos)”，2018年IEEE/RSJ智能机器人和系统国际会议(IROS)，马德里，2018年，第6728-6733页中所描述。然而，在这方面的进一步改进是令人感兴趣的。
发明内容
本发明的目的是提供对包括隐私屏蔽的图像进行编码的方法，该方法减少了在摄像机移动期间像素化隐私屏蔽中闪烁形式的反感的视觉假象。
根据第一方面，以上和其他目的全部或者至少部分地通过对由图像传感器捕获的并且包括隐私屏蔽的图像流进行编码的方法来实现，
其中，参照参考图像对图像流中的当前图像进行编码，参考图像是图像流中先前解码的图像，
其中，该方法包括以下步骤：
从图像传感器接收表示当前图像的像素的信息，
将像素分组为邻近的像素的组的像素块，
接收表示隐私屏蔽区域的信息，在该隐私屏蔽区域中隐私屏蔽被应用于当前图像，
执行隐私屏蔽区域的像素化，
接收表示图像传感器在参考图像的捕获和当前图像的捕获之间的移动的信息，
在图像传感器的移动高于阈值的情况下，利用指向参考图像中的参考像素块的运动向量以及指示参考像素块和隐私屏蔽区域内的像素块之间的像素值差的残差，将隐私屏蔽区域内的每个像素块编码为帧间编码块，其中，运动向量被设置成等于图像传感器的移动，并且残差被设置成零。
将运动向量设置成等于摄像机的移动，并且残差设置成零，其效果是隐私屏蔽区域内的所有像素块被编码为它们相应的参考块的副本。这又意味着可以避免对任何噪声进行编码，否则这些噪声会显示为像素块的亮度或者颜色的变化。以这种方式，在摄像机的移动期间，诸如隐私屏蔽的闪光或者闪烁的反感的视觉假象以简单有效的方式被防止。
术语“设置成等于图像传感器的移动”可以被解释为运动向量被设置成与图像传感器在当前图像的捕获和参考图像之间的移动相对应的以像素或者与图像相关的其他单位测量的移动的量和方向。可以注意到，图像传感器的移动导致图像传感器的视场的改变，即图像中描绘的场景的哪一部分的改变。因此，例如，“设置成等于视场的移动”，或者“根据(或者基于)图像传感器(或者图像传感器的视场)的移动来设置”是具有相同含义的词语。另一种表述方式是，运动向量被设置成等于(或者根据或者基于)图像传感器相对于所描绘场景的移动。
根据本发明方法的变型，独立于图像传感器的移动而执行当前图像中的像素块的第一编码，以产生第一编码像素块，并且
在图像传感器的移动高于阈值的情况下，与第一编码并行地，
执行隐私屏蔽区域内的像素块的第二帧间编码，以产生具有被设置成等于图像传感器的移动的运动向量并且具有被设置成零的残差的所述帧间编码块，并且其中，
与隐私屏蔽区域内的像素块相对应的那些第一编码像素块被具有被设置成等于图像传感器的移动的运动向量并且具有被设置成零的残差的所述帧间编码块替换。
以这种方式，需要对执行编码的编码器进行最小的修改，因为在移动的情况下执行的编码的自适应是与包括隐私屏蔽区域在内的整个图像的“标准的”、非自适应编码并行执行的。执行隐私屏蔽区域内的块的替换，以产生最终的编码图像。例如，在执行编码的编码器以硬件实现的情况下，这可能是有利的，否则编码器的自适应将需要在该硬件中进行改变。通过增加并行编码步骤，并且然后替换隐私屏蔽区域内的编码块，可以在对编码器进行最小改变的情况下进行编码的自适应。可以注意到，根据在执行编码的编码器中做出的决定，隐私屏蔽区域内的像素块的第一编码可以产生帧间编码块(P块或者B块)和帧内编码块(I块)两者。无论隐私屏蔽区域内由第一编码产生的块的类型如何，这些块将被由第二帧间编码产生的帧间编码块替换。
通过“独立于图像传感器的移动”，可以理解，计算运动向量时没有考虑图像传感器的移动。换句话说，通过对参考图像中的与当前图像中的像素相应块相似的像素块执行搜索来确定运动向量。运动向量搜索通常在参考图像中的与当前图像中相应像素块的位置相对应的位置开始。通常，以该位置为中心的搜索模式然后被用于搜索在搜索模式的限制内可到达的相似或者通常最相似的像素块。本文的相似是指像素值的差(即残差)是低的。在没有找到相似块的情况下，例如，如果没有找到具有绝对值低于特定残差阈值的残差的块，则该块可以被编码为帧内块。
根据另一变型，将隐私屏蔽区域内的每个像素块编码为帧间编码块包括：
对隐私屏蔽区域内的每个像素块执行第一帧间编码，以产生具有非零残差的帧间编码块，以及
将非零残差设置成零。
结合在第一帧间编码之后残差为零的这种设置，作为该变型的第一选项，第一帧间编码可以包括将隐私屏蔽区域内的每个像素块的运动向量设置成等于图像传感器的移动。作为第二选项，第一帧间编码可以替代地包括独立于图像传感器的移动而确定隐私屏蔽区域内的每个像素块的第一运动向量，并且隐私屏蔽内的每个像素块的编码可以进一步包括：与第一帧间编码并行地将隐私屏蔽区域内的每个像素块的运动向量设置成等于图像传感器的移动，并且通过被设置成等于图像传感器的移动的所述运动向量替换第一运动向量。
因此，根据第二变型，不生成隐私屏蔽区内的两组编码块，如同在第一变型中的情况。这具有需要较少处理能力和较少存储器使用的明显优势。然而，可能需要修改编码器，以允许在移动期间控制隐私屏蔽区域中的编码方式。非零残差可以基于已经被设置成等于图像传感器的移动的运动向量(如在第一选项中)或者基于由编码器确定的运动向量(如在第二选项中)来确定，然后该运动向量通过被设置成等于图像传感器的移动的运动向量来替换。
执行隐私屏蔽区域的像素化的步骤可以包括：将隐私屏蔽区域内的像素分组成邻近的像素的像素化组，并且将相应像素化组的每个像素的像素值设置成表示相应像素化组的公共像素值。公共值可以是像素块中的像素值的平均值，并且更具体地，公共值可以是相应像素化组中的像素的子集的像素值的平均值。在计算公共值时仅使用像素的选择或者子集可以节省计算时间并降低处理能力的消耗。
表示图像传感器移动的信息可以从控制图像传感器的移动的平移、倾斜或者变焦控制器接收。该信息可以例如基于用于控制移动图像传感器的电机的控制信号或者指令。
另外，或者作为替代，可以从运动传感器接收表示图像的移动的信息。运动传感器可以被布置成感测图像传感器的移动，并且可以是陀螺仪或者加速度计的形式。运动传感器还可以被布置成检测并测量移动图像传感器的电机的移动。电机可以采用步进电机的形式，步进电机是诸如PT或者PTZ摄像机的具有可移动视场的摄像机的常见选择，并且在这种情况下，电机移动的步数可以用作图像传感器的移动的指示。
先前解码的图像可以是图像流中先前捕获的图像，如同使用P帧间编码时的情况。
先前解码的图像可以是图像流中稍后捕获的图像，稍后捕获的图像先前已经被编码并解码以用作参考图像。当使用B帧间编码时将是这种情况。
表示图像中的像素的信息是来自由关于亮度、光强度和颜色值的数据组成的组中的至少一个。所有这些都表示在图像中表示像素值的常用方式。
根据第二方面，上述和其他目的全部或者至少部分地通过用于对由图像传感器捕获的并且包括隐私屏蔽的图像流进行编码的图像编码系统来来实现，
其中，参照参考图像对图像流中的当前图像进行编码，参考图像是图像流中先前解码的图像，
该系统包括：
接收模块，被设置成从图像传感器接收表示当前图像的像素的信息，并将像素分组为邻近的像素的组的像素块，
隐私屏蔽模块，被设置成接收表示其中隐私屏蔽被应用于当前图像的隐私屏蔽区域的信息，并且执行隐私屏蔽区域的像素化，
移动输入模块，被设置成接收表示图像传感器在参考图像的捕获和当前图像的捕获之间的移动的信息，
编码器模块，被设置成在移动高于阈值的情况下，利用指向参考图像中的参考像素块的运动向量以及指示参考像素块和隐私屏蔽区域内的像素块之间的像素值差的残差，将隐私屏蔽区域内的每个像素块编码为帧间编码块，其中，运动向量被设置成等于图像传感器的移动，并且残差被设置成零。
根据第三方面，以上和其他目的全部或者至少部分地通过包括根据第二方面的编码系统的摄像机来实现。
本发明的进一步适用范围将从下文给出的详细描述中变得显而易见。然而，应当理解，详细描述和具体示例虽然指示了本发明的优选实施例，但是仅仅以说明的方式给出，因为从该详细描述中，本发明范围内的各种变化和修改对于本领域技术人员而言将变得显而易见。
因此，应当理解，本发明不限于所描述的设备的特定组成部分，或者所描述的方法的步骤，因为这种设备和方法可以变化。还应当理解，本文使用的术语仅仅是为了描述特定的实施例，而不是旨在限制。必须注意的是，如说明书和所附权利要求中所使用的，冠词“一”、“该”和“所述”旨在表示存在一个或者多个元件，除非上下文另有明确规定。因此，例如，对“单元”或者“该单元”的引用可以包括几个单元等。此外，词语“包括”不排除其他元件或者步骤。
附图说明
现在将通过示例并参照示意性附图更详细地描述本发明，其中：
图1图示出被监控场景的两个图像。
图2A-图2C示出图像和不同的像素化级别。
图3是摄像机的框图。
图4是编码系统的框图。
图5A-图5B图示出具有像素和像素块的图像。
图6A-图6B是图示出编码方法的两种变型的流程图。
图7是图示出编码方法的流程图。
具体实施方式
图1示出描绘场景104的两个图像100和102。图像由具有可移动视场的摄像机300捕获。在图3中更详细地图示出摄像机300。摄像机300在图像102的捕获和图像100的捕获之间稍微改变了它的视场，并且因此，图像100示出场景104的稍微不同的部分。
在场景104中，存在具有窗口108的建筑106。人110也出现在图像中。人110在图像102和图像100的捕获之间已经移动，以图示出摄像机300可以通过改变其视场来跟随人110在场景104中的移动。
在图像100、102中，建筑106的窗口108被隐私屏蔽112覆盖，以便隐藏存在于建筑106内并且通过窗口108可见的诸如人或者其他对象的任何敏感内容。隐私屏蔽112以像素化隐私屏蔽的形式提供。如上所提及，像素化隐私屏蔽是一个有吸引力的选择，因为它可以被配置成允许对屏蔽后面的场景的内容进行一些了解，同时保持场景的被屏蔽部分的隐私。
图2A-图2C图示出图像和像素化隐私屏蔽。在图2A中，示出了面部的图像200。在图2B中，像素化已经被应用于图像200，其中图像中的像素已经被分组到像素化组202中。对于每个像素化组202，像素化组中的所有像素被设置成表示该像素化组中的像素值的一个公共值。例如，可以使用该组中所有像素值的平均值。然而，更常见地，该组中的像素值的子集的平均值被用作公共值。由于像素化组可以包含几百个像素，因此计算屏蔽区域中所有像素化组的平均值的计算工作很快变得难以承受。当替代地将像素化组中的前8个像素的平均值用作一个公共值时，计算工作显著减少，并且因此，这是提供用于像素化组的公共值的常用策略。
返回到图2B，可以注意到，仍然有可能检测到在像素化之后存在面部。甚至有可能识别出该人的身份。图2C示出使用更大尺寸的像素化组204的示例。以与图2B中相同的方式，为像素化组204内的所有像素设置公共值，但是由于像素化组204更大，因此在屏蔽区域中留下的信息更少，从而使得更难以检测面部。像素化组的尺寸可以根据诸如图像的尺寸、与需要被屏蔽的对象的距离以及被屏蔽对象无法识别的程度的因素来选择。
图3图示出摄像机300。摄像机300包括光学器件302和图像传感器304，这通常是公知的。摄像机300还包括如图4中更详细图示出的图像编码系统400以及也可以被称为图像处理流水线IPP的图像处理模块306。IPP可以执行例如去马赛克、噪声滤波、锐化和色调映射。摄像机300安装在PT单元308上，PT单元308能够以平移或者倾斜运动来移动摄像机300，从而摄像机300能够捕获场景104的不同部分的图像。如本领域技术人员将认识到，摄像机可以具有附加的部件，但是由于它们对于理解本发明不是必需的，因此未在附图中示出并且不再进一步讨论。
图4图示出编码系统400。编码系统400接收表示图像100的像素的信息402。在接收模块404中，经由IPP 306从图像传感器304接收信息402。
图5A-图5B示出图像100的主要结构。由摄像机300捕获的图像102和其他图像具有与图像100相同的主要结构。图像100由与摄像机300的图像传感器304的像素相对应的多个像素500组成。图像可以由例如1280×720像素、1920×1080像素或者3840×2160像素组成。
接收模块404将像素500组织成包括邻近的像素500的组的像素块502。图5B中示出了像素块502。根据用于编码图像的编码标准，像素块502也可以被表示为宏块、编码树单元或者编码单元。像素块502在大多数情况下可以是包括例如8×8、16×16或者32×32像素的正方形。也可以将像素502分组为其他尺寸和形状的像素块。
返回到图4，除了接收表示图像像素的信息402之外，编码系统400还接收表示隐私屏蔽区域的信息406，在隐私屏蔽区域中诸如隐私屏蔽108的隐私屏蔽被应用于图像100。信息406由隐私屏蔽模块408接收，然后通过执行隐私屏蔽区域的像素化而将隐私屏蔽应用于隐私屏蔽区域。
编码系统400进一步包括移动输入模块410，移动输入模块410接收关于图像传感器在当前图像(在这种情况下即图像100)的捕获和在当前图像的编码中用作参考图像的图像之间的移动的信息412。信息412通常从PT单元308接收，并且可以基于对用于移动摄像机300的电机的控制指令，或者基于来自被设置成感测电机移动摄像机的移动的传感器的输出。作为替代，移动信息412可以从检测并测量摄像机的移动的运动传感器(诸如陀螺仪或者加速度计)接收。
可以注意到，图像传感器的移动通常与摄像机的移动相同，因为图像传感器固定在摄像机中。因此，术语“摄像机的移动”和“图像传感器的移动”在本文中可互换使用。在图像传感器相对于摄像机不太可能移动的情况下，本发明将需要关于图像传感器本身的移动的信息以及关于摄像机的移动的信息。然后，联合移动(joint movement)将表示感兴趣的移动，即视场在两个图像的捕获之间移动了多少。
最后，使用帧间压缩编码在编码器模块414中对图像进行编码。利用将视频流组织成图像组GOP的编码结构，可以使用诸如H.264、H.265(HEVC)、MPEG-4第2部分、AV1或者VP9编解码器的基于块的混合编解码器。通常，每个GOP由帧内编码图像(I帧)开始，随后是几个帧间编码图像(P帧或者B帧)。在帧内编码图像中，编码图像信息而不参照图像流中的其他图像，而在帧间编码图像中，参照图像流中的其他图像来编码图像信息。本文中描述的编码方法主要与帧间编码图像的编码相关。因此，可以注意到，当新的I帧被编码时，隐私屏蔽区域中的编码的像素块通常在新GOP的每个开始处被更新。由于帧内编码不会受到本文中描述的自适应编码的影响，因此不再进一步讨论。
因此，对于帧间编码图像，编码器模块414被设置成参照采用先前解码的图像的形式的参考图像来编码图像。在图1中所示的示例的上下文中，图像100的参考图像可以是图像102，即已经由编码器模块编码并且然后解码以用作参考图像的先前捕获的图像。对于实时应用，例如在监视情况下，通常将先前捕获的图像用作参考图像，即P帧编码，但是如果可以接受延迟，也可以将稍后捕获的图像用作参考图像，即B帧编码。众所周知，延迟是由于等待稍后的图像被捕获、编码并且然后解码以便用作参考图像而引起的。
一般而言，编码器模块414在参考图像(即图像102)中针对与当前图像(即图像100)中的相应像素块相似的参考像素块执行运动向量搜索。如果在参考图像中发现相似的块，则利用表示相对于参考块的位置差异的运动向量和表示相对于参考块的像素值差的残差对当前图像中的像素块进行帧间编码。在没有找到相似的参考块的情况下，则像素块被编码为帧内块。可以补充的是，可以使用附加的成本分析来改进像素块的帧间和帧内编码之间的决定，例如申请人的在先申请EP3370419中所描述。
然而，本发明中的编码器模块414被修改以更好地处理与来自具有可移动视场的摄像机的图像中的像素化屏蔽相关的问题，即，当摄像机移动其视场时像素化屏蔽闪烁或者闪光，从而产生不愉快的观看体验。正如发明人已经认识到的，该问题通常是由于噪声导致像素化组中的公共值在图像之间变化，即使当实际上在待编码图像和参考图像之间场景的内容没有差异时。
当采用将每个像素化组像素中仅几个像素的子集的平均值用作像素化组的公共值的方法时，效果尤其显著。这是因为当仅对少量像素值进行平均时，有助于消除噪声的空间滤波效果较低。如上所解释，由于处理功耗的原因，使用整个像素化组的平均值作为公共值往往是没有吸引力的选择。
根据本发明，通过在摄像机移动期间调整隐私屏蔽区域内的像素块的编码来减轻闪烁，使得隐私屏蔽区域内的任何像素块被编码为参考图像中对应块的副本。这是通过使用关于摄像机的移动的信息来搜索指向参考图像中正确参考块的运动向量，并且然后根据摄像机的移动将隐私屏蔽区域内的像素块编码为具有零残差和运动向量的帧间编码块来实现的。为了确定该编码自适应何时应当是活跃的，将摄像机的移动量与阈值进行比较，阈值可以是零或者零以上的值，在该阈值处，已经确定在像素化区域中将会出现明显的闪烁，这将被观看者感知为反感的视觉假象。
因此，当对隐私屏蔽区域内的像素块进行编码时，编码器模块414将使用经由移动输入模块410接收的关于摄像机移动的信息412来确定摄像机是否正在移动，并且如果摄像机正在移动，则编码将被调整以避免移动期间闪烁的像素化屏蔽的问题。这种自适应的编码可以(至少)以两种稍微不同的方式实现，如现在将参照图6A和图6B所解释的。
在图6A中，图示出第一变型600，其中在步骤602中，当摄像机的移动超过阈值时，编码器模块对隐私屏蔽区域内的所有块执行帧间编码。在这种帧间编码中，在确定残差之前或者之后，屏蔽区域中所有像素块的运动向量被设置成等于摄像机的移动。换句话说，编码器模块可以将运动向量设置成等于该移动，并基于此计算残差，或者编码器模块可以首先根据运动向量搜索来计算运动向量，并且作为第二步，利用被设置成等于图像传感器的移动的运动向量来替换那些运动向量。
由于例如噪声，计算的残差可以是非零的，因此在下一步骤604中，隐私屏蔽区域中的帧间编码块的残差都被设置成零，以便将每个块编码为参考块的副本。此外，可能并行地在步骤606中，根据标准帧间压缩编码过程对剩余图像即隐私屏蔽区域之外的部分进行编码，导致图像中的像素块参照参考图像被编码为帧间块(P块，或者可能的B块，如果允许的话)，或者不参照参考图像被编码为帧内块(I块)。
在图6B中，图示出第二变型608，其中当摄像机移动时，编码器模块将对隐私屏蔽区域内的块进行两次编码。在步骤610中，根据标准帧间压缩编码过程，对图像中的所有像素块(包括像素屏蔽区域中的像素块)执行第一编码。该第一编码导致图像中的像素块参照参考图像被编码为帧间块(P块，或者可能的B块，如果允许的话)，具有根据编码器中的非自适应过程计算的运动向量和残差，或者不参照参考图像被编码为帧内块(I块)。
除了该第一编码之外(例如，并行地)，在步骤612中对隐私屏蔽区域内的块执行帧间编码。在该步骤中，在计算残差之前或者之后，将运动向量设置成等于摄像机移动。这产生了帧间编码的块，其中，残差也可以是非零的，并且再一次，正如在图6A中所图示的变型中一样，因此在步骤614中这些残差被设置成零。
接下来，在步骤616中，通过在步骤610中执行的编码而产生的隐私屏蔽区域内的编码像素块将替换为通过在步骤612和614中的帧间编码而产生的编码像素块，即，运动向量被设置成等于摄像机的移动并且残差被设置成零的编码像素块。
在图7中，在流程图中给出了编码方法700的概述。在步骤702中，(如上所提及，经由IPP)从图像传感器接收像素信息。在步骤704中，像素被分组为像素块，为编码做准备。在步骤706中，接收指定将被像素化隐私屏蔽覆盖的隐私屏蔽区域的位置和范围的信息，并且在步骤708中，执行该区域的像素化。在步骤710中，接收关于摄像机的移动的信息，并且在步骤712中，将该移动与阈值进行比较。如果移动低于阈值，则方法进入步骤714，并且不执行基于摄像机移动的根据本发明的编码的自适应。编码以正常方式进行，并且在步骤718中，输出编码图像。
换句话说，当移动低于阈值时，如上所描述通过在参考图像中执行运动向量搜索来执行编码，以找到与当前图像中的相应像素块相似的参考像素块。该搜索可以旨在找到像素值差最小的像素块，即最小残差，并且根据参考图像中的预定义搜索模式来进行，通常以与当前图像中相应像素块的位置相对应的位置为中心。
如果在参考图像中发现相似的像素块，则当前图像中的像素块利用表示相对于参考块的位置差的运动向量和表示相对于参考块的像素值差的残差进行帧间编码。在没有找到相似的参考块的情况下，则像素块被编码为帧内块。
如前所提及，还可以诸如通过将编码运动向量的成本也考虑在内并且基于残差和运动向量选择具有最低编码成本的参考块来执行附加的编码成本分析，以改进像素块的帧间和帧内编码之间的决定。
另一方面，如果移动高于阈值，则根据图6A-图6B中图示出的变型中的一个来调整隐私屏蔽区域内的像素块的编码，在隐私屏蔽区域中产生具有根据摄像机的移动设置的运动向量(换句话说，等于摄像机的移动)的并且具有零残差的像素块。剩余图像也被编码，但是不受这种特定自适应的影响。显然，可以采取其他步骤和测量来改善摄像机的移动期间的编码，但是这不在本发明的范围内，并且在此不再进一步讨论。最后，在步骤718中输出编码图像。
总之，像素化隐私屏蔽区域内的图像编码被调整，以便减少摄像机的移动期间的闪烁。运动向量被设置成等于摄像机的移动，并且残差被设置成零，从而将隐私屏蔽区域内的像素块编码为参考图像中的对应的像素块的副本。
该方法可以通过执行存储在计算机可读存储介质上的指令来执行。指令可以由任何类型的处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)、在集成电路中实现的定制处理设备、ASIC、FPGA或者包括分立部件的逻辑电路)执行。
编码系统可以被实施为软件、固件、硬件或者其任何组合。
因此，本发明不应当限于所示的实施例而应当仅由所附权利要求来限定。
附图标记列表：
100图像
102图像
104场景
106建筑
108窗口
110人
112隐私屏蔽
200图像
202像素化组
204像素化组
300摄像机
302光学器件
304图像传感器
306图像处理模块，IPP
308PT单元
400编码系统
402像素信息
404接收模块
406隐私屏蔽区域信息
408隐私屏蔽模块
410移动输入模块
412移动信息
414编码器模块
500像素
502像素块。

Claims (11)

1.一种对由图像传感器捕获并且包括隐私屏蔽的图像流进行编码的方法，其中，参照参考图像对所述图像流中的当前图像进行编码，所述参考图像是所述图像流中先前编码的图像，所述方法包括：
从所述图像传感器接收表示所述当前图像的像素的信息，
将所述像素分组为邻近的像素的组的像素块，
接收指定隐私屏蔽区域的位置和范围的信息，在所述隐私屏蔽区域中所述隐私屏蔽被应用于所述当前图像，
执行所述隐私屏蔽区域的像素化，其中，执行所述隐私屏蔽区域的像素化的步骤包括：
将所述隐私屏蔽区域内的像素分组为邻近的像素的像素化组，和
将相应像素化组的每个像素的像素值设置成表示所述相应像素化组的公共像素值，
接收表示所述图像传感器在所述参考图像的捕获和当前图像的捕获之间的移动的信息，其中，从控制所述图像传感器的移动的平移、倾斜或者变焦控制器或者从运动传感器接收表示所述图像传感器的移动的所述信息，
在所述图像传感器的所述移动高于阈值的情况下，利用指向所述参考图像中的参考像素块的运动向量以及指示所述参考像素块和所述像素化隐私屏蔽区域内的所述像素块之间的像素值差的残差，将所述像素化隐私屏蔽区域内的每个像素块编码为帧间编码块，其中，所述运动向量被设置成等于所述图像传感器的所述移动，并且所述残差被设置成零。
2.根据权利要求1所述的方法，进一步包括：独立于所述图像传感器的所述移动而对所述当前图像中的像素块执行第一编码，以产生第一编码像素块，以及，
在所述图像传感器的所述移动高于所述阈值的情况下，与所述第一编码并行地对所述隐私屏蔽区域内的像素块执行第二帧间编码，以产生所述帧间编码块，所述帧间编码块具有被设置成等于所述图像传感器的所述移动的运动向量并且具有被设置成零的残差，以及
通过所述帧间编码块替换与所述隐私屏蔽区域内的所述像素块相对应的那些第一编码像素块，所述帧间编码块具有基于所述图像传感器的所述移动来确定的运动向量并且具有被设置成零的残差。
3.根据权利要求1所述的方法，其中，将所述隐私屏蔽区域内的每个像素块编码为帧间编码块包括：
对所述隐私屏蔽区域内的每个像素块执行第一帧间编码，以产生具有非零残差的帧间编码块，以及
将所述非零残差设置成零。
4.根据权利要求3所述的方法，其中，所述第一帧间编码包括：将所述隐私屏蔽区域内的每个像素块的运动向量设置成等于所述图像传感器的所述移动。
5.根据权利要求3所述的方法，其中，所述第一帧间编码包括：独立于所述图像传感器的所述移动而确定所述隐私屏蔽区域内的每个像素块的第一运动向量，并且其中，所述隐私屏蔽内的每个像素块的所述编码进一步包括：
与所述第一帧间编码并行地将所述隐私屏蔽区域内的每个像素块的运动向量设置成等于所述图像传感器的所述移动，并且通过被设置成等于所述图像传感器的所述移动的所述运动向量替换所述第一运动向量。
6.根据权利要求1所述的方法，其中，所述公共像素值是所述相应像素化组中的像素的子集的像素值的平均值。
7.根据权利要求1所述的方法，其中，所述先前解码的图像是所述图像流中先前捕获的图像。
8.根据权利要求1所述的方法，其中，所述先前解码的图像是所述图像流中的稍后捕获的图像，所述稍后捕获的图像先前已经被编码并且解码以用作所述参考图像。
9.根据权利要求1所述的方法，其中，表示所述图像中的所述像素的所述信息是来自由关于亮度、光强度和颜色值的数据组成的组中的至少一个。
10.一种图像编码系统，用于对由图像传感器捕获的并且包括隐私屏蔽的图像流进行编码，其中，参照参考图像对图像流中的当前图像进行编码，所述参考图像是所述图像流中先前解码的图像，所述系统包括：
接收模块，被布置成从所述图像传感器接收表示所述当前图像的像素的信息，并将所述像素分组为邻近的像素的组的像素块，
隐私屏蔽模块，被布置成接收指定其中所述隐私屏蔽被应用于所述当前图像的隐私屏蔽区域的位置和范围的信息，并且执行所述隐私屏蔽区域的像素化，其中，所述隐私屏蔽区域的像素化包括：将所述隐私屏蔽区域内的像素分组为邻近的像素的像素化组，和将相应像素化组的每个像素的像素值设置成表示所述相应像素化组的公共像素值，
移动输入模块，被布置成接收表示所述图像传感器在所述参考图像的捕获和所述当前图像的捕获之间的移动的信息，其中，所述移动输入模块被布置成从控制所述图像传感器的移动的平移、倾斜或者变焦控制器或者从运动传感器接收表示所述图像传感器的移动的信息，
编码器模块，被布置成在所述移动高于阈值的情况下，利用指向所述参考图像中的参考像素块的运动向量以及指示所述参考像素块和所述像素化隐私屏蔽区域内的所述像素块之间的像素值差的残差，将所述像素化隐私屏蔽区域内的每个像素块编码为帧间编码块，其中，所述运动向量被设置成等于所述图像传感器的所述移动，并且所述残差被设置成零。
11.一种摄像机，包括根据权利要求10所述的图像编码系统。
CN202111181210.1A 2020-10-16 2021-10-11 对包括隐私屏蔽的图像进行编码的方法、系统和摄像机 Active CN114374842B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20202309.9 2020-10-16
EP20202309.9A EP3985976B1 (en) 2020-10-16 2020-10-16 Method of encoding an image including a privacy mask

Publications (2)

Publication Number Publication Date
CN114374842A true CN114374842A (zh) 2022-04-19
CN114374842B CN114374842B (zh) 2023-06-23

Family

ID=72943893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111181210.1A Active CN114374842B (zh) 2020-10-16 2021-10-11 对包括隐私屏蔽的图像进行编码的方法、系统和摄像机

Country Status (6)

Country Link
US (1) US11544878B2 (zh)
EP (1) EP3985976B1 (zh)
JP (1) JP7282849B2 (zh)
KR (1) KR102525246B1 (zh)
CN (1) CN114374842B (zh)
TW (1) TWI821723B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask
EP4372560A1 (en) * 2022-11-18 2024-05-22 Axis AB Camera system and method of controlling a computing hardware accelerator

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0907940A1 (en) * 1997-04-14 1999-04-14 Koninklijke Philips Electronics N.V. A security system with maskable motion detection and camera with an adjustable field of view
CN103763567A (zh) * 2013-12-31 2014-04-30 华中科技大学 一种应用于监控视频隐私保护的压缩域失真漂移补偿方法
CN107197307A (zh) * 2016-03-15 2017-09-22 安讯士有限公司 用于编码视频流的方法和系统
US20190068895A1 (en) * 2017-08-22 2019-02-28 Alarm.Com Incorporated Preserving privacy in surveillance
CN111314696A (zh) * 2018-12-11 2020-06-19 安讯士有限公司 用于对图像帧的序列进行编码的方法和设备

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5341489A (en) * 1992-04-14 1994-08-23 Eastman Kodak Company Memory card with programmable interleaving
JP3722653B2 (ja) * 1999-08-31 2005-11-30 松下電器産業株式会社 監視カメラ装置及び監視カメラの表示方法
KR20080019729A (ko) * 2004-04-02 2008-03-04 실버브룩 리서치 피티와이 리미티드 모놀리식 집적회로
KR100664350B1 (ko) 2004-12-03 2007-01-02 엘지전자 주식회사 프라이버시 마스크 표시 제어방법
US8009200B2 (en) * 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis
JP4238939B2 (ja) * 2008-10-24 2009-03-18 株式会社日立製作所 監視カメラ装置及び監視カメラシステム装置
JP5390322B2 (ja) * 2009-09-28 2014-01-15 株式会社東芝 画像処理装置、及び画像処理方法
US9282333B2 (en) * 2011-03-18 2016-03-08 Texas Instruments Incorporated Methods and systems for masking multimedia data
JP2013066016A (ja) * 2011-09-16 2013-04-11 Univ Of Electro-Communications 輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラム
US9319635B2 (en) 2012-11-30 2016-04-19 Pelco, Inc. Window blanking for pan/tilt/zoom camera
FR2999373B1 (fr) * 2012-12-12 2018-04-06 Harmonic Inc. Procede d'adaptation dynamique du codage d'un flux audio et/ou video transmis a un dispositif
US10104331B2 (en) * 2012-12-31 2018-10-16 Karl Storz Imaging, Inc. Camera control unit with stereoscopic video recording and archive
KR101875137B1 (ko) 2013-03-26 2018-07-06 한화에어로스페이스 주식회사 프라이버시 마스크 처리 방법 및 장치
EP3131295A1 (en) 2015-08-14 2017-02-15 Axis AB Video encoding method and system
EP3136726B1 (en) * 2015-08-27 2018-03-07 Axis AB Pre-processing of digital images
US10122928B2 (en) * 2015-09-09 2018-11-06 Red.Com, Llc Motion video output for multiple displays
TW201722136A (zh) * 2015-11-18 2017-06-16 喬格 提爾克林 保全系統及方法
JP2017143355A (ja) * 2016-02-08 2017-08-17 キヤノン株式会社 画像符号化装置及び方法及び撮像装置
KR102474697B1 (ko) 2016-08-09 2022-12-05 한화테크윈 주식회사 촬상 장치 및 영상 처리 방법
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
EP3370419B1 (en) 2017-03-02 2019-02-13 Axis AB A video encoder and a method in a video encoder
US10277901B2 (en) 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
US11212536B2 (en) 2017-07-14 2021-12-28 Sony Interactive Entertainment Inc. Negative region-of-interest video coding
KR102412007B1 (ko) * 2017-07-20 2022-06-22 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
EP3618442B1 (en) * 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
EP3884673B1 (en) * 2018-11-19 2022-12-28 Dolby Laboratories Licensing Corporation Video encoder and encoding method
JP7204449B2 (ja) 2018-11-29 2023-01-16 キヤノン株式会社 制御装置、撮像装置、制御方法およびプログラム
EP3985974B1 (en) * 2020-10-13 2023-05-10 Axis AB An image processing device, a camera and a method for encoding a sequence of video images
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0907940A1 (en) * 1997-04-14 1999-04-14 Koninklijke Philips Electronics N.V. A security system with maskable motion detection and camera with an adjustable field of view
CN103763567A (zh) * 2013-12-31 2014-04-30 华中科技大学 一种应用于监控视频隐私保护的压缩域失真漂移补偿方法
CN107197307A (zh) * 2016-03-15 2017-09-22 安讯士有限公司 用于编码视频流的方法和系统
US20190068895A1 (en) * 2017-08-22 2019-02-28 Alarm.Com Incorporated Preserving privacy in surveillance
CN111314696A (zh) * 2018-12-11 2020-06-19 安讯士有限公司 用于对图像帧的序列进行编码的方法和设备

Also Published As

Publication number Publication date
JP2022066158A (ja) 2022-04-28
CN114374842B (zh) 2023-06-23
TWI821723B (zh) 2023-11-11
TW202218406A (zh) 2022-05-01
US11544878B2 (en) 2023-01-03
JP7282849B2 (ja) 2023-05-29
US20220122294A1 (en) 2022-04-21
KR102525246B1 (ko) 2023-04-21
EP3985976A1 (en) 2022-04-20
KR20220050754A (ko) 2022-04-25
EP3985976B1 (en) 2022-09-28

Similar Documents

Publication Publication Date Title
KR102188002B1 (ko) 프라이버시 마스크를 포함하는 이미지를 인코딩하는 방법
CN108737837B (zh) 形成视频流的方法及图像处理单元
TWI766906B (zh) 編碼隱私遮罩影像
KR102067199B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
CN114374842B (zh) 对包括隐私屏蔽的图像进行编码的方法、系统和摄像机
US10277901B2 (en) Encoding a video stream having a privacy mask
JP2018201189A5 (zh)
EP2536143B1 (en) Method and a digital video encoder system for encoding digital video data
JP2007067469A (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
US10382780B2 (en) Method, a video encoder, and a video camera for encoding a video stream
CN111314696B (zh) 用于对图像帧的序列进行编码的方法和设备
KR20180006972A (ko) 비디오 모션 보상을 위한 장치 및 방법
US20220201253A1 (en) Camera and a method therein for facilitating installation of the camera
CN114500787A (zh) 基于照相机运动生成替代图像帧
JP2009027493A (ja) 画像符号化装置および画像符号化方法
US11055976B2 (en) Using a skip block mask to reduce bitrate from a monitoring camera
CN114449281A (zh) 一种基于场景变动的智能码率控制优化方法
CN101577826B (zh) 视频编码中的运动搜索控制方法和控制装置
CN116614630A (zh) 对包括叠层的视频流进行编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant