CN113709523B - 用于编码及解码私密数据的方法及图像处理装置 - Google Patents

用于编码及解码私密数据的方法及图像处理装置 Download PDF

Info

Publication number
CN113709523B
CN113709523B CN202110559907.1A CN202110559907A CN113709523B CN 113709523 B CN113709523 B CN 113709523B CN 202110559907 A CN202110559907 A CN 202110559907A CN 113709523 B CN113709523 B CN 113709523B
Authority
CN
China
Prior art keywords
encoded
bitstream
frame
decoding
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110559907.1A
Other languages
English (en)
Other versions
CN113709523A (zh
Inventor
王裕闵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Publication of CN113709523A publication Critical patent/CN113709523A/zh
Application granted granted Critical
Publication of CN113709523B publication Critical patent/CN113709523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/065—Encryption by serially and continuously modifying data stream elements, e.g. stream cipher systems, RC4, SEAL or A5/3
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H04L9/0631—Substitution permutation network [SPN], i.e. cipher composed of a number of stages or rounds each involving linear and nonlinear transformations, e.g. AES algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/04—Masking or blinding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/34—Encoding or coding, e.g. Huffman coding or error correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提出用于编码及解码私密数据的方法及图像处理装置。用于编码私密数据的方法包含：接收原始视频帧；遮蔽原始视频帧中的至少一个私密区域以产生受保护视频帧；通过编码受保护视频帧来产生第一经编码帧；以及根据第一经编码帧产生用于流式传输或存储的至少一个输出位流。用于解码私密数据的方法包含：接收至少一个输入视频位流以获得第一经编码位流及第二经编码位流；解码第一经编码位流以产生包含与至少一个私密区域相关联的图像数据的受保护视频帧；以及将受保护视频帧输出到显示器队列，使得显示至少一个私密区域。

Description

用于编码及解码私密数据的方法及图像处理装置
技术领域
本公开涉及用于编码及解码私密数据的技术。
背景技术
谷歌公司(Google)已在其街景特征(Street View feature)中使用模糊面部的技术以试图保护个体的隐私，如图1中的街景图像100的示意图中所示出，其中个体H的面部F经匿名化。就监控网络视频记录器(network video recorders；NVR)中的脸部模糊来说，如下呈现两种常规方法。
在第一常规方法中，如图2A中所示出，将复制由监控摄像头210A捕获的原始视频，且将检测且模糊经复制视频中的所有面部区域以产生受保护视频。举例来说，将会将原始视频和受保护视频两者的图像数据传输到主控室220A。保安人员将对受保护视频执行安全性监控任务。原始视频将为加密的，且警务人员或任何其它授权人将通过使用解密密钥对原始视频进行侦查以寻找受保护视频中是否存在犯罪行为。在第一常规方法中，需要双倍存储空间用于存储且需要双倍网络带宽来进行流式传输。
在第二常规方法中，如图2B中所示出，应将由监控摄像头210B捕获的原始视频和私密区域数据(例如根据原始视频确定的面部区域的坐标)传输到主控室220B。将根据主控室中的私密区域数据，通过计算机系统来模糊原始视频中的面部区域以产生遮蔽视频。操作员将对遮蔽视频执行安全性监控任务。原始视频也将为加密的，且警务人员或任何其它授权人将通过使用解密密钥对原始视频进行侦查以寻找遮蔽视频中是否存在犯罪行为。
然而，由于私密数据受系统层级的NVR保护，因此尚未充分解决两种前述方法中的安全性问题。如果解密密钥已经泄漏或视频文件已经转移到其它系统，那么操作员可访问原始未受保护的视频。
发明内容
本发明提出用于编码及解码私密数据的方法及图像处理装置。
根据示例性实施例中的一个，用于编码私密数据的方法包含以下步骤。接收原始视频帧。遮蔽原始视频帧中的至少一个私密区域以产生受保护视频帧。通过编码受保护视频帧来产生第一经编码帧。根据第一经编码帧产生用于流式传输或存储的至少一个输出位流。
根据示例性实施例中的一个，图像处理装置包含接收电路、遮蔽电路、编码电路以及输出电路。接收电路配置成接收原始视频帧。遮蔽电路配置成遮蔽原始视频帧中的至少一个私密区域以产生受保护视频帧。编码电路配置成通过编码受保护视频帧来产生第一经编码帧。输出电路配置成根据第一经编码帧产生用于流式传输或存储的至少一个输出位流。
根据示例性实施例中的一个，图像处理装置包含处理器。处理器配置成：接收原始视频帧；遮蔽原始视频帧中的至少一个私密区域以产生受保护视频帧；通过编码受保护视频帧产生第一经编码帧；以及根据第一经编码帧产生用于流式传输或存储的至少一个输出位流。
根据示例性实施例中的一个，用于解码私密数据的方法包含以下步骤。接收至少一个输入视频位流以获得第一经编码位流和第二经编码位流。解码第一经编码位流以产生受保护视频帧，所述受保护视频帧包含与至少一个私密区域相关联的图像数据。将受保护视频帧输出到显示器队列，使得显示至少一个私密区域。
根据示例性实施例中的一个，图像处理装置包含接收电路、解码电路以及输出电路。接收电路配置成接收至少一个输入视频位流以获得第一经编码位流及第二经编码位流。解码电路配置成解码第一经编码位流以产生受保护视频帧，所述受保护视频帧包含至少一个私密区域的图像数据。输出电路配置成将受保护视频帧输出到显示器队列，使得显示所述至少一个私密区域。
根据示例性实施例中的一个，图像处理装置包含处理器。处理器配置成：接收至少一个输入视频位流以获得第一经编码位流及第二经编码位流；解码第一经编码位流以产生受保护视频帧，所述受保护视频帧包含至少一个私密区域的图像数据；以及将受保护视频帧输出到显示器队列，使得显示至少一个私密区域。
为了使得本公开的前述特征及优点便于理解，下文将详细描述附有图式的优选实施例。应理解，前文总体描述以及以下详细描述都是示例性的，并且意图提供对所要求保护的本公开的进一步说明。
然而，应理解，本发明内容可不含有本公开的所有方面和实施例，且因此不希望以任何方式加以限制或约束。此外，本公开将包含对本领域的技术人员显而易见的改进和修改。
附图说明
包含附图以提供对本公开的进一步理解，且附图并入本说明书中并构成本说明书的一部分。图式示出本公开的实施例，且与描述一起用于解释本公开的原理。
图1示出根据现有技术的具有脸部模糊的街景图像的示意图。
图2A示出用于NVR中的脸部模糊的第一常规方法的示意图。
图2B示出用于NVR中的脸部模糊的第二常规方法的示意图。
图3A和图3B示出根据本公开的示例性实施例中的一个的所提出图像处理装置的示意图。
图4示出根据本公开的示例性实施例中的一个的用于编码私密数据的所提出方法的流程图。
图5示出根据本公开的示例性实施例中的一个的用于编码私密数据的所提出方法的功能图。
图6A和图6B示出根据本公开的示例性实施例中的一个的所提出图像处理装置的示意图。
图7示出根据本公开的示例性实施例中的一个的用于解码私密数据的所提出方法的流程图。
图8A示出根据本公开的示例性实施例中的一个的用于解码私密数据的所提出方法的功能图。
图8B示出根据本公开的示例性实施例中的一个的用于回放的私密数据和受保护数据的示意图。
为了使本申请的以上特征及优势更好理解，如下详细地描述附有图式的若干实施例。
附图标号说明
100：街景图像；
210A：监控摄像头；
220A、220B：主控室；
300A、300B、600A、600B：图像处理装置；
310、610：接收电路；
320：遮蔽电路；
330：编码电路；
335：加密电路；
340、630：输出电路；
350、650：处理电路；
620：解码电路；
625：解密电路；
Cn：经复制原始视频帧；
Cn'：受保护视频帧；
H：个体；
F：面部；
Fn：原始帧；
Rn：参考帧；
S402、S404、S406、S408、S510、S520、S530、S540、S702、S704、S706、S810、S820、S830、S840、S850、S860、S870：步骤；
Xn：第一经编码帧；
Yn：第二经编码帧；
Zn：加密的第二经编码帧。
具体实施方式
现将在下文参考随附图式更充分地描述本公开的一些实施例，在所述随附图式中绘示本申请中的一些而非全部实施例。实际上，本公开的各种实施例可以许多不同形式体现且不应被解释为限于本文中阐述的实施例；相反地，提供这些实施例使得本公开将满足适用的法律要求。相同的附图标记始终指代相同的元件。
图3A和图3B示出根据本公开的示例性实施例中的一个的所提出图像处理装置的示意图。应注意，图3A和图3B中的所提出的两个图像处理装置将用于编码私密数据。图3A和图3B中首先介绍图像处理装置的所有组件和其配置。结合图4更详细地公开组件的功能。
参看图3A，图像处理装置300A将实施为集成电路(integrated circuit；IC)，所述集成电路包含接收电路310、遮蔽电路320、编码电路330以及输出电路340，其中遮蔽电路320耦接到接收电路310，编码电路330耦接到遮蔽电路320，且输出电路340耦接到编码电路330。应注意，在示例性实施例中的一个中，耦接于编码电路330与输出电路340之间的加密电路335可任选地包含于图像处理装置300A中。
参看图3B，图像处理装置300B将为包含处理器350的电子系统或计算机系统。处理器350可以是北桥(North Bridge)、南桥(South Bridge)、场可编程阵列(fieldprogrammable array，FPGA)、可编程逻辑装置(programmable logic device，PLD)、专用集成电路(application specific integrated circuit，ASIC)、其它类似装置或其组合中的一个或大于一个。处理器还可以是中央处理单元(central processing unit，CPU)、可编程通用或专用微处理器、数字信号处理器(digital signal processor，DSP)、图形处理单元(graphics processing unit，GPU)、其它类似装置或其组合。
图4示出根据本公开的示例性实施例中的一个的用于编码私密数据的所提出方法的流程图。可通过分别如图3A和图3B中所示出的所提出图像处理装置300A和图像处理装置300B来实施图4的步骤。
结合图3A来参看图4，接收电路310将接收原始视频帧(步骤S402)，且遮蔽电路320将遮蔽原始视频帧中的至少一个私密区域以产生受保护视频帧(步骤S404)。本文中，此类私密区域可以是人的面部区域且可以通过如本身已知的任何脸部模糊技术来进行遮蔽。换句话说，受保护视频帧中出现的人的身份可受保护且匿名化。接着，编码电路330将通过编码受保护视频帧来产生第一经编码帧(步骤S406)，且输出电路408将根据第一经编码帧产生用于流式传输或存储的至少一个输出位流(步骤S408)。稍后将提供更多细节。应注意，还可通过图3B中的图像处理装置300B的处理器350来执行步骤S402到步骤S406。为简洁起见，将省略所述描述。
为更好地理解，图5示出根据本公开的示例性实施例中的一个的用于编码私密数据的所提出方法的功能图。可通过分别如图3A和图3B中所示出的所提出图像处理装置300A和图像处理装置300B来实施图5的步骤。在以下描述中，出于说明的目的，将仅呈现一个帧。
结合图3A来参看图5，接收电路310将接收原始视频帧Fn且复制(S510)原始帧Fn以产生经复制原始视频帧Cn。接着，遮蔽电路320将遮蔽(S520)经复制原始视频帧Cn以产生受保护视频帧Cn'。
编码电路330将编码(S530)受保护视频帧Cn'以产生参考帧Rn和第一经编码帧Xn。应注意，如果写码成p-帧，那么受保护视频帧Cn'将编码有参考帧R(n-1)。编码电路330还将通过使用参考帧Rn来编码(S530)原始视频帧Cn以产生第二经编码帧Yn。接着，加密电路335将使用例如AES加密算法对第二经编码帧Yn进行加密以产生加密的第二经编码帧Zn。
输出电路340将根据第一经编码帧Xn(视为正常位流)和加密的第二经编码帧Zn(视为加密的位流)产生用于流式传输或存储的至少一个输出位流。本文中，输出电路340将会将第一经编码帧Xn和加密的第二经编码帧Zn封装(S540)成用于存储或流式传输的一个位流或单独的位流。在一个示例性实施例中，输出电路340可将第一经编码帧Xn封装成第一输出位流且将加密的第二经编码帧封装成第二输出位流。在另一示例性实施例中，输出电路340可将第一经编码帧Xn和加密的第二经编码帧Zn封装成组合的输出位流。
应注意，还可通过图3B中的图像处理装置300B的处理器350来执行图5中的流程。为简洁起见，将省略所述描述。
就视频编码来说，应注意，第二经编码帧Yn仅保持原始帧Fn与参考帧Rn之间的差异。位流Zn将仅含有私密数据(私密区域)且将考虑作为“私密层”。私密层将封装于网络抽象层(network abstraction layer，NAL)单元中的辅助增强信息(supplementalenhancement information，SEI)中。就视频解码和回放来说，SEI将与正常位流一起封装且将在回放和直播时被NVR忽略，且NVR将仅通过授权密钥(即，解密密钥)播放私密层。
详细地说，图6A和图6B示出根据本公开的示例性实施例中的一个的所提出图像处理装置的示意图。应注意，图6A和图6B中的所提出的两个图像处理装置将用于解码私密数据。图6A和图6B中首先介绍图像处理装置的所有组件和其配置。结合图7更详细地公开组件的功能。
参看图6A，图像处理装置600A将实施为集成电路(IC)，所述集成电路包含接收电路610、解码电路620以及输出电路630，其中解码电路620耦接到接收电路610且输出电路630耦接到解码电路620。应注意，在示例性实施例中的一个中，耦接于解码电路620与输出电路630之间的解密电路625可任选地包含于图像处理装置600A中。
参看图6B，图像处理装置600B将为包含处理器650的电子系统或计算机系统。处理器650可以是北桥、南桥、FPGA、PLD、ASIC、其它类似装置或其组合中的一个或大于一个。处理器还可以是CPU、可编程通用或专用微处理器、DSP、GPU、其它类似装置或其组合。
图7示出根据本公开的示例性实施例中的一个的用于解码私密数据的所提出方法的流程图。可通过分别如图6A和图6B中所示出的所提出图像处理装置600A和图像处理装置600B来实施图7的步骤。
结合图6A来参看图7，接收电路610将接收至少一个输入视频位流以获得第一经编码位流和第二经编码位流(步骤S702)。接着，解码电路620将解码第一经编码位流以产生受保护视频帧，所述受保护视频帧包含至少一个私密区域的图像数据(步骤S704)，且输出电路630将会将受保护视频帧输出到显示器队列，使得显示至少一个私密区域(步骤S706)。稍后将提供更多细节。应注意，还可通过图6B中的图像处理装置600B的处理器650来执行步骤S702到步骤S706。为简洁起见，将省略所述描述。
为更好地理解，图8A示出根据本公开的示例性实施例中的一个的用于解码私密数据的所提出方法的功能图。可通过分别如图6A和图6B中所示出的所提出图像处理装置600A和图像处理装置600B来实施图8A的步骤。在以下描述中，出于说明的目的，将仅呈现一个帧。
结合图6A来参看图8A，接收电路610将接收输入位流(Xn、Zn)(S810)作为在图5中封装(S540)，其中此后Xn和Zn将称为“第一经编码位流”和“第二经编码位流”。接着，解码电路620将解码第一经编码位流Xn以重建不具有至少一个私密区域的图像数据的参考帧Rn(S820)。应注意，如果写码为p-帧，那么第一位流Xn将通过参考帧R(n-1)解码。接着，解密电路625将确定是否授权解码第二经编码位流Zn(即，是否可获得授权密钥)(S830)。
如果未授权解码第二经编码位流Zn，那么输出电路630将会将参考帧Rn发送到显示器队列(S840)。本文中，仅解码第一经编码位流Xn且仅将参考帧Rn输出到显示器队列。不解码第二经编码位流Zn，且不将受保护视频帧Cn'输出到显示器队列。这是因为仅显示模糊私密区域的参考帧Rn。
另一方面，如果授权解码第二经编码位流Zn，那么解密电路625将对第二经编码位流Zn进行解密为第二经编码帧Yn(S850)且通过参考帧Rn解码第二经编码帧Yn以重建受保护视频帧Cn'(S860)，且输出电路630将会将受保护视频帧发送到显示器队列(S870)。本文中，解码第一经编码位流Xn和第二经编码位流Zn两者以产生输出到显示器队列的参考帧Rn和受保护视频帧Cn'。因此，将显示私密区域未模糊的完整图像(即，原始帧)。一旦已处理输入位流(Xn、Zn)，那么流程移至S810以处理后续位流(X(n+1)、Z(n+1))。
应注意，还可通过图6B中的图像处理装置600B的处理器650来执行图8A中的流程。为简洁起见，将省略所述描述。
图8B示出根据本公开的示例性实施例中的一个的用于回放的私密数据和受保护数据的示意图。在视频回放期间，如果不存在授权密钥，那么将仅显示受保护数据81、受保护数据83、受保护数据85、受保护数据87。如果存在授权密钥，那么受保护数据81、受保护数据83、受保护数据85、受保护数据87将与受保护数据82、受保护数据84、受保护数据86、受保护数据88交替地组合且将显示受保护数据和私密数据81到88的组合。
应注意，在图6A、图6B和图8A中的流程中，私密数据能够通过使用具有受保护私密层的单个视频流而在数据级处受到保护。经在无认证的情况下在NVR中解码非私密视频，且私密层需要用于解码的授权密钥以及即刻授权和有效期。举例来说，用于各摄像机、各区域、各时间间隔等的授权密钥可以是不同的。另外，需要减小的空间(大致仅至多存储空间的1.2倍)以存储和流式传输以进行传输。
鉴于上述描述，所提出的方法和图像处理装置将能够以安全且高效的方式提供视频传输。
本申请的所公开实施例的详细描述中使用的元件、动作或指令不应解释为对本公开来说绝对关键或必要的，除非明确地如此描述。此外，如本文中所使用，不定冠词“一(a/an)”中的每一个可包含大于一个项目。如果想表示只有一个项目，那么将使用术语“单个”或类似语言。此外，如本文中所使用，在多个物项和/或多个物项种类的列表之前的术语“中的任一个”希望包含所述物项和/或物项种类个别地或结合其它物项和/或其它物项种类“中的任一个”、“中的任何组合”、“中的任何多个”和/或“中的多个的任何组合”。此外，如本文中所使用，术语“集合”意图包含任何数目个物项，包含零。此外，如本文中所用，术语“数目”意图包含任何数目，包含零。
将对本领域的技术人员显而易见的是，在不脱离本公开的范围或精神的情况下，可对所公开实施例的结构作出各种修改和变化。鉴于前述内容，希望本公开涵盖属于所附权利要求书和其等效物的范围内的本公开的修改和变化。

Claims (18)

1.一种用于编码私密数据的方法，包括：
接收原始视频帧；
遮蔽所述原始视频帧中的至少一个私密区域以产生受保护视频帧；
对所述受保护视频帧进行编码以产生第一经编码帧与用来显示模糊私密区域图像的参考帧；
使用所述用来显示模糊私密区域图像的参考帧来编码所述原始视频帧以产生第二经编码帧；
对所述第二经编码帧进行加密以产生加密的第二经编码帧；以及
根据所述第一经编码帧及所述加密的第二经编码帧产生用于流式传输或存储的至少一个输出位流。
2.根据权利要求1所述的用于编码私密数据的方法，其中所述至少一个输出位流包括第一输出位流及第二输出位流，且其中根据所述第一经编码帧及所述加密的第二经编码帧产生用于流式传输或存储的所述至少一个输出位流的步骤包括：
将所述第一经编码帧封装成所述第一输出位流；以及
将所述加密的第二经编码帧封装成所述第二输出位流。
3.根据权利要求1所述的用于编码私密数据的方法，其中所述至少一个输出位流包括组合的输出位流，且其中根据所述第一经编码帧及所述加密的第二经编码帧产生用于流式传输或存储的所述至少一个输出位流的步骤包括：
将所述第一经编码帧及所述加密的第二经编码帧封装成所述组合的输出位流。
4.根据权利要求1所述的用于编码私密数据的方法，还包括：
复制所述原始视频帧以产生经复制原始视频帧；以及
对所述经复制原始视频帧执行遮蔽。
5.一种图像处理装置，包括：
接收电路，配置成接收原始视频帧；
遮蔽电路，配置成遮蔽所述原始视频帧中的至少一个私密区域以产生受保护视频帧；
编码电路，配置成对所述受保护视频帧进行编码以产生第一经编码帧与用来显示模糊私密区域图像的参考帧，其中所述编码电路还配置成使用所述用来显示模糊私密区域图像的参考帧来编码所述原始视频帧以产生第二经编码帧；
加密电路，配置成对所述第二经编码帧进行加密以产生加密的第二经编码帧；以及
输出电路，配置成根据所述第一经编码帧及所述加密的第二经编码帧产生用于流式传输或存储的至少一个输出位流。
6.根据权利要求5所述的图像处理装置，
其中所述至少一个输出位流包括第一输出位流及第二输出位流，以及
其中所述输出电路配置成将所述第一经编码帧封装成所述第一输出位流且将所述加密的第二经编码帧封装成所述第二输出位流来产生用于流式传输或存储的所述至少一个输出位流。
7.根据权利要求5所述的图像处理装置，
其中所述至少一个输出位流包括组合的输出位流，以及
其中所述输出电路配置成将所述第一经编码帧及所述加密的第二经编码帧封装成所述组合的输出位流来产生用于流式传输或存储的所述至少一个输出位流。
8.根据权利要求5所述的图像处理装置，
其中所述接收电路进一步配置成复制所述原始视频帧以产生经复制原始视频帧，以及
其中所述遮蔽电路配置成对所述经复制原始视频帧执行遮蔽。
9.一种图像处理装置，包括：
处理器，配置成：
接收原始视频帧；
遮蔽所述原始视频帧中的至少一个私密区域以产生受保护视频帧；
对所述受保护视频帧进行编码以产生第一经编码帧与用来显示模糊私密区域图像的参考帧；
使用所述用来显示模糊私密区域图像的参考帧来编码所述原始视频帧以产生第二经编码帧；
对所述第二经编码帧进行加密以产生加密的第二经编码帧；以及
根据所述第一经编码帧及所述加密的第二经编码帧产生用于流式传输或存储的至少一个输出位流。
10.一种用于解码私密数据的方法，包括：
接收至少一个输入视频位流以获得第一经编码位流及第二经编码位流；
解码所述第一经编码位流以产生用来显示模糊私密区域图像的参考帧；
确定是否授权解码所述第二经编码位流；
若未授权解码所述第二经编码位流，则仅解码所述第一经编码位流且将所述用来显示模糊私密区域图像的参考帧输出到显示器队列，且不解码所述第二经编码位流且不将受保护视频帧输出到所述显示器队列；以及
若授权解码所述第二经编码位流，则对所述第二经编码位流进行解密，并使用所述用来显示模糊私密区域图像的参考帧来对解密后的所述第二经编码位流进行解码，以产生所述受保护视频帧。
11.根据权利要求10所述的用于解码私密数据的方法，还包括：
在解码所述第二经编码位流之前，在授权密钥时对所述第二经编码位流进行解密。
12.根据权利要求11所述的用于解码私密数据的方法，其中解码所述第一经编码位流及所述第二经编码位流两者以产生所述用来显示模糊私密区域图像的参考帧及受保护视频帧两者，在授权所述密钥时，将所述用来显示模糊私密区域图像的参考帧及所述受保护视频帧输出到所述显示器队列，使得显示至少一个私密区域未模糊的完整图像。
13.根据权利要求11所述的用于解码私密数据的方法，还包括：
在未授权所述密钥时，不对所述第二经编码位流进行解密。
14.一种图像处理装置，包括：
接收电路，配置成接收至少一个输入视频位流以获得第一经编码位流及第二经编码位流；
解码电路，配置成解码所述第一经编码位流以产生用来显示模糊私密区域图像的参考帧；
解密电路，配置成确定是否授权解码所述第二经编码位流；以及
输出电路，其中若所述解密电路未授权解码所述第二经编码位流，则所述解码电路仅解码所述第一经编码位流且所述输出电路将所述用来显示模糊私密区域图像的参考帧输出到显示器队列，且所述解码电路不解码所述第二经编码位流且所述输出电路不将受保护视频帧输出到所述显示器队列，
其中若所述解密电路授权解码所述第二经编码位流，则所述解密电路对所述第二经编码位流进行解密，且所述解码电路使用所述用来显示模糊私密区域图像的参考帧来对解密后的所述第二经编码位流进行解码，以产生所述受保护视频帧。
15.根据权利要求14所述的图像处理装置，
在解码所述第二经编码位流之前，其中所述解密电路配置成在授权密钥时对所述第二经编码位流进行解密。
16.根据权利要求14所述的图像处理装置，
其中所述解码电路配置成解码所述第一经编码位流及所述第二经编码位流两者以产生所述用来显示模糊私密区域图像的参考帧及受保护视频帧两者，以及
其中所述输出电路配置成在授权密钥时将所述用来显示模糊私密区域图像的参考帧及所述受保护视频帧两者输出到所述显示器队列，使得显示至少一个私密区域未模糊的完整图像。
17.根据权利要求15所述的图像处理装置，其中所述解密电路配置成在未授权所述密钥时不对所述第二经编码位流进行解密。
18.一种图像处理装置，包括：
处理器，配置成：
接收至少一个输入视频位流以获得第一经编码位流及第二经编码位流；
解码所述第一经编码位流以产生用来显示模糊私密区域图像的参考帧；
确定是否授权解码所述第二经编码位流；
若未授权解码所述第二经编码位流，则仅解码所述第一经编码位流且将所述用来显示模糊私密区域图像的参考帧输出到显示器队列，且不解码所述第二经编码位流且不将受保护视频帧输出到所述显示器队列；以及
若授权解码所述第二经编码位流，则对所述第二经编码位流进行解密，并使用所述用来显示模糊私密区域图像的参考帧来对解密后的所述第二经编码位流进行解码，以产生所述受保护视频帧。
CN202110559907.1A 2020-05-21 2021-05-21 用于编码及解码私密数据的方法及图像处理装置 Active CN113709523B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063027962P 2020-05-21 2020-05-21
US63/027,962 2020-05-21
US17/144,109 US11463240B2 (en) 2020-05-21 2021-01-07 Methods and image processing devices for encoding and decoding private data
US17/144,109 2021-01-07

Publications (2)

Publication Number Publication Date
CN113709523A CN113709523A (zh) 2021-11-26
CN113709523B true CN113709523B (zh) 2024-02-13

Family

ID=78608029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110559907.1A Active CN113709523B (zh) 2020-05-21 2021-05-21 用于编码及解码私密数据的方法及图像处理装置

Country Status (3)

Country Link
US (1) US11463240B2 (zh)
CN (1) CN113709523B (zh)
TW (1) TWI772018B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205587A (zh) * 2021-12-29 2022-03-18 杭州海康威视数字技术股份有限公司 一种图像显示方法、装置、系统及设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1649412A (zh) * 2005-02-03 2005-08-03 北京北大青鸟集成电路有限公司 视频图像的拆分及重现的方法
FR2972886A1 (fr) * 2011-03-17 2012-09-21 Thales Sa Procede de compression/decompression de flux video partiellement masques, codeur et decodeur mettant en oeuvre le procede
CN102932650A (zh) * 2011-08-11 2013-02-13 索尼公司 视频数据完整性保护和验证方法、设备和系统
CN103747258A (zh) * 2014-01-27 2014-04-23 中国科学技术大学 一种高性能视频编码标准的加密处理方法
WO2014133860A1 (en) * 2013-02-27 2014-09-04 Exaimage Systems and methods for protecting video content
CN105491443A (zh) * 2014-09-19 2016-04-13 中兴通讯股份有限公司 图像处理、访问方法及装置
CN106850515A (zh) * 2015-12-07 2017-06-13 中国移动通信集团公司 一种数据处理方法及视频采集装置、解码装置
CN107493477A (zh) * 2016-06-10 2017-12-19 Arm有限公司 视频数据处理系统
CN107547560A (zh) * 2017-09-25 2018-01-05 深圳市斑点猫信息技术有限公司 视频传输方法、装置及系统
CN108206953A (zh) * 2016-12-20 2018-06-26 安讯士有限公司 对隐私屏蔽图像进行编码
CN108965882A (zh) * 2018-06-12 2018-12-07 浙江大华技术股份有限公司 一种编解码方法及装置
CN109063506A (zh) * 2018-07-09 2018-12-21 江苏达实久信数字医疗科技有限公司 用于医疗手术示教系统的隐私处理方法
CN109543432A (zh) * 2018-11-23 2019-03-29 济南中维世纪科技有限公司 一种视频中人脸图像加密防篡改和检索的方法
CN110188603A (zh) * 2019-04-17 2019-08-30 特斯联（北京）科技有限公司 一种用于智慧社区的隐私防泄密方法及其系统
CN110944227A (zh) * 2018-09-25 2020-03-31 杭州海康威视数字技术股份有限公司 目标隐私保护方法、装置、硬盘录像机及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610408A (zh) 2008-06-16 2009-12-23 北京智安邦科技有限公司 视频保护置乱方法和结构
KR20130047223A (ko) * 2011-10-31 2013-05-08 한국전자통신연구원 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치
US20130162765A1 (en) 2011-12-22 2013-06-27 2Dinto3D LLC Modifying luminance of images in a source video stream in a first output type format to affect generation of supplemental video stream used to produce an output video stream in a second output type format
US10297126B2 (en) * 2015-09-16 2019-05-21 Sensormatic Electronics, LLC Privacy masking video content of alarm exceptions and mask verification
US10721284B2 (en) * 2017-03-22 2020-07-21 Cisco Technology, Inc. Encoding and decoding of live-streamed video using common video data shared between a transmitter and a receiver
US10277901B2 (en) * 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
KR101856546B1 (ko) 2017-06-29 2018-05-11 링크플로우 주식회사 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1649412A (zh) * 2005-02-03 2005-08-03 北京北大青鸟集成电路有限公司 视频图像的拆分及重现的方法
FR2972886A1 (fr) * 2011-03-17 2012-09-21 Thales Sa Procede de compression/decompression de flux video partiellement masques, codeur et decodeur mettant en oeuvre le procede
CN102932650A (zh) * 2011-08-11 2013-02-13 索尼公司 视频数据完整性保护和验证方法、设备和系统
WO2014133860A1 (en) * 2013-02-27 2014-09-04 Exaimage Systems and methods for protecting video content
CN103747258A (zh) * 2014-01-27 2014-04-23 中国科学技术大学 一种高性能视频编码标准的加密处理方法
CN105491443A (zh) * 2014-09-19 2016-04-13 中兴通讯股份有限公司 图像处理、访问方法及装置
CN106850515A (zh) * 2015-12-07 2017-06-13 中国移动通信集团公司 一种数据处理方法及视频采集装置、解码装置
CN107493477A (zh) * 2016-06-10 2017-12-19 Arm有限公司 视频数据处理系统
CN108206953A (zh) * 2016-12-20 2018-06-26 安讯士有限公司 对隐私屏蔽图像进行编码
CN107547560A (zh) * 2017-09-25 2018-01-05 深圳市斑点猫信息技术有限公司 视频传输方法、装置及系统
CN108965882A (zh) * 2018-06-12 2018-12-07 浙江大华技术股份有限公司 一种编解码方法及装置
CN109063506A (zh) * 2018-07-09 2018-12-21 江苏达实久信数字医疗科技有限公司 用于医疗手术示教系统的隐私处理方法
CN110944227A (zh) * 2018-09-25 2020-03-31 杭州海康威视数字技术股份有限公司 目标隐私保护方法、装置、硬盘录像机及存储介质
CN109543432A (zh) * 2018-11-23 2019-03-29 济南中维世纪科技有限公司 一种视频中人脸图像加密防篡改和检索的方法
CN110188603A (zh) * 2019-04-17 2019-08-30 特斯联（北京）科技有限公司 一种用于智慧社区的隐私防泄密方法及其系统

Also Published As

Publication number Publication date
TWI772018B (zh) 2022-07-21
CN113709523A (zh) 2021-11-26
TW202145758A (zh) 2021-12-01
US11463240B2 (en) 2022-10-04
US20210367759A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US6236727B1 (en) Apparatus, method and computer program product for protecting copyright data within a computer system
KR101271461B1 (ko) 감시영상의 프라이버시 정보 보호 장치 및 방법
EP1343321B1 (en) Methods and systems for cryptographically protecting secure content in video memory
US10964182B2 (en) Methods and devices for encoding and decoding a sequence of image frames in which the privacy of an object is protected
US20080267403A1 (en) System and method for privacy enhancement via adaptive cryptographic embedding
US20110075842A1 (en) Method and System Making It Possible to Visually Encrypt the Mobile Objects Within A Compressed Video Stream
Cheung et al. Protecting and managing privacy information in video surveillance systems
CN113473138B (zh) 视频帧编码方法、装置、电子设备及存储介质
Ma et al. Lossless ROI privacy protection of H. 264/AVC compressed surveillance videos
CN108965882B (zh) 一种编解码方法及装置
CN113709523B (zh) 用于编码及解码私密数据的方法及图像处理装置
CN114257837B (zh) 一种视频中隐私内容的处理方法、系统、电子设备及介质
CN114205587A (zh) 一种图像显示方法、装置、系统及设备
Sen-ching et al. Managing privacy data in pervasive camera networks
CN115550691A (zh) 一种视频处理方法、视频传输方法、视频查看方法和装置
US20230269422A1 (en) Selective video modification
Hooda et al. A comprehensive survey of video encryption algorithms
KR101746168B1 (ko) 차량용 블랙박스의 영상 처리를 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
CN108833921B (zh) 一种编解码方法及装置
US20160337673A1 (en) Protection of privacy in a video stream by means of a redundant slice
Guo et al. Region of interest based selective encryption scheme for privacy protection in h. 264 video
KR20230076366A (ko) 객체 실루엣 기반 영상 처리 방법 및 장치
CN118301388A (zh) 视频处理方法及装置
Deshmukh et al. Higher LSB optimize data hiding mechanism on encrypted image
Pawar et al. Data Hiding by Code word Substitution (Encrypted H. 264/AVC Video Stream)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant