CN113489990B - 视频编码方法、装置、电子设备及存储介质 - Google Patents

视频编码方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113489990B
CN113489990B CN202110744970.2A CN202110744970A CN113489990B CN 113489990 B CN113489990 B CN 113489990B CN 202110744970 A CN202110744970 A CN 202110744970A CN 113489990 B CN113489990 B CN 113489990B
Authority
CN
China
Prior art keywords
frame
video
privacy protection
data
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110744970.2A
Other languages
English (en)
Other versions
CN113489990A (zh
Inventor
刘学青
董磊
刘宗宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110744970.2A priority Critical patent/CN113489990B/zh
Publication of CN113489990A publication Critical patent/CN113489990A/zh
Application granted granted Critical
Publication of CN113489990B publication Critical patent/CN113489990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/4446—Hiding of documents or document information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了视频编码方法、装置、电子设备及存储介质，对一路同时包括原始帧及隐私保护帧的复合视频流进行编码，原始帧参考隐私保护帧进行编码，而原始帧不作为编码时的参考帧，所以原始帧不需要存储，在前处理中对视频流进行复合和时域分层，在参考关系上为时域分层交织参考减少了参考帧存储所需的内存消耗，有效利用隐私保护帧与原始帧的相关性，原始帧参考对应的隐私保护帧进行编码，大部分参考区域完全相同，有利于大幅度减少编码的码流数量，降低码流存储和传输成本。

Description

视频编码方法、装置、电子设备及存储介质
技术领域
本申请涉及视频编码技术领域，特别是涉及视频编码方法、装置、电子设备及存储介质。
背景技术
随着科学技术的发展和人们安全意识的提高，公共场所下的监控设备越来越多，智能检测技术也越来越多地应用于监控场景中。此外人们也越来越注重在监控设备下的个人隐私保护，视频隐私保护技术的需求也越来越高。视频隐私保护，即通过对视频图像中的局部隐私区域进行打码、遮挡或置乱等处理，使隐私区域的图像不可识别，而其他区域保留原始内容正常可见。然而视频隐私保护的图像处理具有保护内容不可恢复的特点，当发生危害公共安全事件时，若监控视频无法恢复出原始内容会对取证工作造成很大的阻碍。
为了解决隐私保护与取证问题，相关技术中，将采集的视频流处理为两路相同的视频流，一路视频流不进行隐私处理保留原始视频帧进行编码，一路视频流进行隐私保护处理并对隐私保护后的视频帧进行编码。但是采用上述方法，分两路视频流分别进行编码，会存在编码过程中资源消耗较大的问题，且在数据传输过程中网络带宽资源消耗也很大。
发明内容
本申请实施例的目的在于提供一种视频编码方法、装置、电子设备及存储介质，以实现减少编码过程中的资源消耗。具体技术方案如下：
第一方面，本申请实施例提供了一种视频编码方法，所述方法包括：
获取待处理视频流；
针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流；
针对所述复合视频流中的每一待编码的视频帧，若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考；
基于所述复合视频流中各视频帧的帧间编码参考模式，对各视频帧进行编码，得到编码后的视频数据流，其中，帧间编码参考模式为可参考的视频帧，允许用于作为其他视频帧进行编码的参考帧；帧间编码参考模式为不可参考的视频帧，不允许用于作为其他视频帧进行编码的参考帧。
在一种可能的实施方式中，所述针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流，包括：
针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的第一视频帧及第二视频帧，将第一视频帧的帧类型属性设置为隐私保护帧类型得到隐私保护帧，将第二视频帧的帧类型属性设置为原始帧类型得到原始帧；
将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
在一种可能的实施方式中，所述方法还包括：
将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；
所述若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考，包括：
若该视频帧为帧隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为原始帧，则将该视频帧设置为时域增强层。
在一种可能的实施方式中，所述针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流，包括：
针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的M+1帧视频帧，将其中的M帧视频帧的帧类型属性设置为隐私保护帧类型得到M隐私保护帧，将剩余的一帧视频帧的帧类型属性设置为原始帧类型得到原始帧，其中，M为隐私保护类型的数量；
将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
在一种可能的实施方式中，所述方法还包括：
将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；
所述若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考，包括：
若该视频帧为由所述待处理视频流中的同一视频帧得到的第M帧隐私保护帧，则利用预设第M种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为由所述待处理视频流中的同一视频帧得到的第i帧隐私保护帧，则利用预设第i种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层或第M-i等级的时域增强层；若该视频帧为原始帧，则将该视频帧设置为最高级的时域增强层，其中，i为小于M的正整数，等级高的时域增强层不可作为等级低的时域增强层的帧间编码的参考帧，等级低的时域增强层可作为等级高的时域增强层的帧间编码的参考帧，时域基本层可作为各等级的时域增强层的帧间编码的参考帧。
在一种可能的实施方式中，所述方法还包括：
每次从所述编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为原始帧的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为隐私保护帧的数据，则直接对该数据进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；
分别向普通权限用户及高级权限用户发送所述待发送数据流。
在一种可能的实施方式中，所述方法还包括：
每次从所述编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的第一码流及第二码流；
若当前第一码流为原始帧的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为隐私保护帧的数据，则直接对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；
向高级权限用户发送所述待发送数据流；
若当前第二码流为原始帧的数据，则丢弃该数据，若当前第二码流为隐私保护帧的数据，则对当前第二码流进行封装，从而得到隐私保护数据流，其中，所述隐私保护数据流包括隐私保护帧的封装数据；
向普通权限用户发送所述隐私保护数据流。
第二方面，本申请实施例提供了一种视频编码装置，所述装置包括：
视频流获取模块，用于获取待处理视频流；
视频帧配置模块，用于针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流；
参考模式设置模块，用于针对所述复合视频流中的每一待编码的视频帧，若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考；
视频帧编码模块，用于基于所述复合视频流中各视频帧的帧间编码参考模式，对各视频帧进行编码，得到编码后的视频数据流，其中，帧间编码参考模式为可参考的视频帧，允许用于作为其他视频帧进行编码的参考帧；帧间编码参考模式为不可参考的视频帧，不允许用于作为其他视频帧进行编码的参考帧。
在一种可能的实施方式中，所述视频帧配置模块，具体用于：
针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的第一视频帧及第二视频帧，将第一视频帧的帧类型属性设置为隐私保护帧类型得到隐私保护帧，将第二视频帧的帧类型属性设置为原始帧类型得到原始帧；
将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
在一种可能的实施方式中，所述参考模式设置模块，具体用于：
将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；
针对所述复合视频流中的每一待编码的视频帧，若该视频帧为帧隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为原始帧，则将该视频帧设置为时域增强层。
在一种可能的实施方式中，所述视频帧配置模块，具体用于：
针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的M+1帧视频帧，将其中的M帧视频帧的帧类型属性设置为隐私保护帧类型得到M隐私保护帧，将剩余的一帧视频帧的帧类型属性设置为原始帧类型得到原始帧，其中，M为隐私保护类型的数量；
将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
在一种可能的实施方式中，所述参考模式设置模块，具体用于：
将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；
针对所述复合视频流中的每一待编码的视频帧，若该视频帧为由所述待处理视频流中的同一视频帧得到的第M帧隐私保护帧，则利用预设第M种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为由所述待处理视频流中的同一视频帧得到的第i帧隐私保护帧，则利用预设第i种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层或第M-i等级的时域增强层；若该视频帧为原始帧，则将该视频帧设置为最高级的时域增强层，其中，i为小于M的正整数，等级高的时域增强层不可作为等级低的时域增强层的帧间编码的参考帧，等级低的时域增强层可作为等级高的时域增强层的帧间编码的参考帧，时域基本层可作为各等级的时域增强层的帧间编码的参考帧。
在一种可能的实施方式中，所述装置还包括视频数据发送模块，用于：
每次从所述编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为原始帧的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为隐私保护帧的数据，则直接对该数据进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；
分别向普通权限用户及高级权限用户发送所述待发送数据流。
在一种可能的实施方式中，所述装置还包括视频数据发送模块，用于：
每次从所述编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的第一码流及第二码流；
若当前第一码流为原始帧的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为隐私保护帧的数据，则直接对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；
向高级权限用户发送所述待发送数据流；
若当前第二码流为原始帧的数据，则丢弃该数据，若当前第二码流为隐私保护帧的数据，则对当前第二码流进行封装，从而得到隐私保护数据流，其中，所述隐私保护数据流包括隐私保护帧的封装数据；
向普通权限用户发送所述隐私保护数据流。
第三方面，本申请实施例提供了一种视频解码方法，所述方法包括：
获取待解码视频流，其中，所述待解码视频流包括：原始帧的封装数据及隐私保护帧的封装数据；
在获取到针对原始帧的解码密钥的情况下，利用所述解码密钥对所述待解码视频流中的原始帧的封装数据进行解码，得到原始帧；对所述待解码视频流中的隐私保护帧的封装数据进行解码，得到隐私保护帧；
在未获取到针对原始帧的解码密钥的情况下，对所述待解码视频流中的隐私保护帧的封装数据进行解码，得到隐私保护帧。
第四方面，本申请实施例提供了一种电子设备，包括处理器及存储器；
所述存储器，用于存放计算机程序及编码过程中产生的数据；
所述处理器，用于执行所述存储器上所存放的程序时，实现本申请中任一所述的视频编码方法或视频解码方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一所述的视频编码方法或视频解码方法。
本申请实施例有益效果：
本申请实施例提供的视频编码方法、装置、电子设备及存储介质，获取待处理视频流；针对待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流；针对复合视频流中的每一待编码的视频帧，若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考；基于复合视频流中各视频帧的帧间编码参考模式，对各视频帧进行编码，得到编码后的视频数据流，其中，帧间编码参考模式为可参考的视频帧，允许用于作为其他视频帧进行编码的参考帧；帧间编码参考模式为不可参考的视频帧，不允许用于作为其他视频帧进行编码的参考帧。
对一路同时包括原始帧及隐私保护帧的复合视频流进行编码，原始帧参考隐私保护帧进行编码，而原始帧不作为编码时的参考帧，所以原始帧不需要存储，在前处理中对视频流进行复合和时域分层，在参考关系上为时域分层交织参考减少了参考帧存储所需的内存消耗，有效利用隐私保护帧与原始帧的相关性，原始帧参考对应的隐私保护帧进行编码，大部分参考区域完全相同，有利于大幅度减少编码的码流数量，降低码流存储和传输成本。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例的视频编码方法的一种示意图；
图2为相关技术中码流结构的一种示意图；
图3为相关技术的SVC-TX2模型及SVC-TX4模型帧间编码时序参考关系的一种示意图；
图4为本申请实施例的视频编码方法中视频流发送过程的第一种示意图；
图5为本申请实施例的视频编码方法中视频流发送过程的第二种示意图；
图6a为本申请实施例的电子设备的一种示意图；
图6b为本申请实施例的编码端与解码端的一种结构示意图；
图6c为本申请实施例的编码端与解码端的一种结构示意图；
图7为本申请实施例的编码前处理单元的工作流程图的一种示意图；
图8为本申请实施例的编码后处理单元的工作流程图的第一种示意图；
图9为本申请实施例的编码后处理单元的工作流程图的第二种示意图；
图10为本申请实施例的电子设备的另一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
为了减少编码过程中的资源消耗，本申请实施例提供了一种视频编码方法，参见图1，该方法包括：
S101，获取待处理视频流。
本申请实施例中的视频编码方法可以通过具备编码功能的电子设备实现，具体的，该电子设备可以为摄像机或硬盘录像机等。待处理视频流为任意需要传输的视频流。
S102，针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流。
隐私保护帧及原始帧的图像内容与该视频帧的图像内容相同，隐私保护帧及原始帧的区别在于二者的类型标识不同。
一个例子中，可以对待处理视频流中的每一视频帧处理配置两次，交织成复合视频流，例如，第一次处理为隐私保护帧，第二次为原始帧，并且在信息配置时的参考关系上也是相互交织的。
在其他可能的实施方式中，也可以对对待处理视频流中的每一视频帧处理配置多次，交织成复合视频流，例如，第一次处理为保护第一对象的隐私保护帧，第二次处理为保护第二对象的隐私保护帧，……，最后一次为原始帧，参考关系上也是相互交织的。一个例子中，第一对象和第二对象为不同类型的对象，例如，第一对象为人脸，第二对象为车牌号等。
一个例子中，隐私保护帧及原始帧的类型可以记录中视频帧的帧头中，以一种隐私保护类型为例，在一种可能的实施方式中，所述针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流，包括：
步骤一，针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的第一视频帧及第二视频帧，将第一视频帧的帧类型属性设置为隐私保护帧类型得到隐私保护帧，将第二视频帧的帧类型属性设置为原始帧类型得到原始帧；
步骤二，将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
帧类型属性包括但不仅限于NALU类型、时域优先级、其他协议规定的可自定义字段等。以H.265标准的码流为例，其码流结构可以如图2所示，第一层中，每个Frame代表每一帧编码的码流。第二层中，一帧可以划分成一个或多个slice，每个slice的码流为一个NAL单元，所以一帧码流可以由一个或多个NAL单元组成。第三层中，Nal单元由NALU header和RBSP组成。NALU header主要承载当前NAL单元的内容特征，RBSP为NALU载荷，包含主要的视频压缩数据(slice header+slice data数据)。第四层中，NALU header由保留位(F)、NALU类型(Nalu_type)、Layer层级(NLI)和时域层级(NTI)组成，一般来说可直接从NALU类型快速判断当前段码流所属帧的类型，来进行抽帧等时域层级的操作；最下面的一层属于NALU类型的具体取值和各数值含义。针对H.265标准的码流，可以在NALU类型中记录隐私保护帧类型或原始帧类型。
一个例子中，需要进行多种类型的隐私保护，例如，针对用户A需要进行人脸信息的隐私保护，而无需进行车牌信息的隐私保护；针对用户B需要进行人脸信息及车牌信息的隐私保护，则需要生成两种类型的隐私保护帧。
在一种可能的实施方式中，所述针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流，包括：
步骤一，针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的M+1帧视频帧，将其中的M帧视频帧的帧类型属性设置为隐私保护帧类型得到M隐私保护帧，将剩余的一帧视频帧的帧类型属性设置为原始帧类型得到原始帧，其中，M为隐私保护类型的数量；
步骤二，将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
S103，针对所述复合视频流中的每一待编码的视频帧，若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考。
预设隐私保护规则可以根据实际情况自定义设置，对隐私保护帧进行隐私保护，隐私保护区域坐标的来源包括但不仅限于用户直接配置、智能算法自动检测等，每帧隐私保护帧中的隐私保护区域的个数也不仅限于1个。对隐私保护区域进行隐私处理的方式包括但不仅限于置乱、打码或遮挡等。
针对仅有一种类型的隐私保护视频流的情况，在一种可能的实施方式中，所述方法还包括：
将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；
所述若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考，包括：
若该视频帧为帧隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为原始帧，则将该视频帧设置为时域增强层。
其中，时域基本层可作为时域增强层的帧间编码的参考帧，时域增强层不可作为时域基本层的帧间编码的参考帧。
针对有多种类型的隐私保护视频流的情况，在一种可能的实施方式中，所述方法还包括：将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；
所述若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考，包括：
若该视频帧为由所述待处理视频流中的同一视频帧得到的第M帧隐私保护帧，则利用预设第M种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为由所述待处理视频流中的同一视频帧得到的第i帧隐私保护帧，则利用预设第i种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层或第M-i等级的时域增强层；若该视频帧为原始帧，则将该视频帧设置为最高级的时域增强层，其中，i为小于M的正整数，等级高的时域增强层不可作为等级低的时域增强层的帧间编码的参考帧，等级低的时域增强层可作为等级高的时域增强层的帧间编码的参考帧，时域基本层可作为各等级的时域增强层的帧间编码的参考帧。
本申请实施例中，针对待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的M+1帧视频帧，从而得到复合视频流。复合视频流中各视频帧(包括隐私保护帧及原始帧)编码所采用的时域参考模型为支持码流抽帧的时域可分级参考模型，在时域分级时，由待处理视频流中的同一视频帧得到的第M帧隐私保护帧为时域基本层，时域基本层可被其他高层级帧参考；第M-1帧隐私保护帧为第一级时域增强层，可被其他高层级帧参考；第M-2帧隐私保护帧为第二级时域增强层，可被其他高层级帧参考；……；原始帧为最高级时域增强层，不可被其他帧参考；此外时域增强层不可作为时域基本层的帧间编码的参考帧。本本申请实施例中的时域参考模型包括但不仅限于SVC-TX2、SVC-TX4等。
一个例子中，可以通过配置基本寄存器参数和参考关系寄存器参数的方式，来实现视频帧的帧间编码参考模式的设置。例如，针对隐私保护帧，基本寄存器参数可以进行通用配置，而配置参考关系寄存器参数时选择支持码流抽帧的时域可分级参考模型，例如，SVC-TX2模型或SVC-TX4模型等，然后设置当前处理的隐私保护帧为可被参考的时域基本层或中间增强层。其中，SVC-TX2模型及SVC-TX4模型的示意图可以如图3所示增强层需要参考基本层进行编解码，SVC-TX2模型中可以向前参考也可以向后参考，SVC-TX4模型可以向前参考也可以向后参考。针对原始帧，其图像内容不做隐私处理，配置寄存器参数时基本寄存器进行通用配置，配置参考关系寄存器参数时选择与隐私保护帧相同的时域参考模型，然后设置原始帧为不可被参考的时域增强层。
S104，基于所述复合视频流中各视频帧的帧间编码参考模式，对各视频帧进行编码，得到编码后的视频数据流，其中，帧间编码参考模式为可参考的视频帧，允许用于作为其他视频帧进行编码的参考帧；帧间编码参考模式为不可参考的视频帧，不允许用于作为其他视频帧进行编码的参考帧。
采用视频编码标准，对复合视频流中每一视频帧依次进行视频编码，生成压缩码流，视频编码标准包括但不仅限于H.264、H.265、AVS2等。原始帧的帧间编码参考模式为不可参考，不允许用于作为其他视频帧进行编码的参考帧。即原始帧为增强层。隐私保护帧的帧间编码参考模式为可参考，允许用于作为其他视频帧进行编码的参考帧，即隐私保护帧可以为基本层也可以为增强层。
一个例子中，例如图6b所示，步骤S101-S103可以通过编码前处理单元实现，步骤S104可以通过编码器实现。具体的，编码前处理单元可以基于软件逻辑通过处理器实现，编码器可以通过相关技术中的编码器硬件实现。
本申请实施例中，对一路同时包括原始帧及隐私保护帧的复合视频流进行编码，原始帧既可以参考作为I帧的隐私保护帧，又可以参考作为P帧或B帧的隐私保护帧，有效利用隐私保护帧与原始帧的相关性，能够减少编码过程中资源的消耗，编码得到的视频数据流的数据量也更少，从而减少网络带宽资源的消耗。
在得到编码后的视频数据流后，还需要对编码后的视频数据流进行封装发送，在一种可能的实施方式中，参见图4，所述方法还包括：
S201，每次从所述编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为原始帧的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为隐私保护帧的数据，则直接对该数据进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；
S202，分别向普通权限用户及高级权限用户发送所述待发送数据流。
其中，普通权限用户的客户端具有权限限制，只能解码及显示隐私保护帧，而不能显示原始帧。
一个例子中，例如图6b所示，步骤S201-S202可以通过编码后处理单元实现。具体的，编码后处理单元可以基于软件逻辑通过处理器实现。
读取视频编码器输出的编码后的视频数据流，每次读取预设单位数据量的码流数据，预设单位数据量的粒度大小可以根据实际情况自定义设置，包括但不仅限于Byte级、NALU级或帧级等。一个例子中，可以解析当前数据的头信息，获取当前的所属的帧的类型，例如H.264、H.265标准中根据NALU头信息中的NALU类型或时域层级来判断是原始帧数据还是隐私保护帧数据。若为原始帧数据，对原始帧码流进行单独加密，加密的方式包括但不仅限于AES加密等，并对加密后的数据进行应用层封装。若为隐私保护帧数据，则直接进行应用层封装；一个例子中，选择性的地进行全局加密，然后打包输出给解码端。
在一种可能的实施方式中，参见图5，所述方法还包括：
S301，每次从所述编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的第一码流及第二码流；
S302，若当前第一码流为原始帧的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为隐私保护帧的数据，则直接对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；
S303，向高级权限用户发送所述待发送数据流；
S304，若当前第二码流为原始帧的数据，则丢弃该数据，若当前第二码流为隐私保护帧的数据，则对当前第二码流进行封装，从而得到隐私保护数据流，其中，所述隐私保护数据流包括隐私保护帧的封装数据；
S305，向普通权限用户发送所述隐私保护数据流。
一个例子中，例如图6c所示，步骤S301-S305可以通过编码后处理单元实现。具体的，编码后处理单元可以基于软件逻辑通过处理器实现。
相关技术中，抽帧操作是为了适应不同的带宽情况，例如络带宽流畅时，不进行抽帧，使用60FPS(每秒传输帧数)的视频流，网络带宽较拥堵时抽取1/2视频帧即使用30FPS的视频流，网络带宽高度拥堵时抽取1/4视频帧即使用15FPS的视频流，从而在牺牲每秒传输帧数的情况下，保证视频的正常播放。
在本申请实施例中，利用抽帧的方式抽取隐私保护帧的数据封装为隐私保护数据流，普通权限用户接收到的隐私保护数据流中仅包含隐私保护帧的数据，能够防止普通权限用户获取到原始帧，保证隐私安全，同时节约了普通权限用户的带宽。
本申请实施例还提供了一种视频解码方法，所述方法包括：
步骤一，获取待解码视频流，其中，所述待解码视频流包括：原始帧的封装数据及隐私保护帧的封装数据。
待解码视频流可以为上述实施例中编码端发送的待发送数据流。
步骤二，在获取到针对原始帧的解码密钥的情况下，利用所述解码密钥对所述待解码视频流中的原始帧的封装数据进行解码，得到原始帧。
高级权限用户向解码端输入针对原始帧的解码密钥，解码端在获取到针对原始帧的解码密钥的情况下，利用所述解码密钥对所述待解码视频流中的原始帧的封装数据进行解码，得到原始帧。
步骤三，在未获取到针对原始帧的解码密钥的情况下，对所述待解码视频流中的隐私保护帧的封装数据进行解码，得到隐私保护帧。
普通权限用户不知道解码密钥，因此只能解码得到隐私保护帧。
本申请实施例还提供了一种电子设备，通过“前处理器打码交织为复合序列—>编码器只编码一个序列—>编码后处理器码流抽帧加密”的过程来实现视频编码隐私保护，同时支持原始视频的恢复。例如参见图6a所示，包括编码前处理单元、视频编码器及编码后处理单元。
编码前处理单元：对输出的每一帧视频帧处理配置至少两次，得到一帧原始帧及至少一帧隐私保护帧，交织成复合视频流。其中，隐私保护帧设置为允许用于其他视频帧的编码参考，原始帧设置为不允许用于其他视频帧的编码参考。一个例子中，以两次为例，第一次处理为隐私保护帧，第二次为原始帧，并且在信息配置时的参考关系上也是相互交织的。一个例子中，也可以对每一帧处理配置多次，交织成复合视频流，第一次处理为保护第一对象的隐私保护帧，第二次处理为保护第二对象的隐私保护帧，……，最后一次为原始帧，参考关系上也是相互交织的。
视频编码器：标准的视频编码器，实现方式包括软件编码器、硬件编码器，支持的标准协议包括但不仅限于H.264、H.265、H.266、AVS2、AVS3、AV1、VP9等。
编码后处理单元：该单元内部的码流抽帧组件，传统用法是在网络带宽紧张时进行抽帧使用的，而本申请中运用码流抽帧组件抽帧后来判断码流所属的视频帧类型，若为原始帧码流则再进行一次隐私保护加密操作，加密方式包括但不仅限于AES加密等，若为隐私保护帧码流则无需进行隐私保护加密或使用另一套密钥进行加密。对码流进行隐私保护加密后还可以选择性地进行一次全局加密，从而得到待发送数据流，以保证码流在传输过程中的安全性，然后输出待发送数据流。
以下，对各单元功能进行具体介绍：
编码前处理单元的基本功能是根据用户配置的编码属性和采集的输入视频序列，为编码器传输寄存器参数和图像YUV数据。本专利的编码前处理单元还需对输入帧处理配置多次，交织成“隐私保护帧+原始帧”的复合视频流，并且寄存器参数配置成可时域抽帧的参考关系。编码前处理的处理流程如图7所示，具体的处理流程描述如下：
步骤1，从用户接口中读取用户配置的编码属性，将抽象的编码属性转换为具体的参数数值。
步骤2，针对待处理视频流，获取一帧原始帧图像，作为的输入帧。
步骤3，如果输入帧为隐私保护帧，则执行步骤4，否则跳到步骤6。
步骤4，对输入帧进行隐私保护，输入的隐私保护区域坐标的来源包括但不仅限于用户直接配置、智能检测等，局部区域的个数也不仅限于1个。根据输入坐标对原始图像对应的局部区域进行隐私处理，隐私处理的方式包括但不仅限于置乱、打码或遮挡等；
步骤5，隐私保护后，配置隐私保护帧的基本寄存器参数和参考关系寄存器参数。基本寄存器参数进行通用配置即可，配置参考关系寄存器参数时选择支持码流抽帧的时域可分级参考模型，包括但不仅限于图3中列出的SVC-TX2模型、SVC-TX4模型等，然后设置当前处理的隐私保护帧为可被参考的时域基本层或中间增强层，跳到步骤7。
步骤6，输入帧不进行隐私保护，原始图像内容不做任何处理，配置寄存器参数时基本寄存器进行通用配置，配置参考关系寄存器参数时选择相同的时域参考模型，然后设置当前处理的原始帧为不可被参考的时域增强层。
步骤7，向视频编码器输出配置的寄存器参数，输出处理后的图像内容数据，图像内容数据格式包括但不仅限于YUV420、YUV422等格式。
步骤8，若当前输入帧还需要进行其他类型的隐私保护，则跳到步骤3，否则结束当前输入帧的处理。
在本申请实施例中，在复合视频流中，隐私保护帧跳帧参考其他隐私保护帧，原始帧参考相邻的隐私保护帧，优点是只需存储隐私保护帧用于后续参考，减少硬件内存消耗。
视频编码器的功能是采用视频编码标准，对复合视频流序列中每一帧图像依次进行视频编码，生成压缩码流。视频编码器支持的标准包括但不仅限于H.264、H.265、AVS2等。
在对复合视频流中每一视频帧进行编码时，编码器按照通用流程工作即可，步骤如下：
步骤1，读取编码器寄存器配置信息。
步骤2，若当前帧为I帧，不需要参考帧，仅读取当前帧图像数据；否则，读取当前帧图像数据，同时根据时域参考关系读取所需的参考帧数据。
步骤3，按照编码标准，进行帧内帧间预测、变换量化、环路滤波和熵编码等。
步骤4，输出压缩码流到编码后处理，输出重建图像用于后续帧的参考。
编码后处理单元的功能为对视频编码器输出的裸流进行应用级封装，此外还要对原始帧码流进行保护加密，最后输出一路码流给解码端。
编码后处理单元的处理流程可以如图8所示，包括：
步骤1，读取视频编码器输出的编码后的视频数据流；每次读取码流的粒度包括但不仅限于Byte级、NALU级或帧级等。
步骤2，解析当前读取的数据的码流头信息，获取当前码流所属的帧的类型。如H.264、H.265标准中根据NALU头信息中的NALU类型或时域层级来判断。
步骤3，判断当前码流数据的类型，若为原始帧码流数据，则执行步骤4；否则为隐私保护帧码流数据，跳到步骤5。
步骤4，对原始帧码流数据进行单独加密，加密的方式包括但不仅限于AES加密等。
步骤5，对当前码流数据进行应用层封装，可选择性地进行全局加密，然后打包输出给解码端。
步骤6，结束当前码流数据的处理。
例如图6b所示，该电子设备为编码端设备，权限管理由解码端实现。解码端，包括权限管理单元、高级用户解码单元、普通用户解码单元和显示。权限管理单元根据是否输入了隐私保护密钥来判断当前用户的权限，带密钥的高级权限用户解密后解码出隐私保护帧和原始帧交织的复合视频流，然后抽掉隐私保护帧，只显示原始帧；不带密钥的普通权限用户只解码出隐私保护帧视频流，直接进行显示。扩展地，解码端的权限管理单元可进一步分为解码权限管理和播放权限管理。
在一种可能的实施方式中，编码后处理单元还可以将视频编码器输出的码流分两路发送，一路进行码流抽帧后打包输出给普通权限用户，另一路打包输出给高级权限用户。码流抽帧操作一般是在网络带宽紧张的条件下进行的，而本申请中进行的码流抽帧是抽掉增强层原始帧，生成隐私保护数据流，这是码流抽帧组件在本申请中的创新型用法。其处理流程可以如图9所示，包括：
步骤1，读取视频编码器输出的编码后的视频数据流；每次读取码流的粒度包括但不仅限于Byte级、NALU级或帧级等。
步骤2，解析当前读取的数据的码流头信息，获取当前码流所属的帧的类型。如H.264、H.265标准中根据NALU头信息中的NALU类型或时域层级来判断。
步骤3，然后将当前码流分两路处理，一路对接普通权限用户，执行步骤4，另一路对接高级权限用户，跳到步骤6。
步骤4，对接普通权限用户，根据码流所属的帧类型，若当前码流是隐私保护帧码流，执行步骤5，否则，进行抽帧操作不发送原始帧码流，直接跳到步骤7。
步骤5，将隐私保护帧码流进行应用层封装，打包输出给普通权限用户，跳到步骤7。
步骤6，对接高级权限用户，直接将码流进行应用层封装，打包输出给高级权限用户。
步骤7，结束当前码流的处理。
在本申请实施例中，基于视频编码的时域分层技术实现的隐私保护和可恢复，而不是按照传统方案单独编码原始帧和隐私保护帧。时域分层时原始帧参考同位隐私保护帧，大部分参考区域完全相同，有利于大幅度减少编码的码流数量，降低码流存储和传输成本；并且在前处理中对视频流进行复合和时域分层，在参考关系上为时域分层交织参考减少了参考帧存储所需的内存消耗，发送给普通权限用户的隐私保护帧码流中不包括原始帧，针对普通权限用户网络带宽的消耗较小。
例如图6c所示，该电子设备为编码端设备，权限管理由编码端实现。高级权限用户和普通权限用户是分离的两个终端，高级权限终端对接收到的完整码流进行标准解码器解码，然后抽掉隐私保护帧，最后进行显示；普通权限终端对接收到的隐私保护码流直接进行标准解码器解码，然后进行显示。
本申请实施例还提供了一种视频编码装置，所述装置包括：
视频流获取模块，用于获取待处理视频流；
视频帧配置模块，用于针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流；
参考模式设置模块，用于针对所述复合视频流中的每一待编码的视频帧，若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考；
视频帧编码模块，用于基于所述复合视频流中各视频帧的帧间编码参考模式，对各视频帧进行编码，得到编码后的视频数据流，其中，帧间编码参考模式为可参考的视频帧，允许用于作为其他视频帧进行编码的参考帧；帧间编码参考模式为不可参考的视频帧，不允许用于作为其他视频帧进行编码的参考帧。
在一种可能的实施方式中，所述视频帧配置模块，具体用于：针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的第一视频帧及第二视频帧，将第一视频帧的帧类型属性设置为隐私保护帧类型得到隐私保护帧，将第二视频帧的帧类型属性设置为原始帧类型得到原始帧；将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
在一种可能的实施方式中，所述参考模式设置模块，具体用于：将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；针对所述复合视频流中的每一待编码的视频帧，若该视频帧为帧隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为原始帧，则将该视频帧设置为时域增强层。
在一种可能的实施方式中，所述视频帧配置模块，具体用于：针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的M+1帧视频帧，将其中的M帧视频帧的帧类型属性设置为隐私保护帧类型得到M隐私保护帧，将剩余的一帧视频帧的帧类型属性设置为原始帧类型得到原始帧，其中，M为隐私保护类型的数量；将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
在一种可能的实施方式中，所述参考模式设置模块，具体用于：将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；针对所述复合视频流中的每一待编码的视频帧，若该视频帧为由所述待处理视频流中的同一视频帧得到的第M帧隐私保护帧，则利用预设第M种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为由所述待处理视频流中的同一视频帧得到的第i帧隐私保护帧，则利用预设第i种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层或第M-i等级的时域增强层；若该视频帧为原始帧，则将该视频帧设置为最高级的时域增强层，其中，i为小于M的正整数，等级高的时域增强层不可作为等级低的时域增强层的帧间编码的参考帧，等级低的时域增强层可作为等级高的时域增强层的帧间编码的参考帧，时域基本层可作为各等级的时域增强层的帧间编码的参考帧。
在一种可能的实施方式中，所述装置还包括视频数据发送模块，用于：每次从所述编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为原始帧的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为隐私保护帧的数据，则直接对该数据进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；分别向普通权限用户及高级权限用户发送所述待发送数据流。
在一种可能的实施方式中，所述装置还包括视频数据发送模块，用于：每次从所述编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的第一码流及第二码流；若当前第一码流为原始帧的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为隐私保护帧的数据，则直接对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；向高级权限用户发送所述待发送数据流；若当前第二码流为原始帧的数据，则丢弃该数据，若当前第二码流为隐私保护帧的数据，则对当前第二码流进行封装，从而得到隐私保护数据流，其中，所述隐私保护数据流包括隐私保护帧的封装数据；向普通权限用户发送所述隐私保护数据流。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器用于执行上述存储器存放的计算机程序时，实现本申请中任一视频编码方法。
可选的，参见图10，本申请实施例的电子设备还包括通信接口12和通信总线14，其中，处理器11，通信接口12，存储器13通过通信总线14完成相互间的通信。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现本申请中任一视频编码方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请中任一视频编码方法。
本申请实施例的方法、设备、存储介质、计算机程序产品等可以应用于高空抛物监控场景：在高空抛物监控场景的应用中，一般将电子监控器安装在地面上，从下向上实时监控高层建筑的每一楼层。由于电子监控器的安装高度一般与低楼层高度大致相近，实时监控时会拍摄到低楼层内部情况，导致低楼层住户的隐私出现泄露。采用本申请实施例的方法、设备、存储介质、计算机程序产品等，根据电子监控器的安装位置直接配置隐私保护区域的坐标，定义保安监控室为普通权限用户，带密钥存储器为高级权限用户，电子监控器输出的隐私保护码流解码后在监控室内实时显示，完整码流则存储在带密钥存储器中。这样既保护了低楼层用户的隐私，又满足了在发生高空抛物事件后系统使用密钥查看原始视频的需求。
本申请实施例的方法、设备、存储介质、计算机程序产品等可以应用于安防监控场景：针对在视频监控领域进行人脸识别、行为分析等场景，应用本申请实施例的方法、设备、存储介质、计算机程序产品等，智能算法进行人脸识别后自动输出需要进行隐私保护的区域坐标，对出现在监控视频中的人脸区域进行打码或置乱保护。电子监控器输出隐私保护码流解码后实时显示，完整码流存储在带密钥存储器中，出现危害公共安全系统介入调查时进行原始视频的查看。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (15)

1.一种视频编码方法，其特征在于，所述方法包括：
获取待处理视频流；
针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流；
针对所述复合视频流中的每一待编码的视频帧，若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考；
基于所述复合视频流中各视频帧的帧间编码参考模式，对各视频帧进行编码，得到编码后的视频数据流，其中，帧间编码参考模式为可参考的视频帧，允许用于作为其他视频帧进行编码的参考帧；帧间编码参考模式为不可参考的视频帧，不允许用于作为其他视频帧进行编码的参考帧；
所述针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流，包括：
针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的第一视频帧及第二视频帧，将第一视频帧的帧类型属性设置为隐私保护帧类型得到隐私保护帧，将第二视频帧的帧类型属性设置为原始帧类型得到原始帧；
将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；
所述若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考，包括：
若该视频帧为帧隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为原始帧，则将该视频帧设置为时域增强层。
3.根据权利要求1所述的方法，其特征在于，所述针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流，包括：
针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的M+1帧视频帧，将其中的M帧视频帧的帧类型属性设置为隐私保护帧类型得到M隐私保护帧，将剩余的一帧视频帧的帧类型属性设置为原始帧类型得到原始帧，其中，M为隐私保护类型的数量；
将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；
所述若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考，包括：
若该视频帧为由所述待处理视频流中的同一视频帧得到的第M帧隐私保护帧，则利用预设第M种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为由所述待处理视频流中的同一视频帧得到的第i帧隐私保护帧，则利用预设第i种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层或第M-i等级的时域增强层；若该视频帧为原始帧，则将该视频帧设置为最高级的时域增强层，其中，i为小于M的正整数，等级高的时域增强层不可作为等级低的时域增强层的帧间编码的参考帧，等级低的时域增强层可作为等级高的时域增强层的帧间编码的参考帧，时域基本层可作为各等级的时域增强层的帧间编码的参考帧。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
每次从所述编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为原始帧的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为隐私保护帧的数据，则直接对该数据进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；
分别向普通权限用户及高级权限用户发送所述待发送数据流。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
每次从所述编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的第一码流及第二码流；
若当前第一码流为原始帧的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为隐私保护帧的数据，则直接对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；
向高级权限用户发送所述待发送数据流；
若当前第二码流为原始帧的数据，则丢弃该数据，若当前第二码流为隐私保护帧的数据，则对当前第二码流进行封装，从而得到隐私保护数据流，其中，所述隐私保护数据流包括隐私保护帧的封装数据；
向普通权限用户发送所述隐私保护数据流。
7.一种视频编码装置，其特征在于，所述装置包括：
视频流获取模块，用于获取待处理视频流；
视频帧配置模块，用于针对所述待处理视频流中的每一视频帧，将该视频帧处理配置为隐私保护帧及原始帧，得到复合视频流；
参考模式设置模块，用于针对所述复合视频流中的每一待编码的视频帧，若该视频帧为隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧的帧间编码参考模式设置为可参考，若该视频帧为原始帧，则将该视频帧的帧间编码参考模式设置为不可参考；
视频帧编码模块，用于基于所述复合视频流中各视频帧的帧间编码参考模式，对各视频帧进行编码，得到编码后的视频数据流，其中，帧间编码参考模式为可参考的视频帧，允许用于作为其他视频帧进行编码的参考帧；帧间编码参考模式为不可参考的视频帧，不允许用于作为其他视频帧进行编码的参考帧；
所述视频帧配置模块，具体用于：
针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的第一视频帧及第二视频帧，将第一视频帧的帧类型属性设置为隐私保护帧类型得到隐私保护帧，将第二视频帧的帧类型属性设置为原始帧类型得到原始帧；
将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
8.根据权利要求7所述的装置，其特征在于，所述参考模式设置模块，具体用于：
将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；
针对所述复合视频流中的每一待编码的视频帧，若该视频帧为帧隐私保护帧，则利用预设隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为原始帧，则将该视频帧设置为时域增强层。
9.根据权利要求7所述的装置，其特征在于，所述视频帧配置模块，具体用于：
针对所述待处理视频流中的每一视频帧，基于该视频帧得到与该视频帧内容相同的M+1帧视频帧，将其中的M帧视频帧的帧类型属性设置为隐私保护帧类型得到M隐私保护帧，将剩余的一帧视频帧的帧类型属性设置为原始帧类型得到原始帧，其中，M为隐私保护类型的数量；
将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。
10.根据权利要求9所述的装置，其特征在于，所述参考模式设置模块，具体用于：
将所述复合视频流编码的时域参考模型设置为支持码流抽帧的时域可分级参考模型；
针对所述复合视频流中的每一待编码的视频帧，若该视频帧为由所述待处理视频流中的同一视频帧得到的第M帧隐私保护帧，则利用预设第M种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层；若该视频帧为由所述待处理视频流中的同一视频帧得到的第i帧隐私保护帧，则利用预设第i种隐私保护规则对该视频帧进行隐私保护，并将该视频帧设置为时域基本层或第M-i等级的时域增强层；若该视频帧为原始帧，则将该视频帧设置为最高级的时域增强层，其中，i为小于M的正整数，等级高的时域增强层不可作为等级低的时域增强层的帧间编码的参考帧，等级低的时域增强层可作为等级高的时域增强层的帧间编码的参考帧，时域基本层可作为各等级的时域增强层的帧间编码的参考帧。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括视频数据发送模块，用于：
每次从所述编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为原始帧的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为隐私保护帧的数据，则直接对该数据进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；
分别向普通权限用户及高级权限用户发送所述待发送数据流。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括视频数据发送模块，用于：
每次从所述编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的第一码流及第二码流；
若当前第一码流为原始帧的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为隐私保护帧的数据，则直接对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据；
向高级权限用户发送所述待发送数据流；
若当前第二码流为原始帧的数据，则丢弃该数据，若当前第二码流为隐私保护帧的数据，则对当前第二码流进行封装，从而得到隐私保护数据流，其中，所述隐私保护数据流包括隐私保护帧的封装数据；
向普通权限用户发送所述隐私保护数据流。
13.一种视频解码方法，其特征在于，所述方法包括：
获取待解码视频流，其中，所述待解码视频流包括：原始帧的封装数据及隐私保护帧的封装数据，所述待解码视频流是按照权利要求1-6任一所述视频编码方法编码得到的视频流；
在获取到针对原始帧的解码密钥的情况下，利用所述解码密钥对所述待解码视频流中的原始帧的封装数据进行解码，得到原始帧；
在未获取到针对原始帧的解码密钥的情况下，对所述待解码视频流中的隐私保护帧的封装数据进行解码，得到隐私保护帧。
14.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序及编码过程中产生的数据；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-6、13任一所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6、13任一所述的方法。
CN202110744970.2A 2021-06-30 2021-06-30 视频编码方法、装置、电子设备及存储介质 Active CN113489990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110744970.2A CN113489990B (zh) 2021-06-30 2021-06-30 视频编码方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110744970.2A CN113489990B (zh) 2021-06-30 2021-06-30 视频编码方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113489990A CN113489990A (zh) 2021-10-08
CN113489990B true CN113489990B (zh) 2023-05-02

Family

ID=77939993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110744970.2A Active CN113489990B (zh) 2021-06-30 2021-06-30 视频编码方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113489990B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489991B (zh) * 2021-06-30 2023-04-07 杭州海康威视数字技术股份有限公司 视频编码方法、装置、视频编码设备及存储介质
CN114257837B (zh) * 2021-11-25 2023-12-01 杭州萤石软件有限公司 一种视频中隐私内容的处理方法、系统、电子设备及介质
CN115426507B (zh) * 2022-07-29 2023-12-05 宁波星巡智能科技有限公司 基于目标检测的隐私视频传输、播放方法、装置及设备
CN117395425A (zh) * 2023-12-11 2024-01-12 浙江大华技术股份有限公司 视频编码、解码方法、编码器、解码器及计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108289202A (zh) * 2018-01-29 2018-07-17 北京大椽科技有限公司 一种智能网络监控方法及系统
CN109168033B (zh) * 2018-09-25 2020-10-30 湖北工业大学 一种视频隐私数据保护系统及方法
EP3672244B1 (en) * 2018-12-20 2020-10-28 Axis AB Methods and devices for encoding and decoding a sequence of image frames in which the privacy of an object is protected
CN111586361B (zh) * 2020-05-19 2021-10-15 浙江大华技术股份有限公司 一种图像的处理方法及相关装置

Also Published As

Publication number Publication date
CN113489990A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN113489990B (zh) 视频编码方法、装置、电子设备及存储介质
CN113489991B (zh) 视频编码方法、装置、视频编码设备及存储介质
CN113473138B (zh) 视频帧编码方法、装置、电子设备及存储介质
KR101271461B1 (ko) 감시영상의 프라이버시 정보 보호 장치 및 방법
CN101867750B (zh) 应用于视频监控系统的osd信息处理方法及其装置
US20110158470A1 (en) Method and system for secure coding of arbitrarily shaped visual objects
Carrillo et al. Compression independent reversible encryption for privacy in video surveillance
EP3668104B1 (en) Video scrambling method and device with adaptive mode selection, network camera and readable storage medium
CA2857885C (en) System and method of motion detection on encrypted or scrambled video data streams
CN101389005A (zh) 一种对图像特定位置进行遮挡的方法及装置
US20110194688A1 (en) Method and System Making it Possible to Protect After Compression the Confidentiality of the Data of a Video Stream During Its Transmission
CN106850515A (zh) 一种数据处理方法及视频采集装置、解码装置
CN107959885B (zh) 一种加密视频的运动检测方法
CN101453617A (zh) 数字媒体处理方法和系统
WO2023093501A1 (zh) 一种视频中隐私内容的处理方法、系统、电子设备及介质
US20240098220A1 (en) Surveillance camera system
Ruchaud et al. Privacy protecting, intelligibility preserving video surveillance
CN101262598A (zh) 马赛克图像合成的方法及装置
KR20180102455A (ko) 고효율비디오코딩 파일 영상내 개인정보 보호 방법
CN113709523B (zh) 用于编码及解码私密数据的方法及图像处理装置
CN108848382B (zh) 一种编解码方法及装置
CN109756738B (zh) 数字水印添加、提取方法、装置、电子设备及存储介质
Carpentieri et al. Privacy-preserving Secure Media Streaming for Multi-user Smart Environments
US20160337673A1 (en) Protection of privacy in a video stream by means of a redundant slice
Chen et al. An efficient video encryption algorithm based on the pseudorandom number generator of zipf distribution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant