CN113473138A - 视频帧编码方法、装置、电子设备及存储介质 - Google Patents
视频帧编码方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113473138A CN113473138A CN202110735042.XA CN202110735042A CN113473138A CN 113473138 A CN113473138 A CN 113473138A CN 202110735042 A CN202110735042 A CN 202110735042A CN 113473138 A CN113473138 A CN 113473138A
- Authority
- CN
- China
- Prior art keywords
- data
- code stream
- enhancement layer
- roi
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000004806 packaging method and process Methods 0.000 claims description 65
- 238000013139 quantization Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 17
- 238000005538 encapsulation Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 14
- 238000011084 recovery Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例提供了视频帧编码方法、装置、电子设备及存储介质，将视频帧编码块系数中的隐私ROI区域进行高低频拆分，基本层包括ROI区域的低频系数及非ROI区域的完整系数，增强层包括ROI区域的高频系数。对基本层码流解码，得到基本层中包括ROI区域的低频系数，以及除ROI区域外的其他区域的完整系数，因此可以得到隐私处理后的ROI区域，以及清晰的非ROI区域；而增强层码流中包括ROI区域的高频系数，利用增强层码流及基本层码流可以解码得到清晰的ROI区域，从而能够实现隐私区域的可恢复；此外增强层中非ROI区域的系数全部为预设数值，能够节约编码资源，并且编码后的数据量也较小，从而节约带宽资源。
Description
技术领域
本申请涉及视频编码技术领域，特别是涉及视频帧编码方法、装置、电子设备及存储介质。
背景技术
随着科学技术的发展和人们安全意识的提高，公共场所下的监控设备越来越多，智能检测技术也越来越多地应用于监控场景中。此外人们也越来越注重在监控设备下的个人隐私保护，视频隐私保护技术的需求也越来越高。视频隐私保护，即通过对视频图像中的局部隐私区域进行打码、遮挡或置乱等处理，使隐私区域的图像不可识别，而其他区域保留原始内容正常可见。然而视频隐私保护的图像处理具有保护内容不可恢复的特点，当发生危害公共安全事件时，若监控视频无法恢复出原始内容会对取证工作造成很大的阻碍。
为了解决隐私保护与取证问题，相关技术中，将采集的视频流处理为两路相同的视频流，一路视频流不进行隐私处理保留原始视频帧进行编码，一路视频流进行隐私保护处理(例如置乱、打码或遮挡等)并对隐私保护后的视频帧进行编码。
但是采用上述方法，两路视频流分别进行编码，浪费了编码资源，并且两路视频流的传输也会浪费网络带宽资源，此外隐私保护处理后的视频流的隐私区域不可恢复，后续取证困难。
发明内容
本申请实施例的目的在于提供一种视频帧编码方法、装置、电子设备及存储介质，以解决上述问题中的至少一项。具体技术方案如下：
第一方面，本申请实施例提供了一种视频帧编码方法，所述方法包括：
获取待编码视频帧，并对所述待编码视频帧进行前期编码操作得到量化后的编码块系数；
按照预设隐私保护规则，确定所述编码块系数中需要进行隐私保护的区域作为ROI区域；
针对所述编码块系数，对所述ROI区域截取低频系数，对除所述ROI区域外的其他区域使用完整系数，得到所述编码块系数的基本层；
针对所述编码块系数，对所述ROI区域截取高频系数，对除所述ROI区域外的其他区域的系数赋值为预设数值，得到所述编码块系数的增强层，其中，利用所述ROI区域的低频系数与所述ROI区域的高频系数能够复现所述编码块系数中ROI区域的系数；
对所述编码块系数的基本层和增强层分别进行编码，分别得到基本层码流和增强层码流。
在一种可能的实施方式中，所述按照预设隐私保护规则，确定所述编码块系数中需要进行隐私保护的区域作为ROI区域，包括：
按照N种预设隐私保护规则，分别确定所述编码块系数中需要进行隐私保护的N种区域得到N种ROI区域，其中，N为正整数；
所述针对所述编码块系数，对所述ROI区域截取高频系数，对除所述ROI区域外的其他区域的系数赋值为预设数值，得到所述编码块系数的增强层，包括：
针对所述编码块系数中的每一种ROI区域，对该ROI区域截取高频系数，将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层；
所述对所述编码块系数的基本层和增强层分别进行编码，分别得到基本层码流和增强层码流，包括：
对所述编码块系数的基本层和N种增强层分别进行编码，分别得到基本层码流和N种增强层码流。
在一种可能的实施方式中，针对第i种增强层，反量化时所用的系数为基本层与前i种增强层的和，其中，i属于1到N、且i为整数。
在一种可能的实施方式中，所述方法还包括：
将所述编码块系数存储到内存中；
所述针对所述编码块系数中的每一种ROI区域，对该ROI区域截取高频系数，将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层，包括：
针对所述编码块系数中的每一种ROI区域，基于所述内存中的编码块系数对该ROI区域截取高频系数，并将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层。
在一种可能的实施方式中，所述方法还包括：
每次从编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的N+1路码流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述N+1路码流包括第一至第N+1码流；
针对当前的第一码流，若当前第一码流为增强层码流的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为基本层码流的数据，则对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
向高级权限用户发送所述待发送数据流；
针对当前的第i+1码流，若当前第i+1码流为第i种增强层码流的数据，则丢弃该数据，否则对当前第二码流进行封装，从而得到第i隐私保护数据流，其中，所述隐私保护数据流包括基本层码流的封装数据及除第i种增强层码流外的其他增强层的封装数据；
向第i种普通权限用户发送所述第i隐私保护数据流。
在一种可能的实施方式中，所述方法还包括：
每次从编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为增强层码流的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为基本层码流的数据，则对该数据进行封装，从而得到待发送数据流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
分别向普通权限用户及高级权限用户发送所述待发送数据流。
第二方面，本申请实施例提供了一种视频帧编码装置，所述装置包括：
编码块系数获取模块，用于获取待编码视频帧，并对所述待编码视频帧进行前期编码操作得到量化后的编码块系数；
ROI区域确定模块，用于按照预设隐私保护规则，确定所述编码块系数中需要进行隐私保护的区域作为ROI区域；
基本层确定模块，用于针对所述编码块系数，对所述ROI区域截取低频系数，对除所述ROI区域外的其他区域使用完整系数，得到所述编码块系数的基本层；
增强层确定模块，用于针对所述编码块系数，对所述ROI区域截取高频系数，对除所述ROI区域外的其他区域的系数赋值为预设数值，得到所述编码块系数的增强层，其中，利用所述ROI区域的低频系数与所述ROI区域的高频系数能够复现所述编码块系数中ROI区域的系数；
编码模块，用于对所述编码块系数的基本层和增强层分别进行编码，分别得到基本层码流和增强层码流。
在一种可能的实施方式中，所述ROI区域确定模块，具体用于：按照N种预设隐私保护规则，分别确定所述编码块系数中需要进行隐私保护的N种区域得到N种ROI区域，其中，N为正整数；
所述增强层确定模块，具体用于：针对所述编码块系数中的每一种ROI区域，对该ROI区域截取高频系数，将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层；
所述编码模块，具体用于：对所述编码块系数的基本层和N种增强层分别进行编码，分别得到基本层码流和N种增强层码流。
在一种可能的实施方式中，针对第i种增强层，反量化时所用的系数为基本层与前i种增强层的和，其中，i属于1到N、且i为整数。
在一种可能的实施方式中，所述装置还包括：
编码块系数存储模块，用于将所述编码块系数存储到内存中；
所述增强层确定模块，具体用于：针对所述编码块系数中的每一种ROI区域，基于所述内存中的编码块系数对该ROI区域截取高频系数，并将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层。
在一种可能的实施方式中，所述装置还包括视频数据发送模块，用于：
每次从编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的N+1路码流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述N+1路码流包括第一至第N+1码流；
针对当前的第一码流，若当前第一码流为增强层码流的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为基本层码流的数据，则对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
向高级权限用户发送所述待发送数据流；
针对当前的第i+1码流，若当前第i+1码流为第i种增强层码流的数据，则丢弃该数据，否则对当前第二码流进行封装，从而得到第i隐私保护数据流，其中，所述隐私保护数据流包括基本层码流的封装数据及除第i种增强层码流外的其他增强层的封装数据；
向第i种普通权限用户发送所述第i隐私保护数据流。
在一种可能的实施方式中，所述装置还包括：
增强层码流加密模块，用于每次从编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为增强层码流的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为基本层码流的数据，则对该数据进行封装，从而得到待发送数据流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
待发送数据流发送模块，用于分别向普通权限用户及高级权限用户发送所述待发送数据流。
第三方面，本申请实施例提供了一种视频解码方法，所述方法包括：
获取待解码视频流，其中，所述待解码视频流包括：基本层的封装数据及增强层的封装数据；
在获取到针对原始帧的解码密钥的情况下，对所述待解码视频流中的基本层的封装数据，得到基本层数据；利用所述解码密钥对所述待解码视频流中的增强层的封装数据进行解码，得到增强层数据；将同一视频帧的基本层数据及增强层数据相加得到待显示的重建图像；
在未获取到针对原始帧的解码密钥的情况下，对所述待解码视频流中的基本层的封装数据，得到待显示的隐私保护图像。
第四方面，本申请实施例提供了一种电子设备，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本申请中任一所述的视频帧编码方法或视频解码方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一所述的视频帧编码方法或视频解码方法。
本申请实施例有益效果：
本申请实施例提供的视频帧编码方法、装置、电子设备及存储介质，获取待编码视频帧，并对待编码视频帧进行前期编码操作得到量化后的编码块系数；按照预设隐私保护规则，确定编码块系数中需要进行隐私保护的区域作为ROI区域；针对编码块系数，对ROI区域截取低频系数，对除ROI区域外的其他区域使用完整系数，得到编码块系数的基本层；针对编码块系数，对ROI区域截取高频系数，对除ROI区域外的其他区域的系数赋值为预设数值，得到编码块系数的增强层，其中，利用ROI区域的低频系数与ROI区域的高频系数能够复现编码块系数中ROI区域的系数；对编码块系数的基本层和增强层分别进行编码，分别得到基本层码流和增强层码流。
视频帧编码块系数中的隐私ROI区域进行高低频拆分，基本层包括ROI区域的低频系数及非ROI区域的完整系数，增强层包括ROI区域的高频系数。对基本层码流解码，得到基本层中包括ROI区域的低频系数，以及除ROI区域外的其他区域的完整系数，因此可以得到隐私处理后的ROI区域，以及清晰的非ROI区域；而增强层码流中包括ROI区域的高频系数，利用增强层码流及基本层码流可以解码得到清晰的ROI区域，从而能够实现隐私区域的可恢复；此外增强层中非ROI区域的系数全部为预设数值，能够节约编码资源，并且编码后的数据量也较小，从而节约带宽资源。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例的视频帧编码方法的第一种示意图；
图2为相关技术中码流结构的一种示意图；
图3为本申请实施例的视频帧编码方法的第二种示意图；
图4a为本申请实施例的视频帧编码流程的第一种示意图；
图4b为本申请实施例的视频帧编码流程的第二种示意图；
图5为本申请实施例的视频帧编码流程的第三种示意图；
图6a为本申请实施例的编码端与解码端的一种示意图；
图6b为本申请实施例的编码端与解码端的另一种示意图；
图7为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
为了节约编码资源及网络带宽资源，同时实现隐私保护处理后的视频流的隐私区域可恢复，本申请实施例提供了一种视频帧编码方法，参见图1，所述方法包括：
S101，获取待编码视频帧，并对所述待编码视频帧进行前期编码操作得到量化后的编码块系数。
本申请实施例中的视频编码方法可以通过具备编码功能的电子设备实现，具体的，该电子设备可以为摄像机或硬盘录像机等。待编码视频帧为任意需要编码的视频帧。
前期编码操作包括帧内预测、帧间预测、变换及量化等操作，对待编码视频帧进行前期编码操作得到的为量化后的编码块系数，前期编码操作的具体过程可以参见相关技术中的编码过程，此处不再赘述。
S102，按照预设隐私保护规则，确定所述编码块系数中需要进行隐私保护的区域作为ROI区域。
预设隐私保护规则可以根据实际情况自定义设置，对隐私保护帧进行隐私保护，隐私保护区域坐标的来源包括但不仅限于用户直接配置、智能算法自动检测等，每帧隐私保护帧中的隐私保护区域的个数也不仅限于1个。ROI英文全称为Region of Interest，即感兴趣区域，本申请中指需要进行隐私保护的区域。
S103，针对所述编码块系数，对所述ROI区域截取低频系数，对除所述ROI区域外的其他区域使用完整系数，得到所述编码块系数的基本层。
基本层中包括除ROI区域外的其他区域使用完整系数，因此可以处理得到清晰的除ROI区域外的其他区域的图像；而基本层中的ROI区域仅包括低频系数，因此基于层解码后的ROI区域的图像为模糊的图像，相当于进行了打码处理，从而进行隐私保护。针对基本层反量化时输入的量化系数为基本层的系数。
S104，针对所述编码块系数，对所述ROI区域截取高频系数，对除所述ROI区域外的其他区域的系数赋值为预设数值，得到所述编码块系数的增强层，其中，利用所述ROI区域的低频系数与所述ROI区域的高频系数能够复现所述编码块系数中ROI区域的系数。
预设数值可以根据实际情况自定义设置，一个例子中为了减少编码后的数据量，预设数值可以设置为0。利用ROI区域的低频系数与ROI区域的高频系数能够复现编码块系数中ROI区域的系数，一个例子中，ROI区域的低频系数与ROI区域的高频系数相加可以得到编码块系数中ROI区域的系数。
S105，对所述编码块系数的基本层和增强层分别进行编码，分别得到基本层码流和增强层码流。
在本申请实施例中，基本层包括ROI区域的低频系数及非ROI区域的完整系数，增强层包括ROI区域的高频系数。对基本层码流解码，得到基本层中包括ROI区域的低频系数，以及除ROI区域外的其他区域的完整系数，因此可以得到隐私处理后的ROI区域，以及清晰的非ROI区域；而增强层码流中包括ROI区域的高频系数，利用增强层码流及基本层码流可以解码得到清晰的ROI区域，从而能够实现隐私区域的可恢复；此外增强层中非ROI区域的系数全部为预设数值，能够节约编码资源，并且编码后的数据量也较小，从而节约带宽资源。
一个例子中，基本层及增强层可以通过帧类型属性来区分，所述方法还包括，将基本层的帧类型属性设置为基本层类型，将增强层的帧类型属性设置为增强层类型；后续可以通过识别帧类型属性来区分基本层及增强层。帧类型属性包括但不仅限于NALU类型、时域优先级、其他协议规定的可自定义字段等。以H.265标准的码流为例，其码流结构可以如图2所示，第一层中，每个Frame代表每一帧编码的码流。第二层中，一帧可以划分成一个或多个slice，每个slice的码流为一个NAL单元，所以一帧码流可以由一个或多个NAL单元组成。第三层中，Nal单元由NALU header和RBSP组成。NALU header主要承载当前NAL单元的内容特征，RBSP为NALU载荷，包含主要的视频压缩数据(slice header+slice data数据)。第四层中，NALU header由保留位(F)、NALU类型(Nalu_type)、Layer层级(NLI)和时域层级(NTI)组成，一般来说可直接从NALU类型快速判断当前段码流所属帧的类型，来进行抽帧等时域层级的操作；最下面的一层属于NALU类型的具体取值和各数值含义。针对H.265标准的码流，可以在NALU类型中记录隐私保护帧类型或原始帧类型。
针对不同的用户，隐私保护的类型可以不同，例如，针对用户A需要保护视频中的人脸；针对用户B需要保护视频中的车牌等。在一种可能的实施方式中，参见图3，所述按照预设隐私保护规则，确定所述编码块系数中需要进行隐私保护的区域作为ROI区域，包括：
S1021，按照N种预设隐私保护规则，分别确定所述编码块系数中需要进行隐私保护的N种区域得到N种ROI区域，其中，N为正整数。
预设隐私保护规则可以根据实际情况自定义设置，每种预设隐私保护规则用于保护至少一种隐私。
所述针对所述编码块系数，对所述ROI区域截取高频系数，对除所述ROI区域外的其他区域的系数赋值为预设数值，得到所述编码块系数的增强层，包括：
S1041，针对所述编码块系数中的每一种ROI区域，对该ROI区域截取高频系数，将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层。
所述对所述编码块系数的基本层和增强层分别进行编码，分别得到基本层码流和增强层码流，包括：
S1051，对所述编码块系数的基本层和N种增强层分别进行编码，分别得到基本层码流和N种增强层码流。
在一种可能的实施方式中，针对第i种增强层，反量化时所用的系数为基本层与前i种增强层的和，其中，i属于1到N、且i为整数。
在增强层只有一层的情况下，例如图4a所示，针对基本层，反量化时输入的量化系数为基本层的系数，反变换后得到的为基本层重建残差；针对增强层，反量化时输入的量化系数为编码块系数(基本层+增强层的系数)，反变换后得到的为基本层+增强层重建残差。
在增强层只有多层的情况下，例如图4b所示，第i种增强层，反量化时所用的系数为基本层与前i种增强层的和，反变换后得到的为基本层+前i种增强层重建残差。
在一种可能的实施方式中，所述方法还包括：
将所述编码块系数的基本层存储到内存中；
所述针对所述编码块系数中的每一种ROI区域，对该ROI区域截取高频系数，将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层，包括：
针对所述编码块系数中的每一种ROI区域，基于所述内存中的基本层对该ROI区域截取高频系数，并将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层。
如图5所示，在硬件实现过程中，第一次得到量化后的编码块系数后，将编码块系数直接写进内存中，例如DDR(Double Data Rate，双倍速率)内存中，后续增强层就不需要再重新执行预测、变换、量化的过程，直接从DDR中读取编码块系数即可，大大提高了编码的效率。
为了保证增强层码流的安全，在一种可能的实施方式中，所述方法还包括：
步骤一，每次从编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为增强层码流的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为基本层码流的数据，则对该数据进行封装，从而得到待发送数据流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
步骤二，分别向普通权限用户及高级权限用户发送所述待发送数据流。
其中，增强层码流的数据是加密后的，普通权限用户的客户端具有权限限制，无法解码该普通权限用户的隐私保护区域对应的增强层码流，因此不能恢复针对该普通权限用户的隐私保护区域。
在一个例子中，还可以对待发送数据流进行全局加密，以防止非法用户解码待发送数据流。增强层码流的加密方式可以参见相关技术中的加密方式，例如可以采用AES(Advanced Encryption Standard，高级加密标注)等加密，普通用户在不知道密钥的情况下，无法实现增强层码流的解密，因此普通用户仅能解码基本层码流，从而得到隐私保护后的视频；而高级权限用户可以通过密钥对增强层码流进行解密，从而解码基本层码流及增强层码流，最终得到无隐私保护的视频。
在一种可能的实施方式中，所述方法还包括：
步骤1，每次从编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的N+1路码流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述N+1路码流包括第一至第N+1码流；
步骤2，针对当前的第一码流，若当前第一码流为增强层码流的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为基本层码流的数据，则对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
步骤3，向高级权限用户发送所述待发送数据流；
步骤4，针对当前的第i+1码流，若当前第i+1码流为第i种增强层码流的数据，则丢弃该数据，否则对当前第二码流进行封装，从而得到第i隐私保护数据流，其中，所述隐私保护数据流包括基本层码流的封装数据及除第i种增强层码流外的其他增强层的封装数据；
步骤5，向第i种普通权限用户发送所述第i隐私保护数据流。
第i种普通权限用户即为第i种隐私保护规则对应的用户，第i种增强层码流为第i种增强层编码得到的码流，第i种增强层包括利用第i种隐私保护规则确定的隐私保护区域的高频系数。例如，针对普通用户A需要进行车牌隐私保护，则在用户A为第i种普通权限用户时，第i种隐私保护规则为对车牌进行隐私保护，第i种增强层码流包括车牌隐私保护区域的高频系数，第i隐私保护数据流中包括除车牌隐私保护区域的高频系数对应的增强层码流外的其他增强层的封装码流，还包括基本层码流的封装数据。
相关技术中，抽帧操作是为了适应不同的带宽情况，例如络带宽流畅时，不进行抽帧，使用60FPS(每秒传输帧数)的视频流，网络带宽较拥堵时抽取1/2视频帧即使用30FPS的视频流，网络带宽高度拥堵时抽取1/4视频帧即使用15FPS的视频流，从而在牺牲每秒传输帧数的情况下，保证视频的正常播放。
在本申请实施例中，利用抽帧的方式抽取对应的增强层码流，普通权限用户接收到的隐私保护数据流中不包含对应的增强层数据，能够防止普通权限用户利用增强层数据解码得到隐私保护前的数据，从而保证隐私安全，同时节约了普通权限用户的带宽。
本申请实施例还提供了一种视频解码方法，所述方法包括：
获取待解码视频流，其中，所述待解码视频流包括：基本层的封装数据及增强层的封装数据；
在获取到针对原始帧的解码密钥的情况下，对所述待解码视频流中的基本层的封装数据，得到基本层数据；利用所述解码密钥对所述待解码视频流中的增强层的封装数据进行解码，得到增强层数据；将同一视频帧的基本层数据及增强层数据相加得到待显示的重建图像；
在未获取到针对原始帧的解码密钥的情况下，对所述待解码视频流中的基本层的封装数据，得到待显示的隐私保护图像。
本申请实施例还提供了一种电子设备，包括编码前处理单元、定制视频编码器及编码后处理单元。
编码前处理单元：对输入的每一帧视频帧进行前期编码操作得到量化后的编码块系数；前期编码操作可以包括根据上层用户配置的编码属性和输入的视频序列，为编码器传输寄存器参数和图像YUV数据，对输入的视频帧进行预测(帧间预测、帧内预设)、变换、量化等操作。
定制视频编码器：在支持编码标准H.264、H.265等的基础上进行定制化设计，利用质量可分级的概念对隐私保护区域量化后的系数进行高、低频拆分编码，低频系数区域作为质量基本层，高频系数区域作为质量增强层。质量增强层可根据隐私保护区域数量设置为多个增强层，每个增强层保护一个或一类隐私区域。
定制视频编码器可以在H.264、H.265、AVS2等视频编码标准的基础上，对量化后的系数进行质量分层拆分编码。定制的质量分层模块增加在量化模块与熵编码模块之间。
定制的质量分层模块将量化后的编码块系数进行高低频质量分层，熵编码分别对基本层和增强层进行编码，本申请中对高低频分层的拆分比例不做限定，低频系数和高频系数相加等于拆分前的编码块系数中ROI区域的系数即可。
针对增强层只有一层的质量分层模块结构如图4a阴影部分所示，根据ROI区域坐标只对隐私保护区域进行低高频系数的截取，具体实现过程分两部分：第一部分为基本层编码，对ROI区域的系数截取低频系数、非ROI区域使用完整系数，反量化的输入使用截取之后的系数；第二部分为增强层编码，对ROI区域的系数截取高频系数、非ROI区域系数全部赋值为0，反量化的输入使用截取之前的系数。
针对增强层为多层的定制质量分层模块结构如图4b阴影部分所示，增强层根据要保护的隐私区域进行层级划分，例如第一增强层保护图像中的所有人脸，第二增强层保护图像中的所有车牌……增强层为多层时，中间增强层输出到反量化模块的系数为前面所有层(基本层+前面所有增强层)经过质量分层模块的系数相加结果，最高增强层输出到反量化模块的系数直接为量化后的系数。
在硬件实现定制的质量分层模块，可选择下图5所示的方案，第一次确定基本层的过程中，将量化后的编码块系数直接写进DDR内存中，后续增强层就不需要再重新执行预测、变换、量化的过程，直接从DDR中读取量化后的编码块系数即可，大大提高了编码系统的运行效率。
编码后处理单元：该单元内部的码流抽帧组件，传统用法是在网络带宽紧张时进行抽帧使用的，而本申请中运用码流抽帧组件来判断码流类型，若为质量增强层码流则再进行一次加密操作，加密方式包括但不仅限于AES加密等，质量基本层码流无需进行隐私保护加密或使用另一套密钥进行加密。对码流进行隐私保护加密后还可以选择性地进行一次全局加密，从而得到待发送数据流，以保证码流在传输过程中的安全性，然后输出待发送数据流。
对于本申请中的码流，使用支持质量可分级的解码器进行解码即可，无需定制化，普通权限用户没有隐私保护密钥只能解码质量基本层的码流，得到只有低频分量的量化系数，恢复重建图像后得到隐私区域模糊化(类打马赛克)的显示内容；高级权限用户解码质量基本层和质量增强层，得到完整的量化系数，恢复重建图像得到原始图像的显示内容。
一个例子中，如图6a所示，解码端包括权限管理单元、高级用户解码单元、普通用户解码单元和显示单元。权限管理单元根据是否输入了隐私保护密钥来判断当前用户的权限，不带密钥的普通权限用户只解码出质量基本层后恢复出重建图像，显示为隐私区域模糊化的图像。带密钥的高级权限用户解密后解码出质量基本层和质量增强层，系数相加然后恢复出重建图像，显示为清晰的没有隐私处理的图像。一个例子中，解码端的权限管理单元可进一步分为解码权限管理和播放权限管理。
在一种可能的实施方式中，编码后处理单元还可以将视频编码器输出的码流分多路发送，所述电子设备还包括：权限管理单元，该单元内部的码流抽帧组件，传统用法是在网络带宽紧张时进行抽帧使用的；而在本申请中运用码流抽帧组件来抽取基本层码流作为一路输出，另一路直接输出完整码流。并且，权限管理单元也可选择地进行码流的全局加密。高级权限用户和普通权限用户是分离的两个终端，高级权限终端对接收到的完整码流使用支持质量可分级的解码器解码，然后进行显示；普通权限终端对接收到的隐私保护码流直接使用普通标准解码器解码，然后进行显示。
例如图6b所示，该电子设备为编码端设备，权限管理由编码端实现。高级权限用户和普通权限用户是分离的两个终端，高级权限终端对接收到的完整码流进行解码，解码出质量基本层和质量增强层，系数相加然后恢复出重建图像，显示为清晰的没有隐私处理的图像。普通权限终端对接收到的基本层码流直接进行标准解码器解码，得到隐私保护的视频帧进行显示。
本申请实施例中，基于视频编码的质量可分级技术实现的隐私保护和可恢复，而不是按照传统方案分成两路单独编码原始序列和隐私保护序列。质量分层时增强层只包含隐私保护区域的补充信息，大幅度减少编码的码流数量，降低码流存储和传输成本；质量分层的编码码流既包含隐私保护内容又携带加密的原始补充信息，增加了隐私保护内容可恢复的功能；提出的硬件实现方案，可进一步提高视频编码器的运行效率。
本申请实施例还提供了一种视频帧编码装置，所述装置包括：
编码块系数获取模块，用于获取待编码视频帧，并对所述待编码视频帧进行前期编码操作得到量化后的编码块系数；
ROI区域确定模块，用于按照预设隐私保护规则，确定所述编码块系数中需要进行隐私保护的区域作为ROI区域；
基本层确定模块，用于针对所述编码块系数，对所述ROI区域截取低频系数，对除所述ROI区域外的其他区域使用完整系数，得到所述编码块系数的基本层；
增强层确定模块，用于针对所述编码块系数，对所述ROI区域截取高频系数，对除所述ROI区域外的其他区域的系数赋值为预设数值，得到所述编码块系数的增强层，其中，利用所述ROI区域的低频系数与所述ROI区域的高频系数能够复现所述编码块系数中ROI区域的系数；
编码模块，用于对所述编码块系数的基本层和增强层分别进行编码，分别得到基本层码流和增强层码流。
在一种可能的实施方式中，所述ROI区域确定模块，具体用于：按照N种预设隐私保护规则，分别确定所述编码块系数中需要进行隐私保护的N种区域得到N种ROI区域，其中，N为正整数；
所述增强层确定模块，具体用于：针对所述编码块系数中的每一种ROI区域，对该ROI区域截取高频系数，将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层；
所述编码模块，具体用于：对所述编码块系数的基本层和N种增强层分别进行编码，分别得到基本层码流和N种增强层码流。
在一种可能的实施方式中，针对第i种增强层，反量化时所用的系数为基本层与前i种增强层的和，其中，i属于1到N、且i为整数。
在一种可能的实施方式中，所述装置还包括：
编码块系数存储模块，用于将所述编码块系数存储到内存中；
所述增强层确定模块，具体用于：针对所述编码块系数中的每一种ROI区域，基于所述内存中的编码块系数对该ROI区域截取高频系数，并将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层。
在一种可能的实施方式中，所述装置还包括视频数据发送模块，用于：
每次从编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的N+1路码流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述N+1路码流包括第一至第N+1码流；
针对当前的第一码流，若当前第一码流为增强层码流的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为基本层码流的数据，则对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
向高级权限用户发送所述待发送数据流；
针对当前的第i+1码流，若当前第i+1码流为第i种增强层码流的数据，则丢弃该数据，否则对当前第二码流进行封装，从而得到第i隐私保护数据流，其中，所述隐私保护数据流包括基本层码流的封装数据及除第i种增强层码流外的其他增强层的封装数据；
向第i种普通权限用户发送所述第i隐私保护数据流。
在一种可能的实施方式中，所述装置还包括：
增强层码流加密模块，用于：每次从编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为增强层码流的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为基本层码流的数据，则对该数据进行封装，从而得到待发送数据流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
待发送数据流发送模块，用于分别向普通权限用户及高级权限用户发送所述待发送数据流。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器用于执行上述存储器存放的计算机程序时，实现本申请中任一所述的视频帧编码方法。
可选的，参见图7，本申请实施例的电子设备还包括通信接口12和通信总线14，其中，处理器11，通信接口12，存储器13通过通信总线14完成相互间的通信。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述实施例中任一视频帧编码方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一视频帧编码方法。
本申请实施例的方法、设备、存储介质、计算机程序产品等可以应用于高空抛物监控场景：在高空抛物监控场景的应用中，一般将电子监控器安装在地面上，从下向上实时监控高层建筑的每一楼层。由于电子监控器的安装高度一般与低楼层高度大致相近，实时监控时会拍摄到低楼层内部情况，导致低楼层住户的隐私出现泄露。采用本申请实施例的方法、设备、存储介质、计算机程序产品等，根据电子监控器的安装位置直接配置隐私保护区域的坐标，定义保安监控室为普通权限用户，带密钥存储器为高级权限用户，电子监控器输出的隐私保护码流解码后在监控室内实时显示，完整码流则存储在带密钥存储器中。这样既保护了低楼层用户的隐私，又满足了在发生高空抛物事件后公安系统使用密钥查看原始视频的需求。
本申请实施例的方法、设备、存储介质、计算机程序产品等可以应用于安防监控场景：针对在视频监控领域进行人脸识别、行为分析等场景，应用本申请实施例的方法、设备、存储介质、计算机程序产品等，智能算法进行人脸识别后自动输出需要进行隐私保护的区域坐标，对出现在监控视频中的人脸区域进行打码或置乱保护。电子监控器输出隐私保护码流解码后实时显示，完整码流存储在带密钥存储器中，出现危害公共安全公安系统介入调查时进行原始视频的查看。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (15)
1.一种视频帧编码方法，其特征在于，所述方法包括：
获取待编码视频帧，并对所述待编码视频帧进行前期编码操作得到量化后的编码块系数；
按照预设隐私保护规则，确定所述编码块系数中需要进行隐私保护的区域作为ROI区域；
针对所述编码块系数，对所述ROI区域截取低频系数，对除所述ROI区域外的其他区域使用完整系数，得到所述编码块系数的基本层；
针对所述编码块系数，对所述ROI区域截取高频系数，对除所述ROI区域外的其他区域的系数赋值为预设数值，得到所述编码块系数的增强层，其中，利用所述ROI区域的低频系数与所述ROI区域的高频系数能够复现所述编码块系数中ROI区域的系数；
对所述编码块系数的基本层和增强层分别进行编码，分别得到基本层码流和增强层码流。
2.根据权利要求1所述的方法，其特征在于，所述按照预设隐私保护规则，确定所述编码块系数中需要进行隐私保护的区域作为ROI区域，包括：
按照N种预设隐私保护规则，分别确定所述编码块系数中需要进行隐私保护的N种区域得到N种ROI区域，其中，N为正整数；
所述针对所述编码块系数，对所述ROI区域截取高频系数，对除所述ROI区域外的其他区域的系数赋值为预设数值，得到所述编码块系数的增强层，包括：
针对所述编码块系数中的每一种ROI区域，对该ROI区域截取高频系数，将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层；
所述对所述编码块系数的基本层和增强层分别进行编码，分别得到基本层码流和增强层码流，包括：
对所述编码块系数的基本层和N种增强层分别进行编码，分别得到基本层码流和N种增强层码流。
3.根据权利要求2所述的方法，其特征在于，针对第i种增强层，反量化时所用的系数为基本层与前i种增强层的和，其中，i属于1到N、且i为整数。
4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
将所述编码块系数存储到内存中；
所述针对所述编码块系数中的每一种ROI区域，对该ROI区域截取高频系数，将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层，包括：
针对所述编码块系数中的每一种ROI区域，基于所述内存中的编码块系数对该ROI区域截取高频系数，并将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层。
5.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
每次从编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的N+1路码流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述N+1路码流包括第一至第N+1码流；
针对当前的第一码流，若当前第一码流为增强层码流的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为基本层码流的数据，则对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
向高级权限用户发送所述待发送数据流；
针对当前的第i+1码流，若当前第i+1码流为第i种增强层码流的数据，则丢弃该数据，否则对当前第二码流进行封装，从而得到第i隐私保护数据流，其中，所述隐私保护数据流包括基本层码流的封装数据及除第i种增强层码流外的其他增强层的封装数据；
向第i种普通权限用户发送所述第i隐私保护数据流。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
每次从编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为增强层码流的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为基本层码流的数据，则对该数据进行封装，从而得到待发送数据流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
分别向普通权限用户及高级权限用户发送所述待发送数据流。
7.一种视频帧编码装置，其特征在于，所述装置包括：
编码块系数获取模块，用于获取待编码视频帧，并对所述待编码视频帧进行前期编码操作得到量化后的编码块系数；
ROI区域确定模块，用于按照预设隐私保护规则，确定所述编码块系数中需要进行隐私保护的区域作为ROI区域；
基本层确定模块，用于针对所述编码块系数，对所述ROI区域截取低频系数，对除所述ROI区域外的其他区域使用完整系数，得到所述编码块系数的基本层；
增强层确定模块，用于针对所述编码块系数，对所述ROI区域截取高频系数，对除所述ROI区域外的其他区域的系数赋值为预设数值，得到所述编码块系数的增强层，其中，利用所述ROI区域的低频系数与所述ROI区域的高频系数能够复现所述编码块系数中ROI区域的系数；
编码模块，用于对所述编码块系数的基本层和增强层分别进行编码，分别得到基本层码流和增强层码流。
8.根据权利要求7所述的装置，其特征在于，所述ROI区域确定模块，具体用于：按照N种预设隐私保护规则，分别确定所述编码块系数中需要进行隐私保护的N种区域得到N种ROI区域，其中，N为正整数；
所述增强层确定模块，具体用于：针对所述编码块系数中的每一种ROI区域，对该ROI区域截取高频系数，将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层；
所述编码模块，具体用于：对所述编码块系数的基本层和N种增强层分别进行编码，分别得到基本层码流和N种增强层码流。
9.根据权利要求8所述的装置，其特征在于，针对第i种增强层，反量化时所用的系数为基本层与前i种增强层的和，其中，i属于1到N、且i为整数。
10.根据权利要求8或9所述的装置，其特征在于，所述装置还包括：
编码块系数存储模块，用于将所述编码块系数存储到内存中；
所述增强层确定模块，具体用于：针对所述编码块系数中的每一种ROI区域，基于所述内存中的编码块系数对该ROI区域截取高频系数，并将该ROI区域外的其他区域的系数赋值为预设数值，得到该ROI区域的增强层。
11.根据权利要求8或9所述的装置，其特征在于，所述装置还包括视频数据发送模块，用于：
每次从编码后的视频数据流中读取预设单位数据量的数据，基于当前读取的数据，得到与当前读取的数据内容相同的N+1路码流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述N+1路码流包括第一至第N+1码流；
针对当前的第一码流，若当前第一码流为增强层码流的数据，则对当前第一码流进行加密，并对加密后的数据进行封装，若当前第一码流为基本层码流的数据，则对当前第一码流进行封装，从而得到待发送数据流，其中，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
向高级权限用户发送所述待发送数据流；
针对当前的第i+1码流，若当前第i+1码流为第i种增强层码流的数据，则丢弃该数据，否则对当前第二码流进行封装，从而得到第i隐私保护数据流，其中，所述隐私保护数据流包括基本层码流的封装数据及除第i种增强层码流外的其他增强层的封装数据；
向第i种普通权限用户发送所述第i隐私保护数据流。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括：
增强层码流加密模块，用于每次从编码后的视频数据流中读取预设单位数据量的数据，针对当前读取的数据，若该数据为增强层码流的数据，则对当前读取的数据进行加密，并对加密后的数据进行封装，若该数据为基本层码流的数据，则对该数据进行封装，从而得到待发送数据流，其中，所述编码后的视频数据流包括基本层码流和增强层码流，所述待发送数据流包括增强层码流的封装数据及基本层码流的封装数据；
待发送数据流发送模块，用于分别向普通权限用户及高级权限用户发送所述待发送数据流。
13.一种视频解码方法，其特征在于，所述方法包括：
获取待解码视频流，其中，所述待解码视频流包括：基本层的封装数据及增强层的封装数据；
在获取到针对原始帧的解码密钥的情况下，对所述待解码视频流中的基本层的封装数据，得到基本层数据；利用所述解码密钥对所述待解码视频流中的增强层的封装数据进行解码，得到增强层数据；将同一视频帧的基本层数据及增强层数据相加得到待显示的重建图像；
在未获取到针对原始帧的解码密钥的情况下，对所述待解码视频流中的基本层的封装数据，得到待显示的隐私保护图像。
14.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-6、13任一所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6、13任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735042.XA CN113473138B (zh) | 2021-06-30 | 2021-06-30 | 视频帧编码方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735042.XA CN113473138B (zh) | 2021-06-30 | 2021-06-30 | 视频帧编码方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113473138A true CN113473138A (zh) | 2021-10-01 |
| CN113473138B CN113473138B (zh) | 2024-04-05 |
Family
ID=77874277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110735042.XA Active CN113473138B (zh) | 2021-06-30 | 2021-06-30 | 视频帧编码方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113473138B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114257837A (zh) * | 2021-11-25 | 2022-03-29 | 杭州萤石软件有限公司 | 一种视频中隐私内容的处理方法、系统、电子设备及介质 |
| CN114390295A (zh) * | 2021-12-09 | 2022-04-22 | 慧之安信息技术股份有限公司 | 一种视频隐私保护方法和装置 |
| WO2024104505A1 (zh) * | 2022-11-14 | 2024-05-23 | 杭州海康威视数字技术股份有限公司 | 一种图像解码、图像编码方法、装置及其设备 |
Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002058027A (ja) * | 2000-08-09 | 2002-02-22 | Sony Corp | 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置 |
| US20030103678A1 (en) * | 2001-11-30 | 2003-06-05 | Chih-Lin Hsuan | Method for transforming video data by wavelet transform signal processing |
| JP2006074130A (ja) * | 2004-08-31 | 2006-03-16 | Sanyo Electric Co Ltd | 画像復号方法、画像復号装置および撮像装置 |
| JP2007104645A (ja) * | 2005-09-06 | 2007-04-19 | Megachips Lsi Solutions Inc | 圧縮符号化装置、圧縮符号化方法およびプログラム |
| JP2007174568A (ja) * | 2005-12-26 | 2007-07-05 | Sanyo Electric Co Ltd | 符号化方法 |
| JP2007235314A (ja) * | 2006-02-28 | 2007-09-13 | Sanyo Electric Co Ltd | 符号化方法 |
| KR20080005747A (ko) * | 2006-07-10 | 2008-01-15 | 주식회사 어니언텍 | 관심영역 기반의 영상 화질개선장치 및 양자화기기 및 그동작 방법 |
| JP2008252581A (ja) * | 2007-03-30 | 2008-10-16 | Kddi Corp | 注目領域画像符号化装置 |
| WO2009022772A1 (en) * | 2007-08-14 | 2009-02-19 | Industry-Academic Cooperation Foundation, Yonsei University | Method of controlling bearers for multiple layer data transmission and method for initializing multiple layer data transmission |
| US20090074060A1 (en) * | 2007-09-14 | 2009-03-19 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus for encoding and/or decoding video |
| US20090097548A1 (en) * | 2007-10-15 | 2009-04-16 | Qualcomm Incorporated | Enhancement layer coding for scalable video coding |
| CN101420618A (zh) * | 2008-12-02 | 2009-04-29 | 西安交通大学 | 基于感兴趣区域的自适应可伸缩视频编解码结构设计方法 |
| CN101610391A (zh) * | 2008-06-20 | 2009-12-23 | 韩国放送公社 | 用于保护可伸缩视频编码内容的方法与装置 |
| US20140205009A1 (en) * | 2013-01-21 | 2014-07-24 | The Regents Of The University Of California | Method and apparatus for spatially scalable video compression and transmission |
| CN105141970A (zh) * | 2015-07-03 | 2015-12-09 | 哈尔滨工业大学深圳研究生院 | 一种基于三维模型几何信息的纹理图像压缩方法 |
| CN105306945A (zh) * | 2014-07-10 | 2016-02-03 | 北京创鑫汇智科技发展有限责任公司 | 一种监控视频的可伸缩浓缩编码方法和装置 |
| US20170013278A1 (en) * | 2014-03-28 | 2017-01-12 | Megachips Corporation | Image decoding apparatus and image decoding method |
| US20170094242A1 (en) * | 2015-09-29 | 2017-03-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| CN107346541A (zh) * | 2017-06-02 | 2017-11-14 | 华南理工大学 | 一种基于超声射频时间序列小波分析的组织定征方法 |
| US20170359596A1 (en) * | 2016-06-09 | 2017-12-14 | Apple Inc. | Video coding techniques employing multiple resolution |
| US20170359586A1 (en) * | 2016-06-10 | 2017-12-14 | Apple Inc. | Transcoding techniques for alternate displays |
| US9936208B1 (en) * | 2015-06-23 | 2018-04-03 | Amazon Technologies, Inc. | Adaptive power and quality control for video encoders on mobile devices |
| US10681382B1 (en) * | 2016-12-20 | 2020-06-09 | Amazon Technologies, Inc. | Enhanced encoding and decoding of video reference frames |
| US20200322616A1 (en) * | 2019-04-03 | 2020-10-08 | Oki Electric Industry Co., Ltd. | Encoding device, decoding device, and image processing method |
| US20210092398A1 (en) * | 2019-09-20 | 2021-03-25 | Axis Ab | Blurring privacy masks |
| CN113228097A (zh) * | 2018-12-29 | 2021-08-06 | 浙江大华技术股份有限公司 | 图像处理方法和系统 |
-
2021
- 2021-06-30 CN CN202110735042.XA patent/CN113473138B/zh active Active
Patent Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002058027A (ja) * | 2000-08-09 | 2002-02-22 | Sony Corp | 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置 |
| US20030103678A1 (en) * | 2001-11-30 | 2003-06-05 | Chih-Lin Hsuan | Method for transforming video data by wavelet transform signal processing |
| TW569159B (en) * | 2001-11-30 | 2004-01-01 | Inst Information Industry | Video wavelet transform processing method |
| JP2006074130A (ja) * | 2004-08-31 | 2006-03-16 | Sanyo Electric Co Ltd | 画像復号方法、画像復号装置および撮像装置 |
| JP2007104645A (ja) * | 2005-09-06 | 2007-04-19 | Megachips Lsi Solutions Inc | 圧縮符号化装置、圧縮符号化方法およびプログラム |
| JP2007174568A (ja) * | 2005-12-26 | 2007-07-05 | Sanyo Electric Co Ltd | 符号化方法 |
| JP2007235314A (ja) * | 2006-02-28 | 2007-09-13 | Sanyo Electric Co Ltd | 符号化方法 |
| KR20080005747A (ko) * | 2006-07-10 | 2008-01-15 | 주식회사 어니언텍 | 관심영역 기반의 영상 화질개선장치 및 양자화기기 및 그동작 방법 |
| JP2008252581A (ja) * | 2007-03-30 | 2008-10-16 | Kddi Corp | 注目領域画像符号化装置 |
| WO2009022772A1 (en) * | 2007-08-14 | 2009-02-19 | Industry-Academic Cooperation Foundation, Yonsei University | Method of controlling bearers for multiple layer data transmission and method for initializing multiple layer data transmission |
| US20090074060A1 (en) * | 2007-09-14 | 2009-03-19 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus for encoding and/or decoding video |
| US20090097548A1 (en) * | 2007-10-15 | 2009-04-16 | Qualcomm Incorporated | Enhancement layer coding for scalable video coding |
| CN101610391A (zh) * | 2008-06-20 | 2009-12-23 | 韩国放送公社 | 用于保护可伸缩视频编码内容的方法与装置 |
| CN101420618A (zh) * | 2008-12-02 | 2009-04-29 | 西安交通大学 | 基于感兴趣区域的自适应可伸缩视频编解码结构设计方法 |
| US20140205009A1 (en) * | 2013-01-21 | 2014-07-24 | The Regents Of The University Of California | Method and apparatus for spatially scalable video compression and transmission |
| US20170013278A1 (en) * | 2014-03-28 | 2017-01-12 | Megachips Corporation | Image decoding apparatus and image decoding method |
| CN105306945A (zh) * | 2014-07-10 | 2016-02-03 | 北京创鑫汇智科技发展有限责任公司 | 一种监控视频的可伸缩浓缩编码方法和装置 |
| US9936208B1 (en) * | 2015-06-23 | 2018-04-03 | Amazon Technologies, Inc. | Adaptive power and quality control for video encoders on mobile devices |
| CN105141970A (zh) * | 2015-07-03 | 2015-12-09 | 哈尔滨工业大学深圳研究生院 | 一种基于三维模型几何信息的纹理图像压缩方法 |
| US20170094242A1 (en) * | 2015-09-29 | 2017-03-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US20170359596A1 (en) * | 2016-06-09 | 2017-12-14 | Apple Inc. | Video coding techniques employing multiple resolution |
| US20170359586A1 (en) * | 2016-06-10 | 2017-12-14 | Apple Inc. | Transcoding techniques for alternate displays |
| US10681382B1 (en) * | 2016-12-20 | 2020-06-09 | Amazon Technologies, Inc. | Enhanced encoding and decoding of video reference frames |
| CN107346541A (zh) * | 2017-06-02 | 2017-11-14 | 华南理工大学 | 一种基于超声射频时间序列小波分析的组织定征方法 |
| CN113228097A (zh) * | 2018-12-29 | 2021-08-06 | 浙江大华技术股份有限公司 | 图像处理方法和系统 |
| US20200322616A1 (en) * | 2019-04-03 | 2020-10-08 | Oki Electric Industry Co., Ltd. | Encoding device, decoding device, and image processing method |
| US20210092398A1 (en) * | 2019-09-20 | 2021-03-25 | Axis Ab | Blurring privacy masks |
Non-Patent Citations (5)
| Title |
|---|
| HAIBO LV等: "Multiscale compressed sensing method for ROI coding", 《2017 IEEE INTERNATIONAL CONFERENCE ON UNMANNED SYSTEMS (ICUS)》 * |
| TAORAN LU等: "AHG8: Support of ROI (Region-Of-Interest) scalability", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 16TH MEETING: GENEVA, CH, 1–11 OCTOBER 2019，JVET- P0336-V1》, 24 September 2019 (2019-09-24) * |
| 刘慧念等: "安全防范监控数字视音频编解码技术标准的特点与应用", 《刑事技术》 * |
| 王文涛;晏秀梅;曾广平;: "基于交互式选取的感兴趣区域编码程序设计", 中南民族大学学报(自然科学版), no. 03 * |
| 黄祥林, 魏海, 沈兰荪: "基于小波分解的视频分级编码方法", 高技术通讯, no. 04 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114257837A (zh) * | 2021-11-25 | 2022-03-29 | 杭州萤石软件有限公司 | 一种视频中隐私内容的处理方法、系统、电子设备及介质 |
| WO2023093501A1 (zh) * | 2021-11-25 | 2023-06-01 | 杭州萤石软件有限公司 | 一种视频中隐私内容的处理方法、系统、电子设备及介质 |
| CN114257837B (zh) * | 2021-11-25 | 2023-12-01 | 杭州萤石软件有限公司 | 一种视频中隐私内容的处理方法、系统、电子设备及介质 |
| CN114390295A (zh) * | 2021-12-09 | 2022-04-22 | 慧之安信息技术股份有限公司 | 一种视频隐私保护方法和装置 |
| CN114390295B (zh) * | 2021-12-09 | 2022-08-19 | 慧之安信息技术股份有限公司 | 一种视频隐私保护方法和装置 |
| WO2024104505A1 (zh) * | 2022-11-14 | 2024-05-23 | 杭州海康威视数字技术股份有限公司 | 一种图像解码、图像编码方法、装置及其设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113473138B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113473138B (zh) | 视频帧编码方法、装置、电子设备及存储介质 | |
| CN113489990B (zh) | 视频编码方法、装置、电子设备及存储介质 | |
| CN113489991B (zh) | 视频编码方法、装置、视频编码设备及存储介质 | |
| KR101271461B1 (ko) | 감시영상의 프라이버시 정보 보호 장치 및 방법 | |
| Carrillo et al. | Compression independent reversible encryption for privacy in video surveillance | |
| US20110158470A1 (en) | Method and system for secure coding of arbitrarily shaped visual objects | |
| EP3668104B1 (en) | Video scrambling method and device with adaptive mode selection, network camera and readable storage medium | |
| CA2857885C (en) | System and method of motion detection on encrypted or scrambled video data streams | |
| CN101453617A (zh) | 数字媒体处理方法和系统 | |
| CN107959885B (zh) | 一种加密视频的运动检测方法 | |
| WO2023093501A1 (zh) | 一种视频中隐私内容的处理方法、系统、电子设备及介质 | |
| Paruchuri et al. | Video data hiding for managing privacy information in surveillance systems | |
| CN112351275A (zh) | 一种基于原始图像的特征区域隐私保护的方法及装置 | |
| US20240098220A1 (en) | Surveillance camera system | |
| WO2021196960A1 (zh) | 加密视频通话方法、装置、设备和存储介质 | |
| Vivek et al. | Video steganography using chaos encryption algorithm with high efficiency video coding for data hiding | |
| Ruchaud et al. | Privacy protecting, intelligibility preserving video surveillance | |
| US20160337673A1 (en) | Protection of privacy in a video stream by means of a redundant slice | |
| CN116800965A (zh) | 一种图像处理方法、编码装置、解码装置及存储介质 | |
| EP4238308B1 (en) | Selective video modification | |
| CN113709523B (zh) | 用于编码及解码私密数据的方法及图像处理装置 | |
| US8041128B2 (en) | Image processing apparatus and method for processing image having hierarchical structure | |
| Carpentieri et al. | Privacy-preserving Secure Media Streaming for Multi-user Smart Environments | |
| Grois et al. | Recent advances in watermarking for scalable video coding | |
| Veeraputhiran et al. | Quantization and security enabled compressive video CODEC for WSN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |