CN116800965A - 一种图像处理方法、编码装置、解码装置及存储介质 - Google Patents
一种图像处理方法、编码装置、解码装置及存储介质 Download PDFInfo
- Publication number
- CN116800965A CN116800965A CN202310800466.9A CN202310800466A CN116800965A CN 116800965 A CN116800965 A CN 116800965A CN 202310800466 A CN202310800466 A CN 202310800466A CN 116800965 A CN116800965 A CN 116800965A
- Authority
- CN
- China
- Prior art keywords
- image
- privacy
- target
- quantization parameter
- parameter set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000013139 quantization Methods 0.000 claims description 234
- 230000015654 memory Effects 0.000 claims description 25
- 238000013501 data transformation Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 238000007906 compression Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005538 encapsulation Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000586 desensitisation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32267—Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
- H04N1/32272—Encryption or ciphering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32347—Reversible embedding, i.e. lossless, invertible, erasable, removable or distorsion-free embedding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/44—Secrecy systems
- H04N1/448—Rendering the image unintelligible, e.g. scrambling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开一种图像处理方法、编码装置、解码装置及存储介质,涉及图像处理技术领域,用于提高对图像中隐私区域进行隐私保护处理的安全性。该方法包括:获取原始图像和目标密钥,并确定原始图像中隐私区域的位置信息;基于隐私区域的位置信息,根据目标密钥对隐私区域进行图像相关性去除处理,得到隐私保护图像;对隐私保护图像进行编码,得到编码图像;将编码图像发送给解码端。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法、编码装置、解码装置及存储介质。
背景技术
随着大数据、人工智能等新技术的广泛应用,大众对隐私信息安全的保护意识也愈加强烈。隐私保护机制包括可逆隐私保护,可逆隐私保护用于表示可以将进行隐私保护后的图像恢复为原来的图像。
目前可逆隐私保护方法有,在采集到图像后,确定图像中的隐私区域,对隐私区域进行编码加密,再将隐私区域加密后的图像进行压缩,输出给显示设备,以使得显示设备显示的图像中隐私区域的隐私内容不会泄露。
但是,此种方法在实际应用中的安全性不高,在编码压缩后的图像容易被解密,造成隐私信息泄露。
发明内容
本申请提供一种图像处理方法、编码装置、解码装置及存储介质,用于于提高对图像中隐私区域进行隐私保护处理的安全。
为实现上述技术目的,本申请采用如下技术方案:
第一方面,本申请实施例提供了一种图像处理方法,应用于编码端,该方法包括:
获取原始图像和目标密钥,并确定原始图像中隐私区域的位置信息;
基于隐私区域的位置信息,根据目标密钥对隐私区域进行图像相关性去除处理,得到隐私保护图像;
对隐私保护图像进行编码,得到编码图像;
将编码图像发送给解码端。
本申请提供的技术方案至少带来以下有益效果:通过目标密钥对隐私区域进行图像相关性去除处理,得到隐私保护图像,则隐私保护图像中隐私区域中隐私内容的相关性已被破坏,可以避免隐私区域的内容泄露。相较于相关技术中通过在码流中加密的方法,本申请在编码之前图像中隐私内容的相关性已被破坏,不会造成隐私内容泄露,也提升了后续隐私保护图像编码传输过程的安全性。
在一种可能的实现方式中,基于隐私区域的位置信息,根据目标密钥对隐私区域进行图像相关性去除处理,得到隐私保护图像,包括:根据目标密钥,从算法库包括的多个图像相关性去除算法中确定目标密钥对应的目标图像相关性去除算法,一个密钥对应一个图像相关性去除算法,目标图像相关性去除算法包括目标分割规则、目标数据变换规则和目标排序规则;基于隐私区域的位置信息,按照目标分割规则,将隐私区域分割为多个图像块;对于每个图像块,按照目标数据变换规则,将图像块中的像素数据变换为目标数据,得到由多个目标数据组成的第一图像块,图像块中像素数据与目标数据一一对应,且目标数据的位置信息与目标数据对应的像素数据的位置信息相同;基于每个第一图像块中目标数据的位置信息,抽取每个第一图像块中目标位置的目标数据,按照目标排序规则,对从多个第一图像块中抽取出的多个目标数据进行排序,得到多个第二图像块;基于多个第二图像块,得到隐私保护图像。
在一种可能的实现方式中,基于隐私区域的位置信息,根据目标密钥对隐私区域进行图像相关性去除处理,得到隐私保护图像,包括:根据目标密钥,从算法库包括的多个图像相关性去除算法中确定目标密钥对应的目标图像相关性去除算法,一个密钥对应一个图像相关性去除算法,目标图像相关性去除算法包括目标分割规则和目标置乱规则;基于隐私区域的位置信息,按照目标分割规则,将隐私区域分割为多个图像块;按照目标置乱规则,改变多个图像块的角度,并交换多个图像块的位置,得到隐私保护图像。
在一种可能的实现方式中,对隐私保护图像进行编码,得到编码图像,包括:根据隐私保护图像,确定目标量化参数集,并按照目标量化参数集,对隐私保护图像进行编码,得到编码图像,目标量化参数集包括用于对隐私区域进行编码的第一量化参数集,第一量化参数集中的量化参数均小于预设阈值。
在一种可能的实现方式中,根据隐私保护图像,确定目标量化参数集,包括:获取编码参数;根据隐私保护图像和编码参数,确定初始量化参数集,初始量化参数集包括用于对隐私区域进行编码的第二量化参数集,和用于对非隐私区域进行编码的第三量化参数集;在第二量化参数集中的量化参数均小于预设阈值的情况下,将第二量化参数集作为第一量化参数集;或者,在第二量化参数集中的量化参数大于或等于预设阈值的情况下,基于第二量化参数中最大的量化参数与预设阈值之间的差值,降低第二量化参数集中的量化参数,得到第一量化参数集;根据第一量化参数集和编码参数,调整第三量化参数集中的量化参数,得到第四量化参数集;根据第一量化参数集和第四量化参数集,确定目标量化参数集。
在一种可能的实现方式中,第一量化参数集中量化参数的平均值小于或等于第四量化参数集中量化参数的平均值。
第二方面,本申请提供一种图像处理方法,应用于解码端,该方法包括:接收编码端发送的编码图像,并对编码图像进行解码,得到隐私保护图像;获取用户的隐私查看权限,以及隐私区域的位置信息,隐私查看权限用于指示用户是否具有查看隐私区域中隐私内容的权限;在隐私查看权限指示用户具有查看隐私区域中隐私内容的权限的情况下,确定目标图像相关性恢复算法,基于隐私区域的位置信息,按照目标图像相关性恢复算法恢复隐私保护图像中隐私区域的隐私内容,得到隐私恢复图像并展示隐私恢复图像,隐私恢复图像中隐私区域中的隐私内容可见;在用户的隐私查看权限指示用户不具有查看隐私区域中隐私内容的权限的情况下,展示隐私保护图像。
在一种可能的实现方式中,编码图像为按照目标量化参数集对隐私保护图像编码得到的,目标量化参数集包括用于对隐私保护图像中的隐私区域进行编码的第一量化参数集,第一量化参数集中的量化参数均小于预设阈值,隐私保护图像为按照目标密钥对应的目标图像相关性去除算法对原始图像中的隐私区域进行图像相关性去除处理得到的。
第三方面,本申请提供一种编码装置,包括:获取模块用于获取原始图像和目标密钥;处理模块,用于确定原始图像中隐私区域的位置信息;并基于隐私区域的位置信息,根据目标密钥对隐私区域进行图像相关性去除处理,得到隐私保护图像;编码模块,对隐私保护图像进行编码,得到编码图像;发送模块504,用于将编码图像发送给解码装置。
在一种可能的实现方式中,处理模块,具体用于:根据目标密钥,从算法库包括的多个图像相关性去除算法中确定目标密钥对应的目标图像相关性去除算法,一个密钥对应一个图像相关性去除算法,目标图像相关性去除算法包括目标分割规则、目标数据变换规则和目标排序规则;基于隐私区域的位置信息,按照目标分割规则,将隐私区域分割为多个图像块;对于每个图像块,按照目标数据变换规则,将图像块中的像素数据变换为目标数据,得到由多个目标数据组成的第一图像块,图像块中像素数据与目标数据一一对应,且目标数据的位置信息与目标数据对应的像素数据的位置信息相同;基于每个第一图像块中目标数据的位置信息,抽取每个第一图像块中目标位置的目标数据,按照目标排序规则,对从多个第一图像块中抽取出的多个目标数据进行排序,得到多个第二图像块;基于多个第二图像块,得到隐私保护图像。
在一种可能的实现方式中,处理模块具体用于:根据目标密钥,从算法库包括的多个图像相关性去除算法中确定目标密钥对应的目标图像相关性去除算法,一个密钥对应一个图像相关性去除算法,目标图像相关性去除算法包括目标分割规则和目标置乱规则;基于隐私区域的位置信息,按照目标分割规则,将隐私区域分割为多个图像块;按照目标置乱规则,改变多个图像块的角度,并交换多个图像块的位置,得到隐私保护图像。
在一种可能的实现方式中,编码模块具体用于:根据隐私保护图像,确定目标量化参数集,并按照目标量化参数集,对隐私保护图像进行编码,得到编码图像,目标量化参数集包括用于对隐私区域进行编码的第一量化参数集,第一量化参数集中的量化参数均小于预设阈值。
在一种可能的实现方式中,获取模块还用于获取编码参数;编码模块具体用于:根据隐私保护图像和编码参数,确定初始量化参数集,初始量化参数集包括用于对隐私区域进行编码的第二量化参数集,和用于对非隐私区域进行编码的第三量化参数集;在第二量化参数集中的量化参数均小于预设阈值的情况下,将第二量化参数集作为第一量化参数集;或者,在第二量化参数集中的量化参数大于或等于预设阈值的情况下,基于第二量化参数中最大的量化参数与预设阈值之间的差值,降低第二量化参数集中的量化参数,得到第一量化参数集;根据第一量化参数集和编码参数,调整第三量化参数集中的量化参数,得到第四量化参数集;根据第一量化参数集和第四量化参数集,确定目标量化参数集。
第四方面,本申请提供一种解码装置,包括:接收模块,用于接收编码装置发送的编码图像;解码模块,用于对编码图像进行解码,得到隐私保护图像;隐私恢复模块,用于在隐私查看权限指示用户具有查看隐私区域中隐私内容的权限的情况下,确定目标图像相关性恢复算法,基于隐私区域的位置信息,按照目标图像相关性恢复算法恢复隐私保护图像中隐私区域的隐私内容,得到隐私恢复图像,隐私恢复图像中隐私区域中的隐私内容可见;显示模块,用于展示隐私恢复图像,或者,在用户的隐私查看权限指示用户不具有查看隐私区域中隐私内容的权限的情况下,展示隐私保护图像。
第五方面,本申请提供一种电子设备,包括:一个或多个处理器;一个或多个存储器;其中,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,电子设备执行上述第一方面所提供的任一种图像处理方法。
第六方面,本申请提供一种计算机可读存储介质,计算机可读存储介质存储有计算机执行指令,当计算机执行指令在计算机上运行时,使得计算机执行上述第一方面所提供的任一种图像处理方法。
第七方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面及其任一种可能的设计方式所述的图像处理方法。
本申请中第二方面到第七方面及其各种实现方式的具体描述,可以参考第一方面及其各种实现方式中的详细描述;并且,第二方面到第七方面及其各种实现方式的有益效果,可以参考第一方面及其各种实现方式中的有益效果分析,此处不再赘述。
本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
图1为本申请实施例提供的一种可逆隐私保护方法的逻辑示意图;
图2为本申请实施例提供的一种图像处理系统的结构示意图;
图3为本申请实施例提供的一种编码端和解码端的结构示意图一;
图4为本申请实施例提供的一种编码端和解码端的结构示意图二;
图5为本申请实施例提供的一种计算装置的结构示意图;
图6为本申请实施例提供的一种图像处理方法的流程图一;
图7为本申请实施例提供的一种图像处理方法的流程图二;
图8为本申请实施例提供的一种编码装置的结构示意图;
图9为本申请实施例提供的一种解码装置的结构示意图;
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了便于理解,首先对本申请实施例涉及到的一些术语或技术的基本概念进行简单的介绍和说明。
图像隐私保护,也称为图像脱敏,对图像中的隐私内容进行处理,使得隐私内容不可见。
可逆(可恢复)隐私保护(脱敏),对图像中的隐私内容进行遮盖、置乱等隐私保护处理之后,在需要查看图像中的隐私内容时,还可以将隐私保护处理之后的图像中的隐私内容恢复。
不可逆(不可恢复)隐私保护(脱敏),对图像中的隐私内容进行隐私保护处理之后,图像中的隐私内容不可见,也不能恢复。
以上是本申请实施例中所涉及到的部分概念的介绍,以下不再赘述。
相关技术中,可逆隐私保护的方式主要如图1所示,
在采集到图像后,确定图像中的隐私区域,对隐私区域进行编码加密,再将隐私区域加密后的图像进行压缩,输出给显示设备,以使得显示设备显示的图像中隐私区域的隐私内容不会泄露。但是,此种方法在实际应用中的安全性不高,在编码压缩后的图像容易被解密,造成隐私信息泄露。。
本申请实施例提供一种图像处理方法,可以提高编码后的图像传输的安全性,避免隐私内容泄露。本申请提供的方案通过目标密钥对隐私区域进行图像相关性去除处理,得到隐私保护图像,则隐私保护图像中隐私区域中隐私内容的相关性已被破坏,可以避免隐私区域的内容泄露。相较于相关技术中通过在码流中加密的方法,本申请在编码之前图像中隐私内容的相关性已被破坏,不会造成隐私内容泄露,也提升了后续隐私保护图像编码传输过程的安全性。
请参考图2,其示出本申请提供的图像处理方法所适用的图像处理系统。如图2所示,图像处理系统1中包括:图像生成装置10、图像处理装置20和显示装置30。
其中,图像处理装置20包括编码端21与解码端22。
可选的,编码端21与解码端22之间可以建立通信连接,以使得编码端21可以将编码图像发送给解码端22,解码端22可以接收编码端21发送的编码图像。应理解,连接方式可以为无线连接,例如蓝牙连接、Wi-Fi连接等;或者,连接方式也可以为有线连接,例如光纤连接等,对此不作限定。示例性的,编码端21和解码端22之间可以通过一个或多个通信媒体建立通信连接,进而通过一个或多个通信媒体传输经由编码端21编码后的编码图像,该一个或多个通信媒体可包含路由器、交换器、基站或促进从编码端21到解码端22的通信的其它设备。
可选的,图像处理装置20还可以包括存储器,用于存储编码端21编码的图像。编码端21对图像进行编码后,将编码图像存储在存储器中,解码端22从存储器中获取编码端21编码的图像。
在一些实施例中,图像处理装置20的上游装置/设备可以是图像生成装置10,图像生成装置10可以与图像处理装置20的编码端21建立通信连接,用于向图像处理装置20输出原始图像。
在一些实施例中,图像处理装置20的下游装置/设备可以是显示装置30,图像处理装置20的解码端22可以与显示装置30之间建立通信连接,以显示解码端22解码后的图像。
例如,图像生成装置10向编码端21发送视频流,编码端21对原始图像进行隐私处理、压缩、加密、编码等过程,并将加密后的图像发送给解码端22,由解码端22进行解密、解码等过程,根据用户的隐私查看权限向显示装置30输出原始图像或对原始图像进行隐私保护处理后的隐私保护图像,最后显示装置30显示解码端22发送的图像。其中,原始图像为视频流中的任意一帧图像。
在一些实施例中,如图3所示,编码端21用于获取原始图像,并对原始图像进行隐私保护处理,得到隐私保护图像,对隐私保护图像进行压缩、编码、加密等处理,并将加密后的编码图像发送给解码端22。
在一些实施例中,编码端21在获取到视频流中的原始图像之后,还可以原始图像进行预处理操作。例如,预处理操作可以是整修、色彩格式转换(例如,从RGB格式转换为YUV格式)、调色或去噪等。
因此,编码端21可以包括接收模块211、图像信号处理模块212、视频处理模块213、分析模块214、隐私保护模块215、编码模块216和封装模块217。
其中,接收模块211用于接收原始图像,原始图像为图像生成装置10发送的视频流中的任意一帧图像。接收模块211与图像生成装置10连接,以接收图像生成装置10生成并输出的视频流。
图像信号处理模块212用于对原始图像进行图像信号处理(image sensorprocessor,ISP),处理过程包括但不限于自动白平衡处理(auto white balance,AWB)、自动曝光处理(auto exposure,AE)、自动对焦处理(auto focus,AF)、伽马(gamma)校正、去噪、宽动态处理(wide dynamic range,WDR)。
视频处理模块213用于对图像进行视频处理(video process sub-system,VPSS),处理过程包括但不限于图像缩放、畸变校正、锐化、裁剪。
分析模块214用于输出隐私区域的位置信息,分析模块214基于目标物体识别算法确定隐私区域的位置信息,或者分析模块214基于用户输入的隐私区域的位置信息,确定隐私区域的位置信息。例如,车牌区域为隐私区域,或者人员所在区域为隐私区域,分析模块214基于目标物体识别算法(例如Yolo_v3网络检测模型)检测出原始图像中的车牌区域以及人员所在区域,进而确定隐私区域的位置信息。又例如,图像生成装置10为相机,相机的采集方向固定,对于相机采集范围内如小区中住户窗户所在区域等,即为隐私区域,用户可以预先在相机的采集区域中标记出隐私区域,进而分析模块214确定隐私区域的位置信息。
隐私保护模块215用于根据目标密钥确定目标密钥指示的目标加密算法,进而基于隐私区域的位置信息,按照目标加密算法对原始图像中的隐私区域进行加密,破坏隐私区域中像素之间的相关性,得到隐私保护图像,使得隐私区域内的隐私内容不可见。
编码模块216用于对隐私保护图像进行编码,按照目标量化参数集,对隐私保护图像中进行编码,以提高编码后的图像质量。其中,目标量化参数集包括用于对隐私区域进行编码的第一量化参数集,第一量化参数集中的量化参数均小于预设阈值。
编码过程中的量化参数(quantization parameter,QP)是量化步长Qstep的序号,反映了空间细节压缩情况,如QP小,图像中的大部分细节都会被保留,QP增大,一些细节丢失,图像失真加强,图像质量下降,QP取最小值0时,表示量化最精细,QP取最大值51时,表示量化最粗糙。因此,通过降低编码过程中的量化参数,可以有效提高编码后图像的图像质量。其中,编码模块216的压缩算法可以是H.264压缩算法、H.265压缩算法等,本申请实施例对此不做具体限制。
可选的,编码模块216在对隐私保护图像进行编码时,也对目标密钥和隐私区域的位置信息进行编码,也即码流中包含目标密钥和隐私区域的位置信息。
封装模块217用于根据实际需求对编码后的图像或视频流进行封装。
可选的,封装模块217可根据预设的封装格式对编码后的图像或视频流进行封装。
可选的,封装模块217在对编码后的图像或视频流进行封装时,也对目标密钥和隐私区域的位置信息进行封装。
在一些实施例中,编码端21还可以包括发送模块,发送模块用于将封装后的图像或视频流发送至任何其他设备(如解码端22、存储设备等),以实现编码图像的解码或存储,其他设备可为任何用于解码或存储的设备。
示例性的,上述接收模块211、图像信号处理模块212、视频处理模块213、分析模块214、隐私保护模块215、编码模块216和封装模块217可能是编码端21中的硬件部件,也可能是编码端21中的软件程序,本申请实施例不做限定。
在一些实施例中,仍如图3所示,解码端22用于接收来自于编码端21的编码图像,并对编码图像进行解码、隐私区域恢复等处理操作,在用户具有查看隐私区域内的隐私内容的权限时,将隐私内容不可见的隐私保护图像恢复为隐私内容可见的原始图像,并将原始图形输出至显示装置30进行显示。
因此,解码端22可以包括接收模块221、解封装模块222、解码模块223和隐私恢复模块224。
其中,接收模块221用于接收来自编码端21或其他设备的封装后的编码图像,其他设备可以为存储设备。
解封装模块222用于对封装后的编码图像进行解封装,以得到编码图像。若隐私区域的位置信息携带在封装中,则解封装模块222对封装后的编码图像进行解封装后,还可以获得隐私区域的位置信息。
解码模块223用于对编码图像进行解码,得到隐私保护图像。若用户不具有隐私查看权限,则解码模块223输出的隐私保护图像可以直接用于显示或编辑处理等,若用户具有隐私查看权限,则解码模块223输出的隐私保护图像需经隐私恢复模块224将隐私保护图像恢复为原始图像。若目标密钥和隐私区域的位置信息包括在码流中,则解码模块223对编码图像进行解码后,可以获得携带有目标密钥和隐私区域的位置信息的码流字段。
隐私恢复模块224用于在用户具有隐私查看权限时,根据目标密钥指示的目标解密算法,对解码模块223输出的隐私保护图像进行隐私恢复,将隐私保护图像恢复为原始图像。隐私恢复过程依赖于隐私区域的位置信息、目标密钥以及目标解密算法,隐私恢复后的原始图像可以用于显示、编辑、内容检测、目标物体识别等处理操作。
在一些实施例中,如图4所示,解码端22还可以包括后处理模块225,后处理模块225用于提升隐私恢复处理后隐私区域的图像质量。
在一些实施例中,解码端22还会对解码后的图像进行后处理操作,进而将后处理后的图像传输至显示装置30上进行显示。例如,后处理操作可以包括:色彩格式转换(例如,从YUV格式转换为RGB格式)、调色、整修或重采样,或任何其它处理。
因此,后处理模块223还可以用于对解码后的图像进行后处理操作。解码端22还可以包括输出模块,输出模块用于将解码后的图像输出至显示装置30上显示。
在一些实施例中,编码端21可将编码图像通过发送模块输出至存储设备中,类似的,解码端22的接收模块221从存储设备中存取编码图像。存储设备可包含多种分布式或本地存取的数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、数字通用光盘(digitalvideo disc,DVD)、只读光盘(compact disc read-only memory,CD-ROM)、快闪存储器、易失性或非易失性存储器,或用于存储经编码视频数据的任何其它合适的数字存储媒体。
在另一实例中,存储设备可对应于文件服务器或可保存由编码端21产生的编码图像的另一中间存储设备。解码端22可经由流式传输或下载从存储设备存取所存储的编码图像。文件服务器可为任何类型的能够存储编码图像并且将编码图像发送到解码端22的服务器。实例文件服务器包含网络服务器(例如,用于网站)、文件传输协议(file transferprotocol,FTP)服务器、网络附接式存储(network attached storage,NAS)装置或本地磁盘驱动器。解码端22可通过任何标准数据连接(包含因特网连接)来存取编码图像,比如包含无线信道(例如,无线保真(wireless-fidelity,Wi-Fi)连接)、有线连接(例如,数字用户线路(digital subscriber line,DSL)、电缆调制解调器等),或适合于存取存储在文件服务器上的编码图像的两者的组合。编码图像从存储设备的传输可为流式传输、下载传输或两者的组合。
在一些实施例中,图像生成装置10可以是任一种能够将视频流传输给编码端21的电子设备,例如摄像设备(如摄像机、摄像头等)、具有视频传输功能的终端设备(如手机、平板电脑、笔记本电脑等)、数字视频光盘(digital video disc,DVD)、机顶盒、卫星接收机等,本申请实施例不对图像生成装置10的具体形态进行限定。
在一些实施例中,图像处理装置20可以包括各种装置,包含桌上型计算机、移动计算装置、笔记型(例如,膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或其类似者。
可选的,编码端21和解码端22可以如图2所示,集成在同一个设备中,或者,编码端21和解码端22也可以是两个独立的设备。
当编码端21和解码端22位两个独立的设备时,编码端21具体可以为相机、摄像机等可以采集原始图像的设备,解码端22具体可以为终端设备,例如:手机、平板电脑、个人终端等。
在一些实施例中,显示装置30可以是液晶显示屏、有机发光二极管(organiclight-emitting diode,OLED)显示屏等,显示装置30的具体类型、尺寸和分辨率等不作限定。
在本申请实施例中,一个或多个图像生成装置10和/或一个或者多个显示装置30可以集成在上述图像处理系统1中,比如图像生成装置10可以与编码端21集成在一个设备上,显示装置30可以与解码端22集成在一个设备上;或者,一个或多个图像生成装置10和/或一个或者多个显示装置30也可以像图2示出的那样,独立于上述图像处理系统1,本申请实施例对此不作限制。
上述图像处理装置20可以为电子设备,该电子设备的硬件结构包括图5所示计算装置所包括的元件。下面以图5所示的计算装置为例,介绍图像处理装置20的硬件结构。
如图5所示,计算装置可以包括处理器401,存储器402、通信接口403、总线404。处理器401,存储器402以及通信接口403之间可以通过总线404连接。
处理器401是计算装置的控制中心,可以是一个处理器,也可以是多个处理元件的统称。例如,处理器401可以是一个通用中央处理单元(central processing unit,CPU),也可以是其他通用处理器等。其中,通用处理器可以是微处理器或者是任何常规的处理器等。
作为一种实施例,处理器401可以包括一个或多个CPU,例如图5中所示的CPU 0和CPU 1。
存储器402可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
一种可能的实现方式中,存储器402可以独立于处理器401存在,存储器402可以通过总线404与处理器401相连接,用于存储指令或者程序代码。处理器401调用并执行存储器402中存储的指令或程序代码时,能够实现本申请实施例提供的模型部署方法。
另一种可能的实现方式中,存储器402也可以和处理器401集成在一起。
通信接口403,用于计算装置与其他设备通过通信网络连接,所述通信网络可以是以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。通信接口403可以包括用于接收数据的接收单元,以及用于发送数据的发送单元。
总线404,可以是工业标准体系结构(industry standard architecture,ISA)总线、外部设备互连(peripheral component interconnect,PCI)总线或扩展工业标准体系结构(extended industry standard architecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
需要指出的是,图5中示出的结构并不构成对该计算装置的限定,除图5所示部件之外,该计算装置可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面将结合附图对本申请实施例的实施方式进行详细描述。
如图6所示,本申请实施例提供一种图像处理方法,该图像处理方法可以由上述图像处理装置中的编码端来执行,该方法可以包括以下步骤:
S101、获取原始图像和目标密钥,并确定原始图像中隐私区域的位置信息。
其中,隐私区域的位置信息可以是隐私区域在隐私保护图像中的位置坐标。原始图像可以是视频流中的任意一帧图像,也可以是图像抓拍设备抓拍的一张单独的图像。
示例性的,编码端获取到原始图像,确定原始图像中各个像素的位置坐标,在编码端识别出原始图像中的隐私内容后,根据原始图像中各个像素的位置坐标,以及表征隐私内容的像素点,确定隐私内容所在区域中全部像素的位置坐标,即为隐私区域的位置坐标。
这样,编码端通过获取原始图像,确定出原始图像中隐私区域的位置信息,进而可以针对隐私区域进行隐私保护处理,隐私区域内的隐私内容不会泄漏,可以有效保护用户的隐私信息。
在实际应用中,为处理方便,编码端将能够完全遮盖隐私内容的规则区域确定为隐私区域,规则区域可以是矩形区域。
S102、基于隐私区域的位置信息,根据目标密钥对隐私区域进行图像相关性去除处理,得到隐私保护图像。
作为一种可能的实现方式,步骤S102可以具体实现为:根据目标密钥,从算法库包括的多个图像相关性去除算法中确定目标密钥对应的目标图像相关性去除算法,一个密钥对应一个图像相关性去除算法,目标图像相关性去除算法包括目标分割规则、目标数据变换规则和目标排序规则;基于隐私区域的位置信息,按照目标分割规则,将隐私区域分割为多个图像块;对于每个图像块,按照目标数据变换规则,将图像块中的像素数据变换为目标数据,得到由多个目标数据组成的第一图像块,图像块中像素数据与目标数据一一对应,且目标数据的位置信息与目标数据对应的像素数据的位置信息相同;基于每个第一图像块中目标数据的位置信息,抽取每个第一图像块中目标位置的目标数据,按照目标排序规则,对从多个第一图像块中抽取出的多个目标数据进行排序,得到多个第二图像块;基于多个第二图像块,得到隐私保护图像。
可选的,加密算法库中包括多个图像相关性去除算法,每个图像相关性去除算法对应一个N位数的数字编码,当编码端获取到目标密钥时,根据目标密钥的数字编码,查询多个算法中与目标密钥对应的图像相关性去除算法,即为目标图像相关性去除算法。
可选的,目标密钥可以由用户输入,也可以是编码端从多个图像相关性去除算法对应的多个密钥中随机选取的。
示例性的,假设目标数据变换规则为离散余弦变换(discrete cosinetransform,DCT)。隐私区域为64×64个像素的规则区域,则可以根据目标分割规则,将隐私区域分为8×8个像素的64个图像块,再对每一个图像块进行DCT,将每一个像素的数据转变为直流系数,也即目标数据为直流系数,可以先对每一个图像块的每个像素对应的直流系数进行重新排列。直流系数重新排列后,每个图像块的64个像素的位置坐标可以如表1为所示,将每个图像块中坐标为(0,0)的直流系数取出,按照目标排序规则排列后得到一个新的图像块,再将每个图像块中坐标为(0,1)的直流系数取出,按照目标排序规则排列后得到一个新的图像块,……,依次抽取每个图像块中各个位置的直流系数,得到64个新的图像块,最后可以再对这64个新的图像块进行重新排列,完成隐私区域的图像相关性去除过程。
表1 8×8图像块的直流系数的位置坐标示意表
(0,0) | (0,1) | (0,2) | (0,3) | (0,4) | (0,5) | (0,6) | (0,7) |
(1,0) | (1,1) | (1,2) | (1,3) | (1,4) | (1,5) | (1,6) | (1,7) |
(2,0) | (2,1) | (2,2) | (2,3) | (2,4) | (2,5) | (2,6) | (2,7) |
(3,0) | (3,1) | (3,2) | (3,3) | (3,4) | (3,5) | (3,6) | (3,7) |
(4,0) | (4,1) | (4,2) | (4,3) | (4,4) | (4,5) | (4,6) | (4,7) |
(5,0) | (5,1) | (5,2) | (5,3) | (5,4) | (5,5) | (5,6) | (5,7) |
(6,0) | (6,1) | (6,2) | (6,3) | (6,4) | (6,5) | (6,6) | (6,7) |
(7,0) | (7,1) | (7,2) | (7,3) | (7,4) | (7,5) | (7,6) | (7,7) |
如此一来,隐私保护过程具有规律性,在后续对隐私区域的内容进行恢复时,按照目标密钥对应的目标图像相关性去除算法的处理规律,即可快速恢复隐私区域的隐私内容,同时,隐私保护处理后隐私区域内的隐私内容的相关性被破坏,不会造成隐私内容泄露。
作为另一种可能的实现方式,步骤S102可以具体实现为:根据目标密钥,从算法库包括的多个图像相关性去除算法中确定目标密钥对应的目标图像相关性去除算法,目标图像相关性去除算法包括目标分割规则和目标置乱规则。进而基于隐私区域的位置信息,按照目标分割规则,将隐私区域分割为多个图像块;按照目标置乱规则,改变多个图像块的角度,并交换多个图像块的位置,得到隐私保护图像。其中,一个密钥对应一个加密算法。
示例性的,基于隐私区域的位置信息,编码端确定隐私区域为规则的矩形区域,包括100×100的像素,按照预设的分割规则,编码端将隐私区域分为100个10×10像素组成的图像块,若目标置乱规则为,先将多个图像块的位置重新排列,再将序号为单数的图像块顺时针旋转90°,将序号为双数的图像块镜像翻转,则第一个图像块被顺时针旋转90°,第二个图像块被镜像翻转,依次类推,即可得到隐私区域被隐私保护处理后的隐私保护图像。或者,在按照目标置乱规则对多个图像块进行处理时,也可以先改变各个图像块的角度,再交换多个图像块的位置,此处不再赘述。
S103、对隐私保护图像进行编码,得到编码图像。
在一些实施例中,步骤S103可以具体实现为:根据隐私保护图像,确定目标量化参数集,并按照目标量化参数集,对隐私保护图像进行编码,得到编码图像。其中,目标量化参数集包括用于对隐私区域进行编码的第一量化参数集,第一量化参数集中的量化参数均小于预设阈值。
实际应用中,编码端接收到待编码的图像,根据待编码图像的码率和纹理特性,确定出待编码图像中各区域对应的量化参数,即一个量化参数集,进而根据这个量化参数集对待编码图像进行编码。
如此一来,由于量化参数越小,编码后的图像质量越高,对隐私保护图像进行编码的目标量化参数集中包括用于对隐私区域进行编码的第一量化参数集,而第一量化参数集中的量化参数小于预设阈值,因此基于隐私区域的位置信息,按照目标量化参数集对隐私保护图像进行编码后,可以提高编码后隐私保护图像的图像质量。
在一些实施例中,编码端根据隐私保护图像,确定目标量化参数集,可以具体实现为:获取编码参数;根据隐私保护图像和编码参数,确定初始量化参数集,初始量化集包括用于对隐私区域进行编码的第二量化参数集,和用于对非隐私区域进行编码的第三量化参数集。在第二量化参数集中的量化参数均小于预设阈值的情况下,将第二量化参数作为第一量化参数;或者,在第二量化参数集中的量化参数大于或等于预设阈值的情况下,基于所述第二量化参数中最大的量化参数与预设阈值之间的差值,降低所述第二量化参数集中的量化参数,得到第一量化参数集;根据第一量化参数集和编码参数,调整第三量化参数集中的量化参数,得到第四量化参数集;根据第一量化参数集和第四量化参数集,确定目标量化参数集。
其中,编码参数可以是编码端在进行编码时原始图像对应的码率、待编码图像的图像帧纹理特性,码率可以是用户预先输入到编码端中的,图像帧纹理特性可以是编码端基于待编码图像确定的。
示例性的,基于隐私保护图像的图像帧纹理特性,以及编码码率,确定出隐私保护图像对应的初始量化参数集,初始量化参数集中包括用于对隐私区域进行编码的第二量化参数集,和用于对非隐私区域进行编码的第三量化参数集。判断第二量化参数集中的量化参数是否均小于预设阈值,若预设阈值为15,第二量化参数集中有20、18两个量化参数大于预设阈值,则第二量化参数集中最大的量化参数为20,与预设阈值的差值为5,则编码端将第二量化参数集中每一个量化参数都降低5,用调整后的量化参数替换原来的量化参数,得到第一量化参数集。编码端根据码率,以及第一量化参数集,调整第三量化参数集中的量化参数。具体调整过程可以是降低隐私区域对应的量化参数,提高非隐私区域对应的量化参数,以使得码率不变。将调整后的第三量化参数集确定为第四量化参数集,再将第一量化参数集和第四量化参数集组合起来,即可得到目标量化参数集。
如此一来,由于对第二量化参数集进行调整后得到第一量化参数集,第一量化参数集中的量化参数均小于预设阈值,则根据第一量化参数集对隐私保护图像进行编码时,可以提高编码后隐私区域的图像质量。
在一些实施例中,预设阈值由用户经过多次实验确定,预设阈值表示能够体现编码后图像质量提高的量化参数临界值。
在一些实施例中,第一量化参数集中量化参数的平均值小于或等于第四量化参数集中量化参数的平均值。如此一来,对隐私保护图像进行编码后,由于第一量化参数集中量化参数的平均值小于或等于第四量化参数集中量化参数的平均值,也即编码后隐私区域的图像质量高于非隐私区域的图像质量,或者隐私区域的图像质量与非隐私区域的图像质量相当,使得隐私区域的显示效果较好,可以给用户带来更好的观看体验。
可选的,编码端将隐私保护图像分割为多个图像块,按块进行编码。在编码到某一图像块时,根据隐私区域的位置信息,判断该图像块是否在隐私区域中,若该图像块在隐私区域中,则按照第一量化参数集中与该图像块对应的量化参数集,对该图像块进行编码。若该图像块不在隐私区域中,则按照初始量化参数集中该图像块对应的量化参数集对该图像块进行编码。
可选的,编码端对整张隐私保护图像进行编码,按照第一量化参数集对隐私区域进行编码,按照目标量化参数集中非隐私区域对应的量化参数集,对非隐私区域进行编码。
S104、将编码图像发送给解码端。
实际应用中,编码端对隐私保护图像进行编码后,得到的是码流数据,也即本申请中编码图像的具体形式为编码端对隐私保护图像进行编码后得到的码流数据,随着科技的发展,编码图像也可以有其他形式,本申请实施例不作具体限制。
图6所示的技术方案至少带来以下有益效果:通过目标密钥对隐私区域进行图像相关性去除处理,得到隐私保护图像,则隐私保护图像中隐私区域中隐私内容的相关性已被破坏,可以避免隐私区域的内容泄露。相较于相关技术中通过在码流中加密的方法,本申请在编码之前图像中隐私内容的相关性已被破坏,不会造成隐私内容泄露,也提升了后续隐私保护图像编码传输过程的安全性。
如图7所示,本申请实施例还提供一种图像处理方法,该图像处理方法可以由上述图像处理装置中的解码端来执行,该方法包括以下步骤:
S201、接收编码端发送的编码图像,并对编码图像进行解码,得到隐私保护图像。
在一些实施例中,编码图像为按照目标量化参数集对隐私保护图像编码得到的,目标量化参数集包括用于对隐私保护图像中的隐私区域进行编码的第一量化参数集,第一量化参数集中的量化参数均小于预设阈值,隐私保护图像为按照目标密钥指示的目标加密算法对原始图像中的隐私区域加密得到的。编码过程、隐私保护图像、隐私区域等内容的具体确定过程可参考上述描述,此处不再赘述。
S202、获取用户的隐私查看权限,以及隐私区域的位置信息。
其中,隐私查看权限用于指示用户是否具有查看隐私区域中隐私内容的权限。
作为一种可能的实现方式,编码端将目标密钥进行加密后通过码流数据或封装数据发送给解码端,解码端接收用户输入的密码,若用户输入的密码正确,则解码端可解密得到目标密钥,此时认为用户具有查看隐私区域中隐私内容的权限。
作为另一种可能的实现方式,用户在解码端输入密钥,解码端将用户输入的密钥确定为目标密钥,根据目标密钥确定目标图像相关性恢复算法,按照目标图像相关性恢复算法对编码图像进行图像相关性恢复处理,在用户数入的密钥正确时,认为用户具有查看隐私区域中隐私内容的权限。
S203、在隐私查看权限指示用户具有查看隐私区域中隐私内容的权限的情况下,确定目标图像相关性恢复算法,基于隐私区域的位置信息,按照目标图像相关性恢复算法恢复隐私保护图像中隐私区域的隐私内容,得到隐私恢复图像并展示隐私恢复图像。
其中,隐私恢复图像中隐私区域中的隐私内容可见。
S204、在用户的隐私查看权限指示用户不具有查看隐私区域中隐私内容的权限的情况下,展示隐私保护图像。
其中,在编码端传输的封装数据或编码后的码流数据中包含目标密钥时,确定目标密钥。目标密钥指示的目标图像相关性恢复算法和目标图像相关性恢复算法的处理过程对称。
可选的,在具有查看隐私内容的权限的前提下,还可以进一步对隐私查看权限划分为多个权限等级,不同权限等级可查看的隐私区域不同。
例如,用户的终端设备为显示装置,解码端获取用户的隐私查看权限,若隐私区域为人员所在区域,根据人员的不同部位,将隐私区域分为面部、躯干、四肢这三个等级的隐私子区域,且面部的权限等级高于躯干的权限等级,躯干的权限等级高于四肢的权限等级。若用户可以查看隐私区域,但是该用户的隐私查看权限等级为B级,假设可查看隐私内容的隐私查看权限等级为A级时,可查看面部信息,可查看隐私内容的隐私查看权限等级为B级时,可查看躯干信息,可查看隐私内容的隐私查看权限等级为C级时,可查看四肢信息,则该用户只能查看隐私区域中躯干子区域的内容。解码端在确定用户的隐私查看权限级隐私查看权限等级后,将躯干部分的隐私内容恢复,并将躯干部分的隐私内容恢复,面部部分和四肢部分的隐私内容未恢复的隐私保护图像传输给用户的终端设备。
图7所示技术方案至少带来以下有益效果:通过确定用户的隐私查看权限,可以将隐私区域的内容呈现给具有查看隐私内容权限的用户,方便用户对隐私内容进行处理,同时不具有查看意思内容权限的用户不会看到隐私区域的内容,可以避免隐私区域的隐私内容泄露。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术目标应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术目标可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
如图8所示,本申请实施例还提供了一种编码装置,用于上述方法实施例所示的图像处理方法。该编码装置500包括:获取模块501、处理模块502、编码模块503和发送模块504。
其中,获取模块501用于获取原始图像和目标密钥;处理模块502,用于确定原始图像中隐私区域的位置信息;并基于隐私区域的位置信息,根据目标密钥对隐私区域进行图像相关性去除处理,得到隐私保护图像;编码模块503,对隐私保护图像进行编码,得到编码图像;发送模块504,用于将编码图像发送给解码装置。
在一种可能的实现方式中,处理模块502,具体用于:根据目标密钥,从算法库包括的多个图像相关性去除算法中确定目标密钥对应的目标图像相关性去除算法,一个密钥对应一个图像相关性去除算法,目标图像相关性去除算法包括目标分割规则、目标数据变换规则和目标排序规则;基于隐私区域的位置信息,按照目标分割规则,将隐私区域分割为多个图像块;对于每个图像块,按照目标数据变换规则,将图像块中的像素数据变换为目标数据,得到由多个目标数据组成的第一图像块,图像块中像素数据与目标数据一一对应,且目标数据的位置信息与目标数据对应的像素数据的位置信息相同;基于每个第一图像块中目标数据的位置信息,抽取每个第一图像块中目标位置的目标数据,按照目标排序规则,对从多个第一图像块中抽取出的多个目标数据进行排序,得到多个第二图像块;基于多个第二图像块,得到隐私保护图像。
在一种可能的实现方式中,处理模块502具体用于:根据目标密钥,从算法库包括的多个图像相关性去除算法中确定目标密钥对应的目标图像相关性去除算法,一个密钥对应一个图像相关性去除算法,目标图像相关性去除算法包括目标分割规则和目标置乱规则;基于隐私区域的位置信息,按照目标分割规则,将隐私区域分割为多个图像块;按照目标置乱规则,改变多个图像块的角度,并交换多个图像块的位置,得到隐私保护图像。
在一种可能的实现方式中,编码模块503具体用于:根据隐私保护图像,确定目标量化参数集,并按照目标量化参数集,对隐私保护图像进行编码,得到编码图像,目标量化参数集包括用于对隐私区域进行编码的第一量化参数集,第一量化参数集中的量化参数均小于预设阈值。
在一种可能的实现方式中,获取模块501还用于获取编码参数;编码模块503具体用于:根据隐私保护图像和编码参数,确定初始量化参数集,初始量化参数集包括用于对隐私区域进行编码的第二量化参数集,和用于对非隐私区域进行编码的第三量化参数集;在第二量化参数集中的量化参数均小于预设阈值的情况下,将第二量化参数集作为第一量化参数集;或者,在第二量化参数集中的量化参数大于或等于预设阈值的情况下,基于第二量化参数中最大的量化参数与预设阈值之间的差值,降低第二量化参数集中的量化参数,得到第一量化参数集;根据第一量化参数集和编码参数,调整第三量化参数集中的量化参数,得到第四量化参数集;根据第一量化参数集和第四量化参数集,确定目标量化参数集。
如图9所示,本申请实施例还提供了一种解码装置,用于上述方法实施例所示的图像处理方法。该解码装置600包括:接收模块601、解码模块602、隐私恢复模块603和显示模块604。
其中,接收模块601,用于接收编码装置发送的编码图像;解码模块602,用于对编码图像进行解码,得到隐私保护图像;隐私恢复模块603,用于在隐私查看权限指示用户具有查看隐私区域中隐私内容的权限的情况下,确定目标图像相关性恢复算法,基于隐私区域的位置信息,按照目标图像相关性恢复算法恢复隐私保护图像中隐私区域的隐私内容,得到隐私恢复图像,隐私恢复图像中隐私区域中的隐私内容可见;显示模块604,用于展示隐私恢复图像,或者,在用户的隐私查看权限指示用户不具有查看隐私区域中隐私内容的权限的情况下,展示隐私保护图像。
需要说明的是,图8和图9中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如,还可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
本申请另一实施例还提供一种电子设备,如图10所示,电子设备700包括存储器701和处理器702;存储器701和处理器702耦合;存储器701用于存储计算机程序代码,计算机程序代码包括计算机指令。其中,当处理器702执行计算机指令时,使得电子设备700执行上述方法实施例所示的方法流程中编码端或解码端执行的各个步骤。
在实际实现时,获取模块501、处理模块502、编码模块503和发送模块504,或者接收模块601、解码模块602、隐私恢复模块603和显示模块604可以由图10所示的处理器702调用存储器701中的计算机程序代码来实现。其具体的执行过程可参考上述图像处理方法部分的描述,这里不再赘述。
本申请另一实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述方法实施例所示的方法流程中编码端或解码端执行的各个步骤。
本申请另一实施例还提供一种芯片系统,该芯片系统应用于电子设备。该芯片系统包括一个或多个接口电路,以及一个或多个处理器。接口电路和处理器通过线路互联。接口电路用于从电子设备的存储器接收信号,并向处理器发送所述信号,所述信号包括所述存储器中存储的计算机指令。当电子设备的处理器执行计算机指令时,电子设备执行上述方法实施例所示的方法流程中编码端或解码端执行的各个步骤。
在本申请另一实施例中还提供一种计算机程序产品,该计算机程序产品包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述方法实施例所示的方法流程中编码端或解码端执行的各个步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)等。
以上所述,仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式,可想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (12)
1.一种图像处理方法,其特征在于,应用于编码端;所述方法包括:
获取原始图像和目标密钥,并确定所述原始图像中隐私区域的位置信息;
基于所述隐私区域的位置信息,根据所述目标密钥对所述隐私区域进行图像相关性去除处理,得到隐私保护图像;
对所述隐私保护图像进行编码,得到编码图像;
将所述编码图像发送给解码端。
2.根据权利要求1所述的方法,其特征在于,所述基于所述隐私区域的位置信息,根据所述目标密钥对所述隐私区域进行图像相关性去除处理,得到隐私保护图像,包括:
根据所述目标密钥,从算法库包括的多个图像相关性去除算法中确定所述目标密钥对应的目标图像相关性去除算法,一个密钥对应一个所述图像相关性去除算法,所述目标图像相关性去除算法包括目标分割规则、目标数据变换规则和目标排序规则;
基于所述隐私区域的位置信息,按照所述目标分割规则,将所述隐私区域分割为多个图像块;
对于每个所述图像块,按照所述目标数据变换规则,将所述图像块中的像素数据变换为目标数据,得到由多个所述目标数据组成的第一图像块,所述图像块中像素数据与目标数据一一对应,且所述目标数据的位置信息与所述目标数据对应的像素数据的位置信息相同;
基于每个所述第一图像块中目标数据的位置信息,抽取每个所述第一图像块中目标位置的目标数据,按照所述目标排序规则,对从多个所述第一图像块中抽取出的多个所述目标数据进行排序,得到多个第二图像块;
基于所述多个第二图像块,得到所述隐私保护图像。
3.根据权利要求1所述的方法,其特征在于,所述基于所述隐私区域的位置信息,根据所述目标密钥对所述隐私区域进行图像相关性去除处理,得到隐私保护图像,包括:
根据所述目标密钥,从算法库包括的多个图像相关性去除算法中确定所述目标密钥对应的目标图像相关性去除算法,一个密钥对应一个所述图像相关性去除算法,所述目标图像相关性去除算法包括目标分割规则和目标置乱规则;
基于所述隐私区域的位置信息,按照所述目标分割规则,将所述隐私区域分割为多个图像块;
按照所述目标置乱规则,改变所述多个图像块的角度,并交换所述多个图像块的位置,得到所述隐私保护图像。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述对所述隐私保护图像进行编码,得到编码图像,包括:
根据所述隐私保护图像,确定目标量化参数集,并按照所述目标量化参数集,对所述隐私保护图像进行编码,得到编码图像,所述目标量化参数集包括用于对所述隐私区域进行编码的第一量化参数集,所述第一量化参数集中的量化参数均小于预设阈值。
5.根据权利要求4所述的方法,其特征在于,所述根据所述隐私保护图像,确定目标量化参数集,包括:
获取编码参数;
根据所述隐私保护图像和所述编码参数,确定初始量化参数集,所述初始量化参数集包括用于对所述隐私区域进行编码的第二量化参数集,和用于对非隐私区域进行编码的第三量化参数集;
在所述第二量化参数集中的量化参数均小于所述预设阈值的情况下,将所述第二量化参数集作为所述第一量化参数集;或者,
在所述第二量化参数集中的量化参数大于或等于所述预设阈值的情况下,基于所述第二量化参数中最大的量化参数与预设阈值之间的差值,降低所述第二量化参数集中的量化参数,得到所述第一量化参数集;
根据所述第一量化参数集和所述编码参数,调整所述第三量化参数集中的量化参数,得到所述第四量化参数集;
根据所述第一量化参数集和所述第四量化参数集,确定所述目标量化参数集。
6.根据权利要求5所述的方法,其特征在于,所述第一量化参数集中量化参数的平均值小于或等于所述第四量化参数集中量化参数的平均值。
7.一种图像处理方法,其特征在于,应用于解码端;所述方法包括:
接收编码端发送的编码图像,并对所述编码图像进行解码,得到隐私保护图像;
获取用户的隐私查看权限,以及所述隐私区域的位置信息,所述隐私查看权限用于指示所述用户是否具有查看所述隐私区域中隐私内容的权限;
在所述隐私查看权限指示所述用户具有查看所述隐私区域中隐私内容的权限的情况下,确定目标图像相关性恢复算法,基于所述隐私区域的位置信息,按照所述目标图像相关性恢复算法恢复所述隐私保护图像中隐私区域的隐私内容,得到隐私恢复图像并展示所述隐私恢复图像,所述隐私恢复图像中隐私区域中的隐私内容可见;
在所述用户的隐私查看权限指示所述用户不具有查看所述隐私区域中隐私内容的权限的情况下,展示所述隐私保护图像。
8.根据权利要求7所述的方法,其特征在于,所述编码图像为按照目标量化参数集对所述隐私保护图像编码得到的,所述目标量化参数集包括用于对所述隐私保护图像中的隐私区域进行编码的第一量化参数集,所述第一量化参数集中的量化参数均小于预设阈值,所述隐私保护图像为按照目标密钥对应的目标图像相关性去除算法对原始图像中的隐私区域进行图像相关性去除处理得到的。
9.一种编码装置,其特征在于,包括:
获取模块,用于获取原始图像和目标密钥;
处理模块,用于确定所述原始图像中隐私区域的位置信息;并基于所述隐私区域的位置信息,根据所述目标密钥对所述隐私区域进行图像相关性去除处理,得到隐私保护图像;
编码模块,用于对所述隐私保护图像进行编码,得到编码图像;
发送模块,用于将所述编码图像发送给解码装置。
10.一种解码装置,其特征在于,包括:
接收模块,用于接收编码装置发送的编码图像;
解码模块,用于对所述编码图像进行解码,得到隐私保护图像;
隐私恢复模块,用于在所述隐私查看权限指示所述用户具有查看所述隐私区域中隐私内容的权限的情况下,确定目标图像相关性恢复算法,基于所述隐私区域的位置信息,按照所述目标图像相关性恢复算法恢复所述隐私保护图像中隐私区域的隐私内容,得到隐私恢复图像,所述隐私恢复图像中隐私区域中的隐私内容可见;
显示模块,用于展示所述隐私恢复图像,或者,在所述用户的隐私查看权限指示所述用户不具有查看所述隐私区域中隐私内容的权限的情况下,展示所述隐私保护图像。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;
一个或多个存储器;
其中,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述电子设备执行权利要求1至6任一项所述的图像处理方法,或者权利要求7或8所述的图像处理方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机执行指令,当所述计算机执行指令在计算机上运行时,使得所述计算机执行权利要求1至6任一项所述的图像处理方法,或者权利要求7或8所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310800466.9A CN116800965A (zh) | 2023-06-30 | 2023-06-30 | 一种图像处理方法、编码装置、解码装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310800466.9A CN116800965A (zh) | 2023-06-30 | 2023-06-30 | 一种图像处理方法、编码装置、解码装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116800965A true CN116800965A (zh) | 2023-09-22 |
Family
ID=88036350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310800466.9A Pending CN116800965A (zh) | 2023-06-30 | 2023-06-30 | 一种图像处理方法、编码装置、解码装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116800965A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117956263A (zh) * | 2024-02-27 | 2024-04-30 | 镁佳(武汉)科技有限公司 | 车用摄像头的图像处理方法、装置、计算机设备及介质 |
-
2023
- 2023-06-30 CN CN202310800466.9A patent/CN116800965A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117956263A (zh) * | 2024-02-27 | 2024-04-30 | 镁佳(武汉)科技有限公司 | 车用摄像头的图像处理方法、装置、计算机设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11163897B2 (en) | Method and apparatus for image display using privacy masking | |
Ra et al. | P3: Toward {Privacy-Preserving} Photo Sharing | |
Mstafa et al. | A new video steganography scheme based on Shi-Tomasi corner detector | |
US11902559B2 (en) | Detection of video tampering | |
Mansour et al. | Reversible data hiding for electronic patient information security for telemedicine applications | |
CN113473138B (zh) | 视频帧编码方法、装置、电子设备及存储介质 | |
US11706382B2 (en) | Methods and apparatus for encrypting camera media | |
CN116800965A (zh) | 一种图像处理方法、编码装置、解码装置及存储介质 | |
Joshi et al. | Real time implementation of digital watermarking algorithm for image and video application | |
Cheddad et al. | Enhancing steganography in digital images | |
KR101707663B1 (ko) | Cctv 카메라를 이용한 영상 이미지 퍼즐 보안 전송 시스템 및 그 제어방법 | |
WO2023093501A1 (zh) | 一种视频中隐私内容的处理方法、系统、电子设备及介质 | |
KR101338341B1 (ko) | Cctv 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법 | |
Liu et al. | Joint data hiding and compression scheme based on modified BTC and image inpainting | |
CN112035847B (zh) | 一种图像加密、解密方法及装置、电子设备和存储介质 | |
WO2021196960A1 (zh) | 加密视频通话方法、装置、设备和存储介质 | |
CN108886616A (zh) | 视频编码的方法、装置和计算机系统 | |
CN115131253B (zh) | 一种用于对抗jpeg重压缩的秘密图像分享方法和系统 | |
CN112288757B (zh) | 一种基于数据打包技术的加密域图像分割优化方法 | |
CN114915464A (zh) | 一种基于特殊矩阵运算的图像加密方法、解密方法 | |
CN107845055A (zh) | 抗Facebook压缩的图像加密方法 | |
WO2023053687A1 (ja) | 画像処理方法、画像処理システム、画像処理装置、及び、サーバ | |
Liu et al. | Hiding media data via shaders: Enabling private sharing in the clouds | |
CN115967805A (zh) | 一种加密编解码方法和装置 | |
Liu et al. | Homomorphic visual cryptography. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |