CN116432244B - 一种图像处理方法、装置、设备及系统 - Google Patents
一种图像处理方法、装置、设备及系统 Download PDFInfo
- Publication number
- CN116432244B CN116432244B CN202310707903.2A CN202310707903A CN116432244B CN 116432244 B CN116432244 B CN 116432244B CN 202310707903 A CN202310707903 A CN 202310707903A CN 116432244 B CN116432244 B CN 116432244B
- Authority
- CN
- China
- Prior art keywords
- image
- scrambling
- network model
- target
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000013507 mapping Methods 0.000 claims description 31
- 230000000007 visual effect Effects 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 14
- 239000000758 substrate Substances 0.000 claims 2
- 230000008569 process Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 13
- 238000012805 post-processing Methods 0.000 description 12
- 238000003709 image segmentation Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
- G06V40/53—Measures to keep reference information secret, e.g. cancellable biometrics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/44—Secrecy systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioethics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Facsimile Transmission Control (AREA)
Abstract
本申请提供一种图像处理方法、装置、设备及系统,该方法包括:获取原始敏感图像对应的隐私保护图像;其中,所述隐私保护图像是采用置乱参数对所述原始敏感图像进行置乱操作后得到的图像;将所述隐私保护图像输入给目标网络模型得到所述隐私保护图像对应的图像处理结果;其中,目标网络模型中的权重被采用所述置乱参数进行置乱操作。通过本申请的技术方案,能够避免敏感信息的泄露,避免泄露用户隐私信息,能够对原始敏感图像进行隐私保护,不会存在隐私泄露的风险,具有很高的隐私保护能力。
Description
技术领域
本申请涉及图像处理领域,尤其是一种图像处理方法、装置、设备及系统。
背景技术
客户端(如摄像机、移动终端等)可以获取原始图像,并将原始图像发送给服务端,由服务端基于网络模型对原始图像进行人工智能处理,得到原始图像的图像处理结果(如图像检测结果、图像分割结果、图像识别结果等)。
如果原始图像是敏感图像(如人脸图像、人体图像等),在原始图像的传输过程中,若原始图像被攻击者截获,则攻击者可以基于原始图像得到敏感信息,造成敏感信息的泄露,容易泄露用户隐私信息,对用户造成巨大损失。
发明内容
本申请提供一种图像处理方法,应用于服务端,所述方法包括:
获取原始敏感图像对应的隐私保护图像;其中,所述隐私保护图像是采用置乱参数对所述原始敏感图像进行置乱操作后得到的图像;
将所述隐私保护图像输入给目标网络模型得到所述隐私保护图像对应的图像处理结果;其中,目标网络模型中的权重被采用所述置乱参数进行置乱操作。
本申请提供一种图像处理方法,应用于客户端,所述方法包括:
采用置乱参数对原始敏感图像进行像素置乱操作和/或图像块置乱操作,得到隐私保护图像;其中,所述原始敏感图像包括多个图像块,像素置乱操作用于对图像块内的多个像素值进行置乱操作,图像块置乱操作用于对多个图像块进行置乱操作;将所述隐私保护图像发送给服务端,以使所述服务端将所述隐私保护图像输入给目标网络模型,得到所述隐私保护图像对应的图像处理结果;其中,所述目标网络模型中的权重被采用所述置乱参数进行置乱操作。
本申请提供一种图像处理装置,应用于服务端,所述装置包括:
获取模块,用于获取原始敏感图像对应的隐私保护图像;其中,所述隐私保护图像是采用置乱参数对所述原始敏感图像进行置乱操作后得到的图像;
处理模块,用于将所述隐私保护图像输入给目标网络模型,得到所述隐私保护图像对应的图像处理结果,并输出所述隐私保护图像对应的图像处理结果;其中,所述目标网络模型中的权重被采用所述置乱参数进行置乱操作。
本申请提供一种服务端设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现上述的图像处理方法。
本申请提供一种图像处理系统,所述系统包括:
客户端,用于采用置乱参数对原始敏感图像进行置乱操作,得到所述原始敏感图像对应的隐私保护图像,并将所述隐私保护图像发送给服务端;
服务端,用于获取原始敏感图像对应的隐私保护图像,并将所述隐私保护图像输入给目标网络模型,得到所述隐私保护图像对应的图像处理结果;其中,所述目标网络模型中的权重被采用所述置乱参数进行置乱操作。
由以上技术方案可见,本申请实施例中,可以采用置乱参数对原始敏感图像进行置乱操作,得到隐私保护图像,且客户端向服务端发送的是隐私保护图像,即使隐私保护图像被攻击者截获,攻击者也无法基于隐私保护图像得到敏感信息,避免敏感信息的泄露,避免泄露用户隐私信息,能够对原始敏感图像进行隐私保护,不会存在隐私泄露的风险,具有很高的隐私保护能力。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的图像处理方法的流程示意图;
图2是本申请一种实施方式中的置乱操作的示意图;
图3是本申请一种实施方式中的目标网络模型的结构示意图;
图4是本申请一种实施方式中的图像处理系统的结构示意图;
图5是本申请一种实施方式中的图像处理装置的结构示意图;
图6是本申请一种实施方式中的服务端设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中提出一种图像处理方法,该方法可以应用于服务端,参见图1所示,为该图像处理方法的流程示意图,该方法可以包括:
步骤101、获取原始敏感图像对应的隐私保护图像;其中,该隐私保护图像可以是采用置乱参数对原始敏感图像进行置乱操作后得到的图像。比如说,采用置乱参数对原始敏感图像进行像素置乱操作和/或图像块置乱操作,得到隐私保护图像;原始敏感图像包括多个图像块,像素置乱操作用于对图像块内的多个像素值进行置乱操作,图像块置乱操作用于对多个图像块进行置乱操作。
置乱参数包括像素值保护密钥和图像块保护密钥,可以将原始敏感图像划分成M*N个图像块,并从M*N个图像块中选取出待保护的多个目标图像块,M和N均为正整数;针对每个目标图像块,获取目标图像块对应的像素值保护密钥,确定像素值保护密钥对应的第一置乱顺序,并基于第一置乱顺序对目标图像块内的多个像素值进行置乱操作,得到中间图像。获取原始敏感图像对应的图像块保护密钥,确定图像块保护密钥对应的第二置乱顺序,并基于第二置乱顺序对中间图像内的多个目标图像块进行置乱操作,得到隐私保护图像。
比如说,客户端可以采用置乱参数对原始敏感图像进行置乱操作,得到原始敏感图像对应的隐私保护图像,并将隐私保护图像发送给服务端。
示例性的,置乱参数可以包括像素值保护密钥和/或图像块保护密钥,客户端可以基于像素值保护密钥对原始敏感图像进行像素置乱操作,和/或,客户端可以基于图像块保护密钥对原始敏感图像进行图像块置乱操作,从而得到原始敏感图像对应的隐私保护图像。比如说,该原始敏感图像可以包括多个图像块,像素置乱操作可以用于对图像块内的多个像素值进行置乱操作,图像块置乱操作可以用于对该原始敏感图像的多个图像块进行置乱操作。
在一种可能的实施方式中,客户端可以将原始敏感图像划分成M*N个图像块,从M*N个图像块中选取出待保护的多个目标图像块,M和N均为正整数;比如说,将M*N个图像块中的全部图像块均作为目标图像块,或者,将M*N个图像块中的部分图像块作为目标图像块。针对每个目标图像块,获取该目标图像块对应的像素值保护密钥,确定像素值保护密钥对应的第一置乱顺序,并基于第一置乱顺序对该目标图像块内的多个像素值进行置乱操作,得到中间图像(即对所有目标图像块进行置乱操作后的图像)。获取原始敏感图像对应的图像块保护密钥,确定图像块保护密钥对应的第二置乱顺序,并基于第二置乱顺序对中间图像内的多个目标图像块进行置乱操作,得到该隐私保护图像。
示例性的,不同目标图像块对应的像素值保护密钥可以相同或者不同;不同原始敏感图像对应的图像块保护密钥可以相同或者不同。
步骤102、将隐私保护图像输入给目标网络模型得到隐私保护图像对应的图像处理结果;其中,目标网络模型中的权重被采用置乱参数进行置乱操作。
在一种可能的实施方式中,服务端可以从客户端获取置乱参数,并采用该置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到目标网络模型。或者,服务端可以从客户端获取目标权重信息,基于目标权重信息生成目标网络模型;其中,目标权重信息是候选网络模型中的权重信息,候选网络模型是客户端采用置乱参数对初始网络模型中的权重进行置乱操作后得到的。
示例性的,采用该置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到目标网络模型,可以包括但不限于:若该置乱参数包括像素值保护密钥和图像块保护密钥,原始敏感图像包括多个图像块,像素值保护密钥用于对图像块内的多个像素值进行像素置乱操作,图像块保护密钥用于对多个图像块进行图像块置乱操作,则:确定该像素值保护密钥对应的第一置乱顺序;确定该图像块保护密钥对应的第二置乱顺序;基于该第一置乱顺序和该第二置乱顺序对初始网络模型中的权重进行置乱操作,得到目标网络模型。
示例性的,确定该像素值保护密钥对应的第一置乱顺序,可以包括但不限于:通过该像素值保护密钥查询已配置的第一映射关系,得到该像素值保护密钥对应的第一置乱顺序。其中,该第一置乱顺序可以用于表示置乱操作前的像素值位置与置乱操作后的像素值位置的对应关系;其中,该第一映射关系可以用于记录像素值保护密钥与置乱顺序之间的对应关系。
示例性的,确定该图像块保护密钥对应的第二置乱顺序,可以包括但不限于:通过该图像块保护密钥查询已配置的第二映射关系,得到该图像块保护密钥对应的第二置乱顺序。其中,该第二置乱顺序可以用于表示置乱操作前的图像块位置与置乱操作后的图像块位置的对应关系;其中,该第二映射关系可以用于记录图像块保护密钥与置乱顺序之间的对应关系。
在一种可能的实施方式中,基于该第一置乱顺序和该第二置乱顺序对初始网络模型中的权重进行置乱操作,得到目标网络模型,可以包括但不限于:确定初始网络模型中的第一类权重和第二类权重,可以基于该第一置乱顺序对初始网络模型中的该第一类权重进行置乱,可以基于该第二置乱顺序对初始网络模型中的该第二类权重进行置乱,得到目标网络模型。其中,该第一类权重可以包括但不限于初始网络模型中与图像块内的像素值进行运算的权重,该第二类权重可以包括但不限于初始网络模型中与图像块的位置信息有关的权重。
在一种可能的实施方式中,初始网络模型可以是包含一层全连接层的网络模型;或者,初始网络模型可以是包含多层全连接层的网络模型;或者,初始网络模型可以是视觉自注意力的网络模型;或者,初始网络模型可以是不含位置编码的视觉自注意力的网络模型;或者,初始网络模型可以是多层感知机和混合器的网络模型。基于该第一置乱顺序和该第二置乱顺序对初始网络模型中的权重进行置乱操作,得到目标网络模型,可以包括但不限于:若初始网络模型是视觉自注意力的网络模型,初始网络模型至少包括全连接层和位置编码层,全连接层用于对每个图像块进行特征提取,位置编码层用于对每个图像块进行位置编码,则:可以基于第一置乱顺序对全连接层中的权重进行置乱,可以基于第二置乱顺序对位置编码层中的权重进行置乱,得到目标网络模型。
由以上技术方案可见,本申请实施例中,可以采用置乱参数对原始敏感图像进行置乱操作,得到隐私保护图像,且客户端向服务端发送的是隐私保护图像,即使隐私保护图像被攻击者截获,攻击者也无法基于隐私保护图像得到敏感信息,避免敏感信息的泄露,避免泄露用户隐私信息,能够对原始敏感图像进行隐私保护,不会存在隐私泄露的风险,具有很高的隐私保护能力。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像处理方法,可以应用于客户端,该方法可以包括:采用置乱参数对原始敏感图像进行像素置乱操作和/或图像块置乱操作,得到隐私保护图像;其中,原始敏感图像包括多个图像块,像素置乱操作用于对图像块内的多个像素值进行置乱操作,图像块置乱操作用于对多个图像块进行置乱操作。将隐私保护图像发送给服务端,以使服务端将隐私保护图像输入给目标网络模型,得到隐私保护图像对应的图像处理结果;其中,目标网络模型中的权重被采用置乱参数进行置乱操作。
示例性的,置乱参数可以包括像素值保护密钥和图像块保护密钥;采用置乱参数对原始敏感图像进行像素置乱操作和/或图像块置乱操作,得到隐私保护图像,可以包括但不限于:将原始敏感图像划分成M*N个图像块,并从M*N个图像块中选取出待保护的多个目标图像块,M和N均为正整数;针对每个目标图像块,获取目标图像块对应的像素值保护密钥,确定像素值保护密钥对应的第一置乱顺序,并基于第一置乱顺序对目标图像块内的多个像素值进行置乱操作,得到中间图像;获取原始敏感图像对应的图像块保护密钥,确定图像块保护密钥对应的第二置乱顺序,并基于第二置乱顺序对中间图像内的多个目标图像块进行置乱操作,得到隐私保护图像。
以下结合具体应用场景,对本申请实施例的上述技术方案进行说明。
图像处理系统(如图像识别系统等)是利用人工智能技术从图像中自动化识别(检测、分割等)相关信息的系统,能够基于网络模型对图像进行人工智能处理,得到图像处理结果(如图像检测结果、图像分割结果、图像识别结果等)。其中,图像处理系统可以包括但不限于以下过程:图像采集(或图像获取)过程、图像传输过程、图像预处理过程、图像识别过程、后处理过程。
在图像采集过程中,客户端可以采集原始图像。在图像传输过程中,客户端可以将原始图像发送给服务端。在图像预处理过程中,服务端可以对原始图像进行预处理,如进行图像缩放、图像翻转等预处理。在图像识别过程中,服务端可以基于网络模型对原始图像进行人工智能处理,得到原始图像的图像处理结果。在后处理过程中,服务端基于图像处理结果实现原始图像的后处理。
针对图像传输过程,客户端可以将原始图像发送给服务端,如果原始图像是敏感图像(如人脸图像、人体图像等),在原始图像的传输过程中,若原始图像被攻击者截获,则攻击者可以基于原始图像得到敏感信息,造成敏感信息的泄露,容易泄露用户隐私信息,对用户造成巨大损失。即使客户端利用密码学算法对原始图像进行加密(如公钥加密或私钥加密等),服务端在图像预处理过程或者图像识别过程中,也需要对原始图像进行解密,在对原始图像进行解密之后,若攻击者截获解密后的原始图像,也会造成敏感信息的泄露。
针对上述发现,本实施例中提出一种图像处理方法,可以采用置乱参数对原始敏感图像进行置乱操作,得到隐私保护图像,客户端向服务端发送的是隐私保护图像,从而避免敏感信息的泄露,避免泄露用户隐私信息。
本实施例中,图像处理系统(即基于图像隐私保护的图像处理系统)可以包括但不限于以下过程:图像采集(或图像获取)过程、图像隐私保护过程、图像传输过程、图像预处理过程、图像识别过程、后处理过程。
示例性的,在图像采集过程中,客户端可以采集原始图像,为了区分方便,可以将该原始图像记为原始敏感图像,表示原始图像是敏感图像,如人脸图像、人体图像等,对此原始敏感图像的类型不做限制。在图像隐私保护过程中,客户端采用置乱参数对原始敏感图像进行置乱操作,比如说,客户端可以采用置乱参数对原始敏感图像进行像素置乱操作和/或图像块置乱操作,得到原始敏感图像对应的隐私保护图像。在图像传输过程中,客户端将隐私保护图像发送给服务端。在图像预处理过程中,服务端可以对隐私保护图像进行预处理,如进行图像缩放、图像翻转等预处理。在图像识别过程中,服务端基于网络模型对隐私保护图像进行人工智能处理,从而得到隐私保护图像的图像处理结果。在后处理过程中,服务端基于图像处理结果实现原始敏感图像的后处理。
针对图像传输过程,客户端可以将隐私保护图像发送给服务端,由于隐私保护图像是经过像素置乱操作和/或图像块置乱操作后的图像,因此,在隐私保护图像的传输过程中,即使隐私保护图像被攻击者截获,攻击者也无法基于隐私保护图像得到敏感信息,避免敏感信息的泄露,避免泄露用户隐私信息,从而能够对原始敏感图像进行隐私保护,具有很高的隐私保护能力。
服务端在图像预处理过程或者图像识别过程中,不需要对隐私保护图像进行还原操作,比如说,服务器可以直接将隐私保护图像输入至网络模型,这样,攻击者无法截获还原后的原始敏感图像,从而不会造成敏感信息的泄露。
本实施例中,针对图像隐私保护过程,客户端可以采用置乱参数对原始敏感图像进行置乱操作,得到隐私保护图像。比如说,置乱参数可以包括像素值保护密钥和/或图像块保护密钥,客户端可以基于像素值保护密钥对原始敏感图像进行像素置乱操作,和/或,客户端可以基于图像块保护密钥对原始敏感图像进行图像块置乱操作。综上所述,在图像隐私保护过程中,客户端可以对原始敏感图像进行像素置乱操作和/或图像块置乱操作,以下对图像隐私保护过程进行说明。比如说,为了实现图像隐私保护过程,可以采用如下方式:
方式1、对原始敏感图像进行像素置乱操作和图像块置乱操作,得到原始敏感图像对应的隐私保护图像。例如,先对原始敏感图像进行像素置乱操作,得到像素置乱操作后的中间图像,然后对中间图像进行图像块置乱操作,得到隐私保护图像。或者,先对原始敏感图像进行图像块置乱操作,得到图像块置乱操作后的中间图像,然后对中间图像进行像素置乱操作,得到隐私保护图像。
为了方便描述,以先进行像素置乱操作后进行图像块置乱操作为例。参见图2所示,在得到原始敏感图像之后,对原始敏感图像进行像素置乱操作,得到中间图像,然后,对中间图像进行图像块置乱操作,得到隐私保护图像。
在一种可能的实施方式中,可以采用如下步骤得到隐私保护图像:
步骤S11、将原始敏感图像划分成M*N个图像块,M和N均为正整数。
示例性的,在得到原始敏感图像之后,可以将原始敏感图像划分成M*N个图像块,M和N可以相同,M和N也可以不同。其中,M表示原始敏感图像的横向存在M个图像块,N表示原始敏感图像的纵向存在N个图像块。
示例性的,不同图像块的大小可以相同,不同图像块的大小也可以不同,以所有图像块的大小均相同为例进行说明。比如说,所有图像块的大小均为m*n,m和n均为正整数,m和n可以相同,m和n也可以不同。其中,m表示图像块的横向存在m个像素,n表示图像块的纵向存在n个像素。
步骤S12、从M*N个图像块中选取出待保护的多个目标图像块。
比如说,可以将M*N个图像块中的全部图像块均作为目标图像块,在该情况下,需要对全部图像块进行像素置乱操作和图像块置乱操作。
又例如,可以将M*N个图像块中的部分图像块作为目标图像块,在该情况下,需要对部分图像块进行像素置乱操作和图像块置乱操作。
为了方便描述,以全部图像块均作为目标图像块为例,也就是说,原始敏感图像的M*N个图像块均作为目标图像块,对所有图像块进行置乱操作。
步骤S13、针对每个目标图像块,获取该目标图像块对应的像素值保护密钥,确定该像素值保护密钥对应的第一置乱顺序,并基于该第一置乱顺序对该目标图像块内的多个像素值进行置乱操作(即像素置乱操作),得到像素置乱操作后的中间图像。像素置乱操作用于对目标图像块内的多个像素值进行置乱操作,像素置乱操作是将目标图像块内的多个像素值的原始顺序进行打乱的操作。
示例性的,不同目标图像块对应的像素值保护密钥可以相同,不同目标图像块对应的像素值保护密钥也可以不同。为了方便描述,以所有目标图像块对应的像素值保护密钥相同为例,将该像素值保护密钥记为。
比如说,假设像素值保护密钥的取值范围是[a,b],则可以生成位于取值范围[a,b]的随机数,将这个随机数作为。针对大量原始敏感图像,每个原始敏感图像的目标图像块对应的像素值保护密钥可以相同,均为这个随机数。
综上所述,针对原始敏感图像的每个目标图像块,可以将这个随机数作为该目标图像块对应的像素值保护密钥,该像素值保护密钥后续记为。
示例性的,可以预先维护第一映射关系,第一映射关系用于记录像素值保护密钥与置乱顺序的对应关系,参见表1所示,为第一映射关系的示例,像素值保护密钥是位于取值范围[a,b]的数值,置乱顺序表示置乱操作前的像素值位置与置乱操作后的像素值位置的对应关系,不同置乱顺序表示不同的对应关系。
表1
示例性的,在得到目标图像块对应的之后,就可以通过查询表1所示的第一映射关系,从而得到/>对应的第一置乱顺序。比如说,若/>为1,则第一置乱顺序是置乱顺序11,若/>为2,则第一置乱顺序是置乱顺序12,以此类推,可以得到目标图像块对应的第一置乱顺序。
示例性的,第一置乱顺序表示置乱操作前的像素值位置与置乱操作后的像素值位置的对应关系,参见表2所示,为第一置乱顺序的示例,当然,这里只是以一个置乱顺序为例进行说明,在第一置乱顺序为其它置乱顺序时,表2所示的对应关系会随之发生变化,本实施例中对此置乱顺序不做限制。
表2
示例性的,在得到第一置乱顺序之后,就可以基于第一置乱顺序对目标图像块内的多个像素值进行置乱操作,比如说,假设目标图像块的大小为3*2,那么,基于表2所示的第一置乱顺序,将像素位置(1,1)的像素值移动到像素位置(2,2),将像素位置(1,2)的像素值移动到像素位置(1,3),将像素位置(1,3)的像素值移动到像素位置(2,1),将像素位置(2,1)的像素值移动到像素位置(1,1),将像素位置(2,2)的像素值移动到像素位置(2,3),将像素位置(2,3)的像素值移动到像素位置(1,2)。在对目标图像块进行上述置乱操作之后,就可以得到置乱操作之后的目标图像块。
显然,在对原始敏感图像的每个目标图像块进行上述置乱操作之后,就可以得到像素置乱操作后的中间图像,中间图像包括置乱操作之后的目标图像块。
步骤S14、获取原始敏感图像对应的图像块保护密钥,确定该图像块保护密钥对应的第二置乱顺序,并基于该第二置乱顺序对中间图像内的多个目标图像块进行置乱操作(即图像块置乱操作),得到原始敏感图像对应的隐私保护图像。其中,图像块置乱操作用于对中间图像的多个目标图像块进行置乱操作,图像块置乱操作是将中间图像的多个目标图像块的原始顺序进行打乱的操作。
示例性的,不同原始敏感图像对应的图像块保护密钥可以相同,不同原始敏感图像对应的图像块保护密钥也可以不同。为了方便描述,以所有原始敏感图像对应的图像块保护密钥相同为例,将该图像块保护密钥记为。
比如说,假设图像块保护密钥的取值范围是[c,d],则可以生成位于取值范围[c,d]的随机数,将这个随机数作为。针对大量原始敏感图像,每个原始敏感图像对应的图像块保护密钥可以相同,可以均为这个随机数。
综上所述,针对每个原始敏感图像,可以将这个随机数作为该原始敏感图像对应的图像块保护密钥,该图像块保护密钥后续记为。
示例性的,可以预先维护第二映射关系,第二映射关系用于记录图像块保护密钥与置乱顺序的对应关系,参见表3所示,为第二映射关系的示例,图像块保护密钥是位于取值范围[c,d]的数值,置乱顺序表示置乱操作前的图像块位置与置乱操作后的图像块位置的对应关系,不同置乱顺序表示不同的对应关系。
表3
示例性的,在得到原始敏感图像对应的之后,可以通过查询表3所示的第二映射关系,得到/>对应的第二置乱顺序。比如说,若/>为1,则第二置乱顺序是置乱顺序21,若/>为2,则第二置乱顺序是置乱顺序22,以此类推,可以得到原始敏感图像对应的第二置乱顺序。
示例性的,第二置乱顺序表示置乱操作前的图像块位置与置乱操作后的图像块位置的对应关系,参见表4所示,为第二置乱顺序的示例,当然,这里只是以一个置乱顺序为例进行说明,在第二置乱顺序为其它置乱顺序时,表4所示的对应关系会随之发生变化,本实施例中对此置乱顺序不做限制。
表4
示例性的,在得到第二置乱顺序之后,就可以基于第二置乱顺序对中间图像内的多个目标图像块进行置乱操作,比如说,假设原始敏感图像(即中间图像)包括2*2个图像块(假设这些图像块均作为目标图像块),那么,基于表4所示的第二置乱顺序,将图像块位置(1,1)的图像块移动到图像块位置(1,2),将图像块位置(1,2)的图像块移动到图像块位置(2,2),将图像块位置(2,1)的图像块移动到图像块位置(1,1),将图像块位置(2,2)的图像块移动到图像块位置(2,1)。在对中间图像进行上述置乱操作之后,置乱操作之后的中间图像就是原始敏感图像对应的隐私保护图像。
综上所述,通过对原始敏感图像进行像素置乱操作和图像块置乱操作,可以得到原始敏感图像对应的隐私保护图像。像素置乱操作的顺序(第一置乱顺序)由控制,图像块置乱操作的顺序(第二置乱顺序)由/>控制。由所有图像共享或不共享,/>由所有图像块共享或不共享。
示例性的,通过对原始敏感图像进行像素置乱操作,能够消除视觉纹理信息,从而避免泄露原始敏感图像的纹理信息。通过对原始敏感图像进行图像块置乱操作,能够消除视觉轮廓信息,从而避免泄露原始敏感图像的轮廓信息。
对于采用像素置乱操作和图像块置乱操作的隐私保护图像来说,只有暴力破解才能将隐私保护图像还原为原始敏感图像,假设原始敏感图像是224*224的人脸图像,且按照16*16的图像块大小进行划分,则可以划分出14*14个图像块,那么,暴力破解的复杂度就是(16*16*3)!*(14*14)!,即768!*196!,显然,暴力破解的复杂度非常大,即具有很高的隐私保护能力。
方式2、对原始敏感图像进行像素置乱操作,得到原始敏感图像对应的隐私保护图像。比如说,将原始敏感图像划分成M*N个图像块。从M*N个图像块中选取出待保护的多个目标图像块,可以将M*N个图像块中的全部图像块均作为目标图像块,也可以将M*N个图像块中的部分图像块作为目标图像块。针对每个目标图像块,获取该目标图像块对应的像素值保护密钥,确定该像素值保护密钥对应的第一置乱顺序,并基于该第一置乱顺序对该目标图像块内的多个像素值进行置乱操作(即像素置乱操作,像素置乱操作可以用于对图像块内的多个像素值进行置乱操作),得到像素置乱操作后的隐私保护图像。
示例性的,方式2的实现过程可以参见方式1,在此不再重复赘述。
方式3、对原始敏感图像进行图像块置乱操作,得到原始敏感图像对应的隐私保护图像。比如说,将原始敏感图像划分成M*N个图像块。从M*N个图像块中选取出待保护的多个目标图像块,可以将M*N个图像块中的全部图像块均作为目标图像块,也可以将M*N个图像块中的部分图像块作为目标图像块。获取原始敏感图像对应的图像块保护密钥,确定该图像块保护密钥对应的第二置乱顺序,并基于该第二置乱顺序对原始敏感图像内的多个目标图像块进行置乱操作(即图像块置乱操作,图像块置乱操作可以用于对原始敏感图像的多个目标图像块进行置乱操作),得到图像块置乱操作后的隐私保护图像。
示例性的,方式3的实现过程可以参见方式1,在此不再重复赘述。
本实施例中,针对图像识别过程,服务端可以基于目标网络模型对隐私保护图像进行人工智能处理,从而得到隐私保护图像对应的图像处理结果。比如说,服务端在接收到隐私保护图像之后,将该隐私保护图像输入给目标网络模型,得到该隐私保护图像对应的图像处理结果,以下对图像识别过程进行说明。
示例性的,可以预先得到一个网络模型(如神经网络模型)作为目标网络模型,目标网络模型可以是包含一层全连接层的网络模型,即目标网络模型只包含一层全连接层。假设目标网络模型的输入图像的尺寸为224*224*3=150528,且目标网络模型用于实现10分类的图像识别任务,则目标网络模型的权重为[150528,10]的矩阵,即一层全连接层的权重为[150528,10]的矩阵。
目标网络模型也可以是包含多层全连接层的网络模型,即目标网络模型包含多层全连接层。假设目标网络模型的输入图像的尺寸为224*224*3=150528,且目标网络模型用于实现10分类的图像识别任务,则目标网络模型的第一层连接层的权重为[150528,10]的矩阵,对目标网络模型的其它连接层不做限制。
目标网络模型也可以是视觉自注意力的网络模型(Vision Transformer),可以包括图像分割层(用于将图像划分为M*N个图像块)、全连接层(即所有图像块经过共享的全连接层)、位置编码层(用于对每个图像块进行位置编码)、自注意力网络层(用于进行特征融合),对该目标网络模型的网络层不做限制。
目标网络模型也可以是不含位置编码的视觉自注意力的网络模型,即目标网络模型可以为不含位置编码的视觉自注意力模型(Vision Transformer)。不含位置编码的视觉自注意力的目标网络模型可以包括图像分割层(用于将图像划分为M*N个图像块)、全连接层(即所有图像块经过共享的全连接层)、自注意力网络层(用于进行特征融合),对该目标网络模型的网络层不做限制。
目标网络模型也可以是多层感知机和混合器的网络模型,即目标网络模型可以为多层感知机-混合器(MLP-Mixer)模型。多层感知机和混合器的目标网络模型可以包括图像分割层(用于将图像划分为M*N个图像块)、全连接层(即所有图像块经过共享的全连接层)、混合器层(mixer layer,用于进行特征融合,在混合器层中,混合器层可以由两组全连接层分别进行空间域的特征融合和通道域的特征融合),对该目标网络模型的网络层不做限制。
当然,上述只是目标网络模型的几个示例,对此目标网络模型的类型不做限制,只要能够得到目标网络模型即可,如目标网络模型可以为视觉自注意力模型、MLP-Mixer、Vision Permutator、ConvMixer等。对于各种类型的目标网络模型来说,目标网络模型的模型结构可以具有以下特点:可以将图像划分为M*N个图像块,可以利用共享的全连接层对图像块进行特征提取,可以将所有图像块的特征送入一系列各向同性(isotopic)的网络层进行特征融合。
为了方便描述,以目标网络模型是视觉自注意力的网络模型为例,其它类型的目标网络模型的实现方式类似。参见图3所示,为目标网络模型的结构示意图,目标网络模型可以包括图像分割层、全连接层、位置编码层和自注意力网络层,在得到目标网络模型之后,可以采用如下步骤实现图像识别过程:
步骤S21、在接收到隐私保护图像之后,将隐私保护图像输入给目标网络模型的图像分割层,由图像分割层将隐私保护图像划分为M*N个图像块。
示例性的,不同图像块的大小可以相同,不同图像块的大小也可以不同,以所有图像块的大小均相同为例进行说明,如所有图像块的大小均为m*n。
步骤S22、在得到M*N个图像块之后,将每个图像块输入给全连接层(即所有图像块输入给共享的全连接层),由共享的全连接层对每个图像块进行特征提取,得到每个图像块对应的固定长度的全连接特征。
比如说,假设每个图像块的大小均为m*n,全连接层的权重的大小为m*n,那么,在将图像块1输入给全连接层时,全连接层可以通过共享的线性映射将图像块1映射成固定长度的全连接特征1,在将图像块2输入给全连接层时,全连接层可以通过共享的线性映射将图像块2映射成固定长度的全连接特征2,以此类推。其中,线性映射是涉及矩阵乘法的线性运算,即对图像块(如图像块1、图像块2等)和全连接层的权重进行矩阵乘法的线性运算。
步骤S23、在得到每个图像块对应的全连接特征之后,将每个图像块对应的全连接特征输入给位置编码层,由位置编码层对每个图像块对应的全连接特征进行位置编码,得到每个图像块对应的位置编码特征。比如说,可以将图像块1对应的全连接特征1输入给位置编码层,由位置编码层在全连接特征1上编码可学习的位置信息,得到包含位置信息的位置编码特征1,可以将图像块2对应的全连接特征2输入给位置编码层,由位置编码层在全连接特征2上编码可学习的位置信息,得到包含位置信息的位置编码特征2,以此类推。
步骤S24、在得到每个图像块对应的位置编码特征之后,将每个图像块对应的位置编码特征输入给自注意力网络层,由自注意力网络层对所有图像块对应的位置编码特征进行特征融合,最终得到隐私保护图像对应的图像处理结果。
示例性的,自注意力网络层可以包括自注意力编码器(Transformer Encoder)和多层感知机(Multilayer Perceptron,MLP)等,可以将每个图像块对应的位置编码特征输入给自注意力编码器,由自注意力编码器对每个图像块对应的位置编码特征进行自注意力编码,得到每个图像块对应的自注意力编码特征,并将每个图像块对应的自注意力编码特征输入给多层感知机,由多层感知机对所有图像块对应的自注意力编码特征进行特征融合,得到融合后特征,并基于融合后特征确定隐私保护图像对应的图像处理结果,如图像识别结果等。
综上,可以得到隐私保护图像对应的图像处理结果,完成图像识别过程。
在一种可能的实施方式中,由于将隐私保护图像输入给目标网络模型得到图像处理结果,而隐私保护图像是采用置乱参数对原始敏感图像进行置乱操作后得到的,因此,为了对隐私保护图像进行处理,目标网络模型中的权重也被采用置乱参数进行置乱操作。比如说,可以采用如下方式获取目标网络模型。
方式1、服务端可以从客户端获取置乱参数,并采用该置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到目标网络模型。
示例性的,客户端可以获取置乱参数,并将置乱参数发送给服务端,由服务端从客户端获取置乱参数。其中,置乱参数可以包括像素值保护密钥(可以记为)和/或图像块保护密钥(可以记为/>)。比如说,若客户端相信服务端(即服务端不会泄露/>和/>),那么,客户端可以将/>和发送给服务端。其中,/>与图像隐私保护过程的/>相同,/>与图像隐私保护过程的/>相同,在此不再赘述。
其中,客户端相信服务端是指:服务端提供安全的系统操作和密钥管理流程,即服务端保证和/>的通信安全,在完成一次变换操作后,需在服务端删除/>和/>,并删除变换前的权重,以防止第三方攻击,并且,服务端提供方不利用自身拥有的预训练权重或下游任务权重与相应的变换后的权重进行比较,以尝试破解密钥/>和/>。
示例性的,服务端可以预先训练一个网络模型作为初始网络模型,如基于大量训练数据训练得到初始网络模型,对此训练过程不作限制。其中,初始网络模型可以是包含一层全连接层的网络模型;或者,初始网络模型可以是包含多层全连接层的网络模型;或者,初始网络模型可以是视觉自注意力的网络模型;或者,初始网络模型可以是不含位置编码的视觉自注意力的网络模型;或者,初始网络模型可以是多层感知机和混合器的网络模型,对此不作限制。
示例性的,服务端可以采用置乱参数对初始网络模型中的权重进行置乱操作,得到目标网络模型。比如说,若初始网络模型是包含一层全连接层的网络模型,即初始网络模型只包含一层全连接层,则可以采用置乱参数对一层全连接层的权重进行置乱操作,得到目标网络模型。又例如,若初始网络模型是包含多层全连接层的网络模型,即初始网络模型包含多层全连接层,则可以采用置乱参数对第一层连接层的权重进行置乱操作,得到目标网络模型。又例如,若初始网络模型是视觉自注意力的网络模型,即初始网络模型包括图像分割层、全连接层、位置编码层、自注意力网络层,则可以采用置乱参数对全连接层的权重和位置编码层的权重进行置乱操作,得到目标网络模型,如采用对全连接层的权重进行置乱操作,并采用/>对位置编码层的权重进行置乱操作。又例如,若初始网络模型是不含位置编码的视觉自注意力的网络模型,即初始网络模型包括图像分割层、全连接层、自注意力网络层,则可以采用置乱参数对全连接层的权重进行置乱操作,得到目标网络模型,如采用/>对全连接层的权重进行置乱操作。又例如,若初始网络模型是多层感知机和混合器的网络模型,即初始网络模型包括图像分割层、全连接层、混合器层(在混合器层中,由两组全连接层分别进行空间域和通道域的特征融合),则可以采用置乱参数对全连接层的权重和混合器层的权重进行置乱操作,得到目标网络模型,如采用/>对共享的全连接层的权重进行置乱操作,并采用/>对负责空间域特征融合的全连接层的权重进行置乱操作。
综上所述,可以采用置乱参数调整的模型结构包括以下特点,对图像进行分块,利用共享的全连接层对图像块提取特征,送入各向同性(isotopic)的网络层进行特征融合。基于此,可以采用对共享的全连接层的权重进行置乱操作,采用对用于提取空间信息的网络层的权重进行置乱操作。
由于隐私保护图像无法被正常的网络模型(如初始网络模型)识别,因此,本实施例中提出基于置乱参数的模型权重调整方式,该置乱参数与图像置乱操作的置乱参数一致,即利用该置乱参数对初始网络模型的权重进行相应的置乱操作,该操作在部署时一次性完成,得到能够正确适配置乱后数据(即隐私保护图像)的目标网络模型,并通过目标网络模型对置乱后数据进行处理。
由于模型权重调整与训练过程无关,因此,模型权重调整操作可以对正常的网络模型(如初始网络模型)直接进行,使调整后的网络模型几乎性能无损地适配置乱后数据。当然,也可以在隐私保护处理后的图像上重新训练网络模型,对预训练模型进行模型权重调整以获得更好的性能表现。
在一种可能的实施方式中,服务端采用置乱参数对初始网络模型中的权重进行置乱操作,得到目标网络模型,可以包括但不限于以下步骤:
步骤S31、服务端确定像素值保护密钥对应的第一置乱顺序。
示例性的,若置乱参数包括像素值保护密钥,即,原始敏感图像包括多个图像块,/>用于对图像块内的多个像素值进行像素置乱操作,那么,可以确定/>对应的第一置乱顺序。比如说,通过/>查询已配置的第一映射关系,得到/>对应的第一置乱顺序,该第一置乱顺序用于表示置乱操作前的像素值位置与置乱操作后的像素值位置的对应关系。其中,第一映射关系用于记录像素值保护密钥与置乱顺序之间的对应关系。
示例性的,步骤S31的处理过程与步骤S13类似,在此不再重复赘述。
步骤S32、服务端确定图像块保护密钥对应的第二置乱顺序。
示例性的,若置乱参数包括图像块保护密钥,即,原始敏感图像包括多个图像块,/>用于对多个图像块进行图像块置乱操作,那么,可以确定对应的第二置乱顺序。比如说,通过/>查询已配置的第二映射关系,得到/>对应的第二置乱顺序,该第二置乱顺序用于表示置乱操作前的图像块位置与置乱操作后的图像块位置的对应关系。其中,第二映射关系用于记录图像块保护密钥与置乱顺序之间的对应关系。
示例性的,步骤S32的处理过程与步骤S14类似,在此不再重复赘述。
步骤S33、确定初始网络模型中的第一类权重,并基于该第一置乱顺序对初始网络模型中的第一类权重进行置乱,得到置乱后的初始网络模型。其中,第一类权重可以是初始网络模型中与图像块内的像素值进行运算的权重。
示例性的,初始网络模型中包括大量权重,针对每个权重,可以确定该权重是否需要与图像块内的像素值进行运算,即在网络模型的运算过程中,是否会将该权重与图像块内的像素值进行运算。若是,则将该权重作为初始网络模型中的第一类权重,若否,则不将该权重作为初始网络模型中的第一类权重。
在确定出初始网络模型中的第一类权重之后,就可以基于第一置乱顺序对初始网络模型中的第一类权重进行置乱,置乱操作用于对第一类权重(第一类权重可以包括大量权重值,如m*n个权重值,第一类权重的尺寸与上述图像块的尺寸相同,即权重值的数量与图像块内像素点数量相同)内的多个权重值进行置乱操作,即将第一类权重内的多个权重值的原始顺序进行打乱操作,步骤S33的置乱操作过程与步骤S13的置乱操作过程类似,在此不再重复赘述。
步骤S34、确定初始网络模型中的第二类权重,并基于该第二置乱顺序对初始网络模型(如对第一类权重进行置乱后的初始网络模型)中的第二类权重进行置乱,得到置乱后的目标网络模型。其中,第二类权重可以是初始网络模型中与图像块的位置信息(如图像块的顺序)有关的权重。
示例性的,初始网络模型中包括大量权重,针对每个权重,可以确定该权重是否与图像块的位置信息有关,即在网络模型的运算过程中,权重是否会基于图像块的位置信息进行运算。若是,则将该权重作为初始网络模型中的第二类权重,若否,则不将该权重作为初始网络模型中的第二类权重。
在确定出初始网络模型中的第二类权重之后,就可以基于第二置乱顺序对初始网络模型中的第二类权重进行置乱,置乱操作用于对第二类权重(第二类权重可以包括多个权重值,如M*N个权重值,第二类权重的尺寸与图像块的划分数量相同,即权重值数量与所有图像块的数量相同)内的多个权重值进行置乱操作,即将第二类权重内的多个权重值的原始顺序进行打乱操作,步骤S34的置乱操作过程与步骤S14的置乱操作过程类似,在此不再重复赘述。
在一种可能的实施方式中,若初始网络模型是视觉自注意力的网络模型,即初始网络模型至少包括全连接层和位置编码层,全连接层用于对每个图像块进行特征提取,位置编码层用于对每个图像块进行位置编码,那么,可以将全连接层中的权重作为第一类权重,将位置编码层中的权重作为第二类权重,可以基于第一置乱顺序对初始网络模型中的全连接层中的权重进行置乱,并基于第二置乱顺序对位置编码层中的权重进行置乱,得到目标网络模型。
比如说,可以利用对应的第一置乱顺序对共享的线性映射中的权重进行置乱,使得隐私保护图像中每个图像块内置乱后的像素依然与相应的线性映射的权重进行运算。可以利用/>对应的第二置乱顺序对位置编码顺序进行置乱,使得隐私保护图像中置乱后的每个图像块对应的图像块编码依然与相应的位置编码进行运算,从而保证相关操作对模型应用性能无损。
方式2、服务端从客户端获取目标权重信息,基于目标权重信息生成目标网络模型;其中,目标权重信息可以是候选网络模型中的权重信息,且候选网络模型是客户端采用置乱参数对初始网络模型中的权重进行置乱操作后得到的。
示例性的,客户端可以获取置乱参数,但客户端不将该置乱参数发送给服务端。其中,该置乱参数可以包括像素值保护密钥(可以记为)和/或图像块保护密钥(可以记为/>)。其中,/>与图像隐私保护过程的/>相同,/>与图像隐私保护过程的/>相同,在此不再赘述。
示例性的,客户端可以获取一个网络模型作为初始网络模型。比如说,客户端获取已配置的网络模型,该网络模型的权重为待训练权重,待训练权重是还未经过训练的权重,客户端基于大量训练数据训练得到初始网络模型,对此训练过程不作限制。又例如,客户端获取已配置的网络模型,该网络模型的权重为预训练权重(也称为下游任务权重),预训练权重是已经过训练的权重,如在其它数据集上训练得到的权重,客户端基于少量训练数据训练得到初始网络模型,对此训练过程不作限制。又例如,客户端获取已配置的网络模型,该网络模型的权重为已训练权重(也可以将上述预训练权重或者下游任务权重作为已训练权重而不再训练),已训练权重是完成训练的权重,客户端直接将已配置的网络模型作为初始网络模型,不再对已配置的网络模型进行训练。
示例性的,客户端可以采用置乱参数对初始网络模型中的权重进行置乱操作,得到候选网络模型。比如说,客户端可以确定像素值保护密钥对应的第一置乱顺序,确定图像块保护密钥对应的第二置乱顺序。确定初始网络模型中的第一类权重,并基于该第一置乱顺序对初始网络模型中的第一类权重进行置乱,得到置乱后的初始网络模型。第一类权重是初始网络模型中与图像块内的像素值进行运算的权重。确定初始网络模型中的第二类权重,并基于该第二置乱顺序对初始网络模型中的第二类权重进行置乱,得到置乱后的候选网络模型。第二类权重是初始网络模型中与图像块的位置信息有关的权重。客户端对初始网络模型中的权重进行置乱操作的过程,可以参见方式1,在此不再重复赘述。
客户端在得到候选网络模型之后,可以将候选网络模型中的目标权重信息发送给服务端,以使服务端基于目标权重信息生成目标网络模型。比如说,服务端在接收到目标权重信息之后,可以直接基于目标权重信息获取目标网络模型,即目标网络模型的权重基于目标权重信息确定,目标网络模型的权重与候选网络模型的权重相同。又例如,服务端在接收到目标权重信息之后,可以基于目标权重信息获取待训练网络模型,即待训练网络模型的权重基于目标权重信息确定,然后,通过样本数据对待训练网络模型进行训练,得到训练后的目标网络模型,即基于客户端提供的权重进行训练,从而获得不错的模型性能。
在一种可能的实施方式中,参见图4所示,为图像处理系统的一个结构示意图,图像处理系统可以包括图像采集模块(用于实现图像采集过程)、图像隐私保护模块(用于实现图像隐私保护过程)、图像识别模块(用于实现图像识别过程)和后处理模块(用于实现后处理过程)。图像采集模块和图像隐私保护模块位于客户端,而图像识别模块和后处理模块位于服务端。
图像采集模块可以采集原始敏感图像,并将原始敏感图像发送给图像隐私保护模块,图像隐私保护模块可以对原始敏感图像进行像素置乱操作和/或图像块置乱操作,得到隐私保护图像,并将隐私保护图像发送给服务端。
服务端在得到隐私保护图像之后,可以将隐私保护图像提供给图像识别模块,图像识别模块基于目标网络模型对隐私保护图像进行人工智能处理,得到隐私保护图像的图像处理结果(如图像检测结果、图像分割结果、图像识别结果等),并将图像处理结果发送给后处理模块。后处理模块在得到图像处理结果之后,可以基于图像处理结果实现原始敏感图像的后处理。
由以上技术方案可见,本申请实施例中,可以对原始敏感图像进行像素置乱操作和/或图像块置乱操作,得到隐私保护图像,且客户端向服务端发送的是隐私保护图像,即使隐私保护图像被攻击者截获,攻击者也无法基于隐私保护图像得到敏感信息,避免敏感信息的泄露,避免泄露用户隐私信息,能够对原始敏感图像进行隐私保护,不会存在隐私泄露的风险,具有很高的隐私保护能力。通过对原始敏感图像进行像素置乱操作,能够消除视觉纹理信息,从而避免泄露原始敏感图像的纹理信息。通过对原始敏感图像进行图像块置乱操作,能够消除视觉轮廓信息,从而避免泄露原始敏感图像的轮廓信息。采用以视觉自注意力模型为代表的各向无关模型结构,目标网络模型在正常数据集上训练,然后采用置乱参数对已训练的模型中的权重进行置乱操作即可,而置乱操作后的目标网络模型可以用于推理,只需要一次性密钥配置和部署,部署更加便捷。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像处理装置,应用于服务端,参见图5所示,为所述装置的结构示意图,所述装置包括:
获取模块51,用于获取原始敏感图像对应的隐私保护图像;其中,所述隐私保护图像是采用置乱参数对所述原始敏感图像进行置乱操作后得到的图像;
处理模块52,用于将所述隐私保护图像输入给目标网络模型,得到所述隐私保护图像对应的图像处理结果,并输出所述隐私保护图像对应的图像处理结果;其中,所述目标网络模型中的权重被采用所述置乱参数进行置乱操作。
示例性的,所述处理模块52,还用于从客户端获取所述置乱参数,采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到目标网络模型;或者,从客户端获取目标权重信息,基于所述目标权重信息生成目标网络模型;所述目标权重信息是候选网络模型中的权重信息,所述候选网络模型是所述客户端采用所述置乱参数对初始网络模型中的权重进行置乱操作后得到的。
示例性的,所述处理模块52采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到所述目标网络模型时具体用于:若所述置乱参数包括像素值保护密钥和图像块保护密钥,所述像素值保护密钥用于对图像块内的多个像素值进行像素置乱操作,所述图像块保护密钥用于对多个图像块进行图像块置乱操作,则:确定所述像素值保护密钥对应的第一置乱顺序;确定所述图像块保护密钥对应的第二置乱顺序;基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型。
示例性的,所述处理模块52确定所述像素值保护密钥对应的第一置乱顺序时具体用于:通过所述像素值保护密钥查询已配置的第一映射关系,得到所述像素值保护密钥对应的第一置乱顺序,所述第一置乱顺序用于表示置乱操作前的像素值位置与置乱操作后的像素值位置的对应关系;第一映射关系用于记录像素值保护密钥与置乱顺序之间的对应关系;所述处理模块52确定所述图像块保护密钥对应的第二置乱顺序时具体用于:通过所述图像块保护密钥查询已配置的第二映射关系,得到所述图像块保护密钥对应的第二置乱顺序,所述第二置乱顺序用于表示置乱操作前的图像块位置与置乱操作后的图像块位置的对应关系;第二映射关系用于记录图像块保护密钥与置乱顺序之间的对应关系。
示例性的,所述处理模块52基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型时具体用于:确定所述初始网络模型中的第一类权重和第二类权重,基于所述第一置乱顺序对所述初始网络模型中的第一类权重进行置乱,基于所述第二置乱顺序对所述初始网络模型中的第二类权重进行置乱,得到所述目标网络模型;其中,所述第一类权重是所述初始网络模型中与图像块内的像素值进行运算的权重,所述第二类权重是所述初始网络模型中与图像块的位置信息有关的权重。
示例性的,所述初始网络模型是包含一层全连接层的网络模型;或所述初始网络模型是包含多层全连接层的网络模型;或所述初始网络模型是视觉自注意力的网络模型;或所述初始网络模型是不含位置编码的视觉自注意力的网络模型;或所述初始网络模型是多层感知机和混合器的网络模型;所述处理模块52基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型时具体用于:若所述初始网络模型是视觉自注意力的网络模型,所述初始网络模型至少包括全连接层和位置编码层,所述全连接层用于对每个图像块进行特征提取,所述位置编码层用于对每个图像块进行位置编码,则基于第一置乱顺序对所述全连接层中的权重进行置乱,基于第二置乱顺序对所述位置编码层中的权重进行置乱,得到所述目标网络模型。
基于与上述方法同样的申请构思,本申请实施例中提出一种服务端设备,参见图6所示,服务端设备包括处理器61和机器可读存储介质62,机器可读存储介质62存储有能够被所述处理器61执行的机器可执行指令;所述处理器61用于执行机器可执行指令,以实现本申请上述示例公开的图像处理方法。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的图像处理方法。
其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
基于与上述方法同样的申请构思,本申请实施例还提供一种图像处理系统,所述图像处理系统包括:客户端,用于采用置乱参数对原始敏感图像进行置乱操作,得到所述原始敏感图像对应的隐私保护图像,并将所述隐私保护图像发送给服务端;服务端,用于获取原始敏感图像对应的隐私保护图像,并将所述隐私保护图像输入给目标网络模型,得到所述隐私保护图像对应的图像处理结果;其中,所述目标网络模型中的权重被采用所述置乱参数进行置乱操作。
示例性的,所述客户端,还用于将所述置乱参数发送给所述服务端;所述服务端,还用于从所述客户端获取所述置乱参数,并采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到所述目标网络模型;
或者,所述客户端,还用于采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到候选网络模型,并将所述候选网络模型中的目标权重信息发送给所述服务端;所述服务端,还用于从所述客户端获取所述目标权重信息,并基于所述目标权重信息生成所述目标网络模型。
示例性的,所述置乱参数包括像素值保护密钥和图像块保护密钥;所述客户端采用置乱参数对原始敏感图像进行置乱操作,得到所述原始敏感图像对应的隐私保护图像时具体用于:将原始敏感图像划分成M*N个图像块,从M*N个图像块中选取出待保护的多个目标图像块;针对每个目标图像块,获取所述目标图像块对应的像素值保护密钥,确定所述像素值保护密钥对应的第一置乱顺序,基于所述第一置乱顺序对所述目标图像块内的多个像素值进行置乱操作,得到中间图像;获取所述原始敏感图像对应的图像块保护密钥,确定所述图像块保护密钥对应的第二置乱顺序,基于所述第二置乱顺序对所述中间图像内的多个目标图像块进行置乱操作,得到所述原始敏感图像对应的隐私保护图像。
示例性的,所述服务端采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到所述目标网络模型时具体用于:若所述置乱参数包括像素值保护密钥和图像块保护密钥,所述原始敏感图像包括多个图像块,所述像素值保护密钥用于对图像块内的多个像素值进行像素置乱操作,所述图像块保护密钥用于对多个图像块进行图像块置乱操作,则:
确定所述像素值保护密钥对应的第一置乱顺序;确定所述图像块保护密钥对应的第二置乱顺序;基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型。
示例性的,所述服务端基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型时具体用于:确定所述初始网络模型中的第一类权重和第二类权重,基于所述第一置乱顺序对所述初始网络模型中的第一类权重进行置乱,基于所述第二置乱顺序对所述初始网络模型中的第二类权重进行置乱,得到所述目标网络模型;其中,所述第一类权重是所述初始网络模型中与图像块内的像素值进行运算的权重,所述第二类权重是所述初始网络模型中与图像块的位置信息有关的权重。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种图像处理方法,其特征在于,应用于服务端,所述方法包括:
获取原始敏感图像对应的隐私保护图像;其中,所述隐私保护图像是采用置乱参数对所述原始敏感图像进行置乱操作后得到的图像;
将所述隐私保护图像输入给目标网络模型得到所述隐私保护图像对应的图像处理结果;其中,目标网络模型中的权重被采用所述置乱参数进行置乱操作;
其中,所述获取原始敏感图像对应的隐私保护图像之前,所述方法还包括:从客户端获取所述置乱参数,并采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到所述目标网络模型;或者,从客户端获取目标权重信息,基于所述目标权重信息生成所述目标网络模型;其中,所述目标权重信息是候选网络模型中的权重信息,所述候选网络模型是客户端采用所述置乱参数对初始网络模型中的权重进行置乱操作后得到的。
2.根据权利要求1所述的方法,其特征在于,所述采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到所述目标网络模型,包括:
若所述置乱参数包括像素值保护密钥和图像块保护密钥,所述原始敏感图像包括多个图像块,所述像素值保护密钥用于对图像块内的多个像素值进行像素置乱操作,所述图像块保护密钥用于对多个图像块进行图像块置乱操作,则:
确定所述像素值保护密钥对应的第一置乱顺序;
确定所述图像块保护密钥对应的第二置乱顺序;
基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型。
3.根据权利要求2所述的方法,其特征在于,
所述确定所述像素值保护密钥对应的第一置乱顺序,包括:
通过所述像素值保护密钥查询已配置的第一映射关系,得到所述像素值保护密钥对应的第一置乱顺序,所述第一置乱顺序用于表示置乱操作前的像素值位置与置乱操作后的像素值位置的对应关系;其中,所述第一映射关系用于记录像素值保护密钥与置乱顺序之间的对应关系;
所述确定所述图像块保护密钥对应的第二置乱顺序,包括:
通过所述图像块保护密钥查询已配置的第二映射关系,得到所述图像块保护密钥对应的第二置乱顺序,所述第二置乱顺序用于表示置乱操作前的图像块位置与置乱操作后的图像块位置的对应关系;其中,所述第二映射关系用于记录图像块保护密钥与置乱顺序之间的对应关系。
4.根据权利要求2所述的方法,其特征在于,
所述基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型,包括:
确定所述初始网络模型中的第一类权重和第二类权重,基于所述第一置乱顺序对所述初始网络模型中的第一类权重进行置乱,基于所述第二置乱顺序对所述初始网络模型中的第二类权重进行置乱,得到所述目标网络模型;其中,所述第一类权重是所述初始网络模型中与图像块内的像素值进行运算的权重,所述第二类权重是所述初始网络模型中与图像块的位置信息有关的权重。
5.根据权利要求2或4所述的方法,其特征在于,
所述初始网络模型是包含一层全连接层的网络模型;或者,所述初始网络模型是包含多层全连接层的网络模型;或者,所述初始网络模型是视觉自注意力的网络模型;或者,所述初始网络模型是不含位置编码的视觉自注意力的网络模型;或者,所述初始网络模型是多层感知机和混合器的网络模型;
所述基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型,包括:
若所述初始网络模型是视觉自注意力的网络模型,所述初始网络模型至少包括全连接层和位置编码层,所述全连接层用于对每个图像块进行特征提取,所述位置编码层用于对每个图像块进行位置编码,则:
基于所述第一置乱顺序对所述全连接层中的权重进行置乱,基于所述第二置乱顺序对所述位置编码层中的权重进行置乱,得到所述目标网络模型。
6.一种图像处理方法,其特征在于,应用于客户端,所述方法包括:
采用置乱参数对原始敏感图像进行像素置乱操作和/或图像块置乱操作,得到隐私保护图像;其中,所述原始敏感图像包括多个图像块,像素置乱操作用于对图像块内的多个像素值进行置乱操作,图像块置乱操作用于对多个图像块进行置乱操作;
将所述隐私保护图像发送给服务端,以使所述服务端将所述隐私保护图像输入给目标网络模型,得到所述隐私保护图像对应的图像处理结果;其中,所述目标网络模型中的权重被采用所述置乱参数进行置乱操作;
其中,所述方法还包括:将所述置乱参数发送给服务端,以使所述服务端采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到所述目标网络模型;或者,采用所述置乱参数对初始网络模型中的权重进行置乱操作得到候选网络模型,将所述候选网络模型中的目标权重信息发送给服务端,以使所述服务端基于所述目标权重信息生成所述目标网络模型。
7.根据权利要求6所述的方法,其特征在于,所述置乱参数包括像素值保护密钥和图像块保护密钥;所述采用置乱参数对原始敏感图像进行像素置乱操作和/或图像块置乱操作,得到隐私保护图像,包括:
将所述原始敏感图像划分成M*N个图像块,并从所述M*N个图像块中选取出待保护的多个目标图像块,M和N均为正整数;
针对每个目标图像块,获取所述目标图像块对应的像素值保护密钥,确定所述像素值保护密钥对应的第一置乱顺序,并基于所述第一置乱顺序对所述目标图像块内的多个像素值进行置乱操作,得到中间图像;
获取所述原始敏感图像对应的图像块保护密钥,确定所述图像块保护密钥对应的第二置乱顺序,并基于所述第二置乱顺序对所述中间图像内的多个目标图像块进行置乱操作,得到所述隐私保护图像。
8.一种图像处理装置,其特征在于,应用于服务端,所述装置包括:
获取模块,用于获取原始敏感图像对应的隐私保护图像;其中,所述隐私保护图像是采用置乱参数对所述原始敏感图像进行置乱操作后得到的图像;
处理模块,用于将所述隐私保护图像输入给目标网络模型,得到所述隐私保护图像对应的图像处理结果,并输出所述隐私保护图像对应的图像处理结果;其中,所述目标网络模型中的权重被采用所述置乱参数进行置乱操作;
所述处理模块,还用于从客户端获取所述置乱参数,并采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到所述目标网络模型;或者,从客户端获取目标权重信息,基于所述目标权重信息生成所述目标网络模型;所述目标权重信息是候选网络模型中的权重信息,所述候选网络模型是所述客户端采用所述置乱参数对初始网络模型中的权重进行置乱操作后得到的。
9.根据权利要求8所述的装置,其特征在于,
其中,所述处理模块采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到所述目标网络模型时具体用于:若所述置乱参数包括像素值保护密钥和图像块保护密钥,所述像素值保护密钥用于对图像块内的多个像素值进行像素置乱操作,所述图像块保护密钥用于对多个图像块进行图像块置乱操作,则:确定所述像素值保护密钥对应的第一置乱顺序;确定所述图像块保护密钥对应的第二置乱顺序;基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型;
其中,所述处理模块确定所述像素值保护密钥对应的第一置乱顺序时具体用于:通过所述像素值保护密钥查询已配置的第一映射关系,得到所述像素值保护密钥对应的第一置乱顺序,所述第一置乱顺序用于表示置乱操作前的像素值位置与置乱操作后的像素值位置的对应关系;所述第一映射关系用于记录像素值保护密钥与置乱顺序之间的对应关系;所述处理模块确定所述图像块保护密钥对应的第二置乱顺序时具体用于:通过所述图像块保护密钥查询已配置的第二映射关系,得到所述图像块保护密钥对应的第二置乱顺序,所述第二置乱顺序用于表示置乱操作前的图像块位置与置乱操作后的图像块位置的对应关系;所述第二映射关系用于记录图像块保护密钥与置乱顺序之间的对应关系;
其中,所述处理模块基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型时具体用于:确定所述初始网络模型中的第一类权重和第二类权重,基于所述第一置乱顺序对所述初始网络模型中的第一类权重进行置乱,基于所述第二置乱顺序对所述初始网络模型中的第二类权重进行置乱,得到所述目标网络模型;其中,所述第一类权重是所述初始网络模型中与图像块内的像素值进行运算的权重,所述第二类权重是所述初始网络模型中与图像块的位置信息有关的权重;
其中,所述初始网络模型是包含一层全连接层的网络模型;或所述初始网络模型是包含多层全连接层的网络模型;或所述初始网络模型是视觉自注意力的网络模型;或所述初始网络模型是不含位置编码的视觉自注意力的网络模型;或所述初始网络模型是多层感知机和混合器的网络模型;所述处理模块基于所述第一置乱顺序和所述第二置乱顺序对所述初始网络模型中的权重进行置乱操作,得到所述目标网络模型时具体用于:若所述初始网络模型是视觉自注意力的网络模型,所述初始网络模型至少包括全连接层和位置编码层,所述全连接层用于对每个图像块进行特征提取,所述位置编码层用于对每个图像块进行位置编码,则基于所述第一置乱顺序对所述全连接层中的权重进行置乱,基于所述第二置乱顺序对所述位置编码层中的权重进行置乱,得到所述目标网络模型。
10.一种服务端设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现权利要求1-5任一项所述的方法。
11.一种图像处理系统,其特征在于,所述系统包括:
客户端,用于采用置乱参数对原始敏感图像进行置乱操作,得到所述原始敏感图像对应的隐私保护图像,并将所述隐私保护图像发送给服务端;
服务端,用于获取原始敏感图像对应的隐私保护图像,并将所述隐私保护图像输入给目标网络模型,得到所述隐私保护图像对应的图像处理结果;其中,所述目标网络模型中的权重被采用所述置乱参数进行置乱操作;
其中,所述客户端,还用于将所述置乱参数发送给所述服务端;所述服务端,还用于从所述客户端获取所述置乱参数,并采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到所述目标网络模型;
或者,所述客户端,还用于采用所述置乱参数对已训练的初始网络模型中的权重进行置乱操作,得到候选网络模型,并将所述候选网络模型中的目标权重信息发送给所述服务端;所述服务端,还用于从所述客户端获取所述目标权重信息,并基于所述目标权重信息生成所述目标网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310707903.2A CN116432244B (zh) | 2023-06-15 | 2023-06-15 | 一种图像处理方法、装置、设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310707903.2A CN116432244B (zh) | 2023-06-15 | 2023-06-15 | 一种图像处理方法、装置、设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116432244A CN116432244A (zh) | 2023-07-14 |
CN116432244B true CN116432244B (zh) | 2023-09-19 |
Family
ID=87094757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310707903.2A Active CN116432244B (zh) | 2023-06-15 | 2023-06-15 | 一种图像处理方法、装置、设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116432244B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117392463A (zh) * | 2023-12-07 | 2024-01-12 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 图像分类方法、装置、计算机设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260562A (zh) * | 2020-03-05 | 2020-06-09 | 张立珠 | 一种基于深度学习的数字全息图像重建方法 |
CN111461951A (zh) * | 2020-03-30 | 2020-07-28 | 三维通信股份有限公司 | 彩色图像加密方法、装置、计算机设备和可读存储介质 |
CN112581414A (zh) * | 2019-09-30 | 2021-03-30 | 京东方科技集团股份有限公司 | 一种卷积神经网络、图像处理的方法及电子设备 |
WO2022049469A1 (en) * | 2020-09-02 | 2022-03-10 | B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University | Systems and methods for protecting machine learning models against adversarial attacks |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11722641B2 (en) * | 2019-12-30 | 2023-08-08 | Systems & Technology Research, Llc | Digital image inference system with enhanced privacy protection |
-
2023
- 2023-06-15 CN CN202310707903.2A patent/CN116432244B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112581414A (zh) * | 2019-09-30 | 2021-03-30 | 京东方科技集团股份有限公司 | 一种卷积神经网络、图像处理的方法及电子设备 |
CN111260562A (zh) * | 2020-03-05 | 2020-06-09 | 张立珠 | 一种基于深度学习的数字全息图像重建方法 |
CN111461951A (zh) * | 2020-03-30 | 2020-07-28 | 三维通信股份有限公司 | 彩色图像加密方法、装置、计算机设备和可读存储介质 |
WO2022049469A1 (en) * | 2020-09-02 | 2022-03-10 | B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University | Systems and methods for protecting machine learning models against adversarial attacks |
Non-Patent Citations (2)
Title |
---|
A Face Privacy Protection Algorithm Based on Block Scrambling and Deep Learning;Shen, Wei et al.;LECTURE NOTES IN ARTIFICIAL INTELLIGENCE;第359-369页 * |
基于多维混沌系统的图像加密技术研究;武剀;赵国敏;李国东;;淮阴师范学院学报(自然科学版)(01);第33-38页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116432244A (zh) | 2023-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111738238B (zh) | 人脸识别方法和装置 | |
CN106251278B (zh) | 一种基于直方图特征的图像加密域可逆信息隐藏方法 | |
Ma et al. | Reversible data hiding in encrypted images by reserving room before encryption | |
Barman et al. | Fingerprint-based crypto-biometric system for network security | |
Li et al. | Distortion less secret image sharing scheme for Internet of Things system | |
CN111680676B (zh) | 训练人脸识别模型、图像注册、人脸识别方法和装置 | |
CN116432244B (zh) | 一种图像处理方法、装置、设备及系统 | |
CN116451276B (zh) | 一种图像处理方法、装置、设备及系统 | |
CN112351151B (zh) | 基于fcn的图像信息加密方法及装置 | |
Liu et al. | Reversible image reconstruction for reversible data hiding in encrypted images | |
Liu et al. | A fully reversible data hiding scheme in encrypted images based on homomorphic encryption and pixel prediction | |
CN109934013B (zh) | 一种数据保护方法及装置 | |
KR20210084806A (ko) | 홍채 인식 기반 왜곡 영상 복원 처리 방법 | |
Sazaki et al. | Implementation of affine transform method and advanced hill cipher for securing digital images | |
Kashid et al. | NS4: a Novel Security approach for extracted video keyframes using Secret Sharing Scheme | |
Abed et al. | Hiding information in an image based on bats algorithm | |
Vinay et al. | A novel secure data hiding technique into video sequences using RVIHS | |
CN111488592B (zh) | 数据加解密方法、装置及网络设备 | |
Das et al. | Secure image transmission based on visual cryptography scheme and artificial neural network-particle swarm optimization-guided adaptive vector quantization | |
Aguilar Santiago et al. | Chaotic Cryptosystem for Selective Encryption of Faces in Photographs | |
Tiwari et al. | A Robust Method for Image Steganography based on chaos theory | |
Fadel et al. | A Fast and Low Distortion Image Steganography Framework Based on Nature-Inspired Optimizers | |
KR20210084805A (ko) | 지문 인식 기반 왜곡 영상 복원 처리 방법 | |
ZULQARNAIN et al. | AN EFFICIENT METHOD OF DATA HIDING FOR DIGITAL COLOUR IMAGES BASED ON VARIANT EXPANSION AND MODULUS FUNCTION | |
KR20210084802A (ko) | 왜곡 영상 복원 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |