CN117408907B - 提高图像对抗防御能力的方法、装置及电子设备 - Google Patents
提高图像对抗防御能力的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117408907B CN117408907B CN202311725360.3A CN202311725360A CN117408907B CN 117408907 B CN117408907 B CN 117408907B CN 202311725360 A CN202311725360 A CN 202311725360A CN 117408907 B CN117408907 B CN 117408907B
- Authority
- CN
- China
- Prior art keywords
- image
- defense
- candidate
- target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000007123 defense Effects 0.000 claims abstract description 511
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000007906 compression Methods 0.000 claims description 17
- 230000006835 compression Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 description 19
- 238000004590 computer program Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 241000282320 Panthera leo Species 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000016571 aggressive behavior Effects 0.000 description 5
- 241000406668 Loxodonta cyclotis Species 0.000 description 4
- 235000012434 pretzels Nutrition 0.000 description 4
- 150000003839 salts Chemical class 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 241001494479 Pecora Species 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000009328 Perro Species 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000238557 Decapoda Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- LLELVHKMCSBMCX-UHFFFAOYSA-M sodium 1-[(4-chloro-5-methyl-2-sulfophenyl)diazenyl]naphthalen-2-olate Chemical compound [Na+].Cc1cc(N=Nc2c(O)ccc3ccccc23)c(cc1Cl)S([O-])(=O)=O LLELVHKMCSBMCX-UHFFFAOYSA-M 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种提高图像对抗防御能力的方法、装置及电子设备,可以应用于图像数据处理领域。该提高图像对抗防御能力的方法包括:获取含有噪声信息的具有攻击性的样本图像;针对具有攻击性的样本图像包含的噪声信息进行压缩处理,得到第一防御图像;通过对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像;调整第二防御图像的通道参数,得到满足预定条件的目标防御图像。
Description
技术领域
本发明涉及图像数据处理领域,更具体地涉及一种提高图像对抗防御能力的方法、装置及电子设备。
背景技术
随着科学技术的快速发展,在自动驾驶、多功能传感器应用和特定相机应用的领域中,拍摄图像的设备容易被外界信号攻击的问题,导致被攻击的设备拍摄出的具有攻击性的图像上分布有大量的噪声,影响传感器对图像内容的识别。现有技术通过对传感器部署算法,来提高对传感器拍摄到的图像在面对攻击时的抵抗率,由于算法复杂,导致部署难度大,大规模应用的效果不佳,并且应用算法对图像进行处理所花费的时间长。
在实现上述发明构思的过程中,发明人发现:相关技术中由于拍摄图像的设备容易被外部信号攻击,拍摄出具有攻击性的图像含有大量的噪声信息,导致图像内容识别不准确,对传感器部署的算法复杂,处理图像时间长的技术问题。
发明内容
鉴于上述问题,本发明提供了提高图像对抗防御能力的方法、装置及电子设备。
根据本发明的第一个方面,提供了一种提高图像对抗防御能力的方法,包括:获取含有噪声信息的具有攻击性的样本图像,其中,具有攻击性的样本图像是在采集设备受到外界信号攻击的情况下采集得到的,外界信号攻击采集设备的过程表征为对抗攻击;针对具有攻击性的样本图像包含的噪声信息进行压缩处理,得到第一防御图像,其中,第一防御图像含有第一噪声信息,第一噪声信息表征为压缩后的部分噪声信息;通过对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像;调整第二防御图像的通道参数,得到满足预定条件的目标防御图像,其中,通道参数包括三原色通道参数和透明度通道参数,目标防御图像是指能够正确识别图像内容的防御图像。
根据本发明的实施例,调整第二防御图像的通道参数,得到满足预定条件的目标防御图像,包括:根据第二防御图像的通道参数,获取第二防御图像的初始透明度通道参数;根据初始透明度通道参数,确定初始透明度通道参数对应的多个可选择调整比例,根据多个可选择调整比例和初始透明度通道参数,得到多个候选透明度通道参数;基于多个候选透明度通道参数,调整第二防御图像的初始透明度通道参数,生成多个候选防御图像,其中,每个候选防御图像与每一个候选透明度通道参数相对应;从多个候选防御图像中确定满足预定条件的候选防御图像为目标防御图像。
根据本发明的实施例,从多个候选防御图像中确定满足预定条件的候选防御图像为目标防御图像,包括:对多个候选防御图像进行目标特征识别,得到与多个候选防御图像对应的多个目标特征识别结果;根据多个目标特征识别结果,对多个候选防御图像中的目标特征进行特征匹配,得到每一个候选防御图像对应的匹配结果;从所有匹配结果中按照预定条件确定目标匹配结果,选取与目标匹配结果对应的候选防御图像为目标防御图像。
根据本发明的实施例,根据多个目标特征识别结果,对多个候选防御图像中的目标特征进行特征匹配,得到每一个候选防御图像对应的匹配结果,包括:根据得到的多个目标特征识别结果,确定每一个候选防御图像中的目标特征数量、目标特征颜色矩、目标特征轮廓和目标特征对象;根据所有候选防御图像的所有目标特征数量、所有目标特征颜色矩、所有目标特征轮廓和所有目标特征对象,计算每一个候选防御图像的目标特征数量的概率、目标特征颜色矩的概率、目标特征轮廓的概率和目标特征对象的概率;根据目标特征数量、目标特征颜色矩、目标特征轮廓和目标特征对象各自对应的权重和每一个候选防御图像的目标特征数量的概率、目标特征颜色矩的概率、目标特征轮廓的概率和目标特征对象的概率,计算得到每一个候选防御图像对应的匹配结果。
根据本发明的实施例,通过对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像,包括:根据第一防御图像,确定待添加在第一防御图像上的预定噪声信息;根据第一防御图像和预定噪声信息,得到第二防御图像。
根据本发明的实施例,根据第一防御图像,确定待添加在第一防御图像上的预定噪声信息,包括:根据第一防御图像,确定第一防御图像对应的多个模糊信息;根据多个模糊信息和第一防御图像,得到多个第一候选防御图像,其中,多个第一候选防御图像与每一个模糊信息相对应;对多个第一候选防御图像进行第一特征识别,得到多个第一候选防御图像对应的第一特征识别结果,其中,第一特征识别结果中包含第一候选防御图像的第一特征数量、第一特征对象;根据所有第一候选防御图像的所有第一特征数量和所有第一特征对象,计算每一个第一候选防御图像的第一特征数量和第一特征对象的概率;根据第一特征数量和第一特征对象各自对应的权重和每一个候选防御图像的第一特征数量和第一特征对象的概率,计算得到每一个第一候选防御图像对应的第一匹配结果,其中,每一个匹配结果与每一个第一候选防御图像相对应;根据多个第一匹配结果,确定第一目标匹配结果和第一目标匹配结果对应的模糊信息为预定噪声信息。
根据本发明的实施例,根据第一防御图像和预定噪声信息,得到第二防御图像,包括:对第一防御图像进行第一特征轮廓识别,得到第一特征轮廓识别结果;根据第一特征轮廓识别结果,从第一防御图像中确定待添加预定噪声信息的区域;将预定噪声信息添加至第一防御图像的待添加预定噪声信息的区域中,得到第二防御图像。
根据本发明的实施例,根据第一防御图像和预定噪声信息,得到第二防御图像,还包括:对第一防御图像添加预定噪声信息,得到第二防御图像。
本发明的第二方面提供了一种提高图像对抗防御能力的装置,包括:获取模块,用于获取含有噪声信息的具有攻击性的样本图像,其中,样本图像是在采集设备受到外界信号攻击的情况下采集得到的,外界信号攻击采集设备的过程表征为对抗攻击;压缩模块,用于针对样本图像包含的噪声信息进行压缩处理,得到第一防御图像,其中,第一防御图像含有第一噪声信息,第一噪声信息表征为压缩后的部分噪声信息;添加模块,用于通过对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像;调整模块,用于调整第二防御图像的通道参数,得到满足预定条件的目标防御图像,其中,通道参数包括三原色通道参数和透明度通道参数,目标防御图像是指能够正确识别图像内容的防御图像。
本发明的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器执行上述方法。
本发明的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。
根据本发明的提高图像对抗防御能力的装置,由于获取含有噪声信息的具有攻击性的样本图像,对含有噪声信息的具有攻击性的样本图像进行压缩处理,压缩掉具有攻击性的样本图像中的部分噪声信息后,得到含有第一噪声信息的样本图像,即第一防御图像,对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像,再对第二防御图像的通道参数进行调整,得到改变通道值后的样本图像,即目标防御图像,实现了对受到对抗攻击所产生的具有攻击性的样本图像的对抗防御能力的提高,根据压缩噪声信息、添加预定噪声信息和修改通道参数,减少了样本图像中的噪声信息,提高了样本图像的鲁棒性,提高了传感器对样本图像的泛化能力,使样本图像即使发生了微小的变化也具有鲁棒性的特征,使样本图像即使和原始样本图像有所区别,但也能提高让传感器正确识别出图像内容的概率,使图像内容清晰,提高了对图像内容识别的准确度,降低外部信号对设备的攻击所给图像带来的噪声影响,并且,由于图像仅修改了通道参数,因此,在减少噪声信息的同时,进一步的降低对图像的可视度的影响,避免影响图像的观察效果,提高图像的观赏程度,同时,对具有攻击性的样本图像进行压缩、添加预定噪声信息和调整通道参数,可以节省处理时间,避免传感器不能快速的识别出图像中正确内容,及时的处理具有攻击性的样本图像。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示出了根据本发明实施例的提高图像对抗防御能力的方法、装置及电子设备的应用场景图;
图2示出了根据本发明实施例的提高图像对抗防御能力的方法的流程图;
图3示出了根据本发明实施例的得到目标防御图像的流程图;
图4示出了根据本发明实施例的确定目标防御图像的流程图;
图5示出了根据本发明实施例的得到候选防御图像对应的匹配结果的流程图;
图6示出了根据本发明实施例的添加预定噪声信息的流程图;
图7示出了根据本发明实施例的局部添加预定噪声信息的流程图;
图8示出了根据本发明实施例的提高图像对抗防御能力的装置的结构框图;
图9示出了根据本发明实施例的适于应用提高图像对抗防御能力的方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本发明的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本发明的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本发明实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本发明的技术方案中,所涉及的用户信息(包括但不限于用户个人信息、用户图像信息、用户设备信息,例如位置信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理,均遵守相关国家和地区的相关法律法规和标准,采取了必要保密措施,不违背公序良俗,并提供有相应的操作入口,供用户选择授权或者拒绝。
在实际应用过程中,因为科学技术的快速发展,越来越多的图像被应用在各个领域中,由于自动驾驶领域、多功能传感器应用、特定相机应用要求能够实时获取拍摄的图像,并对图像进行识别和分析,以为后续判断做出准备,因此,这就需要对受到对抗攻击的拍摄设备所拍摄出的图像进行去噪,提高具有攻击性的图像的对抗防御能力。
然而,在实际生活中,由于拍摄设备会受到外部信号的攻击,导致拍摄出的图像具有攻击性,且具有攻击性的图像上分布有大量的噪声信息,使传感器无法对含有大量噪声信息的图像内容进行准确的识别和分析。现有技术中通常采用对传感器部署复杂的算法,来提高对传感器拍摄到的图像在面对攻击时的抵抗率,但是复杂的算法在部署时难度大,大规模应用的效果不佳,并且应用算法对图像进行处理所花费的时间长。
因此,研发人员需要提高拍摄设备对外部攻击信号的抵抗能力,使传感器在对具有攻击性的图像识别的情况下,能准确、快速的识别出图像内容。在对含有大量噪声信息的具有攻击性的图像进行修复的过程中研发人员发现,相关技术中由于拍摄图像的设备容易被外部信号攻击,拍摄出具有攻击性的图像含有大量的噪声信息,导致图像内容识别不准确,对传感器部署的算法复杂,处理图像时间长的技术问题。
有鉴于此,本发明的实施例提供了一种提高图像对抗防御能力的方法,包括:获取含有噪声信息的具有攻击性的样本图像,其中,具有攻击性的样本图像是在采集设备受到外界信号攻击的情况下采集得到的,外界信号攻击采集设备的过程表征为对抗攻击;针对具有攻击性的样本图像包含的噪声信息进行压缩处理,得到第一防御图像,其中,第一防御图像含有第一噪声信息,第一噪声信息表征为压缩后的部分噪声信息;通过对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像;调整第二防御图像的通道参数,得到满足预定条件的目标防御图像,其中,通道参数包括三原色通道参数和透明度通道参数,目标防御图像是指能够正确识别图像内容的防御图像。
图1示出了根据本发明实施例的提高图像对抗防御能力的方法、装置及电子设备的应用场景图。
如图1所示,根据该实施例的应用场景可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
例如,用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中安装的图像采集设备采集到待修复的图像向配备图像修复装置的服务器105发送处理图像请求。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
例如,服务器105可以是分布式服务器、云服务器和集中式服务器。
需要说明的是,本发明实施例所提供的提高图像对抗防御能力的方法一般可以由服务器105执行。相应地,本发明实施例所提供的提高图像对抗防御能力的装置一般可以设置于服务器105中。本发明实施例所提供的提高图像对抗防御能力的方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地,本发明实施例所提供的提高图像对抗防御能力的装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景,通过图2~图7对发明实施例的提高图像对抗防御能力的方法进行详细描述。
图2示出了根据本发明实施例的提高图像对抗防御能力的方法的流程图。
如图2所示,该实施例的提高图像对抗防御能力的方法包括操作S210~操作S240。
在操作S210中,获取含有噪声信息的具有攻击性的样本图像。
根据本发明的实施例,其中,具有攻击性的样本图像是在采集设备受到外界信号攻击的情况下采集得到的。
根据本发明的实施例,外界信号攻击采集设备的过程表征为对抗攻击。
根据本发明的实施例,具有攻击性的样本图像可以表征为拍摄设备受到对抗攻击后拍摄到的含有大量噪声信息的图像,采集设备受到对抗攻击后拍摄到的含有大量噪声信息的图像也可以表征为对抗样本。
根据本发明的实施例,传感器在对具有攻击性的样本图像进行内容识别时,会由于对抗攻击而导致原始样本图像中的内容不可被识别。
例如,原始样本图像内容识别为“鱼、虾、钓鱼的人”,在采集设备受到对抗攻击后得到的具有攻击性的样本图像经传感器识别后,得到的识别结果为“猫、狗、树”。
根据本发明的实施例,采集设备可以表征为能够拍摄图像的设备。
例如,采集设备可以包括智能手机、照相机、摄像机或图像传感器。
根据本发明的实施例,由于环境的影响、电子设备间的信号扰动以及人为的攻击,导致采集设备被外界信号所攻击,拍摄到具有攻击性的样本图像,具有攻击性的样本图像中会包含有大量的噪声信号,导致图像内容无法正确的被识别和分析,影响后续需要根据图像内容进行判断的操作。
在操作S220中,针对具有攻击性的样本图像包含的噪声信息进行压缩处理,得到第一防御图像。
根据本发明的实施例,其中,第一防御图像含有第一噪声信息,第一噪声信息表征为压缩后的部分噪声信息。
根据本发明的实施例,第一噪声信息中包含的噪声信息少于具有攻击性的样本图像中包含的噪声信息,经过对具有攻击性的样本图像进行压缩,可以压缩掉部分无用的噪声信息,剩下的另一部分的噪声信息即为第一噪声信息。
根据本发明的实施例,第一防御图像可以表征为经过压缩后的包含有部分噪声信息的样本图像。
根据本发明的实施例,对具有攻击性的样本图像的噪声信息进行压缩,可以通过对具有攻击性的样本图像进行ZIP(PKzip file name extension,PKzip文件扩展名)压缩,得到压缩后的ZIP格式的图像即为第一防御图像,在对具有攻击性的样本图像进行ZIP压缩的过程中,即可压缩掉具有攻击性的样本图像的部分噪声信息,实现对具有攻击性的样本图像中的噪声信息的压缩滤除。
根据本发明的实施例,由于对具有攻击性的样本图像的噪声信息进行压缩,从而压缩掉具有攻击性的样本图像中的部分噪声信息,得到含有少于具有攻击性的样本图像的噪声信息的第一防御图像,实现对样本图像的噪声的压缩滤除,提高了对样本图像内容的可识别性。
在操作S230中,通过对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像。
根据本发明的实施例,预定噪声信息可以表征为在设备中已经预先设定好的待添加的噪声信息。在设备接收第一防御图像后,对第一图像添加已经预先设定好的待添加的噪声信息,得到第二防御图像。
根据本发明的实施例,第二防御图像可以表征为包含有预定噪声信息的样本图像。
根据本发明的实施例,通过对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像。通过对第一防御图像添加预定噪声信息,对第一防御图像中的噪声信息进行处理,得到上述第二防御图像,可以提高样本图像的鲁棒性,可以提高传感器对第二防御图像的泛化能力,迫使第二防御图像对图像中的微小的变化也具有鲁棒性的特征,使第二防御图像即使和原始样本图像有所区别,但也能提高让传感器正确识别出图像内容的概率,减弱第一防御图像中原有的噪声信息的特征。
在操作S240中,调整第二防御图像的通道参数,得到满足预定条件的目标防御图像。
根据本发明的实施例,其中,通道参数包括三原色通道参数和透明度通道参数,目标防御图像是指能够正确识别图像内容的防御图像。
根据本发明的实施例,第二防御图像包括三原色通道和一个透明度通道,其中,三个原色通道分别为红色通道、绿色通道和蓝色通道,修改第二防御图像中的三原色通道参数和透明度通道参数的数值,即可改变第二防御图像的颜色和透明度。
根据本发明的实施例,目标防御图像可以表征为对第二防御图像的透明度通道参数调整后得到的样本图像,使用传感器对目标防御图像中的内容进行内容识别,可以提高的识别的目标防御图像中的内容的准确度。
例如,第二防御图像的透明度通道参数为“218”,将“218”调整为“150”,则透明度通道参数为“150”的第二防御图像即为目标防御图像。
根据本发明的实施例,对第二防御图像的通道参数进行调整,可以减少第二防御图像中的噪声信息,提高传感器对目标防御图像的内容识别的准确性,降低对图像的可视度的影响,避免影响图像的观察效果。
根据本发明的实施例,由于获取含有噪声信息的具有攻击性的样本图像,对含有噪声信息的具有攻击性的样本图像进行压缩处理,压缩掉具有攻击性的样本图像中的部分噪声信息后,得到含有第一噪声信息的样本图像,即第一防御图像,对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像,再对第二防御图像的通道参数进行调整,得到改变通道值后的样本图像,即目标防御图像,实现了对受到对抗攻击所产生的具有攻击性的样本图像的对抗防御能力的提高,根据压缩噪声信息、添加预定噪声信息和修改通道参数,减少了样本图像中的噪声信息,提高了样本图像的鲁棒性,提高了传感器对样本图像的泛化能力,使样本图像即使发生了微小的变化也具有鲁棒性的特征,使样本图像即使和原始样本图像有所区别,但也能提高让传感器正确识别出图像内容的概率,使图像内容清晰,提高了对图像内容识别的准确度,降低外部信号对设备的攻击所给图像带来的噪声影响,并且,由于图像仅修改了通道参数,因此,在减少噪声信息的同时,进一步的降低对图像的可视度的影响,避免影响图像的观察效果,提高图像的观赏程度,同时,对具有攻击性的样本图像进行压缩、添加预定噪声信息和调整通道参数,可以节省处理时间,避免传感器不能快速的识别出图像中正确内容,及时的处理具有攻击性的样本图像。
图3示出了根据本发明实施例的得到目标防御图像的流程图。
如图3所示,该实施例的得到目标防御图像的方法包括操作S310~操作S340。
根据本发明的实施例,调整第二防御图像的通道参数,得到满足预定条件的目标防御图像,包括:
在操作S310中,根据第二防御图像的通道参数,获取第二防御图像的初始透明度通道参数。
根据本发明的实施例,第二防御图像的通道中包含有三原色通道和透明度通道,从透明度通道中获取第二防御图像的初始透明度通道参数。
根据本发明的实施例,初始透明度通道参数可以表征为未调整的第二防御图像中的透明度通道参数。
在操作S320中,根据初始透明度通道参数,确定初始透明度通道参数对应的多个可选择调整比例,根据多个可选择调整比例和初始透明度通道参数,得到多个候选透明度通道参数。
根据本发明的实施例,在数据库中设置有一张存储通道参数的调整比例的表,通道参数的调整比例表中包括有三原色通道参数对应的的可选择调整比例和透明度通道参数对应的可选择调整比例,根据通道参数的调整比例表,即可选择出多个透明度通道参数对应的可选择调整比例。
例如,通道参数的调整比例的表包括红色通道对应的可选择调整比例“10%,20%,30%,40%,50%”,透明度通道参数对应的可选择调整比例“99%,98%,97%,96%,95%,94%,93%,92%,91%,90%”。
根据本发明的实施例,将多个可选择调整比例分别和初始透明度通道参数相乘,得到多个候选透明度通道参数。
根据本发明的实施例,候选透明度通道参数可以表征为调整过后的透明度通道参数。
例如,初始透明度通道参数为“186”,可选择调整比例为“99%,98%,97%,96%”,则候选透明度通道参数为“184.14”、“182.28”、“180.42”、“178.56”。
在操作S330中,基于多个候选透明度通道参数,调整第二防御图像的初始透明度通道参数,生成多个候选防御图像。
根据本发明的实施例,将第二防御图像中的初始透明度通道参数按照计算得到的候选透明度通道参数进行修改,得到多个候选透明度通道参数对应的候选防御图像。
根据本发明的实施例,候选防御图像可以表征为更改初始透明度通道参数后得到的样本图像。
在操作S340中,从多个候选防御图像中确定满足预定条件的候选防御图像为目标防御图像。
根据本发明的实施例,预定条件可以表征为从多个候选防御图像中选择出目标防御图像的选择依据。
根据本发明的实施例,目标防御图像可以表征为满足预定条件的候选防御图像,从多个候选防御图像中根据预定条件选择出目标防御图像,可以扩大选择范围,以达到选择出最优的,传感器能够识别出图像内容准确率最高的目标防御图像。
根据本发明的实施例,对第二防御图像的初始透明度通道参数进行修改后得到的候选防御图像中包含的噪声信息少于第二防御图像中包含的噪声信息,即改变第二防御图像的透明度,可以弱化第二防御图像中的噪声信息的特征,减少图像中的噪声信息,进一步的提高图像的对抗防御能力。
根据本发明的实施例,由于根据第二防御图像的通道参数,确定了第二防御图像的初始透明度通道参数,根据初始透明度通道参数从数据库中的表里查找与透明度通道参数对应的多个可选择调整比例,将多个可选择调整比例分别和初始透明度通道参数相乘,得到多个候选透明度通道参数,根据多个候选透明度通道参数调成第二防御图像中的初始透明度通道参数,生成多个候选防御图像,再根据预定条件从多个候选防御图像中确定出目标防御图像,实现了对第二防御图像的透明度的调整,减少图像中包含的噪声信息,确定多个候选防御图像扩大了对目标防御图像的选择性,根据预定条件选择目标防御图像实现了选择最优的目标防御图像,使具有攻击性的样本图像大幅度的减少其由于遭受到对抗攻击而导致的不能被准确识别,传感器能够更准确地识别出目标防御图像的内容,进一步的提高目标防御图像的对抗防御能力。
图4示出了根据本发明实施例的确定目标防御图像的流程图。
如图4所示,该实施例的确定目标防御图像的方法包括操作S410~操作S430。
根据本发明的实施例,从多个候选防御图像中确定满足预定条件的候选防御图像为目标防御图像,包括:
在操作S410中,对多个候选防御图像进行目标特征识别,得到与多个候选防御图像对应的多个目标特征识别结果。
根据本发明的实施例,目标特征识别可以表征为对候选防御图像中的目标内容进行特征识别。
根据本发明的实施例,目标特征识别结果可以表征为对候选防御图像进行目标特征识别后得到的结果。
例如,对A候选防御图像进行目标特征识别,识别出“红色目标有5个,绿色目标有0个,蓝色目标有1个”对B候选图像进行目标特征识别,识别出“第一个目标为一架钢琴,第二个目标为一家小提琴”。
根据本发明的实施例,对多个候选防御图像进行目标特征识别得到目标特征识别结果,可以从多个目标特征识别结果中选择出最优的目标特征识别结果,以实现对候选防御图像的目标识别的准确性。
在操作S420中,根据多个目标特征识别结果,对多个候选防御图像中的目标特征进行特征匹配,得到每一个候选防御图像对应的匹配结果。
根据本发明的实施例,特征匹配可以表征为对候选防御图像中的目标特征按照权重进行计算。
根据本发明的实施例,权重可以为预先设定在程序里的值。
根据本发明的实施例,匹配结果可以表征为对候选防御图像中的特征进行特征匹配计算后得到的与候选防御图像对应的目标特征匹配度。
例如,预设目标颜色对应的权重为0.6,目标数量对应的权重为0.4,根据目标特征对应的权重和目标特征进行计算,得到A候选防御图像的匹配结果为0.95,B候选防御图像的匹配结果为0.89。
在操作S430中,从所有匹配结果中按照预定条件确定目标匹配结果,选取与目标匹配结果对应的候选防御图像为目标防御图像。
根据本发明的实施例,预定条件可以表征为从多个匹配结果中选取最高的匹配结果。
根据本发明的实施例,目标匹配结果可以表征为最高的匹配结果。
根据本发明的实施例,由于对多个候选防御图像进行目标特征识别,得到每个候选防御图像对应的目标特征识别结果,根据每个候选防御图像对应的目标特征识别结果进行特征匹配的运算,得到每一个候选防御图像对应的匹配结果,从所有的匹配结果中,按照预定条件,选择最高的匹配结果为目标匹配结果,根据目标匹配结果对应的候选防御图像,确定为目标防御图像,实现了对候选防御图像的目标特征识别的判定,根据目标特征识别的匹配结果选择最优的候选防御图像作为目标防御图像,多维度的对候选防御图像的目标特征进行判断,提高传感器对选择出的最优的候选防御图像即目标防御图像的识别准确率,以及,降低对图像的可视效果的影响。
图5示出了根据本发明实施例的得到候选防御图像对应的匹配结果的流程图。
如图5所示,该实施例的得到候选防御图像对应的匹配结果的方法包括操作S510~操作S530。
根据本发明的实施例,根据多个目标特征识别结果,对多个候选防御图像中的目标特征进行特征匹配,得到每一个候选防御图像对应的匹配结果,包括:
在操作S510中,根据得到的多个目标特征识别结果,确定每一个候选防御图像中的目标特征数量、目标特征颜色矩、目标特征轮廓和目标特征对象。
根据本发明的实施例,目标特征识别结果中可以包含候选防御图像的一个或多个目标特征。
根据本发明的实施例,目标特征数量可以表征为对候选防御图像进行目标特征识别包括的目标特征的数量。
根据本发明的实施例,目标特征颜色矩可以表征为候选防御图像中的目标特征的颜色分布。
根据本发明的实施例,目标特征轮廓可以表征为候选防御图像中的目标特征的轮廓线所围成的区域,候选防御图像中可以包括不止一个目标特征轮廓。
根据本发明的实施例,目标特征对象可以表征为对候选防御图像的内容进行识别得到的对象属性,候选防御图像中可以包括不止一个目标对象。
例如,对象属性可以包括猫、狗、羊、人、车、斑马线、云、照相机,但不只局限于以上属性。
在操作S520中,根据所有候选防御图像的所有目标特征数量、所有目标特征颜色矩、所有目标特征轮廓和所有目标特征对象,计算每一个候选防御图像的目标特征数量的概率、目标特征颜色矩的概率、目标特征轮廓的概率和目标特征对象的概率。
根据本发明的实施例,分别统计所有的候选防御图像中的所有目标特征数量、所有目标特征颜色矩、所有目标特征轮廓和所有目标特征对象,取候选防御图像中的目标特征数量、目标特征颜色矩、目标特征轮廓和目标特征对象分别计算占所有目标特征数量、所有目标特征颜色矩、所有目标特征轮廓和所有目标特征对象的概率。
根据本发明的实施例,根据每一个候选防御图像的目标特征数量和所有候选防御图像的目标特征数量,计算每一个候选防御图像的目标特征数量的概率。
例如,一共有四个候选防御图像,A候选防御图像的目标特征数量为3个,B候选防御图像的目标特征数量为3个,C候选防御图像的目标特征数量为1个,D候选防御图像的目标特征数量为4个,目标特征数量为3个的候选防御图像有2个,目标特征数量为1个的候选防御图像有1个,目标特征数量为4个的候选防御图像有1个,则A候选防御图像的目标特征数量的概率为50%,B候选防御图像的目标特征数量的概率为50%,C候选防御图像的目标特征数量的概率为25%,D候选防御图像的目标特征数量的概率为25%。
根据本发明的实施例,根据候选防御图像中的目标特征数量可以对识别出的每一个目标特征进行编号。
根据本发明的实施例,目标特征颜色矩中包含一阶矩,一阶矩中包含三原色各自的通道参数,选择最大的通道参数对应的原色为候选防御图像中的目标特征的颜色为目标特征颜色矩。
例如,A候选防御图像中包含两个目标特征,第一个目标特征的目标特征颜色矩为“红色203,绿色30,蓝色89”,第二个目标特征的目标特征颜色矩为“红色56,绿色130,蓝色189”,则选择第一个目标特征的目标特征颜色矩为红色,第二个目标特征的目标特征颜色矩为蓝色。
根据本发明的实施例,对候选防御图像中的每一个目标特征的特征颜色矩的概率均执行计算操作,得到与每一个目标特征对应的计算结果和执行计算操作的次数,根据与每一个目标特征对应的计算结果和执行计算操作的次数,得到每一个候选防御图像的目标特征颜色矩的概率。
例如,A候选防御图像中包含三个目标特征,第一个目标特征的特征颜色矩为“红色”,第二个目标特征的特征颜色矩为“红色”,第三个目标特征的特征颜色矩为“绿色”,B候选防御图像中包含三个目标特征,第一个目标特征的特征颜色矩为“红色”,第二个目标特征的特征颜色矩为“红色”,第三个目标特征的特征颜色矩为“红色”,C候选防御图像中包含一个目标特征,第一个目标特征的特征颜色矩为“红色”,D候选防御图像中包含四个目标特征,第一个目标特征的特征颜色矩为“绿色”,第二个目标特征的特征颜色矩为“绿色”,第三个目标特征的特征颜色矩为“绿色”,第四个目标特征的特征颜色矩为“蓝色”,则A候选防御图像的第一个目标特征的特征颜色矩的概率为“75%”,第二个目标特征的特征颜色矩的概率为“50%”,第三个目标特征的特征颜色矩的概率为“50%”,第四个为空目标的特征颜色矩的概率为“75%”,B候选防御图像的第一个目标特征的特征颜色矩的概率为“75%” ,第二个目标特征的特征颜色矩的概率为“50%”,第三个目标特征的特征颜色矩的概率为“25%”,第四个为空目标的特征颜色矩的概率为“75%”,C候选防御图像的第一个目标特征的特征颜色矩的概率为“75%” ,第二个为空目标的特征颜色矩的概率为“25%”,第三个为空目标的特征颜色矩的概率为“25%”,第四个为空目标的特征颜色矩的概率为“75%”,D候选防御图像的第一个目标特征的特征颜色矩的概率为“25%” ,第二个目标特征的特征颜色矩的概率为“25%”,第三个目标特征的特征颜色矩的概率为“50%”,第四个目标特征的特征颜色矩的概率为“25%”,概率执行计算操作的次数为4次,每一次概率执行计算操作的次数的权重为0.25,将候选防御图像的每一次特征颜色矩的概率与每一次概率执行计算操作的次数的权重相乘所得到的4个结果相加,得到A候选防御图像的目标特征颜色矩的概率为62.5%,B候选防御图像的目标特征颜色矩的概率为56.25%,C候选防御图像的目标特征颜色矩的概率为50%,D候选防御图像的目标特征颜色矩的概率为31.25%。
根据本发明的实施例,根据候选防御图像中的目标特征轮廓内的像素点和所有候选防御图像的目标特征轮廓内的像素点,计算每一个候选防御图像的目标特征轮廓的概率。
例如,A候选防御图像中的目标特征轮廓内有“1000”个像素点,B候选防御图像中的目标特征轮廓内有“600”个像素点,C候选防御图像中的目标特征轮廓内有“780”个像素点,D候选防御图像中的目标特征轮廓内有“1000”个像素点,则A候选防御图像的目标特征轮廓的概率为50%,B候选防御图像的目标特征轮廓的概率为25%,C候选防御图像的目标特征轮廓的概率为25%,D候选防御图像的目标特征轮廓的概率为50%。
根据本发明的实施例,根据候选防御图像中的目标特征对象的对象属性和所有候选防御图像的目标特征对象的对象属性,计算每一个候选防御图像的目标特征属性的概率。
例如,A候选防御图像中的目标特征对象为“大象”,B候选防御图像中的目标特征对象为“狮子”,C候选防御图像中的目标特征对象为“摄像头”,D候选防御图像中的目标特征对象为“摄像头”,则A候选防御图像的目标特征对象的概率为25%,B候选防御图像的目标特征对象的概率为25%,C候选防御图像的目标特征对象的概率为50%,D候选防御图像的目标特征对象的概率为50%。
例如,A候选防御图像中包含三个特征对象,第一个特征对象为“大象”,第二个特征对象为“狮子”,第三个特征对象为“人”,B候选防御图像中包含三个特征对象,第一个特征对象为“建筑物”,第二个特征对象为“照相机”,第三个特征对象为“人”,C候选防御图像中包含一个特征对象,第一个特征对象为“建筑物”,D候选防御图像中包含四个特征对象,第一个特征对象为“建筑物”,第二个特征对象为“狮子”,第三个特征对象为“人”,第四个特征对象为“照相机”,则A候选防御图像的第一个特征对象的概率为“25%”,第二个特征对象的概率为“50%”,第三个特征对象的概率为“75%”,第四个为空目标的特征对象的概率为“75%”,B候选防御图像的第一个特征对象的概率为“75%”,第二个特征对象的概率为“25%”,第三个特征对象的概率为“75%”,第四个为空目标的特征对象的概率为“75%”,C候选防御图像的第一个特征对象的概率为“75%” ,第二个为空目标的特征对象的概率为“25%”,第三个为空目标的特征对象的概率为“25%”,第四个为空目标的特征对象的概率为“75%”,D候选防御图像的第一个特征对象的概率为“75%”,第二个特征对象的概率为“50%”,第三个特征对象的概率为“25%”,第四个特征对象的概率为“25%”,概率执行计算操作的次数为4次,每一次概率执行计算操作的次数的权重为0.25,将候选防御图像的每一次特征对象的概率与每一次概率执行计算操作的次数的权重相乘所得到的4个结果相加,得到A候选防御图像的目标特征对象的概率为56.25%,B候选防御图像的目标特征对象的概率为62.5%,C候选防御图像的目标特征对象的概率为50%,D候选防御图像的目标特征对象的概率为56.25%。
在操作S530中,根据目标特征数量、目标特征颜色矩、目标特征轮廓、目标特征对象各自对应的权重和每一个候选防御图像的目标特征数量的概率、目标特征颜色矩的概率、目标特征轮廓的概率、目标特征对象的概率,计算得到每一个候选防御图像对应的匹配结果。
根据本发明的实施例,在数据库中存储有一张权重表,权重表中包含有目标特征数量、目标特征颜色矩、目标特征轮廓、目标特征对象各自对应的权重。
例如,在权重表中,目标特征数量对应的权重为0.25、目标特征颜色矩对应的权重为0.25、目标特征轮廓对应的权重为0.25、目标特征对象对应的权重为0.25。
根据本发明的实施例,匹配结果是将目标特征数量对应的权重与候选防御图像的目标特征数量的概率相乘得到的结果、目标特征颜色矩对应的权重与候选防御图像的目标特征颜色矩的概率相乘得到的结果、目标特征轮廓对应的权重与候选防御图像的目标特征轮廓的概率相乘得到的结果、目标特征对象对应的权重与候选防御图像的目标特征对象的概率相乘得到的结果相加,得到的数据为候选防御图像的匹配结果。
例如,A候选防御图像,目标特征数量对应的权重为0.25、目标特征颜色矩对应的权重为0.25、目标特征轮廓对应的权重为0.25、目标特征对象对应的权重为0.25,目标特征数量的概率为50%、目标特征颜色矩的概率为48%、目标特征轮廓的概率为66%、目标特征对象的概率为31%,计算得到匹配结果为0.487。
根据本发明的实施例,由于根据每一个候选防御图像的目标特征识别结果确定了候选防御图像的目标特征数量、目标特征颜色矩、目标特征轮廓和目标特征对象,根据所有候选防御图像的所有目标特征数量、所有目标特征颜色矩、所有目标特征轮廓和所有目标特征对象,计算每一个候选防御图像的目标特征数量的概率、目标特征颜色矩的概率、目标特征轮廓的概率和目标特征对象的概率,根据每一个候选防御图像的目标特征数量、目标特征颜色矩、目标特征轮廓和目标特征对象的概率和其各自的权重,计算得到每一个候选防御图像的匹配结果,从多个维度对候选防御图像的匹配结果进行计算,以提高候选防御图像的匹配结果的准确性,为提高根据匹配结果选择出目标防御图像的准确率。
根据本发明的实施例,通过对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像,包括:
根据本发明的实施例,根据第一防御图像,确定待添加在第一防御图像上的预定噪声信息。
根据本发明的实施例,预定噪声信息是提前设置的待添加在第一防御图像上的噪声信息。
根据本发明的实施例,根据第一防御图像和预定噪声信息,得到第二防御图像。
根据本发明的实施例,将预定噪声信息添加至第一防御图像中,得到带有预定噪声信息的第二防御图像。
根据本发明的实施例,将预定噪声信息添加至第一防御图像中得到的第二防御图像,具有比第一防御图像更高的鲁棒性,能够提高传感器对第二防御图像的泛化能力。
根据本发明的实施例,由于根据第一防御图像确定出待添加在第一防御图像上的预定噪声信息,再将确定的预定噪声信息添加至第一防御图像中,得到带有预定噪声信息的第二防御图像,保证了选择预定噪声信息添加至第一防御图像的准确性,提高了带有预定噪声信息的第二防御图像的鲁棒性。
图6示出了根据本发明实施例的添加预定噪声信息的流程图。
如图6所示,该实施例的添加预定噪声信息的方法包括操作S610~操作S660。
根据本发明的实施例,根据第一防御图像,确定待添加在第一防御图像上的预定噪声信息,包括:
在操作S610中,根据第一防御图像,确定第一防御图像对应的多个模糊信息。
根据本发明的实施例,在数据库中存储有一张模糊信息表,从模糊信息表中即可查询与第一防御图像对应的噪声信息。
根据本发明的实施例,模糊信息可以包括高斯噪声或椒盐噪声或高斯噪声和椒盐噪声的混合噪声。
在操作S620中,根据多个模糊信息和第一防御图像,得到多个第一候选防御图像。
根据本发明的实施例,其中,多个第一候选防御图像与每一个模糊信息相对应。
例如,第一个第一候选防御图像与高斯噪声相对应,第二个第一候选防御图像与椒盐噪声相对应,第三个第一候选防御图像与由高斯噪声和椒盐噪声组合而成的混合噪声相对应。
根据本发明的实施例,第一候选防御图像可以表征为已经将模糊信息添加至第一防御图像后得到的图像。
在操作S630中,对多个第一候选防御图像进行第一特征识别,得到多个第一候选防御图像对应的第一特征识别结果。
根据本发明的实施例,其中,第一特征识别结果中包含第一候选防御图像的第一特征数量、第一特征对象。
根据本发明的实施例,第一特征识别可以表征为对第一候选防御图像中的目标内容进行特征识别。
根据本发明的实施例,第一特征识别结果可以表征为对第一候选防御图像进行第一特征识别后得到的结果。
根据本发明的实施例,第一特征数量可以表征为对第一候选防御图像进行目标特征识别包括的第一特征的数量。
根据本发明的实施例,第一特征对象可以表征为对第一候选防御图像的内容进行识别得到的对象属性,第一候选防御图像中可以包括不止一个第一对象。
例如,对象属性可以包括猫、狗、羊、人、车、斑马线、云、照相机,但不只局限于以上属性。
例如,对A第一候选防御图像进行第一特征识别,得到的第一特征识别结果为“A第一候选防御图像中,第一特征数量有5个,第一特征对象为:人、照相机、渔船、大海、沙滩”。
在操作S640中,根据所有第一候选防御图像的所有第一特征数量和所有第一特征对象,计算每一个第一候选防御图像的第一特征数量的概率和第一特征对象的概率。
根据本发明的实施例,分别统计所有的第一候选防御图像中的所有第一特征数量和所有第一特征对象,取候第一选防御图像中的第一特征数量和第一特征对象分别计算占所有第一特征数量和所有第一特征对象的概率。
根据本发明的实施例,根据每一个第一候选防御图像的第一特征数量和所有第一候选防御图像的第一特征数量,计算每一个第一候选防御图像的第一特征数量的概率。
例如,一共有三个候选防御图像,A第一候选防御图像的第一特征数量为3个,B第一候选防御图像的第一特征数量为2个,C第一候选防御图像的第一特征数量为3个,第一特征数量为3个的第一候选防御图像有2个,第一特征数量为1个的第一候选防御图像有1个,则A第一候选防御图像的第一特征数量的概率为66.6%,B第一候选防御图像的第一特征数量的概率为33.3%,C第一候选防御图像的第一特征数量的概率为66.6%。
根据本发明的实施例,根据第一候选防御图像中的第一特征对象的对象属性和所有第一候选防御图像的第一特征对象的对象属性,计算每一个第一候选防御图像的第一特征属性的概率。
例如,A第一候选防御图像中的第一特征对象为“大象”,B第一候选防御图像中的第一特征对象为“狮子”,C第一候选防御图像中的第一特征对象为“摄像头”,D第一候选防御图像中的第一特征对象为“摄像头”,则A第一候选防御图像的第一特征对象的概率为25%,B第一候选防御图像的第一特征对象的概率为25%,C第一候选防御图像的第一特征对象的概率为50%,D第一候选防御图像的第一特征对象的概率为50%。
例如,A第一候选防御图像中包含三个第一特征对象,第一个第一特征对象为“大象”,第二个第一特征对象为“狮子”,第三个第一特征对象为“人”,B第一候选防御图像中包含三个第一特征对象,第一个第一特征对象为“建筑物”,第二个第一特征对象为“照相机”,第三个第一特征对象为“人”,C第一候选防御图像中包含一个第一特征对象,第一个第一特征对象为“建筑物”,D第一候选防御图像中包含四个第一特征对象,第一个第一特征对象为“建筑物”,第二个第一特征对象为“狮子”,第三个第一特征对象为“人”,第四个第一特征对象为“照相机”,则A第一候选防御图像的第一个第一特征对象的概率为“25%”,第二个第一特征对象的概率为“50%”,第三个第一特征对象的概率为“75%”,第四个为空目标的第一特征对象的概率为“75%”,B第一候选防御图像的第一个第一特征对象的概率为“75%”,第二个第一特征对象的概率为“25%”,第三个第一特征对象的概率为“75%”,第四个为空目标的第一特征对象的概率为“75%”,C第一候选防御图像的第一个第一特征对象的概率为“75%”,第二个为空目标的第一特征对象的概率为“25%”,第三个为空目标的第一特征对象的概率为“25%”,第四个为空目标的第一特征对象的概率为“75%”,D第一候选防御图像的第一个第一特征对象的概率为“75%” ,第二个第一特征对象的概率为“50%”,第三个第一特征对象的概率为“25%”,第四个第一特征对象的概率为“25%”,概率执行计算操作的次数为4次,每一次概率执行计算操作的次数的权重为0.25,将第一候选防御图像的每一次第一特征对象的概率与每一次概率执行计算操作的次数的权重相乘所得到的4个结果相加,得到A第一候选防御图像的第一特征对象的概率为56.25%,B第一候选防御图像的第一特征对象的概率为62.5%,C第一候选防御图像的第一特征对象的概率为50%,D第一候选防御图像的第一特征对象的概率为56.25%。
在操作S650中,根据第一特征数量和第一特征对象各自对应的权重和每一个候选防御图像的第一特征数量的概率和第一特征对象的概率,计算得到每一个第一候选防御图像对应的第一匹配结果。
根据本发明的实施例,其中,每一个匹配结果与每一个第一候选防御图像相对应。
根据本发明的实施例,在数据库中的权重表中还包含有第一特征数量和第一特征对象各自对应的权重。
例如,在权重表中,第一特征数量对应的权重为0.5,第一特征对象对应的权重为0.5。
根据本发明的实施例,第一匹配结果可以表征为对第一候选防御图像中的特征进行计算后得到的与第一候选防御图像对应的第一特征匹配度。
根据本发明的实施例,第一匹配结果是将第一特征数量对应的权重和第一候选防御图像的第一特征数量的概率相乘得到的结果与第一特征对象对应的权重和第一候选防御图像的第一特征对象的概率相乘得到的结果相加,得到的数据为第一候选防御图像的第一匹配结果。
例如,A第一候选防御图像,第一特征数量对应的权重为0.5、第一特征对象对应的权重为0.5,第一特征数量的概率为66.6%、第一特征对象的概率为50%,计算得到匹配结果为0.583。
在操作S660中,根据多个第一匹配结果,确定第一目标匹配结果和第一目标匹配结果对应的模糊信息为预定噪声信息。
根据本发明的实施例,从多个第一匹配结果中,选择最大的匹配结果为第一目标匹配结果。
例如,A第一候选防御图像的第一匹配结果为0.89,B第一候选防御图像的第一匹配结果为0.65,C第一候选防御图像的第一匹配结果为0.93,则确定第一目标匹配结果为A第一候选防御图像的第一匹配结果0.89。
根据本发明的实施例,根据第一目标匹配结果确定第一目标匹配结果对应的第一候选防御图像中的噪声信息为预定噪声信息。
根据本发明的实施例,由于根据第一防御图像确定出多个模糊信息,将多个模糊信息分别添加至第一防御图像中,得到多个第一候选防御图像,对多个第一候选防御图像进行第一特征识别得到每一个第一候选防御图像的第一特征识别结果,计算每一个第一候选防御图像的第一特征数量的概率和第一特征对象的概率,根据第一特征数量的概率和第一特征对象的概率得到第一候选防御图像的第一匹配结果,根据每一个第一候选防御图像的匹配结果从中选择最高的第一匹配结果作为第一目标匹配结果,根据第一目标匹配结果查找对应的模糊信息并确认为待添加的预定噪声信息,实现了从多个模糊信息中确定出待添加至第一防御图像中的预定噪声信息,多维度的判定最佳的模糊信息作为预定噪声信息,提高了添加至第一防御图像中的预定噪声信息的准确性,弱化第一防御图像中的噪声信息的特征,进一步的提高第二防御图像的鲁棒性。
根据本发明的实施例,对带有预定噪声信息的第二防御图像还可以再进行高斯模糊处理或椒盐模糊处理或高斯模糊和椒盐模糊共同处理。
根据本发明的实施例,对带有预定噪声信息的第二防御图像进行高斯模糊处理或椒盐模糊处理或高斯模糊和椒盐模糊共同处理,可以均匀的减少第二防御图像中的噪声信息,弱化全局噪声信息和噪声特征,使第二防御图像更加清晰。
根据本发明的实施例,选择高斯模糊处理或椒盐模糊处理或高斯模糊和椒盐模糊共同处理,可以参考选择添加在第一防御图像上的预定噪声信息的方法,对模糊处理后的第二防御图像的特征进行识别,得到包含有特征数量和特征对象的识别结果,根据识别结果计算第二防御图像中的特征数量的概率和特征对象的概率,根据第二防御图像中的特征数量的概率和特征对象的概率得到第二防御图像对应的匹配结果,选择最优的匹配结果对应的模糊处理为对第二防御图像进行操作的具体模糊处理。
图7示出了根据本发明实施例的局部添加预定噪声信息的流程图。
如图7所示,该实施例的局部添加预定噪声信息的方法包括操作S710~操作S730。
根据本发明的实施例,根据第一防御图像和预定噪声信息,得到第二防御图像,包括:
在操作S710中,对第一防御图像进行第一特征轮廓识别,得到第一特征轮廓识别结果。
根据本发明的实施例,第一特征轮廓可以表征为第一防御图像中的目标特征的轮廓线所围成的区域,第一防御图像中可以包括不止一个目标特征轮廓。
根据本发明的实施例,第一特征轮廓结果可以表征为在第一防御图像中由完整闭合的轮廓线所围成的区域。
在操作S720中,根据第一特征轮廓识别结果,从第一防御图像中确定待添加预定噪声信息的区域。
根据本发明的实施例,待添加预定噪声信息的区域可以为第一特征轮廓识别结果中的区域。
在操作S730中,将预定噪声信息添加至第一防御图像的待添加预定噪声信息的区域中,得到第二防御图像。
根据本发明的实施例,由于对第一防御图像进行第一特征轮廓识别,得到第一防御图像的第一特征轮廓识别结果,根据第一特征轮廓识别结果确定出待添加预定噪声信息的区域,将预定噪声信息添加至待添加预定噪声信息的区域,得到第二防御图像,实现了对第一防御图像局部添加预定噪声信息,得到了局部添加有预定噪声信息的第二防御图像,实现了精准的对第一防御图像添加预定噪声信息,弱化第一防御图像中聚集的噪声信息特征,提高第二防御图像的鲁棒性。
根据本发明的实施例,根据第一防御图像和预定噪声信息,得到第二防御图像,还包括:
根据本发明的实施例,对第一防御图像添加预定噪声信息,得到第二防御图像。
根据本发明的实施例,由于对第一防御图像直接添加预定噪声信息,得到第二防御图像,实现了对第一防御图像的全部区域均添加了预定噪声信息,弱化第一防御图像中聚集的噪声信息特征,提高第二防御图像的鲁棒性。
根据本发明的实施例,预定噪声信息既可以选择对第一防御图像全局添加,也可以选择对第一防御图像的局部添加,实现了灵活选择添加预定噪声的第一防御图像中的区域,可以有针对性的选择添加预定噪声信息的区域,有针对性的对全局或局部的噪声信息特征进行弱化,提高第二防御图像的鲁棒性和可被识别能力。
根据本发明的实施例,在调整第二防御图像的通道参数前,需要调整第二防御图像的图像格式为PNG格式。
根据本发明的实施例,由于常见的图像格式为JPG、JPEG、PNG、GIF、BMP五种图像格式,而JPG、JPEG、BMP三种图像格式没有透明度通道参数,GIF有透明度通道参数的,但GIF的透明度通道参数只能修改为完全透明或完全不透明两种状态,而不能具体地调节透明度通道参数,因此,选择PNG格式的图像,PNG格式的图像拥有红绿蓝三种原色通道和透明度通道,且通明度通道参数可以从0-256之间进行调整。
根据本发明的实施例,进一步地,对受到攻击的图像采用不同的对抗防御进行测试,测试结果如表1所示。
表1
由表1可知,对抗防御方法包括:不使用任何方法、HGD(High-LevelRepresentation Guided Denoiser,高级表示指导去躁器)方法、ComDefend(An EfficientImage Compression Model to Defend Adversarial Examples,一种有效的对抗性实例图像压缩模型)方法、本发明方法,对图像进行对抗攻击的方法可以包括:边界攻击方法、BHE(Basin Hopping Evolution,盆地跳跃演化)方法、FDSM(Fast Gradient Sign Method,快速梯度符号算法)方法、C&W(Carlini and Wagner Attacks,Carlini 和 Wagner 进攻)方法。
在测试中我们发现,在不对图像进行对抗防御的情况下,除非原始图像没有受到对抗攻击,否则传感器对受到任意一种对抗攻击的图像进行识别的准确率都很低,在对图像采用HGD方法对抗防御的情况下,除非图像没有受到任何攻击,否则传感器对受到任意一种对抗攻击的图像进行识别的准确率比不进行对抗防御的图像的准确率要高,但是识别准确率的效果仍是一般,在对图像采用ComDefend方法对抗防御的情况下,除非图像没有受到任何攻击,否则传感器对受到任意一种对抗攻击的图像进行识别的准确率比采用HGD方法对抗防御的图像的准确率要高,识别准确率的效果较好。
而在对图像采用本发明的方法对抗防御后,我们可以发现,即使在图像没有受到任何攻击的情况下也能保证高识别正确率,并且,在传感器对受到任意一种对抗攻击的图像后进行识别的准确率均高于采用其他方法对抗防御的图像的准确率,例如,在采用本发明的方法对被BHE对抗攻击后的图像对抗防御后的识别准确率为74%,而在对图像采用ComDefend的方法对抗防御后的识别准确率为48%,而在对图像采用HGD的方法对抗防御后的识别准确率为43%,而在对图像不采用对抗防御方法后的识别准确率为37%,因此,在四种对抗防御方法中,采用本发明的方法的平均对抗防御方法后的识别准确率是最高的。
基于上述提高图像对抗防御能力的方法,本发明还提供了一种提高图像对抗防御能力的生成装置。以下将结合图9对该装置进行详细描述。
图8示出了根据本发明实施例的提高图像对抗防御能力的装置的结构框图。
如图8所示,该实施例的图像修复装置包括获取模块810、压缩模块820、添加模块830和调整模块840。
获取模块810,用于获取含有噪声信息的具有攻击性的样本图像,其中,具有攻击性的样本图像是在采集设备受到外界信号攻击的情况下采集得到的,外界信号攻击采集设备的过程表征为对抗攻击。在一实施例中,获取模块810可以用于执行前文描述的操作S210,在此不再赘述。
压缩模块820,用于针对具有攻击性的样本图像包含的噪声信息进行压缩处理,得到第一防御图像,其中,第一防御图像含有第一噪声信息,第一噪声信息表征为压缩后的部分噪声信息。在一实施例中,压缩模块820可以用于执行前文描述的操作S220,在此不再赘述。
添加模块830,用于通过对第一防御图像添加预定噪声信息,得到带有预定噪声信息的第二防御图像。在一实施例中,添加模块830可以用于执行前文描述的操作S230,在此不再赘述。
调整模块840,用于调整第二防御图像的通道参数,得到满足预定条件的目标防御图像,其中,通道参数包括三原色通道参数和透明度通道参数,目标防御图像是指能够正确识别图像内容的防御图像。在一实施例中,调整模块840可以用于执行前文描述的操作S240,在此不再赘述。
根据本发明的实施例,调整模块840包括:第一获取子模块、第一确定子模块、第一调整子模块和第二确定子模块。
第一获取子模块,用于根据第二防御图像的通道参数,获取第二防御图像的初始透明度通道参数。
第一确定子模块,用于根据初始透明度通道参数,确定初始透明度通道参数对应的多个可选择调整比例,根据多个可选择调整比例和初始透明度通道参数,得到多个候选透明度通道参数。
第一调整子模块,用于基于多个候选透明度通道参数,调整第二防御图像的初始透明度通道参数,生成多个候选防御图像,其中,每个候选防御图像与每一个候选透明度通道参数相对应。
第二确定子模块,用于从多个候选防御图像中确定满足预定条件的候选防御图像为目标防御图像。
根据本发明的实施例,第二确定子模块包括:第一识别单元、第一匹配单元、第一选取单元。
第一识别单元,用于对多个候选防御图像进行目标特征识别,得到与多个候选防御图像对应的多个目标特征识别结果。
第一匹配单元,用于根据多个目标特征识别结果,对多个候选防御图像中的目标特征进行特征匹配,得到每一个候选防御图像对应的匹配结果。
第一选取单元,用于从所有匹配结果中按照预定条件确定目标匹配结果,选取与目标匹配结果对应的候选防御图像为目标防御图像。
根据本发明的实施例,第一匹配单元包括:第一确定特征子单元、第一计算概率子单元、第一计算匹配结果子单元。
第一确定特征子单元,用于根据得到的多个目标特征识别结果,确定每一个候选防御图像中的目标特征数量、目标特征颜色矩、目标特征轮廓和目标特征对象。
第一计算概率子单元,用于根据所有候选防御图像的所有目标特征数量、所有目标特征颜色矩、所有目标特征轮廓和所有目标特征对象,计算每一个候选防御图像的目标特征数量的概率、所述目标特征颜色矩的概率、目标特征轮廓的概率和目标特征对象的概率。
第一计算匹配结果子单元,用于根据目标特征数量、目标特征颜色矩、目标特征轮廓、和目标特征对象各自对应的权重和每一个候选防御图像的目标特征数量的概率、目标特征颜色矩的概率、目标特征轮廓的概率、目标特征对象的概率,计算得到每一个候选防御图像对应的匹配结果。
根据本发明的实施例,添加模块830包括:第三确定子模块、第一得到子模块。
第三确定子模块,用于根据第一防御图像,确定待添加在第一防御图像上的预定噪声信息。
第一得到子模块,用于根据第一防御图像和预定噪声信息,得到第二防御图像。
根据本发明的实施例,第三确定子模块包括:第一确定单元、第一得到单元、第二识别单元、第一计算单元、第二计算单元、第二确定单元。
第一确定单元,用于根据第一防御图像,确定第一防御图像对应的多个模糊信息。
第一得到单元,用于根据多个模糊信息和第一防御图像,得到多个第一候选防御图像,其中,多个第一候选防御图像与每一个模糊信息相对应。
第二识别单元,用于对多个第一候选防御图像进行第一特征识别,得到多个第一候选防御图像对应的第一特征识别结果,其中,第一特征识别结果中包含第一候选防御图像的第一特征数量、第一特征对象。
第一计算单元,用于根据所有第一候选防御图像的所有第一特征数量和所有第一特征对象,计算每一个第一候选防御图像的第一特征数量的概率和第一特征对象的概率。
第二计算单元,用于根据第一特征数量和第一特征对象各自对应的权重和每一个候选防御图像的第一特征数量的概率和第一特征对象的概率,计算得到每一个第一候选防御图像对应的第一匹配结果,其中,每一个匹配结果与每一个第一候选防御图像相对应。
第二确定单元,用于根据多个第一匹配结果,确定第一目标匹配结果和第一目标匹配结果对应的模糊信息为预定噪声信息。
根据本发明的实施例,第一得到子模块包括:第一识别轮廓单元、第一确定区域单元、第一添加单元。
第一识别轮廓单元,用于对第一防御图像进行第一特征轮廓识别,得到第一特征轮廓识别结果。
第一确定区域单元,用于根据第一特征轮廓识别结果,从第一防御图像中确定待添加预定噪声信息的区域。
第一添加单元,用于将预定噪声信息添加至第一防御图像的待添加预定噪声信息的区域中,得到第二防御图像。
根据本发明的实施例,第一得到子模块还包括:第二添加单元。
第二添加单元,用于对第一防御图像添加预定噪声信息,得到第二防御图像。
根据本发明的实施例,获取模块810、压缩模块820、添加模块830和调整模块840中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,获取模块810、压缩模块820、添加模块830和调整模块840中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块810、压缩模块820、添加模块830和调整模块840中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图9示出了根据本发明实施例的适于应用提高图像对抗防御能力的方法的电子设备的方框图。
如图9所示,根据本发明实施例的电子设备包括处理器901,其可以根据存储在只读存储器ROM 902中的程序或者从存储部分908加载到随机访问存储器RAM 903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 903中,存储有电子设备操作所需的各种程序和数据。处理器 901、ROM 902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例,电子设备还可以包括输入/输出(I/O)接口905,输入/输出(I/O)接口905也连接至总线904。电子设备还可以包括连接至I/O接口905的以下部件中的一项或多项:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本发明实施例的方法。
根据本发明的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本发明的实施例,计算机可读存储介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本发明实施例所提供的提高图像对抗防御能力的方法。
在该计算机程序被处理器901执行时执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分909被下载和安装,和/或从可拆卸介质911被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时,执行本发明实施例的系统中限定的上述功能。根据本发明的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本发明的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本发明中。特别地,在不脱离本发明精神和教导的情况下,本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本发明的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本发明的范围之内。
Claims (10)
1.一种提高图像对抗防御能力的方法,其特征在于,包括:
获取含有噪声信息的具有攻击性的样本图像,其中,所述具有攻击性的样本图像是在采集设备受到外界信号攻击的情况下采集得到的,所述外界信号攻击所述采集设备的过程表征为对抗攻击;
针对所述具有攻击性的样本图像包含的所述噪声信息进行压缩处理,得到第一防御图像,其中,所述第一防御图像含有第一噪声信息,所述第一噪声信息表征为压缩后的部分噪声信息;
通过对所述第一防御图像添加预定噪声信息,得到带有所述预定噪声信息的第二防御图像;
调整所述第二防御图像的通道参数,得到满足预定条件的目标防御图像,其中,所述通道参数包括三原色通道参数和透明度通道参数,所述目标防御图像是指能够正确识别图像内容的防御图像。
2.根据权利要求1所述的方法,其特征在于,所述调整所述第二防御图像的通道参数,得到满足预定条件的目标防御图像,包括:
根据所述第二防御图像的通道参数,获取所述第二防御图像的初始透明度通道参数;
根据所述初始透明度通道参数,确定所述初始透明度通道参数对应的多个可选择调整比例,根据所述多个可选择调整比例和所述初始透明度通道参数,得到多个候选透明度通道参数;
基于所述多个候选透明度通道参数,调整所述第二防御图像的初始透明度通道参数,生成多个候选防御图像,其中,每个所述候选防御图像与每一个所述候选透明度通道参数相对应;
从所述多个候选防御图像中确定满足预定条件的候选防御图像为目标防御图像。
3.根据权利要求2所述的方法,其特征在于,所述从所述多个候选防御图像中确定满足预定条件的候选防御图像为目标防御图像,包括:
对所述多个候选防御图像进行目标特征识别,得到与所述多个候选防御图像对应的多个目标特征识别结果;
根据所述多个目标特征识别结果,对所述多个候选防御图像中的目标特征进行特征匹配,得到每一个所述候选防御图像对应的匹配结果;
从所有所述匹配结果中按照所述预定条件确定目标匹配结果,选取与所述目标匹配结果对应的所述候选防御图像为所述目标防御图像。
4.根据权利要求3所述的方法,其特征在于,所述根据所述多个目标特征识别结果,对所述多个候选防御图像中的目标特征进行特征匹配,得到每一个所述候选防御图像对应的匹配结果,包括:
根据得到的所述多个目标特征识别结果,确定所述每一个候选防御图像中的目标特征数量、目标特征颜色矩、目标特征轮廓和目标特征对象;
根据所有所述候选防御图像的所有目标特征数量、所有目标特征颜色矩、所有目标特征轮廓和所有目标特征对象,计算所述每一个候选防御图像的所述目标特征数量的概率、所述目标特征颜色矩的概率、所述目标特征轮廓的概率和所述目标特征对象的概率;
根据所述目标特征数量、所述目标特征颜色矩、所述目标特征轮廓和所述目标特征对象各自对应的权重和所述每一个候选防御图像的所述目标特征数量的概率、所述目标特征颜色矩的概率、所述目标特征轮廓的概率和所述目标特征对象的概率,计算得到所述每一个候选防御图像对应的所述匹配结果。
5.根据权利要求1所述的方法,其特征在于,所述通过对所述第一防御图像添加预定噪声信息,得到带有所述预定噪声信息的第二防御图像,包括:
根据所述第一防御图像,确定待添加在所述第一防御图像上的所述预定噪声信息;
根据所述第一防御图像和所述预定噪声信息,得到所述第二防御图像。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一防御图像,确定待添加在所述第一防御图像上的所述预定噪声信息,包括:
根据所述第一防御图像,确定所述第一防御图像对应的多个模糊信息;
根据所述多个模糊信息和所述第一防御图像,得到多个第一候选防御图像,其中,所述多个第一候选防御图像与每一个所述模糊信息相对应;
对所述多个第一候选防御图像进行第一特征识别,得到所述多个第一候选防御图像对应的第一特征识别结果,其中,所述第一特征识别结果中包含所述第一候选防御图像的第一特征数量、第一特征对象;
根据所有所述第一候选防御图像的所有第一特征数量和所有第一特征对象,计算每一个所述第一候选防御图像的所述第一特征数量和所述第一特征对象的概率;
根据所述第一特征数量和所述第一特征对象各自对应的权重和所述每一个候选防御图像的所述第一特征数量和所述第一特征对象的概率,计算得到所述每一个第一候选防御图像对应的第一匹配结果,其中,每一个所述匹配结果与所述每一个第一候选防御图像相对应;
根据多个所述第一匹配结果,确定第一目标匹配结果和所述第一目标匹配结果对应的模糊信息为所述预定噪声信息。
7.根据权利要求5所述的方法,其特征在于,所述根据所述第一防御图像和所述预定噪声信息,得到所述第二防御图像,包括:
对所述第一防御图像进行第一特征轮廓识别,得到第一特征轮廓识别结果;
根据所述第一特征轮廓识别结果,从所述第一防御图像中确定待添加预定噪声信息的区域;
将所述预定噪声信息添加至所述第一防御图像的所述待添加预定噪声信息的区域中,得到所述第二防御图像。
8.根据权利要求5所述的方法,其特征在于,所述根据所述第一防御图像和所述预定噪声信息,得到所述第二防御图像,还包括:
对所述第一防御图像添加所述预定噪声信息,得到所述第二防御图像。
9.一种提高图像对抗防御能力的装置,其特征在于,包括:
获取模块,用于获取含有噪声信息的具有攻击性的样本图像,其中,所述具有攻击性的样本图像是在采集设备受到外界信号攻击的情况下采集得到的,所述外界信号攻击所述采集设备的过程表征为对抗攻击;
压缩模块,用于针对所述样本图像包含的所述噪声信息进行压缩处理,得到第一防御图像,其中,所述第一防御图像含有第一噪声信息,所述第一噪声信息表征为压缩后的部分噪声信息;
添加模块,用于通过对所述第一防御图像添加预定噪声信息,得到带有所述预定噪声信息的第二防御图像;
调整模块,用于调整所述第二防御图像的通道参数,得到满足预定条件的目标防御图像,其中,所述通道参数包括三原色通道参数和透明度通道参数,所述目标防御图像是指能够正确识别图像内容的防御图像。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311725360.3A CN117408907B (zh) | 2023-12-15 | 2023-12-15 | 提高图像对抗防御能力的方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311725360.3A CN117408907B (zh) | 2023-12-15 | 2023-12-15 | 提高图像对抗防御能力的方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117408907A CN117408907A (zh) | 2024-01-16 |
CN117408907B true CN117408907B (zh) | 2024-03-22 |
Family
ID=89498392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311725360.3A Active CN117408907B (zh) | 2023-12-15 | 2023-12-15 | 提高图像对抗防御能力的方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117408907B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110189384A (zh) * | 2018-02-22 | 2019-08-30 | 深圳市萌蛋互动网络有限公司 | 基于Unity3D的图像压缩方法、装置、计算机设备和存储介质 |
CN110717522A (zh) * | 2019-09-18 | 2020-01-21 | 平安科技(深圳)有限公司 | 图像分类网络的对抗防御方法及相关装置 |
CN113822328A (zh) * | 2021-08-05 | 2021-12-21 | 厦门市美亚柏科信息股份有限公司 | 防御对抗样本攻击的图像分类方法、终端设备及存储介质 |
CN115619616A (zh) * | 2022-11-09 | 2023-01-17 | 齐鲁空天信息研究院 | 基于水印扰动的对抗样本生成方法、装置、设备及介质 |
CN116257648A (zh) * | 2023-03-21 | 2023-06-13 | 浙江大学滨江研究院 | 基于噪声网络和图像预处理的图像检索防御方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140270409A1 (en) * | 2013-03-15 | 2014-09-18 | Eyelock, Inc. | Efficient prevention of fraud |
CN113554089B (zh) * | 2021-07-22 | 2023-04-18 | 西安电子科技大学 | 一种图像分类对抗样本防御方法、系统及数据处理终端 |
-
2023
- 2023-12-15 CN CN202311725360.3A patent/CN117408907B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110189384A (zh) * | 2018-02-22 | 2019-08-30 | 深圳市萌蛋互动网络有限公司 | 基于Unity3D的图像压缩方法、装置、计算机设备和存储介质 |
CN110717522A (zh) * | 2019-09-18 | 2020-01-21 | 平安科技(深圳)有限公司 | 图像分类网络的对抗防御方法及相关装置 |
CN113822328A (zh) * | 2021-08-05 | 2021-12-21 | 厦门市美亚柏科信息股份有限公司 | 防御对抗样本攻击的图像分类方法、终端设备及存储介质 |
CN115619616A (zh) * | 2022-11-09 | 2023-01-17 | 齐鲁空天信息研究院 | 基于水印扰动的对抗样本生成方法、装置、设备及介质 |
CN116257648A (zh) * | 2023-03-21 | 2023-06-13 | 浙江大学滨江研究院 | 基于噪声网络和图像预处理的图像检索防御方法及系统 |
Non-Patent Citations (3)
Title |
---|
Image Super-Resolution as a Defense Against Adversarial Attacks;Aamir Mustafa 等;IEEE Transactions on Image Processing;20190919;第1711 - 1724页 * |
基于冗余信息压缩的深度学习对抗样本防御方案;许笑;陈奕君;冯诗羽;谢理哲;曹玖新;胡轶宁;;网络空间安全;20200825(第08期);第11-16页 * |
深度学习模型的中毒攻击与防御综述;陈晋音;邹健飞;苏蒙蒙;张龙源;;信息安全学报;20200715(第04期);第14-29页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117408907A (zh) | 2024-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10943145B2 (en) | Image processing methods and apparatus, and electronic devices | |
Marcu et al. | SafeUAV: Learning to estimate depth and safe landing areas for UAVs from synthetic data | |
CN108337505B (zh) | 信息获取方法和装置 | |
CN114331829A (zh) | 一种对抗样本生成方法、装置、设备以及可读存储介质 | |
CN109472193A (zh) | 人脸检测方法及装置 | |
JP2018072938A (ja) | 目的物個数推定装置、目的物個数推定方法及びプログラム | |
US11694331B2 (en) | Capture and storage of magnified images | |
CN109949242A (zh) | 图像去雾模型的生成方法、装置及图像去雾方法、装置 | |
CN112102207A (zh) | 一种确定温度的方法、装置、电子设备及可读存储介质 | |
CN113222921A (zh) | 一种图像处理方法及系统 | |
CN115205780A (zh) | 一种工地违规的监控方法、系统、介质及电子设备 | |
CN114187515A (zh) | 图像分割方法和图像分割装置 | |
Choudhary et al. | Image dehazing using deep learning techniques | |
CN113011254B (zh) | 一种视频数据处理方法、计算机设备及可读存储介质 | |
CN115880765A (zh) | 区域入侵异常行为检测方法、装置及计算机设备 | |
CN105989571A (zh) | 基于使用结构相似性的图像匹配对计算机视觉预处理进行的控制 | |
CN113052923A (zh) | 色调映射方法、装置、电子设备和存储介质 | |
CN117408907B (zh) | 提高图像对抗防御能力的方法、装置及电子设备 | |
Li et al. | Inferring fine-grained PM2. 5 with bayesian based kernel method for crowdsourcing system | |
Hernandez-Beltran et al. | Real-time image dehazing using genetic programming | |
Blok et al. | Development of an open-source toolbox for the analysis and visualization of remotely sensed time series | |
Rashed et al. | Improved moving object detection algorithm based on adaptive background subtraction | |
Furlanetto et al. | A mobile application to identify poison ivy (Toxicodendron radicans) plants in real time using convolutional neural network | |
Gilmore et al. | Assessment of synthetic image fidelity | |
CN112329606B (zh) | 一种活体检测方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |