CN112861950A - 翻拍图像的识别方法、装置、电子设备及存储介质 - Google Patents
翻拍图像的识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112861950A CN112861950A CN202110127232.3A CN202110127232A CN112861950A CN 112861950 A CN112861950 A CN 112861950A CN 202110127232 A CN202110127232 A CN 202110127232A CN 112861950 A CN112861950 A CN 112861950A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- features
- self
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000000605 extraction Methods 0.000 claims abstract description 83
- 238000013145 classification model Methods 0.000 claims abstract description 73
- 238000004590 computer program Methods 0.000 claims abstract description 13
- 230000015654 memory Effects 0.000 claims description 137
- 238000012549 training Methods 0.000 claims description 54
- 238000013507 mapping Methods 0.000 claims description 34
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 9
- 230000002829 reductive effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000002708 enhancing effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005728 strengthening Methods 0.000 description 3
- 230000003313 weakening effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种翻拍图像的识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品;方法包括:获取待识别图像,并将待识别图像输入至自编码模型;通过自编码模型的特征提取层,对待识别图像进行特征提取,得到待识别图像的图像特征;通过自编码模型的特征增强层,对待识别图像的图像特征进行特征增强,得到相应的图像增强特征;通过自编码模型的图像重建层,对图像增强特征进行图像重建,得到对应待识别图像的重建图像;将重建图像输入至分类模型,通过分类模型对重建图像进行分类,得到分类结果,分类结果用于指示待识别图像是否为翻拍图像。通过本申请能够准确识别翻拍图像。
Description
技术领域
本申请涉及图像处理技术,尤其涉及一种翻拍图像的识别方法、装置、电子设备及计算机可读存储介质。
背景技术
图像识别技术是人工智能的一个重要领域。它是指对图像进行对象识别,以识别各种不同模式的目标和对像的技术。目前图像识别技术日渐成熟,并且广泛应用于人脸,动物及其他物体等方面。
随着信用社会的发展,在金融、保险、政务等线上业务系统中,需要通过证件识别等对用户信息进行验证,随着数据拍照技术的提升,以高清翻拍图像为主的攻击样本可能带来安全隐患。为降低风险,需对此类翻拍图像进行检测与过滤。
相关技术中,基于深度学习的翻拍图像的检测与过滤方案需收集大量翻拍图像样本和正常图像样本并进行人工标注,人工过滤效率低下,且对高刷新率、高分辨率成像设备拍摄的高保真翻拍图像仍难以准确分辨。
发明内容
本申请实施例提供一种翻拍图像的识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够提高识别翻拍图像的准确率和命中率。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种翻拍图像的识别方法,包括:
获取待识别图像,并将所述待识别图像输入至自编码模型;
通过所述自编码模型的特征提取层,对所述待识别图像进行特征提取,得到所述待识别图像的图像特征;
通过所述自编码模型的特征增强层,对所述待识别图像的图像特征进行特征增强,得到相应的图像增强特征;
通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述待识别图像的重建图像;
将所述重建图像输入至分类模型,通过所述分类模型对所述重建图像进行分类,得到分类结果,所述分类结果用于指示所述待识别图像是否为翻拍图像。
本申请实施例提供一种翻拍图像的识别装置,包括:
图像获取模块,用于获取待识别图像,并将所述待识别图像输入至自编码模型;
特征提取模块,用于通过所述自编码模型的特征提取层,对待识别图像进行特征提取,得到所述待识别图像的图像特征;
特征增强模块,用于通过所述自编码模型的特征增强层,对所述待识别图像的图像特征进行特征增强,得到相应的图像增强特征;
图像重建模块,用于通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述待识别图像的重建图像;
分类模块,用于将所述重建图像输入至分类模型,通过所述分类模型对所述重建图像进行分类,得到分类结果,所述分类结果用于指示所述待识别图像是否为翻拍图像。
上述方案中,所述特征增强层包括特征映射层和包括多个记忆单元的特征记忆层;所述特征增强模块,还用于通过所述特征映射层对所述图像特征进行地址映射,得到与所述特征记忆层中各记忆单元对应的地址权重;通过所述特征记忆层,基于各记忆单元对应的地址权重,对各所述记忆单元中的图像特征进行加权求和,得到与所述待识别图像的图像特征相对应的图像增强特征。
上述方案中,所述特征增强模块,还用于通过所述特征映射层,分别确定所述待识别图像的图像特征与所述各记忆单元中图像特征的相似度;将所述待识别图像的图像特征与所述各记忆单元中图像特征的相似度,作为相应记忆单元的地址权重。
上述方案中,所述特征增强模块,还用于通过所述特征记忆层,对各记忆单元对应的地址权重进行排列,得到地址权重序列;依据权重由大到小的顺序,截取部分所述地址权重序列;基于部分所述地址权重序列中的地址权重,对相应记忆单元中的图像特征进行加权求和,得到与所述待识别图像的图像特征相对应的图像增强特征。
上述方案中,所述自编码模型的特征提取层包括图像压缩层;所述特征提取模块,还用于通过所述图像压缩层,对所述待识别图像进行图像压缩,得到与所述待识别图像对应的压缩图像;对所述压缩图像进行特征提取,得到与所述压缩图像对应的压缩图像特征;相应的,所述通过所述自编码模型的特征增强层,对所述待识别图像的图像特征进行特征增强,得到相应的图像增强特征,包括:所述通过所述自编码模型的特征增强层,对所述压缩图像特征进行特征增强,得到相应的压缩图像增强特征。
上述方案中,所述自编码模型的图像重建层包括与所述图像压缩层对应的图像还原层;所述图像重建模块,还用于通过所述图像还原层,对所述图像增强特征进行维度还原,得到与待识别图像的特征维度相同的还原图像特征;对所述还原图像特征进行图像重建,得到对应所述待识别图像的重建图像。
上述方案中,所述翻拍图像的识别装置还包括:自编码模型训练模块,用于采集原始图像,构建图像训练集;通过所述自编码模型的特征提取层,对所述图像训练集中的原始图像进行特征提取,得到所述原始图像的图像特征;通过所述自编码模型的特征增强层,对所述原始图像的图像特征进行特征增强,得到相应的图像增强特征;通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述原始图像的重建图像;基于所述重建图像与所述原始图像之间的误差,更新所述自编码模型的模型参数,得到训练完成的自编码模型,以通过训练完成的自编码模型对待识别图像进行处理得到相应的重建图像,并通过分类模型对所述待识别图像的重建图像进行分类,得到指示所述待识别图像是否为翻拍图像的分类结果。
上述方案中,所述翻拍图像的识别还包括:分类模型训练模块,用于将分类图像样本输入分类模型;其中,所述分类图像样本携带有分类标签,所述分类标签,用于指示所述分类图像样本归属的分类类别,所述分类类别包含翻拍图像和非翻拍图像;通过所述分类模型对所述分类图像样本进行预测,得到预测分类结果;基于所述预测分类结果与所述分类标签之间的误差,更新所述分类模型的模型参数,得到训练完成的分类模型,以通过分类模型对待分类图像进行分类,得到指示所述待分类图像是否为翻拍图像的分类结果。
本申请实施例提供一种自编码模型的训练方法,包括:
采集原始图像,构建图像训练集;
通过所述自编码模型的特征提取层,对所述图像训练集中的原始图像进行特征提取,得到所述原始图像的图像特征;
通过所述自编码模型的特征增强层,对所述原始图像的图像特征进行特征增强,得到相应的图像增强特征;
通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述原始图像的重建图像;
基于所述重建图像与所述原始图像之间的误差,更新所述自编码模型的模型参数。
本申请实施例提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的翻拍图像的识别方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的翻拍图像的识别方法。
本申请实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本申请实施例提供的翻拍图像的识别方法。
本申请实施例具有以下有益效果:
与相关技术中通过搭建深层的卷积神经网络对翻拍、非翻拍样本进行分类且需要进行大量人工标注的方式相比,本申请实施例将待识别图像输入自编码模型,通过特征提取层,对待识别图像进行特征提取,得到待识别图像的图像特征;通过特征增强层,增强待识别图像的重要特征,弱化待识别图像的不重要特征,得到相应的图像增强特征;通过图像重建层,对图像增强特征进行图像重建,得到对应待识别图像的重建图像;随后将重建图像输入至分类模型,通过分类模型对重建图像进行分类,得到待识别图像是否为翻拍图像的分类结果,从而能够准确识别翻拍图像。
附图说明
图1是本申请实施例提供的翻拍图像的识别系统的一个可选的结构示意图;
图2是本申请实施例提供的电子设备的一个可选的结构示意图;
图3A-3B是本申请实施例提供的自编码模型的一个可选的结构示意图;
图4是本申请实施例提供的自编码模型训练方法的一个可选的流程示意图;
图5是本申请实施例提供分类模型的训练方法的一个可选的流程示意图;
图6是本申请实施例提供的翻拍图像的识别方法的一个可选的流程示意图;
图7是本申请实施例提供的自编码模型的一个可选的流程示意图;
图8是本申请实施例提供的翻拍图像的识别方法的一个可选的流程示意图;
图9是本申请实施例提供的翻拍图像的识别方法的一个可选的流程示意图;
图10是本申请实施例提供的翻拍图像的识别方法的一个可选的流程示意图;
图11是本申请实施例提供的翻拍图像的识别方法的一个可选的流程示意图;
图12是本申请实施例提供的翻拍图像的识别方法的一个可选的流程示意图;
图13是本申请实施例提供的自编码模型训练方法的一个可选的流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明,在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)翻拍图像,是指拍摄电脑屏幕或者手机屏幕画面而得到的图像。
2)自编码(AutoEncoder)模型,是神经网络模型的一种,通过设计编码(encode)和解码(decode)过程使输入和输出越来越接近,是一种无监督学习模型。
3)反卷积,也称转置卷积,正向卷积的逆过程,并不是正向卷积的完全逆过程,反卷积是一种特殊的正向卷积,其是先按照一定的比例,按照步长通过补0来扩大输入图像的尺寸,接着旋转卷积核,再进行正向卷积的过程。
发明人发现,相关技术中,线上金融系统通常要求用户上传身份证图片进行身份核验,以翻拍图像为主的攻击样本可能带来安全隐患。为降低风险,需对翻拍图片进行检测与过滤。基于传统计算机视觉的技术方案多使用手工设计的特征及规则,鲁棒性无法得到保证;基于深度学习的技术方案虽然大大提高了检测的准确率和召回率,但需要收集大量样本并进行人工标注,人工过滤效率低下。且对高刷新率、高分辨率成像设备拍摄的高保真翻拍图像仍难以准确分辨。
基于此,发明人发现,通过基于深度学习的技术方案往往通过搭建深层的卷积神经网络直接对翻拍、非翻拍样本进行分类,在某些情况下,翻拍与非翻拍样本特征区分度并不明显,这就可能造成模型的失效。
基于此,本申请实施例提供一种翻拍图像的识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够准确识别翻拍图像。
首先对本申请实施例提供的翻拍图像的识别系统进行说明,参见图1,图1是本申请实施例提供的翻拍图像的识别系统100的一个可选的架构示意图,终端400通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
在一些实施例中,终端400可以是笔记本电脑,平板电脑,台式计算机,智能手机,专用消息设备,便携式游戏设备,智能音箱,智能手表等,但并不局限于此。服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。网络300可以是广域网或者局域网,又或者是二者的组合。终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
终端400,用于发送携带待识别图像的图像识别请求至服务器200,以请求服务器200识别该待识别图像是否为翻拍图像。
服务器200,用于从图像识别请求中解析出待识别图像后,将待识别图像输入至自编码模型;通过自编码模型的特征提取层,对待识别图像进行特征提取,得到待识别图像的图像特征;通过自编码模型的特征增强层,对待识别图像的图像特征进行特征增强,得到相应的图像增强特征;通过自编码模型的图像重建层,对图像增强特征进行图像重建,得到对应所述待识别图像的重建图像;将重建图像输入至分类模型,通过分类模型对重建图像进行分类,得到待识别图像是否为翻拍图像的分类结果,并将分类结果返回至终端400;
终端400,还用于输出待识别图像是否为翻拍图像的分类结果。
在一些实施例中,终端400上设置有翻拍图像识别客户端410,用户基于翻拍图像识别客户端410进行待识别图像的选择,并基于选择的待识别图像触发图像识别指令,翻拍图像识别客户端410响应于图像识别指令,发送携带待识别图像的图像识别请求至服务器;服务器从图像识别请求中解析出待识别图像后,将待识别图像输入至自编码模型;通过自编码模型的特征提取层,对待识别图像进行特征提取,得到待识别图像的图像特征;通过自编码模型的特征增强层,对待识别图像的图像特征进行特征增强,得到相应的图像增强特征;通过自编码模型的图像重建层,对图像增强特征进行图像重建,得到对应所述待识别图像的重建图像;将重建图像输入至分类模型,通过分类模型对重建图像进行分类,得到指示待识别图像是否为翻拍图像的分类结果,并将分类结果返回至翻拍图像识别客户端410,翻拍图像识别客户端410输出待识别图像是否为翻拍图像的分类结果。
参见图2,图2是本申请实施例提供的电子设备500的一个可选的结构示意图,在实际应用中,电子设备500可以实施为图1中的终端400或服务器200,以电子设备为图1所示的服务器200为例,对实施本申请实施例的翻拍图像的识别方法的电子设备进行说明。图2所示的电子设备500包括:至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可以理解,总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中,存储器550能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统551,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块552,用于经由一个或多个(有线或无线)网络接口520到达其他计算设备,示例性的网络接口520包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块553,用于经由一个或多个与用户接口530相关联的输出装置531(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块554,用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的翻拍图像的识别装置可以采用软件方式实现,图2示出了存储在存储器550中的翻拍图像的识别装置555,其可以是程序和插件等形式的软件,包括以下软件模块:图像获取模块5551、特征提取模块5552、特征增强模块5553、图像重建模块5554和分类模块5555,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的翻拍图像的识别装置可以采用硬件方式实现,作为示例,本申请实施例提供的翻拍图像的识别装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的翻拍图像的识别方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
基于上述对翻拍图像的识别系统、电子设备的说明,在对本申请实施例提供的翻拍图像的识别方法进行说明之前,对用于识别待识别图像是否为翻拍图像的自编码模型及分类模型进行说明。
首先对自编码模型进行说明,常规的自编码模型一般包括编码层(用于将输入压缩为潜在空间表示)和解码层(用于重构来自隐藏空间表示的输入)两部分。在一些实施例中,图3A-3B是本申请实施例提供的自编码模型一个可选的示意图,参见图3A,该自编码模型包括图像获取层、特征提取层、特征增强层以及图像创建层。参见图3B,特征增强层包括特征映射层以及由至少两个记忆单元组成的特征记忆层。在另一些实施例中,考虑到服务器的实际计算能力,自编码模型的结构还可以包括图像获取层、图像压缩层、特征提取层、特征增强层、图像还原层以及图像创建层。
下面对自编码模型的训练过程进行说明,参见图4,图4是本申请实施例提供的自编码模型训练方法的一个可选的流程示意图,将结合图4示出的步骤进行说明。
步骤101,服务器采集原始图像,构建图像训练集。
这里,对原始图像进行说明,由于相关翻拍图像的识别模型需要搜集大量的翻拍样本和非翻拍样本进行训练,而搜集翻拍样本效率低下,鉴于此,本申请实施例提供的自编码模型将需要解决对翻拍图像的识别的问题转化为对非翻拍样本的重建问题,仅需要使用非翻拍图像对自编码模型进行训练即可,故此处采集的原始图像是指非翻拍图像。
步骤102,服务器通过自编码模型的特征提取层,对图像训练集中的原始图像进行特征提取,得到原始图像的图像特征。
对特征提取层进行说明,在一些实施例中,特征提取层可以是一层或多层卷积层,其中,卷积层中卷积核的大小,卷积层的层数可以根据实际情况预先设置。通过一系列的卷积操作提取正常样本图像对应的预设维度的图像特征,此处,可以理解为对正常样本的图像特征降维,即只保留重要的图像特征,舍弃不重要的部分图像特征。
在一些实施例中,考虑到采集的原始图像可能是高刷新率、高分辨率成像设备拍摄的高保真翻拍图像,尺寸偏大,鉴于服务器的实际计算情况,可以在对图像特征进行提取之前,对采集的原始图像进行图像预处理(如图像压缩)得到压缩后的样本图像。
步骤103,服务器通过自编码模型的特征增强层,对原始图像的图像特征进行特征增强,得到相应的图像增强特征。
这里,特征增强是指对原始图像的重要的图像特征进行增强,对不重要的图像特征进行弱化或剔除,重要特征是指非翻拍图像区别于翻拍图像的明显特征。
对图像特征进行特征增强的方式进行说明,在一些实施例中,构建带有记忆强化机制的特征增强层对特征进行增强。特征增强层包括特征映射层和特征记忆层,其中特征记忆层是由多个记忆单元组成的。
实际实施时,特征增强的处理过程包括以下步骤:
步骤1031,服务器通过特征映射层对图像特征进行地址映射,得到与特征记忆层中各记忆单元对应的地址权重。
这里,特征映射层可以理解为对特征提取层中获取的图像特征进行卷积和全连接处理,得到与特征记忆层各记忆单元对应的地址权重。
对获取各记忆单元对应的地址权重进行说明,在一些实施例中,可以根据预设相似度算法,确定地址权重,具体地,根据预设相似度算法,分别确定特征提取层中获取的图像特征与各记忆单元中图像特征的相似度;将特征提取层中获取的图像特征与各记忆单元中图像特征的相似度,作为相应记忆单元的地址权重。
对预设相似度算法进行说明,在一些实施例中,预设相似度算法可以是余弦相似度算法,具体的余弦相似度的算法可以是:
通过上述公式,根据余弦相似度计算通过特征提取层提取的图像特征与各记忆单元中图像特征的相似度,并将该相似度设置为相应记忆单元的地址权重。获取的相似度含义如下:余弦值等于1时,表示完全相同;余弦值接近1时,表示很相似;余弦值为负时,表示相似度很低。
步骤1032,通过特征记忆层,基于各记忆单元对应的地址权重,对各记忆单元中的图像特征进行加权求和,得到与特征提取层中获取的图像特征相对应的图像增强特征。
在一些实施例中,为了对非翻拍样本的重要特征进行增强,会对各记忆单元对应的地址权重进行调整,进而达到稀疏权重的目的,具体地,通过特征记忆层,对各记忆单元对应的地址权重进行排列,得到地址权重序列;依据权重由大到小的顺序,截取部分地址权重序列;基于部分地址权重序列中的地址权重,对相应记忆单元中的图像特征进行加权求和,得到与特征提取层中获取的图像特征相对应的图像增强特征。
实际实施时,为了对非翻拍图像样本对应的图像特征中的重要特征进行增强,不重要的特征进行弱化,会对各记忆单元相应的地址权重进行截断操作,即将部分记忆单元对应的地址权重调整为零,进而使得地址权重具备稀疏性,得到相对稀疏的地址权重。然后,基于稀疏地址权重对各记忆单元进行加权得到正常样本对应的图像增强特征。
步骤104,服务器通过自编码模型的图像重建层,对图像增强特征进行图像重建,得到对应原始图像的重建图像。
对图像重建层进行说明,在一些实施例中,图像重建层包括与特征提取层数量相同的卷积层,此处应该理解为反卷积层。通过自编码模型的图像重建层,对图像增强特征进行反卷积得到与原始图像特征维度相同的重建图像特征,然后对重建图像特征进行图像重建,得到重建图像。
这里,对反卷积进行说明,反卷积也称转置卷积,它并不是正向卷积的完全逆过程,反卷积是一种特殊的正向卷积,其是先按照一定的比例通过补0来扩大输入图像的尺寸,接着旋转卷积核,再进行正向卷积的过程。
在另一些实施例中,图像重建层也可以包括与特征提取层数量相同的卷积层和池化层,此处的卷积同样是反卷积,相应地,池化是反池化。
这里,对反池化进行说明,反池化是池化的逆操作,即还原一部分原始数据。通过图像创建层,对特征增强层中的图像增强特征进行一系列的反卷积和反池化处理,能够得到与原始图像特征维度相同的图像重建特征,基于得到图像重建特征,得到与原始图像对应的重建图像。
在另一些实施例中的,对于包含图像压缩层的自编码模型,图像重建层还包括与图像压缩层对应的图像还原层,用于对通过特征增强层得到的图像增强特征进行维度还原,得到与原始图像特征维度相同的还原图像特征,对还原图像特征进行图像重建,得到与原始图像对应的重建图像。
步骤105,服务器基于重建图像与原始图像之间的误差,更新自编码模型的模型参数。
这里,根据图像增强特征重建后的重建图像只保留了重要特征,舍去了部分不重要特征,因此对增强的图像特征进行重建也只能恢复正常样本的尺寸大小,并不能恢复每个元素值,无法还原出全部的原始数据,会存在部分信息缺失,故重建图像以及原始图像之间存在一定的重建误差。
在实际实施时,服务器计算原始图像与重建图像之间的差异,更新自编码模型的模型参数,具体地,服务器分别对特征提取层的参数、特征增强层的参数、图像创建层的参数进行更新。这里,原始图像的图像特征与重建图像的图像特征之间的差异为服务器通过计算自编码模型对应的损失函数的值得到。服务器基于上述差异反向传播对自编码模型训练过程进行迭代更新,直至损失函数收敛,完成对自编码模型的训练。
这里,对反向传播进行说明,将原始图像样本输入到自编码模型的图像获取层,经过特征提取层、特征增强层以及图像重建层,得到与原始图像样本对应的重建图像,这是自编码模型的前向传播过程,由于自编码模型的输出结果与实际结果有误差,则计算输出结果与实际值之间的误差,并将该误差从图像重建层向特征提取层反向传播,直至传播到图像获取层,在反向传播的过程中,根据误差调整模型参数的值;不断迭代上述过程,直至收敛。进而得到训练完成的自编码模型。
概括来说,自编码模型的构建和训练过程可以是:采集成千上万张原始图像样本(非翻拍图像样本),将采集到的图像的像素大小统一设定为A*B*3的图片,构建图像训练集,建立包含m层卷积层的神经网络作为初始自编码模型的特征提取层,将m层反卷积的神经网络作为初始自编码模型的图像重建层,该模型本身具有初始的特征提取参数。将每一张正常样本图片(A*B*3)压缩到一定的维度(也称特征提取,至于提取到多少个特征维度最为合适,需要模型本身拟合调整参数得到,将每张图像增强特征对应的图片,通过m层反卷积神经网络,对该图像增强特征图片进行重建,使重建后的图像回到原始的尺寸A*B*3,得到重建图像。计算输入自编码模型的每张原始图像和经过自编码模型的卷积、反卷积处理输出后的重建图像的损失率,取上述损失率的均值为正常样本训练集的整体损失率,当正常样本训练集的整体损失率小于或等于预设图像损失率时,则将当前的特征提取数目确定为初始自编码模型的预设特征提取数目;当正常样本训练集的整体图像损失率大于预设图像损失率时,按照预设步长调整初始的特征提取数目,经过多次迭代优化处理,确定自编码模型的特征提取的维度数,直至自编码模型训练完成。根据损失率训练模型,能够降低图像的损失率,保证自编码模型输出的重建图像的质量。
其次,对分类模型进行说明,本申请实施例提供的分类模型是使用翻拍样本、以及通过上述自编码模型获取的非翻拍样本的重建图像进行训练,该分类模型是一个由卷积层与全连接层堆叠形成的浅层卷积分类模型,用于对图像进行分类,得到指示图像是否为翻拍图像的分类结果。
下面对分类模型的训练进行说明。对分类模型的训练过程具体参见图5,图5是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图,将结合图5示出的步骤进行说明。
步骤201,服务器将分类图像样本输入分类模型。
步骤202,通过分类模型对分类图像样本进行预测,得到预测分类结果。
这里,分类图像样本携带有分类标签,其中,分类标签用于指示分类图像样本归属的分类类别,分类类别包含翻拍图像和非翻拍图像。
步骤203,基于预测分类结果与分类标签之间的误差,更新分类模型的模型参数。
这里,基于预测分类结果与分类标签之间的误差,反向更新分类模型中的模型参数,得到训练完成的分类模型。
实际实施时,由于翻拍样本、非翻拍样本的重建图像差异明显,浅层的网络即可获得较高的分类精度。得到的分类结果包括翻拍图像(或正常图像)和非翻拍图像(或异常图像)。
在一些实施例中,本申请实施例提供的翻拍图像的识别方法可以由终端或服务器单独实施,或由终端及服务器协同实施,以服务器单独实施为例,对本申请实施例提供的翻拍图像的识别方法进行说明。
参见图6,图6是本申请实施例提供的翻拍图像的识别方法的一个可选的流程示意图,将结合图6示出的步骤进行说明。
步骤301,服务器获取待识别图像,并将待识别图像输入至自编码模型。
这里,对待识别图像的获取进行说明,在实际实施时,服务器可以从本地获取待识别的图像,或者是服务器接收到用户通过终端发送的图像识别指令后,从数据库中获取终端上传的待识别图像。
步骤302,通过自编码模型的特征提取层,对待识别图像进行特征提取,得到待识别图像的图像特征。
在一些实施例中,根据实际情况设置待识别图像进行特征提取的预设维度,其中,预设维度表示特征提取数目,具体地,通过自编码模型的特征提取层,提取出待识别图像的预设维度的图像特征。
实际实施时,参见图7,图7是本申请实施例提供的自编码模型的一个可选的流程示意图,将待识别的图像输入至自编码模型,该模型通过特征提取层(编号2)中的卷积层(编号2-1)对输入的待识别的图像进行一系列的卷积处理,提取出待识别图像中预设维度的图像特征(编号2-2),得到压缩图像。示例性地,设置自编码模型的特征提取数目(预设维度)为150维,将待识别图像输入至自编码模型的特征提取层,能够使得原本包含150维图像特征的图片压缩成包含60维图像特征的图片,进而降低图片的特征维度。
步骤303,通过自编码模型的特征增强层,对待识别图像的图像特征进行特征增强,得到相应的图像增强特征。
在一些实施例中,参见图7,特征增强层(编号3)包括特征映射层(编号3-1)和包括多个记忆单元的特征记忆层(编号3-2)。图8是本申请实施例提供翻拍图像的识别方法的一个可选的流程示意图,参见图8,图6示出的步骤303可以通过步骤3031至步骤3032实现,将结合各步骤进行说明。
在步骤3031中,服务器通过特征映射层对图像特征进行地址映射,得到与特征记忆层中各记忆单元对应的地址权重。
这里,特征映射层可以理解为对特征提取层中获取的待识别图像的图像特征进行卷积和全连接处理,具体地,通过特征映射层,对待识别图像的图像特征进行卷积和全连接处理,得到与特征记忆层各记忆单元对应的地址权重。
对获取各记忆单元对应的地址权重进行说明,在一些实施例中,可以根据余弦相似度计算待识别图像的图像特征与各记忆单元中图像特征的相似度,确定地址权重,具体地,通过特征映射层,分别确定待识别图像的图像特征与各记忆单元中图像特征的相似度;将待识别图像的图像特征与各记忆单元中图像特征的相似度,作为相应记忆单元的地址权重。
在步骤3032中,通过特征记忆层,基于各记忆单元对应的地址权重,对各记忆单元中的图像特征进行加权求和,得到与待识别图像的图像特征相对应的图像增强特征。
在一些实施例中,为了对非翻拍图像的重要特征进行增强,会对各记忆单元对应的地址权重进行调整,具体地,通过所述特征记忆层,对各记忆单元对应的地址权重进行排列,得到地址权重序列;依据权重由大到小的顺序,截取部分所述地址权重序列;基于部分所述地址权重序列中的地址权重,对相应记忆单元中的图像特征进行加权求和,得到与所述待识别图像的图像特征相对应的图像增强特征。
示例性地,待识别图像经过特征提取层的处理,得到尺寸大小为m×n×c的图像特征,特征记忆层中记忆单元的大小设置为M×n×c,其中M>m,m为大于1的正整数,经过特征映射,得到包含M个权重元素的地址权重,将M个权重元素进行排序,保留最大的m个权重元素,将其他M-m个权重元素调整为零,达到地址权重稀疏化的目的,即增强重要的特征,剔除不重要的特征,并在记忆单元中查找对应的m行图像特征,与地址权重加权求和,形成尺寸大小为m×n×c的图像增强特征。
步骤304,通过自编码模型的图像重建层,对图像增强特征进行图像重建,得到对应待识别图像的重建图像。
对图像重建层进行说明,在一些实施例中,参见图7,图像重建层(编号4)包括卷积,此处应该理解为反卷积层(编号4-1)。具体地,通过自编码模型的图像重建层,对图像增强特征(编号4-2)进行反卷积和反池化,得到与待识别图像(编号1)尺寸相同的重建图像特征(编号5),对重建图像特征进行图像重建,得到对应待识别图像的重建图像。
具体地,自编码模型对输入的待识别图像完成特征提取以及特征增强处理后,得到能够代表待识别图像的图像增强特征之后,将图像增强特征输入至图像创建层,通过图像创建层中的反卷积层对待识别图像对应的图像增强特征进行一系列的解码即反卷积处理,基于图像增强特征对待识别图像进行重建,使得重建图像的大小恢复至待识别图像的尺寸。
在另一些实施例中的,基于对服务器的实际计算能力的考虑,图像重建层还可以包括图像还原层,具体地,所述自编码模型的图像重建层包括与所述图像压缩层对应的图像还原层;所述通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述待识别图像的重建图像,包括:通过所述图像还原层,对所述图像增强特征进行维度还原,得到与待识别图像的特征维度相同的还原图像特征;对所述还原图像特征进行图像重建,得到对应所述待识别图像的重建图像。
步骤305,将重建图像输入至分类模型,通过分类模型对重建图像进行分类,得到分类结果,分类结果用于指示待识别图像是否为翻拍图像。
这里,重建图像是通过自编码模型获取的,由于自编码模型仅对非翻拍图像敏感,因此,将非翻拍图像输入上述自编码模型能够完成重建的图像,而翻拍图像无法完成重建的图像。
示例性地,参见图9,图9是本申请实施例提供的翻拍图像识别结果一个可选的示意图,编号1是翻拍图像的识别过程,翻拍图像(编号1-1)通过已训练的自编码模型进行重建,得到重建图像(编号1-2),由于翻拍图像经过自编码模型无法进行重建,通过分类模型进行分类就得到分类结果是翻拍图像(异常);编号2是非翻拍图像的识别过程,非翻拍图像(编号2-1)通过自编码模型进行重建,得到重建图像(编号2-2),该重建图像对重要特征进行了增强,对非重要特征进行了削弱,通过分类模型进行分类得到的分类结果是非翻拍图像(正常)。
与相关技术中通过搭建深层的卷积神经网络对翻拍、非翻拍样本进行分类,且需要进行大量人工标注的方式相比,本申请实施例通过将待识别图像输入自编码模型,通过特征提取层,对待识别图像进行特征提取,得到待识别图像的图像特征;通过特征增强层,增强待识别图像的重要特征,弱化待识别图像的不重要特征,得到相应的图像增强特征;通过图像重建层,对图像增强特征进行图像重建,得到对应待识别图像的重建图像;随后将重建图像输入至分类模型,通过分类模型对重建图像进行分类,得到待识别图像是否为翻拍图像的分类结果,特征增强层的引入可以使自编码模型仅对非翻拍图像保持敏感,重建后的图像与待识别图像具有更加容易区分的特征,可有效抑制自编码模型的泛化能力,从而能够准确识别翻拍图像。
接下来继续对本申请实施例提供的翻拍图像的识别方法进行介绍,图10是本申请实施例提供的翻拍图像的识别方法的一个可选的流程示意图,参见图10,本申请实施例提供的翻拍图像的识别方法由客户端、服务器协同实施。
步骤501,客户端响应于针对原始图像样本的上传操作,获取原始图像。
这里,客户端可以是设置于终端的翻拍图像识别客户端。
在一些实施例中,原始图像样本还可以是由与终端通信连接的摄像头拍摄得到,摄像头在拍摄得到待识别图像后,将待识别图像传输给终端并由终端自动上传至客户端。
步骤502,客户端发送原始图像至服务器,构建图像训练集。
步骤503,服务器将图像训练集输入至自编码模型,以使自编码模型对待图像训练集对应的原始图像进行处理得到相应的重建图像。
步骤504,基于重建图像与原始图像之间的误差,更新自编码模型的模型参数,生成训练完成的自编码模型。
步骤505,发送自编码模型训练完成的提示消息至客户端。
步骤506,客户端接收到自编码模型训练完成的提示信息,上传正常样本和翻拍样本至服务器。
这里,正常样本是指非翻拍图像。
步骤507,服务器将正常样本输入至已训练的自编码模型得到正常样本的重建图像。
这里,已训练的自编码模型是经过步骤502至步骤504迭代训练完成的。
步骤508,将正常样本的重建图像和翻拍样本图像输入至分类模型,以使分类模型对图像进行预测,得到预测分类结果。
步骤509,基于预测分类结果与实际分类结果之间的误差,更新分类模型的模型参数,生成训练完成的分类模型,发送分类模型训练完成的提示消息至客户端。
这里,对于分类模型的训练过程(步骤507至步骤509)与翻拍模型的训练过程(步骤502至步骤504)的先后顺序不做限定,只要保证训练分类模型时能够获取大非翻拍样本的重建图像即可。
步骤510,客户端响应于针对待识别图像的图像识别指令,发送携带待识别图像的图像识别请求至服务器。
这里,翻拍识别指令可以由客户端在接收到自编码模型和分类模型均训练完成的消息后自动生成,还可以是由一定的触发条件由客户端自动生成,例如客户端获取到一张待识别图像后则自动生成针对该待识别图像的翻拍图像识别指令。
步骤511,服务器解析图像识别请求中的待识别图像,将待识别图像输入至自编码模型以使自编码模型对待识别图像进行处理得到相应的重建图像。
步骤512,服务器将重建图像输入至分类模型,以使分类模型对待识别图像进行分类,得到分类结果。
这里,分类结果用于指示待识别图像是否为翻拍图像。
步骤513,服务器将分类结果发送至客户端。
这里,客户端可以在该客户端的人机交互界面中呈现所述待识别图像是否为翻拍图像的提示信息。
本申请实施例,将待识别图像输入自编码模型,通过特征提取层,对待识别图像进行特征提取,得到待识别图像的图像特征;通过特征增强层,增强待识别图像的重要特征,弱化待识别图像的不重要特征,得到相应的图像增强特征;通过图像重建层,对图像增强特征进行图像重建,得到对应待识别图像的重建图像;随后将重建图像输入至分类模型,通过分类模型对重建图像进行分类,得到待识别图像是否为翻拍图像的分类结果,从而能够准确识别翻拍图像。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。以实施例提供的翻拍图像的识别方法由服务器实施进行说明。
参见图11,图11是本申请实施例提供的翻拍图像的识别方法的一个可选的流程示意图,参见图12,图12是本申请实施例提供的翻拍图像的识别方法的一个可选的流程示意图,将结合图11示出的步骤进行说明。
步骤601,服务器获取待识别图像,将待识别图像输入已训练的自编码模型。
这里,服务器在将待识别图像输入已训练的自编码模型之前,需要对自编码模型进行训练,具体训练过程,参见图13,图13是本申请实施例提供的自编码模型训练过程一个可选的流程示意图示意图,下面将结合图13,对自编码模型的训练过程进行详细说明。
步骤701,服务器获取正常样本图像,将正常样本图像输入待训练的自编码模型。
这里,由于将对翻拍图像的识别转化为对非翻拍样本的重建,仅用非翻拍样本(正常样本)进行训练以重建图像,因此,正常样本是指非翻拍样本。参见图10,创建的待训练的自编码模型至少包括图像获取层(编号1)、特征提取层(编号2)、特征映射层(编号3)、特征记忆层(编号4)以及图像重建层(编号5)。
步骤702,通过待训练的自编码模型的特征提取层,得到正常样本图像对应的图像特征。
这里,特征提取层可以是一层或多层卷积,其中,卷积层中卷积核的大小,卷积层的层数是预先设定的。通过一系列的卷积操作提取正常样本图像对应的预设维度的图像特征,可以理解为对正常样本的图像特征降维,进而保留主要的图像特征,舍弃不重要的部分图像特征。
步骤703,通过待训练的自编码模型的特征映射层,将正常样本图像对应的图像特征映射为特征记忆层中各记忆单元相应的地址权重。
这里,特征映射层可以理解为卷积和全连接层,其中全连接层输出的维度是M即对应M个权重,M是大于1的正整数。
步骤704,将各记忆单元相应的地址权重与各记忆单元中的图像特征进行加权,得到正常样本对应的图像增强特征。
这里,为了对正常样本对应的图像特征中的重要特征进行增强,不重要的特征进行弱化,会对各记忆单元相应的地址权重进行截断操作,即将部分记忆单元对应的地址权重调整为零,进而使得地址权重具备稀疏性,得到相对稀疏的地址权重。然后,基于稀疏地址权重对各记忆单元进行加权得到正常样本对应的图像增强特征。
步骤705,通过待训练的自编码模型的图像重建层,对正常样本对应的图像增强特征进行重建,得到正常样本的重建样本。
这里,图像重建层包含一层或多层卷积层,此处的卷积层是反卷积层,用于进行特征扩充,其中,卷积核的大小和卷积层的层数与特征提取层保持一致。
步骤706,计算重建图像与正常样本图像之间的误差,通过反向传播更新待训练自编码模型的参数,得到已训练的自编码模型。
这里,由于步骤703中增强的图像特征只保留了主要信息,舍去了部分信息,因此对增强的图像特征进行反卷积也只能恢复正常样本的尺寸大小,并不能恢复每个元素值,无法还原出全部的原始数据,会存在部分信息缺失,故重建的样本图像以及正常样本图像之间存在一定的重建误差即损失率。
服务器基于重建误差的反向传播更新自编码模型中特征提取层、特征映射层、特征记忆层以及图像重建层中的参数,迭代自编码模型的训练直至损失率小于预设图像损失率,完成对自编码模型的训练。其中,预设图像损失率是在进行自编码模型训练之前根据实际情况预先设置的。
概括来说,在自编码模型的训练阶段,正常(非翻拍)样本经过特征提取层得到正常样本对应的图像特征,该正常样本对应的图像特征由特征映射层(也可称为地址映射模块)映射为特征记忆层中各记忆(memory)单元的地址权重;然后,将地址权重中的部分权重元素调整为零,使地址权重具备稀疏性,将稀疏地址权重与对应的记忆单元组合得到增强的图像特征,由此,来自于非翻拍样本的图像特征将得到增强,自编码模型的泛化能力得到抑制;最后将增强后的图像特征输入至图像重建层进行重建,将重建图像与正常样本图像之间的误差反向传播,进而更新特征提取层、特征映射层、特征记忆层以及图像重建层中的参数。
步骤602,通过训练完成的自编码模型的特征提取层,获取待识别图像的图像特征。
步骤603,基于自编码模型特征增强层中的正常样本对应的图像特征得到待识别图像对应的图像增强特征。
这里,特征增强层中包含由多个记忆(Memory)单元组成的特征记忆层,并且各记忆单元中仅记录正常(非翻拍图像)图像的重要特征(即增强非翻拍图像的重要特征,弱化非翻拍图像的不重要特征)。
根据余弦相似度算法,逐一计算步骤602获取的待识别图像的图像特征,与各记忆单元中记录的图像特征的余弦值,然后用得到的余弦值作为权重,对各记忆单元进行加权求和得到待识别图像对应的图像增强特征。
实际实施时,由于训练完成的自编码模型是基于正常样本进行训练的,因此,训练完成的自编码模型中特征记忆层中的各记忆单元也仅仅记录正常样本的重要特征。因此,对于非翻拍图像得到图像增强特征是正常的图像增强特征,而对于翻拍图像得到图像增强特征则是相对随机的图像特征。
步骤604,通过图像重建层,对得到的图像增强特征进行重建,得到重建后的待识别图像。
步骤605,将重建图像输入已训练完成的分类模型,获取待识别图像的分类结果。
这里,在分类模型训练阶段,通常利用翻拍与非翻拍样本的重建图像训练一个卷积分类器,该分类器由卷积层与全连接层堆叠而成。由于两类样本的重建图像差异明显,浅层的网络即可获得较高的分类精度。得到的分类结果包括翻拍图像(或正常图像)和非翻拍图像(或异常图像)。
示例性地,参见图9,翻拍图像(编号1-1)通过已训练的自编码模型进行重建,得到重建图像(编号1-2),通过分类模型进行分类就得到是翻拍图像(异常)的分类结果;非翻拍图像(编号2-1)通过已训练的自编码模型进行重建,得到重建图像(编号2-2),通过分类模型进行分类就得到是非翻拍图像(正常)的分类结果。
本申请实施例,将对翻拍图像的识别转化为对非翻拍样本的重建,通过构建带有记忆强化机制的自动编码模型,仅用非翻拍样本(正常样本)进行训练以重建图像;记忆强化机制的引入可有效抑制自编码模型的泛化,使其仅对非翻拍样本具有良好的重建能力;经过自动编码模型重建后的翻拍与非翻拍样本具有更易区分的特征,有助于提升最终分类的准确率,同时保持较高的召回率,从而完成对翻拍样本准确、全面地检测。
下面继续说明本申请实施例提供的翻拍图像的识别装置555的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器550的翻拍图像的识别装置555中的软件模块可以包括:
图像获取模块5551,用于获取待识别图像,并将所述待识别图像输入至自编码模型;
特征提取模块5552,用于通过所述自编码模型的特征提取层,对待识别图像进行特征提取,得到所述待识别图像的图像特征;
特征增强模块5553,用于通过所述自编码模型的特征增强层,对所述待识别图像的图像特征进行特征增强,得到相应的图像增强特征;
图像重建模块5554,用于通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述待识别图像的重建图像;
分类模块5555,用于将所述重建图像输入至分类模型,通过所述分类模型对所述重建图像进行分类,得到分类结果,所述分类结果用于指示所述待识别图像是否为翻拍图像。
在一些实施例中,所述特征增强层包括特征映射层和包括多个记忆单元的特征记忆层;所述特征增强模块5553,还用于通过所述特征映射层对所述图像特征进行地址映射,得到与所述特征记忆层中各记忆单元对应的地址权重;通过所述特征记忆层,基于各记忆单元对应的地址权重,对各所述记忆单元中的图像特征进行加权求和,得到与所述待识别图像的图像特征相对应的图像增强特征。
在一些实施例中,所述特征增强模块5553,还用于通过所述特征映射层,分别确定所述待识别图像的图像特征与所述各记忆单元中图像特征的相似度;将所述待识别图像的图像特征与所述各记忆单元中图像特征的相似度,作为相应记忆单元的地址权重。
在一些实施例中,所述特征增强模块5553,还用于通过所述特征记忆层,对各记忆单元对应的地址权重进行排列,得到地址权重序列;依据权重由大到小的顺序,截取部分所述地址权重序列;基于部分所述地址权重序列中的地址权重,对相应记忆单元中的图像特征进行加权求和,得到与所述待识别图像的图像特征相对应的图像增强特征。
在一些实施例中,所述自编码模型的特征提取层包括图像压缩层;所述特征提取模块5552,还用于通过所述图像压缩层,对所述待识别图像进行图像压缩,得到与所述待识别图像对应的压缩图像;对所述压缩图像进行特征提取,得到与所述压缩图像对应的压缩图像特征;相应的,所述通过所述自编码模型的特征增强层,对所述待识别图像的图像特征进行特征增强,得到相应的图像增强特征,包括:所述通过所述自编码模型的特征增强层,对所述压缩图像特征进行特征增强,得到相应的压缩图像增强特征。
在一些实施例中,所述自编码模型的图像重建层包括与所述图像压缩层对应的图像还原层;所述图像重建模块5554,还用于通过所述图像还原层,对所述图像增强特征进行维度还原,得到与待识别图像的特征维度相同的还原图像特征;对所述还原图像特征进行图像重建,得到对应所述待识别图像的重建图像。
在一些实施例中,存储在存储器550的翻拍图像的识别装置555中的软件模块可以包括:自编码模型训练模块,用于采集原始图像,构建图像训练集;通过所述自编码模型的特征提取层,对所述图像训练集中的原始图像进行特征提取,得到所述原始图像的图像特征;通过所述自编码模型的特征增强层,对所述原始图像的图像特征进行特征增强,得到相应的图像增强特征;通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述原始图像的重建图像;基于所述重建图像与所述原始图像之间的误差,更新所述自编码模型的模型参数,得到训练完成的自编码模型,以通过训练完成的自编码模型对待识别图像进行处理得到相应的重建图像,并通过分类模型对所述待识别图像的重建图像进行分类,得到指示所述待识别图像是否为翻拍图像的分类结果。
在一些实施例中,存储在存储器550的翻拍图像的识别装置555中的软件模块可以包括:分类模型训练模块,用于将分类图像样本输入分类模型;其中,所述分类图像样本携带有分类标签,所述分类标签,用于指示所述分类图像样本归属的分类类别,所述分类类别包含翻拍图像和非翻拍图像;通过所述分类模型对所述分类图像样本进行预测,得到预测分类结果;基于所述预测分类结果与所述分类标签之间的误差,更新所述分类模型的模型参数,得到训练完成的分类模型,以通过分类模型对待分类图像进行分类,得到指示所述待分类图像是否为翻拍图像的分类结果。
需要说明的是,本申请实施例装置的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果,因此不做赘述。
本申请实施例提供了一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现本申请实施例提供的翻拍图像的识别方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的方法,例如,如图6示出的翻拍图像的识别方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述,通过本申请实施例能够准确识别翻拍图像。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (13)
1.一种翻拍图像的识别方法,其特征在于,所述方法包括:
获取待识别图像,并将所述待识别图像输入至自编码模型;
通过所述自编码模型的特征提取层,对所述待识别图像进行特征提取,得到所述待识别图像的图像特征;
通过所述自编码模型的特征增强层,对所述待识别图像的图像特征进行特征增强,得到相应的图像增强特征;
通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述待识别图像的重建图像;
将所述重建图像输入至分类模型,通过所述分类模型对所述重建图像进行分类,得到分类结果,所述分类结果用于指示所述待识别图像是否为翻拍图像。
2.根据权利要求1所述的方法,其特征在于,所述特征增强层包括特征映射层和包括多个记忆单元的特征记忆层;
所述通过所述自编码模型的特征增强层,对所述待识别图像的图像特征进行特征增强,得到相应的图像增强特征,包括:
通过所述特征映射层对所述图像特征进行地址映射,得到与所述特征记忆层中各记忆单元对应的地址权重;
通过所述特征记忆层,基于各记忆单元对应的地址权重,对各所述记忆单元中的图像特征进行加权求和,得到与所述待识别图像的图像特征相对应的图像增强特征。
3.根据权利要求2所述的方法,其特征在于,所述通过所述特征映射层对所述图像特征进行地址映射,得到与所述特征记忆层中各记忆单元对应的地址权重,包括:
通过所述特征映射层,分别确定所述待识别图像的图像特征与所述各记忆单元中图像特征的相似度;
将所述待识别图像的图像特征与所述各记忆单元中图像特征的相似度,作为相应记忆单元的地址权重。
4.根据权利要求2所述的方法,其特征在于,所述通过所述特征记忆层,基于各记忆单元对应的地址权重,对各所述记忆单元中的图像特征进行加权求和,得到与所述待识别图像的图像特征相对应的图像增强特征,包括:
通过所述特征记忆层,对各记忆单元对应的地址权重进行排列,得到地址权重序列;
依据权重由大到小的顺序,截取部分所述地址权重序列;
基于部分所述地址权重序列中的地址权重,对相应记忆单元中的图像特征进行加权求和,得到与所述待识别图像的图像特征相对应的图像增强特征。
5.根据权利要求1所述的方法,其特征在于,所述自编码模型的特征提取层包括图像压缩层,所述图像压缩层用于对所述待识别图像进行压缩;
所述通过所述自编码模型的特征提取层,对所述待识别图像进行特征提取,得到所述待识别图像的图像特征,包括:
通过所述图像压缩层,对所述待识别图像进行图像压缩,得到与所述待识别图像对应的压缩图像;
对所述压缩图像进行特征提取,得到与所述压缩图像对应的压缩图像特征;
相应的,所述通过所述自编码模型的特征增强层,对所述待识别图像的图像特征进行特征增强,得到相应的图像增强特征,包括:
所述通过所述自编码模型的特征增强层,对所述压缩图像特征进行特征增强,得到相应的压缩图像增强特征。
6.根据权利要求5所述的方法,其特征在于,所述自编码模型的图像重建层包括与所述图像压缩层对应的图像还原层;
所述通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述待识别图像的重建图像,包括:
通过所述图像还原层,对所述图像增强特征进行维度还原,得到与待识别图像的特征维度相同的还原图像特征;
对所述还原图像特征进行图像重建,得到对应所述待识别图像的重建图像。
7.根据权利要求1所述的方法,其特征在于,在所述通过所述自编码模型的特征提取层,对待识别图像进行特征提取之前,所述方法还包括:
采集原始图像,构建图像训练集;
通过所述自编码模型的特征提取层,对所述图像训练集中的原始图像进行特征提取,得到所述原始图像的图像特征;
通过所述自编码模型的特征增强层,对所述原始图像的图像特征进行特征增强,得到相应的图像增强特征;
通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述原始图像的重建图像;
基于所述重建图像与所述原始图像之间的误差,更新所述自编码模型的模型参数。
8.根据权利要求1所述的方法,其特征在于,所述通过所述分类模型对所述重建图像进行分类之前,所述方法还包括:
将所述分类图像样本输入分类模型;
其中,所述分类图像样本携带有分类标签,所述分类标签,用于指示所述分类图像样本归属的分类类别,所述分类类别包含翻拍图像和非翻拍图像;
通过所述分类模型对所述分类图像样本进行预测,得到预测分类结果;
基于所述预测分类结果与所述分类标签之间的误差,更新所述分类模型的模型参数。
9.一种自编码模型的训练方法,其特征在于,所述方法包括:
采集原始图像,构建图像训练集;
通过所述自编码模型的特征提取层,对所述图像训练集中的原始图像进行特征提取,得到所述原始图像的图像特征;
通过所述自编码模型的特征增强层,对所述原始图像的图像特征进行特征增强,得到相应的图像增强特征;
通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述原始图像的重建图像;
基于所述重建图像与所述原始图像之间的误差,更新所述自编码模型的模型参数,得到训练完成的自编码模型,以通过训练完成的自编码模型对待识别图像进行处理得到相应的重建图像,并通过分类模型对所述待识别图像的重建图像进行分类,得到指示所述待识别图像是否为翻拍图像的分类结果。
10.一种翻拍图像的识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取待识别图像,并将所述待识别图像输入至自编码模型;
特征提取模块,用于通过所述自编码模型的特征提取层,对待识别图像进行特征提取,得到所述待识别图像的图像特征;
特征增强模块,用于通过所述自编码模型的特征增强层,对所述待识别图像的图像特征进行特征增强,得到相应的图像增强特征;
图像重建模块,用于通过所述自编码模型的图像重建层,对所述图像增强特征进行图像重建,得到对应所述待识别图像的重建图像;
分类模块,用于将所述重建图像输入至分类模型,通过所述分类模型对所述重建图像进行分类,得到分类结果,所述分类结果用于指示所述待识别图像是否为翻拍图像。
11.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至9任一项所述翻拍图像的识别方法。
12.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至9任一项所述翻拍图像的识别方法。
13.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9任一项所述翻拍图像的识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110127232.3A CN112861950A (zh) | 2021-01-29 | 2021-01-29 | 翻拍图像的识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110127232.3A CN112861950A (zh) | 2021-01-29 | 2021-01-29 | 翻拍图像的识别方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112861950A true CN112861950A (zh) | 2021-05-28 |
Family
ID=75986923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110127232.3A Pending CN112861950A (zh) | 2021-01-29 | 2021-01-29 | 翻拍图像的识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112861950A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113239875A (zh) * | 2021-06-01 | 2021-08-10 | 恒睿(重庆)人工智能技术研究院有限公司 | 人脸特征的获取方法、系统、装置及计算机可读存储介质 |
CN114005019A (zh) * | 2021-10-29 | 2022-02-01 | 北京有竹居网络技术有限公司 | 一种翻拍图像识别方法及其相关设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766048A (zh) * | 2019-09-18 | 2020-02-07 | 平安科技(深圳)有限公司 | 图像内容识别方法、装置、计算机设备和存储介质 |
CN111753595A (zh) * | 2019-03-29 | 2020-10-09 | 北京市商汤科技开发有限公司 | 活体检测方法和装置、设备和存储介质 |
CN111967571A (zh) * | 2020-07-07 | 2020-11-20 | 华东交通大学 | 一种基于mhma的异常检测方法和设备 |
-
2021
- 2021-01-29 CN CN202110127232.3A patent/CN112861950A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753595A (zh) * | 2019-03-29 | 2020-10-09 | 北京市商汤科技开发有限公司 | 活体检测方法和装置、设备和存储介质 |
CN110766048A (zh) * | 2019-09-18 | 2020-02-07 | 平安科技(深圳)有限公司 | 图像内容识别方法、装置、计算机设备和存储介质 |
CN111967571A (zh) * | 2020-07-07 | 2020-11-20 | 华东交通大学 | 一种基于mhma的异常检测方法和设备 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113239875A (zh) * | 2021-06-01 | 2021-08-10 | 恒睿(重庆)人工智能技术研究院有限公司 | 人脸特征的获取方法、系统、装置及计算机可读存储介质 |
CN113239875B (zh) * | 2021-06-01 | 2023-10-17 | 恒睿(重庆)人工智能技术研究院有限公司 | 人脸特征的获取方法、系统、装置及计算机可读存储介质 |
CN114005019A (zh) * | 2021-10-29 | 2022-02-01 | 北京有竹居网络技术有限公司 | 一种翻拍图像识别方法及其相关设备 |
WO2023071609A1 (zh) * | 2021-10-29 | 2023-05-04 | 北京有竹居网络技术有限公司 | 一种翻拍图像识别方法及其相关设备 |
CN114005019B (zh) * | 2021-10-29 | 2023-09-22 | 北京有竹居网络技术有限公司 | 一种翻拍图像识别方法及其相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111767228B (zh) | 基于人工智能的界面测试方法、装置、设备和介质 | |
CN110929622A (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
CN113191495A (zh) | 超分模型的训练及人脸识别方法、装置、介质及电子设备 | |
CN112861950A (zh) | 翻拍图像的识别方法、装置、电子设备及存储介质 | |
CN114511576B (zh) | 尺度自适应特征增强深度神经网络的图像分割方法与系统 | |
CN114549913A (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
CN111882034A (zh) | 神经网络处理及人脸识别方法、装置、设备和存储介质 | |
CN114299304A (zh) | 一种图像处理方法及相关设备 | |
CN117934254A (zh) | 水印处理模型训练方法、水印处理方法、装置和设备 | |
CN116205726B (zh) | 一种贷款风险预测方法、装置、电子设备及存储介质 | |
CN116958325A (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
Yang et al. | Image quality caption with attentive and recurrent semantic attractor network | |
CN111768214A (zh) | 产品属性的预测方法、系统、设备和存储介质 | |
Alherbawi et al. | JPEG image classification in digital forensic via DCT coefficient analysis | |
CN115187252A (zh) | 网络交易系统中欺诈行为的识别方法、服务器及存储介质 | |
CN112132175A (zh) | 对象分类方法、装置、电子设备及存储介质 | |
US20240184860A1 (en) | Methods and arrangements for providing impact imagery | |
Camacho | Initialization methods of convolutional neural networks for detection of image manipulations | |
CN113221762B (zh) | 代价平衡决策方法、保险理赔决策方法、装置和设备 | |
CN113239878B (zh) | 图像分类方法、装置、设备及介质 | |
CN113572913B (zh) | 图像加密方法、装置、介质及电子设备 | |
CN112329925B (zh) | 模型生成方法、特征提取方法、装置及电子设备 | |
CN109408706B (zh) | 一种图像过滤方法 | |
Nathania et al. | PRESSNet: Assessment of Building Damage Caused by the Earthquake |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |