CN117333762B - 一种基于多特征融合的图像翻拍识别方法 - Google Patents
一种基于多特征融合的图像翻拍识别方法 Download PDFInfo
- Publication number
- CN117333762B CN117333762B CN202311638047.6A CN202311638047A CN117333762B CN 117333762 B CN117333762 B CN 117333762B CN 202311638047 A CN202311638047 A CN 202311638047A CN 117333762 B CN117333762 B CN 117333762B
- Authority
- CN
- China
- Prior art keywords
- image
- flip
- screen
- data set
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 description 11
- 230000002411 adverse Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000001463 effect on reproduction Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/95—Pattern authentication; Markers therefor; Forgery detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于多特征融合的图像翻拍识别方法，涉及神经网络技术领域，解决了图像翻拍识别方法一般进行一种类型识别，影响了识别准确性的技术问题。该方法包括：将屏幕元素数据集、摩尔纹数据集及普通翻拍数据集中的样本图像均调整为设定分辨率；随机抽取等量样本，输入神经网络进行正向推理；计算屏幕元素分割误差并进行反向传播，计算摩尔纹分割误差并进行反向传播，计算普通翻拍分类误差并进行反向传播；设置神经网络的超参数，训练得到图像翻拍预测模型；将待检测图片输入，得到分类预测结果。本发明通过屏幕元素样本图像、摩尔纹样本图像及普通翻拍样本图像训练，实现对翻拍图像的多特征融合检测，翻拍图像识别的准确性更高。
Description
技术领域
本发明涉及神经网络技术领域，尤其涉及一种基于多特征融合的图像翻拍识别方法。
背景技术
图像翻拍一般是利用具有拍摄功能的设备对翻拍对象进行二次拍摄，翻拍对象可在显示设备、打印纸上显示。由于这种翻拍图像一般为虚假数据，因此需要对这种图像翻拍进行有效识别，以区别于真实图像，如零售行业中进行翻拍识别是准确获取零售数据的一种关键技术。
现有技术中，主流的识别方法是通过检测图片中的摩尔纹来判断图片翻拍情况，但随着手机和电脑屏幕制作工艺的提升，屏幕的分辨率越来越高，很多翻拍图片中已经难以观察到摩尔纹的存在，导致摩尔纹检测方法无法很好地检测出各类翻拍图片。因此，判断翻拍存在的线索也变成了手机边缘、屏幕边缘、鼠标、导航键等目标，以及图片是否模糊、曝光是否正常、是否存在反光等难以人工标注的特征。常见的解决思路是训练二分类模型来区分所有翻拍和非翻拍的样本，这种方法缺点也非常明显。首先，上述各种翻拍图片的外观差异很大，分类模型难以从中学习到稳定统一的特征，精度有限；其次，分类算法依靠海量数据来保证算法的泛化能力，对一些样本偏少的场景不具备泛化能力。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
现有的图像翻拍识别方法一般进行一种类型的翻拍图像识别，对不同类型翻拍图像的识别效果较差，影响了翻拍图像识别的准确性。
发明内容
本发明的目的在于提供一种基于多特征融合的图像翻拍识别方法，以解决现有技术中存在的图像翻拍识别方法一般进行一种类型的翻拍图像识别，对不同类型翻拍图像的识别效果较差，影响了翻拍图像识别准确性的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
为实现上述目的，本发明提供了以下技术方案：
本发明提供的一种基于多特征融合的图像翻拍识别方法，用于识别待检测图片是否为翻拍图片，包括以下步骤：S100：获取多个屏幕元素样本图像、多个摩尔纹样本图像及多个普通翻拍样本图像，分别得到屏幕元素数据集、摩尔纹数据集及普通翻拍数据集；S200：将所述屏幕元素数据集、摩尔纹数据集及普通翻拍数据集中的样本图像均调整为设定分辨率；S300：从所述屏幕元素数据集、摩尔纹数据集及普通翻拍数据集中随机抽取等量样本，输入神经网络进行正向推理，获得推理结果；S400：基于推理结果，分别计算屏幕元素分割误差并进行反向传播、计算摩尔纹分割误差并进行反向传播、计算普通翻拍分类误差并进行反向传播；S500：设置神经网络的超参数，训练得到图像翻拍预测模型；S600：将待检测图片输入所述图像翻拍预测模型，得到分类预测结果，基于所述分类预测结果得出所述待检测图片是否存在翻拍。
优选的，所述S100步骤中，所述屏幕元素样本图像通过标注屏幕原始图像获取；在所述屏幕原始图像中，将存在鼠标指针标记、手机边框、显示屏幕边框、图像边框的翻拍对象区域标注为1，其它区域则标注为0，作为正样本；若整张所述屏幕原始图像都不存在屏幕元素，则将该图像的全部像素值均标注为0，作为负样本。
优选的，所述S100步骤中，所述摩尔纹数据集通过以下步骤得到：S10：对显示屏幕的白屏显示进行多次拍摄，得到多张白屏图片，将所述白屏图片进行[0, 0.5]区间的归一化处理，得到多张归一化白屏图片；S20：获取多张非摩尔纹翻拍图片并任意选取一张，从[128, 255]中随机选取数值，生成与非摩尔纹翻拍图片分辨率相同的随机纯色图片；选取任意一张所述归一化白屏图片，并缩放至与非摩尔纹翻拍图片相同的分辨率；S30：基于多张所述随机纯色图片、多张所述非摩尔纹翻拍图片、多张所述归一化白屏图片，进行不同组合及计算操作，得到多个所述摩尔纹样本图像的正样本；S40：将非摩尔纹翻拍图片的全部像素值标记为0，作为摩尔纹样本图像的负样本；S50：基于多个所述摩尔纹样本图像的正样本、负样本，得到所述摩尔纹数据集。
优选的，所述S30步骤中的计算操作公式为：S(x,y)=R(x,y)*M(x,y)+N(x,y)*(1-M(x,y))，其中，S(x,y)为所述摩尔纹样本图像的正样本中每个像素对应的颜色，R(x,y)为所述随机纯色图片中每个像素对应的颜色，M(x,y)为所述归一化白屏图片中每个像素对应的颜色，N(x,y)为所述非摩尔纹翻拍图片中每个像素对应的颜色。
优选的，所述S100步骤中，所述普通翻拍样本图像基于分类方法得到，将存在普通翻拍的图像全部标注为1，作为正样本，不存在普通翻拍的图像全部标注为0，作为负样本；所述普通翻拍样本图像为包含摩尔纹、屏幕元素、纸张打印、亮度异常、屏幕反光、颜色不自然、严重模糊中任意一种或多种类型的翻拍。
优选的，所述S400步骤中，在计算屏幕元素分割误差并进行反向传播前，选择所述屏幕元素数据集中的正样本与负样本、以及所述普通翻拍数据集中的负样本。
优选的，所述S400步骤中，在计算摩尔纹分割误差并进行反向传播前，选择所述摩尔纹数据集中的正样本与负样本、以及所述普通翻拍数据集中的负样本。
优选的，所述S400步骤中，在计算普通翻拍分类误差并进行反向传播前，选择普通翻拍数据集中的正样本与负样本，以及所述摩尔纹数据集、屏幕元素数据集中的正样本。
优选的，所述S400步骤中，计算屏幕元素分割误差并进行反向传播时，通过FocalLoss的语义分割损失进行反向传播计算；计算摩尔纹分割误差并进行反向传播时，通过Focal Loss的语义分割损失进行反向传播计算；计算普通翻拍分类误差并进行反向传播时，通过Log Loss的分类损失进行反向传播计算。
优选的，所述S500步骤中，所述超参数包括：学习率0.01，每30个epoch训练过程后，学习率降为原来的50%；batchsize批次大小为30，优化函数采用Adam算法。
实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：
本发明通过屏幕元素样本图像、摩尔纹样本图像及普通翻拍样本图像训练，实现对翻拍图像的多特征融合检测，能够适应各种类型的翻拍检测，同时在少量训练样本条件下也具备很好的泛化性能，从而翻拍图像识别的准确性更高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：
图1是本发明实施例的一种基于多特征融合的图像翻拍识别方法的示意图；
图2是本发明实施例的一种基于多特征融合的图像翻拍识别方法的流程图；
图3是本发明实施例的获取摩尔纹样本图像的流程图；
图4是本发明实施例的屏幕元素与摩尔纹分割的网络结构；
图5是本发明实施例的普通翻拍的网络结构。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。
实施例：如图1、图2所示，本发明提供了一种基于多特征融合的图像翻拍识别方法，用于识别待检测图片是否为翻拍图片，包括以下步骤。S100：获取多个屏幕元素样本图像、多个摩尔纹样本图像及多个普通翻拍样本图像，分别得到屏幕元素数据集、摩尔纹数据集及普通翻拍数据集。屏幕元素样本图像、摩尔纹样本图像及普通翻拍样本图像中均包括多个正样本和多个负样本， 正样本为包括所要识别目标的图像，如屏幕元素、摩尔纹、翻拍，负样本为不包含所要识别目标的图像，也叫负图像（Negtive Image)，用于降低误检测率、误识别率，以提高神经网络模型的泛化能力。其中，屏幕元素样本图像的正样本即存在屏幕元素的样本图像，如图像上有鼠标的箭头标识，图像存在平板电脑、笔记本电脑、手机、显示器等的边框，以及图像存在边框等；摩尔纹样本图像的正样本，翻拍电脑、手机等显示屏照片中的图像，电脑、手机等显示上呈现的纹路即摩尔纹；普通翻拍样本图像中的正样本即存在纸张打印、亮度异常、屏幕反光、颜色不自然、严重模糊等一种或多种情况的翻拍图像。优选屏幕元素数据集、摩尔纹数据集的正样本、负样本各500张，普通翻拍数据集中正样本、负样本各5000张，作为训练用的数据集，当然，也可以根据训练需要和数据集中的样本数量情况选择其他数量。S200：将屏幕元素数据集、摩尔纹数据集及普通翻拍数据集中的样本图像均调整为设定分辨率，通过统一为设定分辨率便于进行训练核推理。S300：从屏幕元素数据集、摩尔纹数据集及普通翻拍数据集中随机抽取等量样本，输入神经网络进行正向推理，获得推理结果。S400：基于推理结果，分别计算屏幕元素分割误差并进行反向传播、计算摩尔纹分割误差并进行反向传播、计算翻拍分类误差并进行反向传播，三种计算不存在先后顺序。S500：设置神经网络的超参数，训练得到图像翻拍预测模型，设置超参数即用于控制模型结构、功能、效率，从而可快速得到更效果更好的预测模型。S600：将待检测图片输入图像翻拍预测模型，得到分类预测结果，基于分类预测结果得出待检测图片是否存在翻拍。本发明通过屏幕元素样本图像、摩尔纹样本图像及普通翻拍样本图像训练，实现对翻拍图像的多特征融合检测，能够适应各种类型的翻拍检测，同时在少量训练样本条件下也具备很好的泛化性能。通过选择了翻拍与非翻拍图片各500张，验证算法效果。其中翻拍图片包含了200张摩尔纹、200张屏幕元素，以及100张打印、亮度异常、色彩异常、屏幕反光等翻拍样本。对比了本发明方法、仅使用二分类方法训练的模型以及目前最好摩尔纹检测算法的效果。最终结果表明：本文方法在分类精度上达到了96%，超过了仅用二分类方法约11.3%。在摩尔纹和屏幕元素的数据集上精度超过98%，在一般数据集上的精度也达到了90%，在通用翻拍检测上具有很好的应用价值。其中，摩尔纹检测模型在少数数据上预测正确，是因为这些图片同时包含摩尔纹翻拍特征与其他类别翻拍特征。
表1 本发明与现有技术的效果对比情况
作为可选的实施方式，S100步骤中，屏幕元素样本图像通过标注屏幕原始图像获取，屏幕原始图像即图像与翻拍图片中可能存在屏幕相关的元素。在屏幕原始图像中，将存在鼠标指针标记、手机边框、显示屏幕边框、图像边框的翻拍对象区域标注为1，当然，还包括其他未列出的包括屏幕相关元素的情形，这个区域即为翻拍对象本身，即不包括屏幕元素的区域（翻拍图片在屏幕上显示的区域），其它区域则标注为0，即对应翻拍对象以外的区域（翻拍图片以外的区域），作为正样本。若整张屏幕原始图像都不存在屏幕元素，即该图像中不存在鼠标指针标记、手机边框、显示屏幕边框、图像边框等屏幕元素，则将该图像的全部像素值均标注为0，作为负样本。
作为可选的实施方式，如图3所示，S100步骤中，摩尔纹数据集通过以下步骤得到。S10：对显示屏幕的白屏显示进行多次拍摄，得到多张白屏图片，显示屏幕优选为不同类型的屏幕，如平板屏幕、手机屏幕、显示器屏幕、笔记本屏幕、电视屏幕等，以进一步增加摩尔纹数据集的多样性，将白屏图片进行[0, 0.5]区间的归一化处理，得到多张归一化白屏图片；图像归一化用于预处理白屏图片，可以提高分类、检测和识别算法的准确性和稳定性，消除奇异样本数据导致的不良影响。S20：获取多张非摩尔纹翻拍图片并任意选取一张，非摩尔纹翻拍图片为不含有摩尔纹的任意类型图片。从[128, 255]中随机选取数值，该值对应灰度值，白色为255，黑色为0，生成与非摩尔纹翻拍图片分辨率相同的随机纯色图片，该随机纯色图片也为灰度图，灰度值即为[128, 255]中的选取值，从而可以模拟出摩尔纹中包含的不同深浅的灰色。选取任意一张归一化白屏图片，并缩放至与非摩尔纹翻拍图片相同的分辨率；缩放至相同分辨率便于进行融合处理。S30：基于多张随机纯色图片、多张非摩尔纹翻拍图片、多张归一化白屏图片，进行不同组合（优选每个组合中至少有一张不同的随机纯色图片、非摩尔纹翻拍图片、归一化白屏图片）及计算操作，得到多个摩尔纹样本图像的正样本。S40：将非摩尔纹翻拍图片的全部像素值标记为0，作为摩尔纹样本图像的负样本。S50：基于多个摩尔纹样本图像的正样本、负样本，得到摩尔纹数据集。
作为可选的实施方式，S30步骤中的计算操作公式为：S(x,y)=R(x,y)*M(x,y)+N(x,y)*(1-M(x,y))，其中，S(x,y)为摩尔纹样本图像的正样本中每个像素对应的颜色，R(x,y)为随机纯色图片中每个像素对应的颜色，M(x,y)为归一化白屏图片中每个像素对应的颜色，N(x,y)为非摩尔纹翻拍图片中每个像素对应的颜色。通过该公式，实现了随机纯色图片、归一化白屏图片、非摩尔纹翻拍图片的融合，摩尔纹样本图像的正样本中同时具有了三种图片的特征，从而很好模拟出了摩尔纹效果，降低了样本获取难度。
作为可选的实施方式，S100步骤中，普通翻拍样本图像基于分类方法得到，将存在普通翻拍的图像全部标注为1，作为正样本，不存在普通翻拍的图像全部标注为0，作为负样本。普通翻拍样本图像为包含摩尔纹（与摩尔纹样本图像中的摩尔纹一致）、屏幕元素（与屏幕元素样本图像中的屏幕元素一致）、纸张打印（如墨点、色彩饱和度低等纸张打印痕迹）、亮度异常（翻拍图片由于反光与正常拍照的高光明显不同）、屏幕反光（即图像中存在屏幕的高光）、颜色不自然（翻拍图片通常会颜色更淡）、严重模糊（翻拍图像是基于现有图像的显示或打印后结果进行拍摄，更容易出现严重模糊，同时，严重模糊很可能影响对翻盘的判断，判定为翻拍可避免将翻拍识别时的误认）中任意一种或多种类型的翻拍。
作为可选的实施方式，S200步骤中，设定分辨率为320*320。在该分辨率下，可以加快神经网络的推理速度，当然，也可以根据需要设定其他的分辨率大小，如640*640等。
作为可选的实施方式，S400步骤中，在计算屏幕元素分割误差并进行反向传播前，选择屏幕元素数据集中的正样本与负样本、以及普通翻拍数据集中的负样本，屏幕元素数据集中的正样本即为全部的正样本，屏幕元素数据集中负样本、以及普通翻拍数据集中的负样本作为训练的全部负样本。普通翻拍数据集中的负样本即不存在翻拍的正常图像，这种图像显然也不存在屏幕元素的翻拍，从而可作为屏幕元素数据集训练的全部负样本，从而可降低样本获取难度。S400步骤中，在计算摩尔纹分割误差并进行反向传播前，选择摩尔纹数据集中的正样本与负样本、以及普通翻拍数据集中的负样本。摩尔纹数据集中的正样本即为训练的全部正样本，摩尔纹数据集中负样本、以及普通翻拍数据集中的负样本作为训练的全部负样本。普通翻拍数据集中的负样本即不存在翻拍的正常图像，这种图像显然也不存在摩尔纹，从而可作为摩尔纹数据集的负样本，从而可降低样本获取难度。如图4所示，摩尔纹与屏幕元素分割网络结构完全相同：都是在Resnet18的网络基础上，增加了一个BiFPN结构，并最终通过1x1的卷积输出一个分割结果。ResNet18是一个经典的深度卷积神经网络模型，网络中包含18个卷积层，具有良好的特征提取和分类能力，便于进行本发明中的翻拍图像识别。BiFPN通过逐层融合上下采样的特征图，同时引入横向连接和纵向连接，使得不同尺度的特征能够更好地融合和利用，BiFPN的引入在目标检测和分割任务中取得了很好的效果，尤其是在处理尺度变化和遮挡等复杂场景时具有很强的鲁棒性。Resnet18在不同阶段输出的5个不同分辨率特征图，被送入BiFPN结构，最终将BiFPN结构中P6的输出结果经过两次卷积，映射为80x80的分割预测结果。
作为可选的实施方式，S400步骤中，在计算普通普通翻拍分类误差并进行反向传播前，选择普通翻拍数据集中的正样本与负样本，以及摩尔纹数据集、屏幕元素数据集中的正样本，摩尔纹数据集、屏幕元素数据集中的正样本即存在翻拍的样本，普通翻拍数据集中的正样本一起作为训练的全部正样本，普通翻拍数据集中的负样本即为训练的全部负样本，从而可降低样本获取难度。如图4所示，翻拍分类网络是对输入图片进行二值分类，因此只包含一个Resnet18结构，与摩尔纹分割与屏幕元素分割的输出结果一起编码成一个3 x512的向量，并最终映射成一个1 x 2的独热（One-Hot）编码分类预测结果，将离散型特征进行One-Hot编码让距离计算更合理，One-Hot编码是将类别变量转换为机器学习算法易于利用的一种形式的过程，解决了分类器不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用。
作为可选的实施方式，S400步骤中，计算屏幕元素分割误差并进行反向传播时，通过Focal Loss的语义分割损失进行反向传播计算；计算屏幕元素分割误差并进行反向传播时，通过Focal Loss的语义分割损失进行反向传播计算。本实施例中，优选屏幕元素数据集、摩尔纹数据集的正样本、负样本各500张，普通翻拍数据集中正样本、负样本各5000张，因此，计算屏幕元素分割误差、摩尔纹分割误差时存在样本不均衡的现象，Focal Loss由Log Loss改进而来，可以改善正负样本不均衡的现象，从而不会对训练效果产生不利影响。计算普通普通翻拍分类误差并进行反向传播时，通过Log Loss的分类损失进行反向传播计算，此时对应普通翻拍的情形。Log Loss对数损失函数能非常好的表征概率分布，在很多场景尤其是多分类中尤其适合，便于得到结果属于每个类别的置信度。
作为可选的实施方式，S500步骤中，超参数包括：学习率0.01，每30个epoch迭代后，学习率降为原来的50%，进行学习衰减，从而在训练初期学习率大一些，使得网络收敛迅速，随着训练进行，在训练后期学习率小一些，使得网络在收敛到最优点附近时避免来回震荡，从而更好的收敛到最优解，当然，也可根据训练需要设置其他学习率相关参数。batchsize批次大小为30，即屏幕元素数据集、摩尔纹数据集及普通翻拍数据集中每个样本各10张，当然，也可以选择其他数量的batchsize批次大小。优化函数采用Adam算法，Adam算法能够自适应学习率，使得训练过程更加顺畅。
实施例仅是一个特例，并不表明本发明就这样一种实现方式。
以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。
Claims (9)
1.一种基于多特征融合的图像翻拍识别方法，其特征在于，用于识别待检测图片是否为翻拍图片，包括以下步骤：
S100：获取多个屏幕元素样本图像、多个摩尔纹样本图像及多个普通翻拍样本图像，分别得到屏幕元素数据集、摩尔纹数据集及普通翻拍数据集；
S200：将所述屏幕元素数据集、摩尔纹数据集及普通翻拍数据集中的样本图像均调整为设定分辨率；
S300：从所述屏幕元素数据集、摩尔纹数据集及普通翻拍数据集中随机抽取等量样本，输入神经网络进行正向推理，获得推理结果；
S400：基于推理结果，分别计算屏幕元素分割误差并进行反向传播、计算摩尔纹分割误差并进行反向传播、计算普通翻拍分类误差并进行反向传播；
S500：设置神经网络的超参数，训练得到图像翻拍预测模型；
S600：将待检测图片输入所述图像翻拍预测模型，得到分类预测结果，基于所述分类预测结果得出所述待检测图片是否存在翻拍；
所述S100步骤中，所述摩尔纹数据集通过以下步骤得到：
S10：对显示屏幕的白屏显示进行多次拍摄，得到多张白屏图片，将所述白屏图片进行[0, 0.5]区间的归一化处理，得到多张归一化白屏图片；
S20：获取多张非摩尔纹翻拍图片并任意选取一张；从[128, 255]中随机选取数值，生成与非摩尔纹翻拍图片分辨率相同的随机纯色图片；选取任意一张所述归一化白屏图片，并缩放至与非摩尔纹翻拍图片相同的分辨率；
S30：基于多张所述随机纯色图片、多张所述非摩尔纹翻拍图片、多张所述归一化白屏图片，进行不同组合及计算操作，得到多个所述摩尔纹样本图像的正样本；
S40：将非摩尔纹翻拍图片的全部像素值标记为0，作为摩尔纹样本图像的负样本；
S50：基于多个所述摩尔纹样本图像的正样本、负样本，得到所述摩尔纹数据集。
2.根据权利要求1所述的一种基于多特征融合的图像翻拍识别方法，其特征在于，所述S100步骤中，所述屏幕元素样本图像通过标注屏幕原始图像获取；在所述屏幕原始图像中，将存在鼠标指针标记、手机边框、显示屏幕边框、图像边框的翻拍对象区域标注为1，其它区域则标注为0，作为正样本；若整张所述屏幕原始图像都不存在屏幕元素，则将该图像的全部像素值均标注为0，作为负样本。
3.根据权利要求1所述的一种基于多特征融合的图像翻拍识别方法，其特征在于，所述S30步骤中的计算操作公式为：
S(x,y)=R(x,y)*M(x,y)+N(x,y)*(1-M(x,y))，
其中，S(x,y)为所述摩尔纹样本图像的正样本中每个像素对应的颜色，R(x,y)为所述随机纯色图片中每个像素对应的颜色，M(x,y)为所述归一化白屏图片中每个像素对应的颜色，N(x,y)为所述非摩尔纹翻拍图片中每个像素对应的颜色。
4.根据权利要求1所述的一种基于多特征融合的图像翻拍识别方法，其特征在于，所述S100步骤中，所述普通翻拍样本图像基于分类方法得到，将存在普通翻拍的图像全部标注为1，作为正样本，不存在普通翻拍的图像全部标注为0，作为负样本；所述普通翻拍样本图像为包含摩尔纹、屏幕元素、纸张打印、亮度异常、屏幕反光、颜色不自然、严重模糊中任意一种或多种类型的翻拍。
5.根据权利要求1所述的一种基于多特征融合的图像翻拍识别方法，其特征在于，所述S400步骤中，在计算屏幕元素分割误差并进行反向传播前，选择所述屏幕元素数据集中的正样本与负样本、以及所述普通翻拍数据集中的负样本。
6.根据权利要求1所述的一种基于多特征融合的图像翻拍识别方法，其特征在于，所述S400步骤中，在计算摩尔纹分割误差并进行反向传播前，选择所述摩尔纹数据集中的正样本与负样本、以及所述普通翻拍数据集中的负样本。
7.根据权利要求1所述的一种基于多特征融合的图像翻拍识别方法，其特征在于，所述S400步骤中，在计算普通翻拍分类误差并进行反向传播前，选择普通翻拍数据集中的正样本与负样本，以及所述摩尔纹数据集、屏幕元素数据集中的正样本。
8.根据权利要求1所述的一种基于多特征融合的图像翻拍识别方法，其特征在于，所述S400步骤中，计算屏幕元素分割误差并进行反向传播时，通过Focal Loss的语义分割损失进行反向传播计算；计算摩尔纹分割误差并进行反向传播时，通过Focal Loss的语义分割损失进行反向传播计算；计算普通翻拍分类误差并进行反向传播时，通过Log Loss的分类损失进行反向传播计算。
9.根据权利要求1所述的一种基于多特征融合的图像翻拍识别方法，其特征在于，所述S500步骤中，所述超参数包括：学习率0.01，每30个epoch训练过程后，学习率降为原来的50%；batchsize批次大小为30，优化函数采用Adam算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311638047.6A CN117333762B (zh) | 2023-12-02 | 2023-12-02 | 一种基于多特征融合的图像翻拍识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311638047.6A CN117333762B (zh) | 2023-12-02 | 2023-12-02 | 一种基于多特征融合的图像翻拍识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117333762A CN117333762A (zh) | 2024-01-02 |
| CN117333762B true CN117333762B (zh) | 2024-03-15 |
Family
ID=89283497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311638047.6A Active CN117333762B (zh) | 2023-12-02 | 2023-12-02 | 一种基于多特征融合的图像翻拍识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333762B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008651A (zh) * | 2019-11-13 | 2020-04-14 | 科大国创软件股份有限公司 | 一种基于多特征融合的图像翻拍检测方法 |
| WO2020077866A1 (zh) * | 2018-10-17 | 2020-04-23 | 平安科技（深圳）有限公司 | 基于摩尔纹的图像识别方法、装置、设备和存储介质 |
| CN112258481A (zh) * | 2020-10-23 | 2021-01-22 | 北京云杉世界信息技术有限公司 | 一种门脸照翻拍检测方法 |
| WO2021068142A1 (zh) * | 2019-10-09 | 2021-04-15 | 深圳大学 | 自动识别原始文档的翻拍图像的训练方法和检测方法 |
| CN113486861A (zh) * | 2021-08-03 | 2021-10-08 | 北京百度网讯科技有限公司 | 摩尔纹图片生成方法和装置 |
| CN114066894A (zh) * | 2022-01-17 | 2022-02-18 | 深圳爱莫科技有限公司 | 一种陈列图像翻拍的检测方法、存储介质及处理设备 |
| CN116168038A (zh) * | 2023-04-26 | 2023-05-26 | 创新奇智(青岛)科技有限公司 | 一种图像翻拍检测的方法、装置、电子设备及存储介质 |
| CN116541545A (zh) * | 2023-04-07 | 2023-08-04 | 河南中原消费金融股份有限公司 | 一种翻拍图像识别方法、装置、设备及存储介质 |
| CN116958795A (zh) * | 2023-06-30 | 2023-10-27 | 北京房多多信息技术有限公司 | 翻拍图像的识别方法、装置、电子设备及存储介质 |
-
2023
- 2023-12-02 CN CN202311638047.6A patent/CN117333762B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020077866A1 (zh) * | 2018-10-17 | 2020-04-23 | 平安科技（深圳）有限公司 | 基于摩尔纹的图像识别方法、装置、设备和存储介质 |
| WO2021068142A1 (zh) * | 2019-10-09 | 2021-04-15 | 深圳大学 | 自动识别原始文档的翻拍图像的训练方法和检测方法 |
| CN111008651A (zh) * | 2019-11-13 | 2020-04-14 | 科大国创软件股份有限公司 | 一种基于多特征融合的图像翻拍检测方法 |
| CN112258481A (zh) * | 2020-10-23 | 2021-01-22 | 北京云杉世界信息技术有限公司 | 一种门脸照翻拍检测方法 |
| CN113486861A (zh) * | 2021-08-03 | 2021-10-08 | 北京百度网讯科技有限公司 | 摩尔纹图片生成方法和装置 |
| CN114066894A (zh) * | 2022-01-17 | 2022-02-18 | 深圳爱莫科技有限公司 | 一种陈列图像翻拍的检测方法、存储介质及处理设备 |
| CN116541545A (zh) * | 2023-04-07 | 2023-08-04 | 河南中原消费金融股份有限公司 | 一种翻拍图像识别方法、装置、设备及存储介质 |
| CN116168038A (zh) * | 2023-04-26 | 2023-05-26 | 创新奇智(青岛)科技有限公司 | 一种图像翻拍检测的方法、装置、电子设备及存储介质 |
| CN116958795A (zh) * | 2023-06-30 | 2023-10-27 | 北京房多多信息技术有限公司 | 翻拍图像的识别方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的图像翻拍检测;谢心谦;刘霞;孔月萍;《电脑知识与技术》;第13卷(第16期);第161-162、177页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117333762A (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112115895B (zh) | 指针型仪表读数识别方法、装置、计算机设备及存储介质 | |
| CN110717450B (zh) | 自动识别原始文档的翻拍图像的训练方法和检测方法 | |
| JP4006224B2 (ja) | 画像品質判定方法、判定装置、判定プログラム | |
| US9785850B2 (en) | Real time object measurement | |
| CN113112511B (zh) | 试卷批改的方法、装置、存储介质及电子设备 | |
| CN109087261A (zh) | 基于非受限采集场景的人脸矫正方法 | |
| CN112132196A (zh) | 一种结合深度学习和图像处理的烟盒缺陷识别方法 | |
| CN108710893A (zh) | 一种基于特征融合的数字图像相机源模型分类方法 | |
| CN114266764A (zh) | 一种印刷标签的字符完整性检测方法及其装置 | |
| US20230281797A1 (en) | Defect discrimination apparatus for printed images and defect discrimination method | |
| CN116597466A (zh) | 一种基于改进YOLOv5s的工程图纸文字检测识别方法及系统 | |
| CN112991159B (zh) | 人脸光照质量评估方法、系统、服务器与计算机可读介质 | |
| CN117333762B (zh) | 一种基于多特征融合的图像翻拍识别方法 | |
| CN110619594B (zh) | 一种半色调图像隐写分析方法 | |
| US20170352170A1 (en) | Nearsighted camera object detection | |
| JPH08320990A (ja) | 車番読み取り装置 | |
| CN115063813B (zh) | 针对文字失真的对齐模型的训练方法及训练装置 | |
| CN108876845B (zh) | 菲涅尔纹中心的确定方法和装置 | |
| CN115147852B (zh) | 一种古籍识别方法、装置、存储介质及设备 | |
| CN115797939A (zh) | 一种基于深度学习的两阶段斜体字符识别方法及装置 | |
| JP3279099B2 (ja) | マーク認識装置およびマーク認識方法 | |
| CN111402281B (zh) | 一种书籍边缘检测方法及装置 | |
| CN111127327B (zh) | 一种图片倾斜检测方法及装置 | |
| CN114677670A (zh) | 一种身份证篡改自动识别与定位的方法 | |
| CN110991451B (zh) | 扫描图像的卡片区域图像的校正方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |