CN115272223A - 基于深度学习的图像翻拍自动检测技术 - Google Patents
基于深度学习的图像翻拍自动检测技术 Download PDFInfo
- Publication number
- CN115272223A CN115272223A CN202210880825.1A CN202210880825A CN115272223A CN 115272223 A CN115272223 A CN 115272223A CN 202210880825 A CN202210880825 A CN 202210880825A CN 115272223 A CN115272223 A CN 115272223A
- Authority
- CN
- China
- Prior art keywords
- image
- network model
- feature extraction
- type
- inputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000005516 engineering process Methods 0.000 title claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 58
- 238000003062 neural network model Methods 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于深度学习的图像翻拍自动检测技术，属于图像处理技术领域。该方法包括：获取输入的第一图像，从数据库中获取第二图像，将第一图像输入至预训练的特征提取网络模型进行特征提取得到第一特征向量，将第二图像输入至特征提取网络模型进行特征提取得到多个第二特征向量，将第一特征向量与多个第二特征向量进行相似性匹配，得到相似图像，将第一图像与相似图像进行配准，得到第一差异图像，将第一差异图像输入至预训练的二分类网络模型，得到分类结果，根据分类结果得到第一图像的类型，以及与第一图像对应的相似图像。本申请能够检测出翻拍图像并识别其对应的被翻拍的原始图像。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于深度学习的图像翻拍自动检测技术。
背景技术
在许多项目工程如基站建设、配电箱检查、管道土建等工程中，需要经常获得实时的工程图像并加入数据库中，以保证工程的顺利进行以及查看工程进度。然而在实际情况下，有些工人可能会为了方便而选择将以前出现在数据库里的图像进行翻拍，得到其翻拍图像作为新的工程图像，这种图像明显不能在工程中使用。然而在实际应用中，由于时间成本以及人工成本过高，我们难以通过肉眼对获得的新的大量工程图像一一进行翻拍检查。因此，为了及时识别出一张新输入的工程图像是否来自数据库中某张图像的翻拍，翻拍图像的自动检测技术是非常迫切并且有现实意义的。
现有技术中，存在一些翻拍图像检测的研究，其中有一部分是通过研究图像内部特征的规律并以此来进行分类检测的。比如，因为图像翻拍过程产生非线性响应通常伴随图像表面梯度值的非线性变化。因此可以对图像像素进行求偏导数，从而提取图像表面梯度特征的统计值，再设计相应的分类器可以有效地区分翻拍图像和自然图像。另外，随着深度学习方法的发展，也出现了基于卷积神经网络自动提取图像特征并进行分类的方法，比如使用小波分解和多输入深度卷积神经网络(CNN)对计算机屏幕翻拍的图像的摩尔纹进行检测的方法。这些已有的图像翻拍检测算法，都通过不同的方法分析并提取了翻拍图像相比原始图像不同的图像特征，并通过这些特征对图像进行分类。但是其只实现了检测一张图像是否为翻拍图像的功能，并不能在检测出图像为翻拍图像的同时找到其来自哪一张图像的翻拍。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请提出一种基于深度学习的图像翻拍自动检测技术，能够检测出翻拍图像并识别其对应的被翻拍的原始图像。
第一方面，本申请实施例提供了一种基于深度学习的图像翻拍自动检测技术，所述方法包括：
获取输入的第一图像；
获取第二图像，所述第二图像保存在数据库中；
将所述第一图像输入至预训练的特征提取网络模型，通过所述特征提取网络模型对所述第一图像进行特征提取得到第一特征向量；
将所述第二图像输入至所述特征提取网络模型，通过所述特征提取网络模型对所述第二图像进行特征提取得到多个第二特征向量；
将所述第一特征向量与所述多个第二特征向量进行相似性匹配，得到相似图像；
将所述第一图像与所述相似图像进行配准，得到第一差异图像；
将所述第一差异图像输入至预训练的二分类网络模型，得到分类结果；
根据所述分类结果得到所述第一图像的类型，以及与所述第一图像对应的所述相似图像，所述第一图像的类型包括翻拍图像和原始图像。
在本申请的一些实施例中，所述在将所述第一图像输入至预训练的特征提取网络模型之前，还包括：
构建第一神经网络模型；
获取样本数据；
根据所述样本数据训练所述第一神经网络模型，得到所述特征提取网络模型。
在本申请的一些实施例中，所述在根据所述样本数据训练所述第一神经网络模型，得到所述特征提取网络模型之后，还包括：
将所述样本数据输入至所述特征提取网络模型，通过所述特征提取网络模型对所述样本数据进行特征提取得到第三特征向量；
对所述第三特征向量和所述多个第二特征向量进行相似性匹配及图像配准，得到第二差异图像；
根据预设的所述样本数据的实际类型对所述第二差异图像进行标签标记，得到训练数据；
根据训练数据对预设的第二神经网络模型进行训练，得到所述二分类网络模型。
在本申请的一些实施例中，所述将所述第一图像与所述相似图像进行配准，得到第一差异图像，包括：
将所述第一图像与所述相似图像进行图像配准，得到与所述相似图像之间的匹配区域；
将所述匹配区域的像素进行相减得到所述第一差异图像。
在本申请的一些实施例中，所述根据预设的所述样本数据的实际类型对所述第二差异图像进行标签标记，得到训练数据，包括：
若所述实际类型为原始类型，标记所述第二差异图像的标签为0类；
若所述实际类型为翻拍类型，标记所述第二差异图像的标签为1类。
在本申请的一些实施例中，所述根据所述分类结果得到所述第一图像的类型，包括：
若所述分类结果为所述0类，得到所述第一图像的类型为所述原始图像；
若所述分类结果为所述1类，得到所述第一图像的类型为所述翻拍图像。
在本申请的一些实施例中，所述根据训练数据对预设的第二神经网络模型进行训练，得到所述二分类网络模型，包括：
将所述训练数据输入至所述第二神经网络模型，得到预测分类结果；
根据所述预测分类结果和所述训练数据对应的标签计算所述第二神经网络模型的损失函数，得到第一损失值；
根据所述第一损失值更新所述第二神经网络模型的模型参数，得到所述二分类网络模型。
在本申请的一些实施例中，所述根据所述样本数据训练所述第一神经网络模型，得到所述特征提取网络模型，包括：
将所述样本数据输入至所述第一神经网络模型，得到预测特征结果；
根据所述预测特征结果和所述样本数据对应的预设标签对所述第一神经网络模型的损失函数进行计算，得到第二损失值；
根据所述第二损失值更新所述第一神经网络模型的模型参数，得到所述特征提取网络模型。
第二方面，本申请实施例还提供了一种基于深度学习的图像翻拍自动检测装置，包括：
第一获取模块，用于获取输入的第一图像；
第二获取模块，用于获取第二图像，所述第二图像保存在数据库中；
第一特征提取模块，用于将所述第一图像输入至预训练的特征提取网络模型，通过所述特征提取网络模型对所述第一图像进行特征提取得到第一特征向量；
第二特征提取模块，用于将所述第二图像输入至所述特征提取网络模型，通过所述特征提取网络模型对所述第二图像进行特征提取得到多个第二特征向量；
相似性匹配模块，用于将所述第一特征向量与所述多个第二特征向量进行相似性匹配，得到相似图像；
配准模块，用于将所述第一图像与所述相似图像进行配准，得到第一差异图像；
分类模块，用于将所述第一差异图像输入至预训练的二分类网络模型，得到分类结果；
第三获取模块，用于根据所述分类结果得到所述第一图像的类型，以及与所述第一图像对应的所述相似图像，所述第一图像的类型包括翻拍图像和原始图像。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项实施例所述的方法。
本申请实施例提出的基于深度学习的图像翻拍自动检测技术，首先获取输入的第一图像，并从数据库中获取第二图像，再分别将第一图像和第二图像输入至预训练的特征提取网络模型，通过特征提取网络模型对第一图像和第二图像进行特征提取，得到与第一图像对应的第一特征向量以及与第二图像对应的多个第二特征向量，之后，将第一特征向量和多个第二特征向量一一进行相似性匹配，得到与第一图像相似的第二图像作为相似图像，之后，将第一图像与相似图像进行配准得到第一差异图像，再将第一差异图像输入至预训练的二分类网络模型，得到分类结果，最后，根据分类结果得到第一图像的类型，以及与第一图像对应的相似图像，第一图像的类型包括翻拍图像和原始图像。其中，若第一图像的类型为翻拍图像，则与第一图像对应的相似图像即为被翻拍的原始图像。由此，本申请能够检测出图像是否为翻拍图像，并在检测出图像为翻拍图像的同时确定其被翻拍的原始图像。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1是本申请一些实施例提供的基于深度学习的图像翻拍自动检测技术的第一流程图；
图2是图1中步骤160的流程图；
图3是本申请一些实施例提供的基于深度学习的图像翻拍自动检测技术的第二流程图；
图4是本申请一些实施例提供的基于深度学习的图像翻拍自动检测技术的第三流程图；
图5是图4中步骤340的流程图；
图6是图3中步骤230的流程图；
图7是本申请一些实施例提供的基于深度学习的图像翻拍自动检测装置的模块结构图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
现有技术中，存在的关于翻拍图像检测的研究，其中有一部分是通过研究图像内部特征的规律并以此来进行分类检测的。比如，因为图像翻拍过程产生非线性响应通常伴随图像表面梯度值的非线性变化。因此可以对图像像素进行求偏导数，从而提取图像表面梯度特征的统计值，再设计相应的分类器可以有效地区分翻拍图像和自然图像。另外，随着深度学习方法的发展，也出现了基于卷积神经网络自动提取图像特征并进行分类的方法，比如使用小波分解和多输入深度卷积神经网络(CNN)对计算机屏幕翻拍的图像的摩尔纹进行检测的方法。这些已有的图像翻拍检测算法，都通过不同的方法分析并提取了翻拍图像相比原始图像不同的图像特征，并通过这些特征对图像进行分类。但是其只实现了检测一张图像是否为翻拍图像的功能，并不能在检测出图像为翻拍图像的同时找到其来自哪一张图像的翻拍。
基于此，本申请提供了一种基于深度学习的图像翻拍自动检测技术，该方法如下，首先获取输入的第一图像，并从数据库中获取第二图像，再分别将第一图像和第二图像输入至预训练的特征提取网络模型，通过特征提取网络模型对第一图像和第二图像进行特征提取，得到与第一图像对应的第一特征向量以及与第二图像对应的多个第二特征向量，之后，将第一特征向量和多个第二特征向量一一进行相似性匹配，得到与第一图像相似的第二图像作为相似图像，之后，将第一图像与相似图像进行配准得到第一差异图像，再将第一差异图像输入至预训练的二分类网络模型，得到分类结果，最后，根据分类结果得到第一图像的类型，以及与第一图像对应的相似图像，第一图像的类型包括翻拍图像和原始图像。其中，若第一图像的类型为翻拍图像，则与第一图像对应的相似图像即为被翻拍的原始图像。由此，本申请能够检测出图像是否为翻拍图像，并在检测出图像为翻拍图像的同时确定其被翻拍的原始图像，此外，本申请利用翻拍图像与原始图像存在的差异进行分类判别，而不仅仅利用某一个特定的特征或者特征的组合来分类，在实际应用中有较好的适用性，而不仅仅针对于一些特定场景特定情况的图像。
本申请实施例提供的基于深度学习的图像翻拍自动检测技术，可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现上述方法的应用等，但并不局限于以上形式。
本申请实施例可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费计算机设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
下面结合附图，对本申请实施例作进一步的阐述。
参考图1，本申请的一些实施例提供了一种基于深度学习的图像翻拍自动检测技术，该方法包括但不限于步骤110、步骤120、步骤130、步骤140、步骤150、步骤160、步骤170、步骤180。
步骤110，获取输入的第一图像。
在一些实施例中，首先获取待检测的第一图像，第一图像可以通过检测输入接口传输的数据得到，实际应用中，例如鼠标拖拽图像到输入接口或者主动进行文件选择等，可实现方式多样，其中涉及到具体的数据流转换及传输过程不作具体限制，能够获取到第一图像即可。
步骤120，获取第二图像。
在一些实施例中，获取第二图像即从数据库中获取，数据库中保存有丰富的第二图像。
步骤130，将第一图像输入至预训练的特征提取网络模型，通过特征提取网络模型对第一图像进行特征提取得到第一特征向量。
在一些实施例中，将获取到的第一图像输入预训练的特征提取网络模型中，进行特征提取，得到第一图像的第一特征向量。
步骤140，将第二图像输入至特征提取网络模型，通过特征提取网络模型对第二图像进行特征提取得到多个第二特征向量。
在一些实施例中，将获取到的第二图像输入预训练的特征提取网络模型中，进行特征提取，得到多个第二特征向量，每个特征向量对应第二图像中的一个。
步骤150，将第一特征向量与多个第二特征向量进行相似性匹配，得到相似图像。
在一些实施例中，在获取到第一特征向量和多个第二特征向量后，将第一特征向量和每一个第二特征向量一一进行相似性匹配，得到与第一特征向量相似的第二特征向量，即得到了与第一图像相似的第二图像，该第二图像即为相似图像，可以理解的是，得到的相似图像可以有若干个，也可以为0个。当不存在相似图像时，说明第一图像不是翻拍图像，可以认为是原始图像。此外，可以采用机器学习和数据挖掘中一些常见的距离公式进行相似性匹配，以得到相似图像，例如，闵可夫斯基距离、欧几里得距离、曼哈顿距离、切比雪夫距离、马氏距离、余弦相似度、皮尔逊相关系数等，本申请实施例不对此作具体限制。
步骤160，将第一图像与相似图像进行配准，得到第一差异图像。
在一些实施例中，将第一图像与得到的相似图像逐一进行配准，得到第一差异图像。可以理解的是，若未得到第一差异图像，说明第一图像不是翻拍图像，可以认为是原始图像。
步骤170，将第一差异图像输入至预训练的二分类网络模型，得到分类结果。
在一些实施例中，在得到第一差异图像后，将第一差异图像输入至预训练的二分类网络模型，即可得到分类结果。
步骤180，根据分类结果得到第一图像的类型，以及与第一图像对应的相似图像，第一图像的类型包括翻拍图像和原始图像。
在一些实施例中，根据分类结果即可确定第一图像的类型以及得到第一图像对应的相似图像，第一图像的类型包括翻拍图像和原始图像，可以理解的是，此处的“原始图像”仅仅是与“翻拍图像”相对的概念，亦可理解为“非翻拍图像”。若第一图像的类型为翻拍图像，则与之对应的相似图像即为被翻拍的原始图像。由此，本申请即可在检测出翻拍图像的同时识别其对应的被翻拍的原始图像，换言之，本申请能够确认输入的图像是否为翻拍图像，若输入的图像是翻拍图像，还能够找到输入的图像是来自哪一张图像的翻拍。
在一些实施例中，如图2所示，图2是步骤160的细化步骤流程图，步骤160包括但不限于步骤161、步骤162。
步骤161，将第一图像与相似图像进行图像配准，得到与相似图像之间的匹配区域；
步骤162，将匹配区域的像素进行相减得到第一差异图像。
具体的，为了得到第一差异图像，首先将第一图像与相似图像进行图像配准，得到第一图像与相似图像之间的匹配区域，再将图像匹配区域之间的像素相减即可得到第一差异图像。可以理解的是，图像配准是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。
在一些实施例中，如图3所示，在执行步骤130之前，本申请实施例的方法还包括但不限于步骤210、步骤220、步骤230。
步骤210，构建第一神经网络模型；
步骤220，获取样本数据；
步骤230，根据样本数据训练第一神经网络模型，得到特征提取网络模型。
具体的，在将第一图像输入至预训练的特征提取网络模型之前，还应先训练得到特征提取网络模型，其具体过程如下，首先构建第一神经网络模型，并获取样本数据，该样本数据为预先采集的大量的图像数据，存储在数据库中，之后，根据样本数据训练第一神经网络模型，最终训练好的第一神经网络模型即为特征提取网络模型。可以理解的是，第一神经网络模型可以为卷积神经网络模型，也可以为其它效率更高的神经网络模型，本申请实施例并不对此作具体限制。
在一些实施例中，如图4所示，在执行完步骤230之后，本申请实施例的方法还包括但不限于步骤310、步骤320、步骤330、步骤340。
步骤310，将样本数据输入至特征提取网络模型，通过特征提取网络模型对样本数据进行特征提取得到第三特征向量；
步骤320，对第三特征向量和多个第二特征向量进行相似性匹配及图像配准，得到第二差异图像；
步骤330，根据预设的样本数据的实际类型对第二差异图像进行标签标记，得到训练数据；
步骤340，根据训练数据对预设的第二神经网络模型进行训练，得到二分类网络模型。
具体的，将样本数据输入至训练好的特征提取网络模型，进行特征提取，得到第三特征向量，对第三特征向量和多个第二特征向量进行相似性匹配及图像配准，得到第二差异图像，根据预设的样本数据的实际类型对第二差异图像进行标签标记，将标记完标签的第二差异图像作为训练数据，利用训练数据训练预设的第二神经网络模型，得到训练好的二分类网络模型。需要说明的是，步骤320的具体过程与上述步骤160的具体实现过程类似，此处不再赘述。
在一些实施例中，预设的样本数据的实际类型包括原始类型和翻拍类型，步骤330中对第二差异图像进行标签标记的具体过程为，若预设的实际类型为原始类型，则标记对应的第二差异图像的标签为0类，若预设的实际类型为翻拍类型，则标记对应的第二差异图像的标签为1类。本领域的技术人员可以理解的是，此处的0类和1类仅仅是一个标签符号，用于区别样本数据的不同类型，不能认为是对本申请的限制，此处换作其他标签符号亦可。
在一些实施例中，步骤180中“根据分类结果得到第一图像的类型”的具体过程包括，若将第一差异图像输入至预训练的二分类网络模型得到的分类结果为0类，得到输入的第一图像的类型为原始图像，若分类结果为1类，则得到的第一图像的类型为翻拍图像。
在实际应用中，由于翻拍图像具有一些干净的原始图像没有的特征，如摩尔纹等，因此翻拍图像与非翻拍图像对应的差异图像之间会有差别，因此可以将这些差异图像分别标上不同的标签，输入至第二神经网络模型进行训练，得到二分类网络模型。若样本数据为翻拍图像，将其与相似图像进行配准得到的第二差异图像的标签标为1，若样本数据为非翻拍图像，将其对应得到的第二差异图像的标签标为0。这样即可得到一批标签为1的第二差异图像作为正标签训练数据，以及得到一批标签为0的第二差异图像作为负标签训练数据，最终可以根据这些训练数据对第二神经网络模型进行训练，得到一个准确度较高的二分类网络模型。在进行模型测试时，输入一张测试图像，在经过特征提取、相似度匹配以及配准后，若没有得到差异图像，可认为该测试图像为原始图像，即非翻拍图像，若得到差异图像，则将差异图像输入训练好的二分类网络模型，得到分类结果，若输出的分类结果为0，即标签为0，则可以认为该测试图像为原始图像，若分类结果为1，则表示该测试图像为翻拍图像，并且来自于该执行过程中的相似图像的翻拍，该相似图像即为被翻拍的原始图像。
在一些实施例中，如图5所示，图5是步骤340的细化步骤流程图，步骤340包括但不限于步骤341、步骤342、步骤343。
步骤341，将训练数据输入至第二神经网络模型，得到预测分类结果；
步骤342，根据预测分类结果和训练数据对应的标签计算第二神经网络模型的损失函数，得到第一损失值；
步骤343，根据第一损失值更新第二神经网络模型的模型参数，得到二分类网络模型。
具体的，训练第二神经网络模型的具体过程如下，首先将训练数据输入至第二神经网络模型，得到预测分类结果，根据预测分类结果和训练数据对应的标签对第二神经网络模型的损失函数进行计算，得到第一损失值，再将得到的第一损失值作为反向传播量，对第二神经网络模型的模型参数进行更新调整，得到二分类网络模型。可以理解的是，可以采用梯度下降算法更新模型参数，通过一步步的迭代求解，能够得到较小化的损失函数，从而更新模型参数，以此提高训练好的特征提取网络模型的特征提取的准确度。
在一些实施例中，如图6所示，图6是步骤230的细化步骤流程图，步骤230包括但不限于步骤231、步骤232、步骤233。
步骤231，将样本数据输入至第一神经网络模型，得到预测特征结果；
步骤232，根据预测特征结果和样本数据对应的预设标签对第一神经网络模型的损失函数进行计算，得到第二损失值；
步骤233，根据第二损失值更新第一神经网络模型的模型参数，得到特征提取网络模型。
具体的，训练第一神经网络模型的具体过程如下，首先将样本数据输入至第一神经网络模型，得到预测特征结果，根据样本数据实际对应的预设标签得到其实际特征结果，根据预测特征结果和实际特征结果对第一神经网络模型的损失函数进行计算，得到第二损失值，再将得到的第二损失值作为反向传播量，对第一神经网络模型的模型参数进行更新调整，得到特征提取网络模型。
在一具体实施例中，选择使用训练好的ResNet18网络作为特征提取网络模型，该ResNet18网络不包括最后一层全连接层，后续采用欧式距离计算特征向量间的相似性，图像配准采用基于图像特征的配准方法。在训练第二神经网络模型得到二分类网络模型的过程中，主要调整的超参数是用于训练的深度模型的种类，即使用不同的模型进行训练以及测试，包括使用Efficientnet系列、ResNet系列以及VIT系列的相关模型，选择的每一种模型独立进行训练和测试过程，并对各自的结果进行比较。例如，在实际应用中，使用真实的工程图像数据，包括875张原始图像以及它们对应的翻拍图像，使用其中的725张原始图像以及对应翻拍图像作为训练集，剩余150张原始图像以及对应翻拍图像作为内部测试集；另外，实验中还使用了真实的生活图像数据，包括100张原始图像以及它们对应的翻拍图像，用作外部测试集。其采用不同的模型进行训练及测试的结果如以下的表1和表2所示，表1为内部测试集的结果，表2为外部测试集的结果。
表1
表2
| 网络模型 | 准确率/％ | 灵敏度/％ | 特异度/％ |
| EfficientNet-b0 | 80 | 97 | 69 |
| EfficientNet-b3 | 82 | 89 | 75 |
| EfficientNet-b7 | 83 | 81 | 85 |
| ResNet34 | 86 | 92 | 80 |
| ResNet50 | 84.5 | 90 | 79 |
| ResNet101 | 82 | 76 | 88 |
| ViT-B-16 | 86.5 | 94 | 79 |
参考图7，本申请的一些实施例提供了一种基于深度学习的图像翻拍自动检测装置，该装置包括第一获取模块410、第二获取模块420、第一特征提取模块430、第二特征提取模块440、相似性匹配模块450、配准模块460、分类模块470、第三获取模块480。第一获取模块410获取输入的第一图像，第二获取模块420从数据库中获取第二图像，第一特征提取模块430将第一图像输入至预训练的特征提取网络模型，通过特征提取网络模型对第一图像进行特征提取，得到与第一图像对应的第一特征向量，第二特征提取模块440将第二图像输入至特征提取网络模型，通过特征提取网络模型对第二图像进行特征提取，得到与第二图像对应的第二特征向量，相似性匹配模块450将第一特征向量和多个第二特征向量一一进行相似性匹配，得到与第一图像相似的第二图像作为相似图像，配准模块460将第一图像与相似图像进行配准得到第一差异图像，分类模块470将第一差异图像输入至预训练的二分类网络模型，得到分类结果，第三获取模块480根据分类结果得到第一图像的类型，以及与第一图像对应的相似图像，第一图像的类型包括翻拍图像和原始图像。其中，若第一图像的类型为翻拍图像，则与第一图像对应的相似图像即为被翻拍的原始图像。由此，本申请能够检测出图像是否为翻拍图像，并在检测出图像为翻拍图像的同时确定其被翻拍的原始图像，此外，本申请利用翻拍图像与原始图像存在的差异进行分类判别，而不仅仅利用某一个特定的特征或者特征的组合来分类，在实际应用中有较好的适用性，而不仅仅针对于一些特定场景特定情况的图像。
此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，在计算机可执行指令用于使计算机执行如上任意实施例中的方法，例如，执行以上描述的图1中的方法步骤110至180、图2中的方法步骤161至162、图3中的方法步骤210至230、图4中的方法步骤310至340、图5中的方法步骤341至343、图6中的方法步骤231至233。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
Claims (10)
1.一种基于深度学习的图像翻拍自动检测技术，其特征在于，包括：
获取输入的第一图像；
获取第二图像，所述第二图像保存在数据库中；
将所述第一图像输入至预训练的特征提取网络模型，通过所述特征提取网络模型对所述第一图像进行特征提取得到第一特征向量；
将所述第二图像输入至所述特征提取网络模型，通过所述特征提取网络模型对所述第二图像进行特征提取得到多个第二特征向量；
将所述第一特征向量与所述多个第二特征向量进行相似性匹配，得到相似图像；
将所述第一图像与所述相似图像进行配准，得到第一差异图像；
将所述第一差异图像输入至预训练的二分类网络模型，得到分类结果；
根据所述分类结果得到所述第一图像的类型，以及与所述第一图像对应的所述相似图像，所述第一图像的类型包括翻拍图像和原始图像。
2.根据权利要求1所述的方法，其特征在于，所述在将所述第一图像输入至预训练的特征提取网络模型之前，还包括：
构建第一神经网络模型；
获取样本数据；
根据所述样本数据训练所述第一神经网络模型，得到所述特征提取网络模型。
3.根据权利要求2所述的方法，其特征在于，所述在根据所述样本数据训练所述第一神经网络模型，得到所述特征提取网络模型之后，还包括：
将所述样本数据输入至所述特征提取网络模型，通过所述特征提取网络模型对所述样本数据进行特征提取得到第三特征向量；
对所述第三特征向量和所述多个第二特征向量进行相似性匹配及图像配准，得到第二差异图像；
根据预设的所述样本数据的实际类型对所述第二差异图像进行标签标记，得到训练数据；
根据训练数据对预设的第二神经网络模型进行训练，得到所述二分类网络模型。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一图像与所述相似图像进行配准，得到第一差异图像，包括：
将所述第一图像与所述相似图像进行图像配准，得到与所述相似图像之间的匹配区域；
将所述匹配区域的像素进行相减得到所述第一差异图像。
5.根据权利要求3所述的方法，其特征在于，所述根据预设的所述样本数据的实际类型对所述第二差异图像进行标签标记，得到训练数据，包括：
若所述实际类型为原始类型，标记所述第二差异图像的标签为0类；
若所述实际类型为翻拍类型，标记所述第二差异图像的标签为1类。
6.根据权利要求5所述的方法，其特征在于，所述根据所述分类结果得到所述第一图像的类型，包括：
若所述分类结果为所述0类，得到所述第一图像的类型为所述原始图像；
若所述分类结果为所述1类，得到所述第一图像的类型为所述翻拍图像。
7.根据权利要求3所述的方法，其特征在于，所述根据训练数据对预设的第二神经网络模型进行训练，得到所述二分类网络模型，包括：
将所述训练数据输入至所述第二神经网络模型，得到预测分类结果；
根据所述预测分类结果和所述训练数据对应的标签计算所述第二神经网络模型的损失函数，得到第一损失值；
根据所述第一损失值更新所述第二神经网络模型的模型参数，得到所述二分类网络模型。
8.根据权利要求2所述的方法，其特征在于，所述根据所述样本数据训练所述第一神经网络模型，得到所述特征提取网络模型，包括：
将所述样本数据输入至所述第一神经网络模型，得到预测特征结果；
根据所述预测特征结果和所述样本数据对应的预设标签对所述第一神经网络模型的损失函数进行计算，得到第二损失值；
根据所述第二损失值更新所述第一神经网络模型的模型参数，得到所述特征提取网络模型。
9.一种基于深度学习的图像翻拍自动检测装置，其特征在于，包括：
第一获取模块，用于获取输入的第一图像；
第二获取模块，用于获取第二图像，所述第二图像保存在数据库中；
第一特征提取模块，用于将所述第一图像输入至预训练的特征提取网络模型，通过所述特征提取网络模型对所述第一图像进行特征提取得到第一特征向量；
第二特征提取模块，用于将所述第二图像输入至所述特征提取网络模型，通过所述特征提取网络模型对所述第二图像进行特征提取得到多个第二特征向量；
相似性匹配模块，用于将所述第一特征向量与所述多个第二特征向量进行相似性匹配，得到相似图像；
配准模块，用于将所述第一图像与所述相似图像进行配准，得到第一差异图像；
分类模块，用于将所述第一差异图像输入至预训练的二分类网络模型，得到分类结果；
第三获取模块，用于根据所述分类结果得到所述第一图像的类型，以及与所述第一图像对应的所述相似图像，所述第一图像的类型包括翻拍图像和原始图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210880825.1A CN115272223A (zh) | 2022-07-26 | 2022-07-26 | 基于深度学习的图像翻拍自动检测技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210880825.1A CN115272223A (zh) | 2022-07-26 | 2022-07-26 | 基于深度学习的图像翻拍自动检测技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115272223A true CN115272223A (zh) | 2022-11-01 |
Family
ID=83768843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210880825.1A Pending CN115272223A (zh) | 2022-07-26 | 2022-07-26 | 基于深度学习的图像翻拍自动检测技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272223A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116109878A (zh) * | 2023-04-10 | 2023-05-12 | 南京掌控网络科技有限公司 | 一种图像翻拍识别方法、系统、装置及存储介质 |
-
2022
- 2022-07-26 CN CN202210880825.1A patent/CN115272223A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116109878A (zh) * | 2023-04-10 | 2023-05-12 | 南京掌控网络科技有限公司 | 一种图像翻拍识别方法、系统、装置及存储介质 |
| CN116109878B (zh) * | 2023-04-10 | 2023-09-08 | 南京掌控网络科技有限公司 | 一种图像翻拍识别方法、系统、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444921A (zh) | 划痕缺陷检测方法、装置、计算设备和存储介质 | |
| CN112153483B (zh) | 信息植入区域的检测方法、装置及电子设备 | |
| CN109343920B (zh) | 一种图像处理方法及其装置、设备和存储介质 | |
| CN111582409A (zh) | 图像标签分类网络的训练方法、图像标签分类方法及设备 | |
| CN114746898A (zh) | 用于生成图像抠图的三分图的方法和系统 | |
| CN111651636A (zh) | 视频相似片段搜索方法及装置 | |
| CN115131283A (zh) | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 | |
| CN112766218A (zh) | 基于非对称联合教学网络的跨域行人重识别方法和装置 | |
| CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN115272223A (zh) | 基于深度学习的图像翻拍自动检测技术 | |
| CN111461143A (zh) | 一种图片翻拍识别方法和装置及电子设备 | |
| CN110895811B (zh) | 一种图像篡改检测方法和装置 | |
| CN115880260A (zh) | 基站施工的检测方法、装置、设备及计算机可读存储介质 | |
| CN112132892A (zh) | 目标位置标注方法、装置及设备 | |
| CN114860991A (zh) | 一种短视频去重方法及计算机可读存储介质 | |
| CN115187884A (zh) | 一种高空抛物识别方法、装置、电子设备及存储介质 | |
| CN113139540A (zh) | 背板检测方法及设备 | |
| Zhu et al. | Recaptured image detection through enhanced residual-based correlation coefficients | |
| CN112287905A (zh) | 车辆损伤识别方法、装置、设备及存储介质 | |
| Kumar et al. | PCB defect classification using logical combination of segmented copper and non-copper part | |
| Khayeat et al. | Improved DSIFT descriptor based copy-rotate-move forgery detection | |
| CN111160262A (zh) | 一种融合人体关键点检测的人像分割方法 | |
| CN116977271A (zh) | 缺陷检测方法、模型训练方法、装置及电子设备 | |
| CN113901899A (zh) | 一种人物群体行为分析方法、系统、设备和介质 | |
| KR102342495B1 (ko) | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |