CN115170929A - 数据处理方法、图像处理系统的训练方法及电子设备 - Google Patents
数据处理方法、图像处理系统的训练方法及电子设备 Download PDFInfo
- Publication number
- CN115170929A CN115170929A CN202210642513.7A CN202210642513A CN115170929A CN 115170929 A CN115170929 A CN 115170929A CN 202210642513 A CN202210642513 A CN 202210642513A CN 115170929 A CN115170929 A CN 115170929A
- Authority
- CN
- China
- Prior art keywords
- image
- acquisition
- information
- training
- trace
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/95—Pattern authentication; Markers therefor; Forgery detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了人工智能领域的一种数据处理方法、图像处理系统的训练方法及电子设备,能够降低图像来源识别的处理复杂度,提高处理效率。数据处理方法包括:获取待处理图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待处理图像的目标采集设备在采集所述待处理图像时在所述待处理图像中形成的采集痕迹;利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息,分类模块是训练得到的神经网络模型。
Description
技术领域
本申请涉及人工智能领域,具体涉及一种数据处理方法、图像处理系统的训练方法及电子设备。
背景技术
由于图像采集设备的工艺偏差,在采集的图像中,会留下图像采集设备的采集痕迹。例如,由于感光元件上的硅的厚度存在差异导致的光响应不均匀性(photo responsenon uniformity,PRNU)在图像中引起的噪声,镜头工艺偏差在图像中引起的失真、像差等。
图像来源识别(image source identification,ISI)技术通过识别图像中的采集痕迹,可以识别图像的采集设备信息。具体的,利用去噪算法,可以确定待处理图像中的采集痕迹信息。利用去噪算法,还可以根据某个图像采集设备采集的多个图像,确定该设备的设备采集痕迹信息。对待处理图像中的采集痕迹信息与设备采集痕迹信息进行比较,从而确定该设备是否为该待处理图像的采集设备。
为了在多个采集设备中确定某个图像的采集设备,需要将该图像的采集痕迹信息与该多个采集设备的设备采集痕迹信息进行比较,处理较为复杂。
发明内容
本申请提供一种图像处理系统的训练方法、数据处理方法及装置,能够降低图像来源识别的处理复杂度,提高处理效率。
本申请实施例提供一种数据处理方法,包括:
获取待处理图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待处理图像的目标采集设备在采集所述待处理图像时在所述待处理图像中形成的采集痕迹;
利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息,所述分类模块是训练得到的神经网络模型。
可选的,所述获取待处理图像的第一采集痕迹信息,包括:利用痕迹提取模块提取所述待处理图像的所述第一采集痕迹信息,所述痕迹提取模块是训练得到的神经网络模型;
所述痕迹提取模块和所述分类模块属于图像处理系统,所述图像处理系统是利用训练数据进行训练得到的,所述训练数据包括训练图像和所述训练图像对应的标记采集设备信息。
可选的,所述图像处理系统是利用所述训练数据对初始图像处理系统进行训练得到的,所述初始图像处理系统包括初始痕迹提取模块,所述初始痕迹提取模块是利用预训练数据进行预训练得到的,所述预训练数据包括多个预训练图像和每个预训练图像对应的标记采集痕迹信息,所述痕迹提取模块是根据所述初始痕迹提取模块得到的。
可选的,所述第一采集痕迹信息包括所述待处理图像的多个图像块中每个图像块的第二采集痕迹信息,所述多个图像块的尺寸不同。
可选的,所述获取待处理图像的第一采集痕迹信息,包括:利用痕迹提取模块分别提取每个图像块的第二采集痕迹信息。
可选的,所述利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息,包括:利用所述分类模块进行如下处理:
分别对每个图像块的第二采集痕迹信息进行特征提取处理,获得每个图像块的第二采集痕迹信息的特征信息;
对获得的所有特征信息进行融合,以获得融合特征;
对所述融合特征进行分类处理,以获得所述目标采集设备信息。
可选的,所述分类模块包括多个层和融合子模块;
所述多个层中的第一个层用于对所述第二采集痕迹信息进行特征提取,以获得所述第一层的特征提取结果;
所述多个层中除所述第一个层之外的其它层用于对上一个层确定的特征提取结果进行特征提取,以获得所述其它层的特征提取结果;
所述融合子模块用于对多个层的特征提取结果进行融合,以获得所述第二采集痕迹信息的特征信息。
可选的,所述目标采集设备信息用于指示采集所述待处理图像的目标采集设备。
本申请实施例还提供一种图像处理系统的训练方法,包括:
获取训练图像的训练采集痕迹信息和所述训练图像的标记采集设备信息;
利用初始分类模块对所述训练采集痕迹信息进行分类处理,以获得训练采集设备信息,所述初始分类模块是神经网络模型;
根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始分类模块的参数,以获得分类模块,所述分类模块用于对待处理图像的第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息;
根据所述分类模块获得所述图像处理系统,所述图像处理系统用于根据输入的所述待处理图像输出采集所述待处理图像的目标采集设备信息。
可选的,所述获取训练图像的训练采集痕迹信息,包括:利用初始痕迹提取模块提取所述训练采集痕迹信息,所述初始痕迹提取模块是神经网络模型;
所述根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始分类模块的参数,包括:根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始痕迹提取模块的参数和所述初始分类模块的参数,获得痕迹提取模块和所述分类模块;
所述根据所述分类模块获得所述图像处理系统,包括:根据所述痕迹提取模块和所述分类模块,获得所述图像处理系统。
可选的,所述初始痕迹提取模块是利用预训练数据进行预训练得到的,所述预训练数据包括多个预训练图像和每个预训练图像对应的标记采集痕迹信息。
可选的,所述利用初始痕迹提取模块提取所述训练采集痕迹信息,包括:利用所述初始痕迹提取模块提取所述训练图像的多个图像块中每个图像块的训练图像块采集痕迹信息,所述训练采集痕迹信息包括每个图像块的训练图像块采集痕迹信息;
所述利用初始分类模块对所述训练采集痕迹信息进行分类处理,包括:利用所述初始分类模块进行如下处理:
分别对每个图像块的训练图像块采集痕迹信息进行特征提取处理,获得每个图像块的训练图像块采集痕迹信息的训练特征信息;
对获得的所有训练特征信息进行融合,以获得训练融合特征;
对所述训练融合特征进行分类处理,以获得所述训练采集设备信息。
可选的,所述标记采集设备信息用于指示采集所述训练图像的训练采集设备。
本申请实施例还提供一种电子设备,包括:
处理器;以及
存储器,用于存储程序指令,所述图像处理装置通过所述处理器运行所述程序指令,以执行上述方法。
本申请实施例还提供一种图像溯源方法,包括:
获取客户端发送的待溯源图像,
提取所述待溯源图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待溯源图像的目标采集设备在采集所述待溯源图像时在所述待溯源图像中形成的采集痕迹;
利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待溯源图像的目标采集设备信息;
向所述客户端发送溯源结果,所述溯源结果包括所述目标采集设备信息。
本申请实施例还提供一种图像鉴定方法,包括:
获取待鉴定图像和待定采集设备信息;
提取所述待鉴定图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待鉴定图像的目标采集设备在采集所述待鉴定图像时在所述待鉴定图像中形成的采集痕迹;
利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待鉴定图像的目标采集设备信息;
向客户端发送判断结果,所述判断结果用于指示所述目标采集设备信息与所述待定采集设备信息是否一致。
根据本发明实施例提供的数据处理方案,通过利用分类模块对待处理图像的第一采集痕迹信息进行分类处理,以确定采集该待处理图像的目标采集设备信息,从而,目标采集设备信息的确定,不依赖于将第一采集痕迹信息与采集设备的设备采集痕迹信息的比较,从而能够降低图像来源识别的处理复杂度,提高处理效率。
附图说明
图1是图像采集与个体识别的示意图;
图2是本申请实施例提供的一种图像处理方法的示意性流程图;
图3是本申请实施例提供的一种图像处理系统的示意性结构图;
图4是本申请实施例提供的一种特征提取网络的示意性结构图;
图5是本申请实施例提供的另一种图像处理系统的示意性结构图;
图6是本申请实施例提供的一种痕迹提取网络的示意性结构图。
图7是本申请实施例提供的另一种痕迹提取网络的示意性结构图;
图8是本申请实施例提供的一种图像处理系统的训练方法的示意性流程图;
图9是本申请实施例提供的一种图像处理系统的训练方法的示意性流程图;
图10是本申请实施例提供的一种电子设备的示意性结构图;
图11是本申请实施例提供的一种电子设备的示意性结构图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
随着数字技术的发展,借助各种图像编辑工具,可以对图像进行编辑,使得对图像的创作和变得越来越常见和容易。但与此同时,图像的真实性受到了巨大的挑战。
数字图像取证技术通过对图像统计特征的分析,可以判断图像内容的真实性、完整性和原始性。数字图像取证技术(digital image forensics)包括图像来源识别(imagesource identification,ISI)和图像伪造检测。图像伪造检测技术用于判断数字图像是否被修改。ISI技术通过识别图像中的采集痕迹,可以识别图像采集设备信息。数字图像取证技术应用广泛。
一些记录有商业秘密或个人隐私的图像可能是非法采集的。在这些图像泄露的情况下,通过确定该图像的采集设备,实现溯源,从而为确定图像泄露事件的责任人提供线索。
盗图是未经原创作者允许和同意,非法地将他人的图片盗为己用,或商业用途的行为。通过确定采集图像的设备,可以对盗图行为的确定提供帮助。
在证件中一般不允许使用计算机生成图像。在司法活动中,自然图像可以作为证据使用。可以利用自然图像与计算机生成图像区分的技术,确定图像是否可以为自然图像,即确定该图像是否具有真实性,从而确定该图像是否可以在证件中使用,或者是否可以作为证据使用。
ISI技术一直是多媒体取证领域的研究热点之一。图像来源识别的结果可以作为图像取证领域的最低参考,用于可疑图像的筛除与辅助鉴定,并且可以帮助追踪图像来源,在非法图像追责和确保数据信息安全可靠等方面也都具有非常重要的意义。
ISI技术包括图像采集设备的模型识别以及个体识别。通过模型识别,确定的图像采集设备信息可以指示图像采集设备的类别,如型号等。如图1所示,通过个体识别,确定的图像采集设备信息可以指示采集该图像的设备。对图像采集设备的个体识别也可以称为源相机识别(source camera identification,SCI)。
镜头的设计和制作工艺使得其无可避免地引入失真、像差等。失真、像差均为镜头在图像中留下的采集痕迹。数码相机有两种常见的失真:色差(chromatic aberration,CA)和球面差(spherical aberration,SA)。不同波长的光线通过透镜时的折射率也各不相同,这种现象称为色差现象;轴上物点发出的光束,经球面折射后不再交于一点,这种现象称为球面像差。
传感器模式噪声是图像采集阶段另一种重要的采集痕迹。在各种传感器噪声中,由光响应不均匀性(photo response non uniformity,PRNU)引起的噪声尤为重要。
PRNU是与图像采集设备中成像传感器紧密相关的特性。PRNU的形成,是由于传感器制造过程中,感光元件上的硅的厚度存在差异造成的。感光元件例如可以是互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)、电荷耦合器件(chargecoupled device,CCD)等。硅的厚度的差是一种细微的随机缺陷,不同的图像采集设备采集图像时会在图像中留下不同的PRNU。通过分析图像PRNU可以获得关于图像采集设备的线索。
每台设备都有其特定的PRNU模式,通过对获取到设备拍摄的大量图像进行处理,可以估算出该设备的PRNU模式。事实上,由于传感器制造中不可避免的误差,以及传感器单元的不均匀性,即使在相同的光强下,其产生的像素亮度也会略有不同。
图像采集设备采集的图像I可以表示为:I=(1+K)I0+θ,其中,K为图像采集设备的PRNU模式,I0为原始图像,θ为是其他的噪声。PRNU模式对于每个图像采集设备都是唯一的,在时间上是稳定的,并且存在于图像采集设备采集的所有图像中。
可以根据图像采集设备i采集的N张图像Ii,1,...,Ii,N,计算得到该图像采集设备的PRNU模式,N为大于1的正整数。该N张图像中图像Ii,n的噪声残差Wi,n可以表示为:
Wi,n=Ii,n-f(Ii,n)
其中,f()为去噪算法。
图像采集设备i的PRNU模式Ki可以表示为Wi,1,...,Wi,N的平均值:
或者,可以通过去噪与最大似然估计等方法对图像采集设备i采集的N张图像Ii,1,...,Ii,N进行处理,以获得图像采集设备i的PRNU模式Ki。
为了对比某个图像Im是否属于该PRNU模式,即是否为该图像采集设备i采集的,可以计算图像Im的噪声残差Wm与图像采集设备i的PRNU模式Ki之间的相关性(normalizationcross-correlation,NCC)NCC(Wm,Ki):
其中,< >表示内积,|| ||表示欧几里得范数。计算图像Im的噪声残差Wm可以表示图像Im的PRNU模式。
峰值相关能量比(peak to correlation energy ratio,PCE)值可以作为检验待测图像是否来源于特定数字图像传感器的依据。在计算出PCE值后,对该值与阈值进行大小比较,若PCE值大于等于阈值,则认为待测图像来源于具有该PRNU噪声的数字图像传感器。
通过计算图像Im的噪声残差Wm和图像采集设备i的PRNU模式Ki之间的相关性,我们可以判断图像Im是否由图像采集设备i采集。
或者,在确定计算图像Im的噪声残差Wm与图像采集设备i的PRNU模式Ki之后,利用二通道的卷积神经网络对图像Im的噪声残差Wm与图像采集设备i的PRNU模式Ki进行处理,得到识别分数cm。分数cm与图像和设备之间的一致性直接相关。也就是说,根据识别分数cm可以确定图像Im是否由图像采集设备i采集得到。
去噪算法对于颜色变化较小即颜色梯度较小的图像,去噪效果较好。因此,可以在图像采集设备i采集的图像中选取N张纯色图像(例如,记录纯色墙面、天空等的图像),作为图像Ii,1,...,Ii,N。
利用上述方法,在多个采集设备中确定某个图像的采集设备时,需要将该图像的采集痕迹信息与该多个采集设备的设备采集痕迹信息进行比较,处理较为复杂。
并且,处理过程中,均需要确定采集设备的PRNU模式。PRNU模式的确定过程中,选取的图像经过的后处理方式以及该图像中的内容复杂度、颜色提取等对确定的采集设备的PRNU模式的准确度影响较大,从而使得图像来源识别的结果准确度受到影响。
为了解决上述问题,本申请提供了一种图像处理方法和装置。
图2是本申请实施例提供的一种数据处理方法的示意性流程图。本实施例提供的数据处理方法具体可以应用于实现数据处理功能的电子设备,该电子设备可以是终端设备、服务器等,在其他实施例中,电子设备还可以采用其他设备实现,本实施例此处不做具体限定。
如图2所示的数据处理方法包括S201至S202。
在S201,获取待处理图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待处理图像的目标采集设备在采集所述待处理图像时在所述待处理图像中形成的采集痕迹。
由于图像采集设备的工艺偏差,在采集的图像中,会留下图像采集设备的采集痕迹。第一采集痕迹信息用于指示待处理图像中目标采集设备留下的采集痕迹。
在S202,利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息,所述分类模块是训练得到的神经网络模型。
通过图2所示的方法,在从多个采集设备中确定某个图像的采集设备的情况下,无需将该图像的采集痕迹信息与该多个采集设备的设备采集痕迹信息依次进行比较,能够降低处理复杂度,提高处理效率。
在S201,可以利用去噪算法,确定待处理图像的第一采集痕迹信息。
或者,可以利用痕迹提取模块提取待处理图像的第一采集痕迹信息。
痕迹提取模块可以包括用于提取待处理图像的第一采集痕迹信息的痕迹提取网络,或者,痕迹提取模块可以通过接口调用痕迹提取网络,以实现对第一采集痕迹信息进行提取的功能。痕迹提取网络是训练得到的神经网络模型。
痕迹提取模块和分类模块属于图像处理系统。图像处理系统的结构可以参见图3和图5的说明。
在一些实施例中。痕迹提取模块和分类模块可以是分别进行训练得到的。
可以利用多个训练图像和每个训练图像对应的标记采集痕迹信息,训练得到痕迹提取模块。可以利用训练图像对应的标记采集痕迹信息和训练图像对应的标记采集设备信息,训练得到分类模块。
训练图像对应的标记采集痕迹信息一般是利用去噪算法对训练图像进行处理获得的。对于经过后处理的图像,或颜色梯度较大的图像,通过去噪算法的得到的采集痕迹信息准确度较低。
在另一些实施例中,图像处理系统可以是通过端到端的训练得到的。
端到端训练,也称端到端学习(end-to-end learning),是指在学习过程中不进行分模块训练,直接优化任务的总体目标。
在对图像处理系统的端到端训练过程中,可以利用训练数据对初始图像处理系统进行参数调整,训练数据可以包括训练图像和所述训练图像对应的标记采集设备信息。
与分别进行训练得到痕迹提取模块和分类模块的方式相比,通过端到端的方式训练得到图像处理系统的方式,不依赖于训练图像对应的标记采集痕迹信息。从而,图像处理系统对经过后处理的图像,或颜色梯度较大的图像进行处理时,准确度更高。也就是说,通过端到端的方式训练得到的图像处理系统,具有更广泛的适用性。
初始图像处理系统包括初始痕迹提取模块和初始分类模块。
在对初始图像处理系统进行训练之前,进行预训练,以得到的初始痕迹提取模块。
初始痕迹提取模块可以是利用预训练数据进行预训练得到的,预训练数据包括多个预训练图像和每个预训练图像对应的标记采集痕迹信息。
预训练图像对应的标记采集痕迹信息指示采集该预训练图像的采集设备在预训练图像中形成的采集痕迹。
在初始图像处理系统中使用预训练得到的初始痕迹提取模块,即使用预训练得到的神经网络结构和权重。从而在初始图像处理系统进行训练的过程中,可以不再对初始痕迹提取模块的权重进行过多的修改,可以只是进行微调(fine tune),从而缩短训练时间。
预训练图像对应的标记采集痕迹信息,可以是利用去噪算法对预训练图像进行处理得到的。对于颜色变化较小即颜色梯度较小且未经过后处理的图像,利用去噪算法得到的采集痕迹信息较为准确。也就是说,通过预训练得到的初始痕迹提取模块,对经过后处理的图像,或颜色梯度较大的图像进行处理,得到的采集痕迹信息的准确度较低。
利用训练数据,调整初始图像处理系统中各个模块的参数,训练数据可以包括经过后处理的图像,也可以包括颜色梯度较大的图像。从而,使得图像处理系统具有广泛适用性。
图像处理系统的训练方法具体可以参见图8和图9的说明。
待处理图像可以包括至少一个图像块。该至少一个图像块的尺寸可以相同或不同。第一采集痕迹信息可以包括该多个图像块中每个图像块的第二采集痕迹信息。
获取的第一采集痕迹信息中,第二采集痕迹信息对应的图像块的数量越多,图像块的尺寸种类越多,分类模块确定的目标采集设备信息越准确。
该多个图像块可以覆盖或不覆盖待处理图像的全部区域。该多个图像块可以重合或不重合。
在第一采集痕迹信息包括多个第二采集痕迹信息的情况下,在S201,可以利用痕迹提取模块分别提取每个图像块的第二采集痕迹信息。
痕迹提取模块具有对不同尺寸的图像进行处理的能力。
对该多个图像块的第二采集痕迹信息进行提取可以是并行进行的。从而,可以提高处理效率。
示例性地,痕迹提取模块可以包括多个痕迹提取网络,或者,痕迹提取模块可以调用多个痕迹提取网络,该多个痕迹提取网络可以并行的对该多个图像块进行提取处理,以确定每个图像块的第二采集痕迹信息。该多个痕迹提取网络的参数可以是相同的。痕迹提取网络可以是训练得到的神经网络模型,用于提取图像的采集痕迹信息。
在第一采集痕迹信息包括多个第二采集痕迹信息的情况下,在S202,可以利用所述分类模块进行如下处理:
分别对每个图像块的第二采集痕迹信息进行特征提取处理,获得每个图像块的第二采集痕迹信息的特征信息;
对获得的所有特征信息进行融合,以获得融合特征;
对所述融合特征进行分类处理,以获得所述目标采集设备信息。
对多个图像块的第二采集痕迹信息的特征信息进行融合,利用融合后得到的融合信息进行分类处理,使得确定的目标采集设备信息更为准确。
分类模块可以包括多个层和融合子模块。
该多个层中的第一个层用于对第二采集痕迹信息进行特征提取,以获得第一层的特征提取结果;该多个层中除所述第一个层之外的其它层用于对上一个层确定的特征提取结果进行特征提取,以获得该其它层的特征提取结果。
也就是说,该多个层中的每个层用于对输入的信息进行特征提取,以得到该层的特征提取结果。其中,第一层输入的信息为第二采集痕迹信息,其他层的输入为上一层的特征提取结果。
融合子模块用于对多个层的特征提取结果进行融合,以获得第二采集痕迹信息的特征信息。
神经网络可以包括多个层,初始的层用于提取低级语义的特征,随着神经网络深度增加,越往后的层提取的特征越复杂,比如提取高级语义的特征。对多个层的特征提取结果进行融合,使得特征信息可以更好的关注第二采集痕迹信息的局部特征和全局特征,通过对特征信息进行分类而确定的目标采集设备信息更加准确。
品牌(brand)识别、型号(model)识别、设备(device)识别的任务难度不断增加。本申请实施例中,目标采集设备信息可以用于指示采集所述待处理图像的目标采集设备的品牌或型号,也可以用于指示采集所述待处理图像的目标采集设备。
图3是本申请实施例提供的一种图像处理系统的示意性结构图。
图像处理系统300包括痕迹提取模块310和分类模块320。
痕迹提取模块310用于提取待处理图像的第一采集痕迹信息。
分类模块320用于对第一采集痕迹信息进行分类处理,以确定待处理图像的目标采集设备信息。
目标采集设备信息可以用于指示采集待处理图像的目标采集设备,或者,目标采集设备信息可以用于指示目标采集设备的类型,如型号、品牌等。
在一些实施例中,痕迹提取模块310可以利用去噪算法,确定待处理图像的第一采集痕迹信息。
在另一些实施例中,痕迹提取模块310可以包括用于提取待处理图像的第一采集痕迹信息的痕迹提取网络,或者,痕迹提取模块310可以通过接口调用痕迹提取网络,对待处理图像进行提取处理,以得到待处理图像的第一采集痕迹信息。
痕迹提取网络可以是训练得到的神经网络模型。
神经网络(neural networks,NN)可以是由神经单元组成的。神经单元也可以称为处理单元或神经元。神经网络是将多个上述单一的神经单元联结在一起形成的网络,即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连,来提取局部接受域的特征,局部接受域可以是由若干个神经单元组成的区域。
神经单元可以是指以xs和截距1为输入的运算单元,该运算单元的输出可以为:
其中,s=1、2、……n,n为大于1的自然数,Ws为xs的权重,b为神经单元的偏置。f为神经单元的激活函数(activation functions),用于将非线性特性引入神经网络中,来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入,激活函数可以是sigmoid函数。
痕迹提取模块310可以利用痕迹提取网络对待处理图像中全部或部分区域进行处理,以得到第一采集痕迹信息。
第一采集痕迹信息可以包括目标采集设备的传感器模式噪声,如PRNU等。第一采集痕迹信息还可以包括采集待处理图像的目标采集设备镜头的设计和制作工艺使得其无可避免地引入失真、像差等。
分类模块320可以利用特征提取网络对第一采集痕迹信息进行特征提取,以得到特征信息。分类模块320还可以利用分类器对特征信息进行分类处理,以得到目标采集设备信息。特征提取网络的结构可以参见图4的说明。
图4是本申请实施例提供的一种特征提取网络的示意性结构图。
特征提取网络400可以是卷积神经网络(convolutional neuron network,CNN)。示例性地,特征提取网络400可以是深度神经网络(deep neural network,DNN)。
深度神经网络也称多层神经网络,可以理解为具有多个隐含层的神经网络。按照不同层的位置对DNN进行划分,DNN内部的神经网络可以分为三类:输入层,隐含层,输出层。一般来说第一层是输入层,最后一层是输出层,中间的层数都是隐含层。层与层之间可以是全连接的,也就是说,第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
卷积神经网络可以包括多个卷积层。示例性地,如图4所示,特征提取网络400可以包括卷积层411至417。
卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中,一个神经元可以只与部分邻层神经元连接。一个卷积层中,通常包含若干个特征平面,每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重,这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化,在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外,共享权重带来的直接好处是减少卷积神经网络各层之间的连接,同时又降低了过拟合的风险。
卷积层可以包括很多个卷积算子,卷积算子也称为核,其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器,卷积算子本质上可以是一个权重矩阵,这个权重矩阵通常被预先定义,在对图像进行卷积操作的过程中,权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长(stride)的取值)的进行处理,从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关,需要注意的是,权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的,在进行卷积运算的过程中,权重矩阵会延伸到输入图像的整个深度。因此,和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出,但是大多数情况下不使用单一权重矩阵,而是应用多个尺寸(行×列)相同的权重矩阵,即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度,这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征,例如一个权重矩阵用来提取图像边缘信息,另一个权重矩阵用来提取图像的特定颜色,又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同,经过该多个尺寸相同的权重矩阵提取后的卷积特征图的尺寸也相同,再将提取到的多个尺寸相同的卷积特征图合并形成卷积运算的输出。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到,通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息,从而使得卷积神经网络进行正确的预测。
当卷积神经网络有多个卷积层的时候,初始的卷积层(例如411)往往提取较多的一般特征,该一般特征也可以称之为低级别的特征;随着卷积神经网络深度的加深,越往后的卷积层(例如417)提取到的特征越来越复杂,比如高级别的语义之类的特征,语义越高的特征越适用于待解决的问题。
特征信息可以是特征提取网络400的多个卷积层411至417中最后一个卷积层417输出的特征。
或者,特征提取网络400还可以包括融合子模块420。融合子模块420用于对卷积层411至417中多个层输出的特征进行融合。
也就是说,特征信息可以是对特征提取网络400中多个卷积层输出的特征进行融合得到的。如图4所示,将待处理图像的第一采集痕迹信息输入特征提取网络400,特征提取网络400中的卷积层411至417进行卷积处理,以得到第一采集痕迹信息的特征信息。特征信息可以是对卷积层411、卷积层414、卷积层417输出的特征进行融合得到的。
卷积层411至414可以进行步长为2的卷积运算,以实现下采样。下采样可以理解为缩小图像。
卷积层411至414中,特征图(feature map)的通道数可以以2的倍数不断增加。特征图是卷积层的一种输出形式。特征图的通道数也可以理解为输出该特征图的层的通道数。每层的通道数是预设的。例如,一个黑白图像就是单通道,是一维的;一个彩色图像有红绿蓝(RGB)三个通道,是三维的。
示例性地,卷积层411至414的卷积核大小(kernel size)均为3;卷积层411的输入通道数(input channels)为1,输出通道数(output channels)为64;卷积层412输入通道数为64,输出通道数为128;卷积层413输入通道数为1,输出通道数为64;卷积层414输入通道数为128,输出通道数为256;卷积层415至卷积层417输入输出通道数均为512。卷积层415至卷积层417可以进行步长为1的卷积运算。
可以将卷积层411、卷积层414、卷积层417的输出可以分别通过平均池化操作之后连接在一起。也就是说,可以将卷积层411、卷积层414、卷积层417输出的平均池化结果进行拼接。
示例性地,可以将卷积层411、卷积层414、卷积层417的输出可以分别通过全局平均池化(global average pooling,GAP)操作之后连接在一起,以实现对卷积层411、卷积层414、卷积层417的输出特征的融合。
特征提取网络400中每个的卷积层还可以包括训练加速算法和激活函数。训练加速算法例如可以是BatchNorm。BatchNorm算法可以用于加速神经网络训练,加速收敛速度及提高稳定性。激活函数例如可以是非线性激活函数LeakyReLU。
图5是本申请实施例提供的另一种图像处理系统的示意性结构图。
图像处理系统500包括痕迹提取模块510和分类模块520。
痕迹提取模块510用于提取待处理图像的第一采集痕迹信息。
痕迹提取模块510包括多个痕迹提取网络。如图5所示,痕迹提取模块510包括痕迹提取网络511至513。
痕迹提取网络511至513可以分别用于对待处理图像中不同的图像块进行痕迹提取,以确定每个图像块的第二采集痕迹信息。痕迹提取网络511至513处理的图像块可以分别为图5所示的图像块1至图像块3。
也就是说,待处理图像的第一采集痕迹信息包括该多个图像块中每个图像块的第二采集痕迹信息。
分类模块520用于对该多个图像块中每个图像块的第二采集痕迹信息进行处理,以确定所述待处理图像的目标采集设备信息。
分类模型520可以对该多个第二采集痕迹信息进行融合,对融合后的信息进行特征提取,并基于特征提取的结果进行分类处理,以得到目标采集设备信息。
或者,如图5所示,分类模型520可以对每个第二采集痕迹信息进行特征提取,以确定每个第二采集痕迹信息的特征信息。分类模型520可以多个第二采集痕迹信息的特征信息进行融合,以得到融合信息。分类模型520可以对融合信息进行分类处理,与确定目标采集设备信息。
分类模型520可以包括至少一个特征提取网络。每个特征提取网络可以对一个或多个第二采集痕迹信息进行特征提取。
多个特征提取网络521至523可以并行的对第二采集痕迹信息进行特征提取,提高处理效率。
特征提取网络521至523可以均为CNN。特征提取网络521至523可以是相同的神经网络模型。示例性地,特征提取网络521的结构可以与特征提取网络400的结构相同。也就是说,第二采集痕迹信息的特征信息可以是对多个卷积层提取的特征进行融合得到的。
分类模型520还可以包括融合网络524。融合网络524用于对多个第二采集痕迹信息的特征信息进行融合,以得到融合信息。示例性地,对多个第二采集痕迹信息的特征信息进行融合,可以是对多个第二采集痕迹信息的特征信息进行拼接。
分类模型520可以包括分类器525。分类器525用于对融合信息进行分类处理,与确定目标采集设备信息。
分类器525可以包括全连接层(fully connected layer)。全连接层的每一个结点都与上一层的所有结点相连。在卷积神经网络的最后,往往会设置至少一个全连接层,全连接层可以用于将卷积层输出的二维特征图转化为一个一维的向量。分类器525可以使用激活函数Softmax对全连接层的输出进行分类。
分别输入不同痕迹提取网络的多个图像块的尺寸可以相同或不同。
利用图像处理系统500进行处理的过程中,使用的图像块越多,图像块的尺寸越多,第二采集痕迹信息越精细,根据第二采集痕迹信息进行分类处理得到的目标设备采集信息越准确。
可以利用多个的痕迹提取网络对不同的图像块进行并行的处理,以提高处理效率。
痕迹提取网络511至513可以采用相同的网络结构。痕迹提取网络511采用图6所示的痕迹提取网络、图7所示的痕迹提取网络的结构或其他自编码网络结构。
图6是本申请实施例提供的一种痕迹提取网络的示意性结构图。
图6所示的痕迹提取网络可以采用编码器-解码器结构(encoder-decoderstructure),是一种卷积神经网络。图6所示的痕迹提取网络包括编码器601和解码器602。
图6所示的痕迹提取网络可以采用U型网络(U-Net)或其他具有编码器-解码器结构的神经网络模型。
U-Net包括编码器和解码器。编码器用于对输入的图像进行下采样。解码器用于对编码器的处理结果进行上采样。解码器的输出可以与编码器的输入图像具有相同的分辨率。
示例性地,U-Net的编码器可以进行四次下采样,U-Net的解码器可以进行四次上采样。
下采样可以通过最大池化(max pool)层实现。相邻两个最大池化层之间,可以设置两个卷积层。
池化层可以减少训练参数的数量,在卷积神经网络中可以周期性引入。可以是一层卷积层后面跟一层池化层,也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中,池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子,以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外,就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样,池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸,池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
应当理解,图像的像素值可以是一个红绿蓝(RGB)颜色值,像素值可以是表示颜色的长整数。例如,像素值为256*Red+100*Green+76Blue,其中,Blue代表蓝色分量,Green代表绿色分量,Red代表红色分量。各个颜色分量中,数值越小,亮度越低,数值越大,亮度越高。对于灰度图像来说,像素值可以是灰度值。
上采样可以通过反卷积(deconvolution,或up-convolution,up-conv)层实现。相邻两个反卷积层之间可以设置两个卷积层。用于进行最后一次下采样的最大池化层与用于进行第一次上采样的反卷积之间,可以设置两个卷积层。
或者,图6所示的痕迹提取网络也可以是对U-Net进行修改得到的。示例性地,为了最大限度地减少在采集痕迹提取阶段的信息损失,可以利用卷积层代替U-Net中的池化层,以形成图6所示的痕迹提取网络中的编码器601。编码器601中,替换池化层的卷积层,卷积核可以为3×3,步长可以为2。
用于替换池化层的卷积层与被替换的池化层的作用相同,用于实现下采样。修改后得到的痕迹提取网络可以与U-Net具有相同的下采样次数,例如可以为4次。
解码器中,可以使用反卷积层对图像进行重构。反卷积层中,卷积核的尺寸为3×3,步长为2。
对U-Net进行修改得到的图6所示的痕迹提取网络是一个典型的全卷积神经网络。全卷积神经网络对图像的输入大小没有限制。
也就是说,图6所示的痕迹提取网络可以对不同尺寸的图像进行处理。
使用固定尺度的图像训练得到图6所示的痕迹提取网络,可以对待处理图像进行处理,得到待处理图像的第一痕迹采集信息。即图6所示的痕迹提取网络可以实现图3中痕迹提取模块310的功能。
或者,图6所示的痕迹提取网络可以作为痕迹提取网络511至513,对不同尺寸的图像块进行处理。即痕迹提取网络511至513的参数是共享的,或者,可以理解为,痕迹提取网络511至513的参数是相同的。
从而,无需对各个痕迹提取网络单独进行训练,增加痕迹提取网络应用的灵活性,降低图像处理系统500中所需痕迹提取网络的训练时间。
示例性地,可以根据计算资源灵活确定待处理图像中多个图像块的尺寸和数量。该多个图像块不需要覆盖待处理图像中的全部区域,可以是随机选取的。该多个图像块可以存在重合,也可以不重合。
例如,可以根据计算资源充足,选取尽可能大尺寸的图像块。
图7是本申请实施例提供的一种痕迹提取网络的示意性结构图。
图7所示的痕迹提取网络为压缩感知网络(compressed sensing network,CSNet)。
图7所示的痕迹提取网络包括采样模块(sampling)701和重建模块(reconstruction)702,可以用于对图像进行处理。
采样模块701利用数据的稀疏特性,随机采样获取图像的离散样本。离散样本可以理解为压缩后的图像。
重建模块702通过非线性重建算法利用离散样本进行数据重建。
重建模块702可以对离散样本进行初始重建,初步的将压缩后的图像进行初始重建。初始重建完的图像质量一般不高,比如有块效应等等。之后,重建模块702还可以对初始重建后的图像进行深度重建。通过深度重建,可以实现图像增强,对初始重建后的图像进行优化。
为了保证良好的重建效果,可以将CSNet中采样模块701的采样率设置为1,图7所示的痕迹提取网络可以进行不压缩的采样和重建。
图8是本申请实施例提供的一种图像处理系统的训练方法的示意性流程图。图8所示的训练方法也可以理解为图像处理系统所需神经网络模型的训练方法。
图8所示的训练方法包括S801和S802。
在S801,利用预训练数据,调整第一痕迹提取网络的参数,以得到初始痕迹提取网络。
预训练数据包括多个预训练图像和每个预训练图像的标记采集痕迹信息。预训练图像的标记采集痕迹信息可以与预训练图像具有相同的尺寸。
标记采集痕迹信息可以是利用小波变换等去噪算法确定的。
去噪算法对于颜色梯度较小的图像,去噪结果的准确度较高。也就是说,颜色梯度较小的图像对去噪算法实现的采集痕迹信息提取的干扰小,提取的采集痕迹信息更可靠。
预训练图像可以均为颜色梯度小于预设值的图像。例如,预训练图像可以是用于记录天空或纯色的墙壁等的图像。从而,使得标记采集痕迹信息更准确。
示例性地,平场图像可以是来源于一个将公开数据集(例如VISION数据集)中的平场图像作为预训练数据中的预训练图像。平场图像中的画面较为简单,颜色梯度较小。
图像传输、压缩、解压缩等后处理,对去噪结果的准确度产生影响。预训练图像可以均为未经过后处理的原始图像。
将预训练图像输入第一痕迹提取网络,以得到预训练采集痕迹信息。调整第一痕迹提取网络的参数,以减小预训练采集痕迹信息与标记采集痕迹信息之间的差异。调整后的第一痕迹提取网络即为初始痕迹提取网络。
初始痕迹提取网络也可以称为预训练痕迹提取网络。
可以利用损失函数表示预训练采集痕迹信息与标记采集痕迹信息之间的差异。
在训练深度神经网络的过程中,因为希望深度神经网络的输出尽可能的接近真正想要预测的值,所以可以通过比较当前网络的预测值和真正想要的目标值,再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然,在第一次更新之前通常会有初始化的过程,即为深度神经网络中的各层预先配置参数),比如,如果网络的预测值高了,就调整权重向量让它预测低一些,不断地调整,直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此,就需要预先定义“如何比较预测值和目标值之间的差异”,这便是损失函数(loss function)或目标函数(objective function),它们是用于衡量预测值和目标值的差异的重要方程。其中,以损失函数举例,损失函数的输出值(loss)越高表示差异越大,那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
对第一痕迹提取网络参数的调整,可以利用反向传播算法实现。
神经网络可以采用误差反向传播(back propagation,BP)算法在训练过程中修正初始的神经网络模型中参数的大小,使得神经网络模型的重建误差损失越来越小。具体地,前向传递输入信号直至输出会产生误差损失,通过反向传播误差损失信息来更新初始的神经网络模型中参数,从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动,旨在得到最优的神经网络模型的参数,例如权重矩阵。
预训练图像的尺寸可以相同或不同。示例性地,可以将一张图像作为预训练图像,也可以将一张图像中的多个图像块分别作为预训练图像。该多个图像块的尺寸可以相同或不同。预训练数据中的多个预训练图像可以包括多张图像的图形块。
初始痕迹提取网络的损失函数可以表示为:
其中,G表示第一痕迹提取网络,θE是第一痕迹提取网络的参数,BK是第j个预训练图像Ii,j中的图像块,N是批尺寸(batchsize),是第j个预训练图像Ii,j的标记采集痕迹信息,第j个预训练图像Ii,j是由第i个设备采集得到的。
使用训练数据中的全部数据进行一次完整训练可以称为一个回合(epoch)。
在一个epoch中,可以利用训练集数据的一部分训练数据对神经网络模型进行一次反向传播的参数更新,这一部分数据可以理解为“一批数据”,这一部分数据的数据量可以称为批尺寸(batchsize)。
示例性地,预训练图像的尺寸可以为512(像素)×512(像素),batchsize可以是24,epoch可以是300,可以利用适应性矩估计(adaptive moment estimation,Adam)优化器对初始图像处理系统的参数进行调整。Adam优化器利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。初始学习率可以为0.0004,预训练开始后,每30个epoch学习率降低为原来的0.5倍。
通过S801,以传统方式提取的标记采集痕迹信息作为目标,对第一痕迹提取网络的参数进行调整,以使得第一痕迹提取网络的输出逐渐接近该目标,完成第一阶段的训练(即完成预训练)。从而,预训练得到的初始痕迹提取网络具有与去噪算法类似的对颜色梯度小于预设值的图像进行采集痕迹信息提取的基本能力。也就是说,对于颜色梯度小于预设值的图像,初始痕迹提取网络能够准确提取的采集痕迹信息,与去噪算法确定的采集痕迹信息基本相同。
在S802,利用训练数据,调整初始图像处理系统中各个网络的参数,以得到图像处理系统。
训练数据包括多个训练图像以及每个训练图像的标记采集设备信息。
应当理解,不同的标记采集设备信息用于表示不同的类别。也就是所,该多个训练图像属于多个类别。利用训练得到的图像处理系统对待处理图像进行处理,确定的该待处理图像的目标采集设备信息为训练数据中不同标记采集设备信息中的一个。
将训练图像输入初始图像处理系统,以得到训练采集设备信息。调整初始图像处理系统的参数,以减小训练采集设备信息与标记采集设备信息之间的差异。调整后的初始图像处理系统可以作为图像处理系统。
初始图像处理系统包括初始痕迹提取网络、初始特征提取网络、初始分类器。
初始痕迹提取网络用于对训练图像进行提取,以得到训练图像的训练采集痕迹信息。
初始特征提取网络用于对训练采集痕迹信息进行特征提取,以得到训练图像的训练特征信息。
初始分类器用于对训练特征信息进行分类,以得到训练采集设备信息。
在一些实施例中,可以将一张训练图像输入初始痕迹提取网络,以得到该训练图像的训练采集痕迹信息。
初始特征提取网络可以包括多个层,该多个层中第一个层用于对输入初始特征提取网络的信息进行特征提取,以得到该层的训练特征提取结果。该多个层中除第一个层之外的其它层用于对上一个层的训练特征提取结果进行特征提取,以得到该其它层的训练特征提取结果。
初始特征提取网络最后一层的训练特征提取结果可以作为训练图像的训练特征信息。或者,初始特征提取网络可以包括初始融合子模块,初始融合子模块可以对该多个层中全部或部分层提取的训练特征提取结果进行融合得到的融合结果,可以作为训练图像的训练特征信息。
从而,经过S801和S802,图3所示的图像处理系统中痕迹提取模块310可以包括调整后的初始痕迹提取网络,或可以通过接口调用调整后的初始痕迹提取网络。分类模块320可以包括调整后的初始特征提取网络和调整后的初始分类器,或者,分类模块320可以通过接口调用调整后的初始特征提取网络和调整后的初始分类器。
在另一些实施例中,可以将该训练图像的多个图像块分别输入初始痕迹提取网络,以得到每个图像块的训练图像块采集痕迹信息。训练图像的训练采集痕迹信息可以包括该多个图像块的训练图像块采集痕迹信息。
初始特征提取网络可以对每个训练图像块采集痕迹信息分别进行特征提取,以得到每个图像块的训练图像块特征信息。初始特征提取网络可以将该多个训练图像块特征信息进行融合,以得到该训练图像的训练特征信息。
初始特征提取网络可以包括多个层,该多个层中第一个层用于对输入初始特征提取网络的信息进行特征提取,以得到该层的训练特征提取结果。该多个层中除第一个层之外的其它层用于对上一个层的训练特征提取结果进行特征提取,以得到该其它层的训练特征提取结果。
初始特征提取网络可以包括多个层。初始特征提取网络对多个训练图像块采集痕迹信息进行处理,可以将该多个层中最后一层的训练特征提取结果作为该图像块的训练图像块特征信息。或者,初始特征提取网络还可以包括初始融合子模块,初始融合子模块可以对将多个层中全部或部分层的训练特征提取结果进行融合,融合结果可以作为该图像块的训练图像块特征信息。初始特征提取网络的结构可以参见图4的说明。
初始特征提取网络还可以包括初始融合网络,初始融合网络可以对该多个图像块的训练图像块特征信息进行融合,从而得到该训练图像的训练特征信息。
示例性地,图像块的尺寸可以为512(像素)×512(像素),batchsize可以是24,epoch可以是300,可以利用适应性矩估计(adaptive moment estimation,Adam)优化器对初始图像处理系统的参数进行调整。初始学习率可以为0.0004,训练开始后,每50个epoch学习率降低为原来的0.5倍。
在将该训练图像的多个图像块分别输入初始痕迹提取网络,并利用初始特征提取网络、初始分类器对初始痕迹提取网络输出的训练图像块采集痕迹信息进行后续处理的情况下,初始图像处理系统的损失函数可以表示为:
其中,G'表示初始痕迹提取网络,θ'E为初始痕迹提取网络的参数,L为交叉熵损失函数,θD为L的参数,H()c为初始图像处理系统确定的训练采集设备信息,c为标记采集设备信息,BK为训练图像中的图像块。
通过S802,以端到端的训练方式,对初始图像处理系统中各个网络的参数进行调整,实现各个网络参数的联合优化,完成第二阶段的训练。
训练图像的标记采集设备信息可以理解为分类标签。不同的标记采集设备信息对应于不同的类别。经过S801和S802得到的图像处理系统能够对待处理图像进行处理,以得到待处理图像的类别。
标记采集设备信息可以用于指示训练图像的采集设备类别,采集设备类别例如可以是采集设备的品牌、型号等。则经过S801和S802得到的图像处理系统,能够实现识别待处理图像的采集设备的品牌或型号等。
或者,标记采集设备信息可以用于指示训练图像的采集设备。则经过S801和S802得到的图像处理系统,能够实现对图像采集设备的个体识别。
品牌(brand)识别、型号(model)识别、设备(device)识别(即个体识别)的任务难度不断增加。
训练数据中的多个训练图像,可以包括经过后处理的图像。并且,各个训练图像的颜色梯度可以不做限制。
利用去噪算法提取的图像的采集痕迹信息不准确。通过S802,对预训练得到初始痕迹提取网络的参数进行进一步的调整,可以使得痕迹提取网络具有对经过后处理的图像、内容复杂(图像中颜色梯度较大的图像)准确提取采集痕迹信息的能力,提高痕迹提取网络应用的广泛性和灵活性。从而,通过图8所示的方法得到的痕迹提取网络,提取的采集痕迹信息的准确度超过去噪算法提取的采集痕迹信息的准确度。
痕迹提取网络应用的广泛性和灵活性,使得图像处理系统具有较高的应用广泛性和灵活性。
表1是通过本申请实施例图8所示的图像处理系统训练方法训练得到的图像处理系统的个体识别准确率(%)。该图像处理系统的训练数据包括的标记采集设备信息指示的设备包括型号1的设备3个,型号2至5的设备各两个。训练数据包括上述每个设备采集的原始图像各100张,经过后处理1、后处理2的图像各300张。后处理1、后处理2例如可以是经过不同即时通信软件的传输。
表1
型号2 | 型号1 | 型号3 | 型号4 | 型号5 | |
原始图像 | 83.33 | 85.0 | 77.5 | 67.0 | 94.5 |
后处理1 | 92.33 | 99.0 | 77.0 | 69.0 | 96.0 |
后处理2 | 96.36 | 74.0 | 77.5 | 83.0 | 88.0 |
通过本申请实施例图8所示的训练方法训练得到的图像处理系统,对于设备级的图像来源识别,具有较高的准确度。
从而,经过S801至S802,图5所示的图像处理系统中痕迹提取网络511至513可以均为调整后的初始痕迹提取网络。特征提取网络521至523可以均为调整后的初始特征提取网络。融合网络524可以是调整后的初始融合网络。分类模块525是调整后的初始分类器。
参数调整后的初始融合网络可以用于对利用痕迹提取网络511-513得到的多个第二采集痕迹信息的特征信息进行融合,以得到融合信息。
图9是本申请实施例提供的一种图像处理系统的训练方法的示意性流程图。本实施例提供的数据处理方法具体可以应用于实现数据处理功能的电子设备,该电子设备可以是终端设备、服务器等,在其他实施例中,电子设备还可以采用其他设备实现,本实施例此处不做具体限定。
如图9所示的数据处理方法包括S901至S904。
在S901,在获取训练图像的训练采集痕迹信息和所述训练图像的标记采集设备信息。
训练图像的标记采集设备信息可以用于指示与采集训练图像的采集设备相关的信息。例如,标记采集设备信息可以指示采集训练图像的采集设备,或者,标记采集设备信息可以指示该采集设备的型号或品牌等。
在S902,利用初始分类模块对所述训练采集痕迹信息进行分类处理,以获得训练采集设备信息。
在S903,根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始分类模块的参数,以获得分类模块,所述分类模块用于对待处理图像的第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息。
在S904,根据所述分类模块获得所述图像处理系统,所述图像处理系统用于根据输入的所述待处理图像输出采集所述待处理图像的目标采集设备信息。
图像处理系统可以包括分类模块,或者,图像处理系统可以利用接口调用分类模块,从而确定待处理图像的目标采集设备信息。
通过图9所示的方法,利用训练图像的训练采集痕迹信息和所述训练图像的标记采集设备信息,训练得到分类模块,从而,分类模块能够根据待处理图像的第一采集痕迹信息,确定目标采集设备信息。在从多个采集设备中确定某个图像的采集设备的情况下,无需将该图像的采集痕迹信息与该多个采集设备的设备采集痕迹信息依次进行比较,能够降低处理复杂度,提高处理效率。
在一些实施例中,训练图像的训练采集痕迹信息可以是利用去噪算法确定的。
从而,在S903,可以根据所述训练采集设备信息和所述标记采集设备信息之间的差异,仅调整初始分类模块的参数。
在另一些实施例中,在S901,可以利用痕迹提取模块提取所述训练采集痕迹信息。
痕迹提取模块可以是训练得到的神经网络模型。可以利用多个训练图像和每个训练图像对应的标记采集痕迹信息,训练得到痕迹提取模块。
从而,在S903,可以根据所述训练采集设备信息和所述标记采集设备信息之间的差异,仅调整初始分类模块的参数。
也就是说,痕迹提取模块和分类模块可以是分别进行训练得到的。
在又一些实施例中,在S901,可以利用初始痕迹提取模块提取模型提取所述训练采集痕迹信息。
在S903,可以根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始痕迹提取模块的参数和所述初始分类模块的参数,获得痕迹提取模块和所述分类模块。
可以利用损失函数表示训练采集设备信息和标记采集设备信息之间的差异。调整所述初始痕迹提取模块的参数和所述初始分类模块的参数,以最小化损失函数。调整后的初始痕迹提取模块可以作为痕迹提取模块,调整后的初始分类模块可以作为分类模块。
从而,在S904,可以根据痕迹提取模块和分类模块,获得图像处理系统。
与分别进行训练得到痕迹提取模块和分类模块的方式相比,通过端到端的训练得到图像处理系统的方式,不依赖于利用去噪算法确定的训练图像的采集痕迹信息,使得图像处理系统具有更广泛的适用性。
所述初始痕迹提取模块可以是利用预训练数据进行预训练得到的。预训练数据包括多个预训练图像和每个预训练图像对应的标记采集痕迹信息。
预训练图像可以是未经过后处理且颜色梯度较小(例如小于预设值)的图像。
预训练图像对应的标记采集痕迹信息一般利用去噪算法获得。对于经过后处理的图像,或颜色梯度较大的图像,通过去噪算法的得到的采集痕迹信息准确度较低。
对于颜色梯度小于预设值的图像,经过预训练得到的初始痕迹提取网络能够准确提取的采集痕迹信息,与去噪算法确定的采集痕迹信息基本相同。
训练图像的数量可以是多个。该多个训练图像可以包括经过后处理的图像,以及颜色梯度较大例如大于预设值的图像。
从而,通过端到端训练,对预训练得到初始痕迹提取网络的参数进行进一步的调整,可以使得痕迹提取网络具有对经过后处理的图像、内容复杂(图像中颜色梯度较大的图像)准确提取采集痕迹信息的能力,提高图像处理系统应用的广泛性和灵活性。
根据计算资源的大小,训练得到的图像处理系统在对待处理图像进行处理的过程中,可以对待处理图像中的至少一个图像块进行处理。
为了提高图像处理系统对多个图像块进行处理情况下,确定的目标采集设备信息的准确度,在S901,可以利用所述初始痕迹提取模块提取所述训练图像的多个图像块中每个图像块的训练图像块采集痕迹信息,所述训练采集痕迹信息包括每个图像块的训练图像块采集痕迹信息。
在S902,可以利用所述初始分类模块进行如下处理:
分别对每个图像块的训练图像块采集痕迹信息进行特征提取处理,获得每个图像块的训练图像块采集痕迹信息的训练特征信息;
对获得的所有训练特征信息进行融合,以获得训练融合特征;
对所述训练融合特征进行分类处理,以获得所述训练采集设备信息。
从而,能够提高图像处理系统的准确度。
初始分类模块可以包括多个层和初始融合子模块。
初始分类模块中的每个层可以用于对输入的信息进行特征提取,以得到该层的训练特征提取结果。其中,第一层输入的信息可以是训练图像块采集痕迹信息,其它层输入的信息可以是上一层的训练特征提取结果。
初始融合子模块可以用于对多个层的训练特征提取结果进行融合,以得到该训练图像块采集痕迹信息的训练特征信息。
在训练过程中,根据对图像块训练图像块采集痕迹信息进行特征提取过程中多个层的训练特征提取结果,确定图像块的训练特征信息,从而确定图像块所属的训练图像的训练采集设备信息。与训练过程相对应,训练得到的图像处理系统在对待处理图像的图像块的第二采集痕迹信息进行特征提取的过程中,根据多个层提取的特征提取结果,确定第二采集痕迹信息的特征信息,从而确定目标采集设备信息,综合考虑不同复杂程度的语义,使得图像处理系统的处理结果更为准确。
本申请实施例还提供一种图像溯源方法,包括:
获取客户端发送的待溯源图像,
提取所述待溯源图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待溯源图像的目标采集设备在采集所述待溯源图像时在所述待溯源图像中形成的采集痕迹;
利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待溯源图像的目标采集设备信息;
向所述客户端发送溯源结果,所述溯源结果包括所述目标采集设备信息。
通过本申请实施例提供的图像溯源方法,可以实现图像溯源,确定待溯源图像的采集设备信息。
本申请实施例还提供一种图像鉴定方法,包括:
获取待鉴定图像和待定采集设备信息;
提取所述待鉴定图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待鉴定图像的目标采集设备在采集所述待鉴定图像时在所述待鉴定图像中形成的采集痕迹;
利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待鉴定图像的目标采集设备信息;
向客户端发送判断结果,所述判断结果用于指示所述目标采集设备信息与所述待定采集设备信息是否一致。
通过本申请实施例提供的图像鉴定方法,可以确定待鉴定图像的采集设备信息与待定采集设备信息是否一致。
图像溯源方法和图像鉴定方法中,对于待溯源图像、待鉴定图像的处理,具体可以参见图2至图9的说明。
上文结合图1至图9描述了本申请实施例提供的图像处理方法、图像处理系统、图像处理系统的训练方法,下面结合图10至图11,描述本申请实施例的装置实施例。应理解,图像处理方法、图像处理系统、图像处理系统的训练方法的描述与装置实施例的描述相互对应,因此,未详细描述的部分可以参见上文的描述。
图10是本申请实施例提供的一种电子设备的示意性结构图。
图10所示的电子设备包括获取模块1010和处理模块1020。
在一些实施例中,获取模块1010用于获取待处理图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待处理图像的目标采集设备在采集所述待处理图像时在所述待处理图像中形成的采集痕迹。
处理模块1020用于,利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息,所述分类模块是训练得到的神经网络模型。
可选的,获取模块1010具体用于,利用痕迹提取模块提取所述待处理图像的所述第一采集痕迹信息,所述痕迹提取模块是训练得到的神经网络模型。
所述痕迹提取模块和所述分类模块属于图像处理系统,所述图像处理系统是利用训练数据进行训练得到的,所述训练数据包括训练图像和所述训练图像对应的标记采集设备信息。
可选的,所述图像处理系统是利用所述训练数据对初始图像处理系统进行训练得到的,所述初始图像处理系统包括初始痕迹提取模块,所述初始痕迹提取模块是利用预训练数据进行预训练得到的,所述预训练数据包括多个预训练图像和每个预训练图像对应的标记采集痕迹信息,所述痕迹提取模块是根据所述初始痕迹提取模块得到的。
可选的,所述第一采集痕迹信息包括所述待处理图像的多个图像块中每个图像块的第二采集痕迹信息,所述多个图像块的尺寸不同。
可选的,处理模块1020还用于:利用痕迹提取模块分别提取每个图像块的第二采集痕迹信息。
可选的,处理模块1020还用于:利用所述分类模块进行如下处理:
分别对每个图像块的第二采集痕迹信息进行特征提取处理,获得每个图像块的第二采集痕迹信息的特征信息;
对获得的所有特征信息进行融合,以获得融合特征;
对所述融合特征进行分类处理,以获得所述目标采集设备信息。
可选的,处理模块1020还用于:所述分类模块包括多个层和融合子模块;
所述多个层中的第一个层用于对所述第二采集痕迹信息进行特征提取,以获得所述第一层的特征提取结果;
所述多个层中除所述第一个层之外的其它层用于对上一个层确定的特征提取结果进行特征提取,以获得所述其它层的特征提取结果;
所述融合子模块用于对多个层的特征提取结果进行融合,以获得所述第二采集痕迹信息的特征信息。
可选的,所述目标采集设备信息用于指示采集所述待处理图像的目标采集设备。
在另一些实施例中,获取模块1010用于,获取训练图像的训练采集痕迹信息和所述训练图像的标记采集设备信息。
处理模块1020用于,利用初始分类模块对所述训练采集痕迹信息进行分类处理,以获得训练采集设备信息。
处理模块1020还用于,根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始分类模块的参数,以获得分类模块,所述分类模块用于对待处理图像的第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息。
处理模块1020还用于,根据所述分类模块获得所述图像处理系统,所述图像处理系统用于根据输入的所述待处理图像输出采集所述待处理图像的目标采集设备信息。
可选的,获取模块1010具体用于,利用初始痕迹提取模块提取所述训练采集痕迹信息。
处理模块1020还用于,根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始痕迹提取模块的参数和所述初始分类模块的参数,获得痕迹提取模块和所述分类模块。
处理模块1020还用于,根据所述痕迹提取模块和所述分类模块,获得所述图像处理系统。
可选的,所述初始痕迹提取模块是利用预训练数据进行预训练得到的,所述预训练数据包括多个预训练图像和每个预训练图像对应的标记采集痕迹信息。
可选的,获取模块1010具体用于,利用所述初始痕迹提取模块提取所述训练图像的多个图像块中每个图像块的训练图像块采集痕迹信息,所述训练采集痕迹信息包括每个图像块的训练图像块采集痕迹信息。
处理模块1020用于,利用所述初始分类模块进行如下处理:
分别对每个图像块的训练图像块采集痕迹信息进行特征提取处理,获得每个图像块的训练图像块采集痕迹信息的训练特征信息;
对获得的所有训练特征信息进行融合,以获得训练融合特征;
对所述训练融合特征进行分类处理,以获得所述训练采集设备信息。
可选的,所述标记采集设备信息用于指示采集所述训练图像的训练采集设备。
图11是本申请实施例提供的一种电子设备的示意性结构图。
图11所示的电子设备包括存储器1101、处理器1102、通信接口1103以及通信总线1104。其中,存储器1101、处理器1102、通信接口1103通过通信总线1104实现彼此之间的通信连接。
存储器1101可以是只读存储器(read only memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(random access memory,RAM)。存储器1101可以存储程序,当存储器1101中存储的程序被处理器1102执行时,处理器1102和通信接口1103用于执行本申请实施例的神经网络模型压缩的方法的各个步骤。
处理器1102可以采用通用的中央处理器(central processing unit,CPU),微处理器,应用专用集成电路(application specific integrated circuit,ASIC),图形处理器(graphics processing unit,GPU)或者一个或多个集成电路,用于执行相关程序,以实现本申请实施例的神经网络模型压缩的装置中的单元所需执行的功能,或者执行本申请方法实施例的神经网络模型压缩的方法。
处理器1102还可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,本申请的神经网络模型压缩的方法的各个步骤可以通过处理器1102中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1102还可以是通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(ASIC)、现成可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1101,处理器1102读取存储器1101中的信息,结合其硬件完成本申请实施例的神经网络模型压缩的装置中包括的单元所需执行的功能,或者执行本申请方法实施例的神经网络模型压缩的方法。
通信接口1103使用例如但不限于收发器一类的收发装置,来实现图11所示的电子设备与其他设备或通信网络之间的通信。例如,可以通过通信接口1103获取第一数据、第二数据、所述第二数据中正样本数据的比例信息、第一神经网络模型的参数、PU分类器中的一种或多种。
通信总线1104可包括在图11所示的电子设备各个部件(例如,存储器1101、处理器1102、通信接口1103)之间传送信息的通路。
在一些实施例中,当所述程序指令在所述处理器1102中执行时,处理器1102用于:
获取待处理图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待处理图像的目标采集设备在采集所述待处理图像时在所述待处理图像中形成的采集痕迹;
利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息,所述分类模块是训练得到的神经网络模型。
可选的,处理器1102还用于:
利用痕迹提取模块提取所述待处理图像的所述第一采集痕迹信息,所述痕迹提取模块是训练得到的神经网络模型;
所述痕迹提取模块和所述分类模块属于图像处理系统,所述图像处理系统是利用训练数据进行训练得到的,所述训练数据包括训练图像和所述训练图像对应的标记采集设备信息。
可选的,所述图像处理系统是利用所述训练数据对初始图像处理系统进行训练得到的,所述初始图像处理系统包括初始痕迹提取模块,所述初始痕迹提取模块是利用预训练数据进行预训练得到的,所述预训练数据包括多个预训练图像和每个预训练图像对应的标记采集痕迹信息,所述痕迹提取模块是根据所述初始痕迹提取模块得到的。
可选的,所述第一采集痕迹信息包括所述待处理图像的多个图像块中每个图像块的第二采集痕迹信息,所述多个图像块的尺寸不同。
可选的,处理器1102还用于:利用痕迹提取模块分别提取每个图像块的第二采集痕迹信息。
可选的,处理器1102还用于:利用所述分类模块进行如下处理:
分别对每个图像块的第二采集痕迹信息进行特征提取处理,获得每个图像块的第二采集痕迹信息的特征信息;
对获得的所有特征信息进行融合,以获得融合特征;
对所述融合特征进行分类处理,以获得所述目标采集设备信息。
可选的,处理器1102还用于:所述分类模块包括多个层和融合子模块;
所述多个层中的第一个层用于对所述第二采集痕迹信息进行特征提取,以获得所述第一层的特征提取结果;
所述多个层中除所述第一个层之外的其它层用于对上一个层确定的特征提取结果进行特征提取,以获得所述其它层的特征提取结果;
所述融合子模块用于对多个层的特征提取结果进行融合,以获得所述第二采集痕迹信息的特征信息。
可选的,所述目标采集设备信息用于指示采集所述待处理图像的目标采集设备。
在另一些实施例中,当所述程序指令在所述处理器1102中执行时,处理器1102用于:
获取训练图像的训练采集痕迹信息和所述训练图像的标记采集设备信息;
利用初始分类模块对所述训练采集痕迹信息进行分类处理,以获得训练采集设备信息;
根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始分类模块的参数,以获得分类模块,所述分类模块用于对待处理图像的第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息;
根据所述分类模块获得所述图像处理系统,所述图像处理系统用于根据输入的所述待处理图像输出采集所述待处理图像的目标采集设备信息。
可选的,处理器1102还用于:
利用初始痕迹提取模块提取所述训练采集痕迹信息;
根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始痕迹提取模块的参数和所述初始分类模块的参数,获得痕迹提取模块和所述分类模块;
根据所述痕迹提取模块和所述分类模块,获得所述图像处理系统。
可选的,所述初始痕迹提取模块是利用预训练数据进行预训练得到的,所述预训练数据包括多个预训练图像和每个预训练图像对应的标记采集痕迹信息。
可选的,处理器1102还用于:
利用所述初始痕迹提取模块提取所述训练图像的多个图像块中每个图像块的训练图像块采集痕迹信息,所述训练采集痕迹信息包括每个图像块的训练图像块采集痕迹信息;
利用所述初始分类模块进行如下处理:
分别对每个图像块的训练图像块采集痕迹信息进行特征提取处理,获得每个图像块的训练图像块采集痕迹信息的训练特征信息;
对获得的所有训练特征信息进行融合,以获得训练融合特征;
对所述训练融合特征进行分类处理,以获得所述训练采集设备信息。
可选的,所述标记采集设备信息用于指示采集所述训练图像的训练采集设备。
本申请实施例还提供一种计算机程序存储介质,其特征在于,所述计算机程序存储介质具有程序指令,当所述程序指令被执行时,使得上述数据处理方法或图像处理系统的训练方法被执行。
本申请实施例还提供一种芯片系统,其特征在于,所述芯片系统包括至少一个处理器,当程序指令在所述至少一个处理器中执行时,使得上述数据处理方法或图像处理系统的训练方法被执行。
本申请实施例中采用诸如“第一”、“第二”的前缀词,仅仅为了区分不同的描述对象,对被描述对象的位置、顺序、优先级、数量或内容等没有限定作用。例如,被描述对象为“状态数据”,则“第一采集痕迹信息”和“第二采集痕迹信息”中“采集痕迹信息”之前的序数词并不限制“采集痕迹信息”之间的位置或顺序或优先级。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储介质或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (14)
1.一种数据处理方法,其特征在于,包括:
获取待处理图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待处理图像的目标采集设备在采集所述待处理图像时在所述待处理图像中形成的采集痕迹;
利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息,所述分类模块是训练得到的神经网络模型。
2.根据权利要求1所述的方法,其特征在于,所述获取待处理图像的第一采集痕迹信息,包括:利用痕迹提取模块提取所述待处理图像的所述第一采集痕迹信息,所述痕迹提取模块是训练得到的神经网络模型;
所述痕迹提取模块和所述分类模块属于图像处理系统,所述图像处理系统是利用训练数据进行训练得到的,所述训练数据包括训练图像和所述训练图像对应的标记采集设备信息。
3.根据权利要求2所述的方法,其特征在于,所述图像处理系统是利用所述训练数据对初始图像处理系统进行训练得到的,所述初始图像处理系统包括初始痕迹提取模块,所述初始痕迹提取模块是利用预训练数据进行预训练得到的,所述预训练数据包括多个预训练图像和每个预训练图像对应的标记采集痕迹信息,所述痕迹提取模块是根据所述初始痕迹提取模块得到的。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述第一采集痕迹信息包括所述待处理图像的多个图像块中每个图像块的第二采集痕迹信息,所述多个图像块的尺寸不同。
5.根据权利要求4所述的方法,其特征在于,所述获取待处理图像的第一采集痕迹信息,包括:利用痕迹提取模块分别提取每个图像块的第二采集痕迹信息。
6.根据权利要求4所述的方法,其特征在于,所述利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息,包括:利用所述分类模块进行如下处理:
分别对每个图像块的第二采集痕迹信息进行特征提取处理,获得每个图像块的第二采集痕迹信息的特征信息;
对获得的所有特征信息进行融合,以获得融合特征;
对所述融合特征进行分类处理,以获得所述目标采集设备信息。
7.根据权利要求6所述的方法,其特征在于,所述分类模块包括多个层和融合子模块;
所述多个层中的第一个层用于对所述第二采集痕迹信息进行特征提取,以获得所述第一层的特征提取结果;
所述多个层中除所述第一个层之外的其它层用于对上一个层确定的特征提取结果进行特征提取,以获得所述其它层的特征提取结果;
所述融合子模块用于对多个层的特征提取结果进行融合,以获得所述第二采集痕迹信息的特征信息。
8.根据权利要求1-3、5-7中任一项所述的方法,其特征在于,所述目标采集设备信息用于指示采集所述待处理图像的目标采集设备。
9.一种图像处理系统的训练方法,其特征在于,所述方法包括:
获取训练图像的训练采集痕迹信息和所述训练图像的标记采集设备信息;
利用初始分类模块对所述训练采集痕迹信息进行分类处理,以获得训练采集设备信息,所述初始分类模块是神经网络模型;
根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始分类模块的参数,以获得分类模块,所述分类模块用于对待处理图像的第一采集痕迹信息进行分类处理,以确定采集所述待处理图像的目标采集设备信息;
根据所述分类模块获得所述图像处理系统,所述图像处理系统用于根据输入的所述待处理图像输出采集所述待处理图像的目标采集设备信息。
10.根据权利要求9所述的方法,其特征在于,
所述获取训练图像的训练采集痕迹信息,包括:利用初始痕迹提取模块提取所述训练采集痕迹信息,所述初始痕迹提取模块是神经网络模型;
所述根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始分类模块的参数,包括:根据所述训练采集设备信息和所述标记采集设备信息之间的差异,调整所述初始痕迹提取模块的参数和所述初始分类模块的参数,获得痕迹提取模块和所述分类模块;
所述根据所述分类模块获得所述图像处理系统,包括:根据所述痕迹提取模块和所述分类模块,获得所述图像处理系统。
11.根据权利要求10所述的方法,其特征在于,所述初始痕迹提取模块是利用预训练数据进行预训练得到的,所述预训练数据包括多个预训练图像和每个预训练图像对应的标记采集痕迹信息。
12.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储程序指令,所述图像处理装置通过所述处理器运行所述程序指令,以执行如权利要求1-8中任一项所述的方法或如权利要求9-13中任一项所述的方法。
13.一种图像溯源方法,其特征在于,包括:
获取客户端发送的待溯源图像,
提取所述待溯源图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待溯源图像的目标采集设备在采集所述待溯源图像时在所述待溯源图像中形成的采集痕迹;
利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待溯源图像的目标采集设备信息;
向所述客户端发送溯源结果,所述溯源结果包括所述目标采集设备信息。
14.一种图像鉴定方法,其特征在于,包括:
获取待鉴定图像和待定采集设备信息;
提取所述待鉴定图像的第一采集痕迹信息,所述第一采集痕迹信息用于指示采集所述待鉴定图像的目标采集设备在采集所述待鉴定图像时在所述待鉴定图像中形成的采集痕迹;
利用分类模块对所述第一采集痕迹信息进行分类处理,以确定采集所述待鉴定图像的目标采集设备信息;
向客户端发送判断结果,所述判断结果用于指示所述目标采集设备信息与所述待定采集设备信息是否一致。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210642513.7A CN115170929A (zh) | 2022-06-08 | 2022-06-08 | 数据处理方法、图像处理系统的训练方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210642513.7A CN115170929A (zh) | 2022-06-08 | 2022-06-08 | 数据处理方法、图像处理系统的训练方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115170929A true CN115170929A (zh) | 2022-10-11 |
Family
ID=83485949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210642513.7A Pending CN115170929A (zh) | 2022-06-08 | 2022-06-08 | 数据处理方法、图像处理系统的训练方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115170929A (zh) |
-
2022
- 2022-06-08 CN CN202210642513.7A patent/CN115170929A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Peng et al. | Learned large field-of-view imaging with thin-plate optics. | |
US10733477B2 (en) | Image recognition apparatus, image recognition method, and program | |
Villalba et al. | Smartphone image clustering | |
CN110210498B (zh) | 基于残差学习卷积融合网络的数字图像设备取证系统 | |
US20220084223A1 (en) | Focal Stack Camera As Secure Imaging Device And Image Manipulation Detection Method | |
Anwar et al. | Deblur and deep depth from single defocus image | |
Gupta et al. | A study on source device attribution using still images | |
Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
alZahir et al. | Image forgery detection using image similarity | |
CN114331946A (zh) | 一种图像数据处理方法、设备以及介质 | |
Henz et al. | Synthesizing camera noise using generative adversarial networks | |
Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
Tian et al. | Convolutional neural networks for steganalysis via transfer learning | |
Bharathiraja et al. | A deep learning framework for image authentication: an automatic source camera identification Deep-Net | |
Schwartz et al. | Isp distillation | |
Kang et al. | Camera model identification using a deep network and a reduced edge dataset | |
Wang et al. | PMSNet: Parallel multi-scale network for accurate low-light light-field image enhancement | |
Wu et al. | Review of imaging device identification based on machine learning | |
CN115170929A (zh) | 数据处理方法、图像处理系统的训练方法及电子设备 | |
CN114119428A (zh) | 一种图像去模糊方法和装置 | |
Alsandi | Image splicing detection scheme using surf and mean-LBP based morphological operations | |
Li et al. | Pyramid pooling dense convolutional neural network for multi-focus image fusion | |
Wu et al. | Steganalysis using unsupervised end-to-end CNN fused with residual image | |
Molloy et al. | Analysis of the impact of lens blur on safety-critical automotive object detection | |
Okarma et al. | A Hybrid Method for Objective Quality Assessment of Binary Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |