CN113256629B - 一种图像标定错误检测方法及装置 - Google Patents
一种图像标定错误检测方法及装置 Download PDFInfo
- Publication number
- CN113256629B CN113256629B CN202110759301.2A CN202110759301A CN113256629B CN 113256629 B CN113256629 B CN 113256629B CN 202110759301 A CN202110759301 A CN 202110759301A CN 113256629 B CN113256629 B CN 113256629B
- Authority
- CN
- China
- Prior art keywords
- hidden layer
- image
- training
- image data
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 230000002159 abnormal effect Effects 0.000 claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 79
- 230000009466 transformation Effects 0.000 claims description 55
- 230000005856 abnormality Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 16
- 238000013145 classification model Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 7
- 238000000844 transformation Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 17
- 239000000523 sample Substances 0.000 description 37
- 238000002474 experimental method Methods 0.000 description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229940050561 matrix product Drugs 0.000 description 2
- 101100001677 Emericella variicolor andL gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像标定错误检测方法及装置,方法包括:建立图像数据集,利用所述图像数据集对无监督异常检测神经网络进行训练,将训练过程中将产生的隐层特征进行重构,得到隐层特征重构层;将所述隐层特征重构层嵌入所述无监督异常检测神经网络,然后对待检测图像数据进行异常检测,根据异常得分函数,判别待检测图像数据是否标定错误;装置包括:依次连接的基干网络模块、隐层特征重构模块和异常得分模块;本发明能够扩大正常样本与异常样本之间的异常得分差距,提高异常检测性能。
Description
技术领域
本发明涉及机器学习技术领域,尤其是涉及一种图像标定错误检测方法及装置。
背景技术
在图像标定过程中,难免由于标定人员粗心等因素而出现错误标定。人工检测错误标定耗时耗力,无监督异常检测能够减少人力资源投入。对于无监督异常检测任务,目前通常采用表征学习的方法,根据训练数据的类型,设计相应的无监督表征学习任务,最后通过异常和正常样本的训练速度或者训练难度之间的差异,以此检测出异常样本。但是,目前的无监督异常检测方法存在以下缺陷:一方面,因为无监督的设定以及难以控制深度学习网络模型的训练程度,该设定下网络模型在训练过程并不能分辨异常样本,会同时尽力拟合正常和异常样本,导致随着训练过程的进行,两类样本之间的重构误差会逐渐减少,进而导致异常检测的性能也随之下降,如图2所示;另一方面,目前无监督异常检测主要是基于自动编码器的或者是基于几何变换的方法,两类方法均有优缺点,前者简单实现但性能相对较差,后者性能好但不能用于非图像数据,现有方法均只能够支持某一类方法,不能够同时支持前者和后者,具有相对较差的通用性。因此,亟需设计一种能够克服上述缺陷的技术方案。
发明内容
为解决现有技术的不足,实现扩大正常样本与异常样本之间的异常得分差距,提高异常检测性能,以及提高通用性的目的,本发明采用如下的技术方案:
一种图像标定错误检测方法,包括如下步骤:
S1,训练阶段,利用图像数据集,对无监督异常检测神经网络进行训练:
其中,ϕ(·;θ)表示特征提取器,映射输入数据x i ∈R D 到对应的隐层特征z i ∈R d ,x i 表示输入的第i个图像,x表示x i 的集合,θ表示特征提取器的参数,ψ(·;ω)表示辅助任务,以第i个图像的隐层特征z i 作为输入,并约束隐层特征z i 学习关键特征信息,z表示z i 的集合,ω表示辅助任务的参数,L ori (·)表示基干网络附带的损失函数,θ e * 表示训练结束时对应的特征提取器的参数,ω * 表示训练结束时对应的辅助任务的参数,f(·)表示异常得分函数,用于计算输入图像的异常程度s x ,ϕ θ* 表示训练结束时对应的特征提取器的参数以及特征提取器的组合,ψ ω* 表示训练结束时对应的辅助任务的参数以及辅助任务的组合;
将隐层特征z i 进行重构,得到重构的隐层特征z i ’,不改变无监督异常检测神经网络结构,仅通过反向传播约束隐层特征的学习,包括如下步骤:
S11,利用线性变换矩阵A∈R k×d ,将隐层特征z映射到k维的空间;
S12,再通过矩阵A的转置,映射回原来的特征空间,生成重构的隐层特征z’=A T Az;
S2,测试阶段,将重构的隐层特征z’,嵌入异常得分函数,替换原有的隐层特征z,对于正常样本的重构隐层特征z′=A T Az将靠近对应的隐层特征z,而异常样本相反,因此,在得分函数中用z′替代z,这样正常和异常样本的得分差距将会进一步扩大,有助于检测异常样本,再对待检测数据进行异常检测,得到新的异常得分:
进一步地,所述无监督异常检测神经网络为自动编码器,包括编码器ϕ e (·)和解码器ψ d (·),编码器ϕ e (·)用于将原始图像数据映射到低维特征空间,解码器ψ d (·)以低维特征作为输入,重构出原始图像数据,通过重构误差训练神经网络;
S1,训练阶段,损失函数,
为自动编码器的损失函数,为隐层特征重构的损失函数,为正常样本找到一个
低秩隐层特征子空间,因为A T A趋向于一个正交映射,因此该损失函数约束隐层特征到一个
低秩子空间中:
其中,x i 表示输入的第i张图像,表示第i张图像的隐层特征,θ e 表示编码器的模
型参数,ω d 表示解码器的模型参数,表示自动编码器重构出的输入图像数据,A T 表示矩阵A的转置,||·||F表示Frobenius范数,λ 1 表示鲁棒子空间恢复损失的权重,λ 2 表示投影损失
的权重,I k 表示单位矩阵,公式的后半部分约束其正交性,因为其矩阵乘积为单
位矩阵,而前半部分约束其为投影。
进一步地,所述S2,测试阶段,对每个图像数据,通过训练后的自动编码器重构,以重构误差作为异常得分,根据异常得分判断异常图像:
进一步地,所述无监督异常检测神经网络为基于几何变换的异常检测方法,训练阶段的损失函数:
其中,ϕ f (T m (·);θ f )表示一个像深度残差网络或者宽度残差网络图像分类模型,T m (·)表示几何变换,θ f 表示模型整体参数,λ 1 表示鲁棒子空间恢复损失的权重,λ 2 表示投
影损失的权重,I d 表示单位矩阵,M表示几何变换的种类,通过一系列的几何变换,
在变换扩展后的新数据集上训练图像分类模型,用于判断经过何种变换处理,与AE-LFR相
同,LFR层同样约束了隐层特征的学习,但与之不同的是,GT-LFR方法中扩展后的图像
中包含了M个互不相交的子集,也就是很难找到一个低秩子空间来覆盖正常样本,为了解决
这个问题,我们期望为每种几何变换找到互不相同的特征子空间,因此,我们为每个变换T m
分配一个线性变换矩阵A (m)∈R k×d ,以对应特征子空间。
进一步地,所述S2的测试阶段,将测试图像经过M种几何变换,异常得分为M张扩增图像经过图像分类模型分类输出的概率平均值:
其中,ϕ f (T m (·);θ f )表示一个像深度残差网络(ResNet)或者宽度残差网络(WideResNet,WRN)的图像分类模型,用于提取经过几何变换T m 预处理的输入图像的隐层特征,ψ g (·;ω g )表示多分类器,CE表示交叉熵损失函数,ω g 表示多分类器的模型参数,P Tm (·;θ f * ,ω g * )表示ψ g 在类别T m 的softmax输出,θ f * 表示训练结束时对应的图像分类模型的参数,ω g * 表示训练结束时对应的多分类器的模型参数。
进一步地,所述基干网络模块与隐层特征重构模块连接,隐层特征重构模块与异常得分模块连接;
所述隐层特征重构模块,在基干网络模块的训练阶段,不改变基干网络模块结构,仅通过反向传播约束隐层特征的学习,用于基干网络模块的训练阶段,利用图像数据集对基干网络模块进行训练,对基干网络模块产生的隐层特征z i 进行重构,得到重构的隐层特征z′=A T Az;
所述异常得分模块,在基干网络模块的测试阶段,将重构的隐层特征嵌入基干网络模块,替换原有的隐层特征,再对待检测数据进行异常检测,将得到异常得分与阈值比较,判断待检测数据是否标定错误。
进一步地,所述基干网络模块,包括自动编码器,利用图像数据集对自动编码器进行训练,包括编码器和解码器,编码器用于将原始图像数据映射到低维特征空间,解码器以低维特征作为输入,重构出原始图像数据,通过重构误差训练神经网络;所述隐层特征重构模块,在自动编码器的训练阶段,使用RSR损失函数,将自动编码器产生的隐层特征进行重构,得到重构的隐层特征,为正常图像样本找到一个低秩隐层特征子空间,并结合基干网络模块的损失函数,获得AE-LFR的整体损失函数;所述异常得分模块,在自动编码器的测试阶段,将重构的隐层特征嵌入自动编码器,替换原有的隐层特征,再对待检测图像数据进行异常检测,获得新的异常得分函数,用于扩大正常和异常样本之间的异常得分差距,提升异常检测性能,最终更准确的判别待检测图像数据是否标定错误。
进一步地,所述基干网络模块,包括基于几何变换的异常检测单元,利用图像数据集对基于几何变换的异常检测单元进行训练,通过一系列的几何变换,在变换扩展后的新图像数据集上训练图像分类模型,用于判断经过何种变换处理;所述隐层特征重构模块,在基于几何变换的异常检测单元的训练阶段,将基于几何变换的异常检测单元产生的隐层特征进行重构,扩展后的图像中包含了M个互不相交的子集,为每个变换T m 分配一个线性变换矩阵A (m)∈R k×d ,得到重构的隐层特征;所述异常得分模块,在基于几何变换的异常检测单元的测试阶段,将重构的隐层特征嵌入基于几何变换的异常检测单元,替换原有的隐层特征,再对待检测图像数据进行异常检测,获得新的异常得分函数,用于扩大正常和异常样本之间的异常得分差距,提升异常检测性能,最终更准确的判别待检测图像数据是否标定错误。
本发明的优势和有益效果在于:
本发明通过在无监督异常检测任务中提供隐层特征重构(LFR)异常检测框架,并分别在基于自动编码器和基于几何变换的方法上提供相应实现,从而避免了单独一类方法的局限,并具备更好的通用性。并且LFR框架提供一个新颖的异常得分策略来与LFR框架配套,扩大正常样本与异常样本之间的异常得分差距,提高异常检测性能。
附图说明
图1是本发明的框架图。
图2是本发明中自动编码器正常样本和异常样本的平均重构误差对比图。
图3是本发明中20News数据集在不同c值(从0.1到0.9)的AUROC结果对比图。
图4是本发明中Reuters数据集在不同c值(从0.1到0.9)的AUROC结果对比图。
图5是本发明中FMNIST数据集在不同c值(从0.1到0.9)的AUROC结果对比图。
图6是本发明中Caltech101数据集在不同c值(从0.1到0.9)的AUROC结果对比图。
图7是本发明中CIFAR10数据集在不同c值(从0.1到0.9)的AUROC结果对比图。
图8是本发明中20News数据集在不同c值(从0.1到0.9)的AUPR结果对比图。
图9是本发明中Reuters数据集在不同c值(从0.1到0.9)的AUPR结果对比图。
图10是本发明中FMNIST数据集在不同c值(从0.1到0.9)的AUPR结果对比图。
图11是本发明中Caltech101不同c值(从0.1到0.9)的AUPR结果对比图。
图12是本发明中CIFAR10不同c值(从0.1到0.9)的AUPR结果对比图。
图13是本发明实施例中通过AE/CAE和基于自动编码器的LFR变种结果对比图。
图14是本发明实施例中通过GEOM和基于几何变换的LFR变种结果对比图。
图15是本发明中平均异常得分与训练代数曲线图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
如图1所示,本申请的实施例提供了图像标定错误检测方法,包括:S1、建立图像数据集,利用所述图像数据集对无监督异常检测神经网络进行训练,在训练过程中,将产生的隐层特征进行重构,得到隐层特征重构层(LFR层);S2、将所述隐层特征重构层嵌入所述无监督异常检测神经网络,然后对待检测图像数据进行异常检测。
文本图像数据集包含了N个图像,经过标定人员的人工标定,获取图
像中包含的文本信息,但是由于标定人员粗心等因素,这些标定信息中通常含有少量的错
误标定,也就是文本与图像不对应。将图像与对应的标定文本组合成对,记为x i ,获得数
据集,N代表数据集X的大小。X将由子集X in 和子集X out 组成,子集X in 表示标定正
确的样本集合,子集X out 表示标定错误的样本集合。并且保证数据集主体为子集X in 。任务目
标为在不经过人工重新校正的情况下,在仅通过模型的学习,识别出其中包含的错误标定
样本集合X out 。
本实施例提出了一种称为无监督异常检测的隐层特征重构(LFR)方法。LFR框架由
基干网络和LFR层组成,其中基干网络可以选择基于自动编码器的或者基于几何变换的异
常检测方法等。对于LFR框架的训练阶段,除了基干网络的损失函数外,LFR层将作为一个不
改变原来网络结构的插件,仅通过反向传播约束隐层特征的学习。对于LFR框架的测试阶
段,通过将LFR层嵌入到基干网络中,由此获得的异常得分函数代替原有的得分函数s x 作
为LFR框架的异常得分函数。当异常得分函数超过给定阈值,则样本为异常样本,也就是
错误标定样本。
常规异常检测方法公式化表示如下:
其中ϕ(·;θ)为一个特征提取器用于映射输入数据x i ∈R D 到对应的隐层特征z i ∈R d ;ψ(·;ω)为一个辅助任务,以z i 作为输入并约束z i 学习关键特征信息;L ori (·)为基干网络附带的损失函数;f(·)为异常得分函数,计算输入样本的异常程度s x 。
而LFR框架整体而言,如图1所示,与通用的异常检测方法差异在于:1)增加LFR层;2)训练阶段和测试阶段网络结构不一致。其中基干网络是以ϕ(·;θ),ψ(·;ω)以及配套的辅助任务,从无标定数据集X训练获得样本对应的特征表示z i ,而LFR层以隐层特征z i 作为输入,生成对应的重构特征z i ’。
当网络训练完毕后,将LFR层嵌入到基干网络中,由此获得了一个新的异常得分函数:
在另一些实施例中,在训练过程中,将产生的隐层特征进行重构包括:利用一线性
变换矩阵A∈R k×d 将隐层特征映射到k维的空间,再通过矩阵A的转置映射回原来的特征空
间,生成其重构特征z’=A T Az。LFR层以隐层特征z i 作为输入,使用RSR损失函数,为正常样本
找到一个低秩隐层特征子空间。它采用了一个线性变换矩阵A∈R k×d 先将原来的特征z i 映射
到k维的空间,然后再通过矩阵A的转置,映射回原来的特征空间,生成其重构特征z i ’。并且
因为A T A趋向于一个正交映射,因此该损失函数约束隐层特征到一个低秩子空间中。
LFR框架的训练阶段,LFR层为一个不改变原来网络结构的插件,仅通过反向传播约束隐层特征的学习。具体而言,LFR层以隐层特征z i 作为输入,使用RSR损失函数(基于自动编码器的异常检测方法),为正常样本找到一个低秩隐层特征子空间。具体而言,它采用了一个线性变换矩阵A∈R k×d 先将原来的特征z i 映射到k维的空间,然后再通过矩阵A的转置,映射回原来的特征空间,生成其重构特征z i ’。并且因为A T A趋向于一个正交映射,因此该损失函数约束隐层特征到一个低秩子空间中。RSR损失函数如下:
其中A T 表示矩阵A的转置;I d 表示单位矩阵;||·||F表示Frobenius范数。其中公式的后半部分约束其正交性,因为其矩阵乘积为单位矩阵,而前半部分约束其为投影。
在另一些实施例中,在对待检测图像数据进行异常检测时,将异常得分函数中的
隐层特征由重构特征替换,得到新的异常得分函数,根据新的异常得分函数进行异常检测。
对于LFR框架的测试阶段,通过将LFR层嵌入到基干网络中,由此获得的异常得分函数代
替原有的得分函数s x 作为LFR框架的异常得分函数。该函数的原理为:根据RSR损失函数,对
于正常样本的重构特征z′=A T Az将靠近对应的特征z,而异常样本相反。因此,我们在得分函
数中用z′替代了z,这样正常和异常样本的得分差距将会进一步扩大,有助于检测异常样
本。
在另一些实施例中,提供了一种所述无监督异常检测神经网络为自动编码器,在
利用所述图像数据集对无监督异常检测神经网络进行训练时,损失函数为,,其中,为自动编码器的损
失函数,为隐层特征重构的损失函数;其中:
自动编码器是由一个编码器(encoder)和解码器(decoder)组成,分别用ϕ e (·)和ψ d (·)表示。其中编码器功能是将原始数据映射到低维特征空间,而解码器以低维特征作为输入,重构出原始输入数据样本。网络参数的训练通过重构误差损失训练。之后对于每个测试样本,通过训练后的自动编码器重构,以重构误差作为异常得分,得分高的样本视为异常样本。我们首先将LFR框架运用在自动编码器上,称为AE-LFR。以自动编码器作为基干网络,正式描述如下:
上述公式中,编码器以x i 作为输入,生成隐层特征z i ,然后解码器将z i 解码生成重
构出输入样本 i 。LFR层以隐层特征z i 作为输入,使用RSR损失函数,为正常样本找到一个低秩隐
层特征子空间。并结合基干网络的损失函数,据此获得AE-LFR的整体损失函数为。
在另一些实施例中,将得分异常函数中的z替换为A T Az,
得到新的得分异常函数为,。在测试阶段,通过将LFR层嵌入
到基干网络中的方式,获得新的异常得分函数,扩大正常和异常样本之间的异常得分差距,提
升异常检测性能。具体而言,在异常得分函数中,将z i 替换成z′=A T Az,新的得分函数为。
其中,ϕ f (T m (·);θ f )为一个像深度残差网络或者宽度残差网络分类模型。
基于几何变换的异常检测通过一系列的几何变换,包含旋转、镜像对称、
平移,来预处理图像。之后它设计了一个自监督任务,具体为在变换扩展后的新数据集上训
练一个图像分类模型,来判别其经过何种变换处理。在测试阶段,将测试图像也经过M种给
定的几何变换处理,它的异常得分为M张扩增图像经过分类模型分类输出的概率平均值。正
式化描述如以下公式所示,其中ϕ f (T m (·);θ f )为一个像深度残差网络(ResNet)或者宽度
残差网络(Wide ResNet,WRN)的分类模型,用于提取经过几何变换T m 预处理的输入图像的
隐层特征;ψ g (·;θ g )为一个多分类器;CE表示交叉熵损失函数;P Tm (·;θ f * ,ω g * )为函数ψ g 在
类别T m 的softmax输出。
和AE-LFR相同,LFR层同样约束了隐层特征z i Tm 的学习。但与之不同的是,GT-LFR方法中扩展后的图像中包含了M个互不相交的子集,也就是很难找到一个低秩子空间来覆盖正常样本。为了解决这个问题,我们期望为每种几何变换找到互不相同的特征子空间。因此,我们为每个变换T m 分配一个线性变换矩阵A (m)∈R k×d ,以对应特征子空间,公式如下,
本申请的实施例还提供了图像标定错误检测装置,包括:基干网络模块,其包括自动编码器,用于利用图像数据集对自动编码器进行训练,还用于从无标定数据集X训练获得样本对应的特征表示z i ,并提供配套的基于隐层特征z i 的异常得分函数;隐层特征重构模块,其用于将训练过程中将产生的隐层特征进行重构,得到隐层特征重构层,以隐层特征z i 作为输入,使用RSR损失函数,为正常样本找到一个低秩隐层特征子空间,并结合基干网络的损失函数,据此获得AE-LFR的整体损失函数;异常得分模块,其用于将所述隐层特征重构层嵌入所述自动编码器,然后对待检测图像数据进行异常检测,通过将LFR层嵌入到基干网络中的方式,获得新的异常得分函数,扩大正常和异常样本之间的异常得分差距,提升异常检测性能。具体而言,在异常得分函数中,将z i 替换成z′=A T Az。
与AE-LFR类似,本申请的实施例还提供了图像标定错误检测装置,包括:基干网络模块,其包括基于几何变换的异常检测算法,用于利用图像数据集对基于几何变换的异常检测算法进行训练;隐层特征重构模块,其用于将训练过程中将产生的隐层特征进行重构,得到隐层特征重构层;异常得分模块,其用于将所述隐层特征重构层嵌入所述基于几何变换的异常检测算法,然后对待检测图像数据进行异常检测。
本申请的实施例还提供了图像标定错误检测装置,包括:处理器;存储器,其存储有可执行指令;其中,所述处理器被配置为执行所述可执行指令,以执行所述的图像标定错误检测方法。图像标定错误检测装置可以是具有处理器和存储器的终端、计算机或服务器等,利用计算机程序实现图像标定错误检测方法。
本申请还提供了以下验证试验,以进一步证明本申请的技术效果。
为了验证本方法的在图像和非图像上数据集上的性能,我们分别选取了2个新闻数据集和3个图像数据集:
Reuters-21578(简称Reuters),从路透社的新闻中采集的文本数据集,类别为其归属的新闻类型,实验中包含5个分类,每类360个样本。
20 Newsgroups(简称20News),也是新闻文本数据集,包含20个分类,每类选用360张样本。
Caltech101,加利福尼亚理工学院采集的101类图像数据集,和RSRAE的预处理一样,选取了其中11类进行实验,每类包含100张图像。
Fashion-MNIST(简称FMNIST),是一个替代MNIST手写数字集的图像数据集,包含10种不同样式的衣服类型,每类包含1000张图像。
CIFAR10,是一个常用于识别物体的小型图像数据集,包含10种不同事物。
为了验证本方法的优越性,与以下5种现有的无监督异常检测方法对比:AE/CAE、DRAE、RSRAE、GEOM和E3Outlier。其中对于AE/CAE、DRAE和RSRAE均为基于自动编码器的方法,剩余的两种方法则是基于几何变换的方法。GEOM虽然是为半监督异常检测设计的方法,但是也可用于无监督设定上。同时,GEOM和E3Outlier仅能用于图像数据集上。同时保证不同方法之间的实验设定以及预处理方式相同。
具体的实验设定如下,对于每个训练集的构建过程如下:将一个类别视为正常样本,而剩余的类别视为异常样本。然后分别从正常和异常样本中随机采集一定数量的样本,使得异常样本和正常样本数量比例为给定比值c∈{0.1,0.3,0.5,0.7,0.9}。而异常样本的标定信息仅用于测试,在训练过程中不可见。然后对于每个给定的c值,我们首先以每个类别作为正常样本,重复进行5次实验,平均结果作为该类别结果,所有类别的实验结果的平均值作为整体实验结果。实验评测指标为ROC曲线下方的面积大小(Area under theReceiver Operating Characteristic curve,AUROC)和PR曲线下方的面积大小(Areaunder the Precision-Recall curve,AUPR),其中异常样本在测试中视为“正类”。
实验结果:AUROC分布如图3-7所示,AUPR分布如图8-12所示。
我们可以看到在大部分实验设定上我们均达到甚至超过现有方法的最好结果。其中,DRAE和AE/CAE的效果在大部分数据集上效果很差,原因是训练代数足够(1000代)的情况下,模型对异常样本过拟合。在新闻数据集20News和Reuters上,AE-LFR方法达到最好的结果。在图像数据集FMNIST和Caltech101上,GT-LFR达到最好的结果,而在CIFAR10上,和E3Outlier 对比,我们同样可获得相近的结果。
优选的是,本发明探究LFR 框架不同的结构组合的结果,以此验证我们的异常评分策略的有效性。方便起见,我们使用符号表示以下不同的损失函数和评分函数:
需要注意的是,不同的损失函数和评分函数表示了不同的网络框架。比如,L A 表示了解码器以z作为输入;而L B 表示了以z′=A T Az作为输入。进而,我们使用L i S j 表示了一对损失函数和得分函数的组合,其中i,j∈{A,B}。也就是,L A S B 事实上表示了我们介绍的LFR方法,而L A S A 表示LFR方法采用原有评分函数的情况。而L B S A 相当于将测试和训练网络结构对调。另外基础的对比方法为仅使用基干网络的方法。图13展示了基线方法AE/CAE和不同的LFR变种。实验结论如下:
(1)4个不同的变种均优于AE/CAE,这说明LFR层能够约束隐层特征的学习。
(2)L A S B 在所有设定上优于L A S A ,表明我们设计的异常评分策略的有效性。
(3)L B S A 也优于L B S B ,这其中的原因为在前者的训练过程中,LFR层与解码器直接连接,也就是解码器主要接受的是靠近正常样本特征作为输入,进而假设训练过程中过拟合异常样本。在测试阶段,也因为LFR层的分离导致异常样本难以重构,有效地分辨异常样本。图14展示了基线方法GEOM和不同的相应LFR变种,可以获取相类似的结论,这均表明LFR方法以及思想的有效性。
对于LFR框架性能提升原因的探究,如图15所示,训练过程中异常得分均值变化情况,分别为AE/CAE,AE-LFR,GEOM,GT-LFR方法在FMNIST数据集的sneaker类别上完整的训练过程。其中阴影部分为得分标准差,实线表示平均异常得分。AE/CAE和GEOM的结果显示了训练过程的初期,异常样本与正常样本的得分差距明显,但是随着训练的进行,两种的异常得分均值极为接近。而对于AE-LFR,可以看到训练到一定代数后,异常样本的得分不再降低,并逐渐趋于稳定。与正常样本的得分均值始终保持一定差别,同时两者的阴影部分始终不相交,这说明了AE-LFR可以有效提高异常检测性能。此外对于GT-LFR,虽然两者的得分均值呈现逐渐靠近的趋势,但是两者的阴影部分也是不相交的,也能说明其有效性。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.一种图像标定错误检测方法,其特征在于包括如下步骤:
S1,训练阶段,利用图像数据集,对无监督异常检测神经网络进行训练:
其中,ϕ(·;θ)表示特征提取器,映射输入数据x i ∈R D 到对应的隐层特征z i ∈R d ,x i 表示输入的第i个图像,x表示x i 的集合,θ表示特征提取器的参数,ψ(·;ω)表示辅助任务,以第i个图像的隐层特征z i 作为输入,并约束隐层特征z i 学习关键特征信息,z表示z i 的集合,ω表示辅助任务的参数,L ori (·)表示基干网络附带的损失函数,θ e * 表示训练结束时对应的特征提取器的参数,ω * 表示训练结束时对应的辅助任务的参数,f(·)表示异常得分函数,用于计算输入图像的异常程度s x ,ϕ θ* 表示训练结束时对应的特征提取器的参数以及特征提取器的组合,ψ ω* 表示训练结束时对应的辅助任务的参数以及辅助任务的组合;
将隐层特征z i 进行重构,得到重构的隐层特征z i ’,不改变无监督异常检测神经网络结构,仅通过反向传播约束隐层特征的学习,包括如下步骤:
S11,利用线性变换矩阵A∈R k×d ,将隐层特征z映射到k维的空间;
S12,再通过矩阵A的转置,映射回原来的特征空间,生成重构的隐层特征z’=A T Az;
S2,测试阶段,将重构的隐层特征z’,嵌入异常得分函数,替换原有的隐层特征z,再对待检测数据进行异常检测,得到新的异常得分:
2.根据权利要求1所述的一种图像标定错误检测方法,其特征在于所述无监督异常检测神经网络为自动编码器,包括编码器ϕ e (·)和解码器ψ d (·),编码器ϕ e (·)用于将原始图像数据映射到低维特征空间,解码器ψ d (·)以低维特征作为输入,重构出原始图像数据,通过重构误差训练神经网络;
8.一种图像标定错误检测装置,包括:基干网络模块,其特征在于所述基干网络模块与隐层特征重构模块连接,隐层特征重构模块与异常得分模块连接;
所述隐层特征重构模块,在基干网络模块的训练阶段,不改变基干网络模块结构,仅通过反向传播约束隐层特征的学习,用于基干网络模块的训练阶段,利用图像数据集对基干网络模块进行训练,对基干网络模块产生的隐层特征z i 进行重构,得到重构的隐层特征z′=A T Az;
所述异常得分模块,在基干网络模块的测试阶段,将重构的隐层特征嵌入基干网络模块,替换原有的隐层特征,再对待检测数据进行异常检测,将得到异常得分与阈值比较,判断待检测数据是否标定错误。
9.根据权利要求8所述的一种图像标定错误检测装置,其特征在于所述基干网络模块,包括自动编码器,利用图像数据集对自动编码器进行训练,包括编码器和解码器,编码器用于将原始图像数据映射到低维特征空间,解码器以低维特征作为输入,重构出原始图像数据,通过重构误差训练神经网络;所述隐层特征重构模块,在自动编码器的训练阶段,使用RSR损失函数,将自动编码器产生的隐层特征进行重构,得到重构的隐层特征,为正常图像样本找到一个低秩隐层特征子空间,并结合基干网络模块的损失函数,获得AE-LFR的整体损失函数;所述异常得分模块,在自动编码器的测试阶段,将重构的隐层特征嵌入自动编码器,替换原有的隐层特征,再对待检测图像数据进行异常检测,获得新的异常得分函数,用于判别待检测图像数据是否标定错误。
10.根据权利要求8所述的一种图像标定错误检测装置,其特征在于所述基干网络模块,包括基于几何变换的异常检测单元,利用图像数据集对基于几何变换的异常检测单元进行训练,通过一系列的几何变换,在变换扩展后的新图像数据集上训练图像分类模型,用于判断经过何种变换处理;所述隐层特征重构模块,在基于几何变换的异常检测单元的训练阶段,将基于几何变换的异常检测单元产生的隐层特征进行重构,扩展后的图像中包含了M个互不相交的子集,为每个变换T m 分配一个线性变换矩阵A (m)∈R k×d ,得到重构的隐层特征;所述异常得分模块,在基于几何变换的异常检测单元的测试阶段,将重构的隐层特征嵌入基于几何变换的异常检测单元,替换原有的隐层特征,再对待检测图像数据进行异常检测,获得新的异常得分函数,用于判别待检测图像数据是否标定错误。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110759301.2A CN113256629B (zh) | 2021-07-05 | 2021-07-05 | 一种图像标定错误检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110759301.2A CN113256629B (zh) | 2021-07-05 | 2021-07-05 | 一种图像标定错误检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113256629A CN113256629A (zh) | 2021-08-13 |
CN113256629B true CN113256629B (zh) | 2022-06-24 |
Family
ID=77190732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110759301.2A Active CN113256629B (zh) | 2021-07-05 | 2021-07-05 | 一种图像标定错误检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113256629B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113793343B (zh) * | 2021-08-23 | 2023-06-06 | 南昌航空大学 | 基于图像的缺陷定位分割方法、系统、终端及存储介质 |
CN114155235B (zh) * | 2021-12-08 | 2024-04-12 | 天津大学 | 一种基于表征变换感知的图像异常检测方法 |
CN114239713B (zh) * | 2021-12-14 | 2024-09-06 | 华中科技大学 | 一种基于变换选择的图像异常检测加速方法和系统 |
CN114168583A (zh) * | 2021-12-15 | 2022-03-11 | 国网福建省电力有限公司营销服务中心 | 一种基于正则自动编码器的电量数据清洗方法及系统 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091329B (zh) * | 2014-06-25 | 2017-02-15 | 清华大学 | 一种ct图像的标定方法、装置和一种ct系统 |
CN105608698B (zh) * | 2015-12-25 | 2018-12-25 | 西北工业大学 | 一种基于sae的遥感图像变化检测方法 |
EP3477553B1 (en) * | 2017-10-27 | 2023-08-30 | Robert Bosch GmbH | Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder |
US12062249B2 (en) * | 2018-05-04 | 2024-08-13 | Northeastern University | System and method for generating image landmarks |
CN109191418B (zh) * | 2018-06-22 | 2021-10-01 | 西安电子科技大学 | 一种基于收缩自编码器特征学习的遥感图像变化检测方法 |
KR20200064888A (ko) * | 2018-11-29 | 2020-06-08 | 한국전자통신연구원 | 다중시점의 영상 교정 방법 및 장치 |
CN111862225A (zh) * | 2019-04-30 | 2020-10-30 | 罗伯特·博世有限公司 | 图像标定方法、标定系统以及具有该系统的车辆 |
CN110868598B (zh) * | 2019-10-17 | 2021-06-22 | 上海交通大学 | 基于对抗生成网络的视频内容替换方法及系统 |
CN110795585B (zh) * | 2019-11-12 | 2022-08-09 | 福州大学 | 基于生成对抗网络的零样本图像分类系统及其方法 |
CN111277603B (zh) * | 2020-02-03 | 2021-11-19 | 杭州迪普科技股份有限公司 | 无监督异常检测系统和方法 |
CN111582044B (zh) * | 2020-04-15 | 2023-06-20 | 华南理工大学 | 基于卷积神经网络和注意力模型的人脸识别方法 |
CN111598881B (zh) * | 2020-05-19 | 2022-07-12 | 西安电子科技大学 | 基于变分自编码器的图像异常检测方法 |
CN112101426B (zh) * | 2020-08-26 | 2022-11-01 | 东南大学 | 基于自编码器的无监督学习图像异常检测方法 |
KR102271740B1 (ko) * | 2020-09-11 | 2021-07-02 | 주식회사 뉴로클 | 이상 탐지 방법 및 이를 위한 장치 |
-
2021
- 2021-07-05 CN CN202110759301.2A patent/CN113256629B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113256629A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113256629B (zh) | 一种图像标定错误检测方法及装置 | |
Xu et al. | An empirical study on evaluation metrics of generative adversarial networks | |
CN111967502B (zh) | 一种基于条件变分自编码器的网络入侵检测方法 | |
CN105738109B (zh) | 基于稀疏表示与集成学习的轴承故障分类诊断方法 | |
Somanath et al. | VADANA: A dense dataset for facial image analysis | |
CN105678788A (zh) | 一种基于hog和低秩分解的织物疵点检测方法 | |
CN105740912A (zh) | 基于核范数正则化的低秩图像特征提取的识别方法及系统 | |
CN105469063A (zh) | 鲁棒的人脸图像主成分特征提取方法及识别装置 | |
CN108877947B (zh) | 基于迭代均值聚类的深度样本学习方法 | |
Damer et al. | Mordiff: Recognition vulnerability and attack detectability of face morphing attacks created by diffusion autoencoders | |
CN113592769B (zh) | 异常图像的检测、模型的训练方法、装置、设备及介质 | |
CN112418353A (zh) | 用于电池隔膜异常检测的神经网络的训练方法 | |
CN104966075A (zh) | 一种基于二维判别特征的人脸识别方法与系统 | |
CN117235565A (zh) | 一种变压器故障诊断模型构建方法和装置 | |
Yao et al. | Learning global-local correspondence with semantic bottleneck for logical anomaly detection | |
CN108596245B (zh) | 一种基于多视图协同完整鉴别子空间学习的人脸识别方法 | |
Zeng et al. | DISCA: high-throughput cryo-ET structural pattern mining by deep unsupervised clustering | |
CN105046286A (zh) | 基于自动视图生成和联合l1,2范数最小化的监督多视图特征选择方法 | |
Zhou et al. | DRSwin-ST: An intelligent fault diagnosis framework based on dynamic threshold noise reduction and sparse transformer with Shifted Windows | |
CN112836754A (zh) | 一种面向图像描述模型泛化能力评估方法 | |
CN111754495A (zh) | 一种基于brdpso算法的织物表面瑕疵检测方法 | |
CN105760872B (zh) | 一种基于鲁棒图像特征提取的识别方法及系统 | |
CN116415201A (zh) | 基于深度同心学习的船舶主动力异常检测方法 | |
Matey et al. | Modest proposals for improving biometric recognition papers | |
CN116091446A (zh) | 食管内窥镜图像的异常检测方法、系统、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |