CN113256629B - 一种图像标定错误检测方法及装置 - Google Patents

一种图像标定错误检测方法及装置 Download PDF

Info

Publication number
CN113256629B
CN113256629B CN202110759301.2A CN202110759301A CN113256629B CN 113256629 B CN113256629 B CN 113256629B CN 202110759301 A CN202110759301 A CN 202110759301A CN 113256629 B CN113256629 B CN 113256629B
Authority
CN
China
Prior art keywords
hidden layer
image
training
image data
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110759301.2A
Other languages
English (en)
Other versions
CN113256629A (zh
Inventor
周水庚
林景煌
许燚
何轶凡
关佶红
张吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Zhejiang Lab
Original Assignee
Fudan University
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Zhejiang Lab filed Critical Fudan University
Priority to CN202110759301.2A priority Critical patent/CN113256629B/zh
Publication of CN113256629A publication Critical patent/CN113256629A/zh
Application granted granted Critical
Publication of CN113256629B publication Critical patent/CN113256629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像标定错误检测方法及装置,方法包括:建立图像数据集,利用所述图像数据集对无监督异常检测神经网络进行训练,将训练过程中将产生的隐层特征进行重构,得到隐层特征重构层;将所述隐层特征重构层嵌入所述无监督异常检测神经网络,然后对待检测图像数据进行异常检测,根据异常得分函数,判别待检测图像数据是否标定错误;装置包括:依次连接的基干网络模块、隐层特征重构模块和异常得分模块;本发明能够扩大正常样本与异常样本之间的异常得分差距,提高异常检测性能。

Description

一种图像标定错误检测方法及装置
技术领域
本发明涉及机器学习技术领域,尤其是涉及一种图像标定错误检测方法及装置。
背景技术
在图像标定过程中,难免由于标定人员粗心等因素而出现错误标定。人工检测错误标定耗时耗力,无监督异常检测能够减少人力资源投入。对于无监督异常检测任务,目前通常采用表征学习的方法,根据训练数据的类型,设计相应的无监督表征学习任务,最后通过异常和正常样本的训练速度或者训练难度之间的差异,以此检测出异常样本。但是,目前的无监督异常检测方法存在以下缺陷:一方面,因为无监督的设定以及难以控制深度学习网络模型的训练程度,该设定下网络模型在训练过程并不能分辨异常样本,会同时尽力拟合正常和异常样本,导致随着训练过程的进行,两类样本之间的重构误差会逐渐减少,进而导致异常检测的性能也随之下降,如图2所示;另一方面,目前无监督异常检测主要是基于自动编码器的或者是基于几何变换的方法,两类方法均有优缺点,前者简单实现但性能相对较差,后者性能好但不能用于非图像数据,现有方法均只能够支持某一类方法,不能够同时支持前者和后者,具有相对较差的通用性。因此,亟需设计一种能够克服上述缺陷的技术方案。
发明内容
为解决现有技术的不足,实现扩大正常样本与异常样本之间的异常得分差距,提高异常检测性能,以及提高通用性的目的,本发明采用如下的技术方案:
一种图像标定错误检测方法,包括如下步骤:
S1,训练阶段,利用图像数据集,对无监督异常检测神经网络进行训练:
Figure 653192DEST_PATH_IMAGE001
Figure 950837DEST_PATH_IMAGE002
Figure 988063DEST_PATH_IMAGE003
其中,ϕ(·;θ)表示特征提取器,映射输入数据x i R D 到对应的隐层特征z i R d x i 表示输入的第i个图像,x表示x i 的集合,θ表示特征提取器的参数,ψ(·;ω)表示辅助任务,以第i个图像的隐层特征z i 作为输入,并约束隐层特征z i 学习关键特征信息,z表示z i 的集合,ω表示辅助任务的参数,L ori (·)表示基干网络附带的损失函数,θ e * 表示训练结束时对应的特征提取器的参数,ω * 表示训练结束时对应的辅助任务的参数,f(·)表示异常得分函数,用于计算输入图像的异常程度s x ϕ θ* 表示训练结束时对应的特征提取器的参数以及特征提取器的组合,ψ ω* 表示训练结束时对应的辅助任务的参数以及辅助任务的组合;
将隐层特征z i 进行重构,得到重构的隐层特征z i ,不改变无监督异常检测神经网络结构,仅通过反向传播约束隐层特征的学习,包括如下步骤:
S11,利用线性变换矩阵AR k×d ,将隐层特征z映射到k维的空间;
S12,再通过矩阵A的转置,映射回原来的特征空间,生成重构的隐层特征z’=A T Az
S2,测试阶段,将重构的隐层特征z’,嵌入异常得分函数,替换原有的隐层特征z,对于正常样本的重构隐层特征z′=A T Az将靠近对应的隐层特征z,而异常样本相反,因此,在得分函数中用z′替代z,这样正常和异常样本的得分差距将会进一步扩大,有助于检测异常样本,再对待检测数据进行异常检测,得到新的异常得分:
Figure 1018DEST_PATH_IMAGE004
当异常得分
Figure 414682DEST_PATH_IMAGE005
超过阈值,z’表示z i 的集合,则待检测数据标定错误。
进一步地,所述无监督异常检测神经网络为自动编码器,包括编码器ϕ e (·)和解码器ψ d (·),编码器ϕ e (·)用于将原始图像数据映射到低维特征空间,解码器ψ d (·)以低维特征作为输入,重构出原始图像数据,通过重构误差训练神经网络;
S1,训练阶段,损失函数
Figure 298324DEST_PATH_IMAGE006
Figure 772031DEST_PATH_IMAGE007
为自动编码器的损失函数,
Figure 741124DEST_PATH_IMAGE008
为隐层特征重构的损失函数,为正常样本找到一个 低秩隐层特征子空间,因为A T A趋向于一个正交映射,因此该损失函数约束隐层特征到一个 低秩子空间中:
Figure 692899DEST_PATH_IMAGE009
Figure 696628DEST_PATH_IMAGE010
Figure 75656DEST_PATH_IMAGE011
Figure 797625DEST_PATH_IMAGE012
其中,x i 表示输入的第i张图像,
Figure 287512DEST_PATH_IMAGE013
表示第i张图像的隐层特征,θ e 表示编码器的模 型参数,ω d 表示解码器的模型参数,
Figure 411326DEST_PATH_IMAGE014
表示自动编码器重构出的输入图像数据,A T 表示矩阵A的转置,||·||F表示Frobenius范数,λ 1 表示鲁棒子空间恢复损失的权重,λ 2 表示投影损失 的权重,I k 表示单位矩阵,
Figure 226835DEST_PATH_IMAGE015
公式的后半部分约束其正交性,因为其矩阵乘积为单 位矩阵,而前半部分约束其为投影。
进一步地,所述S2,测试阶段,对每个图像数据,通过训练后的自动编码器重构,以重构误差作为异常得分,根据异常得分判断异常图像:
Figure 170520DEST_PATH_IMAGE016
Figure 461169DEST_PATH_IMAGE017
Figure 173910DEST_PATH_IMAGE018
Figure 425899DEST_PATH_IMAGE019
Figure 591302DEST_PATH_IMAGE020
进一步地,将异常得分
Figure 954150DEST_PATH_IMAGE021
中的z替换为A T Az,得到新的异常 得分
Figure 521397DEST_PATH_IMAGE022
,扩大正常和异常样本之间的异常得分差距,提升异常 检测性能。
进一步地,所述无监督异常检测神经网络为基于几何变换的异常检测方法,训练阶段的损失函数:
Figure 678709DEST_PATH_IMAGE023
Figure 596987DEST_PATH_IMAGE024
其中,ϕ f (T m (·);θ f )表示一个像深度残差网络或者宽度残差网络图像分类模型,T m (·)表示几何变换,θ f 表示模型整体参数,λ 1 表示鲁棒子空间恢复损失的权重,λ 2 表示投 影损失的权重,I d 表示单位矩阵,M表示几何变换的种类,通过一系列的几何变换
Figure 232367DEST_PATH_IMAGE025
, 在变换扩展后的新数据集上训练图像分类模型,用于判断经过何种变换处理,与AE-LFR相 同,LFR层同样约束了隐层特征
Figure 185280DEST_PATH_IMAGE026
的学习,但与之不同的是,GT-LFR方法中扩展后的图像 中包含了M个互不相交的子集,也就是很难找到一个低秩子空间来覆盖正常样本,为了解决 这个问题,我们期望为每种几何变换找到互不相同的特征子空间,因此,我们为每个变换T m 分配一个线性变换矩阵A (m)R k×d ,以对应特征子空间。
进一步地,所述S2的测试阶段,将测试图像经过M种几何变换,异常得分为M张扩增图像经过图像分类模型分类输出的概率平均值:
Figure 513493DEST_PATH_IMAGE027
Figure 653487DEST_PATH_IMAGE028
Figure 358138DEST_PATH_IMAGE029
Figure 899978DEST_PATH_IMAGE030
)
其中,ϕ f (T m (·);θ f )表示一个像深度残差网络(ResNet)或者宽度残差网络(WideResNet,WRN)的图像分类模型,用于提取经过几何变换T m 预处理的输入图像的隐层特征,ψ g (·;ω g )表示多分类器,CE表示交叉熵损失函数,ω g 表示多分类器的模型参数,P Tm (·;θ f * ,ω g * )表示ψ g 在类别T m 的softmax输出,θ f * 表示训练结束时对应的图像分类模型的参数,ω g * 表示训练结束时对应的多分类器的模型参数。
进一步地,将得异常分
Figure 399092DEST_PATH_IMAGE031
)中的z Tm 替换为
Figure 294892DEST_PATH_IMAGE032
, 得到新的异常得分
Figure 272075DEST_PATH_IMAGE033
进一步地,所述基干网络模块与隐层特征重构模块连接,隐层特征重构模块与异常得分模块连接;
所述隐层特征重构模块,在基干网络模块的训练阶段,不改变基干网络模块结构,仅通过反向传播约束隐层特征的学习,用于基干网络模块的训练阶段,利用图像数据集对基干网络模块进行训练,对基干网络模块产生的隐层特征z i 进行重构,得到重构的隐层特征z′=A T Az
所述异常得分模块,在基干网络模块的测试阶段,将重构的隐层特征嵌入基干网络模块,替换原有的隐层特征,再对待检测数据进行异常检测,将得到异常得分与阈值比较,判断待检测数据是否标定错误。
进一步地,所述基干网络模块,包括自动编码器,利用图像数据集对自动编码器进行训练,包括编码器和解码器,编码器用于将原始图像数据映射到低维特征空间,解码器以低维特征作为输入,重构出原始图像数据,通过重构误差训练神经网络;所述隐层特征重构模块,在自动编码器的训练阶段,使用RSR损失函数,将自动编码器产生的隐层特征进行重构,得到重构的隐层特征,为正常图像样本找到一个低秩隐层特征子空间,并结合基干网络模块的损失函数,获得AE-LFR的整体损失函数;所述异常得分模块,在自动编码器的测试阶段,将重构的隐层特征嵌入自动编码器,替换原有的隐层特征,再对待检测图像数据进行异常检测,获得新的异常得分函数,用于扩大正常和异常样本之间的异常得分差距,提升异常检测性能,最终更准确的判别待检测图像数据是否标定错误。
进一步地,所述基干网络模块,包括基于几何变换的异常检测单元,利用图像数据集对基于几何变换的异常检测单元进行训练,通过一系列的几何变换,在变换扩展后的新图像数据集上训练图像分类模型,用于判断经过何种变换处理;所述隐层特征重构模块,在基于几何变换的异常检测单元的训练阶段,将基于几何变换的异常检测单元产生的隐层特征进行重构,扩展后的图像中包含了M个互不相交的子集,为每个变换T m 分配一个线性变换矩阵A (m)R k×d ,得到重构的隐层特征;所述异常得分模块,在基于几何变换的异常检测单元的测试阶段,将重构的隐层特征嵌入基于几何变换的异常检测单元,替换原有的隐层特征,再对待检测图像数据进行异常检测,获得新的异常得分函数,用于扩大正常和异常样本之间的异常得分差距,提升异常检测性能,最终更准确的判别待检测图像数据是否标定错误。
本发明的优势和有益效果在于:
本发明通过在无监督异常检测任务中提供隐层特征重构(LFR)异常检测框架,并分别在基于自动编码器和基于几何变换的方法上提供相应实现,从而避免了单独一类方法的局限,并具备更好的通用性。并且LFR框架提供一个新颖的异常得分策略来与LFR框架配套,扩大正常样本与异常样本之间的异常得分差距,提高异常检测性能。
附图说明
图1是本发明的框架图。
图2是本发明中自动编码器正常样本和异常样本的平均重构误差对比图。
图3是本发明中20News数据集在不同c值(从0.1到0.9)的AUROC结果对比图。
图4是本发明中Reuters数据集在不同c值(从0.1到0.9)的AUROC结果对比图。
图5是本发明中FMNIST数据集在不同c值(从0.1到0.9)的AUROC结果对比图。
图6是本发明中Caltech101数据集在不同c值(从0.1到0.9)的AUROC结果对比图。
图7是本发明中CIFAR10数据集在不同c值(从0.1到0.9)的AUROC结果对比图。
图8是本发明中20News数据集在不同c值(从0.1到0.9)的AUPR结果对比图。
图9是本发明中Reuters数据集在不同c值(从0.1到0.9)的AUPR结果对比图。
图10是本发明中FMNIST数据集在不同c值(从0.1到0.9)的AUPR结果对比图。
图11是本发明中Caltech101不同c值(从0.1到0.9)的AUPR结果对比图。
图12是本发明中CIFAR10不同c值(从0.1到0.9)的AUPR结果对比图。
图13是本发明实施例中通过AE/CAE和基于自动编码器的LFR变种结果对比图。
图14是本发明实施例中通过GEOM和基于几何变换的LFR变种结果对比图。
图15是本发明中平均异常得分与训练代数曲线图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
如图1所示,本申请的实施例提供了图像标定错误检测方法,包括:S1、建立图像数据集,利用所述图像数据集对无监督异常检测神经网络进行训练,在训练过程中,将产生的隐层特征进行重构,得到隐层特征重构层(LFR层);S2、将所述隐层特征重构层嵌入所述无监督异常检测神经网络,然后对待检测图像数据进行异常检测。
文本图像数据集
Figure 934000DEST_PATH_IMAGE034
包含了N个图像,经过标定人员的人工标定,获取图 像中包含的文本信息,但是由于标定人员粗心等因素,这些标定信息中通常含有少量的错 误标定,也就是文本与图像不对应。将图像
Figure 604016DEST_PATH_IMAGE035
与对应的标定文本组合成对,记为x i ,获得数 据集
Figure 718603DEST_PATH_IMAGE036
N代表数据集X的大小。X将由子集X in 和子集X out 组成,子集X in 表示标定正 确的样本集合,子集X out 表示标定错误的样本集合。并且保证数据集主体为子集X in 。任务目 标为在不经过人工重新校正的情况下,在仅通过模型的学习,识别出其中包含的错误标定 样本集合X out
本实施例提出了一种称为无监督异常检测的隐层特征重构(LFR)方法。LFR框架由 基干网络和LFR层组成,其中基干网络可以选择基于自动编码器的或者基于几何变换的异 常检测方法等。对于LFR框架的训练阶段,除了基干网络的损失函数外,LFR层将作为一个不 改变原来网络结构的插件,仅通过反向传播约束隐层特征的学习。对于LFR框架的测试阶 段,通过将LFR层嵌入到基干网络中,由此获得的异常得分函数
Figure 499477DEST_PATH_IMAGE005
代替原有的得分函数s x 作 为LFR框架的异常得分函数。当异常得分函数
Figure 281488DEST_PATH_IMAGE037
超过给定阈值,则样本为异常样本,也就是 错误标定样本。
常规异常检测方法公式化表示如下:
Figure 122405DEST_PATH_IMAGE001
Figure 724288DEST_PATH_IMAGE038
Figure 574432DEST_PATH_IMAGE039
其中ϕ(·;θ)为一个特征提取器用于映射输入数据x i R D 到对应的隐层特征z i ∈R d ψ(·;ω)为一个辅助任务,以z i 作为输入并约束z i 学习关键特征信息;L ori (·)为基干网络附带的损失函数;f(·)为异常得分函数,计算输入样本的异常程度s x
而LFR框架整体而言,如图1所示,与通用的异常检测方法差异在于:1)增加LFR层;2)训练阶段和测试阶段网络结构不一致。其中基干网络是以ϕ(·;θ),ψ(·;ω)以及配套的辅助任务,从无标定数据集X训练获得样本对应的特征表示z i ,而LFR层以隐层特征z i 作为输入,生成对应的重构特征z i ’。
当网络训练完毕后,将LFR层嵌入到基干网络中,由此获得了一个新的异常得分函数:
Figure 679791DEST_PATH_IMAGE040
在实际应用中,对于输入数据x获得对应的异常得分
Figure 957189DEST_PATH_IMAGE041
,之后根据情况设定异常 程度
Figure 780788DEST_PATH_IMAGE042
的阈值,即可划分输入样本为正常或者异常样本。
在另一些实施例中,在训练过程中,将产生的隐层特征进行重构包括:利用一线性 变换矩阵AR k×d 将隐层特征
Figure 169044DEST_PATH_IMAGE043
映射到k维的空间,再通过矩阵A的转置映射回原来的特征空 间,生成其重构特征z’=A T Az。LFR层以隐层特征z i 作为输入,使用RSR损失函数,为正常样本 找到一个低秩隐层特征子空间。它采用了一个线性变换矩阵AR k×d 先将原来的特征z i 映射 到k维的空间,然后再通过矩阵A的转置,映射回原来的特征空间,生成其重构特征z i ’。并且 因为A T A趋向于一个正交映射,因此该损失函数约束隐层特征到一个低秩子空间中。
LFR框架的训练阶段,LFR层为一个不改变原来网络结构的插件,仅通过反向传播约束隐层特征的学习。具体而言,LFR层以隐层特征z i 作为输入,使用RSR损失函数(基于自动编码器的异常检测方法),为正常样本找到一个低秩隐层特征子空间。具体而言,它采用了一个线性变换矩阵AR k×d 先将原来的特征z i 映射到k维的空间,然后再通过矩阵A的转置,映射回原来的特征空间,生成其重构特征z i ’。并且因为A T A趋向于一个正交映射,因此该损失函数约束隐层特征到一个低秩子空间中。RSR损失函数如下:
Figure 414997DEST_PATH_IMAGE044
其中A T 表示矩阵A的转置;I d 表示单位矩阵;||·||F表示Frobenius范数。其中公式的后半部分约束其正交性,因为其矩阵乘积为单位矩阵,而前半部分约束其为投影。
在另一些实施例中,在对待检测图像数据进行异常检测时,将异常得分函数中的 隐层特征由重构特征替换,得到新的异常得分函数,根据新的异常得分函数进行异常检测。 对于LFR框架的测试阶段,通过将LFR层嵌入到基干网络中,由此获得的异常得分函数
Figure 597717DEST_PATH_IMAGE045
代 替原有的得分函数s x 作为LFR框架的异常得分函数。该函数的原理为:根据RSR损失函数,对 于正常样本的重构特征z′=A T Az将靠近对应的特征z,而异常样本相反。因此,我们在得分函 数中用z′替代了z,这样正常和异常样本的得分差距将会进一步扩大,有助于检测异常样 本。
在另一些实施例中,提供了一种所述无监督异常检测神经网络为自动编码器,在 利用所述图像数据集对无监督异常检测神经网络进行训练时,损失函数为
Figure 174192DEST_PATH_IMAGE046
Figure 100559DEST_PATH_IMAGE047
,其中,
Figure 180511DEST_PATH_IMAGE048
为自动编码器的损 失函数,
Figure 799711DEST_PATH_IMAGE049
为隐层特征重构的损失函数;其中:
Figure 863482DEST_PATH_IMAGE016
Figure 327961DEST_PATH_IMAGE017
Figure 527999DEST_PATH_IMAGE011
Figure 318100DEST_PATH_IMAGE050
ϕ e (·)和ψ d (·)分别表示编码器和解码器,x i 为输入样本,
Figure 338009DEST_PATH_IMAGE051
自动编码器重构出 的输入样本,A T 表示矩阵A的转置,||·||F表示范数。
自动编码器是由一个编码器(encoder)和解码器(decoder)组成,分别用ϕ e (·)和ψ d (·)表示。其中编码器功能是将原始数据映射到低维特征空间,而解码器以低维特征作为输入,重构出原始输入数据样本。网络参数的训练通过重构误差损失训练。之后对于每个测试样本,通过训练后的自动编码器重构,以重构误差作为异常得分,得分高的样本视为异常样本。我们首先将LFR框架运用在自动编码器上,称为AE-LFR。以自动编码器作为基干网络,正式描述如下:
Figure 137337DEST_PATH_IMAGE016
Figure 191881DEST_PATH_IMAGE017
Figure 887305DEST_PATH_IMAGE052
Figure 660089DEST_PATH_IMAGE019
Figure 466371DEST_PATH_IMAGE053
上述公式中,编码器以x i 作为输入,生成隐层特征z i ,然后解码器将z i 解码生成重 构出输入样本
Figure 643930DEST_PATH_IMAGE054
i 。LFR层以隐层特征z i 作为输入,使用RSR损失函数,为正常样本找到一个低秩隐 层特征子空间。并结合基干网络的损失函数,据此获得AE-LFR的整体损失函数为
Figure 775834DEST_PATH_IMAGE055
在另一些实施例中,将得分异常函数
Figure 770335DEST_PATH_IMAGE056
中的z替换为A T Az, 得到新的得分异常函数为
Figure 645887DEST_PATH_IMAGE057
Figure 675023DEST_PATH_IMAGE058
。在测试阶段,通过将LFR层嵌入 到基干网络中的方式,获得新的异常得分函数,扩大正常和异常样本之间的异常得分差距,提 升异常检测性能。具体而言,在异常得分函数中,将z i 替换成z′=A T Az,新的得分函数为
Figure 712249DEST_PATH_IMAGE045
在另一些实施例中,以下称为GT-LFR,所述无监督异常检测神经网络为基于几何 变换的异常检测算法,在利用所述图像数据集对无监督异常检测神经网络进行训练时,损 失函数为
Figure 521942DEST_PATH_IMAGE059
Figure 935606DEST_PATH_IMAGE061
Figure 819248DEST_PATH_IMAGE062
其中,ϕ f (T m (·);θ f )为一个像深度残差网络或者宽度残差网络分类模型。
基于几何变换的异常检测通过一系列的几何变换
Figure 292955DEST_PATH_IMAGE063
,包含旋转、镜像对称、 平移,来预处理图像。之后它设计了一个自监督任务,具体为在变换扩展后的新数据集上训 练一个图像分类模型,来判别其经过何种变换处理。在测试阶段,将测试图像也经过M种给 定的几何变换处理,它的异常得分为M张扩增图像经过分类模型分类输出的概率平均值。正 式化描述如以下公式所示,其中ϕ f (T m (·);θ f )为一个像深度残差网络(ResNet)或者宽度 残差网络(Wide ResNet,WRN)的分类模型,用于提取经过几何变换T m 预处理的输入图像的 隐层特征;ψ g (·;θ g )为一个多分类器;CE表示交叉熵损失函数;P Tm (·;θ f * ,ω g * )为函数ψ g 在 类别T m 的softmax输出。
Figure 262048DEST_PATH_IMAGE064
Figure 479402DEST_PATH_IMAGE065
Figure 217551DEST_PATH_IMAGE066
Figure 859229DEST_PATH_IMAGE067
)
和AE-LFR相同,LFR层同样约束了隐层特征z i Tm 的学习。但与之不同的是,GT-LFR方法中扩展后的图像中包含了M个互不相交的子集,也就是很难找到一个低秩子空间来覆盖正常样本。为了解决这个问题,我们期望为每种几何变换找到互不相同的特征子空间。因此,我们为每个变换T m 分配一个线性变换矩阵A (m)R k×d ,以对应特征子空间,公式如下,
Figure 581198DEST_PATH_IMAGE068
在另一些实施例中,将得分异常函数
Figure 336664DEST_PATH_IMAGE069
)中的z Tm 替换 为
Figure 194899DEST_PATH_IMAGE070
,新的得分异常函数为
Figure 10408DEST_PATH_IMAGE005
Figure 688514DEST_PATH_IMAGE071
本申请的实施例还提供了图像标定错误检测装置,包括:基干网络模块,其包括自动编码器,用于利用图像数据集对自动编码器进行训练,还用于从无标定数据集X训练获得样本对应的特征表示z i ,并提供配套的基于隐层特征z i 的异常得分函数;隐层特征重构模块,其用于将训练过程中将产生的隐层特征进行重构,得到隐层特征重构层,以隐层特征z i 作为输入,使用RSR损失函数,为正常样本找到一个低秩隐层特征子空间,并结合基干网络的损失函数,据此获得AE-LFR的整体损失函数;异常得分模块,其用于将所述隐层特征重构层嵌入所述自动编码器,然后对待检测图像数据进行异常检测,通过将LFR层嵌入到基干网络中的方式,获得新的异常得分函数,扩大正常和异常样本之间的异常得分差距,提升异常检测性能。具体而言,在异常得分函数中,将z i 替换成z′=A T Az
与AE-LFR类似,本申请的实施例还提供了图像标定错误检测装置,包括:基干网络模块,其包括基于几何变换的异常检测算法,用于利用图像数据集对基于几何变换的异常检测算法进行训练;隐层特征重构模块,其用于将训练过程中将产生的隐层特征进行重构,得到隐层特征重构层;异常得分模块,其用于将所述隐层特征重构层嵌入所述基于几何变换的异常检测算法,然后对待检测图像数据进行异常检测。
本申请的实施例还提供了图像标定错误检测装置,包括:处理器;存储器,其存储有可执行指令;其中,所述处理器被配置为执行所述可执行指令,以执行所述的图像标定错误检测方法。图像标定错误检测装置可以是具有处理器和存储器的终端、计算机或服务器等,利用计算机程序实现图像标定错误检测方法。
本申请还提供了以下验证试验,以进一步证明本申请的技术效果。
为了验证本方法的在图像和非图像上数据集上的性能,我们分别选取了2个新闻数据集和3个图像数据集:
Reuters-21578(简称Reuters),从路透社的新闻中采集的文本数据集,类别为其归属的新闻类型,实验中包含5个分类,每类360个样本。
20 Newsgroups(简称20News),也是新闻文本数据集,包含20个分类,每类选用360张样本。
Caltech101,加利福尼亚理工学院采集的101类图像数据集,和RSRAE的预处理一样,选取了其中11类进行实验,每类包含100张图像。
Fashion-MNIST(简称FMNIST),是一个替代MNIST手写数字集的图像数据集,包含10种不同样式的衣服类型,每类包含1000张图像。
CIFAR10,是一个常用于识别物体的小型图像数据集,包含10种不同事物。
为了验证本方法的优越性,与以下5种现有的无监督异常检测方法对比:AE/CAE、DRAE、RSRAE、GEOM和E3Outlier。其中对于AE/CAE、DRAE和RSRAE均为基于自动编码器的方法,剩余的两种方法则是基于几何变换的方法。GEOM虽然是为半监督异常检测设计的方法,但是也可用于无监督设定上。同时,GEOM和E3Outlier仅能用于图像数据集上。同时保证不同方法之间的实验设定以及预处理方式相同。
具体的实验设定如下,对于每个训练集的构建过程如下:将一个类别视为正常样本,而剩余的类别视为异常样本。然后分别从正常和异常样本中随机采集一定数量的样本,使得异常样本和正常样本数量比例为给定比值c∈{0.1,0.3,0.5,0.7,0.9}。而异常样本的标定信息仅用于测试,在训练过程中不可见。然后对于每个给定的c值,我们首先以每个类别作为正常样本,重复进行5次实验,平均结果作为该类别结果,所有类别的实验结果的平均值作为整体实验结果。实验评测指标为ROC曲线下方的面积大小(Area under theReceiver Operating Characteristic curve,AUROC)和PR曲线下方的面积大小(Areaunder the Precision-Recall curve,AUPR),其中异常样本在测试中视为“正类”。
实验结果:AUROC分布如图3-7所示,AUPR分布如图8-12所示。
我们可以看到在大部分实验设定上我们均达到甚至超过现有方法的最好结果。其中,DRAE和AE/CAE的效果在大部分数据集上效果很差,原因是训练代数足够(1000代)的情况下,模型对异常样本过拟合。在新闻数据集20News和Reuters上,AE-LFR方法达到最好的结果。在图像数据集FMNIST和Caltech101上,GT-LFR达到最好的结果,而在CIFAR10上,和E3Outlier 对比,我们同样可获得相近的结果。
优选的是,本发明探究LFR 框架不同的结构组合的结果,以此验证我们的异常评分策略的有效性。方便起见,我们使用符号表示以下不同的损失函数和评分函数:
Figure 247671DEST_PATH_IMAGE072
Figure 960412DEST_PATH_IMAGE073
Figure 212402DEST_PATH_IMAGE074
Figure 643384DEST_PATH_IMAGE075
需要注意的是,不同的损失函数和评分函数表示了不同的网络框架。比如,L A 表示了解码器以z作为输入;而L B 表示了以z′=A T Az作为输入。进而,我们使用L i S j 表示了一对损失函数和得分函数的组合,其中i,j∈{A,B}。也就是,L A S B 事实上表示了我们介绍的LFR方法,而L A S A 表示LFR方法采用原有评分函数的情况。而L B S A 相当于将测试和训练网络结构对调。另外基础的对比方法为仅使用基干网络的方法。图13展示了基线方法AE/CAE和不同的LFR变种。实验结论如下:
(1)4个不同的变种均优于AE/CAE,这说明LFR层能够约束隐层特征的学习。
(2)L A S B 在所有设定上优于L A S A ,表明我们设计的异常评分策略的有效性。
(3)L B S A 也优于L B S B ,这其中的原因为在前者的训练过程中,LFR层与解码器直接连接,也就是解码器主要接受的是靠近正常样本特征作为输入,进而假设训练过程中过拟合异常样本。在测试阶段,也因为LFR层的分离导致异常样本难以重构,有效地分辨异常样本。图14展示了基线方法GEOM和不同的相应LFR变种,可以获取相类似的结论,这均表明LFR方法以及思想的有效性。
对于LFR框架性能提升原因的探究,如图15所示,训练过程中异常得分均值变化情况,分别为AE/CAE,AE-LFR,GEOM,GT-LFR方法在FMNIST数据集的sneaker类别上完整的训练过程。其中阴影部分为得分标准差,实线表示平均异常得分。AE/CAE和GEOM的结果显示了训练过程的初期,异常样本与正常样本的得分差距明显,但是随着训练的进行,两种的异常得分均值极为接近。而对于AE-LFR,可以看到训练到一定代数后,异常样本的得分不再降低,并逐渐趋于稳定。与正常样本的得分均值始终保持一定差别,同时两者的阴影部分始终不相交,这说明了AE-LFR可以有效提高异常检测性能。此外对于GT-LFR,虽然两者的得分均值呈现逐渐靠近的趋势,但是两者的阴影部分也是不相交的,也能说明其有效性。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种图像标定错误检测方法,其特征在于包括如下步骤:
S1,训练阶段,利用图像数据集,对无监督异常检测神经网络进行训练:
Figure 588268DEST_PATH_IMAGE001
Figure 36567DEST_PATH_IMAGE002
Figure 675359DEST_PATH_IMAGE003
其中,ϕ(·;θ)表示特征提取器,映射输入数据x i R D 到对应的隐层特征z i R d x i 表示输入的第i个图像,x表示x i 的集合,θ表示特征提取器的参数,ψ(·;ω)表示辅助任务,以第i个图像的隐层特征z i 作为输入,并约束隐层特征z i 学习关键特征信息,z表示z i 的集合,ω表示辅助任务的参数,L ori (·)表示基干网络附带的损失函数,θ e * 表示训练结束时对应的特征提取器的参数,ω * 表示训练结束时对应的辅助任务的参数,f(·)表示异常得分函数,用于计算输入图像的异常程度s x ϕ θ* 表示训练结束时对应的特征提取器的参数以及特征提取器的组合,ψ ω* 表示训练结束时对应的辅助任务的参数以及辅助任务的组合;
将隐层特征z i 进行重构,得到重构的隐层特征z i ,不改变无监督异常检测神经网络结构,仅通过反向传播约束隐层特征的学习,包括如下步骤:
S11,利用线性变换矩阵AR k×d ,将隐层特征z映射到k维的空间;
S12,再通过矩阵A的转置,映射回原来的特征空间,生成重构的隐层特征z’=A T Az
S2,测试阶段,将重构的隐层特征z’,嵌入异常得分函数,替换原有的隐层特征z,再对待检测数据进行异常检测,得到新的异常得分:
Figure 867306DEST_PATH_IMAGE004
当异常得分
Figure 416099DEST_PATH_IMAGE005
超过阈值,z’表示z i 的集合,则待检测数据标定错误。
2.根据权利要求1所述的一种图像标定错误检测方法,其特征在于所述无监督异常检测神经网络为自动编码器,包括编码器ϕ e (·)和解码器ψ d (·),编码器ϕ e (·)用于将原始图像数据映射到低维特征空间,解码器ψ d (·)以低维特征作为输入,重构出原始图像数据,通过重构误差训练神经网络;
S1,训练阶段,损失函数
Figure 35299DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
为自动编码器的损失函数,
Figure 630229DEST_PATH_IMAGE008
为隐层特征重构的损失函数:
Figure 422604DEST_PATH_IMAGE009
Figure 888220DEST_PATH_IMAGE010
Figure 350426DEST_PATH_IMAGE011
Figure 963810DEST_PATH_IMAGE012
其中,x i 表示输入的第i张图像,z i 表示第i张图像的隐层特征,θ e 表示编码器的模型参 数,ω d 表示解码器的模型参数,
Figure 497559DEST_PATH_IMAGE013
表示自动编码器重构出的输入图像数据,A T 表示矩阵A的 转置,||·||F表示范数,λ 1 表示鲁棒子空间恢复损失的权重,λ 2 表示投影损失的权重,I k 表 示单位矩阵。
3.根据权利要求2所述的一种图像标定错误检测方法,其特征在于所述S2,测试阶段,对每个图像数据,通过训练后的自动编码器重构,以重构误差作为异常得分,根据异常得分判断异常图像:
Figure 755365DEST_PATH_IMAGE009
Figure 778685DEST_PATH_IMAGE010
Figure 817048DEST_PATH_IMAGE014
Figure 826592DEST_PATH_IMAGE015
Figure 63539DEST_PATH_IMAGE016
4.根据权利要求3所述的一种图像标定错误检测方法,其特征在于将异常得分s x =||x-ψ d (z;ω d )||2中的z替换为A T Az,得到新的异常得分
Figure 195443DEST_PATH_IMAGE017
5.根据权利要求1所述的一种图像标定错误检测方法,其特征在于所述无监督异常检测神经网络为基于几何变换的异常检测方法,训练阶段的损失函数:
Figure 658785DEST_PATH_IMAGE018
Figure 534337DEST_PATH_IMAGE019
其中,ϕ f (T m (·);θ f )表示图像分类模型,T m (·)表示几何变换,θ f 表示模型整体参数,λ 1 表示鲁棒子空间恢复损失的权重,λ 2 表示投影损失的权重,I d 表示单位矩阵,M表示几何变 换的种类,通过一系列的几何变换
Figure 360211DEST_PATH_IMAGE020
,在变换扩展后的新数据集上训练图像分类模 型,用于判断经过何种变换处理,扩展后的图像中包含了M个互不相交的子集,为每个变换T m 分配一个线性变换矩阵A (m)R k×d
6.根据权利要求5所述的一种图像标定错误检测方法,其特征在于所述S2的测试阶段,将测试图像经过M种几何变换,异常得分为M张扩增图像经过图像分类模型分类输出的概率平均值:
Figure 922736DEST_PATH_IMAGE021
Figure 732429DEST_PATH_IMAGE022
Figure 83776DEST_PATH_IMAGE023
Figure 232998DEST_PATH_IMAGE024
其中,ϕ f (T m (·);θ f )表示图像分类模型,用于提取经过几何变换T m 预处理的输入图像的隐层特征,ψ g (·;ω g )表示多分类器,CE表示交叉熵损失函数,ω g 表示多分类器的模型参数,P Tm (·;θ f * ,ω g * )表示ψ g 在类别T m 的softmax输出,θ f * 表示训练结束时对应的图像分类模型的参数,ω g * 表示训练结束时对应的多分类器的模型参数。
7.根据权利要求6所述的一种图像标定错误检测方法,其特征在于将异常得分
Figure 769021DEST_PATH_IMAGE025
中的z Tm 替换为
Figure 941377DEST_PATH_IMAGE026
,得到新的异常得分
Figure 158731DEST_PATH_IMAGE027
8.一种图像标定错误检测装置,包括:基干网络模块,其特征在于所述基干网络模块与隐层特征重构模块连接,隐层特征重构模块与异常得分模块连接;
所述隐层特征重构模块,在基干网络模块的训练阶段,不改变基干网络模块结构,仅通过反向传播约束隐层特征的学习,用于基干网络模块的训练阶段,利用图像数据集对基干网络模块进行训练,对基干网络模块产生的隐层特征z i 进行重构,得到重构的隐层特征z′=A T Az
所述异常得分模块,在基干网络模块的测试阶段,将重构的隐层特征嵌入基干网络模块,替换原有的隐层特征,再对待检测数据进行异常检测,将得到异常得分与阈值比较,判断待检测数据是否标定错误。
9.根据权利要求8所述的一种图像标定错误检测装置,其特征在于所述基干网络模块,包括自动编码器,利用图像数据集对自动编码器进行训练,包括编码器和解码器,编码器用于将原始图像数据映射到低维特征空间,解码器以低维特征作为输入,重构出原始图像数据,通过重构误差训练神经网络;所述隐层特征重构模块,在自动编码器的训练阶段,使用RSR损失函数,将自动编码器产生的隐层特征进行重构,得到重构的隐层特征,为正常图像样本找到一个低秩隐层特征子空间,并结合基干网络模块的损失函数,获得AE-LFR的整体损失函数;所述异常得分模块,在自动编码器的测试阶段,将重构的隐层特征嵌入自动编码器,替换原有的隐层特征,再对待检测图像数据进行异常检测,获得新的异常得分函数,用于判别待检测图像数据是否标定错误。
10.根据权利要求8所述的一种图像标定错误检测装置,其特征在于所述基干网络模块,包括基于几何变换的异常检测单元,利用图像数据集对基于几何变换的异常检测单元进行训练,通过一系列的几何变换,在变换扩展后的新图像数据集上训练图像分类模型,用于判断经过何种变换处理;所述隐层特征重构模块,在基于几何变换的异常检测单元的训练阶段,将基于几何变换的异常检测单元产生的隐层特征进行重构,扩展后的图像中包含了M个互不相交的子集,为每个变换T m 分配一个线性变换矩阵A (m)R k×d ,得到重构的隐层特征;所述异常得分模块,在基于几何变换的异常检测单元的测试阶段,将重构的隐层特征嵌入基于几何变换的异常检测单元,替换原有的隐层特征,再对待检测图像数据进行异常检测,获得新的异常得分函数,用于判别待检测图像数据是否标定错误。
CN202110759301.2A 2021-07-05 2021-07-05 一种图像标定错误检测方法及装置 Active CN113256629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110759301.2A CN113256629B (zh) 2021-07-05 2021-07-05 一种图像标定错误检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110759301.2A CN113256629B (zh) 2021-07-05 2021-07-05 一种图像标定错误检测方法及装置

Publications (2)

Publication Number Publication Date
CN113256629A CN113256629A (zh) 2021-08-13
CN113256629B true CN113256629B (zh) 2022-06-24

Family

ID=77190732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110759301.2A Active CN113256629B (zh) 2021-07-05 2021-07-05 一种图像标定错误检测方法及装置

Country Status (1)

Country Link
CN (1) CN113256629B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793343B (zh) * 2021-08-23 2023-06-06 南昌航空大学 基于图像的缺陷定位分割方法、系统、终端及存储介质
CN114155235B (zh) * 2021-12-08 2024-04-12 天津大学 一种基于表征变换感知的图像异常检测方法
CN114239713B (zh) * 2021-12-14 2024-09-06 华中科技大学 一种基于变换选择的图像异常检测加速方法和系统
CN114168583A (zh) * 2021-12-15 2022-03-11 国网福建省电力有限公司营销服务中心 一种基于正则自动编码器的电量数据清洗方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091329B (zh) * 2014-06-25 2017-02-15 清华大学 一种ct图像的标定方法、装置和一种ct系统
CN105608698B (zh) * 2015-12-25 2018-12-25 西北工业大学 一种基于sae的遥感图像变化检测方法
EP3477553B1 (en) * 2017-10-27 2023-08-30 Robert Bosch GmbH Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder
US12062249B2 (en) * 2018-05-04 2024-08-13 Northeastern University System and method for generating image landmarks
CN109191418B (zh) * 2018-06-22 2021-10-01 西安电子科技大学 一种基于收缩自编码器特征学习的遥感图像变化检测方法
KR20200064888A (ko) * 2018-11-29 2020-06-08 한국전자통신연구원 다중시점의 영상 교정 방법 및 장치
CN111862225A (zh) * 2019-04-30 2020-10-30 罗伯特·博世有限公司 图像标定方法、标定系统以及具有该系统的车辆
CN110868598B (zh) * 2019-10-17 2021-06-22 上海交通大学 基于对抗生成网络的视频内容替换方法及系统
CN110795585B (zh) * 2019-11-12 2022-08-09 福州大学 基于生成对抗网络的零样本图像分类系统及其方法
CN111277603B (zh) * 2020-02-03 2021-11-19 杭州迪普科技股份有限公司 无监督异常检测系统和方法
CN111582044B (zh) * 2020-04-15 2023-06-20 华南理工大学 基于卷积神经网络和注意力模型的人脸识别方法
CN111598881B (zh) * 2020-05-19 2022-07-12 西安电子科技大学 基于变分自编码器的图像异常检测方法
CN112101426B (zh) * 2020-08-26 2022-11-01 东南大学 基于自编码器的无监督学习图像异常检测方法
KR102271740B1 (ko) * 2020-09-11 2021-07-02 주식회사 뉴로클 이상 탐지 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
CN113256629A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN113256629B (zh) 一种图像标定错误检测方法及装置
Xu et al. An empirical study on evaluation metrics of generative adversarial networks
CN111967502B (zh) 一种基于条件变分自编码器的网络入侵检测方法
CN105738109B (zh) 基于稀疏表示与集成学习的轴承故障分类诊断方法
Somanath et al. VADANA: A dense dataset for facial image analysis
CN105678788A (zh) 一种基于hog和低秩分解的织物疵点检测方法
CN105740912A (zh) 基于核范数正则化的低秩图像特征提取的识别方法及系统
CN105469063A (zh) 鲁棒的人脸图像主成分特征提取方法及识别装置
CN108877947B (zh) 基于迭代均值聚类的深度样本学习方法
Damer et al. Mordiff: Recognition vulnerability and attack detectability of face morphing attacks created by diffusion autoencoders
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN112418353A (zh) 用于电池隔膜异常检测的神经网络的训练方法
CN104966075A (zh) 一种基于二维判别特征的人脸识别方法与系统
CN117235565A (zh) 一种变压器故障诊断模型构建方法和装置
Yao et al. Learning global-local correspondence with semantic bottleneck for logical anomaly detection
CN108596245B (zh) 一种基于多视图协同完整鉴别子空间学习的人脸识别方法
Zeng et al. DISCA: high-throughput cryo-ET structural pattern mining by deep unsupervised clustering
CN105046286A (zh) 基于自动视图生成和联合l1,2范数最小化的监督多视图特征选择方法
Zhou et al. DRSwin-ST: An intelligent fault diagnosis framework based on dynamic threshold noise reduction and sparse transformer with Shifted Windows
CN112836754A (zh) 一种面向图像描述模型泛化能力评估方法
CN111754495A (zh) 一种基于brdpso算法的织物表面瑕疵检测方法
CN105760872B (zh) 一种基于鲁棒图像特征提取的识别方法及系统
CN116415201A (zh) 基于深度同心学习的船舶主动力异常检测方法
Matey et al. Modest proposals for improving biometric recognition papers
CN116091446A (zh) 食管内窥镜图像的异常检测方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant