CN115880204A - 图像检测方法、装置、终端设备及可读存储介质 - Google Patents
图像检测方法、装置、终端设备及可读存储介质 Download PDFInfo
- Publication number
- CN115880204A CN115880204A CN202111127168.5A CN202111127168A CN115880204A CN 115880204 A CN115880204 A CN 115880204A CN 202111127168 A CN202111127168 A CN 202111127168A CN 115880204 A CN115880204 A CN 115880204A
- Authority
- CN
- China
- Prior art keywords
- image
- abnormal
- image feature
- matrix
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种图像检测方法、装置、终端设备及可读存储介质,该方法包括:对待检测图像进行卷积运算,得到图像特征矩阵;计算图像特征矩阵中的各个图像特征向量在图像特征矩阵中的若干个位置的概率分布;根据概率分布生成图像特征矩阵对应的异常图像;根据异常图像确定待检测图像是否异常的检测结果。本申请能够在卷积运算处理后,不需要对运算结果进行深度模型训练,优化了图像检测步骤,提高了异常图像检测的效率,同时减少了深度模型训练不完善时,容易造成图像异常的漏报、误报等现象,从侧面提高了异常检测的成功率。
Description
技术领域
本申请涉及图像检测领域,具体涉及一种图像检测方法、装置、终端设备及可读存储介质。
背景技术
在制造业中,一般通过人工光学检测来检测生产线上的产品是否包含有缺陷,但是通常具有几个关键限制例如:有限的人类注意力跨度、大规模装配线的人工成本高、不同的产线间通常不会保持一致的质量水平等。因此,自动化的光学异常检测在工业视觉检测领域中非常有价值。
然而,在制造业中,由于较高的生产可靠性,光学检测任务经常缺乏足够的样本用作训练。同时,对于生产线上那些较少出现的缺陷可能更为致命。所以,想要用缺陷数据以监督学习的方式来训练一个精确的深度模型有时候并不现实。如果能实现仅在单类无异常图像上训练模型以检测异常样本,甚至在推理过程中分割缺陷区域,这对于深度学习在工业光学检测应用有着重大的进步意义。
一般基于深度模型的异常定位与检测任务主要是通过生成式模型完成,比如GAN(生成式对抗网络,Generative Adversarial Networks)、VAE(变分编码器,VariationalAuto-encoder,)等,这种方式主要是通过在正常图片上面训练生成式模型,训练主要是通过重建正常图片的方式来更新模型参数。但这种方式有一个较大的问题在于,当模型的重建能力较弱时,模型对于正常图片的重建也会有较大的数据丢失,因此产生误报;或当模型的重建能力较强的时候,模型对于缺陷区域也可以进行重建,这样的话会造成漏报。同时,这种方式对于待检测图片中结构和背景较为复杂的情况下,噪声较大,无法很好的区分缺陷区域与背景。
发明内容
本申请提供一种图像检测方法、装置、终端设备及可读存储介质,可以解决在对图像检测时,对图像异常的漏报、误报等现象。
第一方面,本申请提供一种图像检测方法,包括:
对待检测图像进行卷积运算,得到图像特征矩阵;
计算图像特征矩阵中的各个图像特征向量在图像特征矩阵中的若干个位置的概率分布;
根据概率分布生成图像特征矩阵对应的异常图像;
根据异常图像确定待检测图像是否异常的检测结果。
第二方面,本申请提供一种图像检测装置,包括:
第一计算模块,用于对待检测图像进行卷积运算,得到图像特征矩阵;
第二计算模块,用于计算图像特征矩阵中的各个图像特征向量在图像特征矩阵中的若干个位置的概率分布;
生成模块,用于根据概率分布生成图像特征矩阵对应的异常图像;
检测模块,用于根据异常图像确定待检测图像是否异常的检测结果。
第三方面,本申请提供一种终端设备,终端设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序以实现任一项本申请中的图像检测方法中的步骤。
第四方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行以实现任一项本申请中的图像检测方法中的步骤。
本申请通过卷积运算处理后,不需要对运算结果进行深度模型训练,优化了图像检测步骤,提高了异常图像检测的效率,同时减少了深度模型训练不完善时,容易造成图像异常的漏报、误报等现象,从侧面提高了异常检测的成功率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中提供的图像检测系统的场景示意图;
图2是本申请实施例中图像检测方法的一个实施例流程示意图;
图3是本申请实施例中图像检测装置的一个功能模块示意图;
图4是本申请实施例中终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请提供了一种图像检测方法、装置、终端设备及可读存储介质,以下分别进行详细说明。
首先,介绍本申请中出现的一些概念:
CNN模型:卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification),因此也被称为“平移不变人工神经网络(Shift-Invariant ArtificialNeural Networks,SIANN)”。
高斯分布:正态分布(Normal distribution),也称“常态分布”,又名高斯分布(Gaussian distribution),最早由Abraham de Moivre在求二项分布的渐近公式中得到。C.F.高斯在研究测量误差时从另一个角度导出了它。P.S.拉普拉斯和高斯研究了它的性质。是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。
正态曲线呈钟型,两头低,中间高,左右对称因其曲线呈钟形,因此人们又经常称之为钟形曲线。
若随机变量X服从一个数学期望为μ、方差为σ2的正态分布,记为N(μ,σ2)。其概率密度函数为正态分布的期望值μ决定了其位置,其标准差σ决定了分布的幅度。当μ=0,σ=1时的正态分布是标准正态分布。
双线性插值:又称为双线性内插。在数学上,双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在两个方向分别进行一次线性插值。当对相邻四个像素点采用双线性插值时,所得表面在邻域处是吻合的,但斜率不吻合。并且双线性灰度插值的平滑作用可能使得图像的细节产生退化,这种现象在进行图像放大时尤其明显。
请参阅图1,图1为本申请实施例所提供的图像检测系统的场景示意图,该图像检测系统可以包括终端设备100和存储设备200,该存储设备200可以向该终端设备100传输数据。如图1中的终端设备100,可以获取该存储设备200中预先存储的图像数据,当该终端设备100获取到该存储设备200中的图像数据之后,便可以执行本申请中的图像检测方法。
本申请实施例中,终端设备100其包括但不限可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant,PDA)、平板电脑、无线终端设备、嵌入式设备等。
本申请的实施例中,终端设备100和存储设备200之间可通过任何通信方式实现通信,包括但不限于,物理连接、基于第三代合作伙伴计划(3rd Generation PartnershipProject,3GPP)、长期演进(Long Term Evolution,LTE)、全球互通微波访问(WorldwideInteroperability for Microwave Access,WiMAX)的移动通信,或基于TCP/IP协议族(TCP/IP Protocol Suite,TCP/IP)、用户数据报协议(User Datagram Protocol,UDP)的计算机网络通信等。
需要说明的是,本申请实施例中,该终端设备100自带摄像装置时,该终端设备100可以不通过存储设备200获取物品图像数据,该终端设备100可以通过自身的摄像装置拍摄,从而得到图像数据,以执行本申请中的图像检测方法。
需要说明的是,图1所示的图像检测系统的场景示意图仅仅是一个示例,本申请实施例描述的图像检测系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着图像检测系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
如图2所示,图2为本申请实施例中图像检测方法的一个实施例流程示意图,该图像检测方法可以包括如下步骤201~204:
201、终端设备对待检测图像进行卷积运算,得到图像特征矩阵。
本申请实施例中描述的物品图像可以是同一种角度,同一种曝光率的物品图像。例如:物品可以为生产线上的产品。具体来说,可以利用一种图像获取装置,固定设置在生产线的正上方,当每个生产线上的物品,经过该图像获取装置的下方时,该图像获取装置可以采用同一种拍摄参数,对当前的移动至该图像获取装置下方的物品进行拍摄,便可以获得当前物品的俯视图,然而生产线不是禁止不动的,当下一个物品移动至该图像获取装置的下方时,该图像获取装置便可以对下一件物品进行拍摄,由于该图像获取装置位置固定,拍摄参数也固定,且生产线上的产品型号一样,一般来说生产线上的产品一般由一种身份识别方式进行识别,例如:产品ID,因此获取的图片仅仅是来自不同产品ID的图片,随着生产线的移动,该图像获取装置便可以获得多个物品的俯视图,并最终得到多个俯视图,且每个俯视图,对应一个物品。其中,各个物品的俯视图优选为数字化的三通道图像,例如俯视图可以为224×224×3大小的图像,其中224代表像素单位px,3代表三通道图像,例如R(红色)G(绿色)B(蓝色)三通道图像。
因为,拍摄的角度,曝光度等各个拍摄参数均相同,且产品线上的各个物品,也就是产品,形状大小也一样,因此,各个俯视图仅仅除了拍摄对象不同以外,其余均一样。当获取到多个物品的俯视图后,通过CNN神经网络中的卷积运算,处理得到该各个俯视图的图像特征矩阵,一个俯视图对应一个图像特征矩阵(产品线上的各个产品有自己的编号,根据不同编号获得的产品俯视图因此也能对应,将对应的俯视图各自处理后,因此也能获得一个与之对应的图像特征矩阵)。需要说明的是,本申请不仅仅是针对同一种产品或者物品的检测,当物品或产品更换后,同样适用。
为了更好的实现本申请的图像检测方法,在一个本申请实施例中,对待检测图像进行卷积运算,得到图像特征矩阵,包括:
(1)对待检测图像进行至少三次不同的卷积运算,得到第一图像特征矩阵、第二图像特征矩阵和第三图像特征矩阵;其中,该图像特征矩阵包括该第一图像特征矩阵、该第二图像特征矩阵和该第三图像特征矩阵。
为了提高检测图像异常的准确率,本申请实施例通过增加额外的不同的卷积运算,用于获取不同参数的图像特征矩阵。当卷积运算不同时,获得的图像特征矩阵的尺寸也不同。其中,第一图像特征矩阵、第二图像特征矩阵和第三图像特征矩阵的尺寸大小分别可以为H1×W1×256,H2×W2×512,H3×W3×1024,其中H代表高度的像素值的个数,W代表宽度的像素值个数,256代表为256个通道的图像,512代表为512个通道的图像,1024代表为1024个通道的图像。
示例性的:当输入的俯视图的参数为224×224×3时,可以通过conv2、conv3、conv4三种卷积运算的方式,获得三种不同的图像特征矩阵,例如:若根据conv2卷积运算获得的第一图像特征矩阵则为56×56×256,若根据conv3卷积运算获得的第二图像特征矩阵则为28×28×512,若根据conv4卷积运算获得的第三图像特征矩阵则为14×14×1024。
202、终端设备计算图像特征矩阵中的各个图像特征向量在图像特征矩阵中的若干个位置的概率分布。
众所周知,矩阵中包括行和列,当列为0时,说明该矩阵只有1行;当行为0时,该矩阵只有1列。为了方便的表述矩阵中的不同位置,不同参数,通常使用(i,j)来表示矩阵中,不同位置的参数,其中i代表行数,j代表列数。
当对相应的俯视图,进行卷积运算后,此处使用conv2作为例子,即若一张为224×224×3的俯视图经过conv2的运算后,可以得到56×56×256的第一图像特征矩阵,即可以得到一个行数为56,列数为56,通道数为256的图像特征矩阵,即此时i的最大取值为56,j的最大取值也为56,即该第一图像特征矩阵一共有56×56=3136个像素值,每个像素值对应一个行和列,每一个行和列对应矩阵中的一个位置。其中,每个像素值都包括各自的图像特征向量,各自的图像特征向量,包括各自像素值的方向(位置)信息。当输入的俯视图有N个时,在矩阵中同一个位置便有N个图像特征向量,此时计算同一个位置(例如i=1,j=1时的位置)的N个图像特征向量的概率分布。
为了更好的实现本申请的图像检测方法,在一个本申请实施例中,终端设备计算图像特征矩阵中的各个图像特征向量在图像特征矩阵中的若干个位置的概率分布,包括:
终端设备计算图像特征矩阵中的各个图像特征向量在图像特征矩阵中的若干个位置的高斯概率分布。
为了提高异常图像检测的准确度,本申请实施例中,可以使用高斯概率分布计算N个图像特征向量的的概率分布。
其中,N为前文提及的样本数量,xi=[xi,1,xi,2,…,xi,n]T,n为图像特征矩阵的通道数,若为上述事实中第一图像特征矩阵,此时n的最大值为256,i为图像特征矩阵中的行数。T为矩阵变换。需要说明的是,获取到各个位置的图像特征向量的高斯概率分布后,由于各个图像特征向量对应一个像素值,因此,也能知道各个像素值的高斯概率分布。
需要说明的是,计算通过conv3和conv4计算得出的第二图像特征矩阵和第三图像特征矩阵中各个位置的上像素值的高斯分布与本申请实施例相同,具体不再赘述。
203、终端设备根据概率分布生成图像特征矩阵对应的异常图像。
当获取到各个图像特征向量在图像特征矩阵中各个位置的概率分布后,由于各个图像特征向量分别对应各自的像素值,因此,也可以得出各个像素值在各个位置的概率分布,根据这些概率分布即可生成对应图像特征矩阵的异常图像。
为了更好的实现本申请,在本申请一个实施例中,根据概率分布生成图像特征矩阵对应的异常图像,包括:
(1)终端设备循环执行以图像特征矩阵中的一个图像特征向量为目标图像特征向量,计算目标图像特征向量与其对应的目标概率分布的偏移距离的操作,得到偏移距离集合。
本步骤需要对图像特征矩阵中各个图像特征向量做偏移距离的统计,正在被计算和统计的当前图像特征向量,即为目标特征向量。由于知道矩阵中各个位置像素值对应的各个图像特征向量,且又知道各自对应的概率分布,假如在第一图像特征矩阵中的(1,1)位置处的图像特征向量出现在了概率分布为10%的地方,则可以知道,相应的图像特征向量对应的像素值的位置,若采用本申请实施例中的高斯概率分布,根据上述高斯概率公式,将结果10%带入公式中,则可以根据高斯概率分布的函数图像,得出当前像素值对应的目标图像特征向量的偏移后的位置,即根据该偏移后的位置,也就能得到偏移后图像特征向量对应的像素值。
当对图像特征矩阵中的各个图像特征向量完成偏移距离的计算和统计之后,相当于可以得到各自图像特征向量对应像素值偏移之后距离,也就是本步骤中的偏移距离集合。
(2)终端设备根据偏移距离集合生成图像特征矩阵对应的异常图像。
在知道各个像素值的偏移距离集合后,相当于可以构建出一个各个像素值偏移后的位置。众所周知,图像由像素构成,当知道像素的位置,便可以反向构成图像。因此,便可以生成一个各个像素值,也就是各个图像特征向量偏移后的图像,该图像便为该图像特征矩阵的异常图像。
需要说明的是,由于是通过各个图像特征向量的偏移距离得到的异常图像,因此,若整个图像特征矩阵的异常图像中,仅有部分图像特征向量出现在了偏移概率很小的位置上时,例如:出现在了概率小于20%的位置时;而其他图像特征向量出现在较大概率的偏移位置上时,例如:出现在了概率大于80%位置时,可以根据异常图像,判定出现在概率小于20%的位置的图像特征向量出现了异常,由于各个图像特征向量对应各自像素值,因此可以得出整个图像仅仅是部分像素值出现了异常,且像素值的位置是相对固定的,因此可以得出该异常图像仅仅只有相应图像特征向量对应的部分,出现了异常。例如:这些出现了异常的图像特征向量对应的像素值可能对应实际待检测图像上的一个螺丝钉,当这些图像特征向量出现偏移异常,可能代表对应的螺丝钉出现了位置偏差,因此可以对应螺丝钉出现了未拧紧的问题,导致该螺丝钉出现凸起,进而导致的螺丝钉位置的偏移。
为了更好的实施本申请,在本申请一个实施例中,根据偏移距离集合生成图像特征矩阵对应的异常图像,包括:
终端设备根据偏移距离集合生成临时异常图像。
由上述实施例可得,如何根据像素值的距离生成相应的异常图像,具体此处不再赘述。且,本申请是通过卷积运算,将原先的图像尺寸进行了缩小,因此为了使得检测的效果和精度最高,还需要相应的处理手段。
终端设备对临时异常图像进行双线性插值处理,得到图像特征矩阵对应的异常图像。
由上述描述可得,此时需要将缩小版的异常图像还原至原先图片的大小,按照本申请实施例,由224×224×3的图像,通过conv2的运算得到的56×56×256的检测图像异常的后,得到的相应的异常图像尺寸也为56×56,此时可以通过双线性插值的手段将56×56尺寸大小的临时异常图像,放大至224×224大小的最终异常图像。同理,经过conv3和conv4处理后的图像,依然可以通过本申请实施例的方法放大,具体不再赘述。若采取了本申请实施例中,依次采取三种卷积运算的方法后,最后获得的异常图像(最终)=异常图像(conv2)×异常图像(conv3)×异常图像(conv4)。需要注意的是,这些异常图像依旧为矩阵的形式。若按照上述事实中的描述,若有N个样本时,该异常图像(最终)也有N个。
204、终端设备根据异常图像确定待检测图像是否异常的检测结果。
根据上述实施例中获取的异常图像(最终),由于是根据各个像素值获取的异常图像(最终),因此根据各个像素值的具体情况,具体分析样本图像中,具体哪些位置出现了异常。以第一图像特征矩阵举例,当根据该第一图像特征矩阵完成高斯概率分布的计算后在将生产异常图像后,若根据第一图像特征矩阵中,位置(1,2)-位置(1,5)的像素值,出现所在的位置在高斯概率分布中为2%,证明这些像素值出现在这些位置的可能性很低。由于在流水线的生产中,生产出的物品合格率通常大于残次品率,因此同理可得,该位置像素对应的部件出现了小概率的位置偏差,因此可以判断该像素值出现了异常,即该物品的图像的对应位置出现了异常。
为了更好的实现本申请,在本申请一个实施例中,根据异常图像确定待检测图像是否异常的检测结果,包括:
(1)终端设备计算异常图像的异常分数。
当获得N个异常图像时,将N个异常图像相互对比,可以按照比例来检测这些N个异常图像中,哪些图像为真正的异常图像。由于,本申请的还可以通过图像异常,进而检测对应的产品是否异常。上述实施例仅仅说明了如何获取异常图像中,哪些具体的位置出现了异常,并不能对一个图像整体是否异常做出判断。例如:仅部分像素值出现了位置偏差,且这些像素值对应到产品的图像上为一个螺丝钉,也就是说,该图片对应产品仅仅是一个螺丝钉出现了异常,螺丝钉异常可能是未拧紧,因此导致螺丝钉有些许凸起,造成了在图像识别中,程序判断该图像异常。但由于其他位置并未出现像素值位置的异常,仅仅是通过一个位置出的像素值出现异常,就判定整个产品对应的图像出现异常,这样不够准确。例如:由于一个螺丝钉未拧紧,可能不会对该产品造成重大功能缺失,因此将该产品判断为异常产品,即不合格产品会对检测结果造成不精确的影响。因此,在本申请实施例中,还可以对整个异常图像(最终),计算一个异常分数。若有N个异常图像(最终),则可以计算出N个异常分数。
示例性的,计算各个异常图像的异常分数的方法可以为,获取各个异常图像中各个数值大小的前10%,优选为2%。由于,异常图像(最终)依旧以矩阵数据的形式存在,因此可以获得该矩阵中各个矩阵位置的具体数值,若按照本申请实施例中,2%作为筛选比例,因此会筛选出数值最大的前2%,将该前2%的数值做平均运算,会得到一个平均数值,此时将该平均数值作为整个异常图像(最终)的异常分数即可。当有N个异常图像(最终)时,根据各自的异常图像(最终)中的矩阵数值计算即可。
(2)终端设备根据异常分数确定待检测图像是否异常的检测结果。
当获取到各个异常图像(最终)的异常图像分数后,可以根据各个异常图像分数来检测与各个异常图像(最终)对应的原图像是否异常。
为了更好的实施本申请,在本申请一个实施例中,根据异常分数确定待检测图像是否异常的检测结果,包括:
若异常分数大于预设的异常检测阈值,确定待检测图像的检测结果为异常;或者,
若异常分数小于等于异常检测阈值,确定待检测图像的检测结果为正常。
例如:根据以往人工检测经验,可以人工设定一个异常检测阈值,作为判断依据,比如将该异常检测阈值设置为60。
终端设备将大于该人工阈值的异常图像(最终)确定为异常图像,小于等于该人工阈值的异常图像(最终)确定为正常图像。
为了更好的实施本申请,在本申请一个实施例中,为了减少对人工检测经验的依赖,例如:
终端设备获取预设的临时异常检测阈值和预设的最大假阳率。
终端设备根据预设的临时异常检测阈值和预设的最大假阳率,计算预设的异常检测阈值。
若根据上述实施例中采取人工的方式设定阈值,当生产线上的产品出现较大变化时,过往的人工经验就会不足,此时便不能再根据过往的人工经验进行相应的阈值设定。此时可以根据上述实施例先获取预设的一个最大假阳率(错误率)例如2%。同时获取一个理论上作为可能为最大阈值的预设的临时异常检测阈值。
具体来讲,例如:通过上述实施例中的异常分数来确定最大阈值,由于有N个样本,因此N个异常分数不会完全相等,假设N个异常分数中的最大异常分数减去最小异常分数除以阈值步长=1时,即(最大异常分数-最小异常分数)/阈值步长×100%=100%时,一般来讲阈值步长为1000,即最大异常分数-最小异常分数=1000时,为最大,此时的1000便为临时异常检测阈值。由于设置了最大假阳率为2%,因此,当假阳率为100%时,远大于2%,因此需要减少最大异常分数与最小异常分数的差值,因此,需要逐步减少最大异常分数与最小异常分数的差值,可以按照单位为1的数量,减少最大异常分数与最小异常分数的差值,没减少1次就计算该阈值下的假阳率,因此,将假阳率为2%的值带入此公式中时,可以的到最大异常分数与最小异常分数的差值为20,此时将20作为预设的异常检测阈值即可。
由于在上述步骤203中描述的实施例已经说明本申请也同时能够检测图像中具体哪些部位出现了异常,具体此处不再赘述。当可以确定一个具体的部位出现异常时,判断该部位异常程度的方法同样可以按照本申请实施例中描述的方式,进行判定。例如:可以对该部位求一个异常分数,当异常分数超过一个部位检测异常阈值时,判定该部位异常;当异常分数未超过该部位检测异常阈值时,判定该部位未达到一个严重异常的程度,因此可以依旧判定该部位正常,具体设置相应阈值的方法与本步骤实施例相同,具体此处不再赘述。
本申请实施例中提供的图像检测方法,可以不需要对运算结果进行深度模型训练,优化了图像检测步骤,提高了异常图像检测的效率,同时减少了深度模型训练不完善时,容易造成图像异常的漏报、误报等现象,从侧面提高了异常检测的成功率。
为了更好的实现本申请,在本申请一个实施例中,根据异常图像确定待检测图像是否异常的检测结果之后,该方法还包括:
根据检测结果确定待检测图像中对应物体的物体状态;
若检测结果为异常,确定物体状态为异常;
若检测结果为正常,确定物体状态为正常。
在本申请实施例中,采集的待检测图像可以为生产线上的产品图像,例如一个待检测图像可以是一个产品的照片,而获取待检测图像的方式可以通过安装在生产线上的图像传感器获取,例如摄像机进行照相获取产品的图像。
其中,确定检测结果为异常或者正常的方案如上述实施例所示,具体此处不再赘述。若检测结果为异常时,则可以确定待检测图像中的产品也为异常状态,当物体的物体状态被确定为异常时,也就可以体现该待检测图像中的产品出现了瑕疵,这样便可以通过相关的工作人员来确定具体出现缺陷或瑕疵的原因,以修复相关的问题,避免生产线生产的产品再次出现这个问题。
为了更好实施本申请实施例中的图像检测方法,在该图像检测方法之上,本申请实施例中还提供了一种图像检测装置,如图3所示,该装置300包括:
第一计算模块301,用于对待检测图像进行卷积运算,得到图像特征矩阵;
第二计算模块302,用于计算图像特征矩阵中的各个图像特征向量在图像特征矩阵中的若干个位置的概率分布;
生成模块303,用于根据概率分布生成图像特征矩阵对应的异常图像;
检测模块304,用于根据异常图像确定待检测图像是否异常的检测结果。
本申请实施例提供的一种图像检测装置,可以通过第一计算模块301计算对图像样本进卷积运算,得到各个图像特征矩阵;再通过第二计算模块302对各个图像特征矩阵中的各个特征向量,进行概率分布计算。再通过该生产模块303根据概率分布,进行异常图像的生成,最后检测模块304可以根据异常图像的生成,检测各个图像是否异常。在不需要对运算结果进行深度模型训练,优化了图像检测步骤,提高了异常图像检测的效率,同时减少了深度模型训练不完善时,容易造成图像异常的漏报、误报等现象,从侧面提高了异常检测的成功率。
在本申请实施例中,该第二计算模块302具体还用于:
计算图像特征矩阵中的各个图像特征向量在图像特征矩阵中的若干个位置的高斯概率分布。
在本申请实施例中,该第一计算模块301具体还用于:
对待检测图像进行至少三次不同的卷积运算,得到第一图像特征矩阵、第二图像特征矩阵和第三图像特征矩阵;
其中,图像特征矩阵包括第一图像特征矩阵、第二图像特征矩阵和第三图像特征矩阵。
在本申请实施例中,该生成模块303具体还用于:
循环执行以图像特征矩阵中的一个图像特征向量为目标图像特征向量,计算目标图像特征向量与其对应的目标概率分布的偏移距离的操作,得到偏移距离集合;
根据偏移距离集合生成图像特征矩阵对应的异常图像。
在本申请实施例中,该生成模块303具体还用于:
根据偏移距离集合生成临时异常图像;
对临时异常图像进行双线性插值处理,得到图像特征矩阵对应的异常图像。
在本申请实施例中,该检测模块304具体还用于:
计算异常图像的异常分数;
根据异常分数确定待检测图像是否异常的检测结果。
在本申请实施例中,该检测模块304具体还用于:
若异常分数大于预设的异常检测阈值,确定待检测图像的检测结果为异常;
若异常分数小于等于异常检测阈值,确定待检测图像的检测结果为正常。
本申请实施例还提供一种终端设备,终端设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序以实现本申请实施例中任一项的图像检测方法中的步骤。其中,该终端设备,其集成了本申请实施例所提供的任一种图像检测方法,如图4所示,其示出了本申请实施例所涉及的终端设备的结构示意图,具体来讲:
该终端设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的终端设备结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行终端设备的各种功能和处理数据,从而对终端设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;处理器401可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
终端设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该终端设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,终端设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,终端设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,例如:
对待检测图像进行卷积运算,得到图像特征矩阵;
计算图像特征矩阵中的各个图像特征向量在图像特征矩阵中的若干个位置的概率分布;
根据概率分布生成图像特征矩阵对应的异常图像;
根据异常图像确定待检测图像是否异常的检测结果。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random AccessMemory)、磁盘或光盘等。其上存储有计算机程序,计算机程序被处理器进行加载,以执行本申请实施例所提供的任一种图像检测方法中的步骤。例如,计算机程序被处理器进行加载可以执行如下步骤:
对待检测图像进行卷积运算,得到图像特征矩阵;
计算图像特征矩阵中的各个图像特征向量在图像特征矩阵中的若干个位置的概率分布;
根据概率分布生成图像特征矩阵对应的异常图像;
根据异常图像确定待检测图像是否异常的检测结果。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种图像检测方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种图像检测方法,其特征在于,包括:
对待检测图像进行卷积运算,得到图像特征矩阵;
计算所述图像特征矩阵中的各个图像特征向量在所述图像特征矩阵中的若干个位置的概率分布;
根据所述概率分布生成所述图像特征矩阵对应的异常图像;
根据所述异常图像确定所述待检测图像是否异常的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述计算所述图像特征矩阵中的各个图像特征向量在所述图像特征矩阵中的若干个位置的概率分布,包括:
计算所述图像特征矩阵中的各个图像特征向量在所述图像特征矩阵中的若干个位置的高斯概率分布。
3.根据权利要求1所述的方法,其特征在于,所述对待检测图像进行卷积运算,得到图像特征矩阵,包括:
对待检测图像进行至少三次不同的卷积运算,得到第一图像特征矩阵、第二图像特征矩阵和第三图像特征矩阵;
其中,所述图像特征矩阵包括所述第一图像特征矩阵、所述第二图像特征矩阵和所述第三图像特征矩阵。
4.根据权利要求1所述的方法,其特征在于,所述根据所述概率分布生成所述图像特征矩阵对应的异常图像,包括:
循环执行以所述图像特征矩阵中的一个图像特征向量为目标图像特征向量,计算所述目标图像特征向量与其对应的目标概率分布的偏移距离的操作,得到偏移距离集合;
根据所述偏移距离集合生成所述图像特征矩阵对应的异常图像。
5.根据权利要求4所述的方法,其特征在于,所述根据所述偏移距离集合生成所述图像特征矩阵对应的异常图像,包括:
根据所述偏移距离集合生成临时异常图像;
对所述临时异常图像进行双线性插值处理,得到所述图像特征矩阵对应的异常图像。
6.根据权利要求1所述的方法,其特征在于,所述根据所述异常图像确定所述待检测图像是否异常的检测结果,包括:
计算所述异常图像的异常分数;
根据所述异常分数确定所述待检测图像是否异常的检测结果。
7.根据权利要求6所述的方法,其特征在于,所述根据所述异常分数确定所述待检测图像是否异常的检测结果,包括:
若所述异常分数大于预设的异常检测阈值,确定所述待检测图像的检测结果为异常;或者,
若所述异常分数小于等于所述异常检测阈值,确定所述待检测图像的检测结果为正常。
8.根据权利要求1所述的方法,其特征在于,所述根据所述异常图像确定所述待检测图像是否异常的检测结果之后,所述方法还包括:
根据所述检测结果确定所述待检测图像中对应物体的物体状态;
若所述检测结果为异常,确定所述物体状态为异常;
若所述检测结果为正常,确定所述物体状态为正常。
9.一种图像检测装置,其特征在于,包括:
第一计算模块,用于对待检测图像进行卷积运算,得到图像特征矩阵;
第二计算模块,用于计算所述图像特征矩阵中的各个图像特征向量在所述图像特征矩阵中的若干个位置的概率分布;
生成模块,用于根据所述概率分布生成所述图像特征矩阵对应的异常图像;
检测模块,用于根据所述异常图像确定所述待检测图像是否异常的检测结果。
10.一种终端设备,其特征在于,所述终端设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现权利要求1至8任一项所述的图像检测方法中的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1至8任一项所述的图像检测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111127168.5A CN115880204A (zh) | 2021-09-26 | 2021-09-26 | 图像检测方法、装置、终端设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111127168.5A CN115880204A (zh) | 2021-09-26 | 2021-09-26 | 图像检测方法、装置、终端设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115880204A true CN115880204A (zh) | 2023-03-31 |
Family
ID=85762457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111127168.5A Pending CN115880204A (zh) | 2021-09-26 | 2021-09-26 | 图像检测方法、装置、终端设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115880204A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116091498A (zh) * | 2023-04-07 | 2023-05-09 | 飞杨电源技术(深圳)有限公司 | 用于铅酸蓄电池智能充电器的视觉缺陷检测方法 |
CN116823233A (zh) * | 2023-08-30 | 2023-09-29 | 青岛巨商汇网络科技有限公司 | 一种基于全周期运维的用户数据处理方法及系统 |
-
2021
- 2021-09-26 CN CN202111127168.5A patent/CN115880204A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116091498A (zh) * | 2023-04-07 | 2023-05-09 | 飞杨电源技术(深圳)有限公司 | 用于铅酸蓄电池智能充电器的视觉缺陷检测方法 |
CN116091498B (zh) * | 2023-04-07 | 2023-06-23 | 飞杨电源技术(深圳)有限公司 | 用于铅酸蓄电池智能充电器的视觉缺陷检测方法 |
CN116823233A (zh) * | 2023-08-30 | 2023-09-29 | 青岛巨商汇网络科技有限公司 | 一种基于全周期运维的用户数据处理方法及系统 |
CN116823233B (zh) * | 2023-08-30 | 2023-11-07 | 青岛巨商汇网络科技有限公司 | 一种基于全周期运维的用户数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115880204A (zh) | 图像检测方法、装置、终端设备及可读存储介质 | |
US20210295485A1 (en) | Inspection device and inspection method | |
CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
WO2019176990A1 (ja) | 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム | |
JP2015041164A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN110827269B (zh) | 农作物生长变化状况检测方法、装置、设备及介质 | |
CN112508950B (zh) | 异常检测方法和装置 | |
CN113469971A (zh) | 一种图像匹配方法及检测装置、存储介质 | |
US11682112B2 (en) | Inspection device and machine learning method | |
CN113554645B (zh) | 基于wgan的工业异常检测方法和装置 | |
US11521120B2 (en) | Inspection apparatus and machine learning method | |
CN111814776A (zh) | 一种图像处理方法、设备、服务器及存储介质 | |
CN117058155B (zh) | 3dp金属打印铺粉缺陷检测方法、装置、设备及介质 | |
JP7459697B2 (ja) | 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法 | |
US20210027463A1 (en) | Video image processing and motion detection | |
CN115485740A (zh) | 异常晶片图像分类 | |
CN116309470A (zh) | 灯珠平面故障监测方法、装置、计算机设备和存储介质 | |
CN113837184B (zh) | 一种蚊虫检测方法、设备及存储介质 | |
CN115619698A (zh) | 电路板缺陷的检测方法、装置及模型训练方法 | |
Caltanissetta et al. | In-situ monitoring of image texturing via random forests and clustering with applications to additive manufacturing | |
CN115564702A (zh) | 模型训练方法、系统、设备、存储介质及缺陷检测方法 | |
US20230316484A1 (en) | Inspection device | |
Cavalcante et al. | Automated dead/bright pixel distance measurement system on computer monitors | |
JP2014135007A (ja) | フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法 | |
US20240176337A1 (en) | Industrial quality monitoring system with pre-trained feature extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |