CN115761611A - 基于图像对比异常检测的多阶段多底图图像差异过滤方法 - Google Patents
基于图像对比异常检测的多阶段多底图图像差异过滤方法 Download PDFInfo
- Publication number
- CN115761611A CN115761611A CN202211628697.8A CN202211628697A CN115761611A CN 115761611 A CN115761611 A CN 115761611A CN 202211628697 A CN202211628697 A CN 202211628697A CN 115761611 A CN115761611 A CN 115761611A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- map
- difference
- graph
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域,提供了基于图像对比异常检测的多阶段多底图图像差异过滤方法。目的在于解决现有智能巡检的场景下因为异常样本的稀缺和未知性,使目标检测方法在变电站智能巡检任务中完全无法适用的问题。主要包括获取待分析图片和最相似Top1底图的差异图,对差异图进行边缘弱化,根据ROI配置信息,得到ROI配置后的最大通道差异图后进行初次异常分析,得到初次筛选异常列表;二次异常分析,对初次筛选异常列表里面每一个异常区域进行轻度的高斯模糊处理、异常分析和过滤,得到Top1二次筛选异常列表;如果Top2底图与待分析图片相似度满足要求,也会对Top2底图执行多次异常分析,并求得Top2二次筛选异常列表,将Top1二次筛选异常列表与Top2次筛选异常列表求交集,输出交集异常列表。
Description
技术领域
本发明涉及图像处理领域,提供了基于图像对比异常检测的多阶段多底图图像差异过滤方法。
背景技术
变电站里面有很多非常重要的电力设备,比如主变压器、高低压配电装置、载流导体等,这些设备基本上都是需要24小时不间断运行,一旦有任何问题未及时发现,对整个片区的供电和设备本身都有很大的影响和伤害,所以基于图像识别技术的智能巡检技术就十分迫切。
近期常规的图像识别技术都是基于深度学习目标检测方法进行实现的,目标检测方法的核心原理就是通过对大量需要检测样本进行深度学习训练,以实现相应的检测功能。在变电站智能巡检的场景下,需要检测的就是发生的各种异常,比如裂纹、漏油、读表异常等,但因为异常样本的稀缺和未知性,使目标检测方法在变电站智能巡检任务中完全无法适用。
发明内容
本发明的目的在于解决现有智能巡检的场景下因为异常样本的稀缺和未知性,使目标检测方法在变电站智能巡检任务中完全无法适用的问题。
为了实现上述目的本发明采用以下技术方案:
本发明提供了基于图像对比异常检测的多阶段多底图图像差异过滤方法,包括以下步骤:
步骤1、输入已对齐的待分析图片和最相似Top1底图,获取待分析图片和最相似Top1底图的差异图,差异图包括RGB差异图、RGB最大通道差异图、HSV差异图;
步骤2、最相似Top1底图进行边缘检测,得到最相似Top1底图的边缘检测图,对边缘检测图进行高斯模糊,得到边缘高斯模糊图,边缘高斯模糊图乘以一个小于1.0的系数,再让RGB最大通道差异图减去边缘高斯模糊图,实现差异图边缘弱化的效果,输出最大通道差异图边缘弱化图;
步骤3、对不同区域人工标记灵敏度系数,获得ROI配置信息,根据ROI配置信息中的灵敏度系数乘以最大通道差异图边缘弱化图,得到ROI配置后的最大通道差异图;
步骤4、进行初次异常分析,得到初次筛选异常列表;
步骤4.1、输入ROI配置后的最大通道差异图、待分析图片和最相似Top1底图,通过待分析图片和最相似Top1底图的像素分布情况,自适应生成二值化阈值,然后通过二值化阈值对ROI配置后的最大通道差异图进行二值化,得到异常二值图;
步骤4.2、输入异常二值图,通过像素空间分布情况获取连通域,输出带有坐标点信息的异常区域列表;
步骤4.3、输入异常区域列表,异常区域列表里面每一个异常区域进行分析和过滤,得到初次筛选异常列表;
步骤4.4、输入初次筛选异常列表,通过异常列表中的异常坐标信息截取出待分析图片里对应的异常区域图和最相似Top1底图里对应的异常区域图,对待分析图片的异常区域图和Top1底图的异常区域图进行边缘滑窗对齐补偿, 使用滑窗的方法让待分析图片异常区域图和Top1底图的异常区域图进行一定规律滑窗位移做差,获得一系列新的滑窗异常区域差异图,并从中选出异常值求和最小的异常区域差异图,根据其滑窗后的坐标关系修正初次筛选异常列表里相对于全图的异常坐标内容,并更新到初次筛选异常列表中相应异常内容;
对初次筛选异常列表中每个异常都进行以上对齐补偿操作并更新相应异常列表,输出对齐补偿后的初次筛选异常列表;
步骤5、二次异常分析,输入对齐补偿后的初次筛选异常列表,对里面每一个异常区域进行轻度的高斯模糊处理、异常分析和过滤,得到Top1二次筛选异常列表;
步骤6、当次最相似Top2底图满足相似度阈值要求时,将步骤1中的输入最相似Top1底图替换为次最相似Top2底图后执行步骤1-5步骤,得到Top2二次筛选异常列表,将Top1二次筛选异常列表与Top2次筛选异常列表求交集,抵消随机误报,输出交集异常列表,得到最终的异常结果。
上述技术方案中,最相似Top1底图与次最相似Top2底图通过如下方法确定:
底图相似度排序:输入待分析图片和正常样本底图库,通过像素差异量计算求获取底图相似度排序,输出最相似底图和次相似底图;
最相似底图:即最相似Top1底图,是指像素差异量最小的图片,也是与待分析图片最相似的;
底图次相似底图:即次最相似Top2底图,是指像素差异量第二小的图片,也是仅次于最相似底图的底图。
上述技术方案中,还包括相似度阈值判断:
如果次相似底图大于阈值则需要取消Top1二次筛选异常列表与Top2二次筛选异常列表的交集的操作,直接上报最相似底图的异常识别结果。
上述技术方案中,步骤1包括以下步骤,输入待分析图片和最相似Top1底图,获取多个维度的差异图信息:
获取RGB差异图:输入待分析图片和最相似Top1底图,保持图片RGB格式并做各通道像素值相减,输出RGB差异图;
获取RGB最大通道差异图:输入RGB差异图,为了保证高的召回率,针对每个像素提取三通道中差异最大的合并为新的差异图,输出RGB最大通道差异图;
获取HSV差异图:输入RGB差异图,为了获取颜色色调信息,需要将输入RGB格式转换为HSV格式,输出HSV差异图。
上述技术方案中,步骤2包括以下步骤,
底图边缘检测:输入最相似Top1底图,通过Canny算法进行边缘检测,输出最相似Top1底图的边缘检测图;
边缘高斯模糊:输入最相似Top1底图的边缘检测图,对边缘检测图进行高斯模糊,使边缘线条更粗更浅,输出边缘高斯模糊图;
最大通道差异图边缘弱化:输入最大通道差异图和边缘高斯模糊图,让边缘高斯模糊图乘以一个小于1.0的系数,再让最大通道差异图减去边缘高斯模糊图,实现差异图边缘弱化的效果,输出最大通道差异图边缘弱化图。
上述技术方案中,步骤4.3中:
异常宽高比分析:输入异常区域列表和异常差异区域图集,对异常区域列表中每个异常区域的宽高比进行分析,发现宽高比超出预定范围的异常区域,目的是过滤因为对齐原因造成的边缘异常情况,并将该种异常区域像素值乘以一个小于1.0的阈值,输出弱化后的异常区域,得到异常区域列表;
异常面积过滤:输入异常区域列表,通过每个异常区域面积特性,过滤小于预定面积范围的异常区域;
异常密度过滤:输入异常区域列表和最大通道差异图,通过异常区域列表中的每个异常区域的坐标信息将最大通道差异图进行多边形分割,获取异常区域分割图,再将图中像素除以异常区域面积,获得异常密度值,过滤小于预定密度范围的异常区域;
异常边缘过滤:输入异常区域列表、待分析图片和最相似Top1底图,通过异常区域坐标信息将待分析图片和最相似Top1底图的对应区域进行多边形分割,得到待分析异常分割图片与异常分割底图,待分析异常分割图片与异常分割底图进行Sobel边缘检测,相减两个边缘检测图,得到边缘异常图,然后通过待分析异常分割图片与异常分割底图的联合像素分布情况,自适应生成相应边缘过滤阈值,并对边缘异常图进行二值化;
通过二值化后的边缘异常图的像素空间分布情况获取连通域,得到边缘异常列表,遍历列表中所有的边缘异常面积,当列表中最大的边缘异常面积小于预定的面积便进行过滤;
异常颜色召回:通过异常区域坐标信息将HSV差异图进行多边形分割,提取H(色调)通道进行判断,当色调异常超过预定阈值便发起召回,取消之前的过滤动作;
异常密度召回:当异常密度高于某个预定阈值便取消之前的过滤动作;
异常边缘召回:当异常边缘数值高于某个预定阈值便取消之前的过滤动作。
因为本发明采用上述技术方案,因此具备以下有益效果:
本发明针对电力应用场景异常样本的稀缺和未知性的特点,提出了基于正常样本的异常检测方法,该方法的核心不是去学习什么是异常,而是去学习什么是正常,通过大量的正常样本获取正常情况的分布与特征,超过异常阈值的便是异常。这样就充分保证了对任何异常情况的高灵敏度检测。
基于正常样本的异常检测方法的核心是通过待分析输入图片与最相似底图做差异分析而输出异常,而因为成像环境变化、相机本身感光效果变化等原因,任意两张图片在像素尺度不可能做到完全一样,必然有很多人类不能察觉的差异区域,所以在研发过程中会根据人类对异常的认知规律进行异常区域分析与过滤。最后提出基于图像对比异常检测的多阶段多底图图像差异过滤方法以同时实现高灵敏度高准确度的异常检测系统。
附图说明
图1为本发明流程简图;
图2多阶段异常分析与过滤流程图;
图3多底图交叉验证流程图。
具体实施方式
以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明,但需要注意的是本发明并不仅仅只局限于这些实施方式。相反,对本发明进行的修改或者等同替换,均应涵盖在本发明的权利要求范围当中。
另外,为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员将理解,没有这些具体细节,本发明同样可以实施。
多阶段异常分析与过滤
解决问题:这套算法的核心是通过待分析输入图片与最相似底图做差异分析而输出异常,而因为成像环境变化、相机本身感光效果变化等原因,任意两张图片在像素尺度不可能做到完全一样,必然有很多人类不能察觉的差异区域,所以在系统中会根据人类对异常的认知规律进行异常区域分析与过滤。该文档主要就是描述系统中如何实现相关功能。
执行步骤:
输入待分析已对齐图片和最相似Top1底图;
多维度差异图片获取:获取多个维度的差异图信息;
获取RGB差异图:输入待分析已对齐图片和最相似Top1底图,保持图片RGB格式并做各通道像素值相减,输出RGB差异图;
获取RGB最大通道差异图:输入RGB差异图,为了保证高的召回率,针对每个像素提取三通道中差异最大的合并为新的差异图,输出RGB最大通道差异图;
获取HSV差异图:输入RGB差异图,为了获取颜色色调信息,需要将输入RGB格式转换为HSV格式,输出HSV差异图;
图像边缘弱化:因为待分析已对齐图片和最相似Top1底图不可能完全严丝合缝的对齐,并且因为相机的对焦波动,差异图边缘处难免会有不一致情况,所以需要增加一个图像边缘补偿的模块;
底图边缘检测:输入最相似Top1底图,通过Canny算法进行边缘检测,输出底图的边缘检测图;
边缘高斯模糊:输入底图的边缘检测图,为了发挥出边缘补偿效果,需要对边缘检测图进行高斯模糊,使边缘线条更粗更浅,输出边缘高斯模糊图
最大通道差异图边缘弱化:输入最大通道差异图和边缘高斯模糊图,让边缘高斯模糊图乘以一个小于1.0的系数,再让最大通道差异图减去边缘高斯模糊图,实现差异图边缘弱化的效果,输出最大通道差异图边缘弱化图;
最大通道差异图ROI权重配置:输入上一步的最大通道差异图边缘弱化图和ROI配置信息,因为实际情况下全图对异常的灵敏度是不一样的,所以会引入多边形ROI配置信息,其实就是不同区域人工标记一些灵敏度系数,将该系数乘以最大通道差异图边缘弱化图,使低灵敏度的异常区域像素值变小,高灵敏的异常区域像素值变大,最终输出ROI配置后的最大通道差异图。
多阶段多维度异常分析:
初次异常区域获取:
全图自适应二值化:输入ROI配置后的最大通道差异图、待分析图片和最相似Top1底图,通过待分析图片和最相似Top1底图本身的像素分布情况,自适应生成相应二值化阈值,使原图亮的区域阈值高,暗的区域阈值低,模拟人类因为图像中光亮情况改变对细节的灵敏度,然后通过自适应生成的阈值图进行二值化,输出ROI配置后的最大通道差异图的异常二值图,高亮异常区域;
多边形异常区域获取:输入异常二值图,通过像素空间分布情况获取连通域,输出多边形异常区域列表;
初次异常区域过滤:通过多边形异常区域列表,对里面每一个异常区域进行分析和过滤;
异常宽高比分析:输入异常区域坐标信息,对异常宽高比进行分析,发现宽高比超出预定范围的异常区域,目的是过滤因为对齐原因造成的边缘异常情况,并将该种异常区域像素值乘以一个小于1.0的阈值,输出弱化后的异常区域;
异常面积过滤:输入异常区域坐标信息,通过异常区域面积特性,过滤小于预定面积范围的异常区域;
异常密度过滤:输入异常区域坐标信息和最大通道差异图,通过异常区域坐标信息将最大通道差异图进行多边形分割,获取异常区域分割图,再将图中像素除以异常区域面积,获得异常密度值,过滤小于预定密度范围的异常区域;
异常边缘过滤:
输入异常区域分割图、异常区域坐标信息、待分析图片和最相似底图,通过异常区域坐标信息将待分析图和最相似底图进行多边形分割,获取异常区域的输入图片与底图;
对两个图进行Sobel边缘检测,相减两个边缘检测图,获取边缘异常图,然后通过输入图片和底图的像素分布情况,自适应生成相应边缘过滤阈值,并对边缘异常图进行二值化;
通过边缘异常图二值化的像素空间分布情况获取连通域,获取边缘异常列表,遍历列表中所有的异常面积,当列表中最大的边缘异常面积小于预定的面积便进行过滤;
异常颜色召回:因为异常边缘过滤会比较严格,实际情况有些异常情况颜色变化很明显但是边缘特征不明显,容易产生漏检,所以增加一个异常颜色召回的模块,通过异常区域坐标信息将异常HSV图进行多边形分割,提取H(色调)通道进行判断,当色调异常超过预定阈值便发起召回,取消之前的过滤动作。
异常密度召回:同理因为异常边缘过滤会比较严格,当异常密度高于某个预定阈值便取消之前的过滤动作
异常边缘召回:当异常边缘数值高于某个预定阈值便取消之前的过滤动作;
边缘滑窗对齐补偿:输入异常区域差异图,因为实际情况有些相机的偏移不只是线性位移,还是有些异常误报是由于局部无法对齐造成,所以在异常过滤后增加一个边缘滑窗对齐补偿模块,使用滑窗的方法让待分析图片异常区域图和Top1底图的异常区域图进行一定规律滑窗位移比对,并从中选出异常最小的情况,从局部来缓解对不齐问题,输出新的异常区域差异图;
异常区域高斯轻度模糊:输入异常区域差异图,因为相机解析力问题,在某些细小纹理区域处每次拍摄都会有差异,所以使用轻度的高斯模糊来缓解该问题,输出处理后的异常区域差异图;
二次异常区域获取&二次异常区域过滤:原理同以上介绍的初次异常区域获取&初次异常区域过滤。
多底图交叉验证
问题描述:因为该异常检测系统需要要求异常召回率达到非常高的程度,并且实际应用中现场难免会有各种光照和相机成像波动等随机影响,所以在实际使用中很容易出现一些随机误报。通过实际观察与实验,系统增加了一个多底图交叉验证的机制来缓解该问题,简单来说就是在做底图对比时不只是对最相似底图(Top1)做异常区域获取,在次相似底图(Top2)满足条件的情况下,也会对次相似底图(Top2)进行异常区域获取,最后会求取两个异常列表交集,抵消随机误报。
执行步骤:
底图相似度排序:输入待分析图片和正常样本底图库,通过像素差异量计算求获取底图相似度排序,输出最相似底图(Top1)和次相似底图(Top2);
最相似底图(Top1):是指像素差异量最小的图片,也是与待分析图片最相似的底图
次相似底图(Top2):是指像素差异量第二小的图片,也是仅次于最相似底图的底图
相似度阈值判断:因为本发明目的是为了缓解一些小范围轻度随机误报的出现,如果次相似底图(Top2)不能与待分析图片差异太大,如果太大很有可能会出现异常漏检的情况,所以增加一个相似度阈值判断的过程,如果次相似底图(Top2)大于这个阈值则需要取消两个底图异常交集的操作,直接上报最相似底图(Top1)的异常识别结果;
异常检测模块:输入待分析图片和最相似底图(Top1)/次相似底图(Top2), 该模块包含异常检测所有流程,比如图片前处理、图片对齐、差异区域输出、差异区域多阶段过滤等步骤,输出相关异常区域列表;
异常区域交集判断:输入最相似底图(Top1)和次相似底图(Top2)的异常列表,通过IOU计算方式判断两个异常列表是否有交集,一旦IOU值大于预定值便判断该异常需要上报,输出最终交集异常列表。
实施例1
本发明提供了基于图像对比异常检测的多阶段多底图图像差异过滤方法,包括以下步骤:
步骤1、输入已对齐的待分析图片和最相似Top1底图,获取待分析图片和最相似Top1底图的差异图,差异图包括RGB差异图、RGB最大通道差异图、HSV差异图;
步骤2、最相似Top1底图进行边缘检测,得到最相似Top1底图的边缘检测图,对边缘检测图进行高斯模糊,得到边缘高斯模糊图,边缘高斯模糊图乘以一个小于1.0的系数,再让RGB最大通道差异图减去边缘高斯模糊图,实现差异图边缘弱化的效果,输出最大通道差异图边缘弱化图;
步骤3、对不同区域人工标记灵敏度系数,获得ROI配置信息,根据ROI配置信息中的灵敏度系数乘以最大通道差异图边缘弱化图,得到ROI配置后的最大通道差异图;
步骤4、进行初次异常分析,得到初次筛选异常列表;
步骤4.1、输入ROI配置后的最大通道差异图、待分析图片和最相似Top1底图,通过待分析图片和最相似Top1底图的像素分布情况,自适应生成二值化阈值,然后通过二值化阈值对ROI配置后的最大通道差异图进行二值化,得到异常二值图;
步骤4.2、输入异常二值图,通过像素空间分布情况获取连通域,输出带有坐标点信息的异常区域列表;
步骤4.3、输入异常区域列表,异常区域列表里面每一个异常区域进行分析和过滤,得到初次筛选异常列表;其实这个分析和过滤的核心是先通过直接像素相减的方法获取很多差异预选区域,但是这些区域不是每一个都是人类能够感知的变化情况,所以需要多阶段多维度的方法去分析过滤,最终输出的被过滤异常便是人类可以感知也是我们需要上报的异常。
步骤4.4、输入初次筛选异常列表,通过异常列表中的异常坐标信息截取出待分析图片里对应的异常区域图和最相似Top1底图里对应的异常区域图,对待分析图片的异常区域图和Top1底图的异常区域图进行边缘滑窗对齐补偿, 使用滑窗的方法让待分析图片异常区域图和Top1底图的异常区域图进行一定规律滑窗位移做差,获得一系列新的滑窗异常区域差异图,并从中选出异常值求和最小的异常区域差异图,根据其滑窗后的坐标关系修正初次筛选异常列表里相对于全图的异常坐标内容,并更新到初次筛选异常列表中相应异常内容;
对初次筛选异常列表中每个异常都进行以上对齐补偿操作并更新相应异常列表,输出对齐补偿后的初次筛选异常列表;
步骤5、二次异常分析,输入对齐补偿后的初次筛选异常列表,对里面每一个异常区域进行轻度的高斯模糊处理、异常分析和过滤,得到Top1二次筛选异常列表;
步骤6、当次最相似Top2底图满足相似度阈值要求时,将步骤1中的输入最相似Top1底图替换为次最相似Top2底图后执行步骤1-5步骤,得到Top2二次筛选异常列表,将Top1二次筛选异常列表与Top2次筛选异常列表求交集,抵消随机误报,输出交集异常列表,得到最终的异常结果。
上述技术方案中,最相似Top1底图与次最相似Top2底图通过如下方法确定:
底图相似度排序:输入待分析图片和正常样本底图库,通过像素差异量计算求获取底图相似度排序,输出最相似底图和次相似底图;
最相似底图:即最相似Top1底图,是指像素差异量最小的图片,也是与待分析图片最相似的;
底图次相似底图:即次最相似Top2底图,是指像素差异量第二小的图片,也是仅次于最相似底图的底图。
上述技术方案中,还包括相似度阈值判断:
如果次相似底图大于阈值则需要取消Top1二次筛选异常列表与Top2二次筛选异常列表的交集的操作,直接上报最相似底图的异常识别结果。
上述技术方案中,步骤1包括以下步骤,输入待分析图片和最相似Top1底图,获取多个维度的差异图信息:
获取RGB差异图:输入待分析图片和最相似Top1底图,保持图片RGB格式并做各通道像素值相减,输出RGB差异图;
获取RGB最大通道差异图:输入RGB差异图,为了保证高的召回率,针对每个像素提取三通道中差异最大的合并为新的差异图,输出RGB最大通道差异图;
获取HSV差异图:输入RGB差异图,为了获取颜色色调信息,需要将输入RGB格式转换为HSV格式,输出HSV差异图。
上述技术方案中,步骤2包括以下步骤,
底图边缘检测:输入最相似Top1底图,通过Canny算法进行边缘检测,输出最相似Top1底图的边缘检测图;
边缘高斯模糊:输入最相似Top1底图的边缘检测图,对边缘检测图进行高斯模糊,使边缘线条更粗更浅,输出边缘高斯模糊图;
最大通道差异图边缘弱化:输入最大通道差异图和边缘高斯模糊图,让边缘高斯模糊图乘以一个小于1.0的系数,再让最大通道差异图减去边缘高斯模糊图,实现差异图边缘弱化的效果,输出最大通道差异图边缘弱化图。
上述技术方案中,步骤4.3中:
异常宽高比分析:输入异常区域列表和异常差异区域图集,对异常区域列表中每个异常区域的宽高比进行分析,发现宽高比超出预定范围的异常区域,目的是过滤因为对齐原因造成的边缘异常情况,并将该种异常区域像素值乘以一个小于1.0的阈值,输出弱化后的异常区域,得到异常区域列表;
异常面积过滤:输入异常区域列表,通过每个异常区域面积特性,过滤小于预定面积范围的异常区域;
异常密度过滤:输入异常区域列表和最大通道差异图,通过异常区域列表中的每个异常区域的坐标信息将最大通道差异图进行多边形分割,获取异常区域分割图,再将图中像素除以异常区域面积,获得异常密度值,过滤小于预定密度范围的异常区域;
异常边缘过滤:输入异常区域列表、待分析图片和最相似Top1底图,通过异常区域坐标信息将待分析图片和最相似Top1底图的对应区域进行多边形分割,得到待分析异常分割图片与异常分割底图,待分析异常分割图片与异常分割底图进行Sobel边缘检测,相减两个边缘检测图,得到边缘异常图,然后通过待分析异常分割图片与异常分割底图的联合像素分布情况,自适应生成相应边缘过滤阈值,并对边缘异常图进行二值化;(由于待分析异常分割图片与异常分割底图的亮度往往是不同的,需要根据其亮度信息来计算一个边缘过滤阈值(自适应),而不是设计一个固定值。)
通过二值化后的边缘异常图的像素空间分布情况获取连通域,得到边缘异常列表,遍历列表中所有的边缘异常面积,当列表中最大的边缘异常面积小于预定的面积便进行过滤;
异常颜色召回:通过异常区域坐标信息将HSV差异图进行多边形分割,提取H(色调)通道进行判断,当色调异常超过预定阈值便发起召回,取消之前的过滤动作;
异常密度召回:当异常密度高于某个预定阈值便取消之前的过滤动作;
异常边缘召回:当异常边缘数值高于某个预定阈值便取消之前的过滤动作。
Claims (6)
1.基于图像对比异常检测的多阶段多底图图像差异过滤方法,其特征在于,包括以下步骤:
步骤1、输入已对齐的待分析图片和最相似Top1底图,获取待分析图片和最相似Top1底图的差异图,差异图包括RGB差异图、RGB最大通道差异图、HSV差异图;
步骤2、最相似Top1底图进行边缘检测,得到最相似Top1底图的边缘检测图,对边缘检测图进行高斯模糊,得到边缘高斯模糊图,边缘高斯模糊图乘以一个小于1.0的系数,再让RGB最大通道差异图减去边缘高斯模糊图,实现差异图边缘弱化的效果,输出最大通道差异图边缘弱化图;
步骤3、对不同区域人工标记灵敏度系数,获得ROI配置信息,根据ROI配置信息中的灵敏度系数乘以最大通道差异图边缘弱化图,得到ROI配置后的最大通道差异图;
步骤4、进行初次异常分析,得到初次筛选异常列表;
步骤4.1、输入ROI配置后的最大通道差异图、待分析图片和最相似Top1底图,通过待分析图片和最相似Top1底图的像素分布情况,自适应生成二值化阈值,然后通过二值化阈值对ROI配置后的最大通道差异图进行二值化,得到异常二值图;
步骤4.2、输入异常二值图,通过像素空间分布情况获取连通域,输出带有坐标点信息的异常区域列表;
步骤4.3、输入异常区域列表,异常区域列表里面每一个异常区域进行分析和过滤,得到初次筛选异常列表;
步骤4.4、输入初次筛选异常列表,通过异常列表中的异常坐标信息截取出待分析图片里对应的异常区域图和最相似Top1底图里对应的异常区域图,对待分析图片的异常区域图和Top1底图的异常区域图进行边缘滑窗对齐补偿, 使用滑窗的方法让待分析图片异常区域图和Top1底图的异常区域图进行一定规律滑窗位移做差,获得一系列新的滑窗异常区域差异图,并从中选出异常值求和最小的异常区域差异图,根据其滑窗后的坐标关系修正初次筛选异常列表里相对于全图的异常坐标内容,并更新到初次筛选异常列表中相应异常内容;
对初次筛选异常列表中每个异常都进行以上对齐补偿操作并更新相应异常列表,输出对齐补偿后的初次筛选异常列表;
步骤5、二次异常分析,输入对齐补偿后的初次筛选异常列表,对里面每一个异常区域进行轻度的高斯模糊处理、异常分析和过滤,得到Top1二次筛选异常列表;
步骤6、当次最相似Top2底图满足相似度阈值要求时,将步骤1中的输入最相似Top1底图替换为次最相似Top2底图后执行步骤1-5步骤,得到Top2二次筛选异常列表,将Top1二次筛选异常列表与Top2次筛选异常列表求交集,抵消随机误报,输出交集异常列表,得到最终的异常结果。
2.根据权利要求1所述的基于图像对比异常检测的多阶段多底图图像差异过滤方法,其特征在于,最相似Top1底图与次最相似Top2底图通过如下方法确定:
底图相似度排序:输入待分析图片和正常样本底图库,通过像素差异量计算求获取底图相似度排序,输出最相似底图和次相似底图;
最相似底图:即最相似Top1底图,是指像素差异量最小的图片,也是与待分析图片最相似的;
底图次相似底图:即次最相似Top2底图,是指像素差异量第二小的图片,也是仅次于最相似底图的底图。
3.根据权利要求2所述的基于图像对比异常检测的多阶段多底图图像差异过滤方法,其特征在于,还包括相似度阈值判断:
如果次相似底图大于阈值则需要取消Top1二次筛选异常列表与Top2二次筛选异常列表的交集的操作,直接上报最相似底图的异常识别结果。
4.根据权利要求1所述的基于图像对比异常检测的多阶段多底图图像差异过滤方法,其特征在于,步骤1包括以下步骤,输入待分析图片和最相似Top1底图,获取多个维度的差异图信息:
获取RGB差异图:输入待分析图片和最相似Top1底图,保持图片RGB格式并做各通道像素值相减,输出RGB差异图;
获取RGB最大通道差异图:输入RGB差异图,为了保证高的召回率,针对每个像素提取三通道中差异最大的合并为新的差异图,输出RGB最大通道差异图;
获取HSV差异图:输入RGB差异图,为了获取颜色色调信息,需要将输入RGB格式转换为HSV格式,输出HSV差异图。
5.根据权利要求1所述的基于图像对比异常检测的多阶段多底图图像差异过滤方法,其特征在于,步骤2包括以下步骤,
底图边缘检测:输入最相似Top1底图,通过Canny算法进行边缘检测,输出最相似Top1底图的边缘检测图;
边缘高斯模糊:输入最相似Top1底图的边缘检测图,对边缘检测图进行高斯模糊,使边缘线条更粗更浅,输出边缘高斯模糊图;
最大通道差异图边缘弱化:输入最大通道差异图和边缘高斯模糊图,让边缘高斯模糊图乘以一个小于1.0的系数,再让最大通道差异图减去边缘高斯模糊图,实现差异图边缘弱化的效果,输出最大通道差异图边缘弱化图。
6.根据权利要求1所述的基于图像对比异常检测的多阶段多底图图像差异过滤方法,其特征在于,步骤4.3中:
异常宽高比分析:输入异常区域列表和异常差异区域图集,对异常区域列表中每个异常区域的宽高比进行分析,发现宽高比超出预定范围的异常区域,目的是过滤因为对齐原因造成的边缘异常情况,并将该种异常区域像素值乘以一个小于1.0的阈值,输出弱化后的异常区域,得到异常区域列表;
异常面积过滤:输入异常区域列表,通过每个异常区域面积特性,过滤小于预定面积范围的异常区域;
异常密度过滤:输入异常区域列表和最大通道差异图,通过异常区域列表中的每个异常区域的坐标信息将最大通道差异图进行多边形分割,获取异常区域分割图,再将图中像素除以异常区域面积,获得异常密度值,过滤小于预定密度范围的异常区域;
异常边缘过滤:输入异常区域列表、待分析图片和最相似Top1底图,通过异常区域坐标信息将待分析图片和最相似Top1底图的对应区域进行多边形分割,得到待分析异常分割图片与异常分割底图,待分析异常分割图片与异常分割底图进行Sobel边缘检测,相减两个边缘检测图,得到边缘异常图,然后通过待分析异常分割图片与异常分割底图的联合像素分布情况,自适应生成相应边缘过滤阈值,并对边缘异常图进行二值化;
通过二值化后的边缘异常图的像素空间分布情况获取连通域,得到边缘异常列表,遍历列表中所有的边缘异常面积,当列表中最大的边缘异常面积小于预定的面积便进行过滤;
异常颜色召回:通过异常区域坐标信息将HSV差异图进行多边形分割,提取H通道进行判断,当色调异常超过预定阈值便发起召回,取消之前的过滤动作;
异常密度召回:当异常密度高于某个预定阈值便取消之前的过滤动作;
异常边缘召回:当异常边缘数值高于某个预定阈值便取消之前的过滤动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211628697.8A CN115761611B (zh) | 2022-12-18 | 2022-12-18 | 基于图像对比异常检测的多阶段多底图图像差异过滤方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211628697.8A CN115761611B (zh) | 2022-12-18 | 2022-12-18 | 基于图像对比异常检测的多阶段多底图图像差异过滤方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115761611A true CN115761611A (zh) | 2023-03-07 |
CN115761611B CN115761611B (zh) | 2023-05-30 |
Family
ID=85346486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211628697.8A Active CN115761611B (zh) | 2022-12-18 | 2022-12-18 | 基于图像对比异常检测的多阶段多底图图像差异过滤方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115761611B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117197112A (zh) * | 2023-09-26 | 2023-12-08 | 四川数聚智造科技有限公司 | 一种基于样本比对的工业丝印缺陷检测方法及系统 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050036668A1 (en) * | 2003-02-12 | 2005-02-17 | The University Of Iowa Research Foundation | Methods and devices useful for analyzing color medical images |
CN102226907A (zh) * | 2011-05-24 | 2011-10-26 | 武汉嘉业恒科技有限公司 | 基于多特征的车牌定位方法及装置 |
US20140072211A1 (en) * | 2012-09-12 | 2014-03-13 | Enlighted, Inc. | Image detection and processing for building control |
CN109146890A (zh) * | 2018-07-16 | 2019-01-04 | 西安电子科技大学 | 基于滤波器的高光谱图像的异常目标检测方法 |
CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
US20190098034A1 (en) * | 2017-09-27 | 2019-03-28 | Panasonic Intellectual Property Management Co., Ltd. | Anomaly detection method and recording medium |
CN110136083A (zh) * | 2019-05-14 | 2019-08-16 | 深圳大学 | 一种结合交互式的底图更新方法及装置 |
CN110473188A (zh) * | 2019-08-08 | 2019-11-19 | 福州大学 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
CN111507411A (zh) * | 2020-04-20 | 2020-08-07 | 北京英迈琪科技有限公司 | 一种图像比对的方法及系统 |
CN111563556A (zh) * | 2020-05-11 | 2020-08-21 | 国网陕西省电力公司电力科学研究院 | 一种基于颜色梯度权重的变电站箱柜设备异常识别方法及系统 |
CN112257595A (zh) * | 2020-10-22 | 2021-01-22 | 广州市百果园网络科技有限公司 | 视频匹配方法、装置、设备及存储介质 |
CN112330646A (zh) * | 2020-11-12 | 2021-02-05 | 南京优视智能科技有限公司 | 一种基于二维图像的动车车底异常检测方法 |
CN114155212A (zh) * | 2021-11-24 | 2022-03-08 | 福建省海峡智汇科技有限公司 | 一种基于红外图像的变电站异常绝缘子检测方法和装置 |
CN114255096A (zh) * | 2021-11-30 | 2022-03-29 | 王建冬 | 数据需求匹配方法和装置、电子设备、存储介质 |
CN114565563A (zh) * | 2022-01-31 | 2022-05-31 | 扬州江净空调制造有限公司 | 基于人工智能的彩钢板表面异常检测方法 |
-
2022
- 2022-12-18 CN CN202211628697.8A patent/CN115761611B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050036668A1 (en) * | 2003-02-12 | 2005-02-17 | The University Of Iowa Research Foundation | Methods and devices useful for analyzing color medical images |
CN102226907A (zh) * | 2011-05-24 | 2011-10-26 | 武汉嘉业恒科技有限公司 | 基于多特征的车牌定位方法及装置 |
US20140072211A1 (en) * | 2012-09-12 | 2014-03-13 | Enlighted, Inc. | Image detection and processing for building control |
US20190098034A1 (en) * | 2017-09-27 | 2019-03-28 | Panasonic Intellectual Property Management Co., Ltd. | Anomaly detection method and recording medium |
CN109146890A (zh) * | 2018-07-16 | 2019-01-04 | 西安电子科技大学 | 基于滤波器的高光谱图像的异常目标检测方法 |
CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
CN110136083A (zh) * | 2019-05-14 | 2019-08-16 | 深圳大学 | 一种结合交互式的底图更新方法及装置 |
CN110473188A (zh) * | 2019-08-08 | 2019-11-19 | 福州大学 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
CN111507411A (zh) * | 2020-04-20 | 2020-08-07 | 北京英迈琪科技有限公司 | 一种图像比对的方法及系统 |
CN111563556A (zh) * | 2020-05-11 | 2020-08-21 | 国网陕西省电力公司电力科学研究院 | 一种基于颜色梯度权重的变电站箱柜设备异常识别方法及系统 |
CN112257595A (zh) * | 2020-10-22 | 2021-01-22 | 广州市百果园网络科技有限公司 | 视频匹配方法、装置、设备及存储介质 |
CN112330646A (zh) * | 2020-11-12 | 2021-02-05 | 南京优视智能科技有限公司 | 一种基于二维图像的动车车底异常检测方法 |
CN114155212A (zh) * | 2021-11-24 | 2022-03-08 | 福建省海峡智汇科技有限公司 | 一种基于红外图像的变电站异常绝缘子检测方法和装置 |
CN114255096A (zh) * | 2021-11-30 | 2022-03-29 | 王建冬 | 数据需求匹配方法和装置、电子设备、存储介质 |
CN114565563A (zh) * | 2022-01-31 | 2022-05-31 | 扬州江净空调制造有限公司 | 基于人工智能的彩钢板表面异常检测方法 |
Non-Patent Citations (5)
Title |
---|
SIYING LIU等: "Registration Algorithm Based on Line-Intersection-Line for Satellite Remote Sensing Images of Urban Areas", 《REMOTE SENSING》, vol. 11, no. 12, pages 1 - 26 * |
吴禹辰: "基于图像的船舶水尺自动检测系统设计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 8, pages 034 - 299 * |
李梦臻: "基于局部纹理特征的计算机生成图像盲鉴别算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 9, pages 138 - 1442 * |
王睿等: "基于高通差异性特征的图像质量评估方法", 《系统仿真学报》, vol. 31, no. 2, pages 227 - 237 * |
黄鸿飞: "无人机影像同步拼接与变化发现技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 4, pages 140 - 1038 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117197112A (zh) * | 2023-09-26 | 2023-12-08 | 四川数聚智造科技有限公司 | 一种基于样本比对的工业丝印缺陷检测方法及系统 |
CN117197112B (zh) * | 2023-09-26 | 2024-04-30 | 四川数聚智造科技有限公司 | 一种基于样本比对的工业丝印缺陷检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115761611B (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101795823B1 (ko) | 광학 문자 인식되는 텍스트 영상의 텍스트 개선 기법 | |
CN111260616A (zh) | 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法 | |
US9396531B2 (en) | Systems and methods for image and video signal measurement | |
EP3176751A1 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
KR100765775B1 (ko) | 화상의 밝기 조정방법 및 장치 | |
Mendoza et al. | A new method for edge detection in image processing using interval type-2 fuzzy logic | |
CN115205223B (zh) | 透明物体的视觉检测方法、装置、计算机设备及介质 | |
CN108389215B (zh) | 一种边缘检测方法、装置、计算机存储介质及终端 | |
US10769478B2 (en) | Convolutional neutral network identification efficiency increasing method and related convolutional neutral network identification efficiency increasing device | |
CN111079955A (zh) | 一种基于x射线成像的gis设备缺陷检测方法 | |
CN113793337A (zh) | 基于人工智能的机车配件表面异常程度评估方法 | |
CN115761611B (zh) | 基于图像对比异常检测的多阶段多底图图像差异过滤方法 | |
CN112534243A (zh) | 检查装置及方法 | |
CN111598913A (zh) | 一种基于机器人视觉的图像分割方法和系统 | |
CN114066862A (zh) | 一种基于色域和轮廓特征的指示器识别方法及系统 | |
JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
CN116309307A (zh) | 焊缝缺陷检测方法、装置、可读存储介质及电子设备 | |
CN114943720A (zh) | 一种电力图像处理方法及装置 | |
JP2005252451A (ja) | 画質検査方法及び画質検査装置 | |
Saad et al. | Shape defect detection using local standard deviation and rule-based classifier for bottle quality inspection | |
EP3869449A1 (en) | Image processing device, image processing method, and image processing program | |
JP4961370B2 (ja) | 検査方法および検査装置 | |
Somwang et al. | Image Processing for Quality Control in Manufacturing Process | |
CN117456371B (zh) | 一种组串热斑检测方法、装置、设备及介质 | |
CN116433665B (zh) | 基于视觉检测的飞机部件缺陷在线识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |