CN114581443A - 一种图像处理方法、装置、计算机设备和可读存储介质 - Google Patents
一种图像处理方法、装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN114581443A CN114581443A CN202210482885.8A CN202210482885A CN114581443A CN 114581443 A CN114581443 A CN 114581443A CN 202210482885 A CN202210482885 A CN 202210482885A CN 114581443 A CN114581443 A CN 114581443A
- Authority
- CN
- China
- Prior art keywords
- image
- roi
- processing
- mask
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 179
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000005286 illumination Methods 0.000 claims abstract description 63
- 238000001914 filtration Methods 0.000 claims abstract description 52
- 230000000873 masking effect Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 34
- 230000002441 reversible effect Effects 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005530 etching Methods 0.000 claims description 4
- 230000000670 limiting effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 15
- 230000007547 defect Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000001788 irregular Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005215 recombination Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像处理方法、装置、计算机设备和可读存储介质,该方法包括:获取待处理图像Gorg,以及确定待处理图像的ROI轮廓Ω;确定包含ROI轮廓Ω的外接矩形区域,并截取外接矩形区域内的第一图像GROI;根据ROI轮廓Ω,对第一图像GROI依次进行缩放处理、第一掩膜处理、滤波处理、反向缩放处理以及第二掩膜处理,得到背景光照图像Gbg;将第一图像GROI与背景光照图像Gbg作差,得到前景图像Gfg,并对前景图像Gfg进行增益调制处理;根据增益调制处理后的前景图像和预设图像,生成目标图像,其中,预设图像包括常值图像或分解出的背景光照图像Gbg。通过背景光照估计技术更高效准确地分离出前景与背景信息,且对于前景信息给予更高增益,增强前景与背景的对比度,提升图像信噪比。
Description
技术领域
本申请涉及图像处理技术领域,尤其是涉及到一种图像处理方法、图像处理装置、计算机设备和可读存储介质。
背景技术
大规模的工业生产离不开质量检验对产品品质把关,作为质检的一个分支,表面缺陷检测广泛应用于各工业领域。目前,人工目视法在当前仍占据绝对的统治地位,但是由于这种工作枯燥机械、缺乏自由、薪酬不高,已经越来越难吸引到年轻人,随着人口红利的消失,用工难问题愈发凸显。同时,人工检测还存在着检测稳定性及一致性差、生产效率低、难以统计分析从而为生产提供指导等问题。因此,采用机器视觉替代人眼检测工业品缺陷是必然的趋势。
对比度增强是图像处理领域的一项基础操作,它能增强感兴趣的前景与背景之间的差异,在工业检测上可以使缺陷的分割与分类更加容易,从而改善系统检测性能。面向工业缺陷检测的对比度增强技术不仅要具备高效率、稳定可控的特点,还要求有尽可能少的副作用,比如不会带来过大的检测盲区等。相关技术中,按照处理域的不同,图像对比度增强技术可分为空间域处理与变换域处理两类,空间域图像对比度增强常见的是灰度映射法、基于直方图的技术、retinex方法、纹理与背景分离重组等技术,变换域的处理常见的有频域处理与小波域处理。
然而,上述空间域图像对比度增强方法,通常对缺陷与噪声进行无区别对待,在增强缺陷的同时也增强了噪声,图像的信噪比并没有提升,缺陷的检出能力得不到提升。上述变换域图像对比度增强方法,通常存在不支持仅对不规则ROI(Region Of Interest,感兴趣区域)内的部分进行操作、处理效率较低等问题。
发明内容
有鉴于此,本申请提供了一种图像处理方法、图像处理装置、计算机设备和可读存储介质,实现了在增强前景与背景的对比度的同时,提升图像信噪比。
第一方面,本申请实施例提供了一种图像处理方法,包括:获取待处理图像,以及确定待处理图像的ROI轮廓Ω;确定包含ROI轮廓Ω的外接矩形区域,并截取外接矩形区域内的第一图像GROI;根据ROI轮廓Ω,对第一图像GROI依次进行缩放处理、第一掩膜处理、滤波处理、反向缩放处理以及第二掩膜处理,得到背景光照图像Gbg;将第一图像GROI与背景光照图像Gbg作差,得到前景图像Gfg,并对前景图像Gfg进行增益调制处理;根据增益调制的前景图像和预设图像,生成目标图像,其中,预设图像包括常值图像或分解出的背景光照图像Gbg。
第二方面,本申请实施例提供了一种图像处理装置,包括:获取模块,用于获取待处理图像,以及确定待处理图像的ROI轮廓Ω;分解模块,用于确定包含ROI轮廓Ω的外接矩形区域,并截取外接矩形区域内的第一图像GROI;根据ROI轮廓Ω,对第一图像GROI依次进行缩放处理、第一掩膜处理、滤波处理、反向缩放处理以及第二掩膜处理,得到背景光照图像Gbg;将第一图像GROI与背景光照图像Gbg作差,得到前景图像Gfg;第一处理模块,用于对前景图像Gfg进行增益调制处理;第二处理模块,用于根据增益调制的前景图像和预设图像,生成目标图像,其中,预设图像包括常值图像或分解出的背景光照图像Gbg。
第三方面,本申请实施例提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器存储可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面的图像处理方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面的图像处理方法的步骤。
第五方面,本申请实施例提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面的图像处理方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面的图像处理方法。
在本申请实施例中,首先,通过背景光照估计技术将待处理图像分解为背景光照图像与前景图像。然后,利用缺陷所在的区域与背景之间的灰度变化相较于局部背景自身灰度变化更高的性质,给予缺陷区域的前景更高的增益。最后,将增益调制后的前景图像与预设的背景灰度图像或是原始的背景光照图像叠加获得目标图像,也即获得对比度增强的结果。本申请实施例,能够基于背景光照估计技术更高效且更准确地分离出前景与背景信息,并支持不规则ROI处理。进一步地,对于分离出的前景信息,根据信号与噪声的性质差异,给予信号更高的增益,从而在实现增强前景与背景的对比度的同时,提升图像信噪比。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例的图像处理方法的流程示意图;
图2示出了本申请实施例一的输入的待处理图像的示意图;
图3示出了本申请实施例一的输入的ROI轮廓的示意图;
图4示出了本申请实施例一的第一ROI掩膜图像的示意图;
图5示出了本申请实施例一的包含ROI轮廓的最小外接矩形区域的第一图像的示意图;
图6示出了本申请实施例一的对缩放后的第二图像进行第一掩膜处理得到的第三图像的示意图;
图7示出了本申请实施例一的用预设滤波器对第三图像进行滤波得到的第四图像的示意图;
图8示出了本申请实施例一的第一次边界调整中需要调整的第三ROI掩膜图像的示意图;
图9示出了本申请实施例一的第一次边界调整得到的第五图像的示意图;
图10示出了本申请实施例一的第二次边界调整后的第五图像的示意图;
图11示出了本申请实施例一的第二掩膜处理后的背景光照图像的示意图;
图12示出了本申请实施例一的分离出的前景图像的示意图;
图13示出了本申请实施例一的第六图像的示意图;
图14示出了本申请实施例一的归一化的权重图像的示意图;
图15示出了本申请实施例一的针对ROI进行对比度增强的第七图像的示意图;
图16示出了本申请实施例一的最终的对比度增强的目标图像的示意图;
图17示出了本申请实施例二的输入的待处理图像的示意图;
图18示出了本申请实施例二的增强系数为5.0时的对比度增强结果的示意图;
图19示出了本申请实施例二的增强系数为10.0时的对比度增强结果的示意图;
图20示出了本申请实施例的图像处理装置的结构框图;
图21示出了本申请实施例的计算机设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
相关技术中,图像对比度增强技术包括空间域处理和变换域处理。
空间域图像对比度增强常见的是灰度映射法、基于直方图的技术、retinex方法、纹理与背景分离重组等技术。其中,(1)灰度映射法只需要指定一个灰度映射公式,对图像执行灰度映射即可,该方法简单高效,但是缺点也很明显,那就是该方法对缺陷与噪声进行了无区别对待,在增强缺陷的同时也增强了噪声,图像的信噪比并没有提升,缺陷的检出能力得不到提升。(2)基于直方图的技术常用的有直方图均衡化、直方图规定化、限制对比度自适应直方图均衡化等方法,该方法的主要问题是容易放大噪声,且变换结果不够可控(也即,无法确保对比度被增强而非削弱,且增强程度不可控),主要应用于视觉效果提升和纹理提取及分类识别的预处理等场景,尤其是对于玻璃盖板检测、半导体晶圆片检测等情况,灰度分布过于集中,该方法更不适用。(3)retinex方法的原理比较简单,就是将系统接收到的反射光图像建模为入射光分布图像与物体自身反射特性图像的点积,通过估计入射光分布图像即可求出物体自身反射特性图像,将其进行线性拉伸到图像灰度表示范围即可作为方法的输出。然而,一方面该方法采用卷积的方式估计背景图像容易使结果在突变的边缘处引起光晕效应,且通常所选的尺度参数较大,造成运算量较大,不适用于处理大尺寸图像;另一方面,该方法同样不能区分信号与噪声,无法有效提升信噪比,甚至反而可能会降低信噪比,因为缺陷与背景之间的灰度差异不是被增大而是被削弱了,这在缺陷面积比较大的时候尤为明显。因此,retinex技术通常用于改善图像视觉对比度的场景,而并不适用于工业检测场景。(4)纹理与背景分离重组技术则是通过采用空域滤波器分离出低频背景与不同尺度的纹理后分别进行调制后重新组合来实现缺陷的对比度提升。由于工业品中缺陷多为中高频成分,而噪声则只在高频成分中,且通常真实缺陷与背景的对比度高于噪声与背景间的对比度,因此可以对于中高频成分进行非线性变换或是分段线性变换,抑制中高频成分中数值较小的部分,而提升其中数值较大的部分,实现信号和噪声的区别对待,有效提升图像的信噪比。但目前常用的背景光照估计技术是采用一个大尺寸的滤波核对图像进行低通滤波,从而得到缓变的背景光照图像,一方面这种大尺寸滤波核处理比较耗时,另一方面,较大的块状缺陷会对背景估计产生严重的干扰,导致估计的背景光照不够平滑,分离出的前景图像中这种大块状缺陷的内部与外部背景区域的对比度被显著削弱,从而影响缺陷的检出。同时,这种方法在缺陷与背景的对比度很低时的处理结果仍不够理想,噪声放大仍然比较严重。
变换域的处理常见的有频域处理与小波域处理。其中,(1)同态滤波是频域处理的代表,它通过一个S形滤波器在频域对低频成分进行抑制来降低光照的不均匀性,而对中高频成分进行增强来提升图像对比度。在工业检测中,可以对超高频部分也进行一定的抑制(相比中高频部分的提升更少即可)来提高图像信噪比。频域处理的优点是可以在频域用滤波器与图像频谱进行点积方式来实现在空域中用很大的滤波器与图像进行卷积的处理。但空域与频域的相互转换本身就比较耗时,这在图像尺寸很大的情况下是很难接受的。并且,频域处理容易在图像边缘及亮暗剧烈过渡的边缘出现光晕效应且难以消除,也不支持仅对不规则ROI内的部分进行操作,因此,在工业检测中同样使用受限。(2)小波域处理与频域处理类似,只是小波变换可以并行处理得到不同尺度(或者说频段)的子带,在小波域同样是抑制低频子带而提升中高频子带,之后对重组后的子带执行小波反变换得到对比度提升的图像。但是与频域处理类似的是小波变换同样不能处理不规则ROI的情况,并且小波基难以选择,在图像尺寸很大的时候效率仍然有待提升。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、图像处理装置、计算机设备和可读存储介质进行详细地说明。
本申请实施例提供了一种图像处理方法,如图1所示,该方法包括:
步骤101,获取待处理图像,以及确定待处理图像的ROI轮廓Ω。
在该步骤中,输入待处理图像Gorg与ROI轮廓Ω,其中,待处理图像Gorg如图2所示,ROI轮廓Ω的图像如图3所示。
步骤102,确定包含ROI轮廓Ω的外接矩形区域,并截取外接矩形区域内的第一图像GROI。
步骤103,根据ROI轮廓Ω,对第一图像GROI依次进行缩放处理、第一掩膜处理、滤波处理、反向缩放处理以及第二掩膜处理,得到背景光照图像Gbg。
步骤104,将第一图像GROI与背景光照图像Gbg作差,得到前景图像Gfg。
对于步骤102至步骤104,根据背景光照估计的方式和ROI轮廓Ω,将待处理图像分解为背景光照图像以及前景图像。通过背景光照估计技术将待处理图像分解为背景光照图像与前景图像,也即对待处理图像进行分层处理。其中,背景光估计技术利用了尺度空间的思想,小尺度下的大尺寸滤波核在更大尺度的空间里就变成了较小尺寸的滤波核,同样的,大块状的缺陷,在大尺度的空间中就变成了很小的一块。因此,本申请实施例在一个大尺度的空间中用较小的滤波核实现小尺度下大尺寸滤波核才能取得的滤波效果,同样的,也可以在大尺度的空间中比较轻松地过滤掉小尺度下大块缺陷的干扰。
具体地,求出包含ROI轮廓Ω的最小外接矩形区域,截取该矩形区域内的图像得到第一图像GROI。对第一图像GROI做降分辨率处理,也即,缩放处理,将一个大的干扰缩小为一个很小的干扰。然后,对这个缩小后的图像进行第一掩膜处理,以提取ROI轮廓Ω内的像素进行针对性处理,消除ROI轮廓Ω外像素的干扰。进一步地,再使用一个较小的滤波器进行滤波处理,实现了将干扰消除的效果,这里需要说明的是,由于上述缩放处理所以可以使用较小的滤波器进行滤波,而如果图像不缩放的话就需要一个很大的滤波器。进一步地,再进行反向缩放处理和第二掩膜处理得到背景光照图像Gbg,其中,第二掩膜处理的作用是为了消除缩放误差的存在而导致的无关像素的干扰。最后,将第一图像GROI与背景光照图像Gbg对应像素值作差得到包括ROI轮廓Ω的前景图像Gfg。
步骤105,对前景图像Gfg进行增益调制处理。
在该步骤中,利用缺陷所在的区域与背景之间的灰度变化相较于局部背景自身灰度变化更高的性质,给予缺陷区域的前景更高的增益。增益调制是针对前景图像的,前景与背景之间的差异构成对比度,给前景的增益更高,背景的增益更低,也就增强了对比度。
需要说明的是,缺陷是灰度异常的像素集合,它们构成了一个连通域,这个连通域就是缺陷所在的区域。
步骤106,根据增益调制的前景图像和预设图像,生成目标图像,其中,预设图像包括常值图像或分解出的背景光照图像Gbg。
在该步骤中,将增益调制后的前景图像与预设的常值图像(也即把背景光照值全部置为同一个常数)或是分解出的背景光照图像叠加获得目标图像,也即获得对比度增强的结果。
本申请实施例,能够基于背景光照估计技术更高效且更准确地分离出前景与背景信息,并支持不规则ROI处理。进一步地,对于分离出的前景信息,根据信号与噪声的性质差异,给予信号更高的增益,从而在实现增强前景与背景的对比度的同时,提升图像信噪比。
以下给出本申请实施例的面向工业缺陷检测的低对比度图像增强方法的实施例一,该方法包括以下步骤:
(1)输入待处理图像Gorg与ROI轮廓Ω。
其中,待处理图像Gorg如图2所示,ROI轮廓Ω的图像如图3所示。
(2)求出包含ROI轮廓Ω的最小外接矩形及第一ROI掩膜图像MROI,并截取该外接矩形区域内的图像,得到第一图像GROI。
其中,第一ROI掩膜图像MROI如图4所示,第一图像GROI如图5所示。
(3)对第一ROI掩膜图像MROI进行缩放处理,得到第二ROI掩膜图像MS,ROI,以及对第一图像GROI进行缩放处理,得到第二图像,并利用第二ROI掩膜图像MS,ROI对第二图像进行第一掩膜处理,生成第三图像Gs,其中,缩放处理的缩放因子大于0且小于或等于1。
在该步骤中,对(2)中的第一图像GROI和第一ROI掩膜图像MROI进行缩放,使用缩放后的第二ROI掩膜图像MS,ROI对缩放后的小尺寸的第二图像进行第一掩膜处理得到第三图像Gs。
其中,掩膜处理是两个图像对应像素点相乘,也就是对于掩膜值为1的部分予以保留,掩膜值为0的部分结果置零。第一掩膜处理的作用是提取ROI轮廓Ω内的像素进行针对处理,消除ROI轮廓Ω外像素的干扰。
上述缩放处理采用的缩放因子s是小于1的,从而对图像进行降低分辨率处理以降低计算量,缩放处理的缩放因子s的数值范围为(0,1.0],这里可以取0.1。
图6示出了对缩放后的第二图像进行第一掩膜处理得到的第三图像Gs,为便于显示,图6所示的图像进行了缩放处理,由图6所示,原始图像中较大的块状干扰,在第三图像Gs中变成了零星的几个亮像素。
(4)利用预设滤波器f对第三图像Gs进行滤波,生成第四图像Gs,f,其中预设滤波器f为中值滤波器。
在该步骤中,使用预设滤波器f对(3)中缩放后的小尺寸第三图像Gs进行滤波,得到滤波后的小尺寸第四图像Gs,f。
这里使用的预设滤波器f为中值滤波器,大小可以为5×5,图7示出了用预设滤波器f对第三图像Gs进行滤波得到的第四图像Gs,f。由图6所示,亮像素的干扰被抹去,得到的小尺寸的背景光照图像比较平滑。
(5)在ROI轮廓Ω的邻域对第四图像Gs,f进行边界处理,得到边界处理后的第五图像Gbp。
在该步骤中,在ROI轮廓Ω的邻域对第四图像Gs,f进行处理,得到边界处理后的滤波结果,也即第五图像Gbp。其中,ROI轮廓Ω的邻域是指与ROI轮廓Ω边界相邻的区域,这里实际是ROI与腐蚀后的ROI之间的差值部分。
由于ROI轮廓Ω附近的灰度存在显著的突变,采用中值滤波得到的灰度估计在轮廓边缘处误差较大,因此需要对轮廓边缘处的滤波结果进行调整。设滤波器尺寸为k×k,则对于第一ROI掩膜图像MROI腐蚀k个像素得到的MROI,erode中的任意像素,参与滤波运算的像素均在ROI内,滤波运算并未受到影响,因此受影响的像素均在MROI-MROI,erode中。
将Ωerode内经过调整的像素称为已处理像素,记其集合为R,则理想的做法是从Ωerode外面一圈像素开始,逐步扩大地进行像素调整,每一次以最临近的已处理像素的灰度值替代当前像素灰度值来进行调整,直到MROI-MROI,erode内的所有像素都得到处理。然而,这种方法需要不断地进行区域运算以确定每一轮调整涉及的像素,实际操作起来并不现实,因此需要采用兼顾效率与效果的折中方式。
本申请实施例中,将第二ROI掩膜图像MS,ROI与第二ROI掩膜图像MS,ROI腐蚀k个像素后的结果作差,得到需要调整的像素的掩膜图像,也即第三ROI掩膜图像。如图8所示,对第三ROI掩膜图像中的任一像素p进行处理,具体地,可以从上向下、从左向右,依次处理每一个需要调整的像素。对于当前待调整的像素p,搜索第一预设半径范围dmax内最邻近的且在集合R中的已处理像素,以其灰度值替代像素p的灰度值,同时将p加入集合R中,直到第三ROI掩膜图像中的所有像素得到处理。将上述调整记为第一次边界处理,图9示出了第一次边界处理得到的第五图像Gbp。
由于数值舍入的关系,掩膜缩放之后再缩放回来并不能保持不变,掩膜边缘受影响区域的最大宽度与缩放s有关。具体而言,受影响的最大宽度w等于对1/(2s)进行向上取整操作。为使边界处理更加精细,可以进行第二次边界处理。第二次边界处理的方式与第一次边界处理的方式类似,首先将第二ROI掩膜图像MS,ROI膨胀w个像素,得到第四ROI掩膜图像MROI,dilate,然后对第五ROI掩膜图像MROI,dilate-MS,ROI内的像素p’从上向下,从左向右依次处理,对于当前待调整的像素p’,搜索第二预设半径范围dmax’内最邻近的且在集合R中的已处理像素,以其灰度值替代像素p’的灰度值,同时将p’加入集合R中,直到第五ROI掩膜图像MROI,dilate-MS,ROI中的所有像素得到处理,得到第二次边界处理后的滤波结果,图10示出了第二次边界调整后的第五图像Gbp。
(6)对第五图像Gbp进行反向缩放处理,并利用第一ROI掩膜图像MROI对反向缩放处理后的第五图像Gbp进行第二掩膜处理,得到背景光照图像Gbg,其中,反向缩放处理后的第五图像Gbp的尺寸与第一图像GROI的尺寸相同,反向缩放处理的缩放因子大于1。
在该步骤中,将第五图像Gbp反向缩放到与第一图像GROI相同大小,并使用第一ROI掩膜图像MROI进行第二掩膜处理得到背景光照图像Gbg。需要说明的是,如果(3)中缩放因子是0.1,这里反向缩放因子就是10。
第二掩膜处理是为了消除无关像素的干扰。因为缩放误差的存在,区域缩放前后的大小并不会完全相等,文中的处理是对缩放后的掩膜区域外侧的一圈像素也做了处理,因而缩放回来后实际经过处理的像素区域比第一ROI掩膜图像MROI稍大了些,因而要做第二掩膜处理把外面多出来的那部分像素给消除。
图11示出了第二掩膜处理后的背景光照图像Gbg。由图11所示,背景光照图像非常平滑,并没有因为在划伤和亮块干扰附近产生灰度突变,这是由于中值滤波器是种对椒盐噪声非常有效的排序滤波器,它覆盖下的像素并不会进行加权叠加,因而,少量的干扰像素对于滤波结果的影响不大。
本申请实施例中,对于背景光照中的中值滤波结果进行了两次边界区域滤波结果调整,考虑了由于舍入误差带来的掩膜反缩放后与原始掩膜有所不同的情况,使得边界区域处理更加精细,并在效率和效果上做了很好的平衡。
(7)将第一图像GROI与背景光照图像Gbg作差,得到前景图像Gfg。
在该步骤中,第一图像GROI与背景光照图像Gbg对应像素值作差,得到前景图像Gfg。图12示出了前景图像Gfg,需要说明的是,为了便于观察,图12是前景图像Gfg叠加128灰度值后的结果。
本申请实施例中,背景光照估计是在大尺度下的小尺寸图像上采用小尺寸滤波器实现的,等效于在原始尺度采用大尺寸滤波器,可以获得更高的处理效率。并且,背景光照估计中采用的滤波器为中值滤波器,可以有效滤除原始图像中块状缺陷的干扰。
以下(8)至(12)是得到前景图像Gfg后,对前景图像Gfg进行增益调制处理的步骤。
(8)采用N个尺寸逐渐增大的低通滤波器f1、f2、......、fN,分别对第一图像GROI进行滤波处理,得到不同尺寸下的N个滤波结果Gf1、Gf2、......、GfN,其中,N为正整数。
在该步骤中,为了方便说明,这里仅采用了2个低通滤波器(即N=2),分别是7×7和19×19的均值滤波器。由于均值滤波可以借助积分图实现,均值滤波的处理效率与滤波器大小无关。
(9)根据N-1个相邻尺寸的滤波结果的差值图像Gf1-f2、Gf2-f3、......、Gf(N-1)-fN,得到第六图像Gms,其中第六图像Gms=(abs(Gf1-f2Gf2-f3......Gf(N-1)-fN))1/N-1;
在该步骤中,采用差值图像是因为缺陷面积较大,灰度一致性也更高,通常在不同尺寸的滤波器下滤波结果差异较大,而噪声因为是孤立的,且在局部背景均值上下波动,用不同尺寸滤波器滤波后结果差异较小,因此可以利用差值图像有效区分缺陷与噪声。
本申请实施例中,所用的综合方式为几何平均,即第六图像Gms=(abs(Gf1- f2Gf2-f3......Gf(N-1)-fN))1/N-1,图13示出了多尺度综合第六图像Gms。
本申请实施例,采用多尺度差值图像的综合作为权重调节的依据,可以有效地区别对待真实缺陷与噪声,使缺陷增强程度更高,从而提升图像的信噪比。
(10)对第六图像Gms进行数据截断与限幅处理,得到处理结果Gcut;
在该步骤中,数据截断与限幅的目的是抑制噪声及避免由于过强的对比度的存在导致太多像素的权重过低,以至图像得不到有效增强。这里低阈值为2.0,高阈值为5.0,处理结果Gcut低于低阈值和高于高阈值的值均被替换为0,其他值不变。
(11)对处理结果Gcut进行低通滤波与归一化处理,得到权重图像Wnorm;
在该步骤中,对处理结果Gcut进行低通滤波与归一化处理,采用的低通滤波器为9×9的均值滤波器,图14示出了归一化的权重图像Wnorm。
(12)根据权重图像Wnorm,计算增益调制的前景图像Gfg,enhanced,其中,增益调制的前景图像Gfg,enhanced=(1+cWnorm)Gfg,c为增强系数。
在该步骤中,前景由c和权重图像Wnorm一起进行增益调制,由于权重值最小为1,所以当c取值为正值时,前景只会被增强而不会被削弱,c决定了最大增益,c的取值越大,对比度增强的效果越强,也即本申请中前景图像最大增益可调,从而可以实现增强程度的可控性。
这里权重图像的增强系数c取值可以为5.0。
以下(13)和(14)为根据增益调制的前景图像和预设图像,生成目标图像的步骤。
(13)将增益调制的前景图像Gfg,enhanced与预设图像进行叠加,得到第七图像Gproc。
在该步骤中,将增益调制的前景图像Gfg,enhanced与常值图像(也即把背景光照值全部置为同一个常数的图像)或是分解出的背景光照图像Gbg进行叠加,得到针对ROI进行对比度增强的第七图像Gproc。图15示出了针对ROI进行对比度增强的第七图像Gproc,这里增益调制的前景图像Gfg,enhanced是叠加到灰度值为128的常数值图像上的。
(14)利用第一ROI掩膜图像MROI覆盖的第七图像Gproc替代待处理图像Gorg中的相应部分,得到目标图像,其中,相应部分为第一ROI掩膜图像MROI中掩膜值为1的像素部分。
在该步骤中,用第一ROI掩膜图像MROI内处理后的结果(也即第七图像Gproc)替代原始值,实现只改变第一ROI掩膜图像MROI内像素的效果。相应部分就是指第一ROI掩膜图像MROI中掩膜值为1对应的像素部分,图16示出了最终的对比度增强的目标图像Gfinal。
为了更好地展示方法的处理效果及增强程度下可控性,下面给出面向工业缺陷检测的低对比度图像增强方法的实施例二的处理结果。实施例二的输入轮廓为图像最外层边界,所不同的是上述(8)中采用的两个低通滤波器分别是11×11和31×31的均值滤波器,且上述(10)中的低阈值取值为1.0。图17为实施例二输入的待处理图像,图18为实施例二中增强系数c为5.0时的增强结果,图19为实施例二中增强系数c为10.0时的增强结果。由图18和图19可以看出,c取值越大,增强效果越强,图18中一些对比度很低的细节也得到了增强,噪声放大却并不明显。
进一步地,作为上述图像处理方法的具体实现,本申请实施例提供了一种图像处理装置。如图20所示,该图像处理装置2000包括:获取模块2001、分解模块2002、第一处理模块2003以及第二处理模块2004。
其中,获取模块2001用于获取待处理图像Gorg,以及确定待处理图像Gorg的ROI轮廓Ω;分解模块2002用于确定包含ROI轮廓Ω的外接矩形区域,并截取外接矩形区域内的第一图像GROI,根据ROI轮廓Ω,对第一图像GROI依次进行缩放处理、第一掩膜处理、滤波处理、反向缩放处理以及第二掩膜处理,得到背景光照图像Gbg,将第一图像GROI与背景光照图像Gbg作差,得到前景图像Gfg;第一处理模块2003用于对前景图像Gfg进行增益调制处理;第二处理模块2004用于根据增益调制的前景图像和预设图像,生成目标图像,其中,预设图像包括常值图像或背景光照图像Gbg。
在该实施例中,首先,通过背景光照估计技术将待处理图像分解为背景光照图像与前景图像。然后,利用缺陷所在的区域与背景之间的灰度变化相较于局部背景自身灰度变化更高的性质,给予缺陷区域的前景更高的增益。最后,将增益调制后的前景图像与预设的背景灰度图像或是原始的背景光照图像叠加获得目标图像,也即获得对比度增强的结果。本申请实施例,能够基于背景光照估计技术更高效且更准确地分离出前景与背景信息,并支持不规则ROI处理。进一步地,对于分离出的前景信息,根据信号与噪声的性质差异,给予信号更高的增益,从而在实现增强前景与背景的对比度的同时,提升图像信噪比。
进一步地,分解模块2002,具体用于:确定ROI轮廓Ω的第一ROI掩膜图像MROI;对第一ROI掩膜图像MROI进行缩放处理,得到第二ROI掩膜图像MS,ROI,以及对第一图像GROI进行缩放处理,得到第二图像,并利用第二ROI掩膜图像MS,ROI对第二图像进行第一掩膜处理,生成第三图像Gs,其中,缩放处理的缩放因子大于0且小于或等于1;利用预设滤波器f对第三图像Gs进行滤波,生成第四图像Gs,f;在ROI轮廓Ω的邻域对第四图像Gs,f进行边界处理,得到边界处理后的第五图像Gbp;对第五图像Gbp进行反向缩放处理,并利用第一ROI掩膜图像MROI对反向缩放处理后的第五图像Gbp进行第二掩膜处理,得到背景光照图像Gbg,其中,反向缩放处理后的第五图像Gbp的尺寸与第一图像GROI的尺寸相同,反向缩放处理的缩放因子大于1;将第一图像GROI与背景光照图像Gbg作差,得到前景图像Gfg。
进一步地,预设滤波器f为中值滤波器。
进一步地,边界处理包括第一次边界处理,第一次边界处理的方式,包括:将第二ROI掩膜图像MS,ROI与腐蚀k个像素后的第二ROI掩膜图像MS,ROI作差,得到第三ROI掩膜图像;对第三ROI掩膜图像中的任一像素p,搜索像素p的第一预设半径范围dmax内最邻近的且在已处理像素集合R中的已处理像素,以已处理像素的灰度值替代像素p的灰度值,并将像素p加入已处理像素集合R中。
进一步地,边界处理还包括第二次边界处理。
进一步地,第二次边界处理的方式,包括:将第二ROI掩膜图像MS,ROI膨胀w个像素,得到第四ROI掩膜图像MROI,dilate;将第四ROI掩膜图像MROI,dilate与第一ROI掩膜图像MROI作差,得到第五ROI掩膜图像(MROI,dilate-MROI);对第五ROI掩膜图像(MROI,dilate-MROI)内任一像素p’,搜索像素p’的第二预设半径范围dmax’内最邻近的且在已处理像素集合R中的已处理像素,以已处理像素的灰度值替代像素p’的灰度值,并将像素p’加入已处理像素集合R中。
进一步地,第一处理模块2003,具体用于采用N个尺寸逐渐增大的低通滤波器f1、f2、......、fN,分别对第一图像GROI进行滤波处理,得到不同尺寸下的N个滤波结果Gf1、Gf2、......、GfN,其中,N为正整数;根据N-1个相邻尺寸的滤波结果的差值图像Gf1-f2、Gf2-f3、......、Gf(N-1)-fN,得到第六图像Gms,其中第六图像Gms=(abs(Gf1-f2Gf2- f3......Gf(N-1)-fN))1/N-1;对第六图像Gms进行数据截断与限幅处理,得到处理结果Gcut;对处理结果Gcut进行低通滤波与归一化处理,得到权重图像Wnorm;根据权重图像Wnorm,计算增益调制的前景图像Gfg,enhanced,其中,增益调制的前景图像Gms=(abs(Gf1-f2Gf2-f3......Gf(N-1)-fN))1/N-1,c为增强系数,c的取值越大,对比度增强的效果越强。
进一步地,第二处理模块2004,具体用于:将增益调制的前景图像Gfg,enhanced与预设图像进行叠加,得到第七图像Gproc;利用第一ROI掩膜图像MROI覆盖的第七图像Gproc替代待处理图像Gorg中的相应部分,得到目标图像,其中,相应部分为第一ROI掩膜图像MROI中掩膜值为1的像素部分。
本申请实施例中的图像处理装置2000可以是计算机设备,也可以是计算机设备中的部件,例如集成电路或芯片。该计算机设备可以是终端,也可以为除终端之外的其他设备。示例性的,计算机设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载计算机设备、移动上网装置(Mobile Internet Device,MID)、机器人、超级移动个人计算机(Ultra-Mobile Personal Computer,UMPC)、上网本或者个人数字助理(Personal DigitalAssistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(Personal Computer,PC)等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置2000可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置2000能够实现图1的图像处理方法实施例实现的各个过程,为避免重复,这里不再赘述。
本申请实施例还提供一种计算机设备,如图21所示,该计算机设备2100包括处理器2101和存储器2102,存储器2102上存储有可在处理器2101上运行的程序或指令,该程序或指令被处理器2101执行时实现上述图像处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的计算机设备包括的移动计算机设备和非移动计算机设备。
存储器2102可用于存储软件程序以及各种数据。存储器2102可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器2102可以包括易失性存储器或非易失性存储器,或者,存储器2102可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器2102包括但不限于这些和任意其它适合类型的存储器。
处理器2101可包括一个或多个处理单元;可选的,处理器2101集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器2101中。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例还提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (17)
1.一种图像处理方法,其特征在于,包括:
获取待处理图像,以及确定所述待处理图像的ROI轮廓Ω;
确定包含所述ROI轮廓Ω的外接矩形区域,并截取所述外接矩形区域内的第一图像GROI;
根据所述ROI轮廓Ω,对所述第一图像GROI依次进行缩放处理、第一掩膜处理、滤波处理、反向缩放处理以及第二掩膜处理,得到背景光照图像Gbg;
将所述第一图像GROI与所述背景光照图像Gbg作差,得到前景图像Gfg,并对所述前景图像Gfg进行增益调制处理;
根据增益调制的前景图像和预设图像,生成目标图像,其中,所述预设图像包括常值图像或分解出的所述背景光照图像Gbg。
2.根据权利要求1所述的方法,其特征在于,所述根据所述ROI轮廓Ω,对所述第一图像GROI依次进行缩放处理、第一掩膜处理、滤波处理、反向缩放处理以及第二掩膜处理,得到背景光照图像Gbg,包括:
确定所述ROI轮廓Ω的第一ROI掩膜图像MROI;
对所述第一ROI掩膜图像MROI进行缩放处理,得到第二ROI掩膜图像MS,ROI,以及对所述第一图像GROI进行缩放处理,得到第二图像,并利用所述第二ROI掩膜图像MS,ROI对所述第二图像进行所述第一掩膜处理,生成第三图像Gs,其中,所述缩放处理的缩放因子大于0且小于或等于1;
利用预设滤波器f对所述第三图像Gs进行滤波,生成第四图像Gs,f;
在所述ROI轮廓Ω的邻域对所述第四图像Gs,f进行边界处理,得到边界处理后的第五图像Gbp;
对所述第五图像Gbp进行反向缩放处理,并利用所述第一ROI掩膜图像MROI对反向缩放处理后的所述第五图像Gbp进行所述第二掩膜处理,得到所述背景光照图像Gbg,其中,反向缩放处理后的所述第五图像Gbp的尺寸与所述第一图像GROI的尺寸相同,所述反向缩放处理的缩放因子大于1;
将所述第一图像GROI与所述背景光照图像Gbg作差,得到所述前景图像Gfg。
3.根据权利要求2所述的方法,其特征在于,
所述预设滤波器f为中值滤波器。
4.根据权利要求2所述的方法,其特征在于,所述边界处理包括第一次边界处理,所述第一次边界处理的方式,包括:
将所述第二ROI掩膜图像MS,ROI与腐蚀k个像素后的第二ROI掩膜图像MS,ROI作差,得到第三ROI掩膜图像;
对所述第三ROI掩膜图像中的任一像素p,搜索所述像素p的第一预设半径范围dmax内最邻近的且在已处理像素集合R中的已处理像素,以所述已处理像素的灰度值替代所述像素p的灰度值,并将所述像素p加入所述已处理像素集合R中。
5.根据权利要求4所述的方法,其特征在于,所述边界处理还包括第二次边界处理。
6.根据权利要求5所述的方法,其特征在于,所述第二次边界处理的方式,包括:
将所述第二ROI掩膜图像MS,ROI膨胀w个像素,得到第四ROI掩膜图像MROI,dilate;
将所述第四ROI掩膜图像MROI,dilate与所述第二ROI掩膜图像MS,ROI作差,得到第五ROI掩膜图像MROI,dilate-MS,ROI;
对所述第五ROI掩膜图像MROI,dilate-MS,ROI内任一像素p’,搜索所述像素p’的第二预设半径范围dmax’内最邻近的且在已处理像素集合R中的已处理像素,以所述已处理像素的灰度值替代所述像素p’的灰度值,并将所述像素p’加入所述已处理像素集合R中。
7.根据权利要求2所述的方法,其特征在于,所述对所述前景图像Gfg进行增益调制处理,包括:
采用N个尺寸逐渐增大的低通滤波器f1、f2、......、fN,分别对第一图像GROI进行滤波处理,得到不同尺寸下的N个滤波结果Gf1、Gf2、......、GfN,其中,N为正整数;
根据N-1个相邻尺寸的所述滤波结果的差值图像Gf1-f2、Gf2-f3、......、Gf(N-1)-fN,得到第六图像Gms,其中所述第六图像Gms=(abs(Gf1-f2Gf2-f3......Gf(N-1)-fN))1/N-1;
对所述第六图像Gms进行数据截断与限幅处理,得到处理结果Gcut;
对所述处理结果Gcut进行低通滤波与归一化处理,得到权重图像Wnorm;
根据权重图像Wnorm,计算增益调制的前景图像Gfg,enhanced,其中,增益调制的前景图像Gfg,enhanced=(1+cWnorm)Gfg,c为增强系数。
8.根据权利要求7所述的方法,其特征在于,所述根据增益调制的前景图像和预设图像,生成目标图像,包括:
将增益调制的前景图像Gfg,enhanced与所述预设图像进行叠加,得到第七图像Gproc;
利用所述第一ROI掩膜图像MROI覆盖的第七图像Gproc替代所述待处理图像中的相应部分,得到所述目标图像,其中,所述相应部分为所述第一ROI掩膜图像MROI中掩膜值为1的像素部分。
9.一种图像处理装置,其特征在于,包括:
获取模块,用于获取待处理图像,以及确定所述待处理图像的ROI轮廓Ω;
分解模块,用于确定包含所述ROI轮廓Ω的外接矩形区域,并截取所述外接矩形区域内的第一图像GROI,根据所述ROI轮廓Ω,对所述第一图像GROI依次进行缩放处理、第一掩膜处理、滤波处理、反向缩放处理以及第二掩膜处理,得到背景光照图像Gbg,将所述第一图像GROI与所述背景光照图像Gbg作差,得到前景图像Gfg;
第一处理模块,用于对所述前景图像Gfg进行增益调制处理;
第二处理模块,用于根据增益调制的前景图像和预设图像,生成目标图像,其中,所述预设图像包括常值图像或分解出的所述背景光照图像Gbg。
10.根据权利要求9所述的装置,其特征在于,所述分解模块,具体用于:
确定所述ROI轮廓Ω的第一ROI掩膜图像MROI;
对所述第一ROI掩膜图像MROI进行缩放处理,得到第二ROI掩膜图像MS,ROI,以及对所述第一图像GROI进行缩放处理,得到第二图像,并利用所述第二ROI掩膜图像MS,ROI对所述第二图像进行所述第一掩膜处理,生成第三图像Gs,其中,所述缩放处理的缩放因子大于0且小于或等于1;
利用预设滤波器f对所述第三图像Gs进行滤波,生成第四图像Gs,f;
在所述ROI轮廓Ω的邻域对所述第四图像Gs,f进行边界处理,得到边界处理后的第五图像Gbp;
对所述第五图像Gbp进行反向缩放处理,并利用所述第一ROI掩膜图像MROI对反向缩放处理后的所述第五图像Gbp进行所述第二掩膜处理,得到所述背景光照图像Gbg,其中,反向缩放处理后的所述第五图像Gbp的尺寸与所述第一图像GROI的尺寸相同,所述反向缩放处理的缩放因子大于1;
将所述第一图像GROI与所述背景光照图像Gbg作差,得到所述前景图像Gfg。
11.根据权利要求10所述的装置,其特征在于,
所述预设滤波器f为中值滤波器。
12.根据权利要求10所述的装置,其特征在于,所述边界处理包括第一次边界处理,所述第一次边界处理的方式,包括:
将所述第二ROI掩膜图像MS,ROI与腐蚀k个像素后的第二ROI掩膜图像MS,ROI作差,得到第三ROI掩膜图像;
对所述第三ROI掩膜图像中的任一像素p,搜索所述像素p的第一预设半径范围dmax内最邻近的且在已处理像素集合R中的已处理像素,以所述已处理像素的灰度值替代所述像素p的灰度值,并将所述像素p加入所述已处理像素集合R中。
13.根据权利要求12所述的装置,其特征在于,所述边界处理还包括第二次边界处理。
14.根据权利要求13所述的装置,其特征在于,所述第二次边界处理的方式,包括:
将所述第二ROI掩膜图像MS,ROI膨胀w个像素,得到第四ROI掩膜图像MROI,dilate;
将所述第四ROI掩膜图像MROI,dilate与所述第二ROI掩膜图像MS,ROI作差,得到第五ROI掩膜图像MROI,dilate-MS,ROI;
对所述第五ROI掩膜图像MROI,dilate-MS,ROI内任一像素p’,搜索所述像素p’的第二预设半径范围dmax’内最邻近的且在已处理像素集合R中的已处理像素,以所述已处理像素的灰度值替代所述像素p’的灰度值,并将所述像素p’加入所述已处理像素集合R中。
15.根据权利要求10所述的装置,其特征在于,所述第一处理模块,具体用于:
采用N个尺寸逐渐增大的低通滤波器f1、f2、......、fN,分别对第一图像GROI进行滤波处理,得到不同尺寸下的N个滤波结果Gf1、Gf2、......、GfN,其中,N为正整数;
根据N-1个相邻尺寸的所述滤波结果的差值图像Gf1-f2、Gf2-f3、......、Gf(N-1)-fN,得到第六图像Gms,其中所述第六图像Gms=(abs(Gf1-f2Gf2-f3......Gf(N-1)-fN))1/N-1;
对所述第六图像Gms进行数据截断与限幅处理,得到处理结果Gcut;
对所述处理结果Gcut进行低通滤波与归一化处理,得到权重图像Wnorm;
根据权重图像Wnorm,计算增益调制的前景图像Gfg,enhanced,其中,增益调制的前景图像Gfg,enhanced=(1+cWnorm)Gfg,c为增强系数。
16.根据权利要求15所述的装置,其特征在于,所述第二处理模块,具体用于:
将增益调制的前景图像Gfg,enhanced与所述预设图像进行叠加,得到第七图像Gproc;
利用所述第一ROI掩膜图像MROI覆盖的第七图像Gproc替代所述待处理图像中的相应部分,得到所述目标图像,其中,所述相应部分为所述第一ROI掩膜图像MROI中掩膜值为1的像素部分。
17.一种可读存储介质,其上存储有程序或指令,其特征在于,所述程序或指令被处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210482885.8A CN114581443B (zh) | 2022-05-06 | 2022-05-06 | 一种图像处理方法、装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210482885.8A CN114581443B (zh) | 2022-05-06 | 2022-05-06 | 一种图像处理方法、装置、计算机设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114581443A true CN114581443A (zh) | 2022-06-03 |
CN114581443B CN114581443B (zh) | 2022-08-26 |
Family
ID=81778849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210482885.8A Active CN114581443B (zh) | 2022-05-06 | 2022-05-06 | 一种图像处理方法、装置、计算机设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114581443B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997027702A1 (en) * | 1996-01-25 | 1997-07-31 | Polaroid Corporation | Method for replacing the background of an image |
CN1458791A (zh) * | 2002-04-25 | 2003-11-26 | 微软公司 | 分段分层的图像系统 |
US20060045357A1 (en) * | 2004-08-25 | 2006-03-02 | Schwartz Edward L | Multi-resolution segmentation and fill |
CN102208107A (zh) * | 2010-03-30 | 2011-10-05 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
US20140126802A1 (en) * | 2012-11-05 | 2014-05-08 | Government Of The United States As Represented By The Secretary Of The Air Force | Systems and methods for processing low contrast images |
CN106530279A (zh) * | 2016-10-15 | 2017-03-22 | 扬州奥泰光电生物技术有限公司 | 一种图像处理方法及系统 |
CN109242791A (zh) * | 2018-08-22 | 2019-01-18 | 东北农业大学 | 一种针对破损植物叶片的批量修复方法 |
CN111915538A (zh) * | 2020-08-19 | 2020-11-10 | 南京普爱医疗设备股份有限公司 | 一种用于数字血管减影的图像增强方法及系统 |
CN113674303A (zh) * | 2021-08-31 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2022
- 2022-05-06 CN CN202210482885.8A patent/CN114581443B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997027702A1 (en) * | 1996-01-25 | 1997-07-31 | Polaroid Corporation | Method for replacing the background of an image |
CN1458791A (zh) * | 2002-04-25 | 2003-11-26 | 微软公司 | 分段分层的图像系统 |
US20060045357A1 (en) * | 2004-08-25 | 2006-03-02 | Schwartz Edward L | Multi-resolution segmentation and fill |
CN102208107A (zh) * | 2010-03-30 | 2011-10-05 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
US20140126802A1 (en) * | 2012-11-05 | 2014-05-08 | Government Of The United States As Represented By The Secretary Of The Air Force | Systems and methods for processing low contrast images |
CN106530279A (zh) * | 2016-10-15 | 2017-03-22 | 扬州奥泰光电生物技术有限公司 | 一种图像处理方法及系统 |
CN109242791A (zh) * | 2018-08-22 | 2019-01-18 | 东北农业大学 | 一种针对破损植物叶片的批量修复方法 |
CN111915538A (zh) * | 2020-08-19 | 2020-11-10 | 南京普爱医疗设备股份有限公司 | 一种用于数字血管减影的图像增强方法及系统 |
CN113674303A (zh) * | 2021-08-31 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114581443B (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2631870A1 (en) | Method for digital X-ray image denoising | |
Bhadouria et al. | A new approach for high density saturated impulse noise removal using decision-based coupled window median filter | |
Guillon et al. | Adaptive nonlinear filters for 2D and 3D image enhancement | |
Khan et al. | Edge preservation of impulse noise filtered images by improved anisotropic diffusion | |
Alenezi et al. | Geometric-pixel guided single-pass convolution neural network with graph cut for image dehazing | |
Rahman et al. | Gaussian noise reduction in digital images using a modified fuzzy filter | |
Al-Hashim et al. | Retinex-Based Multiphase Algorithm for Low-Light Image Enhancement. | |
Zaafouri et al. | A developed unsharp masking method for images contrast enhancement | |
Prabha et al. | Performance analysis of image smoothing methods for low level of distortion | |
Gupta et al. | Structure-aware adaptive bilateral texture filtering | |
Sun et al. | An efficient method for salt-and-pepper noise removal based on shearlet transform and noise detection | |
Calderón et al. | Dewaff: A novel image abstraction approach to improve the performance of a cell tracking system | |
Zhan et al. | Nonlocal means image denoising with minimum MSE-based decay parameter adaptation | |
El Hassani et al. | Efficient image denoising method based on mathematical morphology reconstruction and the Non-Local Means filter for the MRI of the head | |
CN114581443B (zh) | 一种图像处理方法、装置、计算机设备和可读存储介质 | |
Sudharson et al. | Noise level estimation for effective blind despeckling of medical ultrasound images | |
Charmouti et al. | Extended median filter for salt and pepper noise in image | |
Khellah | Textured image denoising using dominant neighborhood structure | |
KR102187639B1 (ko) | 적외선 영상을 위한 잡음 제거 방법 | |
KR102187634B1 (ko) | 적외선 영상을 위한 잡음 제거 장치 | |
Robinson et al. | Blind deconvolution of Gaussian blurred images containing additive white Gaussian noise | |
JPH05346956A (ja) | 画像信号の処理装置 | |
Yadav et al. | Steering kernel-based guided image filter for single image dehazing | |
Delon et al. | A patch-based approach for random-valued impulse noise removal | |
Mamatha et al. | Performance analysis of various filters for De-noising of Handwritten Kannada documents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |