CN101536483A - 经由多重波长光改善图像质量 - Google Patents

经由多重波长光改善图像质量 Download PDF

Info

Publication number
CN101536483A
CN101536483A CNA2007800147540A CN200780014754A CN101536483A CN 101536483 A CN101536483 A CN 101536483A CN A2007800147540 A CNA2007800147540 A CN A2007800147540A CN 200780014754 A CN200780014754 A CN 200780014754A CN 101536483 A CN101536483 A CN 101536483A
Authority
CN
China
Prior art keywords
image
contrast
wavelength
target
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800147540A
Other languages
English (en)
Other versions
CN101536483B (zh
Inventor
布赖恩·约翰森
穆罕默德·E·阿尔帕伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electro Scientific Industries Inc
Original Assignee
Electro Scientific Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electro Scientific Industries Inc filed Critical Electro Scientific Industries Inc
Publication of CN101536483A publication Critical patent/CN101536483A/zh
Application granted granted Critical
Publication of CN101536483B publication Critical patent/CN101536483B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501Semiconductor wafers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明揭示一种使用多重波长照明来改善经由单色摄像机所捕获的图像的图像质量的方法及设备。对比度优化算法确定那些可用波长中的哪一特定波长最适于使对比度最大化。可通过确定提供目标与背景之间的最大对比度及最小对比度的照明方案通过有源噪声消除进一步改善所述图像的质量。然后,通过逐像素地将最大对比度图像除以最小对比度图像便可实现图像纹理数据(即,噪声)的消除。另一选择为,可以代数方式组合使用至少两个波长获得的图像以减小噪声。可将所得组合图像馈入任何已知的目标识别算法中。

Description

经由多重波长光改善图像质量
技术领域
本发明大体来说涉及一种用于改善经由单色摄像机捕获的图像的图像质量的方法。
背景技术
有一类以平面及镜面(平坦且光亮)为主的半导体产品,且其经常需要以以下方式来对这些装置进行成像:甚至从平面及镜面的细微偏差仍用足够的对比度来进行成像。一种此类产品包括半导体晶片,其可具有指示(除其它以外)晶片编号及制造商的标记。所述标记是所述晶片表面中的缺陷且通常是经激光蚀刻的凹坑矩阵。其便是所属技术领域中熟知的“软记号”或“基准标记”。需要在制造过程中的各步骤处将这些标记成像,以便读取代码。
另一类使用激光功率材料移除方案来进行例行处理的产品包括经电解质涂布的导电金属衬底,其用作半导体装置的芯片载体或用作电子装置的印刷线路板。这些也以平面及镜面(平坦且闪亮)为主,且经常需要以足够的对比度来成像表面及/或次表面特征的方式来对这些装置进行成像。一种此类产品包括半导体芯片载体,其可具有指示(除其它以外)过程资料的标记。所述标记通常为所述工件的表面上方或下方的导电金属(通常为铜或铜合金)且通常具有在早期处理步骤期间通过化学蚀刻所述金属导电层而产生的圆形、正方形或其它几何形状。但这些标记可包括穿过整个工件的机械钻孔或穿孔。其便是所属技术领域中所熟知的“工具孔”、“基准记号”,或简称为“对准目标”。需要在制造过程中的各步骤处成像这些记号,以将所述工件对准机器并按比例调整。
在处理过所述装置之后(通常通过将其锯割为个别矩形装置的方式进行切割),便可能需要检查边缘是否有可随着时间而增生且导致过早装置故障的小碎片或裂痕,或是针对装饰性或功能性理由来检查所述经过激光处理的特征。这些检查过程是自动的且结合经编程以执行必要检查、测量及识别的数字电子计算机使用电子成像摄像机。
为正确地对这些物体进行成像(包括突出这些非常细微的特征),会用到多个照明系统及摄像机。举例来说,标题为“衬底上的标记的OCR的照明系统(IlluminationSystem for OCR of Indicia on a Substrate)”的第5,737,122号共同受让美国专利,其以引用的方式整体并入本文中。′122专利说明一种系统,其中摄像机的轴线与照明模块的轴线对称于镜面物体的法线,从而处于互补的锐角。窄角暗场的光靠近所述光轴而定位且被阻止通过所述摄像机来直接成像,通过放置在成像路径中的档板来避免此。所述档板的位置限制成像器的视场,但此被视为可接受的折衷。
在另一实例中,共同受让的第6,870,949号美国专利揭示一种同轴的窄角暗场成像系统,其使用远心透镜以对称的同轴窄角暗场照明来照射物体。所述照明技术特别适于突出平面镜面物体上的细微特征或缺陷。特定来说,所述同轴光源将光线导向远心透镜,所述远心透镜将所述光线重新导向所述大致为平面的镜面物体。所述光线通过所述远心透镜反射回到摄像机。就所述光线被从所述物体的平面镜面部分反射来说,所述光线被远心光阑阻挡。从所述平面镜面物体中的缺陷或特征反射的光线将穿过所述光阑中的孔径到达摄像机。第6,870,949号美国专利也以引用的方式整体并入本文中。
通过这些及其它系统,使用单色摄像机获得的图像通常以灰阶显示。所使用的光为白光或单色光,例如白光或单波长LED。使用这些图像,针对检查及部件对准目的而进行的工件上的基准标记的自动识别为加工工业中广为接受的实践。已研发各种算法且其可容易地用于处理所述图像以实现此识别。然而,不论算法多么地复杂,在目标与周围背景之间具有高对比度水平的“良好”图像仍是其成功的关键。
发明内容
本文所揭示的方法及设备通过改善经由单色摄像机捕获的图像的图像对比度来改善图像质量。可将这些经改善图像馈入目标识别例行程序或算法,以确定表面上的记号(包括但不限于标记)的识别。
本文所教示的一种用以改善经由单色摄像机捕获的表面的图像的图像质量的方法包括(举例来说)使用多重波长照明来获得多个图像并基于所述多个图像来优化所述表面的部分之间的对比度。
本文所教示的一种用以改善经由单色摄像机捕获的表面的图像的图像质量的设备包括(举例来说)用于使用多重波长照明来获得多个图像的构件及基于所述多个图像来优化所述表面的部分之间的对比度的构件。
下文将进一步详细论述本发明的这些及其它独特特征。
附图说明
图1为典型单色CCD摄像机的光谱响应的实例;
图2为目标区域的反射率HT(λ)的实例;
图3为背景区域的反射率HB(λ)的实例;
图4为根据本发明的一个方面的对比度优化的流程图;
图5为图4中所示的对比度优化的块50的细节的流程图;
图6为根据本发明的另一方面的有源噪声消除的流程图;
图7为显示两个图像的合成的流程图;
图8为显示本文所说明的多色LED的典型光谱输出的曲线图;
图9A为在蓝光LED照明下由单色摄像机捕获的实际对准目标的原始图像及所述图像的“目标”区域及“背景”区域的定界框;
图9B为在绿光LED照明下由同一单色摄像机捕获的同一对准目标的原始图像;
图9C为在红光LED照明下由同一单色摄像机捕获的同一对准目标的原始图像;
图9D为在红外光(IR)LED照明下由同一单色摄像机捕获的同一对准目标的原始图像;
图10为将图8A-8D中所提供的四个原始图像的平均背景像素值、目标像素值及对比度度量相比较的表格;及
图11为通过以代数方式组合图9A及9D的原始图像获得的合成对比度图像,9A及9D的原始图像根据图7的流程图在蓝光及IR LED照明下获得。
具体实施方式
使用本发明可实现改善经由单色摄像机捕获的图像的图像对比度及目标识别质量的目的。一般来说,执行使用多重波长照明的对比度优化算法。使用程序来确定所述照明系统中可用波长中的哪一特定波长最适合便可通过使用单一波长来获得最大对比度。其次,通过采用所述对比度优化算法来确定提供目标与背景之间的最大对比度与最小对比度的照明方案便可通过有源噪声消除来进一步改善将被馈入所述目标识别例行程序的图像的质量。然后,可通过逐像素地以最大对比度图像除以最小对比度图像来实现所需图像纹理数据(即,噪声)消除的目的。第三,可通过减去被两个或更多个个别波长照射的所关心区域的图像来产生在目标与背景之间具有高对比度的合成图像。然后,可将所得的组合图像馈入多个已知目标识别算法中的任一者中。
可根据本文的说明使用通常包含控制器、摄像机及照明系统的任何已知图像获取系统。本文所说明的算法可被编程到所述标准控制器中或可由所述标准控制器执行或可由耦合到存储器(其存储所述算法)的通用微控制器执行或由所属技术领域中已知的具有机载存储器的微控制器执行。
通过首先研发用于图像上的目标(例如,标记)与背景之间的对比度的数学模型来最好地说明细节。用到以下定义。单色摄像机的光谱响应G(λ)定义为依据入射光波长的摄像机量子效率。其次,平坦表面的反射光谱H(λ)定义为当通过平坦光谱光源(即,在所述摄像机/透镜系统正确响应并聚焦的波长范围中提供不变的照射水平的光源)照射所述表面时,来自所述表面的反射的规范化光谱。
图1为典型单色电荷耦合装置(CCD)摄像机的光谱响应的实例。图2及3分别为实例性目标区域及背景区域的反射率(HT(λ)及HB(λ))的实例。应注意,图2显示铜的法线入射反射率对波长,因为铜为上文所说明的共用目标。实例性背景为RCF树脂,因此在图3中显示RCF树脂的法线入射反射率对波长。
假设存在N个不同光源,其对应于波长λk,其中k=1,...,N。第k个光源的光谱响应Fk(λ)的方程式(1)如下:
Fk(λ)=αkδ(λ-λk);              (1)
其中,αk指示第k个光源的强度,而δ指示狄拉克Δ函数(Dirac-Delta function)。假设一空间均匀的目标,那么所述目标区域中像素的摄像机输出(CoutT)如下:
= ∫ α ∞ G ( λ ) H T ( λ ) ( Σ k = 1 N F k ( λ ) ) dλ
Cout T = Σ k = 1 N α k ∫ λ = 0 ∞ G ( λ ) H T ( λ ) δ ( λ - λ k ) dλ - - - ( 2 )
= Σ k = 1 N α k G ( λ k ) H T ( λ k ) .
应注意,方程式(2)假设所述摄像机输出并未饱和。以类似方式,所述背景区域的摄像机输出(CoutB)如下:
Cout B = Σ k = 1 N α k G ( λ k ) H B ( λ k ) . - - - ( 3 )
此也假设所述摄像机输出并未饱和。
现在,人们可根据方程式(4)来定义“对比度度量”(CM):
C M = | Cout T - Cout B | Cout T + Cout B . - - - ( 4 )
上文所定义的对比度度量CM具有多个重要特征。首先,所述度量不因总强度的全局改变而变化。一般来说,通过同一因子来改变所有光源的相对强度将不会改变图像对比度。此与常识一致;人们将不会预期仅通过将每一像素值乘以常数因子来改善灰阶图像中的真实对比度。还应注意,此定义暗示人们应使用“规范化的”算法来进行目标识别,例如所属技术领域中已知的规范化相关。人们也可在选用所述目标识别法之前对所有所捕获图像应用直方图均衡化法。
第二重要特征是,对比度度量CM相对于所述目标及背景而对称。也就是说,交换被视为“目标”者与被视为“背景”者将不会改变对比度度量CM。此也与所属技术领域中的技术人员所普遍了解的“目标与背景之间的对比度”一词的常识相当一致。相对于“背景”具有高对比度的“目标”自动地暗示相对于所述目标具有高对比度的背景。
对比度度量CM的第三重要特征是,其最大值为一(1)。当所述摄像机对目标或背景的响应同样为零时便会达到此目的。通过正确地缩放总强度,此情景便对应于以白色背景为背景的完美黑色目标,或反之亦然。所述度量会在此特殊情况中产生最高对比度的事实同样与常识相当一致。
给出以上观察的前提下,以上方程式(4)中所定义的对比度度量CM便是用于本文所说明的分析的适当工具。
将来自方程式(2)及(3)的CoutT及CoutB的表达式代入方程式(4)中,人们便可获得对比度度量CM的以下方程式(5):
= | Σ k = 1 N α k G ( λ k ) H T ( λ k ) - Σ k - 1 N α k G ( λ k ) H B ( λ k ) | Σ k = 1 N α k G ( λ k ) H T ( λ k ) + Σ k - 1 N α k G ( λ k ) H B ( λ k ) ,
C M = | Σ k = 1 N α k G ( λ k ) [ H T ( λ k ) - H B ( λ k ) ] | Σ k = 1 N α k G ( λ k ) [ H T ( λ k ) + H B ( λ k ) ] ,
= | Σ k = 1 N α k [ Γ k T - Γ k B ] | Σ k = 1 N α k [ Γ k T + Γ k B ] , - - - ( 5 )
其中 Γ k T = G ( λ k ) H T ( λ k . ) andI 且G(λk)HBk)
在将摄像机的饱和水平定义为CoutMAX之后,人们现在准备以精确的数学项来提出对比度优化问题。对于给定的集
Figure A200780014754D00085
Figure A200780014754D00086
(k=1,...,N)来说,发现αk使受到以下限制的方程式(5)最大化:
αk≥0;
Σ k = 1 N α k Γ k T ≤ Cout MAX
Σ k = 1 N α k Γ k B ≤ Cout MAX .
初次看见时,要解决此对比度优化问题似乎很困难。然而,略作观察便会获得简单的算法来解决所述问题。首先,对αk的限制产生由N+2超平面限定的一可行解的凸集:αk=0,k=1,...,N; Γ k = 1 N α k Γ k T = Cout MAX ; Γ k = 1 N α k Γ k B = Cout MAX . 本文中将最后这两个超平面称作“饱和超平面”。
其次,在对应于形成可行解的所述集的边界的所述N+2个超平面中的一者的表面上会存在最佳解。此为先前所说明的对比度度量CM不会因总强度改变而变化的事实的直接结果。举例来说,假设存在不在边界表面上的最佳解在此情况下,人们便可使用适当的增益因子γ简单地缩放所有
Figure A200780014754D000812
从而使得
Figure A200780014754D000813
位于边界表面上。由于对强度进行此类总缩放并不改变对比度度量CM,因此解
Figure A200780014754D000814
将产生与原始解相同的最佳对比度度量,且因而本身便是最佳解。
得出最佳解将存在于边界表面上的结论,便可进行额外观察。第三观察是所述解将不沿形成所述饱和超平面之间的相交的超线。原因是沿此线所述对比度度量将为零,其不能成为最佳(最大)解。第四,可显示出最佳解不能位于所述饱和超平面所形成的边界表面中的任一者的中间。对任一此种可行解来说,人们可以数学方式显示出通过在正确方向且仍在所述表面上移动所述解点,便会有更好的解。此更好解的存在暗示原始解不可能是最佳解。
将所有这些观察放在一起,最佳解肯定位于所述两个饱和超平面中的一者与αk=0,k=1,...,N超平面中的N-1形成的“角”中的一者处。此意指所述最佳解将具有以下方程式(6)的形式。
Figure A200780014754D00091
此方程式不仅提供简单的算法来确定将产生最佳对比度的照明配置,其还提供对所述问题的重要见解。换句话说,在所述N个光源中的仅一者有效的情况下获得最大对比度。下文将更详细地论述此观察的含意。
接下来,便是用于确定照明条件的算法,在所述照明条件下实现由方程式(4)的对比度度量CM所定义的最大对比度。对每一k=1,...,N来说,如下式找到单个源对比度CM,k
C M , k = | α k ( Γ k T - Γ k B ) | α k ( Γ k T + Γ k B ) , = | ( Γ k T - Γ k B ) | ( Γ k T + Γ k B ) .
然后,选择对应于在先前步骤中所计算的最大的CM,k值的波长λk且将其用于照射所述表面。
应注意,以上算法并未规定将要用于最大对比度的强度αk的绝对值。此同样与对比度度量CM的数学定义一致,其不会随着总强度水平而变化。然而,对于实际的实施方案来说,将αk设为其最大许可值:
α k = min { Cout MAX / Γ k T , Cout MAX / Γ k B }
将改善原始图像(即,在进行优化之前由单色摄像机捕获的图像)的信号与量化噪声比。
实际上,对于以上算法的实例来说,假设通过红光、绿光及蓝光(RGB)照明来照射表面的目标及背景,且会观察到以下Γ值:
Γ R T = 5 , Γ R B = 2 ;
Γ G T = 3 , Γ G B = 5 ;
Γ B T = 8 , Γ B B = 5 .
采用本文的教示,人们可获得用于个别光(仅红光、仅绿光及仅蓝光)方案的以下对比度度量:
CM,R=|5-2|/(5+2)=3/7;
CM,G=|3-5|/(3+5)=2/8;及
CM,B=|8-5|/(8+5)=3/-13.
在此特定实例中,仅红光照明将在背景与目标之间产生最高对比度。如果CoutMAX为255,那么应将对应的强度因子αR设为αR=255/5=51。
用于确定最大对比度的最佳照明条件的算法需要知道多重波长照明配置中所有可用波长的目标及背景的摄像机输出。可通过执行参照图4所说明的以下算法来满足这些条件。
针对所述光配置中的每一可用波长,在10处捕获包含所述目标及所述背景的图像。在12处,在这些图像中,识别两个小的“仅目标”或“仅背景”区域。实际上,进行此操作的最简单方式是针对每一区域画出两个定界框。接下来,在14处,通过对在12处识别的对应区域的像素值进行平均且析出在捕获所述图像时所用的特定强度水平(α)来计算每一波长处的背景与目标的摄像机输出。如果任一数据集的摄像机输出在16处饱和,那么在18处降低所述图像的照明强度,且在20处重新捕获所述图像。然后,所述算法返回以在12处识别新图像的区域,且继续前进到14处的计算,或视需要直接返回到14处的计算。在22处,采用对比度优化算法来确定将产生最大对比度以及正确强度水平(其会将摄像机输出驱动到背景或目标区域的饱和限制)的照明波长。应注意,如上所述,此将有助于改善原始图像的信噪比。
在22处所执行的对比度优化算法已说明于前文中且可如图5中所示的那样对其进行总结。更具体来说,在24处计算单个源的单个源对比度CM,k。在26处,作出是否已计算每一源的单个源对比度CM,k的询问。24处的计算重复直到完成所有计算为止。在28处,选择最大的单个源对比度CM,k。在30处,选择对应于所述最大单个源对比度CM,k的波长λk来照射所述表面以获得图像来进行额外处理。
至此,本揭示内容聚焦于确定将产生在目标与背景之间具有最高对比度的单个图像的照明方案。通过使用多个图像来基于在不同照明方案下收集的数据产生“组合”图像以改善后续目标识别算法的性能便可获得额外益处,也就是说,从现有技术中得知的使用图像(例如,经优化或本文中所说明的组合图像)来识别目标(例如,标记)的算法。接下来说明一种使用这些多重图像的方法。
首先,如果人们在空间中具有完全均匀的目标及背景,那么人们实际上可在任何照明条件下产生具有完美对比度的图像。将确定落在目标的摄像机输出与背景的摄像机输出之间的阈值,且然后将二值取阈用于原始图像,以产生具有完美对比度的黑白图像。实际上此过分简单的方法经常失败的主要原因有二。一个原因是背景或目标或两者很少在空间中会完全均匀。大多时候是其具有纹理/斑点,此使确定用以明确“划分”目标与背景的阈值相当困难。另一原因是,由于光学限制或用来产生与背景对比度的目标的过程的空间分辨率,边缘处总是存在模糊。
对这些问题的一种响应是改善此种不完美图像的信噪比(SNR)。进行此操作的一种方式是通过选择一种让目标与背景会有不同响应的照明波长,以挑选一种使目标图像与背景图像之间的差异最大化的照明方案。此便是上文所论述的对比度优化方法所要做的。
改善SNR的另一种方法是有源噪声消除。在从图像进行目标识别的上下文中,此对应于从原始图像消除纹理信息,以便以“平滑”的目标及背景结束。为了解此在单波长照明下可能引发的状况,可将以上摄像机输出模型一般化以包括如下纹理信息:
Cout T ( x , y ) = T ( x , y ) U T ( x , y ) α k Γ k T ; 及      (7)
Cout B ( x , y ) = T ( x , y ) U B ( x , y ) α k Γ k B ; - - - ( 8 )
其中函数T(x,y)表示整个图像中的纹理信息,而UT(x,y)及UB(x,y)分别是在除目标区域及背景区域上方以外的任何地方均为零的遮蔽函数。
为使用此方法,人们获得两个图像而非一个。如图6中的40处所示,如上文在用于确定最佳照明条件的方法中所详述的那样使用使对比度最大化的波长来捕获第一图像。在42处,使用用于解决以上对比度最大化问题的相同程序以具有使对比度最小化的波长的照明方案来捕获第二图像。
根据定义,在经由使目标(或基准)与背景之间的对比度最小化的照明方案捕获的图像中存在最小目标-背景差异信息。因此,最小对比度图像主要包含此方法试图消除的纹理数据。因此,在44处,具有最大对比度的图像“除以”具有最小对比度的图像,以便从方程式(7)及(8)有效地消除T(x,y)项。也就是说,所述图像的每一像素的亮度值除以所述图像中具有最小对比度的对应像素的亮度值。此产生更平滑(即,相对无噪声)的背景及目标图像。然后,可在46处将此所谓的“组合”图像馈入下游目标识别算法中,以进行前文所述的处理。
用以改善图像的SNR的第三种方法是从在目标及背景由两个或更多个波长中的每一者照射时所捕获的多个图像形成所关心区域的合成图像。在此实例中,从一个图像中减去另一图像,以产生在目标与背景之间具有增强的对比度的合成图像。
更具体来说,使用以下所观察的Γ值,考虑上文就RGB照明所论述的情景:
Γ R T = 5 , Γ R B = 2 ;
Γ G T = 3 , Γ G B = 5 ;
Γ B T = 8 , Γ B B = 5 .
根据先前论述,单独的红光将给出最高对比度的原始图像。然而,考虑通过从在蓝色照明下所获得的图像中减去在绿色照明下所获得的图像而获得的合成图像。此等同于将强度设为αR=0、αG=-1及αB=+1。将这些值代入方程式(5)中,我们发现所述合成图像的对比度度量为1,其远远高于使用仅用红色照明所获得的最佳原始图像可实现的对比度度量。
以上实例的两个重要方面值得强调。首先,从一个原始图像中减去另一原始图像所产生的图像是真正的“合成”。尝试通过照明修改以物理的方式来产生此种图像将需要“负”强度,此在物理上是不可能的。其次,通过缩放及减去原始图像来获得具有均匀对比度度量的合成图像通常将是可能的:人们所需要做的是缩放个别图像,使得其在目标区域或背景区域上“匹配”,且随后从一个图像中减去另一(经缩放的)图像。
参照图7-11显示以上教示的实际实例。在此实例中,使用蓝光、绿光、红光及红外光LED来照射PCB板上的对准目标,且在48处通过单色摄像机来捕获对应的四个“原始”图像。图8显示所说明的多色LED的光谱输出。可在图9A到9D中看到所得的原始图像,其中图9A显示在蓝光LED照明下的目标及背景,而图9B-9D分别显示在绿光LED照明、红光LED照明及红外光(IR)LED照明下的同一目标及背景。
接下来,在50处为每一原始图像确定所述图像的“目标”及“背景”区域的定界框。这些定界框的实例显示于图9A中。在52处为所有四个图像计计算这些定界框内的平均像素值且确定对应的对比度度量。图10总结这些计算的结果。根据这些结果,在蓝光LED照明下所获得的原始图像具有目标与背景之间的最高对比度。此与所述四个图像的视觉比较一致。
可以以下方式来获得“合成的”图像。首先,在54处选择将要使用代数操作来用于合成图像的图像。在此实例中,所选择的第一图像是在蓝光LED照明下所获得的原始图像,而所选择的第二图像是在IR LED照明下所获得的原始图像。这些原始图像在其相应背景平均像素值与目标平均像素值之间具有彼此相反的比率。接下来,在56处缩放所述图像中的一者,使得可“零化”所述背景或所述目标的平均像素值。举例来说,在此情况下,在IR LED照明下所获得的原始图像的每一像素乘以在蓝光LED照明下所获得的原始图像的目标平均像素值与在IR LED照明下所获得的原始图像的目标平均像素值的比率,即144.1300/125.7639。
在58处,逐像素地从另一经选定的图像(在此为在蓝光LED照明下所获得的原始图像)减去经缩放的图像。此产生使目标区域具有实际为零(0)的平均像素值的图像。接下来,针对所得的图像,在60处计算未被零化的区域的平均像素值。对于此实例性图像来说,计算平均背景像素值。然后,在62处,通过正确因子来缩放所述图像的每一像素,以让所述平均像素值(在此为所述背景区域的平均像素值)增大到最大像素值(例如,255)。
图11图解说明在执行这些步骤之后的合成图像。此图像的对比度度量经计算为0.9624,其非常接近理论上的最大值1。与图10中所示的四个原始图像相比较,此对比度度量标志着对比度的显著改善。还可通过视觉检查如图11中所示的图像而容易地验证此改善。
已说明上文所说明的实施例,以便允许容易地了解本发明,而非限制本发明。相反,本发明既定涵盖所附权利要求书的精神及范围内所包括的各种修改及等效布置,所述范围与最广义的解释一致,以便在法律的许可下涵盖所有此类修改及等效结构。

Claims (10)

1、一种用以改善经由单色摄像机捕获的表面的图像的图像质量的方法,所述表面包括目标及背景,所述方法包含:
使用多重波长照明来获得多个图像;及
基于所述多个图像来优化所述表面的部分之间的对比度。
2、如权利要求1所述的方法,其中使用多重波长照明进一步包含:
在多个波长之间改变所述多重波长照明;且其中优化对比度进一步包括:
确定所述多个波长中的哪一波长产生具有最佳对比度的图像。
3、如权利要求1或权利要求2所述的方法,其进一步包含:
确定所述多重波长照明的每一波长的所述目标及所述背景的相应摄像机输出;及
在优化对比度时使用所述目标及所述背景的所述相应摄像机输出。
4、如权利要求1-3中任一权利要求所述的方法,其进一步包含:
捕获所述多重波长照明的一波长的图像;
识别仅目标区域内的至少两个目标区域;
识别仅背景区域内的至少两个背景区域;
将所述至少两个目标区域的像素值求平均;
将所述至少两个背景区域的像素值求平均;
析出在捕获所述图像时所使用的强度水平;及
在优化对比度时使用所述目标及所述背景的所述相应摄像机输出。
5、如权利要求1-4中任一权利要求所述的方法,其中优化所述表面的部分之间的对比度进一步包含:
针对在所述多重波长照明中可用的所述多个波长中的每一波长计算所述表面的单个源对比度;及
选择对应于最大单个源对比度值的波长。
6、如权利要求1-5中任一权利要求所述的方法,其进一步包含:
执行将最大对比度图像逐像素地除以最小对比度图像以产生具有降低的信噪比的组合图像。
7、如权利要求6所述的方法,其进一步包含:
使用在优化所述多重波长照明的对比度时所获得的所述对比度来捕获第一图像,所述第一图像为所述最大对比度图像;
使用所述多个图像使所述多重波长照明的对比度最小化;及
使用在使所述多重波长照明的对比度最小化时所获得的所述对比度来捕获第二图像,所述第二图像为所述最小对比度图像。
8、如权利要求1-7中任一权利要求所述的方法,其进一步包含:
以代数方式组合至少两个图像以合成高对比度组合图像。
9、如权利要求8所述的方法,其中以代数方式组合至少两个图像进一步包含:
选择所述图像中的第一者;
选择所述图像中的第二者;
缩放所述图像中的所述第一者以获得经缩放的图像;
从所述图像中的所述第二者中减去所述经缩放的图像以获得第三图像,其中所述第三图像的所述背景及所述目标中的一者的对比度约为零;及
缩放所述第三图像的每一像素以获得最大平均像素值,其中所得图像为所述高对比度组合图像。
10、一种用于执行如权利要求1-9中任一权利要求所述的方法的设备。
CN2007800147540A 2006-04-28 2007-04-27 经由多重波长光改善图像质量的方法和设备 Expired - Fee Related CN101536483B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/414,678 US7589869B2 (en) 2006-04-28 2006-04-28 Adjusting image quality using multi-wavelength light
US11/414,678 2006-04-28
PCT/US2007/010323 WO2007127420A2 (en) 2006-04-28 2007-04-27 Improving image quality via multi-wavelength light

Publications (2)

Publication Number Publication Date
CN101536483A true CN101536483A (zh) 2009-09-16
CN101536483B CN101536483B (zh) 2011-08-31

Family

ID=38647994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800147540A Expired - Fee Related CN101536483B (zh) 2006-04-28 2007-04-27 经由多重波长光改善图像质量的方法和设备

Country Status (6)

Country Link
US (1) US7589869B2 (zh)
JP (1) JP5108003B2 (zh)
KR (1) KR101370697B1 (zh)
CN (1) CN101536483B (zh)
TW (1) TWI418207B (zh)
WO (1) WO2007127420A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013044405A1 (en) * 2011-09-26 2013-04-04 Metrologic Instruments, Inc. Optical indicia reading terminal with combined illumination
CN107980094A (zh) * 2017-03-31 2018-05-01 深圳配天智能技术研究院有限公司 一种视觉检测系统及方法
CN113916906A (zh) * 2021-09-03 2022-01-11 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024060B2 (en) * 2008-06-16 2011-09-20 Electro Scientific Industries, Inc. Method for defining safe zones in laser machining systems
DE102008031243B4 (de) * 2008-07-02 2010-09-16 Eads Deutschland Gmbh Verfahren und Vorrichtung zur Erzeugung von High Dynamic Range(HDR)-Bildaufnahmen sowie Belichtungsvorrichtungen zur Verwendung darin
US8570516B2 (en) * 2008-09-12 2013-10-29 Cognex Corporation Infrared direct illumination machine vision technique for semiconductor processing equipment
TWI391872B (zh) * 2008-10-14 2013-04-01 Chung Shan Inst Of Science Multi - band image imaging method
US8223327B2 (en) 2009-01-26 2012-07-17 Kla-Tencor Corp. Systems and methods for detecting defects on a wafer
WO2010135385A1 (en) 2009-05-22 2010-11-25 Parker Hannifin Corporation Method for maximizing the contrast of an image
JP5417268B2 (ja) 2010-06-28 2014-02-12 富士フイルム株式会社 内視鏡システム
GB2487940B (en) * 2011-02-09 2014-12-17 Tel Hashomer Medical Res Infrastructure & Services Ltd Methods and devices suitable for imaging blood-containing tissue
US9007454B2 (en) * 2012-10-31 2015-04-14 The Aerospace Corporation Optimized illumination for imaging
TWI477766B (zh) 2012-12-18 2015-03-21 Ind Tech Res Inst 檢測裝置以及檢測方法
US9594937B2 (en) 2014-02-28 2017-03-14 Electro Scientific Industries, Inc. Optical mark reader
US9269035B2 (en) 2014-02-28 2016-02-23 Electro Scientific Industries, Inc. Modified two-dimensional codes, and laser systems and methods for producing such codes
CN106461566B (zh) * 2014-06-24 2019-05-17 Ykk株式会社 拉链链牙的检查条件设定方法和拉链链牙检查方法
US9747520B2 (en) * 2015-03-16 2017-08-29 Kla-Tencor Corporation Systems and methods for enhancing inspection sensitivity of an inspection tool
TWI531984B (zh) 2015-05-26 2016-05-01 原相科技股份有限公司 影像處理方法以及影像處理裝置
JP6500070B1 (ja) * 2017-10-16 2019-04-10 ジャパンシステム株式会社 検査装置、検査用照明装置
WO2020198487A1 (en) 2019-03-26 2020-10-01 The Johns Hopkins University Background-suppressed sted nanoscope
DE102021209240A1 (de) * 2021-08-23 2023-02-23 Pepperl+Fuchs Se Verfahren und Vorrichtung zur Führung eines Fahrzeugs auf einem Untergrund

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737122A (en) 1992-05-01 1998-04-07 Electro Scientific Industries, Inc. Illumination system for OCR of indicia on a substrate
JPH08219716A (ja) * 1994-12-13 1996-08-30 Toshiba Corp 入力画像コントラスト処理装置およびこれを用いた装置
US6298149B1 (en) * 1996-03-21 2001-10-02 Cognex Corporation Semiconductor device image inspection with contrast enhancement
US6259827B1 (en) * 1996-03-21 2001-07-10 Cognex Corporation Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
JP3808169B2 (ja) * 1997-05-23 2006-08-09 株式会社ルネサステクノロジ 検査方法およびその装置並びに半導体基板の製造方法
IES20000264A2 (en) * 1999-04-07 2000-11-15 Mv Res Ltd A system and method for the inspection of dielectric materials
TW491938B (en) * 2000-11-28 2002-06-21 Yung-Chang Chen Method of designing a multichannel filtering system for measuring digital camera's spectral responsivities
WO2003007808A2 (en) * 2001-07-16 2003-01-30 Art, Advanced Research Technologies Inc. Multi-wavelength imaging of highly turbid media
JP2003130811A (ja) 2001-10-25 2003-05-08 Dainippon Screen Mfg Co Ltd 波長選択機能を利用した検査対象物の検査
US6847443B1 (en) * 2002-01-17 2005-01-25 Rudolph Technologies, Inc. System and method for multi-wavelength, narrow-bandwidth detection of surface defects
US7015418B2 (en) * 2002-05-17 2006-03-21 Gsi Group Corporation Method and system for calibrating a laser processing system and laser marking system utilizing same
US6870949B2 (en) 2003-02-26 2005-03-22 Electro Scientific Industries Coaxial narrow angle dark field lighting
US7420675B2 (en) * 2003-06-25 2008-09-02 The University Of Akron Multi-wavelength imaging system
US7967205B2 (en) * 2005-11-17 2011-06-28 Hand Held Products, Inc. Optical reading device with programmable parameter control

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013044405A1 (en) * 2011-09-26 2013-04-04 Metrologic Instruments, Inc. Optical indicia reading terminal with combined illumination
CN107980094A (zh) * 2017-03-31 2018-05-01 深圳配天智能技术研究院有限公司 一种视觉检测系统及方法
CN113916906A (zh) * 2021-09-03 2022-01-11 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备
CN113916906B (zh) * 2021-09-03 2024-01-09 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备

Also Published As

Publication number Publication date
KR101370697B1 (ko) 2014-03-05
TW200816784A (en) 2008-04-01
TWI418207B (zh) 2013-12-01
CN101536483B (zh) 2011-08-31
WO2007127420A3 (en) 2009-04-02
JP2009535705A (ja) 2009-10-01
US7589869B2 (en) 2009-09-15
JP5108003B2 (ja) 2012-12-26
US20070253033A1 (en) 2007-11-01
WO2007127420A2 (en) 2007-11-08
KR20080113093A (ko) 2008-12-26

Similar Documents

Publication Publication Date Title
CN101536483B (zh) 经由多重波长光改善图像质量的方法和设备
US11609187B2 (en) Artificial neural network-based method for selecting surface type of object
Bianco et al. Adaptive color constancy using faces
KR100338487B1 (ko) 경화판별장치
López-García et al. Automatic detection of skin defects in citrus fruits using a multivariate image analysis approach
CA2681817C (en) Lumber inspection method, device and program
CN103366358B (zh) 污点检测
US9292990B2 (en) Systems and methods for spectral authentication of a feature of a document
CN1805798B (zh) 表征含金属薄片涂层的方法和设备及涂料组合物的制备方法
KR100509441B1 (ko) 경화 판별 방법 및 장치
WO2003077187A1 (en) Currency verification
US20100157100A1 (en) Imaging system
WO2016158690A1 (ja) 取付工具、作業管理方法、システム、照合装置及びプログラム
CN102184878A (zh) 一种用于晶圆对准的模板图像质量反馈系统及其方法
US20040213448A1 (en) Apparatus for recognizing counterfeit currency and method thereof
JPH08279042A (ja) 書類認証方法及びその装置
JP5174917B2 (ja) 硬貨の正損判別装置及び正損判別方法
US8526717B2 (en) Rich color transition curve tracking method
US11893100B2 (en) Spoof detection based on specular and diffuse reflections
CN115409977A (zh) 基于图像识别的全量检测信息采集方法
JP2023529512A (ja) トレーディングカードの特性を識別する方法及び装置
TWI447382B (zh) Wood inspection methods and apparatus and program
WO2023166898A1 (ja) 金属材料の表面検査方法、金属材料の表面検査装置、及び金属材料
WO2024042240A1 (en) Systems and methods for predicting the authentication detectability of counterfeited items
JP2005122587A (ja) 硬貨判別方法および装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110831

Termination date: 20160427