CN102414536B - 数字光学比较器 - Google Patents

数字光学比较器 Download PDF

Info

Publication number
CN102414536B
CN102414536B CN201080019313.1A CN201080019313A CN102414536B CN 102414536 B CN102414536 B CN 102414536B CN 201080019313 A CN201080019313 A CN 201080019313A CN 102414536 B CN102414536 B CN 102414536B
Authority
CN
China
Prior art keywords
image
parts
digital optical
pixel
cad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080019313.1A
Other languages
English (en)
Other versions
CN102414536A (zh
Inventor
帕特里克·博切明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionx Inc
Original Assignee
Visionx Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionx Inc filed Critical Visionx Inc
Publication of CN102414536A publication Critical patent/CN102414536A/zh
Application granted granted Critical
Publication of CN102414536B publication Critical patent/CN102414536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/08Optical projection comparators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

数字光学比较器具有针对要研究的部件的保持器。光源为部件照明,并将部件的图像投射到配置有镜头的摄像机上。将摄像机捕获的图像显示在屏幕上,并且将部件的制图覆盖在部件的图像上。因此,可以容易且轻松地识别制造中的缺陷。此外,还可以在视觉上确定部件是否是在容差范围内制造的。

Description

数字光学比较器
技术领域
本发明涉及数字光学比较器。 
背景技术
光学比较器(通常简称为比较器,或外形投影仪,或轮廓投影仪)是对应用光学原理对制造部件的进行检查的设备。在比较器中,放大的部件被投影到屏幕上,并相对于规定的限制来测量部件的维度和几何形状。 
现有技术的比较器非常依赖于操作员的技能来将部件和参考模板进行正确对准,以进行比较。此外,一旦部件安装在了比较器中,现有技术的比较器不提供用于设定部件和参考模板的取向的直接简单的装置。 
一些现有技术的比较器包括光源、部件的支撑物、用于捕获部件图像并在显示器上显示该图像的光学器件。显示器通常显示放大的部件图像。在这些比较器中,实际上将部件制图的透明片、或蓝图、或一些其它印刷/绘制的图像以适当的取向粘到比较器的屏幕上,以对部件和制图进行比较。应该理解,这对于操作员而言劳动强度很大。为了比较部件和制图,制图不仅必须是正确的比例,正如屏幕上的部件图像也必须是正确的比例一样,还要非常仔细地将纸质/印刷的制图适当地覆盖在屏幕上。 
发明内容
本发明的目的在于提供克服了现有技术不足的数字光学比较器。 
因此,根据本发明的一个方面,提供了一种数字比较器,包括: 
保持器,用于保持部件; 
光源,用于为部件照明; 
用于捕获被照明部件的图像的摄像机,和放置在所述摄像机前面的镜头;以及 
数据处理系统,用于接收图像、获得所述部件的CAD制图、在计算器屏幕上显示所述图像和所述制图,其中,将所述制图数字地覆盖在所述图像上,所述数据处理系统还包括用于将所述制图与所述图像对准的装置。 
根据本发明的另一方面,提供了一种数字光学比较器,所述数字光学比较器包括一种允许对研究的部件与参考制图进行比较的方法,所述部件是按照所述制图中包括的规格而制造的,所述方法包括步骤: 
(a)在支撑物上放置所述部件; 
(b)为所述部件照明; 
(c)使用摄像机捕获所述部件的图像,所述摄像机配置有镜头;以及 
(d)在显示器上覆盖所述制图与所述部件的所述图像。 
附图说明
在阅读了参考以下附图对优选实施例的描述之后,将更好的理解本发明,其中: 
图1是根据本发明优选实施例的数字光学比较器系统的示意性示图; 
图2是根据本发明另一优选实施例的数字光学比较器系统的示意性示图,其中,光源和摄像机均在部件的相同侧; 
图3是部件保持器的示意性示图; 
图4是在多个显示器上显示的部件视图,其中叠加了制图,但是在未定向的位置上; 
图5是在多个显示器上显示的部件视图,其上叠加了制图并将制图与部件的图像对准;以及 
图6是数字光学比较器系统的数据处理系统的示意性示图。 
具体实施方式
总体描述 
本发明涉及数字光学比较器系统,为便于引述,此后称作“DOC”。本发明的DOC是计算机化的光学仪器,其允许用户对部件的数字实况视频图像与部件的CAD制图进行实时(即,以摄像机的全帧速)比较,而没有关于部件尺寸的任何限制。 
DOC捕获部件的分辨率很高的数字实况视频图像,并实时地执行图像校正操作,以去除由系统的镜头引入的任何畸变,并对图像中的任何坏点像素进行校正。 
在这些图像校正操作之后,对于大部件或小部件,DOC均产生几何上正确的高质量的部件图像(即,无畸变并且没有点缺陷)。 
DOC仍然实时地进行如下操作: 
·在“已校正”图像上执行任何需要的图像处理操作(例如:图像增强、不均匀照明校正、噪声去除、颜色校正等等) 
·将部件的CAD制图叠加到“已校正”和“已增强”的图像上。 
DOC允许用户使用外部设备(比如,具有X-Y-θ控件的操纵杆)或等同地用于X-Y平移&旋转的在屏控件,屏幕上移动(X-Y平移&旋转)CAD制图。这允许用户快速、容易地将部件及其制图排列对齐,而不必移动部件。 
通过使用图案匹配软件工具,或者通过平移和/或旋转CAD制图,使得位于部件上的边缘点与CAD制图上的对应位置匹配,或者通过这两种方法的组合,DOC还可以自动地执行该对准操作。 
最后,在至少一个计算机监视器上,DOC以摄像机的全帧速和全分辨率显示所得到的“已校正”和“已增强”的高分辨率视频图像,该视图图像被叠加了适当缩放和对准的CAD信息。。 
对于DOC,如果部件与其CAD制图完全匹配,则部件的图像与CAD制图将完美对齐。如果在部件与其CAD制图之间存在任何差异,则这些差异将在屏幕上轻易可见。 
DOC还允许操作员在屏测量多个维度,包括上述任何差异的大小。 
通过使用基于边缘检测的测量工具,DOC还可以自动地验证部件在多个用户指定的控制位置处于容差范围内。 
应该理解,DOC还可以包括手动或机动的架台,以在摄像机前方移动部件。当对架台进行了编码时,DOC能够(通过将架台位移与测量点之间的特征的在屏位置相关)在超出光学视野之外进行测量。 
还应该理解,DOC还可以简单地通过扫描条形码(例如,条形码可以与工作顺序相对应)或通过手动输入条形码信息(在本示例中,输入工作顺序编号),来调用部件的制图。 
还应该注意,DOC能够通过点击单个在屏按钮,来重新调用先前显示的CAD制图(以及显示CAD制图的位置和取向)。 
DOC包括: 
·镜头11 
·数字摄像机13 
·计算机或其它适当的数据处理系统15,运行适当的硬件和软件以与摄像机接口连接 
·一个或多个监视器17,优选的实施方式提供多个监视器,这允许完全地显示摄像机产生的高分辨率图像(即,在监视器组上以1∶1的分辨率显示,使得来自摄像机的每个像素与监视器组上的像素相对应,并允许用于其它窗口的空间。) 
·照明装置19(透射的和/或反射的,分别用于背面照明和/或正面照明)。DOC的优选实施方式提供的照明设备是可编程的和由计算机控制的,这允许可重复的照明条件。读者将理解,可编程的、由计算机控制的照明装置需要存在适当的接口和控制硬件。 
·用于安装摄像机、镜头和照明装置的装置21,比如支架、硬件和结构性元件。读者应该理解,可以垂直地、水平地或以任何其它任意的取向来安装摄像机、镜头和照明装置。 
·用于在摄像机与镜头之间安装部件20的装置23。 
·在计算机上运行的经适配的软件。 
实施和操作
图像捕获
DOC的照明装置、镜头和摄像机产生很高分辨率的部件的数字图像 流(也被称作实况视频)。这与一些现有技术系统的不同之处在于,捕获部件的“快照”或静止图像。在本发明中,获取流形式数据,使得可以对部件进行更动态的比较。 
优选实施方式使用远心镜头,并包括可编程的、由计算机控制的照明(对于可重复的照明条件)。 
图像校正
DOC对图像流执行实时图像校正操作。 
在优选实施方式中,执行自动图像校正31以获取部件的几何上正确的图像(即,其中所有像素与相同的真实维度对应的图像)。以下详细描述DOC的自动畸变校正子系统。 
该方案校正由DOC的镜头引入的误差。没有任何这种校正的话,图像相对于部件不是几何真实的(即,一些部分会显得比其应有的尺寸大,另一些部分会显得比其应有的尺寸小)。在更大或更小程度上,这对于在所有的光学镜头导致其产生的图像发生畸变的较大视野,这尤其如此。 
DOC还对摄像机引入的图像中的缺陷进行校正。优选实施方式针对被称作死点像素的缺陷像素来校正图像。将进一步描述DOC的自动缺陷像素校正方案。 
本发明的优选实施方式使用具有极高分辨率的传感器的摄像机,这些传感器正好就是那些其中缺陷像素更常见的传感器。DOC自动地识别缺陷像素,并校正图像以去除缺陷像素的影响。 
针对大部件和小部件,图像校正均允许DOC产生几何上正确的高质量的部件图像(即,无畸变且没有点缺陷)。 
图像增强
在图像校正方案之后,DOC还对实况视频流中的每个图像执行实时的图像增强33。 
在DOC的优选实施方式中,一些可用的图像增强操作包括但不限于:噪声去除、不均匀照明校正、边缘锐化和颜色校正。 
CAD文件比较
DOC可以用于读取包含部件数学定义的CAD文件。优选实施方式包括CAD包37,所述CAD包从数据库45或其它存储库中读取DXF格式的CAD文件,但是其它CAD文件格式(比如DWG)也在本发明范围内。 
DOC可以自动地对CAD文件的内容进行缩放以匹配系统的光学放大。 
然后可以将适当缩放后的CAD数据叠加到(已校正和已增强的)实况视频图像流上。 
CAD数据和部件的手动对准
DOC允许用户将CAD制图与部件的图像手动对准。 
DOC允许用户通过使用外部设备(比如,具有X-Y-θ控件的操纵杆)、或利用例如键盘和鼠标43之类的X-Y平移和旋转的等效在屏控件、或甚至通过使用轨迹球或触摸屏,来在屏移动(X-Y平移&旋转)CAD制图。这允许用户快速、容易地将部件与其制图排列对齐,而不必移动部件。 
CAD数据与部件的自动对准
通过使用图案匹配软件工具39,或者通过平移和/或旋转CAD制图以使位于部件上的边缘点与CAD制图上的对应位置匹配,或者通过这两种方法的组合,DOC还可以自动地执行对准操作。 
优选实施方式使用以下方法:当第一次将CAD文件读入系统时(于是系统处于“教学”模式),用户将部件的制图与所显示的部件图像手动对准。系统记住该位置和取向。将“教学”模式中部件的位置和取向叫做标称位置和取向。 
然后,当下一次将制图读入系统时,可以使用图案匹配工具来得到部件的位置和取向。然后,可以将该位置和标称位置之间的旋转和平移差施加至CAD数据。这样,CAD制图始终“追随该部件” 
另一种细化也是可能的。使用上述方法得到初始“开始”位置和取向,或者可以由用户手动设定初始“开始”位置和取向。初始“开始”位置和取向被用作用于“精细搜索”的起始点位置。该“精细”搜索使用位 于一个或多个基准表面上的特定数目的“控制点”,或者使用在整个CAD制图上合理地均匀分布的特定数目的“控制点”(在这种情况下,可以将最终解答称为“总体最佳适配”)。软件边缘检测工具找到与这些“控制点”中的每个点最接近的适当边缘点。通过保持所有不同边缘点之间的距离恒定不变(即,“刚性体运动”),DOC自动地对制图的位置和取向进行平移和旋转调整,以最小化每个控制点与其最近的对应边缘之间的距离平方和的平方根(即,“最小平方”方法)。 
图像显示
可以通过计算机以摄像机的全帧速,实时地在屏显示得到的(具有叠加的、适当缩放的并已对准的CAD数据)图像流。 
在优选实施方式中,以完全的1∶1分辨率将图像流显示在多个监视器上(即,使用“监视器阵列”中的一个像素来显示图像中的每个像素)。 
对于DOC,如果部件与其CAD制图完全匹配,那么部件的图像与CAD制图在屏幕上完美地对齐。另一方面,如果部件与其CAD制图之间存在任何差异,这些不一致将在屏幕上轻易可见。 
测量
DOC还允许操作员通过使用鼠标简单地在屏选择测量点,来测量多个维度,包括上述任何差异的大小。由测量包51提供坐标并对其进行解释。 
DOC允许用户执行简单的点到点测量、以及多种其它类型的测量:角度、直径、半径等等。也可以进行终止于或起始于精细几何结构的测量,诸如起始于圆中心、两线交叉点之类的测量。 
通过使用基于边缘检测的测量工具,DOC还可以自动地验证:在用户指定的多个控制位置上部件处于容差内。 
架台接口
DOC还可以包括手动或机动的架台23以在摄像机前方移动部件,其中除了θ旋转,移动还包括x、y和z移动,以将部件的图像与制图协调一致。当架台被编码时,DOC(通过解码器解译器35)能够通过将架台位移与测量点之间的特征的在屏位置相关,在超出光学视野之外进行测量。 
其它功能
DOC可以简单地通过扫描条形码(例如,条形码可能与工作顺序相对应)或通过手动输入条码信息(在本示例中:输入工作顺序编号),来调用部件的制图。 
DOC还能够通过点击单个在屏按钮,来重新调用先前显示的CAD制图(以及显示的位置和取向)。 
光学畸变校正 
光学像差是由于偏离了高斯光学的理想条件而造成的。 
存在两种主要类型的光学像差:有色像差和单色像差。有色像差与光的不同波长有关,而即使光是高度单色的,也会发生单色像差。 
畸变是由1阶与3阶旁轴理论之间的差异造成的五个主要单色像差中的一个。另外四个是: 
·球面像差 
·彗形像差(或彗差) 
·像散 
·场曲 
球面像差、彗差以及像散使图像劣化并使其不清楚,而场曲以及畸变使图像发生形变。 
当镜头的横向放大率不恒定时发生光学畸变,光学畸变依据离轴图像距离而改变。如果放大率随离轴距离而增大,那么将每个点从图像的中心向外径向地移位,其中,最远的点移动量最大。这称为正畸变或枕形畸变。类似地,负畸变或桶形畸变对应于如下情况:放大率随轴向距离而减少,并且实际上图像上的每个点朝着中心向内径向地移动。 
光学畸变的数学模型 
在旋转对称的光学系统的情况下,可以通过以下等式来近似径向畸变: 
x′=x(1+k|x|2
                                            (1) 
其中: 
x是未畸变的位置(径向地测量的) 
x’是畸变的位置(径向地测量的) 
k是依赖于镜头特性的常量。 
k是畸变的系数。清楚地,k=0对应于不存在畸变的情况,k的正值和负值分别得到正畸变和负畸变。 
确定畸变系数 
单侧方法
确定镜头畸变系数的一个方法包括对具有三个对准基准的标准物进行成像。将第一基准精确地放置在摄像机视野的中心。基准之间的间距d是常量。以下示出了这些条件。 
应该注意,满足这些要求的标准物是非常普通的。例如,可以使用架台千分尺。 
在这些条件下,等式(1)可以如下写出: 
x d ′ = d ( 1 + k | d | 2 )
x 2 d ′ = 2 d ( 1 + k | 2 d | 2 )
在这些等式中,下标d和2d分别表示与光学中心线的中心相距d和2d的位置处的基准。 
应该注意,在等式(2a)和(2b)中,项xd’and x2d’是已知的(即,可以通过成像系统对其进行测量),而d和k是未知的。当然,d是任意的并且不是本文感兴趣的,本文的目的是获取k。 
此外,应该注意,贯穿本文,始终以像素来表示位置和距离。 
等式(2a)和(2b)可以如下写出: 
x d ′ = d + kd 3
x 2 d ′ = 2 d + 8 k d 3
在这两个等式中隔离出k,得到: 
k = x d ′ - d d 3
k = x 2 d ′ - 2 d 8 d 3
然后可以将这两个等式组合以产生 
x d ′ - d d 3 = x 2 d ′ - 2 d 8 d 3
其可以如下求解d: 
d = 4 3 x d ′ - 1 6 x 2 d ′
然后可以取代d以获得k。 
双侧方法
如下图所示,第二种方法包括使用五个均匀间隔开的基准。 
对于该方法,将中间的基准尽可能地与图像的中心对准。然后,对被称作x’inner的两个“内部”基准之间的距离以及被称作x’outer的两个“外部”基准之间的距离进行测量。 
在这些条件下,等式(1)可以如下写出: 
x inner ′ = 2 d ( 1 + k | d | 2 )
x outer ′ = 4 d ( 1 + k | 2 d | 2 )
然后可以如下写出等式: 
x inner ′ = 2 d + 2 kd 3
x outer ′ = 4 d + 16 k d 3
从这两个等式中隔离出k,得到: 
k = x inner ′ - 2 d 2 d 3
k = x outer ′ - 4 d 16 d 3
然后,可以将其组合以产生 
x inner ′ - 2 d 2 d 3 = x outer ′ - 4 d 16 d 3
其可以如下求解d: 
d = 2 3 x inner ′ - 1 12 x outer ′
然后可以取代d以获得k。 
可以看出双侧方法在精确性方面是比单侧方法的两倍。因此,在任何可实施时,始终应该保留双侧方法。 
读者应该理解,对于单侧方法和双侧方法两者,应该总是逐个基准地,而绝不从系统的光学中心线,来执行所有的测量。这实际上消除了由于伪像与光学中心线之间的小的未对准而导致的任何误差。 
实际实施 
实施自动畸变校正需要校准过程以及等式(1)的快速实施。 
校准过程
基于上述双侧方法,本发明考虑半自动畸变校准过程。 
在校准操作期间,显示十字准线,以允许在光学上对准伪像(即,将伪像与视野的中心对准,并将伪像相对于视野“摆好”)。 
校准过程的最终结果是畸变系数k。 
“在运行中”执行畸变校正
在知道畸变系数k的情况下,可以执行预处理操作以为图像中的每个像素确定“源”坐标。 
具体地,这表示需要针对x’来求解(1)(为方便起见,如下重写等式(1)),其中,x和k是已知的。 
x′=x(1+k|x|2
在一般情况下,当然,x’并非正好是整数值,这表示x’落在像素之间的某个位置,而非正好落在一个像素上。 
这样,必须执行(选定阶数的)插值来获得可以实际实现的“对应矩阵”(即,应该根据上述等式从像素(i,j)的位置获得该位置处的信息)。 
最近邻插值
例如,可以执行最近邻插值(即,0阶插值),在该情况下,对矩阵最简单(即,应该直接从像素(k,l)获得像素(i,j)处的信息)。 
最近邻插值是非常快速的操作;但是,其产生了具有“块状”伪像的结果图像。可见最近邻插值可以造成高达1/21/2像素单元的空间偏移误差。 
双线性插值
双线性插值(即,1阶插值)通常由于额外的计算成本而产生更好的结果。 
双线性插值的一般等式是: 
v(x,y)=ax+by+cxy+d 
其中, 
v(x,y)是位置(x,y)处的插值数值, 
a,b,c和d是系数。 
应该注意,在该形式的双线性等式中: 
0<=x<=1 
0<=y<=1 
通过使用已知的信息v(0,0),v(0,1),v(1,0)和v(1,1),可以如下表示四个系数: 
a=v(1,0)-v(0,0) 
b=v(0,1)-v(0,0) 
c=v(1,1)-v(1,0)+v(0,0)-v(0,1) 
d=v(0,0) 
在双线性插值的情况下,可以通过针对每个像素保持四个“角落”坐标(即在等式(13)中的坐标(0,0),(0,1),(1,0)和(1,1))以及用于求解等式的x和y值,来实现对应矩阵。然后可以将该信息用于实时地求解等式。 
应该注意,对于彩色图像,必须按照这种方法对所有的三个彩色通道进行插值,对于最近邻及双线性插值来说都是如此。 
最后,应该注意,其它高阶插值方案也是可用的,并且在许多情况下,可以产生更好的结果。但是,计算成本一般更高。双线性插值一般被认为是非常好的折衷。 
缺陷像素 
在本发明的上下文中,缺陷像素是摄像机的CCD传感器上不按照其应该的方式来操作的像素。缺陷像素会影响CCD传感器和CMOS传感器两者,然而根据申请人的经验,缺陷像素在COMS传感器中普遍得多,尤其是那些具有非常高分辨率的CMOS传感器。 
缺陷像素还会在LCD监视器上出现。但是在LCD监视器的缺陷像素 不能产生精确的光电平的情况下,在摄像机传感器中,缺陷像素不能正确地感测光电平。 
具体地针对LCD屏幕,ISO 9002 13406-2标准区分三种不同类型的缺陷像素: 
1.热像素(总是开) 
2.死像素(总是关) 
3.受困像素(一个或两个子像素总是开或总是关) 
仍然根据ISO 9002 13406-2标准: 
针对暗背景,热像素通常最容易看见。被称作辉光像素的永久性点亮的白色像素是热像素的特殊情况。 
死像素是保持不点亮的缺陷像素。针对白色背景,死像素通常最容易看见。 
针对黑色背景,受困像素通常是最可见的,其中,会显现红色、绿色、蓝色、蓝绿色、红紫色或黄色,然而红色、绿色或蓝色受困像素是最常见的。在LCD监视器上每个像素由三个子像素构成(一个红色、一个绿色、一个蓝色),所述三个子像素通过它们的相对亮度来产生像素的可见颜色。LCM监视器中受困像素是由制造缺陷导致的,制造缺陷使得三个子像素中的一个或多个像素为永久性地开或关。 
有时可以通过按压或轻敲来机械地操纵缺陷像素周围的区域,以改善LCD屏幕中的缺陷像素。这可以有助于在屏幕内均匀地分布油,但是也可能损坏屏幕。 
无法保证受困像素是可校正的,受困像素可能在监视器的使用寿命期间保持为故障状况,然而可以通过以非常快速的强度闪现多种颜色来修理受困像素。 
受困像素常常被错误地称为死像素,后者具有相似的外观。在死像素中,所有的三个子像素永久性地关闭,产生永久性的黑色像素。死像素可以由与受困像素相似的制造异常而导致,但是也可以由于不起作用的晶体管造成像素完全缺乏电力供应而发生。死像素随着时间而自我校正、或者通过若干常用方法中的任何方法进行修复的可能性要小得多。 
与死像素不同,已有报道受困像素消失了,并且存在声称能修复受困像素的若干常用方法,比如,轻轻地摩擦屏幕(以尝试将像素复位),使受困像素的颜色值快速地循环(换句话说,在屏幕上闪现亮的颜色),或简单地容忍受困像素直到其消失(可能花费的时间在一天到若干年的范围内)。尽管这些方法可以对一些受困像素起作用,但是,其它的受困像素却不能通过上述方法来修复。在修复之后,如果保持屏幕关闭数小时,那么一些受困像素会再次出现。 
以上信息适用于LCD监视器中的缺陷像素上。在本发明感兴趣的摄像机传感器中的缺陷像素的情况下,术语死像素一般用来涵盖所有类型的缺陷像素。此外,仍然对于摄像机传感器,满足ISO 9002 13406-2标准的真“受困像素”仅针对3-CCD摄像机而存在,3-CCD摄像机远没有单传感器摄像机应用广泛。对于单传感器摄像机,最通常的是经由拜耳(Bayer)滤波器获得颜色,因此不存在所提到的子像素。 
仍然针对摄像机传感器,如ISO 9002 13406-2标准中定义的真“死像素”和“热像素”(即,总是关和总是开的像素)看起来远没有“部分开”(即,并非完全开或完全关的像素)那么普遍。应该注意,因为拜耳滤波器效应,这些“部分开”的像素在单传感器彩色摄像机中具有截然不同的颜色。不清楚这些“部分开”像素的亮度是否有时可以随着时间而改变。清楚的是,在合理短的时间段(即,数小时)上,这些“部分开”像素的亮度(针对给定的场景亮度)保持不变。但是,如果场景亮度显著改变,那么这些“部分开”像素的亮度会改变。为对此进行说明,假设如下形式:来自相邻像素的“溢出”。 
综上,对于摄像机传感器,使用术语死像素来描述所有的缺陷像素,并且最常见类型的缺陷像素是那些保持部分开的像素。 
缺陷像素检测 
可能存在检测图像中缺陷像素的不同方法。就申请人而言,产生快速、精确和可靠结果并且已选择的一种方法包括对应该是全黑的图像进行分析。 
该方法需要要求用户在绝对没有光到达摄像机的传感器的情况下提供图像。然后系统对用户指定的感兴趣区域(ROI)中的所有像素进行查看,并对其至少一个通道(即,R、G、B)值高于用户指定阈值的所有像素进行定位。应该注意,ROI当然还可以被设置为与整个图像相对应。 
对于每像素24比特的图像(即,对于R、G和B通道中的每个通道为8比特),可能的阈值范围是从0至255。 
阈值可以依据摄像机的具体特点而改变较多。此外,阈值可以依据一些摄像机设置(例如,增益、曝光度及其他设置,这依赖于摄像机可用的特定设置)。因此,当选择阈值时,应该谨慎。在受影响像素的数目与阈值之间的关系中一般存在剧烈的“突变”(即,如果选择低于拐折点的阈值,那么受影响像素的数目将剧烈增长——可能一直增长到100%的像素)。因此,最优值是刚好高于该拐折点的值。一般说来,用户的眼睛会容易且直观地告诉用户是否需要缺陷像素校正,并且在少量快速的“尝试和错误”之后,得到阈值应该是多少的最好近似。 
缺陷像素校正方案 
可以使用上述方法来检测缺陷像素。然后,针对每个像素,可以设定标志(指示像素是否是“有缺陷”),并将标志保持在有序向量中。 
应该注意,可以将该向量存储到盘中,并将其在会话之间传送。按照这种方式进行,理论上仅需要在系统试运行时执行一次缺陷像素校正。 
使用该“标志”向量,可以对来自摄像机的每个图像执行缺陷像素校正。为此,应该是在“图像捕获”流水线的较远的上游处引入缺陷像素校正过程。事实上,该过程应该适当地紧接在图像捕获操作之后(的确应该是在任何畸变校正或类似过程之前)。 
缺陷像素校正过程应该考虑ROI中的每个像素,对于具有指示像素“有缺陷”的标志的每个像素((i,j)),应该执行以下的局部化(即,像素特定的)校正: 
R(i,j)=(R(i-1,j)+R(i+1,j)+R(i,j-1)+R(i,j+1))/4 
G(i,j)=(G(i-1,j)+G(i+1,j)+G(i,j-1)+G(i,j+1))/4 
R(i,j)=(B(i-1,j)+B(i+1,j)+B(i,j-1)+B(i,j+1))/4 
应该理解,如果一个或两个相邻像素不可用(比如,对于图像边缘上的像素是如此情况),则应该适当地修改上述4近邻校正方案。此外,不应该将本身需要校正的相邻像素用于执行缺陷像素校正,并且应该相应地修改以上等式。 
应该注意,也可以考虑9近邻校正方案(或为此,更宽)。在这种情况下,可以建议使用适当的(即,距离加权的)插值系数。 
尽管以上本文已经通过优选实施例描述了本发明,但应该指出,针对优选实施例所做出的落在所附权利要求范围内的任何修改不应视为改变或更改了本发明的本质和范围。 

Claims (23)

1.一种数字光学比较器,包括:
保持器,用于保持部件;
光源,用于为部件照明;
用于捕获被照明部件的图像的摄像机,和放置在所述摄像机前面的镜头;以及
数据处理系统,用于接收图像、确定所述部件的位置和取向、获得所述部件的CAD制图、在计算机屏幕上显示所述图像和所述制图、并将所述制图数字地覆盖在所述图像上,所述数据处理系统包括:用于通过相对于所述图像平移和旋转所述制图,来将所述制图与所述图像对准的装置。
2.根据权利要求1所述的数字光学比较器,其中,所述比较器还包括图像增强模块。
3.根据权利要求1所述的数字光学比较器,其中,用于将所述制图与所述图像对准的装置包括:与所述数据处理系统操作性关联的操纵杆。
4.根据权利要求1所述的数字光学比较器,其中,用于将所述制图与所述图像对准的装置包括:鼠标和键盘、或轨迹球。
5.根据权利要求1所述的数字光学比较器,其中,用于将所述制图与所述图像对准的装置包括图案匹配子系统。
6.根据权利要求1所述的数字光学比较器,其中,所述计算机屏幕包括多个屏幕,使得以1∶1的分辨率显示所述图像。
7.根据权利要求1所述的数字光学比较器,其中,所述部件安装在可移动架台上。
8.根据权利要求1所述的数字光学比较器,其中,所述数据处理系统是通用计算机。
9.根据权利要求1所述的数字光学比较器,其中,所述比较器还包括缺陷像素校正器。
10.根据权利要求1所述的数字光学比较器,其中,所述制图显示所述部件,并且所述制图还图形化地显示针对所述部件的容差,使得能够在视觉上确定所述部件是否是在容差范围内制造的,而无需测量所述部件。
11.根据权利要求1所述的数字光学比较器,其中,所述数据处理系统还包括使得能够进行在屏测量的测量包。
12.根据权利要求1所述的数字光学比较器,其中,所述摄像机向所述数据处理系统提供流形式视频信号。
13.根据权利要求1所述的数字光学比较器,其中,用于将所述制图与所述图像对准的装置通过最小化所述CAD制图上的控制点与所述图像中所述部件上的相应点之间的最小平方距离,来自动地平移和旋转所述CAD制图至所述部件。
14.根据权利要求7所述的数字光学比较器,其中,基于所述可移动架台的位移来跟踪所述可移动架台上的所述部件的移动,从而能够在超出系统的光学视野之外进行所述部件与所述CAD制图的比较。
15.根据权利要求1所述的数字光学比较器,其中,所述比较器包括图像畸变校正模块。
16.一种允许对研究的部件与参考CAD制图进行比较的方法,所述部件是按照所述制图中包括的规格而制造的,所述方法包括步骤:
(a)在支撑物上放置所述部件;
(b)为所述部件照明;
(c)使用摄像机捕获所述部件的图像,所述摄像机配置有镜头;
(d)在显示器上覆盖所述制图与所述部件的所述图像;以及
(e)相对于所述图像平移和旋转所述制图。
17.根据权利要求16所述的方法,其中,所述方法还包括步骤:在所述显示器上显示所述图像之前,使用图像校正模块对所述图像进行校正。
18.根据权利要求16所述的方法,其中,所述方法还包括步骤:在所述显示器上显示所述图像之前,使用图像增强模块对所述图像进行增强。
19.根据权利要求16所述的方法,其中,所述方法还包括步骤:将所述部件与所述制图手动或自动对准。
20.根据权利要求16所述的方法,其中,所述方法还包括步骤:使用畸变校正模块对所述镜头引入的畸变进行校正。
21.根据权利要求16所述的方法,还包括步骤:提供测量模块以便能够进行所述部件的在屏测量。
22.根据权利要求16所述的方法,还包括步骤:通过最小化所述CAD制图上的控制点与所述图像中所述部件上的相应点之间的最小平方距离,来自动地平移和旋转所述CAD制图至所述部件。
23.根据权利要求16所述的方法,还包括步骤:基于可移动架台的位移来跟踪所述可移动架台上的所述部件的移动,从而能够在超出系统的光学视野之外进行所述部件与所述CAD制图的比较。
CN201080019313.1A 2009-03-04 2010-03-01 数字光学比较器 Active CN102414536B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/398,127 2009-03-04
US12/398,127 US8917320B2 (en) 2009-03-04 2009-03-04 Digital optical comparator
PCT/CA2010/000295 WO2010099604A1 (en) 2009-03-04 2010-03-01 Digital optical comparator

Publications (2)

Publication Number Publication Date
CN102414536A CN102414536A (zh) 2012-04-11
CN102414536B true CN102414536B (zh) 2014-04-23

Family

ID=42677855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080019313.1A Active CN102414536B (zh) 2009-03-04 2010-03-01 数字光学比较器

Country Status (4)

Country Link
US (2) US8917320B2 (zh)
EP (1) EP2417419B1 (zh)
CN (1) CN102414536B (zh)
WO (1) WO2010099604A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8269970B2 (en) * 2009-07-02 2012-09-18 Quality Vision International, Inc. Optical comparator with digital gage
KR20140005316A (ko) * 2011-03-31 2014-01-14 비젼 엑스 아이엔씨. 부품과 기준 도면의 적합 여부를 자동적으로 결정하는 방법 및 장치
US8780223B2 (en) 2011-03-31 2014-07-15 VISIONx INC. Automatic determination of compliance of a part with a reference drawing
CN102661706A (zh) * 2012-04-28 2012-09-12 江南大学 一种基于机器视觉的硬盘磁体位置度自动检测方法
US9360435B2 (en) 2012-05-07 2016-06-07 The L.S. Starrett Company Optical video measurement system having interchangeable optics
CN103063152B (zh) * 2012-12-28 2015-06-17 上海烟草集团有限责任公司 滤棒香料线中心距的定量检测方法
WO2015058152A1 (en) 2013-10-17 2015-04-23 Plethora Corporation Method for implementing design-for-manufacturability checks
WO2015058147A1 (en) 2013-10-17 2015-04-23 Plethora Corporation Method for quoting part production
WO2016018717A1 (en) 2014-07-29 2016-02-04 Plethora Corporation System and method for automated object measurement
US9568299B2 (en) 2015-04-17 2017-02-14 Toyota Motor Engineering & Manufacturing North America, Inc. Tool for use with a two piece grommet
CN104913739B (zh) * 2015-06-26 2017-10-27 北方工业大学 一种曲轴曲拐偏心的视觉测量方法及装置
DE102015112651B3 (de) * 2015-07-31 2016-07-28 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Messgerät zum Bestimmen von dimensionalen Eigenschaften eines Messobjekts
DE102015117276B4 (de) 2015-10-09 2018-09-06 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zum Vermessen eines Messobjekts mit verbesserter Messgenauigkeit
US9792674B2 (en) * 2016-03-10 2017-10-17 Netflix, Inc. Perspective correction for curved display screens
WO2018015914A1 (en) * 2016-07-20 2018-01-25 Arun Kumar A multipurpose digital rapid profile projector
DE102016218360B4 (de) 2016-09-23 2019-08-29 Carl Zeiss Industrielle Messtechnik Gmbh Kalibrierstruktur und Kalibrierverfahren zur Kalibrierung von optischen Messgeräten
US20170084085A1 (en) * 2016-11-30 2017-03-23 Caterpillar Inc. System and method for object recognition
GB201901244D0 (en) * 2019-01-30 2019-03-20 Rolls Royce Plc Method of determining the displacement of a component, computer program comprising code to preform the method
US11335084B2 (en) * 2019-09-18 2022-05-17 International Business Machines Corporation Image object anomaly detection
CA3125344C (en) * 2019-11-13 2023-01-24 VISIONx INC. Methods and associated systems for determining compliance of a part having an uneven profile with a reference drawing
DE102020118319B4 (de) * 2020-07-10 2021-09-16 Heilig & Schwab GmbH & Co. KG Verfahren und Vorrichtung zur Vermessung eines Messobjekts
EP4202749A1 (en) 2021-12-27 2023-06-28 Visionx Inc. Systems and methods for alignment and comparison of a reference drawing with images of a part

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0593183A2 (en) * 1992-10-16 1994-04-20 Polaroid Corporation Video/cad image comparator system
TW411392B (en) * 1998-01-16 2000-11-11 Nippon Electric Co Automatic visual inspection apparatus, automatic visual inspection method, and recording medium having recorded an automatic visual inspection program
TW490591B (en) * 1999-08-26 2002-06-11 Nanogeometry Res Pattern inspection apparatus, pattern inspection method, and recording medium
CN1525396A (zh) * 2003-06-20 2004-09-01 北京中星微电子有限公司 一种镜头成像畸变校正的方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5249045A (en) * 1954-12-24 1993-09-28 Lemelson Jerome H Apparatus and methods for automated observation of three-dimensional objects
US4139304A (en) * 1977-02-10 1979-02-13 National Research Development Corporation Methods and apparatus for measuring variations in distance to a surface
US4167066A (en) * 1978-04-14 1979-09-11 The Boeing Company Automatic inspection apparatus
US4823396A (en) * 1987-07-21 1989-04-18 The Boeing Company Automated fastener inspection system
US4866990A (en) * 1988-10-31 1989-09-19 Buell Industries, Inc. Threaded fastener test stand
US5150623A (en) * 1990-07-17 1992-09-29 The Boeing Company Inspection device for flush head bolts and rivets
US5440396A (en) * 1993-03-25 1995-08-08 United States Surgical Corporation Video comparator system
US6055329A (en) * 1994-06-09 2000-04-25 Sherikon, Inc. High speed opto-electronic gage and method for gaging
JPH08194734A (ja) * 1995-01-17 1996-07-30 Dainippon Printing Co Ltd 微細パターン寸法画像計測装置
US6111601A (en) * 1995-12-11 2000-08-29 Adachi; Yoshi Non-contacting laser gauge for qualifying screw fasteners and the like
JP3282516B2 (ja) * 1996-09-13 2002-05-13 日立プラント建設株式会社 三次元画像計測方法
US5936311A (en) * 1996-12-31 1999-08-10 Intel Corporation Integrated circuit alignment marks distributed throughout a surface metal line
US6452677B1 (en) * 1998-02-13 2002-09-17 Micron Technology Inc. Method and apparatus for detecting defects in the manufacture of an electronic device
US6301007B1 (en) * 1998-05-29 2001-10-09 The Regents Of The University Of California Machine tool locator
US6956963B2 (en) * 1998-07-08 2005-10-18 Ismeca Europe Semiconductor Sa Imaging for a machine-vision system
US6421458B2 (en) * 1998-08-28 2002-07-16 Cognex Corporation Automated inspection of objects undergoing general affine transformation
JP2000234915A (ja) * 1999-02-12 2000-08-29 Keyence Corp 検査方法及び検査装置
US7796801B2 (en) * 1999-08-26 2010-09-14 Nanogeometry Research Inc. Pattern inspection apparatus and method
US6958769B2 (en) * 2000-10-20 2005-10-25 S&S X-Ray Products, Inc. High resolution sheet metal scanner with independent tracking light source
US20020128790A1 (en) * 2001-03-09 2002-09-12 Donald Woodmansee System and method of automated part evaluation including inspection, disposition recommendation and refurbishment process determination
GB2389178B (en) * 2001-12-31 2004-10-27 Orbotech Ltd Method for inspecting patterns
MY137246A (en) * 2002-04-30 2009-01-30 Jfe Steel Corp Method and instrument for measuring bead cutting shape of electric welded tube
US20040066457A1 (en) * 2002-10-04 2004-04-08 Silverstein D. Amnon System and method for remote controlled photography
US6882745B2 (en) * 2002-12-19 2005-04-19 Freescale Semiconductor, Inc. Method and apparatus for translating detected wafer defect coordinates to reticle coordinates using CAD data
US7522163B2 (en) * 2004-08-28 2009-04-21 David Holmes Method and apparatus for determining offsets of a part from a digital image
US7134210B2 (en) * 2004-09-30 2006-11-14 The Boeing Company Systems and methods for dimensionally inspecting threaded fasteners
US7366862B2 (en) * 2004-11-12 2008-04-29 Lsi Logic Corporation Method and apparatus for self-adjusting input delay in DDR-based memory systems
US7365862B2 (en) 2005-10-24 2008-04-29 General Electric Company Methods and apparatus for inspecting an object
US7489408B2 (en) * 2005-11-15 2009-02-10 General Electric Company Optical edge break gage
JP2009540298A (ja) * 2006-06-05 2009-11-19 ヴィジコン インスペクション テクノロジーズ エルエルシー ステント検査システム
US7665843B2 (en) * 2007-02-21 2010-02-23 Yiling Xie Method and the associate mechanism for stored-image database-driven spectacle frame fitting services over public network
US8303309B2 (en) * 2007-07-13 2012-11-06 Measured Progress, Inc. Integrated interoperable tools system and method for test delivery
GB0719721D0 (en) * 2007-10-09 2007-11-21 Seos Ltd Image display apparatus
US7865316B2 (en) * 2008-03-28 2011-01-04 Lockheed Martin Corporation System, program product, and related methods for registering three-dimensional models to point data representing the pose of a part
US8024060B2 (en) * 2008-06-16 2011-09-20 Electro Scientific Industries, Inc. Method for defining safe zones in laser machining systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0593183A2 (en) * 1992-10-16 1994-04-20 Polaroid Corporation Video/cad image comparator system
TW411392B (en) * 1998-01-16 2000-11-11 Nippon Electric Co Automatic visual inspection apparatus, automatic visual inspection method, and recording medium having recorded an automatic visual inspection program
TW490591B (en) * 1999-08-26 2002-06-11 Nanogeometry Res Pattern inspection apparatus, pattern inspection method, and recording medium
CN1525396A (zh) * 2003-06-20 2004-09-01 北京中星微电子有限公司 一种镜头成像畸变校正的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
图像动态信息检测系统的软、硬件设计;钟冠平等;《厦门大学学报》;19970930;第36卷(第05期);696-701页 *
钟冠平等.图像动态信息检测系统的软、硬件设计.《厦门大学学报》.1997,第36卷(第05期),696-701页.

Also Published As

Publication number Publication date
US20150161776A1 (en) 2015-06-11
EP2417419A4 (en) 2016-11-23
WO2010099604A1 (en) 2010-09-10
EP2417419B1 (en) 2018-02-14
CN102414536A (zh) 2012-04-11
US20100225666A1 (en) 2010-09-09
EP2417419A1 (en) 2012-02-15
US8917320B2 (en) 2014-12-23
US9292915B2 (en) 2016-03-22

Similar Documents

Publication Publication Date Title
CN102414536B (zh) 数字光学比较器
JP5228490B2 (ja) 画像解析によって欠陥検査を行う欠陥検査装置
KR100805486B1 (ko) 디스플레이의 다각도 계측 시스템 및 방법
CN107860311B (zh) 操作三角测量法激光扫描器以识别工件的表面特性的方法
US7394483B2 (en) Display evaluation method and apparatus
DE102015210440A1 (de) Bildprüfvorrichtung, Bildprüfverfahren, Bildprüfprogramm, computerlesbares Aufzeichnungsmedium und Aufzeichnungseinrichtung
JP5997989B2 (ja) 画像測定装置、その制御方法及び画像測定装置用のプログラム
TW200421857A (en) Method and apparatus for optical inspecting of a display
TWI484283B (zh) 影像計算量測方法、影像計算量測裝置及影像檢查裝置
CN105911724B (zh) 确定用于检测的光照强度的方法和装置、及光学检测方法和装置
KR20050051535A (ko) 결함 검사 장치
US20220222855A1 (en) System and method for determining whether a camera component is damaged
CN111044262A (zh) 近眼显示光机模组检测装置
CN101179661A (zh) 产生镜头与图像传感器间的空间关系的信息的方法及装置
JP2006242759A (ja) 周期性パターンのムラ検査方法
US11158038B2 (en) System for evaluating correctness of gear mesh and automatically updating results on a production system
JPH11132720A (ja) 点欠陥検出装置及び方法
JP2020096325A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN211696890U (zh) 近眼显示光机模组检测装置
JP2005181040A (ja) 表示パネルの欠陥検出方法及びその検出装置並びに表示パネルの製造方法
KR101587560B1 (ko) 차량용 광각 렌즈 모듈의 검사 장치
Choi et al. Image restoration for quantifying TFT-LCD defect levels
CN114707529A (zh) 一种线阵相机调焦过程中的图像质量评价方法和系统
JP2009060460A (ja) 光軸調整値算出装置、光軸調整値算出方法、光軸調整値算出プログラムおよびコンピュータ読み取り可能な記録媒体
CN107945236B (zh) 一种适于通用光学系统的亚像素级非线性标定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant