CN106303509A - 相机子组合件灰尘及缺陷检测系统及方法 - Google Patents

Abstract

本申请案涉及一种相机子组合件灰尘及缺陷检测系统及方法。检查CCD相机子组合件的高分辨率图像以确定所述子组合件内侧是否存在灰尘。通过检查灰尘粒子的大小、数目及位置，可确定在将所述相机子组合件集成到经完全组装的文档扫描仪中时，所述灰尘是否可能造成问题。还可检测例如玻璃覆盖物上的刮痕等其它污染物及缺陷。此方法可用作对来自制造商的个别相机子组合件的接受准则。

Description

相机子组合件灰尘及缺陷检测系统及方法

技术领域

本发明涉及在相机子组合件的制造期间的缺陷检测，且特定来说涉及一种用于在相机子组合件安装于成像系统产品内之前检测所述相机子组合件中的灰尘及缺陷的系统及方法。

背景技术

文档扫描仪的主要成像组件通常被OEM制造商捆绑在一起且制造为“相机子组合件”。可接着将子组合件运送到最终制造位点，其中将所述子组合件集成或构建到文档扫描仪的其余部分中。

在制造用于安装到成像装置中的相机子组合件时，灰尘污染总是成为问题，这是因为所述灰尘污染可导致利用装置捕获的图像的质量的降低。其它污染物(例如玻璃盖上的刮痕)也可发生于制造期间且类似地导致经减低图像质量。典型子组合件由全部封围于气密式塑料主体中的CCD相机、反射器、相关联电子器件及玻璃盖组成。子组合件还可包括LED照明装置。成像传感器可为CIS传感器(与CCD相对比)，且照明装置可为CCFL(与LED相对比)。特定来说，如果在制造过程期间灰尘粒子进入子组合件内侧，那么所述灰尘粒子可四处移动且通常到达玻璃表面的底侧上。此可通常为运送及处置相机子组合件或经完全组装的成像装置(例如文档扫描仪)的结果。在扫描或图像捕获期间存在于玻璃表面上的任何灰尘粒子如果处于恰当位置中且足够大，那么可导致不良质量图像。举例来说，灰尘粒子可显现为存在于所捕获图像中的垂直条痕。

用于解决CCD相机的成像路径中的条痕的常见技术是执行计及灰尘的存在的图像校准。然而，灰尘粒子并非静止的且可在相机子组合件内移动。如果一或多个灰尘粒子移动，那么成像装置(例如扫描仪)将接着被校准成考虑到不再存在的条痕而使得由灰尘粒子在其新位置处造成的条痕未被考虑到。由于子组合件为密封的，因此一旦将子组合件安装到成像装置中，便可难以移除灰尘或完全补偿所述灰尘在相机子组合件内的存在。

需要一种在从制造商接受相机子组合件且将所述相机子组合件组装于成像装置中之前检测所述相机子组合件中的灰尘粒子的准确自动化方法。当前，使用来自外部源的直接照明来执行对安装之前的相机组合件的视觉检验。然而，此视觉检验技术具有数个缺点。其为极劳动密集型的，灰尘粒子可通常被遗漏且难以一致地应用用于做出关于子组合件是可接受还是不可接受的确定的准则。举例来说，分析的程度及最终确定可取决于进行视觉检验的个体而变化，这是因为每一不同检验者可应用不同准则或一些检验者可比其它检验者周密。因此，需要一种在将相机子组合件安装到图像装置中之前检验所述相机子组合件以找出灰尘粒子的准确自动化方法。

发明内容

本发明针对于一种用于在相机子组合件安装于成像装置中之前对所述相机子组合件执行缺陷检测的系统及方法。特定来说，所述系统及方法通过以下操作而检测相机子组合件上的灰尘、刮痕或其它缺陷：将所述子组合件放置到固定装置中、对所述子组合件进行照明、捕获高分辨率图像且分析这些图像以检测任何缺陷的存在及严重程度。

相机子组合件通常由全部封围于气密式塑料主体中的CCD相机或其它图像感测元件、选用照明元件、反射器、相关联电子器件及玻璃盖构成。这些子组合件接着包含于各种成像装置(包含文档扫描仪、个人扫描仪及数码相机)中。如上所述，相机子组合件中的灰尘、刮痕或其它缺陷可导致由成像装置捕获的图像的经减低质量。一旦将子组合件安装于成像装置中，便可难以充分补偿灰尘及缺陷，从而降低成像装置的质量及有用性。本文中所描述的系统及方法提供在子组合件安装于成像装置中之前对所述子组合件中的缺陷的自动检测及分析。具有显著缺陷或具有可难以通过数字图像校准技术进行补偿的缺陷的子组合件可在安装之前被拒绝。因此，所述系统及方法可用于帮助防止安装具有显著缺陷的相机组合件，借此增加数字成像装置的质量。

所述系统包含经专门设计以固持相机子组合件的固定装置。通过经专门设计电路板及标准布线而将电力供应到相机子组合件。所述电路板控制在子组合件受测试单元内或者安装或附接到固定装置的LED的照明级。经专门设计固定装置还相对于相机子组合件而以预定高度及角度来固持高性能区域相机(例如，CCD阵列相机)或任何高分辨率相机。区域相机是CCD阵列相机。其拍摄呈二维(矩形)的图片，与单线相机相对比。

基于对视野的要求(具有使整个相机子组合件成像的目标)及对有效分辨率的要求(>＝600dpi)而确定相机高度。所述角度需要为90度(垂直于相机子组合件上的玻璃)。当组装固定装置时，焦点是固定的。存在对总体放大率的软件检查以确保维持系统的完整性。将由受测试单元的LED背光的相机子组合件玻璃的一或多个高分辨率图像捕获并发送到处理单元。所述处理单元通过执行粒子检测及缺陷表征软件模块而分析所述高分辨率图像，所述粒子检测及缺陷表征软件模块对在相机子组合件玻璃的焦平面处发现的异常的特性进行定位及列表。粒子检测及缺陷表征模块进一步将灰尘与刮痕区分开且确定所述异常的严重程度。粒子检测及缺陷表征模块关于接受准则而分析所获取高分辨率图像，且基于此分析而在相机子组合件与扫描仪的其余部分集成之前接受或拒绝所述相机子组合件。

附图说明

图1A提供具有内部照明元件的受测试相机子组合件的图片。

图1B提供具有外部照明元件的相机子组合件的图片。

图2展示经照明相机子组合件玻璃的一部分的俯视图。

图3展示示范性所关注区(ROI)。

图4展示经增强所关注区，其展示所检测粒子。

图5提供通过粒子检测及缺陷表征软件检测的粒子的经放大图片。

图6展示经后处理所关注区(被放大)。

图7提供来自处理的结果的部分列表。

图8A提供操作者工作流程的流程图。

图8B提供粒子检测及缺陷表征软件的流程图。

具体实施方式

本文中所描述的系统及方法包含用于固持待检验的相机子组合件的固定装置，所述固定装置还固持经配置以捕获相机子组合件的高分辨率图像的高分辨率相机。提供控制电路板，所述控制电路板在检验过程期间将电力提供给相机子组合件且控制一或多个照明元件。高分辨率相机连接到包含处理器及存储器的检验控制装置。控制装置执行存储于存储器装置中的软件模块以控制高分辨率相机、捕获相机子组合件的高分辨率图像且执行对所捕获图像的分析。特定来说，控制装置包含粒子检测及缺陷表征软件模块，所述粒子检测及缺陷表征软件模块使用机器视觉技术来定位子组合件玻璃的适合于进行检查的区域。在特定实施例中，软件自动检测所关注区且在所述所关注区上进行放大。虽然应不需要手动选择，但在特定实施例中，可通过经由编辑初始化(.INI)文件的文本来改变ROI位置而采取手动选择。动态所关注区(ROI)产生会在将相机子组合件定位于固定装置中时针对小的单元间差异提供稳健性。动态所关注区(ROI)产生使用坐标系统，所述坐标系统实际上是相机子组合件看起来像什么的“映图”或“指南”。此映图知晓相机子组合件上的两个参考点及ROI相对于所述参考点应定位于何处。

在将相机子组合件插入到固定装置中且拍摄图像之后，发现相机子组合件图像上的两个参考点。接着使用坐标系统的知识来定位ROI(即，相机子组合件的可能含有灰尘/缺陷的矩形玻璃部分)的位置。以此方式，甚至可针对插入到固定装置中且受测试的每一相机子组合件考虑小的旋转差异及小的X-Y位置差异。

控制单元通过粒子检测及缺陷表征模块来执行自适应阈值确定以定位及测量焦平面处的小到0.05mm²的异常。自适应阈值确定是测量图像中的代码值。图像是单通道(单色)图像，8位。因此，照度通道的代码值介于从0到255的范围内。经照明灰尘及缺陷是亮镜面突出显示且与具有低代码值的周围暗背景相比具有高代码值。在.INI文件中将初始阈值设定为25个代码值，如依照参考灰尘检测系统以实证方式确定。可使用LabVIEW阈值确定实用程序迭代地改变阈值级。

迭代过程用于将表面灰尘与玻璃盖内侧上的灰尘粒子区分开且估计相机子组合件内的灰尘粒子的总数目。预定粒子特性用于将灰尘与刮痕或粒子识别过程中的其它污染物区分开。关于每一所定位灰尘粒子或其它缺陷的数据特征存储于存储器中。所存储特征包含缺陷数目、缺陷大小、缺陷类型及缺陷位置。这些特征可作为与被分析的所捕获图像相关联的元数据而存储。一旦粒子识别过程完成，控制单元便应用接受准则，例如粒子大小及x-y位置的元数据以及图像数据以多种格式保存，且针对相机子组合件采取适当动作过程。可相对于玻璃盖的特定点、框架、相机子组合件上的点或任何其它指定位置而确定x-y位置。举例来说，可相对于玻璃盖的左上角或相对于被分析的子组合件的中心点而确定x-y位置。

特定来说，控制单元基于准则的应用而确定缺陷的量及大小是否使得相机组合件对于安装到成像装置中来说是不可接受的。如果初始测量显露任何灰尘或刮痕，那么执行清洁操作且重新测试单元。通过清洁单元，透镜的表面上的灰尘应至少部分地被移除且在后续测试时将不会再次显现于相同位置中。相机组合件内的灰尘将可能不受清洁程序影响，且在后续测试时将可能显现于相同位置中。通过此清洁过程，可因此将表面灰尘及缺陷与子组合件内的灰尘或缺陷区分开。此过程可为迭代的且可继续达可由用户编程的数目个循环，或可继续直到清洁使所检测灰尘量降低到低于可编程或用户选择的阈值为止。在可编程数目个清洁循环之后剩余的缺陷可分类为潜在有害的缺陷且可通过软件经历进一步分析。控制单元可含有手动输入以允许用户针对灰尘检测设定用户选择的阈值，且还可允许用户输入清洁循环的优选或最大数目以供单元进行操作。另外，控制单元可含有灰尘检测阈值及清洁循环数目的预设值。可设定准则及阈值，如按特定相机及成像装置应用所需而确定。举例来说，在针对灰尘的特定实施例中，将准则设定于最大分段长度处且阈值是3个粒子>＝0.20mm(发现于ROI内的任何地方)。当满足此阈值时，确定相机子组合件对于安装到成像装置中来说是不可接受的。可针对灰尘以及其它缺陷设定额外或替代准则及阈值。

如图1A及1B中所见，系统包含经配置以固持受测试相机子组合件110及高分辨率成像相机120两者的固定装置组合件100。高分辨率成像相机120可调整地安装到固定装置100，使得高分辨率成像相机的高度及角度可改变。然而，在特定实施例中，固定装置提供为具有固定高度及角度的完整单元。控制电路130连接到相机子组合件且在相机子组合件110固持于固定装置100中时将电力供应到所述相机子组合件并控制到所述相机子组合件的信号。特定来说，控制电路130控制一或多个照明元件以在相机子组合件处于固定装置组合件中时将背光照明提供给所述相机子组合件。如图1A中所见，照明元件可定位于相机子组合件110内。替代地，如图1B中所见，照明元件150可安装于固定装置100上或附接到所述固定装置。如果照明元件150安装于固定装置100上，那么照明元件可安装于固定装置上的任何位置中或附接于所述固定装置上的任何点处。在特定优选实施例中，照明元件是LED且LED输出电平为固定的。在子组合件由照明元件进行照明的同时，高分辨率成像相机120由连接到相机120的控制单元140控制以捕获相机子组合件的高分辨率图像。控制单元可通过电缆或导线连接到相机120，或者可以无线方式连接相机120。将这些高分辨率图像递送到控制单元140以用于处理及分析。

如图2中所见，经照明相机组合件的所捕获图像可为从所述组合件的俯视视角拍摄的。图2展示完整相机子组合件。在中间的单个中心带(200)是可含有灰尘/缺陷的玻璃。当接通照明装置时，此区域中的灰尘/缺陷将为亮点。在中心区域上方及下方的带是相机子组合件内侧的反射器。将这些带展示为非阴影的，这是因为其将LED的光(照明)反射回到高分辨率相机中。相机子组合件中的实际LED在这些图中是不可见的。接下来的带(在图的顶部边缘及底部边缘处、在非阴影带上方及下方的条纹带)表示相机子组合件的塑料主体。由于相机子组合件及照明装置内的不同组件的高度差异而展示几种不同带。最终外侧带表示在相机子组合件底下的垫子。此为固定装置的部分而非相机子组合件的部分。图2图解说明子组合件玻璃200的图像，展示定位于子组合件的玻璃顶部上或下面的缺陷210。控制单元140执行对图像的初始分析且识别潜在缺陷210的位置。替代地，控制单元可包含手动输入以供用户手动选择图像内的潜在缺陷区域。接着确定在这些潜在缺陷区域周围的所关注区(ROI)，不论是由控制单元识别还是通过到控制单元中的输入而手动选择。这些ROI可通过运行于控制单元上的程序而自动确定或可由用户手动选择。

图3是在所捕获图像内的潜在缺陷区域周围取得的实例性ROI的图解说明。如图3中所见，ROI 310可为从子组合件的总体所捕获图像300内选择的。此选定ROI 310可囊括所捕获图像的具有潜在缺陷的所有区域。虽然图3仅图解说明一个ROI，但在图像内存在多个潜在缺陷位置的情况下可选择多个ROI。经划线矩形外侧的区域展示并非ROI的部分的区域且因此将不被分析。在大多数情形中，由于由本发明提供的精确度，因此仅一个ROI是必要的。

在已确定且选择出ROI之后，控制单元140及其中的软件模块执行对ROI的增强以便较清晰地识别所捕获图像中的粒子或其它缺陷。如图4中较清晰地可见，缺陷400被定位及识别。图5图解说明图4中的缺陷400的位置的经放大视图。如图5中所见，缺陷位置包含不同大小的多个缺陷。

图6图解说明所关注区的经后处理图像。对图像(如图5中所见)执行处理以确定所述图像上的缺陷的大小、位置及数目。图5展示阈值确定过程，而图6是ROI内的粒子分析。图7提供从处理步骤获得的结果的列表。

如图7中所见，控制单元140分析所捕获图像且将关于缺陷的位置、数目及严重程度的数据存储于存储器内。基于所存储信息，控制单元接着鉴于预定准则而处理来自图像的数据。取决于来自图像的数据是否满足所述准则，控制单元确定正被分析的相机组合件是否足以安装于成像装置内，或所述相机组合件中的缺陷是否使得相机组合件不适于安装。图7中报告的数据以像素为单位展示缺陷的大小及面积。可容易地将这些值转换且报告为mm单位，这是因为系统的有效分辨率(DPI)是已知的。

图8A展示用于测试相机子组合件以找出异常的步骤的总体工作流程的流程图。在步骤801处，捕获相机子组合件受测试单元(“UUT”)的序列号。可通过用户扫描条形码或手动地将序列号输入到控制单元140中或者通过控制单元使用相机120检测UUT序列号而完成此步骤。在步骤802处，将UUT插入到固定装置组合件110中且连接电缆以将控制电路130与UUT连接。在步骤803处，控制电路130使相机子组合件内的LED进行照明，且高分辨率相机120拍摄相机子组合件的高分辨率捕获。在步骤804处，控制电路130执行粒子检测及缺陷表征软件以识别UUT中的任何缺陷。在步骤805处，如果软件未发现任何缺陷，那么过程继续进行到步骤809。如果发现缺陷，那么所述软件指示控制单元开始对相机的清洁操作。

在步骤807处，控制电路将基于以下各项中的一些或全部的组合而确定是否需要额外扫描：所检测缺陷的数目、所检测缺陷的类型或严重程度、是否已执行预设数目个扫描及清洁循环，或者是否已执行用户设定数目个扫描及清洁循环。如果所述电路确定需要重复扫描，那么处理返回到步骤803以允许拍摄额外高分辨率捕获。如果否，那么处理继续进行到步骤808。在步骤808处，由控制电路识别及分析在清洁循环之后存在于相机中的任何剩余缺陷以用于报告给用户。在步骤809处，控制电路将相机子组合件内的LED去激活，且用户将UUT从控制电路断开连接并将所述UUT从固定装置移除。

图8B展示粒子检测及缺陷表征软件的流程图。在步骤851处，产生所关注区且接着在步骤852处使用自适应阈值确定来检测异常(例如灰尘粒子或刮痕)。在步骤853处表征异常，且在步骤854处将预定准则应用于异常以确定相机子组合件是将合格还是失败(例如，如果合格，那么相机子组合件被认为安装到成像装置中是可接受的)。在步骤855处，将合格/失败状态报告给用户。在步骤856处，如果单元处于失败状态中，或者取决于用户偏好或默认设定，如果已在相机中识别足以需要清洁的缺陷，那么在步骤857处，执行清洁操作。如果否，那么在步骤859处将UUT测试结果列表且存储或呈现给用户。在步骤858处，在执行清洁操作857之后，软件基于以下各项中的一些或全部的组合而确定是否需要额外扫描：所检测缺陷的数目、所检测缺陷的类型或严重程度、是否已执行预设数目个扫描及清洁循环或者是否已执行用户设定数目个扫描及清洁循环。如果否，那么在步骤859处将UUT测试结果列表且存储或呈现给用户。如果需要额外扫描，那么处理返回到步骤851以执行额外扫描。

Claims (11)

1.一种用于检验相机子组合件以找出可影响图像质量的异常的系统，所述系统包括：

a)固定装置，其用于固持待被检验以找出所述异常的相机子组合件；

b)高分辨率相机，其由所述固定装置固持，经配置以捕获所述相机子组合件的高分辨率图像；

c)控制电路板，其经配置以在检验过程期间提供电力以控制照明元件；

d)检验控制装置，其连接到所述高分辨率相机，其中所述检验控制装置包括处理器及存储器；

其中所述检验控制装置中的所述处理器执行存储于所述存储器中的软件模块以控制所述高分辨率相机、捕获由所述高分辨率相机拍摄的所述相机子组合件的图像且对所述所捕获图像执行分析以找出所述异常的存在。

2.根据权利要求1所述的系统，其中所述照明元件位于所述相机子组合件内。

3.根据权利要求1所述的系统，其中所述照明元件位于所述相机子组合件外部。

4.根据权利要求1所述的系统，其中所述分析确定所述异常的所述存在使得所述相机子组合件对于安装到成像装置中来说是可接受还是不可接受的。

5.根据权利要求1所述的系统，其中所述固定装置经配置以相对于也安装于所述固定装置中的所述相机子组合件而以预定高度及角度来固持所述高分辨率相机。

6.根据权利要求1所述的系统，其中所述检验控制装置对在相机子组合件玻璃的焦平面处发现的所述异常的特性进行定位及列表。

7.根据权利要求1所述的系统，其中所述检验控制装置包括粒子检测及缺陷表征软件模块，以定位所述相机子组合件玻璃的适合于进行检查以找出所述异常的区域。

8.根据权利要求7所述的系统，其中所述检验控制装置通过所述粒子检测及缺陷表征软件模块来定位及测量所述异常。

9.根据权利要求1所述的系统，其中可影响图像质量的所述异常包含小到0.05mm²的灰尘粒子或刮痕。

10.根据权利要求1所述的系统，其中所述粒子检测及缺陷表征软件模块关于接受准则而分析所述异常，在将所述相机子组合件集成到图像装置中之前根据所述接受准则做出接受或拒绝所述相机子组合件的决策。

11.一种使用根据权利要求1所述的系统来检验相机子组合件以找出可影响图像质量的异常的存在的方法，所述方法包括：

a)利用所述高分辨率相机来捕获ROI的图像以检测至少一个异常的存在；

b)通过使用所关注相机子组合件上的至少一个参考点来确定所述相机子组合件的所述玻璃上的所关注区ROI；

c)定位并测量所述至少一个异常且确定所述异常是否超过预定阈值；

e)通过清洁所述相机子组合件的外侧且重新测量所述至少一个异常而将表面灰尘与所述相机子组合件的玻璃盖的内侧内的异常区分开；

f)表征并分析所述异常且如果超过预定阈值级，那么确定所述异常使得所述相机子组合件对于安装到成像装置中来说是不可接受的。