CN104101295A - 获得具有用于增强边缘分辨率的偏移的图像的系统和方法 - Google Patents

获得具有用于增强边缘分辨率的偏移的图像的系统和方法 Download PDF

Info

Publication number
CN104101295A
CN104101295A CN201410249670.7A CN201410249670A CN104101295A CN 104101295 A CN104101295 A CN 104101295A CN 201410249670 A CN201410249670 A CN 201410249670A CN 104101295 A CN104101295 A CN 104101295A
Authority
CN
China
Prior art keywords
image
edge
motion
camera
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410249670.7A
Other languages
English (en)
Other versions
CN104101295B (zh
Inventor
P·G·格拉德尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN104101295A publication Critical patent/CN104101295A/zh
Application granted granted Critical
Publication of CN104101295B publication Critical patent/CN104101295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

一种在机器视觉检测系统中用于得到工件的两幅图像的方法，该图像之间具有所需的子像素偏移。利用机器视觉检测系统中相机快速多图像获取模式的操作来获得图像。在多个实施方式中，该方法包括去除图像之间的偏移以便工件在图像中是相同的，以及组合该相同的图像数据。组合图像具有比相机自身分辨率允许的更高的分辨率，该相机在机器视觉检测系统中获取图像。该方法可以在测量工件上的边缘特征的边缘特征视频工具中实施。可以使得用于得到两幅图像的运动方向横越正在被测量的边缘的边缘方向。

Description

获得具有用于增强边缘分辨率的偏移的图像的系统和方法
技术领域
本发明涉及获得图像的系统和方法，尤其涉及获取要用于在工件上进行测量操作的多幅图像的机器视觉检测系统及方法。
背景技术
精密机器视觉检测系统(或者简称为“视觉系统”)可用于获得被检测对象的精确的尺寸测量，并且用于检测多种其它对象特性。这种系统可以包括计算机、相机和光学系统以及可沿多个方向移动以允许相机扫描正被检测的工件的特征的精密工作台。一种示例性的商业上可购买的现有技术系统是可购自位于Aurora IL的Mitutoyo America Corporation(MAC)的QUICK基于PC的视觉系统系列和软件。例如在2003年1月出版的QVPAK 3D CNC视觉测量机器用户指南和1996年9月出版的QVPAK3D CNC视觉测量机器操作指南中概括描述了QUICK视觉系统系列和软件的特征和操作，其每个通过引用的方式将其全部并入本文。例如，以QV-302 Pro型号为例，该产品能使用显微镜型光学系统，从而以不同的放大倍率提供工件图像，并在必要时移动工作台，以超出任何单视频图像的限制来横越工件表面。给出这种系统的所需放大倍率、测量分辨率、和物理尺寸限制，单视频图像一般仅包含正在被观察或被检测的工件的一部分。
图像获取可以在利用相机和工件台之间的相对运动的同时进行，由此显著地增加检测生产率。这种系统有利于包括闪光灯照明，以有助于连续运动期间图像的获取，而不会弄脏(或模糊)图像。可以用于不同机器视觉系统的利用连续运动操作获取图像的一种示例性方法在美国专利US7,499,584中描述，该专利以引用的方式将其全部并入文本。
通用精密机器视觉检测系统(诸如QUICK VISIONTM系统)通常也是可编程的，以提供自动视频检测。美国专利US6,542,180(′180专利)教导了这种自动视频检测的多个方面并且通过引用的方式将其全部并入本文。正如′180专利中所教导的，自动视觉检测计量仪器通常具有编程能力，其允许用户对每个特定的工件配置定义自动检测事件序列。这可以通过例如基于文本的编程，或者通过(由存储与用户借助图形用户界面执行的检测操作的序列相应的机器控制指令的序列)逐渐“学习”检测事件序列的记录模式，或者通过这两种方法的组合来实现。这种记录模式通常称作“学习模式”或“训练模式”或“记录模式”。一旦在“学习模式”中定义了检测事件序列，那么在“运行模式”期间可使用该序列以自动获取(并且附加地分析或检测)工件的图像。
包括特定检测事件序列的机器控制指令(即，如何获取每个图像，以及如何分析/检测每个所获取的图像)通常存储为对于特定工件配置专门的“部件程序”或“工件程序”。例如，部件程序定义如何获取每个图像，诸如如何相对于工件定位相机，处于何种照明级别，以及何种放大倍率级别等。另外，部件程序定义了例如如何通过使用一个或多个诸如边缘/边界探测视频工具的视频工具分析/检测所获取的图像。
可以手动使用视频工具(或者简称为“工具”)和其它图形用户界面特征，以完成手动检测和/或机器控制操作(在“手动模式”下)。它们的设置参数和操作也可以在学习模式期间被记录，以便创建自动检测程序或者“部件程序”。视频工具例如可以包括边缘/边界探测工具、自动聚焦工具、形状或图案匹配工具、尺寸测量工具等。
用于获取边缘特征的图像的部件程序一般指定了放大倍率的级别。当选择放大倍率的级别时，可以考虑多种折衷方案。例如，更高的放大倍率的级别可以提供更高的分辨率，但是除了对于放大元件要求更昂贵的硬件以外，还会相对于总体工件具有更小的视场，并且可能导致更大的畸变。更低的放大倍率的级别可以提供更大的视场和更小的畸变，以及更低的成本，但是不能提供所需级别的分辨率以及对于某些应用的相应的准确度。在一些这种情况下，对象的图像的分辨率受到相机探测器中像素间距的限制，这是因为在对象上的空间取样由像素间距和放大倍率来确定。已知解决这种情况的一种方法，该方法获取相对于彼此步进或偏移已知子像素增量的多幅图像，然后组合多组图像数据以有效地增加对象上的图像取样密度。然而，在一些情况下，这种方法太复杂以致于不能被相对不熟练的用户理解和实现，或者太慢而在许多工业环境和/或应用中不实用。一些现有技术系统已经提出了一种相机或光学部件的抖动运动，以便“自动地”提供所需偏移。然而，这种方法在机械上是复杂的，并且可能引入与精密检测容差不相容的振动和/或不可重复性。希望一种改进的方法和系统，其允许由相对不熟练的用户得到所需级别的分辨率和准确度，同时利用了相对不昂贵的系统(例如现有系统)和较低的级别的放大倍率。
发明内容
提供一种方法，用于在机器视觉检测系统中获取相对于彼此具有子像素偏移的多幅图像。机器视觉检测系统包括提供放大倍率M的光学系统，和包括第一像素间距P和快速多图像获取模式的操作的相机。利用子像素偏移图像取样操作，其包括提供第一图像获取运动和获取感兴趣区域的多幅图像。第一图像获取运动包括以第一速度S沿第一方向相对于彼此移动工件和相机之一。多幅图像在图像获取运动期间利用相机的快速多图像获取模式的操作来获取。多幅图像至少包括在第一时间t1处获取的感兴趣区域的第一图像和在第一时间t1之后的第二时间t2处获取的感兴趣区域的第二图像。在视场(FOV)中相对于对象的第一和第二图像之间的偏移O大约等于M*S*(t2-t1)，并且机器视觉检测系统被配置成使得O不等于nP，其中n为整数。在多个实施方式中，偏移O可以落在(n+.2)P＜O＜(n+.8)P的范围内。相机系统的快速多图像获取模式的操作操作以使得第一和第二时间之间的差值(t2-t1)在多个实施例中可以是至多50微秒、或至多25、10或5微秒，或者如果相机系统允许的话甚至更小。
在多个实施方式中，第一像素间距P可以包括列方向像素间距Py或行方向像素间距Px中的至少一个。偏移O可以包括沿相机的列方向具有像素间距Px的分量Ox和沿相机的行方向具有像素间距Py的分量Oy。第一图像获取运动和快速多图像获取模式的操作中的图像定时可以被配置，以便偏移分量中的至少一个包括非整数K乘以相应的像素间距。在一个实施方式中，非整数K落在(n+.2)＜K＜(n+.8)的范围内，其中n是整数。
该方法可以进一步包括去除或补偿偏移O以便工件在多个图像和/或图像数据中是相同的。相同的图像数据然后可以被组合以提供具有比相机的自身分辨率允许的更高的分辨率的图像数据，该相机在机器视觉检测系统中获取图像。相同图像数据的组合可以基于位置锁定(position latching)数据、图像的相关性分析、或运动和定时数据中的至少一个。
在多个实施方式中，操作可以包括在边缘工具的多图像模式中。边缘工具可以包括单图像模式和多图像模式，基于放大倍率和用户选择中的至少一个使用多图像模式。来自多图像模式期间拍摄的第一和第二图像的图像数据可以被组合，以将分辨率增加到所需级别。用于确定边缘位置的合成图像可以基于第一和第二图像的组合数据作出。合成图像可以在学习模式期间显示。在多图像模式期间使用以提供增加的分辨率图像数据的系统参数可以在学习模式期间被配置，并且该配置可以在部件程序中被记录。
第一图像获取运动可以沿横越正在被测量的边缘的边缘方向的方向进行。在一些实施例和/或应用中，学习模式可以包括进行和/或定义操作，诸如测量边缘的操作、确定边缘的角度的操作、设置横越边缘的运动方向的操作(例如在一个实施例中，角度等于边缘的角度加上大约90度)、基于运动方向和工具位置参数计算两个路径点的操作等。在某些示例中，第一和第二图像可以包括感兴趣区域中工件的多个边缘。在这种情况下，如果作出正在感兴趣区域内关于多个边缘利用多个边缘工具的确定，那么学习模式可以使用多边缘工具例程。多边缘工具例程可以包括确定多个边缘的角度，确定单运动方向是否可以被确定为在离关于多个边缘的角度的每一个垂直的规定程度范围内，如果是，则使用确定的运动方向，如果不是，则添加至少第二运动方向，用于得到至少第三图像。学习模式还可以为用户提供选择，以协助运动方向的确定。
附图说明
图1是示出了通用精密机器视觉检测系统的多个典型元件的图。
图2是类似于图1的机器视觉检测系统并且包括在此描述的特征的机器视觉检测系统的控制系统部分和视觉元件部分的框图。
图3是覆盖图像中的边缘的示例性点工具的图。
图4是说明了基于一组像素强度值确定边缘位置的一种示例性方法的图。
图5是说明了需要在多种放大倍率增加边缘的取样的表。
图6A-6C是说明了利用子像素偏移图像取样操作拍摄的边缘的第一和第二图像以及来自第一和第二图像的组合数据的图。
图7是说明了获取图6A-6C的图像的序列的时序图。
图8是说明了例程的一个示例性实施例的流程图，该例程用于利用子像素偏移图像取样操作获取第一和第二图像。
具体实施方式
下面描述本发明的多个实施例。下面描述提供对这些实施例的充分理解和实现描述的具体细节。然而，本领域技术人员将理解，在没有这些众多的细节的情况下，本发明也能被实施。此外，某些熟知的结构或功能可能没有被详细地示出或描述，以避免不必要地掩盖各实施例的相关描述。下面呈现的描述中所使用的术语意在按照其最宽的合理方式进行解释，即使其在使用时结合了本发明某些特定实施例的详细描述。
图1为根据在此描述的方法可使用的一种示例性机器视觉检测系统10的框图。机器视觉检测系统10包括视觉测量机器12，其可操作地连接以与控制计算机系统14交换数据和控制信号。控制计算机系统14还操作地连接以与监视器或显示器16、打印机18、操纵杆22、键盘24和鼠标26交换数据和控制信号。监视器或显示器16可以适于对机器视觉检测系统10的操作进行控制和/或编程的显示用户界面。可以理解，在各种实施例中，触摸屏平板电脑等可以替代和/或冗余地提供计算机系统14、显示器16、操纵杆22、键盘24和鼠标26的任一个或所有的功能。
本领域技术人员将理解，控制计算机系统14通常可由任何计算系统或装置组成。适当的计算系统或装置可以包括个人计算机、服务器计算机、微型计算机、大型计算机、包括前面的任意一个的分布式计算环境等。这种计算系统或装置可包括执行软件以实现在此描述的功能的一个或多个处理器。处理器包括可编程通用或专用微处理器、可编程控制器、专用集成电路(ASIC)、可编程逻辑装置(PLD)等，或者这些装置的组合。软件可以存储到存储器(诸如随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或者这些元件的组合)中。软件还可以存储在一个或多个存储装置(诸如磁盘或光盘、闪存装置，或者用于存储数据的任何其他类型的非易失存储介质)中。软件可以包括一个或多个程序模块，该一个或者多个程序模块包括执行特定任务或者实现特定抽象数据类型的例程、程序、对象、元件、数据结构等。在分布式计算环境中，程序模块的功能可以跨越多个计算系统或装置被组合或者分布，并且以有线或无线配置通过服务呼叫来访问。
视觉测量机器12包括可移动工件台32和光学成像系统34，光学成像系统可包括变焦镜头或互换镜头。对于通过光学成像系统34提供的图像，变焦镜头或者互换镜头通常提供多种放大倍率。机器视觉检测系统10通常与前面描述的QUICK系列视觉系统和软件以及类似的现有技术中商业上可购得的精密机器视觉检测系统可比较。在共同受让的美国专利US7,454,053、US7,324,682、US8,111,905和US8,111,938中也描述了机器视觉检测系统10，这些专利每个通过引用的方式全部并入本文。
图2是与图1的机器视觉检测系统类似并包括在此描述的特征的机器视觉检测系统100的控制系统部分120和视觉元件部分200的框图。正如将要在下面更详细描述的，利用控制系统部分120控制视觉元件部分200。视觉元件部分200包括光学组件部分205；光源220、230和240；和具有中央透明部分212的工件台210。工件台210可沿着X轴和Y轴以可控方式移动，X轴和Y轴处于与可以定位工件20的工作台的表面大体平行的平面内。光学组件部分205包括相机260、互换物镜250，并且可以包括具有镜头286和288的镜头旋转盘组件280。取代镜头旋转盘组件，可以包括固定的或可手动互换的放大倍率改变镜头，或者变焦镜头配置等。
通过使用驱动致动器以沿Z轴移动光学组件部分205的可控马达294，光学组件部分205可以控制地沿着大体垂直于X轴和Y轴的Z轴方向移动，以改变工件20的图像的焦点。可控马达294通过信号线296连接到输入/输出接口130。
将要使用机器视觉检测系统100成像的工件20或者保持多个工件20的托盘或夹具放置在工件台210上。可以控制工件台210以相对于光学组件部分205移动，从而互换物镜250在工件20上的位置之间和/或在多个工件20之间移动。一个或多个工作台光源220、同轴光源230和表面光源240(例如环形光源)可以分别发射光源光222、232和/或242，以照射一个或多个工件20。光源230可以沿着包括镜290的路径发射光232。光源光被反射或者透射成为工件光255，并且用于成像的工件光穿过互换物镜250和镜头旋转盘组件280被相机系统260收集。由相机系统260捕获的工件20的图像在信号线262上输出至控制系统部分120。光源220、230和240可以分别通过信号线或总线221、231和241连接到控制系统部分120。为了改变图像放大倍率，控制系统部分120可以通过信号线或总线281沿着轴284旋转镜头旋转盘组件280，以选择一个转盘镜头。
如图2中所示，在多种示例性实施例中，控制系统部分120包括控制器125、输入/输出接口130、存储器140、工件程序产生器和执行器170以及电源部分190。可以通过一个或多个数据/控制总线和/或应用程序接口或者通过多种元件之间的直接连接相互连接这些元件中的每一个以及下面所描述的附加元件。
输入/输出接口130包括成像控制接口131、运动控制接口132、照明控制接口133和镜头控制接口134。运动控制接口132可包括位置控制单元132a和速度/加速度控制单元132b，即使这些单元可以被合并和/或不可区分。照明控制接口133包括照明控制单元133a-133n及133fl，其对于机器视觉检测系统100的各种相应的光源，例如控制选择、功率、接通/切断开关以及选通脉冲时序(如果适用)。
存储器140可包括图像文件存储部分141、边缘探测存储部分140ed、可以包括一个或多个部件程序等的工件程序存储部分142以及视频工具部分143。视频工具部分143包括：针对相应视频工具中的每一个确定GUI、图像处理操作等的视频工具部分143a和其它视频工具部分(例如143n)；以及感兴趣区域(ROI)产生器143roi，感兴趣区域产生器143roi支持定义可在视频工具部分143中所包含的不同视频工具中可操作的不同ROI的自动、半自动和/或手动操作。
在本说明书的上下文中，如本领域普通技术人员所熟知，术语视频工具通常指代机器视觉用户通过相对简单的用户界面(例如图形用户界面、可编辑参数窗口、菜单等)可实现的自动或编程操作的相对复杂的集合，而不需要创建视频工具中所包含的步进式操作序列或者不采取通用的基于文本的编程语言等。例如，视频工具可包括图像处理操作和计算的复杂的预编程集合，在特定情形中通过调整控制操作和计算的少量变量或参数应用和定制该预编程集合。除了基本操作和计算之外，视频工具还包括允许用户针对视频工具的特定情形调整那些参数的用户界面。例如，许多机器视觉视频工具允许用户使用鼠标通过简单的“手柄拖动”操作配置感兴趣图形区域(ROI)指示符，以便定义将要通过视频工具的特定情形的图像处理操作进行分析的图像的子集的位置参数。应当注意，在隐含包括基本操作的情况下，可见的用户界面特征有时被称作视频工具。
特别地，根据本发明的不同实施例中，视频工具部分143包括边缘位置工具143el，其提供了与边缘位置操作有关的不同操作和特征，如下面更详细描述。与许多视频工具一样，本公开的边缘位置和多个图像获取主题包括用户界面特征和基本图像处理操作二者等，相关的特征可以特征化为视频工具部分143中包含的边缘位置工具143el的特征。在一个实施例中，边缘位置工具143el可以包括边缘位置模式控制部分143mc、标准单图像获取模式部分143si和快速多图像获取模式部分143fm。简要地，标准单图像获取模式部分143si可以类似于已知的边缘位置工具地操作，以例如得到单图像，确定像素强度值和沿横跨图像中边缘的扫描线的相应的梯度量值，以及识别边缘的位置为与梯度量值的峰值相应。快速多图像获取模式部分143fm基于本发明的方法操作。与标准单图像获取模式部分143si相比，快速多图像获取模式部分143fm利用相机的快速多图像获取模式连同工作台和/或相机的同时被控运动，以得到图像之间具有所需子像素偏移的边缘的多幅图像。图像数据然后被组合并提供比相机的自身分辨率允许的更高的分辨率，该相机在机器视觉检测系统中获取图像。边缘位置模式控制部分143mc可以进行如在此描述的操作，以取决于哪种工具或模式被激活，配置边缘位置工具143el或工具模式。
相机系统具有快速多图像获取模式的操作，以便可以捕获顺序图像的第一和第二时间之间的差(t2-t1)最多为50微秒，或在不同实施例中最多25、10或5微秒，或者如果相机系统允许，甚至更少的时间。在这种实施例中，相机系统的快速多图像获取模式的操作允许(t2-t1)足够短，以使机器视觉检测系统图像中存在的振动效应不变(例如，以便振动畸变在t2-t1期间有效地保持不变)，这关于对象重构和测量的精度是一个很重要的考虑，其中重构和测量的精度基于在时间t2和t1处获取的两幅图像提供的组合的图像数据。此外，这种时间(t2-t1)足够短，以允许两幅相应的图像展示所需的子像素偏移，同时在它们的获取期间允许相对高的运动速度。例如，在放大倍率为1的情况下，当(t2-t1)为10微秒时，可以利用0.25米/秒的运动速度得到2.5微米的子像素偏移。应当理解，精密机器视觉检测系统中的常规相机不能提供这种类型的操作，典型提供几个毫秒的帧速率。然而，一些可提供这种类型操作的相机正在变得可以利用。例如，当如下面参考图7所进一步描述的那样操作时，由于与相机探测器像素阵列相关的特殊的信号处理特征，像素间距Dp＝5.5微米的来自JAI公司的型号AM-200CL(产品和信息可从美国，加利福尼亚，圣何塞，JAI公司得到)可以获取两幅图像，帧间时间为5微秒。与在此公开的不同其它特征和操作组合使用的这种相机提供了一种系统，其允许对精密机器视觉检测系统相对不熟练的用户能够得到所需级别的分辨率和准确度，同时利用了相对便宜的系统(例如与复杂的抖动元件相比，现有运动控制系统)和较低级别的放大倍率。
对于边缘位置工具143el，可替换配置是可能的。例如，标准单图像获取模式部分143si和快速多图像获取模式部分143fm可以包括分割模式控制功能，以便分离模式控制143mc可以被省略。可替换地，边缘位置工具143el可以提供一个或多个普通的边缘位置工具单元，并且模式控制部分143mc可以以取决于需要标准单图像工具行为，还是具有子像素偏移的快速多图像工具行为的方式，提供控制用户界面和普通边缘位置工具单元相互关系的操作。在这种情况下，提供标准单图像获取模式部分143si和/或快速多图像获取模式部分143fm的操作的电路、例程或应用可以被合并和/或不可区别。在某些实施方式中，可以利用模式控制部分143mc来实现用于快速多图像模式的单独工具。更一般地，本发明可以以结合机器视觉检测系统100可操作的任何已知或者之后开发的形式来实现，以提供在此描述的与具有子像素偏移操作的快速多图像相关的特征。
工作台光源220、同轴光源230和230’以及表面光源240的信号线或总线221、231和241均分别连接于输入/输出接口130。来自相机系统260的信号线262以及来自可控马达294的信号线296连接于输入/输出接口130。除了承载图像数据以外，信号线262还承载来自发起图像获取的控制器125的信号。
一个或多个显示装置136(例如图1的显示器16)以及一个或多个输入装置138(例如，图1的操纵杆22、键盘24和鼠标26)也可以连接于输入/输出接口130。可使用显示装置136和输入装置138显示用户界面，该用户界面可包括可用于进行检测操作，和/或用于创建和/或修改部件程序的多种图形用户界面(GUI)特征，以观察通过相机系统260捕获的图像，和/或直接控制视觉系统元件部分200。显示装置136可以显示与边缘位置视频工具143el相关联的用户界面特征。
在多个示例性实施例中，当用户利用机器视觉检测系统100创建针对工件20的部件程序时，用户通过在学习模式下操作机器视觉检测系统100，产生部件程序指令，以提供所需的图像获取训练序列。例如，训练序列可包括在视场(FOV)中定位代表性工件的特定工件特征，设置照明等级，聚焦或自动聚焦，获取图像，并提供应用于图像的检测训练序列(例如，在该工件特征上使用一个视频工具的例子(instance))。学习模式操作，以便(多个)序列被捕获或者记录并转换成相应的部件程序指令。当执行部件程序时，这些指令将使机器视觉检测系统再现经过训练的图像获取和检测操作，以自动地检测运行模式工件上的特定工件特征(其是相应位置中的相应特征)，运行模式工件与当创建部件程序时所用的代表性工件相匹配。
图3是示例性点工具310的图，点工具在图像300中(例如在图像显示装置上)的较暗或阴影区域308的边界处覆盖了边缘305。点工具310以及其它类型的用于边缘探测的视频工具在美国专利No.7,567,713中有更详细的描述，该专利通过引用的方式将其全部并入本文。在图3中，为了说明的目的示出阴影区域308，以指示图像300中相对较低强度的像素。如下更详细地描述，点工具310可以被配置为确定图像中边缘点的位置，并且类似操作可以作为定位多个边缘点的另一类型的工具(例如框型边缘工具)的操作的基础。点工具310的图形用户界面可以包括主体311、边缘选择器312和极性指示器箭头314。箭头314一般横跨边缘从亮至暗处，或从暗至亮处指向，从而在某些情况下增强边缘查找可靠性，如所包含的参考文献中所解释。在图3的说明中，主体311遮盖了标称扫描线320，标称扫描线由主体311定义并且与主体311标称上重合。
在操作中，用户选择点工具310(例如来自显示器的边缘处的视频工具条)，并且通过沿着边缘在所需位置处将主体311放置在边缘特征上以及边缘选择器312尽可能地接近边缘，用户识别要检测的边缘特征。点工具主体311可以被定向为定义和指示横跨边缘的所需扫描线方位，如图3的右上角处所示x-y坐标系中的角度A所指示。在图3中，图像像素以沿着x坐标方向的行和沿着y坐标方向的列布置。由此，角度A指示相对于图像中的像素行的标称扫描线方位角。箭头314沿参考方向或要与边缘检测相关联(例如与边缘是否被检测为上升边缘、下降边缘等相关联)的极性指向。在操作中，一旦点工具310被完全配置，则可以执行基本边缘点定位例程的指令，以进行分析强度分布数据点(例如，像素强度数据)的操作，以及进行多种操作以检测基本特征的边缘位置，该强度分布数据点与点工具310的主体311标称上重合的扫描线相关联。如下面关于图4将更详细地描述，在多个示例性实施例中，基于沿与扫描线相关联的强度分布的梯度的量值，点工具310的边缘点定位例程可以确定边缘位置。应当理解，扫描线方向不可能精确地与图像像素行和/或列方向重合。在这种情况下，根据多种现有技术，可以通过内插法基于周围的图像像素来确定沿扫描线方向在“像素”位置处的图像值。例如在Ding的美国专利No.7,567,713(将其全部以引用的方式并入本文)中教导基于之前得到的图像数据沿所需行和/或方向计算内插的图像强度。
边缘和扫描线的方向涉及在此公开的系统和方法相对于现有技术的另一优点。应当理解，之前已经概述且下面会更详细描述的对于增加的空间取样密度的相关方向(以及组合图像之间的相关联的子像素偏移)标称上横越(例如，垂直)要以增强的分辨率成像和定位的边缘特征。应当理解，在此公开的系统和方法在这方面特别通用(与之前已知的仅沿预定方向提供子像素偏移的机械抖动方法相比)。特别地，标准的运动控制系统可以提供横越任何边缘的运动方向，并且相机的快速多图像获取模式的操作可以获取沿该方向具有所需子像素偏移的图像，这与所需分辨率改进的目的最相关。
概括而言，通常，边缘点通过多种视频工具确定，该工具使几何形式拟合边缘点，以便测量相应的基本图像特征。在一种操作视频工具的常规方法中，取决于工具的类型(例如点/框/圆等)，根据定义的工具参数，在ROI内定义或产生一条或多条标称扫描线。对于每条标称扫描线，工具确定或选择一组接近标称扫描线的强度分布数据点位置。确定与数据点位置相关联的强度值，以定义与标称扫描线相关联的强度分布。然后，在一个实施例中，边缘检测算法分析沿强度分布的梯度，以查找沿强度分布的相应于最大梯度量值的位置，例如如下文参考图4更详细地描述。沿强度分布的最大梯度位置用于确定与标称扫描线相关联的图像中的边缘点位置。
图4是说明了基于强度分布410确定边缘位置的一种示例性方法的曲线图400。如图4所示，强度分布410包括一组相应于表示扫描线(例如，诸如图3所示的扫描线320)的位置的图像像素强度(灰度)值425。表示扫描线的数据点或位置沿着水平轴从0-50被标记为“像素编号”。从数据点0开始，图像强度值初始指示相对较暗的区域，直到接近数据点23，然后跟随相对较亮的区域，直到数据点50。
梯度量值426来源于强度值425并且也在图4中示出。多种常规算法查找沿着水平轴的相应于梯度量值的峰值的位置，并且将该位置识别为边缘位置。如果存在多个梯度量值峰值，那么视频工具边缘选择器和/或方位指示器(例如点工具310的边缘选择器312和/或极性指示器314)可以帮助算法识别所需峰值。在图4中，最大梯度标准(即，梯度峰值)指示边缘位置位于大约数据点23处。通过使用包括曲线拟合、质心确定等的方法，梯度量值峰值可以相对精确地在强度分布数据点之间定位，这通常在确定图像中相应边缘的位置时支持子像素测量分辨率和可重复性。
如下文将关于图5-8更详细地描述，为了准确地确定具有子像素测量分辨率的图像中边缘的位置，图像具有足够的空间取样密度是重要的。作为具体例子，参考图4，大约存在5个数据点(即，数据点22-26)位于图3的边缘305的过渡区域上。在某些实施方式中，该取样密度表示以所需的准确度的子像素级别确定边缘305的位置足够的分辨率。然而，应当理解，在利用了较低级别的放大倍率的实施方式中，成像对象上的取样密度将被降低，这是因为每个像素将相应于对象的较大区域，并且区域的中心也将分隔得更远，这可能使涉及对象上的精细结构和/或陡边缘的信息被平均化或被消除。关于图4的示例，在仅利用了一半放大倍率(即，由此产生较大的视场)的实施方式中，相应于边缘过渡的像素数量将被减少。对于某些实施方式，该降低的取样密度可能使子像素测量分辨率降低至不可接受的低水平，如下文将关于图5更详细地描述。如下文将关于图6A-6C更详细地描述，通过多幅图像的利用，取样密度得到了有效地增加。更具体地，可以利用子像素偏移图像取样操作来获取彼此具有子像素偏移的第一和第二图像。从两幅图像中确定的数据然后被组合以提供具有更高空间取样密度的合成图像，从而实现所需的测量分辨率。
图5是说明了需要在多种放大倍率增加边缘的取样的表。如图5所示，表500包括示出了动力镜头旋转盘放大倍率因子的PT列510、示出了镜筒镜头有效焦距的镜筒EFL列520，总放大倍率M列530，相应的光学分辨率列540，投影1/2模糊尺寸(blur size)列550和要求的样本分离列560，要求的样本分离列560示出了在尼奎斯特频率下取样1/2模糊尺寸所需的相机像素间距，这确保了相机像素间距不是限制图像信息分辨率的因素。对于表500的第一行501，PT列510指示1X的值，镜筒EFL列520指示100的值，总M列530指示5的值，光学分辨率列540指示0.65的值，投影1/2模糊尺寸列550指示3.25的值，以及要求的样本分离列560指示1.63的值。对于第二行502，PT列510指示2X的值，镜筒EFL列520指示200的值，总M列530指示10的值，光学分辨率列540指示0.65的值，投影1/2模糊尺寸列550指示6.50的值，以及要求的样本分离列560指示3.25的值。对于第三行503，PT列510指示4X的值，镜筒EFL列520指示400的值，总M列530指示20的值，光学分辨率列540指示0.65的值，投影1/2模糊尺寸列550指示13.00的值，以及要求的样本分离列560指示6.50的值。
通常，表500说明了对于高的显微镜放大倍率，对象通常会被探测器过取样。表500的值表示对于NA＝0.42的单物镜(EFL＝20mm)的那些。作为具体示例，某些具有像素间距DP＝5.5μm的现有相机(例如JAI AM-200CL，产品和信息可从美国，加利福尼亚，圣何塞，JAI公司得到)将稍微过取样在行503指示的PT4X条件(即，对于该条件，要求的样本分离列560指示6.50μm或更小的要求值，对于该条件5.5μm的像素间距将满足该要求)。相反，该像素尺寸将不满足行501和502对于PT1X和PT2X条件所指示的要求，对于该条件，要求的像素间距和/或取样分离分别不大于1.63μm和3.25μm，对于该条件5.5μm的像素间距则太大。应当理解，用在机器视觉检测系统中的多种光学配置可以以类似于表500等中所示的方式特征化，并且结果被存储用于参考。然后，在某些实施例中，当多种图像模式包括在边缘工具中时，边缘工具可以评价当前光学配置的特征，以确定图像数据分辨率是否受到了光学分辨率或相机探测器分辨率(即，像素间距)的限制。如果相机探测器分辨率是限制因素，那么机器视觉检测系统的用户界面可以给用户提供选择边缘工具的多图像模式的操作的能力(这可以简单地特征化为“极佳分辨率”选择等)，因为这可以潜在地改进边缘工具的测量分辨率。可替换地，当相机探测器分辨率是限制因素时，机器视觉检测系统可以自动地选择多图像模式的操作。后者的“自动”选择可以进一步取决于用户设置的总设置，其在整个部件程序的上下文中允许或不允许自动选择。例如，对于没有陡边缘过渡或非常精细间隔的边缘的工件，即使相机探测器分辨率与光学元件的分辨率相比是限制因素，相机探测器分辨率(即，像素间隔)对于取样该工件上特征的空间频率仍然是足够的。
虽然示出了行503中4X的PT值以实现所需的取样密度，但是对于某些实施方式，视场可能不足以捕获单图像中所有的所需边缘特征和/或可能比所需的具有更高的畸变级别和/或可能太昂贵而难以实施，或者更高放大倍率的镜头不能立即可用于一些系统或用户。换句话说，在某些实施方式中，视场和/或畸变级别和/或成本因素可能指示利用2X或1X的PT值，即使工件可能包含需要利用更高分辨率成像和测量的特征和/或边缘。如下文将关于图6-8更详细地描述，通过利用子像素偏移图像取样操作，来自多幅图像的数据可以被获取和组合从而甚至以相对较低的放大倍率级别实现所需的取样密度、可重复性和/或准确度，该放大倍率级别由于如上所述的一些原因是需要的。
作为具体的说明性示例，图像获取序列可以利用支持快速多图像获取模式的操作的相机进行，该相机例如之前提及的相机-像素间距Dp＝5.5微米的来自JAI公司的型号AM-200CL(产品和信息可从美国，加利福尼亚，圣何塞，JAI公司得到)。对于该相机的具体类型，每快速获取序列的图像数目是2。利用大约2X的欠取样条件(5.5∶3.25)，类似于图5的行502所示，可以指定不变的工作台速度Vx，以在对象处产生Δx位移或偏移，导致放大倍率为M时相机处对象的像素偏移1/L。对于1/2像素偏移，L＝2。假定放大倍率为10，那么Δx＝Dp/(L*M)＝0.275μm。在一个具体示例中，帧间时间Ti和光脉冲时间Tlp可以分别是6微秒和4微秒。因此，曝光之间的有效时间差Tdiff(例如运动中，锁定相应于曝光的有效位置之间的时间)可以采用为Tdiff＝[0.5Tlp+Ti+0.5Tlp]＝10微秒，其中1/2因子说明在由光脉冲定义的曝光时段的一半点处锁定位置，以表示曝光期间由于运动产生的平均工件或图像位置。因此，在该示例中给出所需偏移的所需速率Vx是Vx＝(.275微米/10微秒)＝27.5mm/s。由此，利用这些参数，可以在10微秒内获取使得像素移位大约1/2Dp的对象的两幅图像；由此，在单图像中边缘的空间样本频率相对于像素间距增加大约2X。下丈也参考图7提供相关讨论。
作为另一个具体说明性示例，一些相机(例如包含2个CCD阵列的相机)具有可以在大约15微秒内以像素间距Dp＝4.65微米获取3幅图像的快速多图像获取模式(例如来自JAI公司的型号AD-081CL)。对于该特定类型的相机，每快速获取序列的图像数目是3。利用大约3X的欠取样条件(例如，类似于图5的行501所示，所需/所要求的取样步长为1.63微米)，可以指定不变的工作台速度Vx，以在对象处产生Δx位移或偏移，导致放大倍率为M时相机处对象的像素偏移为1/L。对于1/3像素偏移，L＝3。假定放大倍率为5，那么Δx＝Dp/(，L*M)＝0.31μm。在一个具体示例中，帧间时间Ti和光脉冲时间Tlp可以分别是1.5微秒和4微秒。因此，第一和第二次和/或第二和第三次曝光之间的有效时间差Tdiff(例如，运动中，锁定相应于两次顺序曝光的有效位置之间的时间)可以被采取为Tdiff＝[0.5Tlp+Ti+0.5Tlp]＝5.5微秒，其中1/2因子说明在由光脉冲定义的曝光时段的一半点处锁定位置，以表示曝光期间由于运动产生的平均工件或图像位置。因此，该示例中给出3幅图像之间的所需偏移的所需速度Vx是Vx＝(.31微米/5.5微秒)＝56.4mm/s。
图6A-6C是说明了示意性表示利用子像素偏移图像取样操作获取的边缘的第一和第二图像600A和600B以及来自第一和第二图像的组合数据605C的图。如图6A所示，第一图像600A说明了相对于工件的边缘EG1的像素阵列PA。像素阵列PA示出包括7行和7列像素。点工具PT(例如，类似于图3的点工具310)表示横跨像素阵列PA的像素的中间行的扫描线。边缘EG1示出处于位置P1处，该位置P1处于距离像素阵列PA的左边缘的距离X1处。
在图像600A下方，示出曲线605A，其包括强度分布610A(类似于图4的强度分布410)。强度分布610A包括相应于表示点工具PT的扫描线的位置的一组图像像素强度(灰度)值625A。来自扫描线的数据点被图解为横跨曲线的7个点，每个像素1个点。从左至右，图像强度值最初始指示对于第一至第三像素的相对较暗的区域，然后跟随相对较亮的区域，特别是对于第五至第七像素。第四像素(即，中间像素)被标记为具有像素强度值E1，其示出为处于其它像素的高和低值之间，并表示边缘EG1的过渡值。应当理解，强度分布610A表示边缘的相对受限的取样(例如与图4的强度分布410相比，对于该分布，多个像素处于边缘的过渡区域中)。
图6B说明了图像600B，其中具有边缘EG1的工件和像素阵列PA已经相对于彼此移动了等于距离ΔX的子像素偏移。换句话说，当边缘EG1位于位置P1(该位置离图6A中像素阵列PA左边缘距离X1)时，在图6B中，边缘EG1示出已经沿方向DIR1移动以便位于离像素阵列PA的左边缘距离X2的位置P2处。距离X1和X2之间的差值是子像素偏移ΔX。应当理解，在一些实施例中，虽然子像素偏移ΔX有时可能小于一个像素，但是在许多其它实施例中，子像素偏移ΔX可能大于1个像素，只要它不是像素的整数即可，从而取样密度被增加，如下文将更详细描述。
在图像600B下方，示出曲线图605B，其包括强度分布610B。强度分布610B包括相应于7个像素值的数据点，该像素值相应于点工具PT的扫描线。第三像素被标记为具有像素强度值E2，其表示边缘EG1的过渡值。类似于图6A的强度分布610A，图6B的强度分布610B表示边缘EG1的相对受限的取样。
图6C示出了强度分布610C的曲线605C，其说明了来自图6A和6B的强度分布610A和610B的组合数据。如图6C所示，示出了十四个像素强度值，相应于来自图6A的7个像素强度值和来自图6B的7个像素强度值。由此图6C的十四个像素强度值表示比单独图像600A或600B所实现的更高的取样密度。从而，通过利用具有相对于探测器的对象子像素位移的多幅图像(例如，如图像600A和600B所示)，边缘的取样密度可以被增加。
应当理解，具有增加的取样密度的合成图像数据也具有降低边缘混叠的好处，该边缘当被放大到相机上时比像素间距的两倍更接近在一起，诸如在检测诸如光栅或IC掩模等的精细周期结构时可能遇到这种情况。在某些应用中，精细周期特征可以通过机器视觉系统的光学系统解决，但是当利用具有受限像素取样密度的相机时，精细周期结构可能分隔得太接近在一起从而实际上不能被成像和/或测量。通过利用具有子像素偏移的多图像增加取样密度，具有精细周期图案的特征的边缘可以利用边缘检测算法被解决并被测量。
图7是说明了利用相机的快速多图像获取模式的操作、获取图6A和6B的图像的一个示例性序列的时序图700，该相机支持这种模式。为了实现这种操作，多种商业上可获得的相机(例如，JAI AM-200CL、JAI AD-081CL、PCO PixelFly等)可用，其提供模式，以提供～5微秒的短的帧间时间以及允许两幅、三幅或更多快速获取的图像(取决于相机型号)的组合。图7说明了一个这种相机中的图像时序序列(例如具有以短的帧间时间产生两幅图像的1-CCD的JAI相机)。
时序图700包括触发信号线710、EEN信号线720、曝光信号线730、传输门信号线740和读出信号线750。在时间T1处，触发信号线710被激活从而从高变至低，并且EEN信号线720相应地被激活，从而开始第一曝光窗口EW1(例如在多个实施例中具有4微秒或8微秒的定时)。在时间T2处，触发信号线710返回到高状态。在时间T3处，曝光信号线730表示与第一频闪闪光SF1相关的曝光时段。
在时间T4处，EEN信号线720指示第一曝光窗口EW1的结束，曝光信号线730指示与第一频闪闪光SF1相关的曝光时段的结束，传输门信号线740指示第一帧FM1的结束以及第二帧FM2的开始。时段(T4-T3)中的三角形信号形状指示曝光在频闪时段期间累积，频闪时段在时间T3处开始并且在时间T4处结束。在帧间时间(T5-T4)之后，第二次曝光在时间T5处开始。应当理解，在快速多图像获取模式的一些实施例中，帧间时间(T5-T4)可以由硬件或固件特性来固定或约束。由此，应当理解，需要知道相机积分时段(例如基于该积分时段的触发时间和其已知的持续时间)的时间T4结束的定时，以便频闪照明可以被设置来适当地曝光第一图像，并且在时间T4处与积分时段的结束大约同时结束。这使得第一图像的有效曝光时间正好在离获取第二图像开始的帧间时间处结束，这使得第一图像积分时段的总的开始和持续时间与第一和第二图像之间的有效时间延迟很大程度上不相关。以示例的方式且绝不是限制的方式，在一些实施例和/或应用中，时间(T4-T3)可以是大约6微秒的量级，帧间时间(T5-T4)是大约1.5至5微秒的量级。
在时间T4处，读出信号线750指示第一读出时段RP1的开始。第一读出时段RP1相应于时间T3和T4之间在信号线730上累积的图像曝光的读出，时间T3和T4之间相应于第一频闪闪光SF1。在时间T5处，EEN信号线720指示第二曝光窗口EW2的开始(在某些实施方式中相应于一个帧)，并且曝光信号线730指示第二频闪闪光SF2的曝光时段。在时间T6处，曝光信号线730指示第二频闪闪光SF2的曝光时段结束。
在时间T7处，读出信号线750指示第一读出时段RP1的结束。在一些实施例和/或应用中，(T7-T6)可以是大约16毫秒的量级。在时间T8处，EEN信号线720指示第二曝光窗口EW2的结束，传输门信号线740指示第二帧FM2的结束和第三帧FM3的开始，并且读出信号线750指示第二读出时段RP2的开始。第二读出时段RP2相应于时间T5和T6之间在信号线730上累积的图像曝光的读出，时间T5和T6之间相应于第二频闪闪光SF2。在时间T9处开始，快速多图像获取模式的操作准备另一循环，如果希望或需要，该另一循环包括下一组频闪闪光SF3和SF4，以及相应的下一组读出时段RP3和RP4。
图8是说明了例程800的一个示例性实施例的流程图，该例程用于利用快速多图像获取模式的操作获取第一和第二图像，以在机器视觉检测系统中提供子像素偏移图像取样操作。在块810处，光学系统提供在机器视觉检测系统中，该光学系统提供放大倍率M。在块820处，相机提供在机器视觉检测系统中，该相机包括第一像素间距P和快速多图像获取模式的操作。在块830处，提供子像素偏移图像取样操作，包括：提供第一图像获取运动，包括以第一速度S沿第一方向相对于彼此移动工件和相机之一。在块840处，作为子像素偏移图像取样操作的另一部分，在图像获取运动期间利用快速多图像获取模式的操作获取感兴趣区域的多幅图像。该多幅图像至少包括：在第一时间t1处获取的感兴趣区域的第一图像；和在第一时间t1之后的第二时间t2处获取的感兴趣区域的第二图像，第一和第二图像之间具有偏移O。该偏移O大约等于M*S*(t2-t1)，并且机器视觉检测系统被配置以使得O不等于nP，其中n为整数。
根据前面所述，应当理解此处为了说明的目的描述了本发明的特定实施例，不过在不偏离本发明范围的情况下可以进行多种变型。例如，本领域技术人员可以理解所附流程图可以以多种方式改变。更具体地，步骤的顺序可以被重新排列，步骤可以被并行进行，步骤可以被省略，其它步骤可以被包括等。相应地，本发明不限于所附权利要求。

Claims (32)

1.一种用于在机器视觉检测系统中获取多幅图像以用于在工件上进行测量操作的方法，该方法包括：
在机器视觉检测系统中提供光学系统，该光学系统提供放大倍率M；
在机器视觉检测系统中提供包括第一像素间距P并且包括快速多图像获取模式的操作的相机；
提供子像素偏移图像取样操作，包括：
提供第一图像获取运动，包括以第一速度S沿第一方向相对于彼此移动工件和相机之一；
在图像获取运动期间利用快速多图像获取模式的操作获取感兴趣区域的多幅图像，该多幅图像包括：
在第一时间t1处获取的感兴趣区域的第一图像；和
在第一时间t1之后的第二时间t2处获取的感兴趣区域的第二图像；
其中第一和第二图像之间的偏移O约等于M*S*(t2-t1)，并且机器视觉检测系统被配置成使得O不等于nP，其中n为整数。
2.根据权利要求1的方法，进一步包括操作机器视觉系统以处理多幅图像，从而去除偏移O以便工件在图像中是相同的，并组合相同的图像数据以提供具有比相机自身分辨率允许的更高的分辨率的图像数据，该相机在机器视觉检测系统中获取图像。
3.根据权利要求2的方法，其中相同图像数据的组合基于位置锁定、运动和定时或相关性中的至少一个。
4.根据权利要求1的方法，其中偏移O落在(n+.2)P＜O＜(n+.8)P的范围内。
5.根据权利要求1的方法，其中偏移O落在(n+.3)P＜O＜(n+.7)P的范围内。
6.根据权利要求1的方法，其中操作包括在边缘工具的多图像模式中。
7.根据权利要求6的方法，其中边缘工具包括单图像模式和多图像模式，基于放大倍率和用户选择中的至少一个使用多图像模式。
8.根据权利要求6的方法，其中边缘工具包括单图像模式和多图像模式，来自多图像模式期间拍摄的第一和第二图像的图像数据被组合以将分辨率增加到一级别，该级别与单图像模式期间利用更高放大倍率和相应地更小的视场得到的单图像可得到的级别可比较。
9.根据权利要求1的方法，其中第一和第二图像包括感兴趣区域中工件的边缘。
10.根据权利要求9的方法，其中提供第一图像获取运动包括定义横越边缘的边缘方向的运动方向。
11.根据权利要求10的方法，其中运动方向由运行模式期间部件程序中的运动指令、计算、或学习模式期间的用户定义中的至少一个定义。
12.根据权利要求10的方法，其中定义运动方向包括在学习模式期间确定边缘方向和确定横越所确定的边缘方向的运动方向。
13.根据权利要求10的方法，其中定义运动方向进一步包括在部件程序中定义运动方向。
14.根据权利要求9的方法，其中基于第一和第二图像的组合数据确定边缘位置。
15.根据权利要求14的方法，其中基于第一和第二图像的组合数据作出用于确定边缘位置的合成图像。
16.根据权利要求15的方法，其中合成图像在学习模式期间被显示。
17.根据权利要求1的方法，其中系统在学习模式期间被配置，并且该配置被记录在部件程序中。
18.根据权利要求1的方法，其中利用机器视觉检测系统的至少第一宏观运动轴提供图像获取运动。
19.根据权利要求1的方法，其中(t2-t1)至多为50微秒。
20.根据权利要求1的方法，其中(t2-t1)至多为5微秒。
21.根据权利要求1的方法，进一步包括利用具有关于第一时间t1和第二时间t2的定时的频闪照明，以获取第一和第二图像。
22.根据权利要求1的方法，其中第一像素间距P是列方向像素间距Py或行方向像素间距Px中的至少一个，偏移O包括沿相机的列方向具有像素间距Px的分量Ox和沿相机的行方向具有像素间距Py的分量Oy。
23.根据权利要求22的方法，其中第一图像获取运动和快速多图像获取模式的操作中的图像定时被配置成使得偏移分量中的至少一个包括非整数K乘以相应的像素间距。
24.根据权利要求23的方法，其中非整数K落在(n+.2)＜K＜(n+.8)的范围内，其中n是整数。
25.根据权利要求23的方法，其中非整数K落在(n+.3)＜K＜(n+.7)的范围内，其中n是整数。
26.根据权利要求1的方法，其中第一和第二图像包括感兴趣区域中的工件的多个边缘，并且第一图像获取运动包括定义横越边缘的边缘方向的运动方向，而如果作出多个边缘工具正在感兴趣区域内关于多个边缘使用的确定，那么为用户提供选择以协助运动方向的确定。
27.根据权利要求1的方法，其中第一和第二图像包括感兴趣区域中的工件的边缘，并且第一图像获取运动包括定义横越边缘的边缘方向的运动方向，其中学习模式包括：
测量边缘；
确定边缘的角度；
设置运动方向至等于边缘的角度加上90度的角度；以及
基于运动方向和工具位置参数计算两个路径点。
28.根据权利要求27的方法，其中第一和第二图像包括感兴趣区域中的工件的多个边缘，并且如果作出多个边缘工具正在感兴趣区域内关于多个边缘工具使用的确定，那么学习模式进一步包括：
确定多个边缘的角度；和
确定单运动方向是否可以被确定为在离关于多个边缘的角度的每一个垂直的规定程度范围内，如果是，则使用确定的运动方向，如果不是，则添加至少第二运动方向，用于得到至少第三图像。
29.一种获取要用于在工件上进行测量操作的多幅图像的机器视觉检测系统，该机器视觉检测系统包括：
光学系统，提供放大倍率M；
相机，包括第一像素间距P并且包括快速多图像获取模式的操作；
存储器，存储编程指令；
处理器，配置为执行编程指令以进行操作，该操作包括：
提供子像素偏移图像取样操作，包括：
提供第一图像获取运动，包括以第一速度S沿第一方向相对于彼此移动工件和相机之一；
在图像获取运动期间利用快速多图像获取模式的操作获取感兴趣区域的多幅图像，该多幅图像包括：
在第一时间t1处获取的感兴趣区域的第一图像；和
在第一时间t1之后的第二时间t2处获取的感兴趣区域的第二图像；
其中第一和第二图像之间的偏移O大约等于M*S*(t2-t1)，并且机器视觉检测系统被配置成使得O不等于nP，其中n为整数。
30.根据权利要求29的机器视觉检测系统，其中操作进一步包括去除偏移以便工件在图像中是相同的，并组合相同的图像数据以提供具有比相机自身分辨率允许的更高的分辨率的图像数据，该相机在机器视觉检测系统中获取图像。
31.一种计算机可读取存储介质，具有存储在其上的指令，该指令通过机器视觉检测系统中的处理器可执行以进行下述操作：
利用提供放大倍率M的机器视觉检测系统的光学系统提供子像素偏移图像取样操作，子像素偏移图像取样操作包括：
提供第一图像获取运动，包括以第一速度S沿第一方向相对于彼此移动工件和相机之一，该相机具有第一像素间距P并且包括快速多图像获取模式的操作；
在图像获取运动期间利用快速多图像获取模式的操作获取感兴趣区域的多幅图像，该多幅图像包括：
在第一时间t1处获取的感兴趣区域的第一图像；和
在第一时间t1之后的第二时间t2处获取的感兴趣区域的第二图像；
其中第一和第二图像之间的偏移O大约等于M*S*(t2-t1)，并且机器视觉检测系统被配置成使得O不等于nP，其中n为整数。
32.根据权利要求31的计算机可读取存储介质，其中操作包括去除偏移O以便工件在图像中是相同的，并组合相同的图像数据以提供具有比相机自身分辨率允许的更高的分辨率的图像数据，该相机在机器视觉检测系统中获取图像。
CN201410249670.7A 2013-04-05 2014-04-04 获得具有用于增强边缘分辨率的偏移的图像的系统和方法 Active CN104101295B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/857,319 US9304089B2 (en) 2013-04-05 2013-04-05 System and method for obtaining images with offset utilized for enhanced edge resolution
US13/857,319 2013-04-05

Publications (2)

Publication Number Publication Date
CN104101295A true CN104101295A (zh) 2014-10-15
CN104101295B CN104101295B (zh) 2017-04-12

Family

ID=51567739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410249670.7A Active CN104101295B (zh) 2013-04-05 2014-04-04 获得具有用于增强边缘分辨率的偏移的图像的系统和方法

Country Status (4)

Country Link
US (1) US9304089B2 (zh)
JP (1) JP6322456B2 (zh)
CN (1) CN104101295B (zh)
DE (1) DE102014206309B4 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106404800A (zh) * 2016-11-02 2017-02-15 北京中电科电子装备有限公司 一种划片机视觉切换控制系统及划片机
CN106483338A (zh) * 2015-08-28 2017-03-08 松下知识产权经营株式会社 图像输出装置、图像发送装置、图像接收装置、图像输出方法
CN111066062A (zh) * 2017-08-24 2020-04-24 雷迪安特视觉系统有限公司 使用分数像素测量电子视觉显示器的方法和系统
CN111127332A (zh) * 2018-10-31 2020-05-08 Fei公司 对显微镜图像的智能计量
CN112464686A (zh) * 2014-12-27 2021-03-09 手持产品公司 基于加速度的运动容差和预测编码
CN114161197A (zh) * 2021-12-22 2022-03-11 中国科学技术大学 一种偏心工件自动校正方法、系统、设备及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208537B1 (en) * 2014-07-10 2015-12-08 Shenzhen China Star Optoelectronics Technology Co., Ltd Super-resolution reconstructing method for enhancing smoothness and sharpness of video image
EP3295146B1 (en) 2015-05-10 2024-03-13 6 Over 6 Vision Ltd Apparatus, system and method of determining one or more optical parameters of a lens
US10670494B2 (en) 2015-05-10 2020-06-02 6 Over 6 Vision Ltd. Apparatus, system and method of determining one or more optical parameters of a lens
US9602715B2 (en) * 2015-07-09 2017-03-21 Mitutoyo Corporation Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
US9830694B2 (en) 2015-08-31 2017-11-28 Mitutoyo Corporation Multi-level image focus using a tunable lens in a machine vision inspection system
US9774765B2 (en) 2015-09-15 2017-09-26 Mitutoyo Corporation Chromatic aberration correction in imaging system including variable focal length lens
US11056314B2 (en) * 2015-10-22 2021-07-06 Northwestern University Method for acquiring intentionally limited data and the machine learning approach to reconstruct it
US10503890B2 (en) * 2016-02-16 2019-12-10 Arizona Board Of Regents On Behalf Of Northern Arizona University Authentication of images extracted from unclonable objects
FR3072467B1 (fr) * 2017-10-13 2021-06-18 Alessandro Manneschi Inspection d'une chaussure avec une camera thermique
US11933717B2 (en) * 2019-09-27 2024-03-19 Kla Corporation Sensitive optical metrology in scanning and static modes
CN113096011B (zh) * 2021-03-25 2024-02-09 北京达佳互联信息技术有限公司 图像处理方法、装置及电子设备
CN116402817B (zh) * 2023-06-08 2023-08-15 青岛国源中创电气自动化工程有限公司 基于视频分析的污水曝气量的检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0554116A2 (en) * 1992-01-30 1993-08-04 Texas Instruments Incorporated Method and system for enhancing resolution of an image
CN1423237A (zh) * 2001-11-16 2003-06-11 株式会社三丰 图像边界检测系统与方法
CN1717702A (zh) * 2003-04-17 2006-01-04 精工爱普生株式会社 利用多帧图像的静止图像的生成
US20060093205A1 (en) * 2004-10-29 2006-05-04 Bryll Robert K System and method for automatically recovering video tools in a vision system
CN102647553A (zh) * 2011-02-17 2012-08-22 株式会社三丰 图像测量装置以及自动对焦控制方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335091A (en) 1991-12-31 1994-08-02 Eastman Kodak Company Apparatus for mechanically dithering a CCD array
JP3209641B2 (ja) * 1994-06-02 2001-09-17 三菱電機株式会社 光加工装置及び方法
JP4371457B2 (ja) * 1999-02-18 2009-11-25 キヤノン株式会社 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP3184183B2 (ja) * 1999-06-04 2001-07-09 株式会社ユタカ 扁平ワークの検査装置
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
DE10047211B4 (de) 2000-09-23 2007-03-22 Leica Microsystems Semiconductor Gmbh Verfahren und Vorrichtung zur Positionsbestimmung einer Kante eines Strukturelementes auf einem Substrat
WO2002097535A2 (en) 2001-05-30 2002-12-05 Nptest, Inc. Sub-resolution alignment of images
US7064779B1 (en) 2001-10-23 2006-06-20 Ess Technology, Inc. Imaging system combining multiple still images for higher resolution image output
US7061524B2 (en) 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US7084910B2 (en) 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
US7778493B2 (en) 2003-10-09 2010-08-17 The Henry M. Jackson Foundation For The Advancement Of Military Medicine Inc. Pixelation reconstruction for image resolution and image data transmission
JP2005266083A (ja) * 2004-03-17 2005-09-29 Olympus Corp 観察装置及び観察方法
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
JP4184319B2 (ja) * 2004-06-10 2008-11-19 オリンパス株式会社 撮像装置
US7420592B2 (en) * 2004-06-17 2008-09-02 The Boeing Company Image shifting apparatus for enhanced image resolution
US7499584B2 (en) 2004-10-21 2009-03-03 Mitutoyo Corporation Smear-limit based system and method for controlling vision systems for consistently accurate and high-speed inspection
JP2006221220A (ja) * 2005-02-08 2006-08-24 Seiko Epson Corp 複数の低解像度画像を用いた高解像度画像の生成
JP4919637B2 (ja) * 2005-09-14 2012-04-18 株式会社日立製作所 撮像装置及び撮像方法
EP1980109B1 (en) 2006-01-31 2018-07-11 Thomson Licensing DTV Methods and apparatus for edge-based spatio-temporal filtering
US7567713B2 (en) 2006-02-08 2009-07-28 Mitutoyo Corporation Method utilizing intensity interpolation for measuring edge locations in a high precision machine vision inspection system
JP2010004386A (ja) * 2008-06-20 2010-01-07 Pioneer Electronic Corp 超解像画像取得システム、画像取得装置、超解像画像取得方法、超解像画像取得プログラム、及び超解像画像取得プログラムが記録された記録媒体
US8130278B2 (en) 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
DE102009015594B4 (de) 2009-03-30 2015-07-30 Carl Zeiss Sms Gmbh Verfahren und Vorrichtung zur subpixelgenauen Positionsbestimmung einer Kante einer Markerstruktur in einer Vielzahl von Aufnahmepixeln aufweisenden Aufnahme der Markerstruktur
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
MX2013002795A (es) * 2010-09-13 2013-05-09 Sinclair Systems International Llc Sistema de reconocimiento de vision para etiquetado de productos agricolas.
US8280172B1 (en) * 2011-03-22 2012-10-02 Mitutoyo Corporation Edge location measurement correction for coaxial light images
US20120274811A1 (en) * 2011-04-28 2012-11-01 Dmitry Bakin Imaging devices having arrays of image sensors and precision offset lenses

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0554116A2 (en) * 1992-01-30 1993-08-04 Texas Instruments Incorporated Method and system for enhancing resolution of an image
CN1423237A (zh) * 2001-11-16 2003-06-11 株式会社三丰 图像边界检测系统与方法
CN1717702A (zh) * 2003-04-17 2006-01-04 精工爱普生株式会社 利用多帧图像的静止图像的生成
US20060093205A1 (en) * 2004-10-29 2006-05-04 Bryll Robert K System and method for automatically recovering video tools in a vision system
CN102647553A (zh) * 2011-02-17 2012-08-22 株式会社三丰 图像测量装置以及自动对焦控制方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464686A (zh) * 2014-12-27 2021-03-09 手持产品公司 基于加速度的运动容差和预测编码
CN112464686B (zh) * 2014-12-27 2024-05-28 手持产品公司 基于加速度的运动容差和预测编码的装置以及方法
CN106483338A (zh) * 2015-08-28 2017-03-08 松下知识产权经营株式会社 图像输出装置、图像发送装置、图像接收装置、图像输出方法
CN106404800A (zh) * 2016-11-02 2017-02-15 北京中电科电子装备有限公司 一种划片机视觉切换控制系统及划片机
CN111066062A (zh) * 2017-08-24 2020-04-24 雷迪安特视觉系统有限公司 使用分数像素测量电子视觉显示器的方法和系统
CN111066062B (zh) * 2017-08-24 2023-03-24 雷迪安特视觉系统有限公司 使用分数像素测量电子视觉显示器的方法和系统
CN111127332A (zh) * 2018-10-31 2020-05-08 Fei公司 对显微镜图像的智能计量
CN111127332B (zh) * 2018-10-31 2024-03-22 Fei公司 对显微镜图像智能计量的方法和非暂时性计算机可读介质
CN114161197A (zh) * 2021-12-22 2022-03-11 中国科学技术大学 一种偏心工件自动校正方法、系统、设备及存储介质
CN114161197B (zh) * 2021-12-22 2023-09-15 中国科学技术大学 一种偏心工件自动校正方法、系统、设备及存储介质

Also Published As

Publication number Publication date
US9304089B2 (en) 2016-04-05
DE102014206309B4 (de) 2023-05-25
CN104101295B (zh) 2017-04-12
DE102014206309A1 (de) 2014-10-09
JP6322456B2 (ja) 2018-05-09
JP2014202751A (ja) 2014-10-27
US20140300726A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
CN104101295A (zh) 获得具有用于增强边缘分辨率的偏移的图像的系统和方法
US8902307B2 (en) Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
US7394926B2 (en) Magnified machine vision user interface
JP5982144B2 (ja) 落射照明画像用のエッジ位置測定値補正
JP6469368B2 (ja) マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法
EP1686367B2 (en) Enhanced video metrology tool
JP6071452B2 (ja) マシンビジョンシステムのパートプログラム編集環境内で編集初期化ブロックを利用するシステム及び方法
CN103809965B (zh) 在用户界面中定义边缘检测参数的方法、系统及存储介质
JP6053119B2 (ja) マシンビジョン検査システムおよびその位置測定結果の決定方法
CN104075666A (zh) 用于不规则表面边缘的增强型边缘检测工具
US20110231787A1 (en) Gui for programming step and repeat operations in a machine vision inspection system
US20140055604A1 (en) Machine vision inspection system comprising two cameras having a rotational offset
JP6293453B2 (ja) エッジ測定ビデオツールパラメータ設定ユーザインタフェース
US9167215B2 (en) Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
CN105204840B (zh) 用于部件程序的机器视觉系统的编辑环境

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant