CN104048674B - 利用不准确的校准靶的机器视觉系统校准 - Google Patents

利用不准确的校准靶的机器视觉系统校准 Download PDF

Info

Publication number
CN104048674B
CN104048674B CN201410198247.9A CN201410198247A CN104048674B CN 104048674 B CN104048674 B CN 104048674B CN 201410198247 A CN201410198247 A CN 201410198247A CN 104048674 B CN104048674 B CN 104048674B
Authority
CN
China
Prior art keywords
alignment target
calibration
length cell
generation device
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410198247.9A
Other languages
English (en)
Other versions
CN104048674A (zh
Inventor
G·刘
D·李
L·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of CN104048674A publication Critical patent/CN104048674A/zh
Application granted granted Critical
Publication of CN104048674B publication Critical patent/CN104048674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

描述了一种利用不准确的校准靶的机器视觉系统校准方法、系统和装置,其包括用于校准机器视觉系统的计算机程序产品。系统包括:一个或多个相机;移动产生装置;以及校准模块。校准模块被构造成:从一个或多个相机的第一相机中,获取包括提供多个校准特征的校准图案的校准靶的多个图像;从多个图像中,提取多个校准特征中的校准特征,其中,多个校准特征的物理位置处于与校准靶相关的校准靶长度单元中;确定校准靶长度单元和与移动产生装置相关的移动产生装置长度单元之间的比例;以及基于该比例,提供用于第一相机的第一校准。

Description

利用不准确的校准靶的机器视觉系统校准
技术领域
本技术大体涉及机器视觉系统,且更具体地涉及校准一机器视觉系统。
背景技术
在机器视觉系统中,一个或多个相机可用于在成像视场内的物体或表面上执行视觉系统处理。这些处理可包括检查、符号解码、对准、和/或多个其他任务。在某些应用中,机器视觉系统可用于检查设置在成像场内或穿过成像场的扁平工件。该成像场可由一个或多个视觉系统相机成像。由相机捕获的图像可由机器视觉系统处理,以确定与成像场内的特征有关的信息、诸如特征的真实位置、姿态、等等。在某些应用中,相机可被校准成允许机器视觉系统以增强的精度和可靠性执行视觉任务。
校准靶可被用于校准相机。校准靶可为具有准确已知的(例如,由于制造过程)或可测量的尺寸特性的任何物体。例如,校准板可用作校准靶。校准板可为具有在其表面可见的特色图案的扁平物体。特色图案可布置成使得机器视觉系统或用户可容易的识别由相机获取的校准板的图像中的可视特征。某些示例性图案包括,但不限于,点状网格、线状网格、蜂窝状图案、方形棋盘格、三角形棋盘格、等等。校准图案典型地包含可高度定位的特征。特征定位的精确水平可影响校准的精度。圈(点或孔)可能比栅格或棋盘格图案的准确度小。每个可视特征的特性从板的图案获知,诸如相对于图案内隐含限定的参考位置和/或坐标系统的定位和/或定向。呈现在图案中的特征可包括校准特征。校准特征可为校准板的图案中的单个特征,该校准板的图案的特性可易于被测量(例如,特征的位置、大小、颜色、等等),且它的由标称图案预期的特性是已知的。例如,某些能校准的特征位置包括棋盘格图案片的角落或中心、或者点状网格中的点中心、或线状网格中的线交叉点。校准板图案可包括以重复图案设置的大量校准特征。更基本地,校准特征可易于从所获取的图像中提取并可提供已知的特性。在某些领域中,已知的尺寸特性可被用于校准机器视觉系统。
在某些传统系统中,校准靶具有特定的特性。例如,校准靶典型地在尺寸上是稳定的和刚性的。在某些应用中,校准板可由玻璃制成(例如,通过玻璃上的铬结构)。玻璃校准板具有可有利于机器视觉系统校准的特性。例如,玻璃校准板的尺寸不随着温度和湿度上的变化而显著改变(例如,尺寸上的稳定)。然而,玻璃校准板典型地是昂贵的。在某些应用中,可由双向拉伸聚酯薄膜(BoPET)诸如由Dupont生产的MYLAR聚酯薄膜制成。尽管BoPET校准板典型地比玻璃校准板成本低,然而BoPET校准板的尺寸可随着温度和/或湿度上的变化而改变(例如超过百分比的1/10)。类似地,某些金属校准板(例如,由铝或钢板制成的校准板)在尺寸上不是稳定的(例如,这种校准板可遭受显著的热膨胀)。纸的和BoPET校准板在尺寸上是不稳定的。此外,纸的和BoPET校准板不是刚性的,除非被粘附在刚性的支撑基板上。
发明内容
因此,需要能够使用由低成本材料(诸如BoPET)制成的校准靶,同时自动地说明可降低校准精度的这些廉价的材料中普遍的变形。
一方面,系统可包括一个或多个相机。该系统可包括移动产生装置。该系统可包括校准模块,其被构造成:从一个或多个相机中的第一相机获取多个校准靶的图像,该校准靶包括用于提供多个校准特征的校准图案;从多个图像中,提取多个校准特征中的一个或多个校准特征,其中,多个校准特征的物理位置处于与校准靶相关的校准靶长度单元中;确定校准靶长度单元和与移动产生装置有关的移动产生装置长度单元之间的比例;以及基于校准靶长度单元与移动产生装置长度单元之间的比例而提供用于第一相机的第一校准。
另一方面,一种校准至少一个相机的计算机执行方法,包括:通过第一相机,获取校准靶的多个图像,该校准靶包括提供多个校准特征的校准图案。该方法可包括:通过机器视觉系统,从多个图像中提取多个校准特征的一个或多个校准特征,其中,多个校准特征的物理位置处于与校准靶相关的校准靶长度单元中。该方法可包括:通过机器视觉系统,确定校准靶长度单元和与移动产生装置有关的移动产生装置长度单元之间的比例。该方法可包括:通过机器视觉系统,基于移动产生装置长度单元与校准靶长度单元之间的比例,提供用于第一相机的第一校准。
另一方面,一种计算机程序产品,其实质包含在非易失计算机可读存储介质中,包括指令,其可操作成使得机器视觉系统:从第一相机获取校准靶的多个图像,该校准靶包括提供多个校准特征的校准图案;从多个图像中,提取多个校准特征的一个或多个校准特征,其中,多个校准特征的物理位置处于与校准靶相关的校准靶长度单元;确定校准靶长度单元和与移动产生装置相关的移动产生装置长度单元之间的比例;以及基于移动产生装置长度单元与校准靶长度单元之间的比例,提供用于第一相机的第一校准。
在某些实施例中,校准模块进一步被构造成:从一个或多个相机的第二相机,获取校准靶的第二多个图像;从第二多个图像中提取多个校准特征的第二一个或多个校准特征,其中,第二多个校准特征的物理位置处于与校准靶相关的校准靶长度单元中;以及基于校准靶长度单元与移动产生装置长度单元之间的比例,提供用于第二相机的第二校准。
在某些实施例中,移动产生装置被构造成,以包括平移分量和旋转分量中的至少一个的移动方式,使校准靶和第一相机中的一个移动,该移动处于移动产生装置长度单元中,且其中,校准模块被构造成,在移动前获取校准靶的多个图像中的第一图像,以及在移动之后获取校准靶的多个图像中的第二图像。
在某些实施例中,校准模块进一步被构造成:基于第一测试比例确定用于第一相机的第一测试校准;确定用于第一测试校准的第一残差;基于第二测试比例确定用于第一相机的第二测试校准;确定用于第二测试校准的第二残差;在第一残差小于第二残差时,将校准靶长度单元与移动产生装置长度单元之间的比例确定为第一测试比例,否则,将校准靶长度单元与移动产生装置长度单元之间的比例确定为第二测试比例;以及如果第一残差小于第二残差时,提供第一测试校准作为第一校准,否则提供第二测试校准作为第一校准。
在某些实施例中,校准模块进一步被构造成实施手眼校准以基于校准靶长度单元与移动产生装置长度单元之间的比例计算用于第一相机的第一校准。
在某些实施例中,该方法包括:通过一个或多个相机中的第二相机,获取校准靶的第二多个图像;通过机器视觉系统,从第二多个图像,提取多个校准特征的第二一个或多个校准特征,其中,第二多个校准特征的物理位置处于与校准靶相关的校准靶长度单元中;以及通过机器视觉系统,基于校准靶长度单元与移动产生装置长度单元之间的比例,提供用于第二相机的第二校准。
在某些实施例中,该方法包括:通过移动产生装置,以包括平移分量和旋转分量中的一个的移动的方式,使校准靶和第一相机中的一个移动,该移动处于移动产生装置长度单元中;以及通过第一相机,在移动之前,获取校准靶的多个图像中的第一图像,且在移动之后,获取校准靶的多个图像中的第二图像。
在某些实施例中,该方法包括:通过机器视觉系统,基于第一测试比例确定用于第一相机的第一测试校准;通过机器视觉系统,确定用于第一测试校准的第一残差;通过机器视觉系统,基于第二测试比例,确定用于第一相机的第二测试校准;通过机器视觉系统,确定用于第二测试校准的第二残差;通过机器视觉系统,在第一残差小于第二残差时,将校准靶长度单元与移动产生装置长度单元之间的比例确定为第一测试比例,否则,将第一校准靶长度单元与移动产生装置长度单元之间的比例确定为第二测试比例;以及通过机器视觉系统,在第一残差小于第二残差时,提供第一校准作为第一校准,否则提供第二测试校准作为第一校准。
在某些实施例中,该方法包括:通过机器视觉系统,实施手眼校准以基于校准靶长度单元与移动产生装置长度单元之间的比例,计算用于第一相机的第一校准。
在某些实施例中,计算机程序产品包括指令,其可操作成使得机器视觉系统:从第二相机中,获取校准靶的第二多个图像;从第二多个图像,提取多个校准特征中的第二一个或多个校准特征,其中,第二多个校准特征的物理位置处于与校准靶相关的校准靶长度单元中;以及基于校准靶长度单元与移动产生装置长度单元之间的比例,提供用于第二相机的第二校准。
在某些实施例中,计算机程序产品包括指令,其可操作成使得机器视觉系统:通过移动产生装置,以包括平移分量和旋转分量中的至少一个的移动的方式,使校准靶和第一相机中的一个移动,该移动处于移动产生装置长度单元中;以及在移动之前,获取校准靶的多个图像中的第一图像,且在移动之后,获取校准靶的多个图像中的第二图像。
在某些实施例中,计算机程序产品包括指令,其可操作成使得机器视觉系统:基于第一测试比例,确定用于第一相机的第一测试校准;确定用于第一测试校准的第一残差;基于第二测试比例,确定用于第一相机的第二测试校准;确定用于第二测试校准的第二残差;在第一残差小于第二残差时,将校准靶长度单元与移动产生装置长度单元之间的比例确定为第一测试比例,否则,将校准靶长度单元与移动产生装置长度单元之间的比例确定为第二测试比例;以及在第一残差小于第二残差时,提供第一测试校准作为第一校准,否则提供第二测试校准作为第一校准。
在某些实施例中,计算机程序产品包括指令,其可操作成使得机器视觉系统:实施手眼校准以基于校准靶长度单元与移动产生装置长度单元之间的比例,计算用于第一相机的第一校准。
在某些实施例中,校准靶为包括BoPET的校准板。
在某些实施例中,校准靶长度单元与移动产生装置长度单元之间的比例,与校准靶的变形相关,该标准靶的变形与至少一个环境因素相关。
根据随后的详细说明,以及仅仅通过示例的方式阐释技术原理的附图,本技术的其他方面和优点,将变得显而易见。
附图说明
根据各个实施例的随后说明,在连同附图一起阅读时,本技术的前述以及其他观点、目的、和优点,以及技术本身将被更加充分理解,其中:
图1描述了机器视觉系统的简图;
图2A和2B描述了由相机捕获的校准靶的图像;
图3描述了用于确定相机的校准的方法的流程图;以及
图4描述了用于确定校准靶长度单元与移动产生装置长度单元之间的标度比的方法的流程图。
具体实施方式
在示例性的应用中,机器视觉系统可用于将工件对准一件处理装置,诸如在丝网印刷中的手机、平板电脑和平板显示器的保护镜头。例如,工件可设置在可相对于丝网印刷设备移动工件的移动台或其他移动产生装置上。校准(例如,手眼校准)可改进机器视觉系统的能力,以使工件相对于丝网印刷设备精确定位。在某些应用中,校准可包括确定由相机捕获的图像与由相机成像的视场的物理空间之间的关系。例如,校准相机可包括确定从相机的图像的坐标系统到视场的物理坐标空间(例如,移动产生装置的移动坐标系统)的数学转换。在某些应用中,用于相机的校准可部分地涉及这种转换。
校准可利用诸如校准板的校准靶来实施。校准靶可包括印刷在校准靶上的校准靶坐标系统。例如,某些校准靶可包括网格,其中,网格的线可被设计成均匀分布以形成坐标系统。校准板可包括网格,其中,网格线被设计成为相距1cm。如上所示,某些校准板材料可变形(例如,由热胀或冷缩引起)。因此,尽管网格线之间的标称(例如,如设计的)距离为1cm,网格线之间的实际距离可为较大或较小(例如,1.001cm或.999cm)。
此处所描述的技术可被用于通过利用具有可不同于实际尺寸的标称尺寸的校准靶来校准机器视觉系统。在某些实施例中,该技术可自动确定校准靶的标度比(例如,靶的标称长度单元与靶的实际长度单元的比例),由此允许利用校准靶的坐标系统校准,同时减小校准误差。在某些实施例中,该技术将移动产生装置(例如,移动台)的精度用作尺寸标准,以确定校准靶的标称长度单元如何与实际长度相关。例如,具有标称为1cm的方形的网格的校准靶可被固定到移动产生装置上。相机可捕获处于该第一姿态的校准靶的第一图像。移动产生装置可被命令成通过特定的平移移动校准靶,诸如将校准靶向左侧移动1cm。相机可捕获处于该第二姿态的校准靶的第二图像。由于方格在每一侧标称为1cm,它可被期待成,校准靶将被观测成在两个姿态之间向左移动一个方格。如果校准靶已膨胀,姿态之间所观测的移动将小于1个方格。如果校准靶已收缩,所观测的移动将大于1个方格。有利地,该技术可基于所期待的移动(例如,基于校准靶的标称长度单元所期待的)与利用移动产生装置使校准靶平移之后所观测的移动之间的差值,确定标度比。
参考附图,图1描述了机器视觉系统100的简图。机器视觉系统100包括大体指向包括移动产生装置115的视场的相机105和110。如所示出的,校准靶120设置在移动产生装置115上。机器视觉系统100包括机器视觉处理器125,其包括校准模块130。
相机105和/或相机110可捕获包括校准靶120的视场的图像。在某些实施例中,移动产生装置115可沿着x轴135和/或y轴140平移,由此,使校准靶120平移。在某些实施例中,移动产生装置115可旋转(例如,围绕轴145)。在某些实施例中,校准靶120可关于成像的视场静止,且一个或多个相机可相对于视场移动。由相机105和/或相机110获取的图像可被传递到机器视觉处理器125(例如,经由已知的适当的无线、有线或其他通信信道/链路)。
在所示出的实施例中,校准靶120被设计成具有标称9cm的宽度和标称8cm的高度。校准靶的每个方格在每一侧上标称为1cm长。在某些实施例中,校准靶具有不同的尺寸和形状。如本领域技术人员所知晓的,取决于机器视觉系统的运行操作中所分析的物体或表面的特定应用和大小,校准靶120在宽度和高度上可从几毫米变化到几米。
尽管机器视觉系统100描述为具有两个相机,相机105和相机110,该技术的某些实施例可包括具有更少或更多数目的相机的机器视觉系统,所有的相机都大体指向视场。在某些实施例中,单个相机(例如,相机105)可被用于成像视场。移动(例如,如由移动产生装置115所提供的),可被描绘为平移运动、旋转运动、或平移和旋转的组合。尽管移动产生装置115被示出为能够沿着x轴135和/或y轴140平移,该技术的某些实施例可提供三维(3D)移动,其包括,沿着垂直于由x和y轴所限定的平面的z轴的平移分量和/或从x-y平倾斜/旋转中的至少一个。在某些实施例中,机器视觉系统可包括允许它用作独立单元的内部处理器和其他元件,其向下游过程提供输出数据(例如,特征信息)。处理器可被完全地独立包含在相机主体内、部分地包含在主体内、或置于主体外部(如图1中所示的)。
图2A和2B描述了由相机105捕获的校准靶120的图像。图2A描绘了处于第一姿态的校准靶120的图像205。姿态可指移动产生装置115的移动坐标系统中的校准靶120的定位和/或定向。标记215被包括以用于示例的目的,且被定位在相机105的图像坐标系统中的静止位置处。图2B描述了处于第二姿态的校准靶120的图像210,其中,移动产生装置115已将校准靶120从第一姿态沿着x轴135向左移动1cm。基于校准靶120的标称尺寸,标记215被期望相对于校准靶120沿着x轴135向右移动一个方格(标称为1cm)。如图2B所示的,标记215已移动超过1个方格,其表明,校准靶120已经收缩,以使得它的方格在每一侧小于1cm。如下面所详细描述的,该技术可确定校准靶120的标度比(例如,校准靶120的标称长度单元与校准靶120的实际长度单元的比例)。例如,该技术可假设,移动产生装置115为足够准确的,并通过确定校准靶120的标称长度单元与移动产生装置115的长度单元的比例,来确定(或者近似确定)校准靶120的标称长度单元与校准靶120的实际长度单元的比例,由此允许利用校准靶120进行校准。
图3描述了用于确定相机的校准的方法的流程图300。例如,该方法可由机器视觉处理器125的校准模块130来执行。在某些实施例中,机器视觉系统100可根据所描述的方法,利用校准靶120的网格来校准相机105。在步骤305,获取包括提供多个校准特征的校准图案的校准靶的图像。例如,参考图1,相机105可获取校准靶120的多个图像。如上所述的,相机105可获取处于多个姿态的校准靶120的图像(例如,图像205和210)。
在步骤310,校准特征被从图像中提取,其中,校准特征的物理位置在与校准靶相关的校准靶长度单元中列出。例如,校准靶120上的网格的一个或多个交叉线可为校准特征。校准特征可利用商业上可获得的机器视觉软件,诸如Cognex公司出产的Cognex VisionLibrary()软件,从图像中提取。每一个校准特征可与两个坐标位置相关:图像坐标系统中的校准特征的图像位置和物理坐标系统中的校准特征的物理位置。在某些实施例中,校准特征的物理位置至少部分地可表达在校准靶120的标称长度单元中。例如,参考图1,校准特征155的物理位置可被表达为到校准靶150的原点的右侧标称上为4cm(例如,4个方格)的位置。可如传统的手眼校准一样基于移动坐标系统中的校准靶120的姿态,以及基于表达在校准靶120的标称长度单元中校准特征155相对于原点150的位置,确定移动坐标系统中的校准特征155的物理位置。
在步骤315,确定校准靶长度单元与移动产生装置长度单元之间的比例。在某些实施例中,该技术可确定校准靶120的标称长度单元与移动产生装置115的长度单元的比例。下面参考附图4和5详细描述确定比例的示例性方法。
在步骤320,基于校准靶长度单元与移动产生装置长度单元之间的比例提供第一校准。在某些实施例中,诸如关于图4所描述的,当确定校准靶长度单元与移动产生装置长度单元之间的比例时,可基于计算校准靶长度单元与移动产生装置长度单元之间的比例的校准。在某些实施例中,可利用诸如由Cognex公司出产的软件来计算基于校准靶长度单元与移动产生装置长度单元之间的比例的校准。在某些实施例中,可实施标准的手眼校准,其中,每个校准特征的物理位置在被用于校准之前可由标度比标度。
有利地,基于校准靶长度单元与移动产生装置长度单元之间的比例的校准可补偿校准靶的变形,同时仍旧允许校准靶的校准特征被使用。没有这种补偿,校准可能不准确。
图4描述了用于确定校准靶长度单元与移动产生装置长度单元之间的标度比的方法的流程图400。例如,该方法可由机器视觉处理器125的校准模块130来执行。在步骤405,接收标度比检索范围。例如,检索范围可位于.9与1.1之间即[.9,1.1]。在某些实施例中,校准模块130可从机器视觉系统125内的存储器(未示出)接收检索范围(例如,预定的范围可由机器视觉系统125储存)。在某些实施例中,检索范围可从用户接收(例如,用户可基于制造校准靶的材料的所期望的膨胀/收缩边界提供检索范围)。
在步骤410,黄金比例检索算法被用于从检索范围拾取标度比测试值S。在步骤415,实施采用校准特征的标度物理位置的手眼校准。例如,由Cognex公司出产的软件可用于实施校准。如上所述的,校准特征的物理位置可被表达在校准靶的标称单元中。物理位置坐标可由标度比检测值标度。例如,参考图1,校准特征155的物理位置可被标称上表达为校准靶150的原点右侧的4cm(例如,4个方格)。校准特征155的物理位置可通过标度比测试值标度为例如,S×4cm,以获得校准靶150的原点的标度距离。可如传统手眼校准一样基于移动校准系统中的校准靶120的姿态,以及基于表达在校准靶120的标度标称长度单元中的校准特征155相对于原点150的位置,表达移动坐标系统中的校准特征155的物理位置。
在步骤420,计算用于标度的校准特征点的物理空间中的残差。例如,由Cognex公司出产的软件可用于计算移动坐标系统中的残差。在某些实施例中,残差可为用于横跨每个图像中的每个校准点的残差的平均值。在某些实施例中,它可为用于横跨每个图像中的每个校准点的残差的和。
在步骤425,确定黄金分割检索算法是否收敛于最佳残差(例如,用于当前标度比检测值的残差是否对于标度比检索范围中的任何标度比为最小)。如果残差不为最小,该方法回到步骤410,其中,新的标度测试值S被拾取,且利用新的测试值,步骤415、420和425被重复。如果该残差为用于检索范围的最小值,在步骤430,最后使用的标度比测试值被确定为校准靶长度单元与移动产生装置长度单元之间的比例。提供了校准靶长度单元与移动产生装置长度单元之间的比例以及利用该比例计算出的校准。
尽管图4中所示例的方法采用黄金分割检索算法,应该理解,其它的数学算法可被替换用于发现最小的残差。此外,尽管图4中所示例的方法采用单个标度比,该技术还可采用一个或多个标度比来说明不均匀的膨胀/收缩(例如,沿着x轴比沿着y轴膨胀/收缩不同的量)。
在某些实施例中,可在手眼校准期间,通过使标度比模型化,连同手眼校准期间模型化的其他未知变量,来确定(例如,估计或近似)标度比。例如,标度比可在确定校准靶放置姿态期间被估计。通常地,校准靶放置姿态可例如涉及校准靶如何被放置在移动台上。校准靶放置姿态可为由旋转分量R和平移分量T组成的刚性体姿态。例如,参考图1,校准靶120的放置姿态可描述,校准靶120如何放置在移动产生装置115上。旋转分量R可描述校准靶120与移动产生装置115之间的相对旋转。平移分量T可描述校准靶150的原点与移动产生装置160的原点之间的偏移。
更通常地,旋转分量可由下面的2×2旋转矩阵表示,对于旋转角A:
平移分量T可由2×1矢量表示,其中,offsetx和offsety,描述校准靶的原点与移动产生装置的长度单元中的移动产生装置的原点之间的偏移,如下:
例如,再次参考图1,在由校准靶120所定义的坐标系统和校准靶120的长度单元(例如,以标称上为1cm的小块)中发现用于校准特征155的位置P(例如,2×1矢量)。校准特征155的物理位置(例如,移动产生装置115的坐标系统中的位置)可通过在移动产生装置长度单元中施加标度比S将P转换到Q(例如,2×1矢量)来发现,伴随有施加放置姿态的旋转分量R和平移分量T,以便得到移动产生装置115的坐标系统中的校准特征155的物理位置V。更通常地,该关系通过下面的用于V的方程模型化:
V=R(A)*Q+T=R(A)*S*P+T
甚至更通常地,S可为2×2矩阵,其模型化单独的x标度Sx、y标度Sy,和校准图案的X与Y轴之间的斜率:
在简化模型(例如,等分标度)中,Sx=Sy=S及k=0。
传统的手眼校准基于在校准特征提取期间(例如,图3中的步骤310)收集的信息估计A和T。在某些实施例中,该技术引入新的未知变量(例如,等分标度比、单独的X标度、Y标度、以及斜率)。利用本领域技术人员公知的技术(例如,最小二乘法拟合以使残差最小化),A、T和S可利用上述的技术关系来估计,由此确定校准靶长度单元与移动产生装置长度单元之间的标度比。
例如,于1999年9月28日公开的、名称为“用于确定相机与可移动物体之间的校准关系的基于无反馈的机器视觉方法”的美国专利5,960,125中描述了一种手眼校准方法,其全部内容合并于此作为参考。在某些该技术的实施例中,根据下面的关系,通过使误差Eij最小化可实施校准:
其中,每一个变量如在美国专利5,960,125中所描述的,且为如上所述的标 度矩阵。在最小化误差中,Sx,Sy和k可被估计。
上述的技术可在数字电子电路、或在计算机硬件、固件、软件、或在它们的组合中实施。该实施方式可作为计算机程序产品,即有形地体现在信息载体中的计算机程序,例如以机器可读存储器件的形式或以传播信号的形式,以便由例如可编程处理器、计算机或多个计算机的数据处理设备的操作执行或对其进行控制。计算机程序可以包括编译或解译的语言的任何形式的编程语言编写,且它可以包括作为独立程序或作为模块、部件、子程序或其他适用于计算环境的单元的任何形式被调配。计算程序可被调配以在一个站点或分布式多站点处的一个计算机或多个计算机上执行,且可由通信网络互连。所描述的处理器、部件、或模块可联合其他的处理器、元件或模块,或者可划分为各种子处理器、子部件、或子模块。这可根据本文中的实施例进行多种组合。
方法步骤可通过执行计算机程序的一个或多个可编程处理器来实施,以通过在输入数据上的操作和产生输出来实施该技术的功能。方法步骤也可通过例如为FPGA(现场可编程门阵列)或ASIC(专用集成电路)的专用逻辑电路来实施,且装置也可作为其来实施。模块可涉及实施该功能性的部分计算机程序和/或处理器/特殊电路。
适于执行计算机程序的处理器通过示例的方式包括通用和专用的微处理器,和任何种类的数字计算机中的任意一个或多个处理器。通常,从只读存储器或随机存取存储器或两者中接收指令和数据。计算机的基本元件为用于执行指令的处理器和用于储存指令和数据的一个或多个存储器件。通常,计算机还包括例如为磁盘、磁光盘或光盘的用于储存数据的一个或多个大容量存储器,或者计算机可操作地耦联成从上述大容量存储器接收数据,或向其传递数据,或者进行两者。数据的传递和指令也可发生在通信网络上。适于体现计算机程序指令和数据的信息载体包括所有形式的非易失性存储器,其通过示例的方式包括半导体存储器件,例如EPROM、EEPROM和闪存器件;磁盘,例如内置硬盘或可移动磁盘;磁光盘;和CD-ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路增补或可合并于其中。
为了提供与用户的相互作用,上述技术可被在具有显示装置、例如CRT(阴极射线管)或LCD(液晶显示器)的计算机上计算机上实施,以用于向用户显示信息,以及具有键盘和定位设备、例如鼠标或轨迹球,通过其用户可向计算机提供输入(例如,与用户接口元件交互)。其他种类的设备也可被用于提供与用户交互;例如,提供给用户的反馈可为任何形式的传感反馈、例如视觉反馈、听觉反馈、或触觉反馈;且来自于用户的输入可以任何方式接收,其包括声音、语言或触觉输入。
所述的技术可被在分布式计算系统中实施,该分布式计算系统包括后端组件、例如数据服务器,和/或中间设备、例如应用服务器,和/或前端部件、例如具有图形用户界面的客户端计算机,和/或网页浏览器,通过该浏览器用户可与示例的实施方式交互,或者这种后端、中间设备、或前端组件的任意组合。该系统的组件可通过例如为通信网络的任何形式或介质的数字数据通信技术互联。通信网络的示例包括局域网(“LAN”)和宽域网(“WAN”),例如,因特网,并同时包括有线的和无线的网络。
已经依据特定的实施例描述了该技术。本文中描述的替代选择仅仅为用于示意性的示例并不以任何方式限制替代选择。该技术的步骤可以不同的顺序实施,且仍能获得期望的结果。其他的实施例落在随后的权利要求的范围内。

Claims (20)

1.一种校准系统,其包括:
一个或多个相机;
移动产生装置;和
校准模块,其被构造成:
从一个或多个相机中的第一相机获取一校准靶的多个图像,所述校准靶包括提供多个校准特征的校准图案;
从多个图像提取多个校准特征中的一个或多个校准特征,其中,多个校准特征的物理位置处于与校准靶相关的校准靶长度单元中;
确定校准靶长度单元和与移动产生装置相关的移动产生装置长度单元之间的标度矩阵;以及
基于校准靶长度单元与移动产生装置长度单元之间的标度矩阵,提供用于第一相机的第一校准。
2.根据权利要求1的系统,其中,校准模块进一步被构造成:
从一个或多个相机中的第二相机获取校准靶的多个第二图像;
从多个第二图像中提取多个校准特征的一个或多个第二校准特征,其中,多个第二校准特征的物理位置处于与校准靶相关的校准靶长度单元中;以及
基于校准靶长度单元与移动产生装置长度单元之间的标度矩阵,提供用于第二相机的第二校准。
3.根据权利要求1的系统,其中,移动产生装置被构造成:以包括平移分量和旋转分量中的至少一个的移动,使校准靶和第一相机中的一个移动,该移动处于移动产生装置长度单元中,且其中,校准模块被构造成:在该移动之前获取校准靶的多个图像中的第一图像,以及在该移动之后获取校准靶的多个图像中的第二图像。
4.根据权利要求1的系统,其中,校准靶为包括BoPET的校准板。
5.根据权利要求1的系统,其中,校准靶长度单元与移动产生装置长度单元之间的标度矩阵与校准靶的变形相关,该变形与至少一个环境因素相关。
6.根据权利要求1的系统,其中,校准模块进一步被构造成:
基于第一测试比例来确定用于第一相机的第一测试校准;
确定用于第一测试校准的第一残差;
基于第二测试比例来确定用于第一相机的第二测试校准;
确定用于第二测试校准的第二残差;
如果第一残差小于第二残差,则将校准靶长度单元与移动产生装置长度单元之间的标度矩阵确定为第一测试比例,否则,将校准靶长度单元与移动产生装置长度单元之间的标度矩阵确定为第二测试比例;以及
如果第一残差小于第二残差,则提供第一测试校准作为第一校准,否则提供第二测试校准作为第一校准。
7.根据权利要求1的系统,其中,校准模块进一步被构造成:
基于校准靶长度单元与移动产生装置长度单元之间的标度矩阵,执行手眼校准以计算用于第一相机的第一校准。
8.一种校准至少一个相机的计算机执行的方法,其包括:
通过第一相机,获取一校准靶的多个图像,该校准靶包括提供多个校准特征的校准图案;
通过机器视觉系统,从多个图像提取多个校准特征中的一个或多个校准特征,其中,多个校准特征的物理位置处于与校准靶相关的校准靶长度单元中;
通过机器视觉系统,确定校准靶长度单元和与移动产生装置相关的移动产生装置长度单元之间的标度矩阵;以及
基于移动产生装置长度单元与校准靶长度单元之间的标度矩阵,通过机器视觉系统,提供用于第一相机的第一校准。
9.根据权利要求8的方法,其进一步包括:
通过一个或多个相机中的第二相机,获取校准靶的多个第二图像;
通过机器视觉系统,从多个第二图像中提取多个校准特征中的一个或多个第二校准特征,其中,多个第二校准特征的物理位置处于与校准靶相关的校准靶长度单元中;以及
基于校准靶长度单元与移动产生装置长度单元之间的标度矩阵,通过机器视觉系统,提供用于第二相机的第二校准。
10.根据权利要求8的方法,其进一步包括:
通过移动产生装置,以包括平移分量和旋转分量中的至少一个的移动,使校准靶和第一相机中的一个移动,该移动处于移动产生装置长度单元中;以及
通过第一相机,在该移动之前获取校准靶的多个图像中的第一图像以及在该移动之后获取校准靶的多个图像中的第二图像。
11.根据权利要求8的方法,其中,校准靶为包括BoPET的校准板。
12.根据权利要求8的方法,其中,校准靶长度单元与移动产生装置长度单元之间的标度矩阵与校准靶的变形相关,该变形与至少一个环境因素相关。
13.根据权利要求8的方法,其进一步包括:
基于第一测试比例,通过机器视觉系统,确定用于第一相机的第一测试校准;
通过机器视觉系统,确定用于第一测试校准的第一残差;
基于第二测试比例,通过机器视觉系统,确定用于第一相机的第二测试校准;
通过机器视觉系统,确定用于第二测试校准的第二残差;
如果第一残差小于第二残差,则通过机器视觉系统将校准靶长度单元与移动产生装置长度单元之间的标度矩阵确定为第一测试比例,否则,将校准靶长度单元与移动产生装置长度单元之间的标度矩阵确定为第二测试比例;以及
如果第一残差小于第二残差,则通过机器视觉系统提供第一测试校准作为第一校准,否则,提供第二测试校准作为第一校准。
14.根据权利要求8的方法,其进一步包括:
通过机器视觉系统,基于校准靶长度单元与移动产生装置长度单元之间的标度矩阵,执行手眼校准以计算用于第一相机的第一校准。
15.一种非瞬态计算机可读存储介质,包括指令,所述指令可操作以使机器视觉系统:
从第一相机获取一校准靶的多个图像,所述校准靶包括提供多个校准特征的校准图案;
从多个图像提取多个校准特征中的一个或多个校准特征,其中,多个校准特征的物理位置处于与校准靶相关的校准靶长度单元中;
确定校准靶长度单元和与移动产生装置相关的移动产生装置长度单元之间的标度矩阵;以及
基于移动产生装置长度单元与校准靶长度单元之间的标度矩阵,提供用于第一相机的第一校准。
16.根据权利要求15所述的非瞬态计算机可读存储介质,进一步包括指令,所述指令可操作以使所述机器视觉系统:
从第二相机获取校准靶的多个第二图像;
从多个第二图像中提取多个校准特征的一个或多个第二校准特征,其中,多个第二校准特征的物理位置处于与校准靶相关的校准靶长度单元中;以及
基于校准靶长度单元与移动产生装置长度单元之间的标度矩阵,提供用于第二相机的第二校准。
17.根据权利要求15所述的非瞬态计算机可读存储介质,进一步包括指令,所述指令可操作以使所述机器视觉系统:
由移动产生装置以包括平移分量和旋转分量中的至少一个的移动,使校准靶和第一相机中的一个移动,该移动处于移动产生装置长度单元中;以及
在该移动之前获取校准靶的多个图像中的第一图像,以及在该移动之后获取校准靶的多个图像中的第二图像。
18.根据权利要求15所述的非瞬态计算机可读存储介质,其中,校准靶长度单元与移动产生装置长度单元之间的标度矩阵与校准靶的变形相关,该变形与至少一个环境因素相关。
19.根据权利要求15所述的非瞬态计算机可读存储介质,进一步包括指令,所述指令可操作以使所述机器视觉系统:
基于第一测试比例来确定用于第一相机的第一测试校准;
确定用于第一测试校准的第一残差;
基于第二测试比例来确定用于第一相机的第二测试校准;
确定用于第二测试校准的第二残差;
如果第一残差小于第二残差,则将校准靶长度单元与移动产生装置长度单元之间的标度矩阵确定为第一测试比例,否则,将校准靶长度单元与移动产生装置长度单元之间的标度矩阵确定为第二测试比例;以及
如果第一残差小于第二残差,则提供第一测试校准作为第一校准,否则提供第二测试校准作为第一校准。
20.根据权利要求15所述的非瞬态计算机可读存储介质,进一步包括指令,所述指令可操作以使所述机器视觉系统:
基于校准靶长度单元与移动产生装置长度单元之间的标度矩阵,执行手眼校准以计算用于第一相机的第一校准。
CN201410198247.9A 2013-03-15 2014-03-17 利用不准确的校准靶的机器视觉系统校准 Active CN104048674B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/835,759 2013-03-15
US13/835,759 US10032273B2 (en) 2013-03-15 2013-03-15 Machine vision system calibration using inaccurate calibration targets

Publications (2)

Publication Number Publication Date
CN104048674A CN104048674A (zh) 2014-09-17
CN104048674B true CN104048674B (zh) 2018-10-26

Family

ID=51501832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410198247.9A Active CN104048674B (zh) 2013-03-15 2014-03-17 利用不准确的校准靶的机器视觉系统校准

Country Status (3)

Country Link
US (1) US10032273B2 (zh)
KR (1) KR101690965B1 (zh)
CN (1) CN104048674B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015205174A1 (de) * 2015-03-23 2016-09-29 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum gleichzeitigen Kalibrieren einer Mehrzahl von Kameras
US11070793B2 (en) 2015-07-31 2021-07-20 Cognex Corporation Machine vision system calibration
US10290118B2 (en) 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
EP3173979A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
CN105509656B (zh) * 2015-12-16 2018-06-12 天津津芯微电子科技有限公司 一种正交性测试方法和装置
KR102487546B1 (ko) * 2016-06-28 2023-01-10 매직 립, 인코포레이티드 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
US10076842B2 (en) * 2016-09-28 2018-09-18 Cognex Corporation Simultaneous kinematic and hand-eye calibration
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
CN107808400B (zh) * 2017-10-24 2021-11-26 上海交通大学 一种摄像机标定系统及其标定方法
DE102017221721A1 (de) * 2017-12-01 2019-06-06 Continental Automotive Gmbh Vorrichtung zum Kalibrieren eines Multikamerasystems
US11072074B2 (en) 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
US10477186B2 (en) * 2018-01-17 2019-11-12 Nextvr Inc. Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair
CN110070582B (zh) * 2018-01-23 2021-04-23 舜宇光学(浙江)研究院有限公司 多摄模组参数自校准系统和校准方法及其电子设备
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN112504137B (zh) * 2020-12-07 2022-07-26 北京智博联科技股份有限公司 基于云计算的多目标数字图像检测方法
CN112950724B (zh) * 2021-03-15 2022-12-06 广东拓斯达科技股份有限公司 丝印视觉标定方法及装置
DE102021210526A1 (de) 2021-09-22 2023-03-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kalibrierung von Kamerasystemen
KR102369913B1 (ko) * 2021-11-12 2022-03-03 한화시스템(주) 복수 카메라의 캘리브레이션용 타겟 제어장치 및 그 방법
WO2023220593A1 (en) * 2022-05-09 2023-11-16 Cognex Corporation System and method for field calibration of a vision system
WO2023220590A2 (en) * 2022-05-09 2023-11-16 Cognex Corporation Systems and methods for commissioning a machine vision system
CN115388769B (zh) * 2022-08-17 2024-06-07 成都飞机工业(集团)有限责任公司 一种工装状态实时监测方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093582A (zh) * 2006-06-19 2007-12-26 索尼株式会社 动作捕捉装置和动作捕捉方法、以及动作捕捉程序
CN102447911A (zh) * 2010-10-01 2012-05-09 魏载荣 图像获取单元、其方法以及相关控制单元

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4557599A (en) 1984-03-06 1985-12-10 General Signal Corporation Calibration and alignment target plate
US5825483A (en) 1995-12-19 1998-10-20 Cognex Corporation Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing
US5960125A (en) * 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US5978521A (en) 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
US5978080A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view
US7171036B1 (en) 2002-05-22 2007-01-30 Cognex Technology And Investment Corporation Method and apparatus for automatic measurement of pad geometry and inspection thereof
RU2440693C2 (ru) * 2006-01-03 2012-01-20 Транспарент Саунд Текнолоджи БИ.ВИ.,NL Электростатические акустические системы и способы
US8162584B2 (en) 2006-08-23 2012-04-24 Cognex Corporation Method and apparatus for semiconductor wafer alignment
US7495758B2 (en) 2006-09-06 2009-02-24 Theo Boeing Company Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece
US8139231B2 (en) 2008-05-01 2012-03-20 Cognex Corporation Machine vision technique for manufacturing semiconductor wafers
US8189194B2 (en) 2008-09-12 2012-05-29 Cognex Corporation Direct illumination machine vision technique for processing semiconductor wafers
KR20120071281A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법
KR101165764B1 (ko) 2011-05-31 2012-07-18 주식회사 넥서스칩스 Eye-tracking을 이용한 컨버전스 자동 조절 장치 및 그 방법
GB201201549D0 (en) * 2012-01-30 2012-03-14 Purcocks Dale M Portable computer keyboard assembly

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093582A (zh) * 2006-06-19 2007-12-26 索尼株式会社 动作捕捉装置和动作捕捉方法、以及动作捕捉程序
CN102447911A (zh) * 2010-10-01 2012-05-09 魏载荣 图像获取单元、其方法以及相关控制单元

Also Published As

Publication number Publication date
KR20140113538A (ko) 2014-09-24
US20140267681A1 (en) 2014-09-18
CN104048674A (zh) 2014-09-17
US10032273B2 (en) 2018-07-24
KR101690965B1 (ko) 2016-12-29

Similar Documents

Publication Publication Date Title
CN104048674B (zh) 利用不准确的校准靶的机器视觉系统校准
Zhang Camera calibration with one-dimensional objects
JP7165484B2 (ja) 高精密な校正システム及び方法
Vo et al. Advanced geometric camera calibration for machine vision
JP4995395B2 (ja) 物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法、タッチシステムおよびタッチシステムの較正方法と媒体
ES2396587T3 (es) Método y aparato táctil en base a cámara
Ji et al. Nontarget stereo vision technique for spatiotemporal response measurement of line-like structures
CN109910000A (zh) 基于视觉的操纵系统的校准以及操作
Hui et al. Line-scan camera calibration in close-range photogrammetry
CN109906471B (zh) 实时三维相机校准
US20120235956A1 (en) Method for calibrating accuracy of optical touch monitor
CN109901123A (zh) 传感器标定方法、装置、计算机设备和存储介质
Greenbaum et al. Monocular computer vision method for the experimental study of three-dimensional rocking motion
CN102956532A (zh) 用于对齐晶片以用于制造的系统和方法
Jiang et al. An accurate and flexible technique for camera calibration
KR102152217B1 (ko) Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법
Wu et al. Removable camera based 2D digital image correlation for planar slender area quasi-static deformation measurement
El-Hakim et al. Critical factors and configurations for practical 3D image-based modeling
Hui et al. Determination of line scan camera parameters via the direct linear transformation
Große et al. Camera calibration using time-coded planar patterns
Yan et al. A decoupled calibration method for camera intrinsic parameters and distortion coefficients
Bingwei et al. Accurate geometric camera calibration technique using multi-views of a non-metric planar grid
Marcon et al. Multicamera rig calibration by double‐sided thick checkerboard
Askarian Bajestani et al. Scalable and view-independent calibration of multi-projector display for arbitrary uneven surfaces
Goral et al. Accuracy assessment of Kinect for Xbox One in point-based tracking applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant