CN110084854B - 用于相机校准误差的运行时测定的系统和方法 - Google Patents

用于相机校准误差的运行时测定的系统和方法 Download PDF

Info

Publication number
CN110084854B
CN110084854B CN201811377720.4A CN201811377720A CN110084854B CN 110084854 B CN110084854 B CN 110084854B CN 201811377720 A CN201811377720 A CN 201811377720A CN 110084854 B CN110084854 B CN 110084854B
Authority
CN
China
Prior art keywords
cameras
calibration
camera
accuracy
visual inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811377720.4A
Other languages
English (en)
Other versions
CN110084854A (zh
Inventor
叶芗芸
D·Y·李
G·什瓦拉姆
D·J·迈克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Priority to CN201811377720.4A priority Critical patent/CN110084854B/zh
Publication of CN110084854A publication Critical patent/CN110084854A/zh
Application granted granted Critical
Publication of CN110084854B publication Critical patent/CN110084854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了相机校准误差(精确度)运行时测定(自我诊断)的系统和方法，典型地涉及相机外部参数，基于场景中所收入对象的运行时调准分数的历史统计数据，基于与已训练的对象模型的观测和预期的图像数据的匹配而定义这些分数。这样的安排避免了为诊断系统(一个或多个)相机是否保持被校准而终止视觉系统的运行时操作和/或停止由视觉系统支持的生产线的需求。假设由视觉系统检验的对象或特征随时间大致相同，则视觉系统积累部分校准结果的统计数据并存储中间结果用作当前系统精确度的指标。对于多相机视觉系统来说，说明性地利用交叉验证来识别个别有问题的相机。该系统和方法允许更快、更廉价和更直接的与恶化的相机校准有关的视觉系统故障诊断。

Description

用于相机校准误差的运行时测定的系统和方法
分案申请
本申请为申请号201080059217.X、申请日2010年12月23日、题为“用于相机校准误差的运行时测定的系统和方法”的分案申请。
技术领域
本发明涉及到视觉系统且更具体的涉及视觉系统相机的校准。
背景技术
机器视觉系统通常应用于工业中以确定关于预设的二维(2D)或三维(3D)坐标空间的部件和对象校准。这些系统采用各种技术和程序，通常基于已训练的对象模型，以确定对象的对准。相机校准是计算机视觉的一个重要步骤——在二维(2D)和三维(3D)成像系统中皆是。相机校准包含对被称为外部和内部参数的相机位置和镜头特性的建模。相机校准可以在单个相机或如包括一个或多个立体摄像头的系统的多相机配置中施行。立体摄像头和其他形式的3D传感器能够产生一个对象的3D深度的图像。这些相机的校准确定了所观测2D图像空间与3D世界之间的关系。在相机校准之后，3D信息可以从2D计算机图像坐标中推断出来，同样的，2D图像坐标也可以从3D信息中推断。
更具体的是，相机校准包含对图像形成系统建模，建模是通过估计内置几何和光学相机特性(内在参数，其中包括有效焦距，或图像平面到投影中心距离，镜头畸变系数，X的缩放因数，相机的扫描和采集时间误差，图像平面原点的计算机图像坐标)及相对于一限定的世界坐标系统(外部参数)的相机3D位置和方向。相机的内部和外部(通常被称为相机校准参数)是用于运行时调准或检查任务，以移除镜头畸变和解释在3D空间中所观测的2D图像的特征点。相机校准的精确度直接影响视觉系统的性能。
在围绕包含一个对象的场景的一个或多个分别的有利点，一个或多个2D或3D相机的使用可以为产生一个该主体对象关于世界坐标空间的整体图像提供优势。通过结合不同相机的图像，该对象某些部分中可能发生在一个或多个图像上的各种遮挡和障碍可被其他有利点获取的图像所补偿。因此，在所有情况下，特别是在视觉系统可以使用多个2D或2D相机时，相机校准的精确度对视觉系统的整体性能来说至关重要。然而，相机校准通常被认为是一种一次性的视觉系统设置过程。它通常由技术人员执行，他们明显比典型的运行时用户具有更多视觉系统的知识——运行时用户往往是生产线上的工人和他们的管理者。通常情况下，在系统校准后，相机参数在被这些运行时用户重复使用于机器视觉任务中时没有考虑到当前校准的真实精确度。校准是一个艰巨而耗时的任务，由熟练的技术人员承担，因此它最好只在有实际需要时执行。
然而，当视觉系统工作在不利的环境运行时，比如生产线中，实际相机位置和镜头畸变可能会由于热膨胀、振动、无意中焦点的变化等等而改变。因此，如果相机校准不再代表所观测2D图像和3D世界之间的关系，机器视觉应用程序是次最佳地运行的。此外，即使机器视觉应用程序正在次最佳地运行，由于相机校准误差，也可能难以追查该应用程序性能恶化的根本原因。
相机校准的周期性检验可以帮助确保相机在可接受的校准参数下运作，并避免执行不必要的校准程序，或者相反的，避免继续操作已失准的相机。一种用于周期性检验相机校准的新颖有效的方法，适用单一或多个二2D或3D相机，在美国专利申请序列号12/346773，题为“视觉系统中的相机校准检验的系统和方法(SYSTEM AND METHOD FORVALIDATING CAMERA CALIBRATION IN A VISION SYSTEM)”中教导，由Xiangyue Ye等人发表，其技术将作为有用的背景信息以引用的方式并入本文中。简而言之，这种检验程序需要使相机系统脱离运行时操作并将校正目标放置到相机的视域中。检验程序之后就使用该目标执行，通常由系统运行时操作员而不是校准技术员执行。这一程序产生了当前的内部和(在多相机系统情况下的)外部参数。内部参数包括有效焦距，或图像平面到投影中心距离，镜头畸变系数，X的缩放因数，由于相机的扫描和采集时间误差产生的已获得图像的原点移位。外部参数通常是由该相机关于一个限定的世界坐标系统的3D位置和方向所定义。这些当前参数通过已存储的、设置时的内部和外部参数来分析，以确定是否相机系统和/或其中个别相机仍保持在可接受的校准范围之内。这一检验过程大大缩短了系统停机时间，因为该检验过程只需要一小部分校准时间，而且只有当检验过程表明该相机“失准”时才需执行再校准。同样，它可以由系统运行时操作员执行。虽然如此，这种方法仍需要该系统在检验过程执行时停止生产。执行检验的频率可能产生问题，因为过于频繁的检验需要视觉系统更多的停机时间，从而降低了生产线的生产量。相反的，过少的检验可能使3D视觉系统承担恶化的相机校准的过度的伪拒绝/伪接受的风险。
因此很需要提供一个使系统在运行时不需要采取脱机方式也无需由系统操作员承担的单独检验过程即可诊断相机系统的校准的系统和方法。。这样一个系统和方法应允许频繁验证，该频繁验证更好地确保不会因失准的相机系统而产生错误读数。
发明内容
本发明提供了用于相机校准误差(精确度)的运行时测定(自我诊断)的系统和方法，典型地涉及相机外部参数，基于场景中所获得对象的运行时测量的历史统计数据。运行时测量的一个例子是调准分数，其基于与已训练的对象模型的观测以及预期的图像数据的匹配而定义。这样的安排避免了为诊断系统(一个或多个)相机是否保持被校准而终止视觉系统的运行时操作和/或停止由视觉系统支持的生产线的需求。假设由视觉系统检验的对象或特征随时间大致相同，则视觉系统积累部分校准结果的统计数据并存储中间结果用作当前系统精确度的指标。对于多相机视觉系统来说，说明性地利用交叉验证来识别个别有问题的相机。该系统和方法允许更快、更廉价和更直接的与恶化的相机校准有关的视觉系统故障诊断。
在一个说明性实施例中，由多个相机组成的系统，说明性地包含三个或多个相机，是从离散的有利点对准一个场景。所述至少三个相机首先被校准，其中包括为至少三个相机的每个查找各自的外部校准参数。第一对象特征或该对象整体(或其中一部分)是利用所述至少三个相机中的第一多数在三维空间中被发现的。然后将推导出该第一对象特征的第一次测量值或第一对象位姿。第二对象特征或该对象的整体(或其一部分)是利用所述至少三个相机中的第二多数在三维空间中被发现的。然后将推导出该第二对象特征的第二次测量值或第二对象位姿。所发现的第一特征可能大体上类似所发现的第二特征，或两者可能不同并且被已知物理维度所分离。之后第一次测量值和第二次测量值会相对于以下参数中至少一个而相比较：(i)在校准过程中确定的精确度，(ii)所需的系统精确度，以及(iii)两种特征的已知属性。说明性地，第一次测量值包括第一特征的第一位置的估计而第二次测量值包括第二特征的第二位置的估计。第一次测量值可以包括成功发现第一特征的得分，而第二次测量值可以包含成功发现第二特征的得分。在一个实施例中，比较的步骤或过程包括计算第一测量值和第二次测量值之间的差异并将差异与下列中至少一个相比较：(i)在校准过程中确定的精确度，(ii)所需的系统精确度，以及(iii)所述对象的已知属性。
在说明性实施例中，为响应比较的步骤或过程，发出一个信号，基于比较超越以下至少其一的步骤的结果而指示所需的再校准：(i)步骤a中确定的精确度，及(ii)所需的系统精确度。这可以包括基于上述比较产生新外部校准参数，并提供外部校准参数给至少三个相机中的一个，以再校准所述至少三个相机中的该至少一个。说明性地，所述至少三个相机的系统可包括机器视觉系统检测功能，用以对通过一个被上述至少三个相机所观察的体积空间的对象执行运行时机器视觉检测。这些对象形成了来自多个相机的测量值生成的基础。
附图说明
以下本发明的描述参阅附图，其中：
图1是依照一说明性实施例的采用至少三个离散的相机以获取三维空间中场景内对象的图像的视觉系统的图，包括示范性校准对象，用来建立该相机系统的初始校准；
图1A是被用于从事关于对象的机器视觉任务的示范性三相机系统的图；
图1B是被用于从事关于对象的机器视觉任务的示范性四相机系统的图；
图1C是示范性系统的图，该系统中两对(两组多数)相机各承担关于一对象的机器视觉任务，每组多个相机各相对于该对象的不同离散特征而运行；
图2是根据一说明性实施例的用于具有至少三个相机的视觉系统的建立和校准过程以及运行时检验和自我诊断过程的方框图；
图3是一图表，显示了各种错误统计数据，其子集合使用在图2的自诊断过程中；
图4是跟据这里的系统和方法的用于执行运行时自诊断的说明性过程的流程图，再校准跟随着该运行时自诊断；
图5是用于此处的实施例的展示了3D世界坐标空间和2D相机坐标空间之间的映射点的图形；以及
图6是用于此处的实施例的展示了对世界坐标系统中的点通过其在两个或以上(多数个)相机中的图像点的三角测量的图形。
具体实施方式
A.系统综述和校准
图1描述了一个视觉系统100的典型机构，用以确定所查看场景的二维(2D)或三维(3D)校准或位姿，该场景可以包括一个或多个要由机械臂或任何由机器视觉过程控制或辅助的其他操作来检验、调准、促动的运行时对象。该系统可以根据本发明中的一说明性实施例被校准(且校准可在可自我诊断之后)。
通常情况下，系统100可以是任何视觉系统机构，其中包含在其视野之内具有内含对象的场景128的至少三个相机。(一个或多个)相机或(一个或多个)传感器120，122，124每个可以都包括如图所示的2D相机，或可选择的，一个3D传感器。在被提供时，3D传感器传感器可适用于产生一场景的深度图像，在一个立体摄像头内于被其间一条已知的基线分开的两个离散的相机(双目观察)之间使用光学三角测量。更普遍的，一个3D传感器可以基于能产生深度数据的各种传感方式，产生深度数据利用多种技术，多种技术包括但不限于立体(多相机)成像，光探测和测距或激光雷达(LIDAR)，结构光，或采用扫描激光的设备。同样，2D和3D成像设备可以根据各种原理进行操作，其中包括CCD和CMOS。无论是2D相机还是3D传感器，多个附加相机/传感器一般显示为区块125，可以位于相对场景128的不同、离散的有利位置。在提供多个立体摄像头时，每个头中的个体相机可被系统单独访问，或由头生成的深度图像可作为填充一处理器的原始数据而被提供。举例来说，该2D(一个或多个)相机和/或3D传感器所连接的该处理器被显示为带接口和显示器的通用计算机130，它实现基于软件和/或硬件的校准进程(150)，也可实现运行时视觉进程(检查，调准，操作等)(152)。该(一个或多个)视觉处理器的机构、类型和位置是高度可变的。在说明性实施例中，(一个或多个)该处理器可以包含在一个或多个2D相机和/或3D传感器中，并且可提供适当的多相机和/或传感器之间的有线或无线互连。
在采用多2D相机和/或多个3D传感器的实施例中，相机120，122，124各自定义自己的内部坐标系，在此被描述为正交x，y和Z轴140，142，143，其中Z是指向场景的相机光轴，x和y定义了图像平面。视觉处理器(130)适用于将每个这些个体相机的坐标系校准到一个公用的3D世界坐标系148，其由相对于场景128的x，y和z轴所表现。通过更深入的背景，关于3D成像及其相关概念的一般讨论在共同受让的Cyril C.Marrion等的美国专利申请号12/345,130，标题为“System And Method For Three-Dimensional Alignment Of ObjectsUsing Machine Vision”中可以找到，将其教导作为有用的背景信息以引用的方式并入本文中。
图1A和1B详细描述了两例示范性相机系统的机构，根据本发明，该机构可以被校准和随后(如图所述)应用在对象的运行时视觉检验操作上。在每一个所描述的机构中，一对象在3D空间的调准是通过对所获取图像特征进行三角测量和评估预期特征与所测量图像特征的匹配度来完成的。
根据图1A中的示范性三相机系统机构153，三个相机154，155，156位于就对象或零件157而言的不同方向，而对象或零件157通过基于允许一系列对象被检验和/或调准的移动式传送带或其他机制的系统的视野。该系统163可用于检验零件质量或允许机械臂(未显示)在其他任务中的定位。在这个例子中的相机机构153通常类似于在视觉引导机器人技术(VGR)应用中所采用的。在这样VGR应用中，一般来说零件157对于所有相机154，155，156来说是可见的。如下文进一步所述，一零件位姿的分数是基于三角测量误差，即衡量所观察图像与已训练模型的匹配程度。在这种情况下，该模型包括对每个相机可见的一个或多个特征158，159，160，如图中虚线所示。交叉对照的差异衡量了来自多相机的相同特征点的光线彼此相交的密切度。
相机系统的另一个示范性机构161含有四个相机163，164，165，166，如图1B所示。相机163，164，165，166分别位于相对于零件162的一个离散位置，如图所示，并且每个定义了一个面向离散的x，y，z(或其他坐标系统)方向的对应图像平面167。在该机构中，一零件162的调准无需基于同时观察共同特征的相机，而是说明性地，一零件位姿的评分是基于所观察图像与所预计图像的匹配度，该预计图像来源于已训练的3D形状模型。各种可选的多相机机构和运行时检查/调准过程被明确考虑到。
进一步参照图1，一个示范性相机校准过程——例如(但不限于)市售的来自马萨诸塞州纳蒂克市康奈视公司的、与视觉系统相关的可用校准软件——采用了一种灵活的技术，该技术通常需要相机来观察某一已知其大小和形状的平面校准对象170，在多个不同的方向呈现给(多个)相机120，122和124(通过虚拟的例子显示)。该校准进程可以调整每个相机的内部参数和外部参数(通常在一个多相机实施例中)，用来为每个相机界定其3D世界坐标空间。在所描述的校准过程中，技术员或机器人将(箭头171)校准对象170——此处是一说明性的已知其大小和形状的方格盘，还可以包括一个中央基准点172——在多个位置彼此之间移动，而同时校准应用程序150运行于视觉处理系统130中以获取和分析对象170在每一个位置上的图像。利用所获得的该对象的图像，该相机校准过程可从与所观测的位于一平面上的2D图像特征点和3D特征相关联的(图像对物理性)特征对应中估计内部参数和外部参数。在一个例子中，这些(图像对物理性)特征对应可以通过运行例如在一方格盘校准板的图像上的方格盘特征提取器视觉系统软件工具而被自动确定，软件工具和校准板均是从康耐视公司可获得的。
一个著名的可用于示例系统的相机校准技术是由Roger Tsai描述于“AVersatile Camera Calibration Technique for High-Accuracy 3D Machine VisionMetrology Using Off-the-shelf TV Cameras and Lenses”，IEEE，JOURNAL OF ROBOTICSAND AUTOMATION，卷RA-3，No.4，1987年8月，第323-344页，其中的技术将作为有用的背景信息以引用的方式并入本文中。校准进程更普遍的描述参见前文引用的美国专利申请序号12/346773，题为“System And Method For Validating Camera Calibration In AVision System”。此外，这种进程的通常情况在以下基于两个离散相机所获得特征的位姿测量的上下文中被提及到。
总之，相机校准是一种非线性最优化方法，用以使检测到的2D图像特征点(方格盘拐角)和所预测特征点之间的差异最小化。这相机校准方法可计算校准板位姿(相对于相机)。
现参照图2，其中展示了系统校准进程、运行时调准或系统校准的检验和自我诊断任务的原理概述图200。如图所示，离线过程212的部分是零件或对象训练过程213，在其中视觉系统被训练为识别预设大小、地点和/或形状的一个或多个不同对象特征(例如边，印刷物，孔等)。可选地，该系统可以被训练为识别该对象的整体形状或其中一部分。该训练取决于视觉系统所采用的特定应用程序。这些可以包括目标分析，边缘检测，旋转和尺度不变性搜索等。其他视觉系统特定的设置过程214也发生在离线过程212。这些可以包括照明控制，与机械臂协调及其他各种操作。显而易见的是，相机内部参数222和外部参数224是在校准226中产生的。这些内部外部参数是在系统运行时操作(块230)中使用(箭头225)。更具体的说，外部参数是在运行时间230执行的说明性校准自我诊断中使用。在所述说明性实施例中，设置存储器220也存储“错误”的统计数据228，其中包含关于所观察图像特征和所预测物理特征之间的差异的信息，该差异可以用来定义允许系统确定校准是否仍然在容忍范围内的可接受阈值。
参照图3，存储的错误统计数据228包括但不限于：
a.畸变的图像坐标(实际获得的像素)310中的精确度或差异。对每个估计的校准对象/板位姿来说，校准过程计算了每个2D特征点(板块图案中的方格盘拐角)的图像平面上的2D位置，同时考虑到镜头畸变。精确度测量值对应于每个所观察2D点和相关的所投影/畸变的2D位置之间的差异，并被存储为错误统计数据228；
b.无畸变图像坐标(即三维坐标系中的投影平面z＝1，其中z是每个像素的深度而x，y是视野中每个象素的2D坐标)320中的精确度或差异。对每个估计的校准板位姿来说，该过程计算了3D点在z＝1投影平面上的线性投影。此外，该过程通过反镜头畸变映射了所需2D图像点(换句话说，用所存储的镜头修正系数重算这些点)。精确度测量值对应于所投射的2D点和相应的畸变2D点之间的差异，并被存储为错误统计数据228；以及
c.从立体三角测量330获得的3D位置的精确度。对于多相机系统，对每个估计的校准板位姿来说，该过程计算了多相机经由三角测量成像的每个特征点的3D坐标，并保留了均方根匹配误差(rmsFitError)。多相机特征点的三角测量位置和估计位置之间的差异被存储为错误统计数据228。
上述的精确度测量a到c对于那些视觉系统中的普通技术人员来说是众所周知的，而且可以使用那些普通技术人员所熟知的过程来生成。这些测量通常是用来比较每种相机校准方法。根据一实施例，这些错误统计数据228被存储以便能够用于随后在运行时视觉系统操作期间的诊断相机校准准确性(图2中的块230)。请注意，可接受阈值可以根据特定的视觉系统应用需求进行不定的设置。就是说，特定的应用程序可能要求较高的精确度，需要较低的可接受阈值(例如，校准和运行时/验证差异之间一个较小的不同)。
相机校准的精确度，如上所述，直接影响视觉系统的性能。虽然大多数视觉系统把相机校准看做是一次性的系统设置任务，一个图像形成系统的实际行为可能随时间而偏移，归结于相机框架的热膨胀、无意中相机移动等。解决这种偏移的一种方法是定期再校准相机。然而，校准相机是一项艰巨的任务，需要采集校准目标各种位姿的多幅图像，可能会很费时。此外，它通常涉及一个技术熟练人员，如系统集成商。因此，相机校准(块226)通常只有在需要的时候执行，且由技术熟练的专家来完成。
B.运行时过程
根据一说明性实施例，一个校准自我诊断过程是整个运行时视觉系统操作230的一部分。一般来说，在这个例子中的系统使用多相机基于一训练模型连同所存储内部参数222、外部参数224和错误统计数据228(来自过程分支234)来调准并检验的对象/零件。调准结果收集来自测量值，包括一个或多个对象特征或对象位姿的估计位置(在x，y，z世界坐标，或另一个世界坐标系统中)。这些数据可用于根据运行时块240计算调准分数。如图所示，运行时过程可以收集调准结果以及中间结果的历史统计数据(块250)。这些都被提供给存储器260，它基于三个或以上相机的子集或群组(多数个)或整个系统来收集和组织调准结果和中间结果的统计数据。因此，这些群组可以定义为包括至少2个相机但少于所述至少三个相机的整个相机组。就是说，该系统生成一套相机组合的N中选M的群组或子集。每个由视觉系统估计的特征位置或位姿都是用一个评分公式被说明性地评估，该评分公式定义为测量已训练3D模型和所观测图像数据的匹配度。位姿候选和相关分数可以通过选择每个N-选-M]相机组合来估计。更具体的说，存储器260可以包含关于所观测图像特征和所预计物理特征之间差异的统计数据。
举例而言，图1A中的3-相机机构(VGR)定义了3-选-2，即3种相机组合，该组合可用于零件调准(位姿估计)。而如图1B所示的4相机机构定义了4-选-2加上4-选-3，即10种相机组合，可用于零件调准(位姿估计)。该10种相机组合中，使用相邻2个相机进行零件调准的4种相机组合可能是最具代表性的，原因在于其良好的视角。
在运行时过程270中，所存储的统计数据(块260)是用来确定相机是否保持在一个预设的校准精确度或阈值内。一种情况下该阈值可以是一个可能取决于或可能不取决于具体视觉任务的预设值。对一个非常精确的任务的例子，阈值可能是一个非常小的值，而一个粗略的(trough)操作任务可能允许一个更大的值。该过程270确定哪些个别的照相机(或相机组)在精确度上已足够的偏移。一般来说，这样的偏移涉及到外部参数——一个相机相对于系统内其他相机的相对状态——而不是内部参数。然而，内部参数的储存是明确计划的，而且这些参数可用于随后的任何再校准步骤(226)。决定步骤280确定一个或多个相机是否已经足够的偏移，以保证一个再校准程序的性能。如果所述阈值还没有达到，那么该系统继续进行在运行时零件或对象的检验和/或调准的正常操作期间的监测和存储统计数据(来自过程分支290)，依照步骤240，250，260和270。然而，如果预设的精确度/阈值在一个或多个系统内相机被超过，那么决定步骤280会分支(通过分支292)到校准步骤226。如下文所述，该系统可以保持在线并发出一个指示或警告给操作员，或可能停止运行并且等待操作员的行动(例如，一个再校准过程)。作为步骤280的一部分，该系统可以传送在运行时过程(230)中产生的外部参数和差异数据，以便它可以被用来确定需要再校准的(一个或多个)相机。此外，可以预计到自动化再校准程序可以用来使用更新的外部参数(依照传统技术)自动再校准(一个或多个)相机。
根据步骤270比较校准测量值与运行时统计数据可以使用各种不同的技术来完成。一个实施例是比较运行时统计过程中的精确度观察和那些使用统计假设检验测量获得的校准过程。给定一个校准测量值的分布和运行时测量的分布，其为两种分布的统计相关性。零假设(Null Hypothesis)可以被设定为两个程序具有相同的精确度，带有特定的统计意义。一旦一个决定在两组观察结果的基础上做出，终端用户就可以决定相机是否需要重新校准。另一个实施例提供了一个过程将最大差异和根据作为在相机校准时间观测到的差异的函数所设置的阈值进行比较。
现在参照图4，它描述了一个一般化过程400，用于根据一说明性实施例，在三个或多个相机机构中，相机校准的运行时自我诊断。通过举例，该过程可以被实例化于一个运行在计算机或处理器上的诊断应用程序180(图1)，或者它可以直接被提供给系统内一个或多个相机的硬件。校准进程最初是依照步骤410以及如上所述而离线执行的。在这个过程中，例如关于多种相机群组或子集合(如相机对)的特征位置或位姿的测量值之间的差异的外部参数和其他参数和统计数据被产生和存储。如前所述，“相机”在此处的定义是可获得一个场景的离散图像的任何设备。传感器是一种相机的形式，它可以包括一个或多个成像设备(相机，以及其他用于三维成像的测距设备)。
过程400随后进入运行时阶段(虚线420)，其中对象特征或整体对象可被系统内的每个相机所发现——被如块430，432，434的至少三个相机以及可应用的其他相机(块436)所发现。所发现的特征可能实质上相同(即每个相机一般发现与在世界x，y，z或其他坐标中自己所估计位置相同的特征)。
可选地，不同的相机可以发现一个或多个不同特征，这些特征位于在物理空间中相对彼此已知的位置。在有些相机会对其他相机已发现的特征有退化的或模糊的视像的地方，这可能很正常。可选地，每个相机可以基于已训练模型确定三维空间中该对象的一个位姿。根据块430，432，434，436，这些相机中每一个都确定一个该对象特征的“测量值”。说明性地，测量值可以是估计的x,y,z(或其他坐标系统)位置，该位置用于特征、位姿或该特征或对象被每个相机发现的成功度的评分。在步骤440来自每个相机的测量值可以相对于系统中每一个相机被存储。他们可以组织成相机群组并且转化成适当的格式。
在三维空间中的特征位置和/或位姿可以由种类繁多的常规机器视觉技术来确定，其中包括边缘查找，目标分析，旋转和尺度不变性搜索等。一种在3D中查找位姿的技术还被描述于上文中合并的美国专利申请序号12/345,130，题为“SYSTEM AND METHOD FORTHREE-DIMENSIONAL ALIGNMENT OF OBJECT USING MACHINE VISION”中。
在步骤450中，多个相机(来自整个多相机系统的相机群组或子集合，通常成相机对出现)中每一个所发现的特征测量值之后都会进行比较以推导出其间三角测量结果的评分或残差。这也可以定义为差异。这些比较参照一阈值或精度值轮流被分析。精度值可以被定义为一个理想的预设值，由用户提供或预编程在系统之中。这样一个离散阈值可以部分基于所需的精确度，该精确度指示了相机偏移的公差水平——即低精确度在需要再校准之前允许更多的相机偏移，而较高精确度决定了较少的相机偏移。另一方面，该精确度可以是一个根据校准期间产生的残差或差异的累积而定义的系统精确度。
在决定步骤460中，对来自步骤450中每个相机群组或子集的测量值的比较，其结果是阈值或精确度超出，会引起系统发出信号来再校准，或采取其他适当的行动(步骤470)。采取的行动可取决于若干因素和程序指令。例如，如果不是大大超过阈值，系统会发出进行再校准的警告但仍继续运行。可选地，所述信号可以导致系统关闭和发出警报声。在进一步的实施例中，该系统可以选择性地使用存储的测量值，其中若干对象的检验循环作为目前系统状态的合理准确的指标，以便为一个或多个失准相机获得新的外部参数(步骤480)。这些新的外在参数可以被返回到适当的(一个或多个)相机(通过过程分支482)，并用于执行再校准，通过人工或自动化实现(例如更换相机现存的外部参数为可解释所检测到的偏移的新的外部参数)。再校准可以在离线时完成，或者在提供适当的应用程序时，用再校准的相机以即时的方式完成，又或者在至少其他系统内未再校准的相机保持在线以继续检验任务时完成。在任何再校准中，可考虑到内部参数也可以使用适当的校准对象和/或其他程序进行更新。
在决定步骤460确定为每个相机群组所比较的测量值保持在允许的精确度内时，运行时过程继续进行(通过过程分支484)，并且积累进一步的测量值。注意到对于任何系统或所需精确度的比较都可以考虑到许多检验周期的平均(历史)测量值，使得相对较小数目的异常测量值不会产生过早的再校准信号。
注意到一相机由于偏移产生的可接受误差可以基于误差分布。例如，该系统可以适用于复查相对于误差历史上的位置的均方根(RMS)误差。
一般来说，给定三个或多个相机，该系统包括对象测量值中固有的冗余。这种冗余允许测量值中整个相机组的子集团群组之间的分歧，以显示其中至少一个相机的失准条件。
C.确定和比较位置和位姿估计的说明性技术
根据图4的比较步骤450，该系统可以采用各种技术来确定一个对象的3D位置或位姿，并基于估计推导出误差或差异。下面是一个确定和比较的说明性技术。
1.从多相机中的2D图像点估计一个特征点的3D位置
遵循相机校准，一个在物理空间的3D点可以映射到一个在图像空间的2D点；一个在图像空间的2D点可以映射到一条在物理空间的3D射线。以下对映射的描述作进一步讨论，参见由Richard I.Hartley和Andrew Zisserman所著，剑桥大学出版社2004年出版的图书《Multiple View Geometry》(第二版)，作为技术背景。为简化现有描述，目前假定径向畸变可以忽略不计。因此，来自3D世界坐标系510一个点到处理器图像坐标系统520的映射是由相机校准矩阵M所控制的。对于一个有n个相机的系统，这些矩阵可以表示为Mi，1≤i≤n。参照图6，根据方程式pi＝MiP，点P在世界中被映射为pi。同样给定一个点的图像(如图所示的示范点p1和p2)于两个或多个相机中(如图所示示范相机1相机2)，它在世界坐标系统中的位置可以使用三角测量来计算。对于在各自的相机i(相机1，相机2)中的点pi(p1，p2)来说，其图像投射为射线Ri(R1，R2)。在世界坐标系中射线的方程式是由Pi(λ)＝Mi-+pi+λCi给出，此处Ci(C1和C2)是世界坐标系统中的相机中心。Ci和Mi +是从相机校准参数中获得。世界坐标系中的点可以通过查找来自多个相机的射线之间的交叉点来获得。
在实践中，当存在噪声时，2条射线(R1和R2)不能保证相交。有几种方法可在这种情况下作三角测量。该说明性实施例使用一种技术，该技术首先找到在世界坐标系统中一个点，该点到所有射线距离之和最小。基于从相机中心到该点的距离和射线到光轴的角度，这一估计被精细化。其他三角测量技术也可以被用来辅助或替代这一技术。
因此，进一步参照图6，点P的值是使用三角测量推导出的，如此处所述，并且位置P是通过找出方程式Pi(λ)＝Mi +pi+λCi和P2(β)＝M2 +p2+βC2中λ和β的值而计算得出。
2.从2D和3D的对应关系估计对象的3D位姿
对象的位姿是指需要将一对象模型从其内在坐标系统映射到与传感数据协调一致的3D刚体变换。估计刚体位姿意味着确定在3D空间中来自2D图像的刚体运动。因为对3D模型的了解，估计进程依赖于图像中的一些2D特征和它们在3D模型上的副本之间的对应关系。
不同位姿估计问题的解决方案可见于Haralick,R.M.的《Pose estimation fromcorresponding point data》，IEEE Transactions on Systems,Man and Cybernetics，第19卷，第6期，1989年11月/12月，第1426-1446页。
通过进一步说明方式，并且如前述的Tsai的出版物中所提供的，图5阐释了该相机模型的基本几何学。(Xw，Yw，Zw)，定义了对象点P在3D世界坐标系统中的3D坐标。(X，Y，Z)定义了对象点P在3D相机坐标系统520中的3D坐标510，坐标系统520以点O为光学中心，z轴与光轴相同(同样参见图1)。(x，y)是以Oi(光轴z和前图像平面530的交叉点)为中心，平行于x轴和y轴的图像坐标系统。f是前图像平面530和光学中心O之间的距离。如果使用一个完美的针孔相机模型，(xu，yu)是(X，Y，Z)的图像坐标。(xd，yd)是实际图像坐标，由于镜头畸变而不同于(xu，yu)。然而，由于相机现已被校准，镜头畸变可以在映射之前得到修正。
从3D世界坐标向2D相机坐标系统的映射被说明性地表现为四步转化，按照下列步骤进行：
1.执行从对象3D世界坐标系(Xw，Yw，Zw)510到相机3D坐标系(X，Y，Z)的刚体转化
此处R是一个3x3的旋转矩阵，T是3x1的变换矢量。将被校准的参数是R和T。
2.使用针孔照相机模型的透视投影法，执行从3D相机坐标系(X，Y，Z)到理想(无畸变)图像坐标(xu，yu)的转化
3.计算径向镜头畸变如下
xd+Dx＝xu
yd+Dy＝yu
此处(xd，yd)是在图像平面530上畸变的或实像的坐标。若干模型可用于说明径向镜头畸变。对于这些模型其中之一来说，
Dx＝xd(κ1r2+κ2r4+...)
Dy＝yd(κ1r2+κ2r4+...)
使用的模型的类型可以基于用于成像的镜头类型来决定。
4.执行实像坐标(xd，yd)到处理器图像坐标(xf，yf)的转化
其中
(xf，yf)处理器图像帧存储器中图像像素的行列数
(Cx，Cy)图像平面中原点的计算机图像坐标
dx临近传感器元件在x(扫描线)方向的中心与中心之间的距离
dy临近CCD传感器在y方向的中心与中心之间的距离
Ncxx方向传感器元件的数目
Nfx由处理器采样的一条直线上的像素数
ax是取决于各种因素，例如图像获取/处理器硬件和相机扫描硬件之间轻微的硬件时序失配，或扫描时序本身的不精确。设置并设置dy为1，我们需要找到Sx。当dy设置为1时，计算出的焦距f将是实际焦距和y中比例因子的乘积。
位姿估计问题与相机外部参数校准相同，对于它来说其相机内部参数是已知的。为了简化该问题，原始图像中检测到的2D图像点标准化为表现在参考图像平面中，如上文描述的步骤2。因此，位姿估计问题可以用公式表达为如下：
给定一套世界坐标点(Xw，Yw，Zw)i，i＝1，2，……，n，以及一套对应的标准化图像点(xu，yu)i，所述位姿估计问题包含查找可最小化几何学二次投影误差的旋转矩阵R和变换矢量T：
可选地，因为每个图像点定义一个可表示为一个3D线的投影射线，所述位姿估计问题就等同于查找一个变换使得3D点到线距离对所有配对来说最小，这也被称为对象空间共线性。
最低限度的的误差测量可以通过一个非线性最优化方法完成，比如列文伯格-马夸尔特法(Levenberg-Marquardt)。在多相机(或多视角)视觉系统中，当所有相机被校准到同一个世界坐标系之后，每个相机的对应都可以被添加到一个线性系统并被同时解决。多个相机的使用具有提高模糊分辨率和提高精确度的优点。
3.通过直接匹配多面体模型与灰度值梯度的方式估计一个对象的3D位姿
上文第2节将位姿估计问题描述为一个非线性最优化问题，其中所述对象的刚体变换(旋转和转化)是通过最小化基于相应2D和3D点的再投影误差的误差测量值而发现。
可选地，当2D-3D的对应关系很难建立时，一对象的3D位姿可以通过直接匹配在不同假定位姿的模型和灰度梯度图像的方式来估计，并报告该位姿和其最高的匹配评分。
例如，匹配过程可以按照以下步骤完成：
a.为Rx，Ry，Rz和tx，ty，tz建立一个搜索空间。每一个六维空间Rx，Ry，Rz，tx，ty，tz中的采样点定义一个假定位姿。
b.对每一个采样点(假定位姿)，将该对象的三维模型投射到基于相机校准的图像空间。计算被投射的2D点和灰度梯度图像之间的匹配评分。
c.搜索六维空间Rx，Ry，Rz，tx，ty，tz中的最高评分。运用典型的峰值检测技术，如非最大抑制。
d.关联最高评分的位姿即是该对象的估计位姿。注意在步骤b中，当3D模型投影到一个图像平面上时，该3D模型的拓扑学应由移除自我封闭特征的方式说明。以下是一个采用如上所述估计位置和位姿的技术，依照说明性实施例，用于比较这样的两个测量值。
i.比较一特征点的3D位置的两个估计值
比较一特征点的3D位置的两个估计值时，可以使用这两个估计3D点的欧氏距离：
Dist(P1，P2)＝((P1x-P2x)2+(P1y-P2y)2+(P1z-P2z)2)1/2
当所发现的第一特征和第二特征实质上相同时，可以直接比较两个所发现位置的欧氏距离与(i)步骤(a)期间确定的精确度以及(ii)所需的系统精确度中至少一个。简单参阅图1C中的视觉系统机构图180，相机182，184，186，188是安排在2个群组(182，184)和(186，188)中，其中每个都包含多个相机。正如这里其他实施例中所描述，相机182，184，186，188可以各自包括各种内部和外部的硬件和软件进程，用于图像采集和视觉系统处理。外部处理器和相关联设备(未显示)也可以被酌情提供，相机和/或外部设备可以视情况通过有线和/或无线连接进行连接。所有相机在体积空间之内获取一示范性对象190的图像。一个示范性第一特征192和示范性第二特征194被提供于远端位置或该对象上的不同表面/3D方向。相机群组/多个182，184获取和发现第一特征，并且第二群组/多个182，184获取并发现第二特征194。应注意到在其他特征被提供时，所述群组可以改变来使用那些最佳定位的相机以获得该对象上那个特征的位置和方向。一般来说，根据一个说明性实施例，当所发现的第一特征和第二特征在物理空间上不同，而且被一个已知的物理维度分开，如图所示(即“已知属性”)，可以将两个所发现位置的欧氏距离和已知的物理维度做一个比较。各自三角测量结果的两个残余误差之间可以做另一个比较。
ii.比较一个对象三维位姿的两个估计值
一个对象的位姿是需要将一对象模型从其内在坐标系统映射到与感观数据协调一致的3D刚体变换，。位姿估计包含一个旋转矩阵R和变换矢量T。若干方法可以用于比较对象的两种位姿估计。
一个直观的测量值是随着所述的两个位姿而转化的两个模型点集之间的均方根距离：
让为一个模型点集，两个位姿估计的均方根距离被定义为
其中[R1|T1]代表第一个位姿估计，[R2|T2]代表第二个位姿估计。
该模型点集可以被定义为在对象模型表面或内部的一些独特的特征点。可选地，它可以被定义为在实体模型表面上的完全嵌合刻面的顶点。
比较两个位姿的一种替代技术是计算工作的量，它会使用机器人将所述对象从第一个位姿[R1|T1]移动到第二个位姿[R2|T2]。在两个位姿之间的转换仍然是一种刚体变换[R1|T1]-1·[R2|T2]。该对象可以利用一个包含旋转和转化的被称为斜交理论的组合操作从第一个位姿移动到另一个位姿。为比较这两个位姿，可以计算变换[R1|T1]-1·[R2|T2]的螺旋轴和螺旋运动参数。对模型点集中的每一点来说，可以计算沿着该操作螺旋的线积分。然后两个位姿之间的位移被计算为该模型点集中所有点的总和。此外，模型点集可以是对象表面上的一组不同的特征点，或该对象上完全嵌合刻面的顶点。
应该明确的是，该说明性实施例的系统和方法提供了一种有效的技术，用于识别三个或多个机器视觉相机的系统中的一个或多个相机的归结于外部参数的变化的校准误差。该系统和方法确保校准误差在其引起错误的机器视觉任务发生之前被识别出来，并且可以允许经由自动化而再校准。值得注意的是，该系统和方法适用于各种用来确定对象特征的位置或位姿的检验应用程序和机制。
前文已详细描述本发明的说明性实施例。可以在不背离本发明的主旨和范围的情况下做出各种修改和补充。上述不同的实施例的每一个都可以结合其他所描述的实施例以提供多重特征。此外，虽然前文描述了关于本发明的机构和方法的若干单独实施例，但在此处描述的仅仅是对本发明的原理应用的说明。例如，该系统可以作用于一个对象的多重特征和位姿以实现和理想的精确度或其他阈值的比较。而且，术语“位置”应被用来广泛定义各种不同的构图，这些构图使所获得的特征或对象的图像能够与另一个图像相比较，其目的是确定校准精度中的任何偏移。也可以采用定位一个对象的替代方法。例如，轮廓匹配技术，依照一实施例，根据常规技术可以用来获得测量值。再者，该对象或零件可以被定义为一个场景范围内的永久性特征(例如一个基准)，该特征可以伴随每一部分获得物而获得。根据一说明性实施例，这一永久性特征或模式是用于确定测量值。此外，明确地指出这里描述的任何进程和过程都能以硬件、包括计算机可读的程序指令的软件或硬件与软件结合的方式实施。因此，这种描述只意图通过举例的方式实现，而并不在其他方面限制本发明的范围。

Claims (15)

1.一种在至少三个相机的系统中用于确定相机校准误差的方法，包括以下步骤：
（a）在第一校准过程期间以及在运行时视觉检测过程之前，校准所述至少三个相机，包括估计所述至少三个相机中每个相机各自的内部校准参数和外部校准参数，和确定所述至少三个相机中每个相机各自的错误统计数据，根据所述错误统计数据确定精确度，其中所述至少三个相机中每个相机相对于三维空间中的校准对象位于不同的方向；
（b）在运行时视觉检测过程中，根据训练模型、所述内部校准参数、所述外部校准参数和所述错误统计数据对检测对象进行调准或检查，其中所述检测对象不同于所述校准对象，利用所述至少三个相机中第一多数来查找在三维空间中所述检测对象上的第一特征，并确定所述第一特征的第一估计位置；
（c）在运行时视觉检测过程中，将所述第一估计位置与来自所述训练模型的第一预测位置进行比较，生成第一调准分数以用于对所述检测对象进行调准或检查；
（d）在运行时视觉检测过程中，利用所述至少三个相机中第二多数来查找在所述三维空间中所述检测对象上的第二特征，并确定所述第二特征的第二估计位置；
（e）在运行时视觉检测过程中，将所述第二估计位置与来自所述训练模型的第二预测位置进行比较，生成第二调准分数以用于对所述检测对象进行调准或检查；
（f）在运行时视觉检测过程中，针对以下至少其中一个：步骤（a）中确定的精确度，或所需的系统精确度，比较第一调准分数和第二调准分数；
（g）响应于步骤(f)并在运行时视觉检测过程中，根据第一调准分数和第二调准分数均超过步骤（a）中确定的精确度和所需的系统精确度中至少一个，确定需要第二校准过程；
（h）响应于步骤(g)，停止运行时视觉检测过程；以及
（i）响应于步骤(h)，执行第二校准过程以对所述至少三个相机中的至少一个进行再校准，其中所述第二校准过程是相对于与运行时视觉检测过程不同的对象执行，并且其中所述第二校准过程包括估计所述至少三个相机中的至少一个的各自内部校准参数和外部校准参数，和重新确定所述至少三个相机中的至少一个的各自错误统计数据。
2.根据权利要求1所述的方法，其中所述第二校准过程包括基于步骤(d)生成新的外部校准参数并向所述至少三个相机中的至少一个提供所述新的外部校准参数，以重新校准所述至少三个相机中的至少一个。
3.根据权利要求1所述的方法，其中在步骤（a）中确定的精确度包括一基于校准残余误差的的值的集合。
4.根据权利要求2所述的方法，进一步包括提供新的外在参数以再校准按照步骤（a）的所述至少三个相机中的至少一个。
5.根据权利要求1所述的方法，其中至少三个相机的系统执行机器视觉系统检验以便对通过一被所述至少三个相机看到的体积空间的多个对象执行运行时机器视觉检验。
6.根据权利要求1所述的方法，其中所需的系统精确度是基于每个第一估计位置和第二估计位置的历史值。
7.根据权利要求1所述的方法，其中所需的系统精确度是基于一个预先确定的阈值。
8.根据权利要求7所述的方法，其中所述预先确定的阈值是基于一个运行时视觉系统任务的理想精确度而定义的。
9.根据权利要求1所述的方法，进一步包括在所述第二校准过程中基于新的内部参数对所述至少三个相机中的所述至少一个进行再校准。
10.根据权利要求1所述的方法，其中所述至少三个相机的第一多数的第一相机与至少三个相机的第二多数的第一相机相同，并且至少三个相机的第一多数的第二相机与至少三个相机的第二多数的第二相机相同。
11.根据权利要求1所述的方法，其中所述至少三个相机的第一多数的第一相机与至少三个相机的第二多数的第二相机相同，并且至少三个相机的第一多数的第二相机与至少三个相机的第二多数的第一相机相同。
12.根据权利要求1所述的方法，其中所述外部校准参数为至少三个相机中的每一个限定3D世界坐标空间。
13.根据权利要求1所述的方法，其中步骤(i)的所述第二校准过程是相对于所述步骤(a)的校准对象执行。
14.一个用于在至少三个相机的系统中确定相机的校准误差的系统，其中包括：
（a）至少有三个相机，其中每一个都包括各自的内部校准参数、外部校准参数和在使用校准对象的第一校准过程期间以及在运行时视觉检测过程之前估计的错误统计数据，所述至少三个相机中每个相机相对于三维空间中的检测对象位于不同的方向，其中根据所述错误统计数据确定精确度，以及其中所述检测对象不同于所述校准对象；
（b）所述至少三个相机中的第一多数，在运行时视觉检测过程中所述第一多数查找三维空间中所述检测对象上的第一特征并确定所述第一特征的第一估计位置，其中在运行时视觉检测过程中根据训练模型、所述内部校准参数、所述外部校准参数和所述错误统计数据对检测对象进行调准或检查；
（c）所述至少三个相机中的第二多数，在运行时视觉检测过程中所述第二多数查找三维空间中所述检测对象上的第二特征并确定所述第二特征的第二估计位置，其中在运行时视觉检测过程中根据训练模型、所述内部校准参数、所述外部校准参数和所述错误统计数据对检测对象进行调准或检查；
（d）一比较进程，其将所述第一估计位置与来自所述训练模型的第一预测位置进行比较，生成第一调准分数以用于对所述检测对象进行调准或检查；将所述第二估计位置与来自所述训练模型的第二预测位置进行比较，生成第二调准分数以用于对所述检测对象进行调准或检查；以及针对以下至少其中一个：关联于步骤（a）中确定的精确度或所需的系统精确度，比较第一调准分数和第二调准分数；
（e）一重新校准确定进程，响应于比较进程(d)并在运行时视觉检测过程中，根据第一调准分数和第二调准分数均超过步骤（a）中确定的精确度和所需的系统精确度中至少一个，确定需要第二校准过程；以及
（f）一重新校准进程，停止运行时视觉检测过程并执行第二校准过程以对所述至少三个相机中的至少一个进行再校准，其中所述第二校准过程是相对于与运行时视觉检测过程不同的对象执行，并且其中所述第二校准过程包括重新确定所述至少三个相机中的至少一个的各自内部校准参数、外部校准参数和错误统计数据。
15.根据权利要求14所述的系统，其中所述外部校准参数为至少三个相机中的每一个限定3D世界坐标空间。
CN201811377720.4A 2009-12-24 2010-12-23 用于相机校准误差的运行时测定的系统和方法 Active CN110084854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811377720.4A CN110084854B (zh) 2009-12-24 2010-12-23 用于相机校准误差的运行时测定的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US12/647,192 US11699247B2 (en) 2009-12-24 2009-12-24 System and method for runtime determination of camera miscalibration
US12/647,192 2009-12-24
CN201811377720.4A CN110084854B (zh) 2009-12-24 2010-12-23 用于相机校准误差的运行时测定的系统和方法
CN201080059217.XA CN102782721B (zh) 2009-12-24 2010-12-23 用于相机校准误差的运行时测定的系统和方法
PCT/US2010/061989 WO2011079258A1 (en) 2009-12-24 2010-12-23 System and method for runtime determination of camera miscalibration

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080059217.XA Division CN102782721B (zh) 2009-12-24 2010-12-23 用于相机校准误差的运行时测定的系统和方法

Publications (2)

Publication Number Publication Date
CN110084854A CN110084854A (zh) 2019-08-02
CN110084854B true CN110084854B (zh) 2024-05-07

Family

ID=43731811

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080059217.XA Active CN102782721B (zh) 2009-12-24 2010-12-23 用于相机校准误差的运行时测定的系统和方法
CN201811377720.4A Active CN110084854B (zh) 2009-12-24 2010-12-23 用于相机校准误差的运行时测定的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201080059217.XA Active CN102782721B (zh) 2009-12-24 2010-12-23 用于相机校准误差的运行时测定的系统和方法

Country Status (5)

Country Link
US (1) US11699247B2 (zh)
JP (2) JP2013515959A (zh)
CN (2) CN102782721B (zh)
DE (1) DE112010005008B4 (zh)
WO (1) WO2011079258A1 (zh)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9533418B2 (en) * 2009-05-29 2017-01-03 Cognex Corporation Methods and apparatus for practical 3D vision system
US9179106B2 (en) * 2009-12-28 2015-11-03 Canon Kabushiki Kaisha Measurement system, image correction method, and computer program
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
WO2012001793A1 (ja) * 2010-06-30 2012-01-05 富士通株式会社 画像処理プログラムおよび画像処理装置
US20110298916A1 (en) * 2011-04-18 2011-12-08 Lmi Technologies Ltd. Sensor system processing architecture
US9188973B2 (en) 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
JP2013137760A (ja) * 2011-12-16 2013-07-11 Cognex Corp 複数のカメラに対する複数部品コレスポンダ
DE102012103495B8 (de) * 2012-03-29 2014-12-04 Sick Ag Optoelektronische Vorrichtung zur Vermessung von Struktur- oder Objektgrößen und Verfahren zur Kalibrierung
CN104169965B (zh) * 2012-04-02 2018-07-03 英特尔公司 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品
CN102708378B (zh) * 2012-04-28 2014-06-11 浙江工业大学 一种基于图像异常特征的智能交通抓拍设备故障诊断的方法
JP6032987B2 (ja) * 2012-07-24 2016-11-30 オリンパス株式会社 画像出力装置および画像出力装置の作動方法
KR101893788B1 (ko) * 2012-08-27 2018-08-31 삼성전자주식회사 다시점 카메라간 정합 장치 및 방법
JP5991121B2 (ja) * 2012-09-28 2016-09-14 株式会社デンソーウェーブ キャリブレーション装置、および撮像装置のキャリブレーション方法
CN103884272B (zh) * 2012-12-20 2016-10-05 联想(北京)有限公司 一种物体位置确定方法、装置及移动电子设备
TWI554100B (zh) * 2012-12-27 2016-10-11 Metal Ind Res &Development Ct Correction sheet design for correcting a plurality of image capturing apparatuses and correction methods of a plurality of image capturing apparatuses
CN103679693B (zh) * 2013-01-25 2017-06-16 杭州先临三维科技股份有限公司 一种多相机单视图标定装置及其标定方法
WO2014118391A2 (de) * 2013-02-04 2014-08-07 Dnv Gl Se Inspektionskameraeinheit, verfahren zur inspektion von innenräumen sowie sensoreinheit
TWI502985B (zh) * 2013-04-08 2015-10-01 Omnivision Tech Inc 一種校準３６０度照相機系統之系統及方法
JP6163899B2 (ja) * 2013-06-11 2017-07-19 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
US9772173B2 (en) * 2013-06-27 2017-09-26 Faro Technologies, Inc. Method for measuring 3D coordinates of a surface with a portable articulated arm coordinate measuring machine having a camera
US10725478B2 (en) * 2013-07-02 2020-07-28 The Boeing Company Robotic-mounted monument system for metrology systems
US10489912B1 (en) * 2013-12-20 2019-11-26 Amazon Technologies, Inc. Automated rectification of stereo cameras
EP3111299A4 (en) * 2014-02-28 2017-11-22 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
CN104897053A (zh) * 2014-03-05 2015-09-09 泰科电子(上海)有限公司 可编程数字化机器视觉检测平台
CN106416241B (zh) * 2014-03-21 2019-07-26 欧姆龙株式会社 用于检测和减轻光学系统中的光学损伤的方法和装置
WO2015149040A1 (en) * 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes
US10350009B2 (en) 2014-03-28 2019-07-16 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and printing of surgical implants
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
US11266465B2 (en) 2014-03-28 2022-03-08 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
JP6609616B2 (ja) 2014-03-28 2019-11-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド マルチポートの視点からの手術シーンの定量的な３次元イメージング
US20150355030A1 (en) * 2014-06-04 2015-12-10 Honeywell International Inc. Equipment and method for intensity-temperature transformation of imaging system
US10021379B2 (en) 2014-06-12 2018-07-10 Faro Technologies, Inc. Six degree-of-freedom triangulation scanner and camera for augmented reality
EP2983131A1 (en) * 2014-08-06 2016-02-10 Thomson Licensing Method and device for camera calibration
US9491452B2 (en) * 2014-09-05 2016-11-08 Intel Corporation Camera calibration
US9596459B2 (en) * 2014-09-05 2017-03-14 Intel Corporation Multi-target camera calibration
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
FR3026591B1 (fr) 2014-09-25 2016-10-21 Continental Automotive France Procede de calibration extrinseque de cameras d'un systeme de formation d'images stereos embarque
US9506744B2 (en) 2014-12-16 2016-11-29 Faro Technologies, Inc. Triangulation scanner and camera for augmented reality
US20160191901A1 (en) 2014-12-24 2016-06-30 3M Innovative Properties Company 3d image capture apparatus with cover window fiducials for calibration
CN105806320B (zh) * 2014-12-29 2020-04-21 同方威视技术股份有限公司 拍摄测量系统以及拍摄测量方法
US11019330B2 (en) * 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US10119809B2 (en) * 2015-02-16 2018-11-06 Intel Corporation Simulating multi-camera imaging systems
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
EP3293960A4 (en) * 2015-04-28 2018-12-05 Sony Corporation Information processing device, information processing method, and program
JP6578737B2 (ja) * 2015-05-20 2019-09-25 株式会社リコー 情報処理システム、情報処理装置、情報処理方法およびプログラム
JP6446329B2 (ja) * 2015-06-03 2018-12-26 株式会社日立製作所 カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法
CN104964652B (zh) * 2015-06-25 2017-12-29 惠州时代电池有限公司 一种基于机器视觉的电池卷绕生产检测方法及设备
US10412369B2 (en) * 2015-07-31 2019-09-10 Dell Products, Lp Method and apparatus for compensating for camera error in a multi-camera stereo camera system
US11070793B2 (en) * 2015-07-31 2021-07-20 Cognex Corporation Machine vision system calibration
US10290118B2 (en) 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
US10334209B2 (en) * 2015-12-17 2019-06-25 Nike, Inc. Image stitching for footwear component processing
WO2017104448A1 (ja) * 2015-12-17 2017-06-22 セイコーエプソン株式会社 情報処理装置、３次元モデル生成装置、情報処理装置の制御方法、及び、コンピュータープログラム
WO2017121926A1 (en) * 2016-01-15 2017-07-20 Nokia Technologies Oy Method and apparatus for calibration of a multi-camera system
US10140687B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US10142544B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
JP6416814B2 (ja) * 2016-03-04 2018-10-31 Ｎｅｃプラットフォームズ株式会社 判定装置、搬送装置、判定方法及び判定プログラム
JP6702543B2 (ja) * 2016-05-31 2020-06-03 株式会社東芝 情報処理装置、方法およびプログラム
CN106126933B (zh) * 2016-06-24 2018-11-30 清华大学 一种基于动态数据协调降低测量参数噪音的方法
JP6664000B2 (ja) * 2016-08-12 2020-03-13 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置、および投影装置
JP6803570B2 (ja) * 2016-09-08 2020-12-23 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム
EP3513381A1 (en) * 2016-09-18 2019-07-24 Yeda Research and Development Co. Ltd Systems and methods for generating 3d images based on fluorescent illumination
DE112018002048T5 (de) * 2017-04-17 2020-02-20 Cognex Corp. Hochgenaues kalibriersystem und kalibrierverfahren
US10186051B2 (en) 2017-05-11 2019-01-22 Dantec Dynamics A/S Method and system for calibrating a velocimetry system
US10304210B2 (en) * 2017-05-25 2019-05-28 GM Global Technology Operations LLC Method and apparatus for camera calibration
DE102017115587A1 (de) * 2017-07-12 2019-01-17 Connaught Electronics Ltd. Verfahren zum Bestimmen einer räumlichen Unsicherheit in Bildern eines Umgebungsbereiches eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
US10666926B1 (en) * 2017-07-18 2020-05-26 Edge 3 Technologies, Inc. Residual error mitigation in multiview calibration
JP2019025572A (ja) * 2017-07-28 2019-02-21 セイコーエプソン株式会社 ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法
DE102017213362A1 (de) * 2017-08-02 2019-02-07 Siemens Aktiengesellschaft Bewerten einer Kalibrierung eines Sensorsystems
US10636173B1 (en) 2017-09-28 2020-04-28 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US11012683B1 (en) 2017-09-28 2021-05-18 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US10958895B1 (en) * 2017-10-04 2021-03-23 Amazon Technologies, Inc. High speed automated capture of 3D models of packaged items
US10542211B2 (en) * 2017-10-05 2020-01-21 GM Global Technology Operations LLC Camera subsystem evaluation using sensor report integration
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
JP7008942B2 (ja) 2017-12-21 2022-01-25 株式会社安川電機 較正方法及び較正装置
JP2019158414A (ja) * 2018-03-08 2019-09-19 東芝テック株式会社 情報処理装置
EP3561773B1 (en) * 2018-04-26 2022-03-02 Continental Automotive GmbH Online evaluation for camera intrinsic parameters
CA3139074A1 (en) * 2018-05-04 2019-11-07 Aquifi, Inc. Systems and methods for three-dimensional data acquisition and processing under timing constraints
KR102023087B1 (ko) * 2018-05-31 2019-09-20 주식회사 미르기술 카메라 캘리브레이션 방법
CN108986164B (zh) * 2018-07-03 2021-01-26 百度在线网络技术（北京）有限公司 基于图像的位置检测方法、装置、设备及存储介质
US11291507B2 (en) 2018-07-16 2022-04-05 Mako Surgical Corp. System and method for image based registration and calibration
JP7237483B2 (ja) * 2018-07-18 2023-03-13 キヤノン株式会社 ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
JP2021532382A (ja) * 2018-07-30 2021-11-25 ポニー エーアイ インコーポレイテッド 車載型車両カメラを較正するシステムおよび方法
CN109040745B (zh) * 2018-08-01 2019-12-27 Oppo广东移动通信有限公司 摄像头自校准方法和装置、电子设备、计算机存储介质
WO2020024576A1 (zh) * 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
CN109040746B (zh) * 2018-08-01 2019-10-25 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
RU2699401C1 (ru) * 2018-08-03 2019-09-05 Общество с ограниченной ответственностью "ДиСиКон" (ООО "ДСК") Способ и система определения параметров калибровки PTZ камеры
DE102018128990B4 (de) * 2018-11-19 2021-11-18 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Kalibrieren sowie Verfahren und Vorrichtung zur Vermessung
DK180555B1 (en) 2018-12-10 2021-06-17 Motional Ad Llc Systems and methods for validating and calibrating sensors
US11911914B2 (en) 2019-01-28 2024-02-27 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
US11254019B2 (en) * 2019-03-05 2022-02-22 The Boeing Company Automatic calibration for a robot optical sensor
US11293748B2 (en) 2019-03-07 2022-04-05 Faro Technologies, Inc. System and method for measuring three-dimensional coordinates
CN110175960B (zh) * 2019-05-21 2021-04-13 Oppo广东移动通信有限公司 图像校正方法、装置、电子设备以及存储介质
JP7324639B2 (ja) * 2019-07-23 2023-08-10 日本放送協会 被写体位置推定装置、フォーカス補助装置、及び、それらのプログラム
GB202305331D0 (en) * 2019-12-18 2023-05-24 Motional Ad Llc Camera-to-lidar calibration and validation
US11557086B2 (en) * 2020-01-02 2023-01-17 Sony Group Corporation Three-dimensional (3D) shape modeling based on two-dimensional (2D) warping
CN115087408A (zh) * 2020-02-07 2022-09-20 史密夫和内修有限公司 用于手术环境中的光学跟踪和表面采集的方法及其装置
US11227173B2 (en) 2020-02-18 2022-01-18 Datalogic IP Tech, S.r.l. Virtual-frame preprocessing for optical scanning
DE102020108910B3 (de) * 2020-03-31 2021-07-22 Sick Ag Austausch einer Kamera
US11095870B1 (en) 2020-04-23 2021-08-17 Sony Corporation Calibration of cameras on unmanned aerial vehicles using human joints
CN111861976B (zh) * 2020-05-20 2024-02-02 西安理工大学 一种基于硬件指纹相关性的数字图像源拍摄设备识别方法
US20220128347A1 (en) * 2020-10-28 2022-04-28 Kamerai Private Limited System and method to measure object dimension using stereo vision
CN112381889B (zh) * 2020-11-19 2024-05-07 阿波罗智联(北京)科技有限公司 相机检验方法、装置、设备及存储介质
CN112511747B (zh) * 2020-11-27 2022-09-13 广州富港生活智能科技有限公司 基于物联网的自动拍摄设备控制方法及装置
CN112833816A (zh) * 2020-12-31 2021-05-25 武汉中观自动化科技有限公司 一种标志点定位与智能反向定位混合的定位方法和系统
US20220264072A1 (en) * 2021-02-12 2022-08-18 Sony Group Corporation Auto-calibrating n-configuration volumetric camera capture array
DE102021202993A1 (de) 2021-03-26 2022-09-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors
FR3128561B1 (fr) * 2021-10-26 2024-03-22 Commissariat Energie Atomique Procédé de calibration automatique des paramètres extrinsèques d’un réseau de caméras optiques ; Produit programme d’ordinateur, système de vision par ordinateur et véhicule automobile associés.
US11587258B1 (en) * 2021-11-10 2023-02-21 GM Cruise Holdings LLC. Focal length validation using three-dimensional pose estimates
US11893450B2 (en) 2021-12-06 2024-02-06 Datalogic IP Tech, S.r.l. Robust optical aimer for triangulation-based distance measurement
WO2023220593A1 (en) * 2022-05-09 2023-11-16 Cognex Corporation System and method for field calibration of a vision system
JP2023173421A (ja) * 2022-05-26 2023-12-07 株式会社キーエンス 画像処理装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2350780A1 (en) * 2000-07-24 2002-01-24 Setrix Aktiengesellschaft Method and arrangement for camera calibration
EP1621297A1 (en) * 2004-07-28 2006-02-01 Fanuc Ltd Method of and device for re-calibrating three-dimensional visual sensor in robot system
CN1758018A (zh) * 2005-09-30 2006-04-12 中国海洋大学 多视角激光测头及其标定方法
JP2007010419A (ja) * 2005-06-29 2007-01-18 Komatsu Engineering Corp 対象物の３次元形状検証システム。
JP2007033087A (ja) * 2005-07-22 2007-02-08 Sony Corp キャリブレーション装置及び方法
JP2007064836A (ja) * 2005-08-31 2007-03-15 Kyushu Institute Of Technology カメラキャリブレーションの自動化アルゴリズム
CN101216681A (zh) * 2007-12-28 2008-07-09 上海微电子装备有限公司 机器视觉动态标定系统与方法
CN101226638A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
CN101246599A (zh) * 2007-01-26 2008-08-20 转换器有限公司 根据2d图像序列进行3d场景重构的方法
KR20080091891A (ko) * 2007-04-10 2008-10-15 삼성중공업 주식회사 로봇 기반 멀티 레이저 비전 시스템의 자동 캘리브레이션방법
WO2008147355A1 (en) * 2007-05-29 2008-12-04 Cognex Technology And Investment Corporation 3d assembly verification from 2d images

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US345130A (en) 1886-07-06 Take-up for knitting-machines
US346773A (en) 1886-08-03 Bath-pad
US5257203A (en) 1989-06-09 1993-10-26 Regents Of The University Of Minnesota Method and apparatus for manipulating computer-based representations of objects of complex and unique geometry
US6026172A (en) 1996-09-06 2000-02-15 Lewis, Jr.; Clarence A. System and method for zoom lens calibration and method using same
US6075881A (en) 1997-03-18 2000-06-13 Cognex Corporation Machine vision methods for identifying collinear sets of points from an image
US6078701A (en) 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US6151406A (en) 1997-10-09 2000-11-21 Cognex Corporation Method and apparatus for locating ball grid array packages from two-dimensional image data
US6178392B1 (en) 1998-09-22 2001-01-23 Intel Corporation Method for combining the computer models of two surfaces in 3-D space
DE19848765C2 (de) 1998-10-22 2000-12-21 Brainlab Med Computersyst Gmbh Positionsverifizierung in Kamerabildern
US6553138B2 (en) 1998-12-30 2003-04-22 New York University Method and apparatus for generating three-dimensional representations of objects
US7068825B2 (en) 1999-03-08 2006-06-27 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
US6476803B1 (en) 2000-01-06 2002-11-05 Microsoft Corporation Object modeling system and process employing noise elimination and robust surface extraction techniques
CN100346133C (zh) * 2000-03-23 2007-10-31 捷装技术公司 自校准、多相机机器视觉测量系统
AU2001245834A1 (en) * 2000-03-23 2001-10-03 Snap-On Technologies, Inc. Self-calibrating, multi-camera machine vision measuring system
US7027642B2 (en) 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
JP2003533685A (ja) 2000-05-16 2003-11-11 シュタインビフラー オプトテヒニク ゲーエムベーハー 物体の３次元形状測定方法及び装置
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
JP2003279315A (ja) 2002-01-16 2003-10-02 Advanced Telecommunication Research Institute International カメラの自動校正方法
US7212228B2 (en) * 2002-01-16 2007-05-01 Advanced Telecommunications Research Institute International Automatic camera calibration method
US7085622B2 (en) 2002-04-19 2006-08-01 Applied Material, Inc. Vision system
JP4354708B2 (ja) 2003-01-15 2009-10-28 独立行政法人科学技術振興機構 多視点カメラシステム
US7333113B2 (en) * 2003-03-13 2008-02-19 Sony Corporation Mobile motion capture cameras
JP4285279B2 (ja) 2003-03-26 2009-06-24 ソニー株式会社 ロボットに搭載されたステレオ・カメラの診断用装置、並びにロボット装置に搭載されたステレオ・カメラの診断方法
US7373270B2 (en) 2003-03-26 2008-05-13 Sony Corporation Diagnosing device for stereo camera mounted on robot, and diagnostic method of stereo camera mounted on robot apparatus
JP2004354256A (ja) 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
US7215810B2 (en) 2003-07-23 2007-05-08 Orametrix, Inc. Method for creating single 3D surface model from a point cloud
JP4307283B2 (ja) 2004-02-17 2009-08-05 三菱電機株式会社 ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法
US7512261B2 (en) * 2004-07-27 2009-03-31 Microsoft Corp. System and method for calibrating multiple cameras without employing a pattern by inter-image homography
JP2006214735A (ja) 2005-02-01 2006-08-17 Viewplus Inc 複合ステレオビジョン装置
US7356425B2 (en) 2005-03-14 2008-04-08 Ge Security, Inc. Method and system for camera autocalibration
US7801330B2 (en) 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
TWI307484B (en) * 2006-02-21 2009-03-11 Univ Nat Chiao Tung Image capture apparatus calibration system and method there
JP4886560B2 (ja) * 2007-03-15 2012-02-29 キヤノン株式会社 情報処理装置、情報処理方法
JP4442661B2 (ja) 2007-08-29 2010-03-31 オムロン株式会社 ３次元計測方法および３次元計測装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2350780A1 (en) * 2000-07-24 2002-01-24 Setrix Aktiengesellschaft Method and arrangement for camera calibration
EP1621297A1 (en) * 2004-07-28 2006-02-01 Fanuc Ltd Method of and device for re-calibrating three-dimensional visual sensor in robot system
JP2007010419A (ja) * 2005-06-29 2007-01-18 Komatsu Engineering Corp 対象物の３次元形状検証システム。
JP2007033087A (ja) * 2005-07-22 2007-02-08 Sony Corp キャリブレーション装置及び方法
JP2007064836A (ja) * 2005-08-31 2007-03-15 Kyushu Institute Of Technology カメラキャリブレーションの自動化アルゴリズム
CN1758018A (zh) * 2005-09-30 2006-04-12 中国海洋大学 多视角激光测头及其标定方法
CN101226638A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
CN101246599A (zh) * 2007-01-26 2008-08-20 转换器有限公司 根据2d图像序列进行3d场景重构的方法
KR20080091891A (ko) * 2007-04-10 2008-10-15 삼성중공업 주식회사 로봇 기반 멀티 레이저 비전 시스템의 자동 캘리브레이션방법
WO2008147355A1 (en) * 2007-05-29 2008-12-04 Cognex Technology And Investment Corporation 3d assembly verification from 2d images
CN101216681A (zh) * 2007-12-28 2008-07-09 上海微电子装备有限公司 机器视觉动态标定系统与方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A multi-camera system for precise pose estimation in industrial applications;F. Shu等;2009 IEEE International Conference on Automation and Logistics;20091231;全文 *
T. Ahmedali等.Collaborative Multi-Camera Surveillance with Automated Person Detection.The 3rd Canadian Conference on Computer and Robot Vision (CRV'06).2006,全文. *
基于三维计算机视觉自定标的焊接自动控制系统;彭鹏;中国硕士学位论文全文库 信息科技辑;20050915;全文 *
基于视觉的机器人轨迹误差测量技术;齐越等;沈阳工业大学学报;20011030(第05期);全文 *

Also Published As

Publication number Publication date
CN102782721B (zh) 2020-09-22
JP2013515959A (ja) 2013-05-09
WO2011079258A1 (en) 2011-06-30
CN110084854A (zh) 2019-08-02
US11699247B2 (en) 2023-07-11
JP6280525B2 (ja) 2018-02-14
US20110157373A1 (en) 2011-06-30
DE112010005008B4 (de) 2018-09-13
JP2016001181A (ja) 2016-01-07
CN102782721A (zh) 2012-11-14
DE112010005008T5 (de) 2012-11-15

Similar Documents

Publication Publication Date Title
CN110084854B (zh) 用于相机校准误差的运行时测定的系统和方法
US9734419B1 (en) System and method for validating camera calibration in a vision system
JP6679746B2 (ja) ３次元非接触スキャニングシステムのフィールド校正
US9111177B2 (en) Position/orientation measurement apparatus, processing method therefor, and non-transitory computer-readable storage medium
JP6180087B2 (ja) 情報処理装置及び情報処理方法
Luna et al. Calibration of line-scan cameras
CN113538589B (zh) 利用远心线扫描相机对对象进行高效3d重建的系统和方法
WO2011013301A1 (en) Position and orientation calibration method and apparatus
Santolaria et al. A one-step intrinsic and extrinsic calibration method for laser line scanner operation in coordinate measuring machines
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
JP2009511881A (ja) 実用的な３ｄビジョンシステムの方法および装置
JP7353757B2 (ja) アーチファクトを測定するための方法
Bradley et al. Binocular camera calibration using rectification error
US11295478B2 (en) Stereo camera calibration method and image processing device for stereo camera
JP7427370B2 (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
CN109773589B (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
JP3696336B2 (ja) カメラのキャリブレーション方法
WO2022124232A1 (ja) 画像処理システム及び画像処理方法
JP2024536925A (ja) カメラ較正のためのカメラモデルを生成する方法とシステム
CN112805607A (zh) 计测装置、计测方法和显微镜系统
JP7414850B2 (ja) ロボットシステム
KR102434419B1 (ko) 다점 마커 및 스테레오 비전을 이용한 정밀 3d 스캔 장치 및 방법
Bai et al. A comparison of two different approaches to camera calibration in LSDM photogrammetric systems
Madhusudanan Fast Eye-In-Hand 3D Scanner-Robot Calibration for Low Stitching Errors
Yang et al. A comparative study of two calibration methodologies for a laser stripe sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant