CN112970249A - 一种用于校准摄像机的组件和该组件的测量 - Google Patents

一种用于校准摄像机的组件和该组件的测量 Download PDF

Info

Publication number
CN112970249A
CN112970249A CN201980073977.7A CN201980073977A CN112970249A CN 112970249 A CN112970249 A CN 112970249A CN 201980073977 A CN201980073977 A CN 201980073977A CN 112970249 A CN112970249 A CN 112970249A
Authority
CN
China
Prior art keywords
reference camera
camera
positioning base
calibration
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980073977.7A
Other languages
English (en)
Inventor
M·埃里克索夫斯基
I·弗朗兹
A·拉萨鲁克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of CN112970249A publication Critical patent/CN112970249A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/566Accessory clips, holders, shoes to attach accessories to camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00Testing correct operation of photographic apparatus or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Abstract

本发明涉及一种用于对要校准的摄像机(31)进行校准的组件,包括:第一定位基座(43),用于安置参考摄像机适配器(40)或安置用于要校准的摄像机(31)的适配器(34);辅助目标(21);用于安置参考摄像机壳体(11)或辅助目标(21)的参考摄像机适配器(40);用于安置要校准的摄像机(31)的适配器(34);用于安置参考摄像机壳体(11)的第二定位基座(41);至少一个校准目标(51、52、53),该至少一个校准目标被设置成,能由第一定位基座(43)所安置的参考摄像机(11)或要校准的摄像机(31)采集到该至少一个校准目标;用于安置参考摄像机(12、13)的参考摄像机壳体(11);其中,第一定位基座(43)的设置(位置54)方法是,由安置在第一定位基座(43)中的参考摄像机(12、13)采集到的第一图像包含至少一个校准目标(51、52、53),以及其中,第二定位基座(41)的设置(位置55或位置56)方法是,由安置在第二定位基座(41)中的参考摄像机(12、13)采集到的第二图像包含至少一个校准目标(51、52、53)以及安置在第一定位基座(43)中的辅助目标(21)。

Description

一种用于校准摄像机的组件和该组件的测量
技术领域
本发明涉及一种用于校准摄像机的组件的测量系统、一种用于测量摄像机校准系统的方法、一种计算机程序以及一种计算机可读媒介。
将摄像机用作测量系统时所需的摄像机参数主要描述三维的点到图像中的投射成像。这些参数可在摄像机生产过程中通过三维的校准组件使用例如上面印有图案、即所谓目标的板来确定。根据组件的已知的几何关系和在要校准的摄像机的图像中采集到的图案的点进行分析评估。所测定的参数包含光学器件内的光传播路径(内部参数)以及光学器件在空间中在所选的坐标系内的姿态(位置和方向)(外部参数)。
要校准的摄像机的内部参数被存储用于进一步使用。外部参数和内部参数被存储并常被用于制造结束时检查对光学器件和摄像机组装的要求。
对所述摄像机校准系统的一项要求是,经准确调整的目标及摄像机安置位置随着时间的推移不允许发生移位,并须处于稳定状态。这种用于摄像机校准的系统非常昂贵并需花大力气保养维护。
本发明的目的是提供一种用于校准摄像机的组件和一种用于校准摄像机的组件的测量方法,该方法能实现一种简单的、很大程度上无需维护保养的组件。
该目的通过独立权利要求的标的解决。有益的实施方式是从属权利要求、下列描述以及附图的标的。
在本说明中,“安置”(aufnahme/aufnehmen)仅指利用支架来机械地安置/接纳物体,如利用机械适配器或借助机械界面或机械接口来机械地安置摄像机或摄像机壳体。图像的摄影拍摄(aufnehmen)一般通过对图像或物体、诸如校准目标的“采集”/检测(erfassen)来表述。
根据一实施方式,提供一种用于校准摄像机的组件。该组件具有以下元件:辅助目标、在参考摄像机壳体中的参考摄像机、用于安置参考摄像机壳体或辅助目标的参考摄像机适配器,用于安置要校准的摄像机(校准摄像机)的校准摄像机适配器、用于安置参考摄像机适配器以采集参考摄像机的第一图像的第一定位基座或用于安置校准摄像机适配器的第一定位基座、用于安置参考摄像机以采集第二图像的第二定位基座,以及至少一个校准目标。至少一个校准目标的布置方式是,使其能够被由第一定位基座安置的参考摄像机或校准摄像机采集到。第一定位基座的布置方式是,使第一图像包含至少一个校准目标。第二定位基座的布置方式是,使得被安置在该处的参考摄像机的第二图像包含至少一个校准目标和被安置在第一定位基座中的辅助目标。
因此,所提出的组件包括至少两个目标,其中,目标是指例如上面印有诸如棋盘格图案或圆形图案等特征的板。目标优选被以一定间距和一定方向在校准空间中被设置成,使它们能覆盖校准摄像机的图像区域。参考摄像机的优选安装方法是,使其图像能尽可能完全地被目标的图案覆盖。
根据一有益的实施方式,第一定位基座具有用于安置校准摄像机适配器或参考摄像机适配器的第一机械接口类型。参考摄像机适配器具有用于安置参考摄像机壳体或辅助目标的第二机械接口类型以及第一配对接口。此外,用于安置校准摄像机的校准摄像机适配器具有第一配对接口,第二定位基座具有用于安置参考摄像机壳体的第二机械接口类型。
在预先规定的情况下,第三定位基座具有第二机械接口类型。
因此,辅助目标和参考摄像机壳体可由同一适配器、即参考摄像机适配器安置。其他适配器、即校准摄像机适配器可安置校准摄像机。由于相同的接口类型,即第一接口类型,两种适配器都可安装在第一定位基座上。通过用于参考摄像机的特殊适配器,参考摄像机可安装在所有可供使用的定位基座上,其中,参考摄像机的特殊适配器具有与其它定位基座接口类型相同的、用于安置参考摄像机的第二接口类型。
各单独的组件,即参考摄像机壳体、适配器和定位基座的接口以及用于安置校准摄像机的适配器在此分别具有相对彼此特定的相对位置或方向,所述位置和方向例如能够在系统安装时通过测量加以确定。在此,例如可以由参考摄像机壳体的角和与其相邻的棱边来撑开参考坐标系。组件的所有位置和方向都可参照于该参考坐标系。因此,尤其是参考摄像机的壳体与理想的校准摄像机的壳体和光学器件可处于相对几何关系中。
辅助校准目标可优选被设计在立方体上,该立方体经由参考摄像机适配器固定到第一定位基座上,在第一定位基座中之后要插入待校准的产品摄像机。
因此,在所述组件中,各不同部件之间存在几何关系。参考摄像机的壳体由于适配器或接口相对第一定位基座优选具有一姿势/姿态。该姿势不随时间变化并且可以例如通过接触测量来预先确定,因此可以假设该姿势是已知的。与此相应在理想的校准摄像机的壳体或光学器件与第一定位基座之间的姿势可以被确定且被假设是已知的。由此,在拍摄部件的支座保持不变的前提下,在由参考摄像机、第一定位基座和校准摄像机组成的子系统中,在参考摄像机与理想的校准摄像机之间存在特定的不变的和已知的几何关系。
根据优选实施方式,所述组件具有两个或多个彼此不共面地布置的校准目标(例如平坦的棋盘格图案)。由此避免了不明确的(退化的)空间场景(参见进一步的设计方案)。校准目标有利地例如通过相应的编码而能够分别明确地被识别。因此,在多个目标情况下,每个校准目标可为对其识别而分别具有识别图案。
第一定位基座和第二定位基座的优选设置和配置方法是,在参考摄像机(通过参考摄像机适配器)被安置在第一定位基座时,参考摄像机的姿势的六个空间自由度中的每个空间自由度都与在被安置在第二定位基座中时相比具有(足够的)差异。该备选方案也用于避免不清晰,但在此涉及的是参考摄像机在两个不同位置中的位置和方向的不明确。摄像机的位置应优选不对应于所谓的“临界运动”。
对要校准的摄像机进行校准的组件的第一种测量方法包括以下步骤:将参考摄像机定位在第一定位基座上;
借助参考摄像机采集至少一个校准目标的第一图像;
将辅助目标定位在第一定位基座上;
将参考摄像机定位在第二定位基座上;
借助参考摄像机采集至少一个校准目标和辅助目标的第二图像;
通过分析评估第二图像确定辅助目标相对于至少一个校准目标的姿势;确定(所有)校准目标彼此之间的位置;以及
通过分析评估采集到的第一和第二图像确定参考摄像机的未知参数,其中,由第一图像以及辅助目标相对于先前的校准目标在第二图像中的相对姿势测定外部参数。
在第二图像中辅助目标的姿势给出关于在采集第一图像时参考摄像机的姿势的信息。在考虑该信息的情况下可以通过分析评估采集到的第一图像确定参考摄像机的其他未知参数。
根据本方法一有益的设计方案,在利用参考摄像机采集图像前测量由第一定位基座、接口、参考摄像机适配器、辅助目标和参考摄像机构成的组件的实际尺寸。由此,可通过对目前为止已知的实际尺寸与根据参考摄像机图像的分析评估所测定尺寸的比较对参考摄像机参数进行优化。
首先讨论上述方法的一设计方案,其中,相对于参考摄像机壳体,参考摄像机的内部参数和外部参数是已知的。对所讨论的设计方案,拍摄第二图像是有益的,但不是必需的。在以有益方式获得图案及以有益方式将图案设置在空间中时,从在参考摄像机的第一图像中所采集到的目标图案中就已经能够以下述方式估计图案(点)相对彼此的姿势。在另一设计方案中,这可通过再结合诸如所测得的图案尺寸和/或平面性等关于组件的辅助知识来完成。在此特别有利的是,考虑与优选高精度地制造的辅助目标的尺寸有关的辅助知识。此外,参考摄像机相对于第一目标的姿势,以及因此基于参考摄像机相对于参考摄像机壳体的已知姿势(外部校准),能够对第一基座以及理想的校准摄像机的光学器件相对于第一目标的姿势加以估计。如果存在多个目标图案并通过第一图像采集到这些多个目标图案,则可建立这些图案的相互关系,即实现组件的测量。利用所获得信息,可测定在给定组件中要校准的摄像机的内部参数以及外部参数。
后一种情况描述的是用于测量校准组件的光学系统的常见的或接近的设计方案。现在介绍本发明的实施方式,其中减少了有关参考摄像机的已知参数的假设。
接下来讨论本发明的一设计方案,其中只有参考摄像机的内部参数是已知的。
如前所述,在以有益的方式获得图案并以有益的方式将图案设置在空间中时,从参考摄像机所采集的目标图案的图像中能够以下面所述的方式估计目标彼此之间的位置。
根据以上描述,在该设计方案中,从第二定位基座采集参考摄像机的第二图像。在此,辅助目标在第一定位基座上借助参考摄像机适配器被安置。由此,参考摄像机在第二图像中既采集了先前的校准目标,也采集了辅助目标,这使得能够对这些目标彼此之间的相对姿势进行估计。以此方式,因参考摄像机壳体和辅助目标之间的姿势是已知的,所以由此获得参考摄像机壳体相对于先前的校准目标的姿势。通过结合在第一图像中参考摄像机相对于先前的校准目标的姿势,获得参考摄像机相对于参考摄像机壳体的姿势,即参考摄像机的外部参数。通过从多视角拍摄及通过巧妙的方法,所讨论的设计方案因此又回归到先前所描述的、参考摄像机的所有已知参数的情况。即测量系统进行自身的外部校准。由于通过本方法测定的是在第二基座中参考摄像机相对于组件(中的所有目标)的姿势,因此第二基座优选不必以重复精度构造。
在已知几何关系后,例如可以下面解释的方式从第一图像中估计校准摄像机的所有参数。
现介绍本发明的另一实施方式,其中,参考摄像机的内部参数和外部参数都是未知的。
根据一实施方式,在假定已知几何关系(例如已知图案的尺寸和/或目标的平面性)情况下,可以以下面描述的方法,从上述方法的两次拍摄中估计参考摄像机的未知的内部参数。为实现鲁棒的系统,建议使用以下所述实施方式。
根据一实施方式,测量系统有第三定位基座,其设置方式是,使得由第三定位基座安置的参考摄像机能够在第三图像中采集第一定位基座所安置的辅助目标以及采集所述至少一个校准目标。如果参考摄像机被放置在第三定位基座上,则可从一个另外的位置出发采集校准目标和辅助目标,由此提高系统校准的准确性。除了提高精度外,从在三个图像(无辅助目标、参考摄像机在第一基座上的第一图像;带辅助目标、参考摄像机在第二或第三基座上的第二和第三图像)中可见的图案中也可通过以下描述的方法测定参考摄像机的内部校准和外部校准。这可通过前面提到的条件下通过图案的位置和参考摄像机位置来进行,其中对组件的尺寸的假设非常少。只需要的是知道该真实的物理结构的距离(例如在先前的校准目标上校准图案的长度)。然后所提出的该情况可回归至之前系统自身进行内部校准和外部校准的情况。由此可以容许参考摄像机的光学参数的大的偏差(例如光学器件的更换)而无需进一步维护参考摄像机。
因此该系统提供了一种布置结构,该布置结构允许通过分析评估所采集到的图像来对被设置用于校准摄像机的组件进行测量。在所描述的其他实施方式中提供了一种进行自身校准的系统。在此要注意的是,在此涉及组件的测量,所以之后要校准的产品摄像机没有包含在该方法中。通过组件的测量更确切地说是进行了组件的标准化,这可为随后对摄像机的校准提供明确的周围环境。通过测量能够对由于例如周围环境影响或材料随时间出现的常见变化而产生的较小的、不希望出现的组件变化进行补偿,而无需进行重新调整或甚至更换目标。
根据另一实施方式,摄像机校准测量系统的校准目标为对其进行识别而分别具有识别图案。这使得目标能够除识别图案外具有诸如棋盘格图案或圆形图案等相同的图案,但在采集到的图像上仍能够区分和识别不同的目标,从而在所有目标上也能够准确识别图案的每个元素。识别图案例如可是在预定的图案元素、例如正方形中的点或其他几何形状。其他可行的方案是通过颜色或灰度、QR码等进行编码。
所介绍的组件使得能够通过组件的测量来检测在组件或摄像机中的一系列故障。
第一定位基座和校准目标是系统中最有可能随时间变化的组件。校准目标例如可由于如湿度和温度等环境影响而老化,这种老化例如能够表现在机械变形中。第一定位基座可能由于校准摄像机的频繁更换而发生移位。与此相反,参考摄像机仅在较大的时间间隔后才从第二定位基座中取下,所以第二定位基座的姿势在相对较长时间内保持稳定。
如果确定了组件的变化(例如由于所测定的参数或质量测量的变化),则可重新调整组件,并可使用参考摄像机从第一定位基座出发重新对校准目标进行采集。
根据一实施方式,测量系统具有分析评估单元,该分析评估单元被设置用于通过分析评估至少第一图像和第二图像来确定校准目标和辅助目标的取向以及确定参考摄像机的未知参数。分析评估单元可具有与参考摄像机或要校准的摄像机的有线连接的通信接口或无线通信接口,所述分析评估单元通常是计算机或具有处理器的计算单元,它将空间点与针对校准所指定的图像点相关联,并根据例如如下所述的计算规则进行校准。
首先讨论如何在测量的组件中校准摄像机的情况。这是在用在此介绍的系统测量了组件之后进行的情况。以此方式例如对产品摄像机进行校准。
假定摄像机的投影模型由可参数化的映射k给出,从而每一图像点p相对于空间点s满足下列等式
p=k(s,θ),
其中是参数的矢量,其对相应的物理的摄像机建模。由于校准图案彼此之间的位置以及由此图案上的标记在空间中的位置和第一定位基座相对于第一校准图案的位置都是已知的,因此通过使:
Figure BDA0003057873270000081
最小化能够计算校准参数,其中,si表示一特征(例如正方形的角)的每个点i的空间位置,而pi则表示关联的图像点。
在此结果有时是光学器件相对于组件的参考坐标系(例如第一目标的中心或其上的点)的(虚拟)姿势。由于第一定位基座相对于参考坐标系的姿势是已知的,因此光学器件相对于第一定位基座的姿势也是已知的,由此光学器件相对于要校准的摄像机的摄像机适配器的姿势也是已知的。
所得出的校准参数的质量对于决定摄像机例如是否可以被交付给客户或者相机或组件是否存在故障是至关重要的。如果是肯定结果,则将参数输入到带有摄像机校准参数的数据库中,然后交付摄像机。如果是否定结果,则必须例如重新调整组件。除了在先前规定的限值方面检查参数外,优选的质量值为l(θ)。
在本发明一实施方式中,基于源于第一图像的经校准的组件的假设,对第一参考基座中内部校准的和外部校准的参考摄像机进行分析评估。如果质量参数的数值与预期值相差太大,则必须进行如下描述的完整的组件测量。
根据一实施方式,提供一种用于测量摄像机校准组件的方法,该方法包括以下步骤:
-将参考摄像机定位在第一定位基座上,
-采集至少一个校准目标的第一图像,
-将辅助目标定位在第一定位基座上,
-将参考摄像机定位在第二定位基座上,
-采集所述至少一个校准目标和所述辅助目标的第二图像,
-将参考摄像机定位在第三定位基座上,
-采集所述至少一个校准目标和所述辅助校准目标的第三图像,
-确定参考摄像机的所有未知参数、在组件的参考坐标系中组件的所有目标的姿势以及在参考坐标系中第一基座的姿势,
-以及测定组件的已测定的参数的质量值,以及
-如果质量值符合预先规定,则存储该参数。
通过所述方法,首先通过利用第一定位基座上的参考摄像机采集第一图像来建立校准目标的参考图像。在下一步骤中,替代参考摄像机,将辅助目标置于第一定位基座上,并将参考摄像机置于第二定位基座上,以便从第二定位基座出发采集辅助目标和校准目标的第二图像。已经通过例如先前的接触测量已知了由接口、适配器、参考摄像机、校准摄像机适配器和第一定位基座或辅助目标构成的子系统的姿势。于是可通过第二图像进一步测定校准目标相对于辅助目标或由此相对于定位基座的姿势。借助两个图像的这些信息,还可计算参考摄像机的外部参数。
因此,本实施方式的方法是以用于测量组件和确定外部参数的至少两个校准目标为基础的,所述校准目标是从至少两个定位基座位置或摄像机位置出发以各自的取向被采集的,并从第三定位基座采集第三图像,以确定参考摄像机的未知参数。在此,可向组件添加其他目标或定位基座位置,这有助于提高准确性。
由于组件测量的方法是被重复使用的(例如每周一次),因此内部参数的计算可以迭代地进行,其中,每次通过新的测量来校正内部参数。
为确定组件的所测定的参数是否有错或是否具有过大的误差,使用质量标准。将计算得到的质量值例如与阈值进行比较。如果满足质量标准,将组件的参数的值予以存储并用于产品摄像机的校准。如果不满足质量标准,则必须测定参考摄像机是否有故障或组件是否严重移位。
如果例如几何形状随着时间而改变或校准目标变形,则可根据组件的测量对此加以识别,并可在一定程度上在计算方面进行补偿。例如,可在每个摄像机校准过程前或至少以特定的时间间隔采集第二图像。
根据一实施方式,提供程序单元,当在计算机控制单元上执行该程序单元时,该程序单元对图像进行分析评估并根据所介绍方法通过分析评估采集到的图像确定相对于两个校准目标的第一位置。
根据一实施方式,程序单元被存储在计算机可读媒介上。
下面根据实施例并借助附图详细解释本发明。
图1展示根据本发明一实施例所述的参考摄像机的侧视图和正视图。
图2展示根据本发明一实施例所述的校准目标。
图3展示根据本发明一实施例所述的摄像机适配器。
图4展示根据本发明一实施例所述的适配器和定位基座的布置。
图5展示根据本发明一实施例所述的定位基座和目标的布置。
图6展示根据本发明一实施例所述的从第一定位基座角度观察的校准目标。
图7展示根据本发明一实施例所述的定位基座的布置。
图8展示根据本发明一实施例所述的从第二定位基座角度看到的校准目标。
图9展示根据本发明一实施例所述的摄像机校准测量方法的流程图。
图10展示根据本发明一实施例所述的图像点和空间点之间的关系。
具体实施方式
图1首先展示参考摄像机10的侧视图和正视图。在一实施例中所述参考摄像机可嵌入矩形壳体11中。参考摄像机壳体中的参考摄像机10由光学器件12、带电子器件的成像器壳体13、连接件14构成,并具有第二接口类型的机械接口15以用于将参考摄像机10固定在组件中。为此,接口15被设计成适合通过定位基座被安置。这类(第二)定位基座用于图5所示的位置55和56处。作为替代选择,接口15通过参考摄像机适配器40被安置。壳体被高精度地接触测量并且测定了相对于接口15的角的姿势。
根据一实施例所述,图2展示立方体形式的辅助目标21的校准图案。所述立方体在几个侧面上具有棋盘格图案22,以及用于明确标识立方体的指定侧面的明确编码23。这类编码的示例如草图所示,是QR码的一种改型。此外,所述立方体具有与参考摄像机10的接口15相同的机械接口24(第二接口类型,显示为正方形)。相对于立方体的参考边缘以光学方式高度精确地测量校准图案,并相对于接口24接触式测定参考边缘的姿势,即位置和方向。借助诸如图4所示的参考摄像机适配器40的机械适配器能够将辅助目标21安装在第一定位基座43上。
根据一实施例所述,图3以示意方式展示(摄像机)适配器34以及壳体32,要校准的摄像机31、即产品摄像机能够被放置到该壳体中。摄像机适配器34具有第一接口类型的机械接口(配对接口)33,该机械接口可安装在图4所示的第一定位基座43的接口44上。第一接口类型在图3和图4中被象征性地表示为三角形。
图4以示意方式展示在位置55和56处带接口42(第二类型)的第二定位基座41,该接口构成接口15的配对接口。由此,参考摄像机壳体11可在第二位置55或第三位置56处安装到第二定位基座41上。参考摄像机壳体11或参考摄像机模块10可通过第二类型的接口15安装到参考摄像机适配器40上。参考摄像机壳体11和参考摄像机适配器40被安装在位置54处的第一定位基座43(第一类型的接口44)上。参考摄像机10在第一位置54处采集第一图像。为实现第二图像(以及必要时的第三图像),辅助目标21被放置在参考摄像机适配器40上(在第一位置54处),参考摄像机10被放置在第二位置55处(必要时第三位置56处)的(第二)定位基座41上。
第一定位基座43是定位基座的一种特殊结构形式,并用在图5中所示的中间位置54(在三个定位基座的情况下)。它既可以安置在壳体32中的产品摄像机31,又可通过适配器40安置参考摄像机11和带有辅助目标的立方体21。
根据一实施例所述,图5以俯视图示出带三个校准图案51、52、53和三个定位基座54、55、56的布置结构,这三个定位基座用于固定参考摄像机10或其他元件。图5中通过虚线57表示当参考摄像机10置于位置54、55、56处的定位基座43、41中时参考摄像机10的视场。第二位置55和第三位置56处的定位基座41在距离、高度和坐标轴上相对于中间位置54以及相对于彼此都具有明显的偏差。
根据一实施例,图6展示当要校准的摄像机或参考摄像机10被固定在中间位置54上时,从要校准的摄像机或参考摄像机的角度观察的三个校准目标51、52和53的布置。要注意的是,在目标上布置有标记63,它明确标识相应目标以及目标图案的位置。要校准的摄像机以及参考摄像机10的图像在图6中被校准图案完全覆盖。此外,在参考摄像机10的图像中,目标的每个(与要测试的摄像机的校准有关的)框格65应在至少两个视图中可见。
为清楚起见,在图7中以草图方式展示仅有一个目标53的一种优选布置结构的两个不同视图。图7左侧部分展示该布置结构的从右侧观察的视图,而图7右侧部分展示该布置结构的从正面观察的视图。从图中可看出,位置55和56被布置得距离校准图案51、52、53更远并且更高于定位基座54,并在所有坐标轴上略微扭转。
根据一实施例,图8以示意方式展示位置55处从第二定位基座41的参考摄像机10到校准目标51、52、53的视图。从它们的角度出发,可看到校准目标51、52和53以及辅助目标或具有图案22的立方体21。定位基座55相对于空间坐标系在所有三个轴上都没有成直角旋转,由此构成图8中所示的倾斜透视图。
根据不同的具体任务,上述布置结构可有不同的图案数量和方向。
在图9的流程图中展示了根据一实施例所述的组件测量的流程。参考摄像机10被相继地置放在定位基座54、55以及另选地在56上。如果参考摄像机10处于位置55或56上,则立方体被定位在定位基座54上。根据图9所示的流程图,执行以下步骤:
-将参考摄像机定位901在第一定位基座上,
-采集902至少一个校准目标的第一图像,
-将辅助目标定位903在第一定位基座上,
-将参考摄像机定位904在第二定位基座上,
-采集905至少一个校准目标和辅助目标的第二图像,
-将参考摄像机(10)定位906在第三定位基座上,
-采集907至少一个校准目标和辅助校准目标的第三图像,
-通过分析评估第一图像确定908至少一个校准目标相对于第一定位基座的方向和位置,以及通过分析评估采集到的第一和第二图像从第一图像中以及从第一定位基座的相对方向和位置中确定参考摄像机的外部参数,
-测定909内部参数的质量值,以及
-如果质量值符合预先规定,则存储910该内部参数。
如果909中的质量检查得出否定结果,则例如在重新调整后再次执行步骤901到908。
下文中,用所测定的参数估计校准质量并用图10进行解释。特征65的所有可能的未知空间位置由si表示。点si包括三个目标51、52、53的点以及立方体21上的点。如果在图像j=1、......3中可见特征si,则图像点pij表示图像j=1、......3中特征si的(被像素噪声干扰的)映射,在其他情况下则表示某个点。进一步定义权重wij为:
当且仅当在图像j中可看到特征si时,wij=1,以及
在其他情况下,wij=0。
每个视图j=1、......、3还包括未知的矢量j,其包含参考摄像机10的内部参数和外部参数。在此,假定内部参数对于所有三个视图都相同。定位基座54的视图被视为原点图/基础图(Ursprung),在下文中不被视为参数。
如果如上所述地给出点pij和si,则公式
Figure BDA0003057873270000131
以来自先前或初始校准的合理的起始值开始最小化。
根据摄影测量学或多视图几何的理论,在给定条件下存在一个θ*,其中,L(θ*)具有孤立的最小值。在此,L(θ*)位于特征提取的噪声的范围中。数值L(θ*)是所述方法的质量特征。此外,最小值在允许的范围中,离起始解
Figure BDA0003057873270000132
不远。如果上述方法不适用,则怀疑参考摄像机10中存在组件移位或故障,必须对所述组件进行维护保养。在肯定的情况下(即在满足以上所有条件时),其中所含参数值具有如图10中所示的以下诠释。
内部参数描述参考摄像机10的标准化或摄像机的校准。由此只需一次地为组件进行内部参数的参考校准。然后每次测量都会对参数进行后续改进以适合当前情况(移位、环境等)。如果该参数与参考摄像机10的起始参数明显不一致,则怀疑参考摄像机10或组件中存在机械故障。在机械故障情况下,必须对组件进行维护保养。
点si包含在定位基座54中的参考摄像机10(i)的光学系统的坐标系中在目标上为了校准而寻找的三维立体(3D)点。从这些点中能够测定目标的印制质量、平面性以及目标彼此之间的位置。如果这些点与先前测定或规定的值明显不一致,则怀疑所述组件或参考摄像机10中存在机械故障。在机械故障情况下,必须对相应组件进行维护保养。
但是点si也包含立方体的三维立体(3D)点,因为这些点是从位置55和56出发看到的(iii)。然而,由于立方体是高度精确地测量的并与参考摄像机10的关系是已知的(ii),所以从所测量的点出发也知道参考摄像机10的光学器件相对于定位基座54的位置。因此,也知道定位基座相对于目标上点si的位置。换句话说,如上述校准方法所要求的,现在可将点si转移到定位基座54的参考坐标系中。如果定位基座与目标之间的所测定的关系与先前不一致,则怀疑适配器存在移位。后一种情况下,可对组件进行维护保养。
如果满足了参考摄像机10的校准质量标准,则将所测定的参数存储在数据存储器中,并用于后续对要校准的摄像机的校准。如果不满足参考摄像机的校准质量标准,则可对组件进行维护保养和/或重复测量。
为实现上述方法而可能必要的是,相应场景没退化并且摄像机的位置不对应于临界运动。
例如可通过使用三个彼此不共面的平面目标来解决退化的场景的问题。由此,在很大程度上排除场景的退化配置。
可以通过使摄像机具有不同位置且在所有轴上都相对扭转来解决退化的运动的问题。
由于每次测量都涉及对校准系统(参考摄像机10)的标准化和组件的检验,因此可方便地对组件进行维护保养。如果通过标准化确定了有较大的偏差,则必须对系统进行维护保养或重新调整。此外避免了错误操作并减少了干扰源。对该组件而言不需要印制得非常准确的以高精度制造的平面目标。该组件可适应在目标印制和平面性方面的小的变化。尤其是无需定期对目标进行重新测量。

Claims (11)

1.一种用于对要校准的摄像机(31)进行校准的组件,该组件包括:
第一定位基座(43),该第一定位基座用于安置参考摄像机适配器(40)或安置用于要校准的摄像机(31)的适配器(34),
辅助目标(21),
用于安置参考摄像机壳体(11)或辅助目标(21)的参考摄像机适配器(40),
用于安置要校准的摄像机(31)的适配器(34),
用于安置参考摄像机壳体(11)的第二定位基座(41),
至少一个校准目标(51、52、53),该至少一个校准目标被布置成,能由第一定位基座(43)所安置的参考摄像机(11)或要校准的摄像机(31)采集到该至少一个校准目标,
用于安置参考摄像机(12、13)的参考摄像机壳体(11)
其中,第一定位基座(43)的设置(位置54)方法是,由安置在第一定位基座(43)中的参考摄像机(12、13)采集到的第一图像包含至少一个校准目标(51、52、53),以及
其中,第二定位基座(41)的设置(位置55或位置56)方法是,由安置在第二定位基座(41)中的参考摄像机(12、13)采集到的第二图像包含至少一个校准目标(51、52、53)以及安置在第一定位基座(43)中的辅助目标(21)。
2.根据权利要求1所述的组件,该组件还具有用于安置参考摄像机(11)的第三定位基座(41),该第三定位基座被布置成(位置56或位置55),由安置在第三定位基座(41)中的第三参考摄像机(12、13)采集到的第三图像包含至少一个校准目标(51、52、53)以及安置在第一定位基座(43)中的辅助目标(21)。
3.根据权利要求1或2所述的组件,其中,所述组件具有三个平面状的校准目标(51、52、53),这三个校准目标被设置得彼此不共面。
4.根据上述权利要求中任一权利要求所述的组件,其中,第一和第二定位基座(43、41)被安置和配置用于,当参考摄像机(11)被安置在第一定位基座(43)中时,参考摄像机(11)的姿势的六个空间自由度中的每一个空间自由度都与在被安置在第二定位基座(41)中时相比具有差异。
5.根据上述权利要求中任一权利要求所述的组件,其中:
第一定位基座(43)具有第一机械接口类型(44),以用于安置参考摄像机适配器(40)或安置用于要校准的摄像机(31)的适配器(34),
参考摄像机适配器具有用于安置参考摄像机(10、11)或辅助目标(21)的第二机械接口类型(15;24)以及具有第一配对接口(33),
用于安置要校准的摄像机(31)的适配器(34)具有第一配对接口(33),
第二定位基座(41)具有用于安置参考摄像机(10、11)的第二机械接口类型(42),
参考摄像机壳体(11)具有第二配对接口(15)。
6.根据上述权利要求中任一权利要求所述的组件,该组件此外还具有分析评估单元,该分析评估单元被设置用于,通过分析评估至少第一图像和第二图像,确定参考摄像机(11、12、13)的外部参数和/或内部参数。
7.一种用于测量对要校准的摄像机(31)进行校准的组件的方法,该方法包括以下步骤:
将参考摄像机(10、11)定位(901)在第一定位基座(43)上(位置55),
借助参考摄像机(10、11)采集(902)至少一个校准目标(51、52、53)的第一图像,
将辅助目标(21)定位(903)在第一定位基座上,
将参考摄像机(10、11)定位(904)在第二定位基座(41)上(位置55),
借助参考摄像机(10、11)采集(905)至少一个校准目标(51、52、53)和辅助目标(21)的第二图像,
通过分析评估第二图像,确定(908)辅助目标(21)相对于至少一个校准目标(51、52、53)的方向和位置,
确定所有校准目标彼此之间的方向,以及
通过分析评估采集到的第一图像和第二图像确定参考摄像机的未知参数,其中,由第一图像以及辅助目标(21)相对于先前的校准目标在第二图像中的相对方向和位置测定外部参数。
8.根据权利要求7所述的方法,其中,在利用参考摄像机(10、11)采集图像前,测量由第一定位基座(43)、接口(44、15、24)、参考摄像机适配器(40)、辅助目标(21)和参考摄像机(10、11)构成的组件的实际尺寸。
9.根据权利要求7或8所述的方法,包括下列步骤:
将参考摄像机(10、11)定位(906)在第三定位基座(41)上(位置56),
借助参考摄像机(10、11)采集(907)至少一个校准目标(51、52、53)及辅助目标(21)的第三图像,
通过分析评估所有采集到的图像确定参考摄像机的未知参数,
测定(909)内部参数的质量值,以及
如果质量值符合预先规定,则存储(910)该内部参数。
10.一种程序单元,当在计算机控制单元上执行该程序单元时,该程序单元对图像进行分析评估并根据权利要求7到9中任一权利要求所述的方法通过分析评估采集到的图像确定相对于两个校准目标的第一位置。
11.一种计算机可读媒介,在该计算机可读媒介上存储有按照权利要求10所述的程序单元。
CN201980073977.7A 2018-12-21 2019-12-16 一种用于校准摄像机的组件和该组件的测量 Pending CN112970249A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018222796.9 2018-12-21
DE102018222796.9A DE102018222796A1 (de) 2018-12-21 2018-12-21 Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera
PCT/DE2019/200147 WO2020125876A1 (de) 2018-12-21 2019-12-16 Aufbau und vermessung eines aufbaus zur kalibrierung einer kamera

Publications (1)

Publication Number Publication Date
CN112970249A true CN112970249A (zh) 2021-06-15

Family

ID=69467275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980073977.7A Pending CN112970249A (zh) 2018-12-21 2019-12-16 一种用于校准摄像机的组件和该组件的测量

Country Status (7)

Country Link
US (1) US11967110B2 (zh)
EP (1) EP3900330B1 (zh)
JP (1) JP7100199B2 (zh)
KR (1) KR102468176B1 (zh)
CN (1) CN112970249A (zh)
DE (2) DE102018222796A1 (zh)
WO (1) WO2020125876A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500849A (zh) * 2022-02-21 2022-05-13 上海东方传媒技术有限公司 一种多视角环绕拍摄矫正方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802119A (zh) * 2021-01-13 2021-05-14 北京中科慧眼科技有限公司 基于双目相机的出厂测距检验方法、系统和设备
DE102022210941A1 (de) 2022-10-17 2024-04-18 Continental Autonomous Mobility Germany GmbH Verfahren und Anordnung zur Kalibrierung eines oder mehrerer Sensoren eines Sensorträgers

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240221A (zh) * 2013-06-18 2014-12-24 烟台大学 一种镜头相背双相机相对方位标定装置与方法
CN105407342A (zh) * 2014-09-10 2016-03-16 钰创科技股份有限公司 图像校准系统和立体摄像机的校准方法
US20170287166A1 (en) * 2016-03-29 2017-10-05 Institut National D'optique Camera calibration method using a calibration target
US20170374360A1 (en) * 2016-06-28 2017-12-28 Magic Leap, Inc. Camera calibration system, target, and process
CN108700650A (zh) * 2016-03-14 2018-10-23 Pmd技术股份公司 用于校准光传播时间摄像机的装置和方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072898A (en) * 1998-01-16 2000-06-06 Beaty; Elwin M. Method and apparatus for three dimensional inspection of electronic components
JP3381692B2 (ja) * 1999-12-07 2003-03-04 三菱電機株式会社 半導体吸着コレットおよびダイボンド装置
JP4055888B2 (ja) 2001-12-27 2008-03-05 松下電器産業株式会社 カメラ装置、カメラ校正システムおよびカメラ校正方法
US7292711B2 (en) * 2002-06-06 2007-11-06 Wintriss Engineering Corporation Flight parameter measurement system
JP3635539B2 (ja) 2002-08-29 2005-04-06 オリンパス株式会社 キャリブレーションパターンユニット
KR100534023B1 (ko) * 2004-01-08 2005-12-07 주식회사 고영테크놀러지 카메라모듈 검사장치
ATE488091T1 (de) * 2004-08-30 2010-11-15 Univ Weimar Bauhaus Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
KR100622415B1 (ko) * 2004-12-06 2006-09-19 미래산업 주식회사 반도체 소자 테스트 핸들러의 소자 반송장치
TWI408486B (zh) * 2008-12-30 2013-09-11 Ind Tech Res Inst 具動態校正的攝影機及其動態校正方法
DE102009001742A1 (de) 2009-03-23 2010-09-30 Robert Bosch Gmbh Verfahren sowie Vorrichtung zum Bestimmen der Position und Ausrichtung einer Fahrerassistenzsystem-Kamera eines Fahrzeugs zu dem Fahrzeug
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
DE102010039246A1 (de) * 2010-08-12 2012-02-16 Robert Bosch Gmbh Verfahren zum Kalibrieren eines Messsystems und Vorrichtung zum Durchführen des Verfahrens
US9621823B2 (en) * 2010-09-16 2017-04-11 Honeywell International Inc. Thermal camera calibration
US8743214B2 (en) * 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
WO2013076605A1 (en) * 2011-11-23 2013-05-30 Creaform Inc. Method and system for alignment of a pattern on a spatial coded slide image
DE102012107153A1 (de) * 2012-08-03 2014-02-27 Hendrik Fehlis Vorrichtung und Verfahren zur Bestimmung der Eigenlage einer bildaufnehmenden Kamera
US8973149B2 (en) * 2013-01-14 2015-03-03 Lookout, Inc. Detection of and privacy preserving response to observation of display screen
US9986232B1 (en) * 2014-04-25 2018-05-29 Hunter Engineering Company Method for distance calibration of machine vision vehicle service system
US9596459B2 (en) * 2014-09-05 2017-03-14 Intel Corporation Multi-target camera calibration
GB2530790B (en) * 2014-10-02 2016-10-19 Vision Rt Ltd Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus
US9894350B2 (en) * 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
US9489735B1 (en) * 2015-09-17 2016-11-08 Qualcomm Incorporated Multiplexed temporal calibration for event-based cameras
DE102015122842B4 (de) * 2015-12-27 2019-02-07 Faro Technologies, Inc. Verfahren zum Kalibrieren einer 3D-Messvorrichtung mittels einer Kalibrierplatte
US9928595B2 (en) * 2016-02-01 2018-03-27 Canon Kabushiki Kaisha Devices, systems, and methods for high-resolution multi-view camera calibration
US10306218B2 (en) * 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
DE102017109854A1 (de) * 2017-05-08 2018-11-08 Wobben Properties Gmbh Verfahren zur Referenzierung mehrerer Sensoreinheiten und zugehörige Messeinrichtung
US10989839B1 (en) * 2017-08-29 2021-04-27 University Of Hawai'i Ground-based sky imaging and irradiance prediction system
US10432912B2 (en) * 2017-09-29 2019-10-01 Waymo Llc Target, method, and system for camera calibration
DE102017222135A1 (de) * 2017-12-07 2019-06-13 Robert Bosch Gmbh System und Verfahren zum Ausrichten einer Kalibriervorrichtung zum Kalibrieren von Fahrzeugumfeldsensoren
JP7072378B2 (ja) * 2017-12-13 2022-05-20 キヤノン株式会社 画像生成装置およびその制御方法、画像生成システム、プログラム
DE102018106464A1 (de) * 2018-03-20 2019-09-26 Dürr Assembly Products GmbH Verfahren zur Bestimmung der Lage und Orientierung des Koordinatensystems wenigstens einer Kamera in einem Fahrzeug relativ zu dem Koordinatensystem des Fahrzeugs
US10269141B1 (en) * 2018-06-04 2019-04-23 Waymo Llc Multistage camera calibration
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
US20230221093A1 (en) * 2022-01-11 2023-07-13 Sheltered Wings, Inc. D/B/A Vortex Optics Viewing Optic Remote with an Illumination Source

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240221A (zh) * 2013-06-18 2014-12-24 烟台大学 一种镜头相背双相机相对方位标定装置与方法
CN105407342A (zh) * 2014-09-10 2016-03-16 钰创科技股份有限公司 图像校准系统和立体摄像机的校准方法
CN108700650A (zh) * 2016-03-14 2018-10-23 Pmd技术股份公司 用于校准光传播时间摄像机的装置和方法
US20170287166A1 (en) * 2016-03-29 2017-10-05 Institut National D'optique Camera calibration method using a calibration target
US20170374360A1 (en) * 2016-06-28 2017-12-28 Magic Leap, Inc. Camera calibration system, target, and process

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500849A (zh) * 2022-02-21 2022-05-13 上海东方传媒技术有限公司 一种多视角环绕拍摄矫正方法及系统
CN114500849B (zh) * 2022-02-21 2023-11-24 上海东方传媒技术有限公司 一种多视角环绕拍摄矫正方法及系统

Also Published As

Publication number Publication date
US20220067971A1 (en) 2022-03-03
KR102468176B1 (ko) 2022-11-16
DE112019006290A5 (de) 2021-09-23
JP7100199B2 (ja) 2022-07-12
WO2020125876A1 (de) 2020-06-25
EP3900330A1 (de) 2021-10-27
DE102018222796A1 (de) 2020-06-25
US11967110B2 (en) 2024-04-23
EP3900330B1 (de) 2023-07-12
KR20210052538A (ko) 2021-05-10
JP2022501975A (ja) 2022-01-06

Similar Documents

Publication Publication Date Title
EP2459959B1 (en) Position and orientation calibration method and apparatus
CN107483774B (zh) 拍摄装置以及车辆
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN102782721B (zh) 用于相机校准误差的运行时测定的系统和方法
CN112970249A (zh) 一种用于校准摄像机的组件和该组件的测量
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
KR20150112362A (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
US10499038B2 (en) Method and system for recalibrating sensing devices without familiar targets
US11212511B1 (en) Residual error mitigation in multiview calibration
EP3332387B1 (en) Method for calibration of a stereo camera
CN113034612B (zh) 一种标定装置、方法及深度相机
CN112991453A (zh) 双目相机标定参数的校验方法、装置及电子设备
US10628968B1 (en) Systems and methods of calibrating a depth-IR image offset
CN112116665B (zh) 一种结构光传感器标定方法
US20240087167A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
KR102167847B1 (ko) 레이저 관측 장비를 이용한 mms의 캘리브레이션을 위한 장치 및 방법
US11481917B2 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
WO2005073669A1 (en) Semi and fully-automatic camera calibration tools using laser-based measurement devices
CN115151945A (zh) 将三维相机的坐标系转成二维相机的入射点
US20230192119A1 (en) Linear movement for control point detection verification
KR101807371B1 (ko) 사진 측정 장치 및 방법
CN115876166A (zh) 一种视觉检测系统的精度评估方法
CN116342706A (zh) 多目异构相机的标定装置、方法和存储介质
CN116934873A (zh) 相机外参标定方法、装置、设备及存储介质
CN117376543A (zh) 一种基于mr眼镜的目标定位显示方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination