CN111164649A - 相机校准的目标、方法和系统 - Google Patents
相机校准的目标、方法和系统 Download PDFInfo
- Publication number
- CN111164649A CN111164649A CN201880063790.4A CN201880063790A CN111164649A CN 111164649 A CN111164649 A CN 111164649A CN 201880063790 A CN201880063790 A CN 201880063790A CN 111164649 A CN111164649 A CN 111164649A
- Authority
- CN
- China
- Prior art keywords
- fiducial
- panel
- calibration
- pattern
- arrangement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 239000003550 marker Substances 0.000 claims description 142
- 239000011159 matrix material Substances 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 8
- 230000008685 targeting Effects 0.000 claims 1
- 230000002829 reductive effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000670 limiting effect Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000001454 recorded image Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000003278 mimic effect Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- WPPDXAHGCGPUPK-UHFFFAOYSA-N red 2 Chemical compound C1=CC=CC=C1C(C1=CC=CC=C11)=C(C=2C=3C4=CC=C5C6=CC=C7C8=C(C=9C=CC=CC=9)C9=CC=CC=C9C(C=9C=CC=CC=9)=C8C8=CC=C(C6=C87)C(C=35)=CC=2)C4=C1C1=CC=CC=C1 WPPDXAHGCGPUPK-UHFFFAOYSA-N 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- STZCRXQWRGQSJD-UHFFFAOYSA-N sodium;4-[[4-(dimethylamino)phenyl]diazenyl]benzenesulfonic acid Chemical compound [Na+].C1=CC(N(C)C)=CC=C1N=NC1=CC=C(S(O)(=O)=O)C=C1 STZCRXQWRGQSJD-UHFFFAOYSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本公开涉及用于校准相机的目标、方法和系统。一个示例实施例包括目标。目标包括基准标记的第一图案。目标还包括基准标记的第二图案。基准标记的第一图案是基准标记的第二图案的缩放版本,使得目标的捕获的校准图像模拟在多个校准视角捕获的单个图案的多个图像。
Description
相关申请的交叉引用
本申请要求于2017年9月29日提交的美国专利申请第15/720,979号的优先权,其全部内容通过引用合并于此。
背景技术
除非本文另外指出,否则本节中描述的材料不是本申请中的权利要求的现有技术,并且由于包含在本节中而不能承认是现有技术。
在记录图像时,相机无处不在。各种相机可以在胶片上记录图像或将图像作为一系列位存储在计算机存储器(例如,硬盘驱动器)内。许多设备甚至都集成了相机。例如,移动电话、平板电脑和膝上型计算机可以包括相机。
相机的一种应用是在计算机视觉领域。在计算机视觉中,为了从记录的图像中进行推断,校准记录图像的相机可能很重要。这样的校准可以提供所记录的图像的外观与物理场景的空间布局的相关性。此外,校准可以校正用于记录图像的相机传感器/镜头的制造和/或组装中的缺陷。例如,如果相机的光圈相对于相机传感器偏离中心,则校准可以解决这个问题(例如,使用对记录的图像提供校正以使其更准确地反映物理场景的处理器)。
校准相机的一种方法包括应用针孔相机模型。针孔相机模型假定正被校准的相机是理想的针孔相机(即,没有镜头和点状光圈的相机)。使用针孔相机模型近似,可以将物理场景的坐标(例如,三维)映射到二维平面上的投影,其中二维平面上的投影由记录的校准图像表示。可以基于校准图像确定理论上的针孔相机中的针孔光圈的位置。还可以确定理论上的针孔相机的其他参数(例如焦距)。如果针孔光圈的位置未相对于相机传感器居中,则可以采取步骤来解决光圈的偏心位置。确定针孔光圈的位置并对其进行解决可以包括基于一个或多个校准图像来计算相机矩阵的一个或多个元件。
还可以采用其他校准方法来校正光学设计中固有的或由于制造/组装而引起的其他缺陷。例如,可以基于记录的校准图像来计算一个或多个失真系数。失真系数可用于解决由于相机中的镜头引起的光学不均匀性(例如,桶形失真、胡须形失真或枕形失真)。另外,可以使用校准来解决其他光学像差(例如散焦、倾斜、球面像差、像散、彗差或色差)。
发明内容
示例性校准目标可以允许相机被校准。校准目标可以包括两个或更多个面板,每个面板上具有一系列基准标记。面板可以相对于彼此成角度,并且基准标记可以以一种或多种布置定位。面板上的基准标记可以是独特可标识的。当要被校准的相机捕获或记录校准目标的校准图像时,可以通过两个或更多个面板的单个校准图像来模拟来自单个面板的不同角度视角(例如,不同相机视角)的多个校准图像。这是因为两个或更多个面板相对于彼此成角度。用单个校准图像模拟多个图像可能会减少校准所需的计算资源,并减少校准时间。
在第一方面,本公开描述了一种用于校准的目标。该目标包括基准标记的第一图案。目标还包括基准标记的第二图案。基准标记的第一图案是基准标记的第二图案的缩放版本,使得目标的捕获的校准图像模拟在多个校准视角捕获的单个图案的多个图像。
在第二方面,本公开描述了一种方法。该方法包括使用相机记录目标的校准图像。目标包括其上具有基准标记的第一布置的第一面板。在第一布置中的基准标记中,第一布置中的每个基准标记是独特可标识的。目标还包括相对于第一面板成第一角度设置的第二面板,其上具有基准标记的第二布置。在第二布置的基准标记中,第二布置中的每个基准标记是独特可标识的。基准标记的第一布置与基准标记的第二布置相匹配。该方法还包括确定校准图像中的一个或多个基准标记的位置和标识。另外,该方法包括基于所确定的位置和标识来校准相机。
在第三方面,本公开描述了一种用于校准相机的系统。该系统包括目标。该目标包括基准标记的第一图案。目标还包括基准标记的第二图案。基准标记的第一图案是基准标记的第二图案的缩放版本,使得目标的捕获的校准图像模拟在多个校准视角捕获的单个图案的多个图像。该系统还包括被配置为相对于目标平移或旋转相机的平台。
在另一方面,本公开描述了一种系统。该系统包括用于使用相机记录目标的校准图像的装置。目标包括其上具有基准标记的第一布置的第一面板。在第一布置中的基准标记中,第一布置中的每个基准标记是独特可标识的。目标还包括相对于第一面板成第一角度设置的第二面板,其上具有基准标记的第二布置。在第二布置的基准标记中,第二布置中的每个基准标记是独特可标识的。基准标记的第一布置与基准标记的第二布置相匹配。该系统还包括用于确定校准图像中的一个或多个基准标记的位置和标识的装置。另外,该系统包括用于基于所确定的位置和标识来校准相机的装置。
前述发明内容仅是说明性的,而无意于以任何方式进行限制。除了上述说明性方面、实施例和特征之外,通过参考附图和以下详细描述,其他方面、实施例和特征将变得显而易见。
附图说明
图1A是根据示例实施例的校准目标的面板的图示。
图1B是根据示例实施例的校准目标的面板的图示。
图1C是根据示例实施例的基准标记的图示。
图1D是根据示例实施例的校准目标的面板的图示。
图1E是校准过程的图示。
图1F是校准过程的图示。
图1G是根据示例实施例的校准过程的图示。
图2A是根据示例实施例的校准目标的前视图。
图2B是根据示例实施例的校准目标的俯视图。
图2C是校准过程的图示。
图2D是根据示例实施例的校准过程的图示。
图3A是根据示例实施例的校准目标的面板的图示。
图3B是根据示例实施例的校准目标的面板的图示。
图4A是根据示例实施例的校准目标的前视图。
图4B是根据示例实施例的校准目标的俯视图。
图4C是根据示例实施例的校准目标的前视图。
图4D是根据示例实施例的校准目标的俯视图。
图4E是根据示例实施例的校准目标的侧视图。
图5是根据示例实施例的校准目标的面板的图示。
图6A是根据示例实施例的校准目标的面板的图示。
图6B是根据示例实施例的校准目标的面板的图示。
图6C是根据示例实施例的校准目标的面板的图示。
图6D是根据示例实施例的校准目标的面板的图示。
图6E是根据示例实施例的校准目标的面板的图示。
图7是根据示例实施例的方法的流程图。
具体实施方式
本文描述了示例方法和系统。本文描述的任何示例实施例或特征不必被解释为比其他实施例或特征优选或有利。本文描述的示例实施例并不意味着是限制性的。容易理解的是,所公开的系统和方法的某些方面可以以多种不同的配置来布置和组合,所有这些在本文中都可以考虑。
此外,附图中所示的特定布置不应视为限制性的。应当理解,其他实施例可以包括或多或少的给定图中所示的每个元件。另外,一些示出的元件可以被组合或省略。类似地,示例实施例可以包括图中未示出的元件。
I.概述
示例实施例与用于相机校准的目标、方法和系统有关。如本文所述的用于相机校准的目标可以减少校准时间、减少校准所需的计算资源、减少校准所需的空间、降低校准的机械复杂度以及减少为了成功完成校准所需要捕获或记录的校准图像的数量。使用如本文所述的目标可以改善校准效率,因为以如下方式设计校准目标:当捕获或记录校准目标的单个校准图像时,可以模拟附加校准图像。
例如,在一些实施例中,校准目标可以包括位于其上的基准标记。基准标记可以布置在两个或更多个面板上。此外,基准标记可以在每个面板上以图案布置。给定面板上的至少两个图案可以是彼此的缩放版本(例如,基准标记的一个图案是较小的正方形,而基准标记的另一图案是较大的正方形)。这样的图案可以用在校准目标的捕获或记录(例如,由需要校准的相机捕获或记录)的校准图像中,作为多个相机位置的模拟。不必像在其他校准方案中那样,不得不相对于相机重新放置校准目标并捕获或记录多个图像,而是可以使用单个校准图像来校准相对于校准目标的各种相机视角(例如,距离校准目标的距离或相对于校准目标的角度)。在校准包括使用针孔相机模型来校准相机的光圈的位置的实施例中,可以使用来自不同视角的多个校准图像。因此,具有可以代表多个相机视角的单个校准图像可以节省校准时间、校准空间、机械复杂性和/或计算资源。
除了具有可用于模拟在一个自由度(例如,距相机的多个距离,即z方向)中的多个相机视角的校准目标之外,一些示例实施例还包括其中两个面板相对于彼此以(多个)角度定位的校准目标。在这样的实施例中,基准标记在两个面板上的布置可以基本相同或完全相同。给定面板相对于彼此的角度,可以在单个捕获或记录校准目标的校准图像内模拟一个或多个附加自由度(例如,围绕x轴、y轴和/或z轴的旋转)。例如,两个面板可以相对于彼此绕y轴旋转(例如,旋转30°)。这可以允许在相对于校准目标的单个视角处的相机捕获或记录相对于校准目标中的第一面板的一个视角和相对于校准目标中的第二面板的第二视角。因为两个面板可以是基本相同或完全相同的(例如,在其上布置有相似或甚至相同的基准标记),所以单个校准图像可以用于相对于面板针对两个角度视角进行校准。附加实施例可以包括校准目标,该校准目标在面板之间和/或基准标记图案移位之间具有附加的角度,以在相应的校准目标的捕获或记录的校准图像中模拟附加的自由度。
另外,可以设计校准目标/面板上的基准标记,使得基准标记上的位置(例如,基准标记的中心)和基准标记的标识(例如,基准标记的名称或ID)可以被标识(例如,通过人查看捕获或记录的校准图像和/或通过处理器分析捕获或记录的校准图像以执行相机校准)。为了实现这一点,一个示例实施例包括基准标记,每个基准标记具有四个不同的区域。一个区域可以是用于查明基准标记中心的位置的十字区域。第二区域可以是基准标记标识部分,其可以用于标识基准标记是(例如,给定基准标记的ID)。在一些实施例中,第二区域可以是角度条形码部分,其具有用于将基准标记的ID表示为条形码的一系列角度位。基准标记的第三区域可以是基准边界部分,其可以用于标识基准标记的边缘/边界,以及确定基准图像中是否实际存在基准标记(例如,相对于校准图像中的噪声)。最后,基准标记的第四区域可以是人可读的标签,其可以容易地向人指示基准标记的ID。在一些实施例中,基准标记中可以包括少于或大于四个区域。例如,在一些实施例中,基准标记可以仅包括十字区域和基准边界部分。另外,在一些实施例中,同一实施例中的各种基准标记可以包括上述四个区域的不同子集(例如,一个基准标记可以包括上述所有四个区域,而另一个基准标记可以仅包括十字区域)。
在一些实施例中(例如,校准目标的两个或更多个面板在其上具有基准标记的相似或相同布置的实施例),每个面板上的一个或多个基准标记可以用作面板标识基准标记。可以在校准期间(例如,在校准图像的图像分析期间)使用面板标识基准标记来确定当前正在分析具有相似外观的多个面板中的哪个面板。面板标识的其他方法也是可能的。
II.示例系统
以下描述和附图将阐明各种示例实施例的特征。所提供的实施例仅是示例性的,而不是限制性的。这样,附图的尺寸不必按比例绘制。
图1A是根据示例实施例的校准目标的第一面板102的图示。校准目标可用于校准一台或多台相机的过程中。例如,校准目标可以用于捕获或记录一个或多个校准图像。然后,所捕获或记录的校准图像可以用于确定关于相机的特征(例如,失真系数、相机矩阵、镜头位置/朝向、相机传感器位置/朝向、光圈位置/朝向等)。一旦确定了关于相机的特征(例如,使用针孔相机近似模型),就可以考虑任何缺陷或不规则性。解决缺陷或不规则性可以包括:修改相机的光圈,调整相机的一个或多个镜头的位置,调整相机的一个或多个图像传感器的位置,修改图像的曝光时间,更改相机捕获或记录的图像分辨率,或对由相机捕获或记录的图像执行后处理以校正缺陷/不规则性(例如,通过估计诸如焦距或径向失真的参数以校正从场景到捕获或记录的图像的投影或使捕获或记录的图像不失真)。
各种相机可以受益于使用校准目标的校准。例如,被校准的相机可以是用于导航或对象识别的自动驾驶车辆的组件。此外,被校准的相机可以具有各种不同的特征(例如,不同的焦距、不同的镜头类型、不同的图像传感器等)。校准目标可以用于校准数码相机(即,以一系列位来电地或磁地存储图像的相机),诸如具有电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器的数码相机,或用于校准胶片相机(即,将图像化学地存储在胶卷胶片上的相机)。
第一面板102可以包括布置在其上的一系列基准标记110。应当理解,为了避免图示混乱,在图1A中只标记了一个基准标记110。下面参考图1C进一步描述基准标记110。然而,简要地,每个基准标记110可以包括用于标识已经找到基准标记的区域(例如,在作为校准的一部分的图像分析期间)、用于标识是哪个基准标记110的区域、用于查明基准标记110的中心的区域、以及基准标记110的人可读标签。基准标记110的子集可以用于将第一面板102标识为第一面板102。这些基准标记110可以称为第一面板标识基准标记108。例如,最接近第一面板102的角的基准标记110可以指示第一面板102的标识。
基准标记110的另一子集(例如,除了第一面板标识基准标记108以外的所有基准标记110)可以处于基准标记110的第一布置中。基准标记110的第一布置可以包括基准标记110的多个图案。例如,基准标记110的第一布置可以至少包括基准标记110的第一图案和基准标记110的第二图案。基准标记110的第二图案可以是基准标记110的第一图案的缩放版本。基准标记110的“图案”可以是第一面板102上基准标记110所定位的位置的集合。在各种实施例中,在第一面板102上可以有各种图案(参考图6A-6E进一步描述)。此外,“缩放版本”可以仅包括基准标记(例如,在图案内)的位置的缩放,而不包括基准标记的位置和基准标记的大小两者的缩放。然而,在替代实施例中,可以采取基准标记的位置和基准标记的大小两者的两个缩放。
图1B中示出了校准目标的第二面板104。第二面板104可以是与第一面板102相同的校准目标的一部分。类似于第一面板102,第二面板104可以包括布置在其上的一系列基准标记110。再次,仅对基准标记110中的一个进行标记以避免使图混乱。像第一面板102一样,基准标记110的子集可以用作第二面板标识基准标记108。例如,最靠近第二面板104的角的基准标记110可以指示第二面板104的标识。
类似地,基准标记110的另一子集(例如,除了第二面板标识基准标记108之外的所有基准标记110)可以处于基准标记110的第二布置中。基准标记110的第二布置可以包括基准标记110的多个图案。例如,基准标记110的第二布置可以至少包括基准标记的第三图案和基准标记110的第四图案。基准标记110的第四图案可以是基准标记110的第三图案的缩放版本。在各种实施例中,第二面板104上可以有各种图案。这将参考图6A-6E进一步描述。
如图1B所示,在第二面板104的第二布置中的基准标记110可以是在第一面板102的第一布置中的基准标记110的旋转。在所示的是实例中,第二布置中的基准标记110是在第一布置中的相应位置中的基准标记110的180°旋转。在替代实施例中,替代旋转也是可能的(例如15°、30°、45°、60°、75°、90°、105°、120°、135°、150°、165°、195°、210°、225°、240°、255°、270°、285°、300°、315°、330°、345°或它们之间的任何值)。在其他实施例中,第二布置中的仅一些基准标记110可以相对于第一布置中的基准标记110旋转(例如,仅那些对应于第一布置的图案的特定子集的基准标记110)。
第二布置中的基准标记110相对于第一布置110中的基准标记110的旋转可以提供将第一面板102与第二面板104区分开的特征。除了面板标识基准标记108之外,还可以使用这些附加特征以标识给定的面板。另外地或替代地,在第一布置中的一个或多个基准标记110的全部或一部分可以是第一颜色的,并且在第二布置中的一个或多个基准标记110的全部或一部分可以是第二颜色。第一颜色和第二颜色可以是不同的颜色(例如,蓝色和橙色、黄色和红色、棕色和银色、浅紫色和深紫色、森林绿色和霓虹绿等),这可以提供可以用于区分第一面板102和第二面板104的另一特征。
当分别设计图1A和图1B中所示的第一面板102和第二面板104时,可以基于校准期间相机的预期位置、相机的焦距、校准期间的相机变焦和/或相机的分辨率来设计基准标记110。基准标记相对于第一面板102或第二面板104越小,越多基准标记110可安装在各个面板上。增加可以安装在各个面板上的基准标记110的数量可以增加校准点的数量(例如,在三维空间中的其对应的二维位置用于校准图像的位置),并最终提高校准精度。然而,基准标记110需要是基于给定其变焦、分辨率、焦距、距校准目标的距离等的相机的最小可分辨尺寸。因此,第一面板102和第二面板104上的基准标记110的尺寸可以设置成使得其具有由相机仍可分辨的最小尺寸,使得最大数量的基准标记110可以位于第一面板102和第二面板104上。此外,第一面板102和第二面板104上的基准标记110可以相对于彼此间隔开,使得最大数量的基准标记110可以定位在第一面板102和第二面板104上。
在图1A和图1B的第一面板102和第二面板104的实施例中,在第一布置中有六个基准标记110的图案,在第二布置中有六个基准标记110的图案。这在图1D中示出。如图1D所示,第一面板102的第一布置和第二面板104的第二布置包括每个标有“1”、“2”、“3”、“4”、“5”、或“6”的基准标记110。在图1D中用“0”标记的基准标记110表示面板标识基准标记108。对于第一面板102和第二面板104的第一布置和第二布置,用“1”标记的基准标记110是其第一图案的每个部分,用“2”标记的基准标记110是第二图案的每个部分,用“3”标记的基准标记110是第三图案的每个部分,用“4”标记的基准标记110是第四图案的每个部分,用“5”标记的基准标记110是第五图案的每个部分,并且用“6”标记的基准标记110是第六图案的每个部分。这样,在第一布置和第二布置中有72个基准标记(例如,在六个图案中的每个中有十二个基准标记),并且在第一面板102和第二面板104上共有76个基准标记(例如,六个图案中的每个中有十二个基准标记,以及四个面板标识基准标记)。在其他实施例中,在每个布置中或在每个面板上可以存在更多或更少的基准标记。基准标记的数量增加可能会提高分辨率,从而可以执行相机校准。替代地,减少的基准标记的数量可以增加可以执行相机的校准的速度。
如图1D所示,第五图案和第六图案是第一图案、第二图案、第三图案和第四图案的缩放版本(例如,在水平方向和垂直方向上可能独立地缩放的矩形)。在替代实施例中,在第一布置/第二布置中可能仅存在两个图案。在这样的实施例中,第二图案可以是第一图案的缩放版本。在其他实施例中,可以有任何数量的图案(例如3、4、5、7、8、9、10、15、20、50或100个图案)。此外,任何数量的图案可以是任何其他图案的缩放版本。
应当理解,在图1D中用于标记基准标记110的阿拉伯数字并不一定意味着在实践中的简化表示基准标记110的实际外观,而是用来说明第一面板102/第二面板104的各种图案。
图1C是校准目标的基准标记110的图示。基准标记110可以分别是图1A和1B所示的第一面板102或第二面板104的基准标记110中的一个。在图1C的左侧示出了示例基准标记110,如它可能出现在第一面板102的示例实施例中(例如,第一面板标识基准标记108)。图1C的右侧显示了空白的基准标记,其中标记了基准标记的不同部分以进行标识。如图1C所示,第一面板102和/或第二面板104的基准标记110可以是圆形的。同样如图所示,基准标记可以包括十字112、角度条形码部分114、基准边界部分116和人可读标签118。
图1C所示的基准标记110可以以实现多个目标的方式设计。首先,基准标记110可以被设计为使得其中心可以被定位(例如,可以基于基准标记来确定二维中心)。另外,基准标记110可以被设计为使得可以在同一面板或校准目标上的其他基准标记中确定其身份。当对基准标记110执行图像分析时,运行一组校准指令的处理器可以使用基准边界部分116建立基准标记110的外边界,使用角度条形码部分114确定正在分析哪个基准标记,并且使用十字112确定基准标记110的中心在哪里。
在替代实施例中,基准标记可以具有各种其他形状(例如,三角形、矩形、五边形、六边形、七边形、八边形、非对角形、十边形等)。此外,在单个实施例中,不同的基准标记可以具有不同的形状。例如,在第一布置的第一图案中的基准标记可以是矩形,并且在第一布置的第二图案中的基准标记可以是三角形。同一面板、布置或图案上的基准标记的多个不同子集可以具有不同的形状,以标识相应面板、布置或图案的不同部分。附加地或替代地,在一些实施例中,基准标记可以具有特殊的光学特性(例如,基准标记可以是全息的)。
十字112可用于标识基准标记110的中心(例如,基准标记110的中心所在的位置)。在一些实施例中,十字112替代地被称为“标线”。特定基准标记的位置(例如,校准图像内的水平和垂直坐标)和基准标记的身份都可以用于使用包括在其上的一个或多个基准标记的校准目标来校准相机。在一些实施例中,十字112可以包括两个暗区域和两个亮区域的相交,如图1C所示。在替代实施例中,十字112可以使用在基准标记的中心上的点、在基准标记的中心上相交的两条垂直线、以基准标记的中心为中心的圆、指向或源于基准标记的中心的箭头或线、或指向基准标记的中心的V形。
角度条形码部分114可以用于标识校准图像内的基准标记。在图1C所示的实施例中,角度条形码部分114可以是围绕十字112的环形部分。角度条形码部分114可以被分成一系列位(例如4位、8位、10位、16位、24位、32位、64位、128位、256位等),每个位由角度条形码部分114的特定角度部分表示。例如,如果角度条形码部分114分为8位,则可以由角度条形码部分114的第一象限中的从约0°到约45°(围绕角度条形码部分114逆时针方向进行)延伸的角度条形码部分114的一部分来表示第一位。类似地,第二位可以在第一个象限中从约45°到约90°延伸,第三位可以在第二象限中从约90°到约135°延伸,第四位可以在第二象限中从约135°到约180°延伸,第五位可以在第三象限中从约180°到约225°延伸,第六位可以在第三象限中从约225°到约270°延伸,第七位可以在第四象限中从约270°-约315°延伸,而第八位可以在第四象限从约315°-约360°延伸。每个位可以用黑色(例如,表示0)或白色(例如,表示1)来填充。使用该方案,可以在角度条形码部分114中以二进制表示各种数字。
在角度条形码部分114中表示的数字可以用于标识给定的基准标记。如图1A和1B所示,在第一布置和第二布置内的所有基准标记可以具有独特的角度条形码部分;因此,使得第一布置中的每个基准标记是独特可标识的,并且第二布置中的每个基准标记是独特可标识的。在一些实施例中,除了或替代角度条形码部分114,基准标记在面板上的位置、基准标记在布置或图案内的位置、基准标记的尺寸、基准标记的朝向、或基准标记的颜色可用于独特地标识基准标记。例如,在一些实施例中,每个基准标记可以看起来相同,但是基于它们相对于布置中的其余基准标记的位置以及它们在面板上的位置,可以独特地标识每个基准标记。例如,在基准标记是棋盘格图案中的正方形的实施例中可能是这种情况。
此外,包括图1A和1B所示的实施例在内的一些实施例的第一布置和第二布置中的每个角条形码部分可以是旋转独特的。这意味着,对于给定基准标记的给定角度条形码,即使该基准标记和/或该角度条形码旋转了0°至360°之间的任何角度,也不会与所使用的另一个角度条形码匹配。例如,如果角度条形码1-0-0-0-0-0-0-0-0-0(第一位是最高有效位,最后一位是最低有效位)用于一组角条形码,其包括十个位并且在旋转方面是独特的,则无法使用角条形码0-1-0-0-0-0-0-0-0-0、0-0-1-0-0-0-0-0-0-0、0-0-0-1-0-0-0-0-0、0-0-0-0-1-0-0-0-0、0-0-0-0-0-1-0-0-0-0、0-0-0-0-0-0-1-0-0-0、0-0-0-0-0-0-0-1-0-0、0-0-0-0-0-0-0-1-0和0-0-0-0-0-0-0-0-0-1因为它们与1-0-0-0-0-0-0-0-0-0旋转重叠。因此,为了保留旋转独特的集合,将跳过一些角度条形码。因此,在可能的角度条形码和在给定的图案、布置、面板或校准目标中实际采用的角度条形码之间不一定存在一对一的相关性,尤其是在角度条形码之间具有旋转独特性的实施例中。
然而,在一些实施例中,可以使用所有角度条形码。在这样的实施例中,角度条形码可以以如下的方式定向在面板上:即使基准标记将旋转重叠,每个基准标记的定向也可以防止实际的角度条形码重叠。
此外,在一些实施例中,可以在校准方法中使用角度条形码来确定相应基准标记的角度方向。例如,可以根据校准方法将基准标记的角度朝向确定为360°除以用于编码角度条形码的位数的精度。
在图1A和图1B所示的示例中,唯一具有相同角度条形码部分的基准标记是在第一面板102和第二面板104的角上的面板标识基准标记108。从而使得对第一面板102或第二面板104的任何角落的观察为所观察的面板产生相同的标识。
在替代实施例中,代替使用位,可以在角度条形码部分114的每个位置处表示从一到十的十进制数。例如,可以使用不同的颜色来表示每个数字0-9(例如,类似于电阻器的颜色编码,黑色=0,棕色=1,红色=2,橙色=3,黄色=4,绿色=5,蓝色=6,紫色=7,灰色=8,白色=9)并且每个部分代表十分之一。因此,如果将角度条形码部分分成八个子部分,每个子部分用上述颜色中的一个表示,则将有108种可能的组合。
在替代实施例中,在多于或少于八位的情况下,角度条形码部分114的角度分布可以不同地间隔(例如,如果有4位而不是8位,则每个位可占据角度条形码部分的大约90°,而不是角度条形码部分114的大约45°)。如图1A-1C所示,基准标记110的角度条形码部分114被分成十位,而不是八位。这样,每个位可占据角度条形码部分的约36°。
此外,在一些实施例中(例如,图1A和图1B的实施例),可以保留某些角度条形码(例如,2、3、4、5、6、7、8、9、10、11,12、13、14、15、16、17、18、19、20等)用于包含在面板标识基准标记108中。如图1A和图1B所示,对应于“1”和“2”的角度条形码可以用作第一面板102和第二面板104的面板标识基准标记108的角度条形码。
在一些实施例中(例如,包括大量独特可标识的基准标记的实施例),可以用替代形式的基准标记标识来替代或补充角度条形码部分。例如,不是对应角度条形码部分的一个环,而是角度条形码部分的多个环。附加地或替代地,可以使用颜色来标识基准标记。如上所述,可以使用颜色来增加角度条形码部分的面密度(例如,不是仅使用黑/白,使用多种颜色来表示十进制数而不是二进制数)。替代地,基准标记的其他部分(例如,十字、人可读标签或基准边界部分)可以被着色。例如,可以使用反射可见范围内的波长(例如,以约1nm的增量间隔开的约400nm至约700nm的波长)的油漆或油墨对十字进行着色,以便添加可以为每个基准标记添加独特性的另一个标识符。在其他实施例中,可以使用棋盘图案而不是角度条形码来标识面板。例如,如果基准标记的形状为矩形或正方形,则可以将基准标记的一个角保留用于棋盘图案(例如,四乘四的棋盘,其中每个位置使用黑色或白色代表图案中的16位中的一个)。这样的棋盘图案可以类似于用于标识的快速响应(QR)码。在其他实施例中,可以使用线性条形码,而不是角度条形码。
基准边界部分116可以标识基准标记的边缘/定义由基准标记占据的区域。基准边界部分116还可以在校准期间用于标识基准标记是否实际存在于校准图像中的给定位置上。例如,由处理器运行以分析校准图像的图像分析程序可以确定校准图像的特定位置似乎是十字112。然而,为了确保被标识为十字的部分实际上是基准标记的十字而不仅是噪声或校准图像中的其他伪影,由处理器运行的图像分析程序可能会寻找围绕十字的基准边界部分。如果基准边界部分被十字包围,则可能会减少干扰校准结果的噪声或其他伪影的机会。
在一些实施例中,代替首先标识十字112然后搜索围绕十字的基准边界部分,由处理器运行的图像分析程序可以首先搜索基准边界部分116。在标识基准边界部分116时(例如,通过标识校准图像中的椭圆形),由处理器运行的图像分析程序可以寻找十字112以确定相应基准标记的中心。替代地,由处理器运行的图像分析程序可以确定定义基准边界部分116的椭圆的中心点,而不是在校准图像中寻找十字112。
在一些实施例中,人可读标签118可以被包括在基准标记110中,使得人(例如,校准工程师)可以在面板/校准目标上以及在捕获或记录的校准图像内两者都标识每个基准标记110。在各种实施例中,人可读标签118可以包括一个或多个阿拉伯数字、罗马数字、字母、标点符号和/或其他符号或图像。在各种实施例中,跨图案、跨布置、跨面板或跨校准目标的每个人可读标签118可以是独特的(例如,类似于基准标记110的角度条形码部分114)。此外,在一些实施例中,基准标记110的人可读标签118可以对应于基准标记的角度条形码部分114。例如,如图1C所示,针对具有基准标记110的角度标记部分114中的一系列角度条形码中第一角度条形码的基准标记110,阿拉伯数字“1”可用作人可读标签118。在一些实施例中,每个基准标记可以有多个人可读标签,或者每个基准标记可以没有人可读标签。此外,在替代实施例中,相对于基准标记的其余部分,人可读标签的定位可以不同于图1C所示(例如,人可读标签可以位于基准标记的左下区域,而不是在基准标记的右上区域)。
在一些实施例中,校准目标的一部分可以代表广告的一部分或整个广告。例如,如果面板是广告牌的一部分(例如,在用于汽车运输的高速公路附近),则该面板可以是两用的(例如,该面板可以用于校准自动驾驶车辆上安装的相机,并且向自动驾驶车辆内的车手做广告)。在这样的情况下,每个基准标记可以是广告,或者一起,基准标记的第一布置可以组成广告(例如,第一图案或第一布置可以拼写口号)。附加地或替代地,每个基准标记本身的部分可以用于广告。例如,一个或多个基准标记的十字的一部分可以包括商业口号、折扣或其他形式的广告。
图1D是在其上具有基准标记的第一面板102和第二面板104的附加图示。图1D示出了在第一面板102上的第一布置中以及在第二面板104中的第二布置中的如图1A和1B所示的基准标记110的多个图案。如图所示,图1D还示出了第一面板102/第二面板104的角上的面板标识基准标记108。图1D中的编号(0-6)旨在示出由基准标记110的子集组成的图案。具有“0”的基准标记110可以是面板标识基准标记108。具有“1”的基准标记110可以处于第一面板102的第一布置的第一图案中或处于第二面板104的第二布置的第三图案中。类似地,具有“2”的基准标记110可以处于第一面板102的第一布置的第二图案中或处于第二面板104的第二布置的第四图案中,依此类推。
如图所示,每个面板可以有不同形状和大小的六个图案,以及一组面板标识基准标记108。这些图案可以是一个或多个布置的一部分(即,图案组)。应当理解的是,命名约定“第一图案”、“第二图案”、“第三图案”等仅用于标识,并且各种实施例可以具有以各种方式标识的各种数量的图案。例如,在一个实施例中,“第二图案”可以与在不同的实施例中的“第六图案”位于相同的位置。
图1E和图1F示出了使用替代校准目标152的校准过程的一部分。校准相机(例如,具有相关联镜头的图像传感器)的一种方法包括使用针孔相机近似模型。为此,可以捕获或记录一系列校准目标的校准图像。校准目标上可以具有校准标记(例如基准)。校准标记可以在整个校准目标上均匀或不均匀地间隔。无论哪种方式,在校准之前都可以知道校准标记在校准目标上的位置。因为校准标记在校准目标上的位置是已知的,所以可以在最终捕获或记录的校准图像中标识出与那些位置的任何偏差。这些标识出的偏差然后可以在使用相机时被校正或解决(即,可以对相机进行“校准”)。
为了确定与要被校准的相机相关联的相机矩阵,可以从不同的角度捕获或记录校准目标的一系列校准图像。例如,如图1E和图1F所示,可以从相对于校准目标152的第一相机深度162(例如,沿z轴测量的深度)捕获或记录第一校准图像,然后可以将相机相对于校准目标152和捕获或记录的第二校准图像移动(或目标可以被移动)到第二相机深度164。这样,可以使用相对于校准目标的两个不同的相机深度(例如,在确定相机矩阵中)。
图1G中示出的是使用图1A中示出的第一面板102的校准方法的一部分。应该理解,如果使用图1B所示的第二面板104,则此处所示的原理同样适用。在图1G中,可以从第一校准深度172记录第一面板102的单个校准图像。可以设置第一校准深度172,使得第一面板102距相机的距离等于焦距(例如,距离相机的距离,在该距离处对象最被聚焦)。在相机的焦距可能太大而使得该距离不可行的一些实施例中(例如,当焦距为50米或更大时),可以将第一校准深度172设置为使得第一面板距相机的距离与相机的焦距相比更近(例如,基于相机的镜头的焦距和/或基于镜头与相机的图像传感器之间的距离)。然而,在这样的实施例中,为了补偿基准标记在校准图像中失焦的潜在影响,可以用较大的基准标记来制造第一面板(例如,从而即使当失焦时它们也可以被检测/区分)。设计具有较大基准标记以考虑焦距的校准目标的技术可以与本文所述的校准目标的许多实施例一起使用(即,不仅是单个面板实施例)。
如图1D所示,第一面板102可以包括一系列图案。图案可以具有各种尺寸和形状。例如,图1D中所示的第一图案(例如,用“1”标记的基准标记110)是大矩形图案,而第二图案(例如,用“5”标记的基准标记110)可以是与第一个图案的形状相同,但尺寸可能不同。在图1D的实施例中,这样的第二图案是第一图案的缩放版本(例如,矩形形状相同,但是矩形的周长和面积均被缩小)。此外,基准标记110的尺寸和基准标记110的数量(例如,十二个)在两个图案的每一个中都是相同的。在替代实施例中,可以改变图案中的基准标记的大小和基准标记的数量。
因为在第一面板102上存在具有不同比例的基准标记110的重复图案,所以可以使用在第一校准深度172捕获或记录的校准图像来模仿(即,模拟)在多个校准深度的捕获或记录的多个校准图像。例如,包括在第一面板102上的较大图案(例如,在图1D中用“1”标记的第一图案)的校准图像的一部分可以用作在第一校准深度172捕获或记录的校准图像。另外,可以使用包括第一面板102的较小图案(例如,在图1D中用“5”标记的第二图案)的校准图像的一部分,就好像它是在第二校准深度174捕获或记录的校准图像一样。这消除了从第二校准深度174实际捕获或记录其他校准图像的需要。对于图1E和1F所示的校准方法,这种现象可能具有很多好处。例如,可以减少校准所需的时间(在捕获或记录校准图像和计算两方面)、可以减少校准的成本、可以减少用于存储校准图像的存储器的数量、以及可以减少用于校准的物理空间。
在一些实施例中,可以仅分析校准图像的一部分以便执行校准。例如,在其中四个面板标识基准标记在面板的角上的实施例中,诸如在图1A和1B所示的面板中,四个面板标识基准标记可以绑定所有其他基准标记(例如,面板上的其他基准标记位于四个面板标识基准标记之间)。这样,在图像分析期间可以忽略位于四个面板标识基准标记之外的校准图像的任何部分。这样的技术可以节省计算资源并减少校准时间。
图2A在前视视角中(例如,平行于x-y平面的视角)示出了用于校准一个或多个相机(例如,用于自动驾驶的导航的一个或多个相机)的校准目标。校准目标可以包括第一面板102、第二面板104和连接件202。与上面一样,图2A中的基准标记110中的仅一个被标记以便避免在附图上混乱。如图所示,类似于图1A和1B所示,第一面板102上的基准标记110的第一布置和第二面板104上的基准标记110的第二布置可以彼此相同。这可以包括第一布置内的基准标记110的一个或多个图案匹配第二布置内的基准标记110的一个或多个图案。在各种实施例中,匹配可以包括具有相似或相同的空间布置、尺寸和/或朝向的图案和/或布置。
同样如图1A和图1B所示,基准标记110本身在第一面板102和第二面板104中相似,但不相同。一个主要区别是第一面板102和第二面板104上的面板标识基准标记108。如图所示,第一面板102和第二面板104上的面板标识基准标记108在各个面板上处于匹配位置,但它们不是相同的基准标记。值得注意的是,人可读标签是不同的(例如,第一面板102上的“1”和第二面板104上的“2”)。此外,两个面板上的面板标识基准标记108的角度条形码部分114是不同的。第一面板102和第二面板104之间的另一个区别在于,第二面板104上的第二布置中的基准标记具有角度条形码部分114,该角度条形码部分114是第一面板102上的第一布置中的基准标记110中的角度条形码部分114的180°旋转。然而,在一些实施例中,除了面板标识基准标记108之外,第一面板102和第二面板104上的基准标记可以是相同的。
在另外的实施例中,校准目标的面板可以不包括面板标识基准标记。更进一步,在没有面板标识基准标记的此类实施例中,面板上的基准标记可以被精确地复制(例如,多个面板上的基准标记可以在所有面板上以相同的布置和图案)。因为在校准目标上使用的校准方法可以基于面板上基准标记的已知布置,所以每个基准标记相对于布置的其余部分的位置是已知的(例如,基于其角度条形码)。此外,如果给定基准标记的重复副本出现在校准图像中,则校准方法可以通过识别在校准图像中存在基准标记的多种布置来解决该问题。如果在校准图像中存在基准标记的多个布置,并且已知每个基准标记在给定布置内的位置,则可以避免关于给定基准标记处于哪个布置的错误。
在其他实施例中,如果给定基准标记的重复副本出现在校准图像中,则校准方法可以包括确定在校准图像内存在多个布置。此外,可以确定多个布置之间的空间关系(例如,确定哪个图案是最左、最右、最底、最顶、从左数第二、从右数第二、从底部数第二、从顶部数第二等)。使用空间关系,校准方法可以包括确定重复的基准标记中的一个来自其位置已知的图案(例如,如果在校准图像内存在相同基准标记的两个副本,并且一个位于另一个的左侧,基于相关联的布置之间的空间关系,可以确定位于左侧的基准标记与最左侧的布置相关联,其中另一个基准标记与最右侧的布置相关联)。基于该确定,可以避免关于给定基准标记处于哪个布置的错误。
图2A所示的校准目标可以用于在制造设施处校准相机。例如,可以在制造完成之后使用校准目标来校准图像传感器和/或透镜(例如,使用针孔相机模型进行校准)。附加地或替代地,在组装或安装时,校准目标可用于校准一个或多个相机。例如,当图像传感器和镜头一起组装在壳体内以形成数字相机时(例如,在膝上型计算机或移动电话中),可以对数字相机组件进行校准。在其他实施例中,校准目标可以在相机处于使用时对其进行校准。例如,如果将相机用于在自动驾驶车辆上导航,则校准目标可以定位在车库的出口、广告牌上或路面本身上,使得在自动驾驶车辆在运动时可以执行校准。这样的校准可以包括对先前的校准状态的验证(即,“检查”校准)。如果相机未通过这种验证,则相机和/或整个自动驾驶车辆可能会永久或暂时停用(例如,直到进行维修为止)。如果相机停用,则可以采用冗余备用相机。
第一面板102和第二面板104可以由多种材料制成。基准标记110可以被印刷在第一面板102和第二面板104上。连接件202可以用于将第一面板102附接到第二面板104。例如,连接件202可以被焊接到第一面板102和第二面板104两者。如参考图2B进一步描述的,连接件202可以将第一面板102和第二面板104相对于彼此保持一定角度。
在替代实施例中,第一面板102和第二面板104可以直接彼此连接,而无需使用连接件。此外,在一些实施例中,不是使用整个校准目标来校准相机,而是可以仅使用第一面板102或第二面板104来校准相机。
图2B是图2A中的校准目标的俯视图(例如,平行于x-z平面的视角)。如图所示,连接件202连接第一面板102和第二面板104,使得两者均相对于连接件202成30°角。虚线用于示出与连接件202共线的线。在替代实施例中,可以使用不同的角度(例如,大约1°、大约2°、大约3°、大约4°、大约5°、大约10°、大约15°、大约20°、大约25°、大约35°、大约40°、大约45°、大约50°、大约55°、大约60°、大约65°、大约70°、大约75°、大约80°、大约85°或大约90°)。45°角度可以在相机视角之间提供最大的可变性(即,当面板相对于连接目标202呈45°角度时,相对于校准目标移动时面板的外观差异可能最大)。在其他实施例中,连接件本身可以弯曲以形成第一面板和第二面板之间的角度。此外,在一些实施例中,第一面板与连接件之间的角度可以不与第二面板和连接件之间的角度相同(即,θ1≠θ2)。
在一些实施例中,经历校准的相机可以定位在与校准目标相距一定距离(例如,在z方向上),该距离等于相机的焦距。例如,如果焦距为2米,则可以在距2米远的校准目标的视角(例如,沿z方向)上捕获或记录校准目标的校准图像。附加地或替代地,经历校准的相机可以相对于校准目标定位在一距离处(在z方向上),和/或校准目标的尺寸可以被设置为使得校准目标填充相机的整个视场。
另外,校准目标可以是校准系统的一部分(例如,用于校准相机)。校准系统还可以包括平台,该平台用于相对于校准目标平移(translate)(例如,逐步地)和/或旋转(例如,逐步地)相机(例如,从多个相机视角捕获或记录多个校准图像)。该平台可以由计算设备的处理器控制,该处理器运行一组指令以将该平台相对于校准目标从一个相机视角步进到下一个相机视角。相机可以在每个步骤之间或在每个步骤期间(例如,如由处理器控制的那样)捕获或记录校准图像。
图2C示出了使用替代校准目标250的校准的一部分。如参考图1E和图1F所述,为了确定与相机相关联的相机矩阵,可以从不同视角捕获或记录校准目标的一系列校准图像。例如,如图2C所示,可以从相对于校准目标250的第一角度视角262(例如,关于y轴)捕获或记录第一校准图像,然后可以移动相机(或目标可以被移动)到相对于校准目标250和捕获或记录的第二校准图像的第二角度视角264。以这种方式,可以使用相对于校准目标250的两个不同的相机角度(例如,在确定相机矩阵中)。
图2D中示出的是使用图2A和图2B中示出的校准目标的校准方法的一部分。在图2D中,可以从单个校准位置272捕获或记录校准目标的校准图像。如图所示,校准位置272可以与连接件202对准(例如,校准位置272可以在旋转方面平行于连接件202,并且相机的光圈可以大致水平地(例如,在x方向上)与连接件202对齐)。此外,校准位置202可以相对于校准目标处于深度(例如,在z方向上)d。在一些实施例中,深度可以替代地被定义为从相机到面板的水平中心的距离d′(例如,沿z方向),或者被定义为从相机到面板的水平边缘的距离的距离d″(例如,沿z方向)。另外地或替代地,可以将校准位置202设置为使得深度d等于被校准的相机上的镜头的焦距。如图所示,第一面板102和第二面板104可以相对于连接件202成一定角度(例如30°角度)设置。
因为面板相对于彼此成一角度,所以在校准位置272处捕获或记录的校准图像可以用于模仿(例如,模拟)以平面校准目标的多个校准角度捕获或记录的多个校准图像(例如,可用于模拟对校准目标250拍摄的两个校准图像;一个来自第一角度视角262,一个来自第二角度视角264)。在一些实施例中,为了使用从校准位置272捕获或记录的校准图像来从两个角度(例如,第一角度视角262和第二角度视角264)模拟校准图像,可以裁剪从校准位置272捕获或记录的校准图像。例如,图像的左半部分可以用于模仿从第二角度视角264拍摄的校准目标250的校准图像,并且图像的右半部分可以用于模仿从第一角度视角262拍摄的校准目标250的校准图像。
这可以消除从多个角度实际捕获或记录校准图像的需要。对于图2C所示的多位置校准方法,这种现象可能具有许多好处。例如,可以减少校准所需的时间(在捕获或记录校准图像和计算两方面)、可以减少校准的成本、可以减少用于存储校准图像的存储器的数量、以及可以减少用于校准的物理空间。
因为第一面板102和第二面板104可以具有基准标记110的缩放图案,所以还应理解图2D的实施例中也可以存在具有这样校准目标的特征:该校准目标使得在单个校准图像中模拟多个深度(例如,如图1G所示)。因此,使用图2D中的校准目标和校准布置,可以模拟至少两个角度,并且可以模拟至少两个深度。因此,至少,一个校准图像可以模拟不采用基准标记缩放的平面校准目标的至少四个校准图像,每个图像取自不同的校准位置。在替代实施例中,在使用面板的附加缩放比例和/或角度的情况下,可以模拟甚至更多的校准位置。这将参考图4A和图4B进一步描述。
图3A中示出的是校准目标的第三面板302。第三面板302可以是与第一面板102和第二面板104相同的校准目标的一部分。类似于第一面板102和第二面板104,第三面板302可以包括布置在其上的一系列基准标记110。再次,仅对基准标记110中的一个进行标记以避免使图混乱。像第一面板102和第二面板104一样,基准标记110的子集可以用作第三面板标识基准标记108。例如,最靠近第三面板302的角的基准标记110可以指示第三面板302的身份。如图所示,除了第三面板302的角上的第三面板标识基准标记108之外,第三面板302上的基准标记110可以匹配第一面板102的基准标记110(如图1A所示),并且可以是第二面板104的基准标记110(如图1B所示)旋转180°。
与第一面板102和第二面板104一样,第三面板302上的基准标记110的另一子集(例如,除了第三面板标识基准标记108之外的所有基准标记110)可以处于基准标记110的第三布置中。基准标记110的第三布置可以包括基准标记110的多个图案。例如,基准标记110的第三布置可以至少包括基准标记110的第五图案和基准标记110的第六图案。基准标记110的第六图案可以是基准标记110的第五图案的缩放版本。在各种实施例中,在第三面板302上可以有各种图案。这将参考附图6A-6E进一步描述。
图3B中示出的是校准目标的第四面板304。第四面板304可以是与第一面板102、第二面板104和第三面板302相同的校准目标的一部分。类似于第一面板102、第二面板104和第三面板302,第四面板304可以包括布置在其上的一系列基准标记110。再次,仅对基准标记110中的一个进行标记以避免使图混乱。像第一面板102、第二面板104和第三面板302一样,基准标记110的子集可以用作第四面板标识基准标记108。例如,最靠近第四面板304的角的基准标记110可以指示第四面板304的身份。如图所示,除了第四面板304的角上的第四面板标识基准标记108之外,第四面板304上的基准标记110可以匹配第二面板104的基准标记110(如图1B所示),并且可以是第一面板102(如图1A所示)和第三面板302(如图3A所示)的基准标记110旋转180°。
与第一面板102、第二面板104和第三面板302一样,第四面板304上的基准标记110的另一子集(例如,除了第四面板标识108之外的所有基准标记110基准标记108)可以处于基准标记110的第四布置中。基准标记110的第四布置可以包括基准标记110的多个图案。例如,基准标记110的第四布置可以包括至少基准标记110的第七图案和基准标记110的第八图案。基准标记110的第八图案可以是基准标记110的第七图案的缩放版本。在各种实施例中,第四面板304上可以有各种图案。这将参考图6A-6E进一步描述。
与图2A相似,图4A以正视视角(例如,平行于xy平面的视角)示出了用于校准一个或多个相机(例如,用于自动驾驶车辆导航的一个或多个相机)的校准目标。校准目标可以包括第一面板102、第二面板104、第三面板302、第四面板304和多个连接件402。如上所述,仅标记了图4A中的基准标记110中的一个,以便于避免使图混乱。如图所示,类似于图2A所示,在第三面板302上的基准标记110的第三布置和在第二面板104上的基准标记110的第四布置可以彼此相同。这可以包括匹配第四布置中的基准标记110的一个或多个图案的、第三布置中的基准标记110的一个或多个图案。
类似于图2A中所示的校准目标,图4A中所示的校准目标可用于在制造工厂校准相机。附加地或替代地,校准目标可用于在组装或安装时校准一个或多个相机。
图4B是图4A中的校准目标的俯视图(例如,平行于x-z平面的视角)。如图所示,连接件402中的一个可以连接第一面板102和第二面板104,使得两者均相对于连接件402成30°角度(类似于图2B中所示的校准目标)。另外,连接件402中的一个可以连接第三面板302和第四面板304,使得两者相对于连接件402成20°角度。再者,连接件402中的另一个可以将第一面板102和第二面板104连接到第三面板302和第四面板304。虚线用于示出与至少一个连接件404共线的线。在一些实施例中,虚线可以彼此平行和/或平行于x轴(如图4B所示)。在替代实施例中,可以使用不同的角度(例如,大约1°、大约2°、大约3°、大约4°、大约5°、大约10°、大约15°、大约20°、大约25°、大约35°、大约40°、大约45°、大约50°、大约55°、大约60°、大约65°、大约70°、大约75°、大约80°、大约85°或大约90°)。45°角度可以提供视角之间的最大可变性(即,当面板相对于连接件202成45°角度时,相对于校准目标移动时的面板的外观差异可能最大)。在一些实施例中,连接件404本身可以成一定角度以在四个面板之间提供一个或多个角度。更进一步地,在一些实施例中,第一面板和连接件之间的角度可以不同于第二面板和连接件之间的角度(即,θ1≠θ2)和/或第三面板和连接件之间的角度可以不同于第四面板与连接件之间的角度(即,Φ1≠Φ2)。在一些实施例中,θ1=Φ1,θ2=Φ2,θ1=Φ2,或θ2=Φ1。
在一些实施例中,连接两对面板的中间连接件402可以以彼此成角度的方式连接两对面板。换句话说,在一些实施例中,图4B中所示的虚线可以彼此不平行。在两对面板之间具有该额外的角度可以允许从单个图像额外的模拟校准图像(参见参考图1E-1G以及图2C和2D的描述)。
在替代实施例中,不是将一对第一面板和第二面板与一对第三面板和第四面板连接的中心连接件,而是两对面板可以不连接并且相对于彼此独立地定位。这可以允许两对面板相对于彼此成各种角度。此外,可以通过移动成对的面板中的一个或两个来调节面板之间的这种角度。更进一步,在一些实施例中,两对面板可以放置在相机的相对侧。在这样的实施例中,相机可以旋转以捕获或记录多个校准图像,以便捕获或记录两对面板中的每对。附加地或替代地,相机可以包括广角镜头或鱼眼镜头,以从单个相机角度/位置捕获两对面板的全部或部分。在这样的实施例中,广角镜头或鱼眼镜头可以是相机的固有组件(例如,而不是仅仅为了校准而添加的镜头)。
在两对面板(即,同一校准目标的两个子部分)位于要校准的相机的相对侧上的一些实施例中,两对面板与相机的距离可以是不同的。在校准过程中,使面板与相机的距离不同可以绑定相对于相机的焦距(例如,通过包括位于大于焦距的距离的一组面板和位于小于焦距的距离的一组面板)。在其他实施例中,可以有多于两对的面板相对于要校准的相机以不同的角度和位置放置。在其他实施例中,除了成对的面板之外,可以在一个或多个位置处使用单个面板或三个或更多面板。
如图4C-4E所示,在一些实施例中,两对面板可以相对于相机以倒金字塔的取向布置(例如,倒金字塔的底部朝向相机的位置,即金字塔的顶点背对相机)。例如,除了垂直轴(例如,图4C-4E中的z轴)之外,两对面板中的一对或两对还可以在水平轴(例如,图4C-4E中的x轴)上方旋转。这样的水平轴旋转可以对应于倾斜成对的面板中的一个或两个。如在图4C-4E中,可以使用一个或多个连接件452将第一对面板(例如,第一面板102、第二面板104和连接件402)结合到第二对面板(例如,第三面板302、第四面板304和连接件402)。图4C可以示出两对面板的前视图,图4D可以示出两对面板的俯视图(例如,或相对于前视图旋转180°的俯视图),图4E可以示出两对面板的侧视图。
如图4C-4E所示,用于校准目标的倒金字塔结构可以允许四个不同的角度。例如,第一面板102和第二面板104相对于连接件402成30°角度,第三面板302和第四面板304相对于连接件402成20°角度,第一对第一面板102和第二面板104成10°角度,第二对第三面板302和第四板304成15°角度。在其他实施例中,可以使用其他角度。在其他实施例中,可以包括八个独特的角度,而不是四个独特的角度(例如,如果第一面板102、第二面板104、第三面板302和第四面板304都处于不同的角度)。校准目标中包括两个以上的角度这一事实可以允许使用单个校准图像来模拟附加校准图像。在其他实施例中,不是相对于彼此成一定角度的多个面板(例如,如图4A所示的手风琴样式),而是面板可以是半球形的。这可以允许单个面板上相对于相机的角度连续。在一些实施例中,非倒置的(与倒置的相反)金字塔结构可以用于校准目标。在其他实施例中,面板可以成形为半球形或半圆柱体(例如,半圆柱体)。
图5示出了校准目标的面板502。面板502可以类似于图1B所示的第一面板102。如图所示,面板502在其上具有基准标记110(例如,位于面板502上的图案和/或布置中)。如前所述,仅对基准标记110中的一个进行标记以防止图混乱。图1B所示的第一面板102与图5中的面板502之间的区别在于,面板标识基准标记108在面板502的中心部分而不是在角上。这样,在图5中仅存在一个面板标识基准标记108,而不是多个。在替代实施例中,既可以在面板的中心部分中存在面板标识基准标记,又可以在面板的角或边缘周围存在面板标识基准标记。此外,跨越单个校准目标,面板标识基准标记可以位于不同面板上的不同区域。例如,一个面板可以在中心部分具有面板标识基准标记,而另一面板可以在面板的角上具有面板标识基准标记。
图6A是校准目标的面板602的图示(例如,类似于图1A所示的第一面板102)。面板602上可以具有基准标记的多个图案。在图6A中,第一图案可以包括标有“1”的基准标记,第二图案可以包括标有“2”的基准标记。如图所示,第二图案可以是第一图案的缩放版本。同样如图所示,面板602可以在面板602的角上具有面板标识基准标记(例如,使用“0”标记)。与图1A所示的第一面板102不同,面板602可以仅包括两个矩形图案(而不是六个)。在各种实施例中,各种数量的图案可以被包括在校准目标的每个面板上。此外,在一些实施例中,同一校准目标的不同面板可以包括不同数量的图案。附加地或替代地,在各种实施例中,校准目标的面板上的图案可以具有不同的形状(例如,除了矩形之外)。例如,在一些实施例中,图案的形状可以是圆形、三角形、五边形、六边形、七边形、八边形、九边形或十边形。
图6B是校准目标的面板604的图示(例如,类似于图6A所示的面板602)。然而,与图6A中所示的面板602不同,图6B中的面板604具有位于面板604中心部分的单个面板标识基准标记(例如,使用“0”标记),而不是面板的角上的多个面板标识基准标记。此外,基准标记的第一图案(例如,用“1”标记)和基准标记的第二图案(例如,用“2”标记)与图6A的面板602中的基准标记的第一和第二图案相比,相对于图6B中的面板604具有稍微不同的朝向/形状。
图6C是校准目标的面板606的图示(例如,类似于图6A中所示的面板602)。然而,与图6A所示的面板602不同,图6C中的面板606是圆形面板。另外,类似于图6B中所示的面板604,面板606具有位于面板606的中心部分中的单个面板标识基准标记(例如,用“0”标记)。此外,基准标记的第一图案的形状(例如,用“1”标记)和基准标记的第二图案(例如,用“2”标记)是圆形的。基准标记的圆形图案可以匹配面板606的形状,因此允许有效利用面板606上的空间。
图6D是校准目标的面板608的图示(例如,类似于图6B所示的面板604)。然而,与图6B所示的面板604不同,图6D中的面板608具有矩形(例如正方形)形状而不是圆形的基准标记。矩形基准标记可匹配面板608的形状,因此允许有效利用面板608上的空间或面板608上的图案中的基准标记的对准。
图6E是校准目标的面板610的图示(例如,类似于图6B所示的面板604)。然而,与图6B所示的面板604不同,图6E中的面板610具有星形而不是圆形的基准标记。此外,如图6E所示,星形基准标记可以与基准标记的第一图案(例如,用“1”标记)和基准标记的第二图案(例如,用“0”标记)重合,使基准标记在星形图案的各个点放置在各个图案内。换句话说,基准标记的星形图案可以被第一图案和第二图案镜像。
III.示例过程
图7是根据示例实施例的方法700的流程图。所描述的方法700可以包括一个或多个操作、功能或动作,如一个或多个框所示。尽管以顺序次序示出了框,但是在某些情况下,这些框可以并行执行,或者以与本文所述的顺序不同的顺序执行。而且,各种框可以被组合成更少的框、被划分成另外的框、或者基于期望的实现而被去除。在本文中设想的方法的一些变型中可以包括描述另外的非必要步骤的另外的框。
在一些实施例中,图7的一个或多个框可以由计算设备执行。计算设备可以包括计算组件,诸如非易失性存储器(例如,硬盘驱动器或只读存储器(ROM))、易失性存储器(例如,随机存取存储器(RAM),诸如动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM))、用户输入设备(例如鼠标或键盘)、显示器(例如发光二极管(LED)显示器或液晶显示器(LCD))、和/或网络通信控制器(例如,控制器、基于IEEE 802.11标准、或以太网控制器)。该计算设备例如可以运行存储在非暂时性计算机可读介质(例如,硬盘驱动器)上的指令,以执行本文所述的一个或多个操作。
在框702处,方法700可以包括使用相机捕获或记录目标的校准图像。目标可以包括其上具有基准标记的第一布置的第一面板。在第一布置中的基准标记中的每个基准标记在第一布置中的基准标记中可以是独特的。目标还可以包括相对于第一面板成第一角度设置的第二面板,其上具有基准标记的第二布置。在第二布置中的基准标记中,第二布置中的每个基准标记可以是独特的。基准标记的第一布置可以与基准标记的第二布置相同(即,匹配)。
在一些实施例中,第一面板可以进一步包括独特地标识第一面板的一个或多个第一面板标识基准标记。另外地或替代地,第一布置可以包括基准标记的第一图案和基准标记的第二图案。此外,基准标记的第二图案可以是基准标记的第一图案的缩放版本。更进一步,第二面板可以包括一个或多个第二面板标识基准标记,其独特地标识第二面板。第二布置可以另外包括基准标记的第三图案和基准标记的第四图案。基准标记的第三图案可以与基准标记的第一图案匹配,并且基准标记的第四图案可以与基准标记的第二图案匹配。
在框704处,方法700可以包括确定校准图像中的一个或多个基准标记的位置和标识。
在框706处,方法700可以包括基于所确定的位置和标识来校准相机。
校准相机可以包括确定校准图像中的一个或多个基准标记的所确定的位置和标识与校准目标上的一个或多个基准标记的位置和标识之间的相关性。基于这些确定的相关性,可以使用针孔相机模型来估计相机矩阵的参数。使用针孔相机模型可以包括使用所确定的相关性来确定代表相机的光圈的针孔的三维位置。附加地或替代地,校准相机可以包括考虑径向变形或切向变形。
在一个示例实施例中,方法700可以包括将捕获或记录的校准图像分割成多个模拟校准图像(例如,每个面板内的每个图案的一个模拟校准图像)。然后,可以使用多个图案的多个模拟校准图像来表示从多个视角(例如,多个角度和/或多个深度)对单个图案(在固定的3D位置处)捕获或记录的多个实际校准图像。使用多个模拟的校准图像,可以优化相机参数(例如,对应于针孔相机模型的相机矩阵的参数)。该优化可以对应于,在将每个基准标记的3D位置映射到校准图像中的基准标记的2D位置时最小化的重投影误差。
在一些实施例中,可以基于用于在校准目标的面板上打印基准标志的一种或多种方法、用于相对于彼此布置校准目标的面板的方法或其他制造/组装方法来建立校准目标上的一个或多个基准标志的位置和标识(即“基本事实(ground truth)”)。另外地或替代地,可以通过另一种光学过程来建立在校准目标上的一个或多个基准标记位置和标识。例如,使用光检测和测距(LIDAR)系统,可以确定校准目标内的每个基准标记的精确位置。
使用所确定的相关性来确定与相机的光圈相对应的针孔的三维位置可能是NP难题。这样,在一些实施例中,一旦已经确定了针孔的位置,就可以执行附加的校准以确定与校准后的相机相关联的相机矩阵是否仍然在给定程度内是准确的(例如,在经过一段可能会使相机失谐的预定义的时间后)。确定相机矩阵在给定程度内是否准确可能需要较少的计算,因为这样的比较可能不是NP难题(而相机矩阵的原始确定可能是)。
此外,使用捕获或记录的校准图像来校准相机可以包括确定相对于相机中的图像传感器的、相机中的每个像素所面向的角度。确定每个像素的角度可以包括生成每个像素的角度的查找表。替代地,确定每个像素的角度可以包括生成描述角度的参数化(例如,基于两个、三个、四个、五个、六个、七个、八个、九个、十个等变量的参数化)。生成参数化可能比生成查找表的计算量少。
在一些实施例中,方法700还可以包括相对于目标旋转相机并捕获或记录附加的校准图像。相对于目标旋转相机可以包括绕俯仰轴(例如,绕x轴)、绕侧倾轴(例如,绕z轴)、绕偏航轴(例如,绕y轴)或围绕从俯仰轴、侧倾轴和偏航轴中选择的轴的叠加来旋转相机。旋转相机可以允许从相对于目标的不同视角捕获或记录一个或多个其他校准图像。附加地或替代地,旋转相机可以允许附加的校准图像被捕获或记录,使得整个校准目标在一组校准图像中被捕获或记录。例如,如果基于相机相对于校准目标的位置,经历校准的相机的视场(在一维或多个维度上)比校准目标窄,则可以捕获或记录校准目标的多个校准图像,使得捕获或记录整个校准目标。在一个实施例中,这可以包括捕获或记录校准目标的第一面板的校准图像,旋转(或平移)相机以使其面对校准目标的第二面板,捕获或记录校准目标的第二面板的校准图像,然后使用第一面板的校准图像和第二面板的校准图像两者对相机进行校准。在替代实施例中,可以在不平移或旋转目标的情况下捕获或记录校准目标的单个校准图像或多个校准图像。
在一些实施例中,方法700还可以包括相对于校准目标平移相机并捕获或记录附加的校准图像。相对于校准目标平移相机可以包括:在平行于校准目标的水平方向(例如,x方向)、法线于(normal to)校准目标的水平方向(例如,z方向)、平行于校准目标的垂直方向(例如,y方向)、或从水平平行、水平法线和垂直平行方向中选择的方向的叠加中平移相机。平移相机可以允许从相对于目标的不同视角捕获或记录一个或多个附加校准图像。然后,可以使用在平移相机之前捕获或记录的校准图像以及在平移相机之后从不同的视角捕获或记录的一个或多个附加校准图像来执行相机的校准。
方法700还可以包括将校准图像裁剪为两个或更多个校准子图像(例如,第一面板的至少一个子图像和第二面板的至少一个子图像)。这样,可以分别隔离和分析校准目标的各个面板。每个校准子图像的这种单独分析可以考虑到以下事实:第一面板和第二面板相对于捕获或记录它们的相机可能处于不同的角度(例如,因为两个不同的面板正在模拟相对于校准目标的不同的相机位置)。
在一些实施例中,可以使用校准目标来捕获或记录多个校准图像。例如,计算设备可以连接到其上安装了要进行校准的相机的平台(例如,作为包括平台和校准目标的校准系统的一部分)。计算设备可以被配置为相对于校准目标平移和旋转平台。在这样的实施例中,计算设备可以相对于校准目标逐步地平移相机。附加地或替代地,计算设备可以相对于校准目标逐步地旋转相机。随着相机以逐步方式平移或旋转,可以从相机的不同角度捕获或记录校准目标的校准图像。每个校准图像可以用作用于校准的附加数据。例如,以给定角度具有两个面板的校准目标可以在单个校准图像中模拟两个角度,但是如果相机逐步旋转并捕获或记录其他校准图像,则对于每个附加校准图像都可以捕获或记录两个附加校准角度。
IV.结论
本公开不限于本申请中描述的特定实施例,其旨在作为各个方面的说明。如本领域技术人员将显而易见的,可以在不脱离其范围的情况下进行许多修改和变型。根据本文的描述,除了本文描述的那些之外,在本公开范围内的功能上等效的方法和设备对于本领域技术人员将是显而易见的。这样的修改和变化旨在落入所附权利要求的范围内。
上面的详细描述参照附图描述了所公开的系统、设备和方法的各种特征和操作。本文和附图中描述的示例实施例并不意味着是限制性的。在不脱离本文提出的主题的范围的情况下,可以利用其他实施例,并且可以进行其他改变。容易理解的是,如本文一般地描述的以及在附图中示出的,本公开的各方面可以以各种不同的配置进行布置、替换、组合、分离和设计。
参考附图中以及如本文所讨论的任何或所有消息流程图、场景和流程图,每个步骤、框、操作和/或通信可以表示根据示例实施例的信息的处理和/或信息的传输。替代实施例包括在这些示例实施例的范围内。在这些替代实施例中,例如,被描述为步骤、框、传输、通信、请求、响应和/或消息的操作可以与所示出或所讨论的顺序无序地运行,包括基本上同时地或以相反的顺序,这取决于涉及的功能。此外,更多或更少的框和/或操作可以与本文讨论的任何消息流程图、场景和流程图一起使用,并且这些消息流程图、场景和流程图可以部分或整体彼此组合。
代表信息处理的步骤、框或操作可以对应于可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路。替代地或附加地,表示信息处理的步骤或框可以对应于程序代码(包括相关数据)的模块、段或一部分。程序代码可以包括处理器可运行的一个或多个指令,用于在该方法或技术中实现特定的逻辑操作或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上,诸如包括RAM、磁盘驱动器、固态驱动器或另一种存储介质的存储设备。
计算机可读介质还可以包括非暂时性计算机可读介质,诸如寄存器存储器和处理器高速缓存的短时间存储数据的计算机可读介质。计算机可读介质可以进一步包括存储程序代码和/或数据更长时间的非暂时性计算机可读介质。因此,计算机可读介质可以包括二级或永久性长期存储,例如ROM、光盘或磁盘、固态驱动器、光盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性存储系统。例如,计算机可读介质可以被认为是计算机可读存储介质或有形存储设备。
此外,表示一个或多个信息传输的步骤、框或操作可以对应于同一物理设备中软件和/或硬件模块之间的信息传输。然而,其他信息传输可以在不同物理设备中的软件模块和/或硬件模块之间。
附图中所示的特定布置不应视为限制性的。应当理解,其他实施例可以包括或多或少的给定图中所示的每个元件。此外,一些示出的元件可以被组合或省略。更进一步,示例实施例可以包括图中未示出的元件。
尽管本文已经公开了各个方面和实施例,但是其他方面和实施例对于本领域技术人员将是显而易见的。本文所公开的各个方面和实施例是出于说明的目的,而不是旨在进行限制,其真实范围由所附权利要求指示。
因此,本公开的实施例可以涉及下面列出的列举的示例实施例(EEE)中的一个。
EEE 1是用于校准的目标,包括:
在其上具有基准标记的第一布置的第一面板,
其中,第一布置中的每个基准标记在第一布置中的基准标记中是独特可标识的;以及
第二面板,其相对于第一面板成第一角度设置,其上具有基准标记的第二布置,
其中,第二布置中的每个基准标记在第二布置中的基准标记中是独特可标识的,以及
其中,基准标记的第一布置与基准标记的第二布置匹配。
EEE 2是EEE 1的目标,
其中,第一面板进一步包括独特地标识第一面板的一个或多个第一面板标识基准标记,以及
其中,第二面板进一步包括独特地标识第二面板的一个或多个第二面板标识基准标记。
EEE 3是EEE 2的目标,
其中,所述一个或多个第一面板标识基准标记设置在第一面板的一个或多个角上,以及
其中,所述一个或多个第二面板标识基准标记设置在第二面板的一个或多个角上。
EEE 4是EEE 1-3中任一项的目标,其中,第一布置和第二布置中的基准标记为圆形。
EEE 5是EEE 1-4中任一项的目标,其中,第一布置和第二布置中的基准标记包括标识每个相应基准标记的中心的十字线。
EEE 6是EEE 1-5中任一项的目标,其中,第一布置和第二布置中的基准标记分别由相应的角度条形码独特地标记。
EEE 7是EEE 6的目标,其中,角度条形码包括十位编码方案,其中每一位由表示1或0的亮或暗部分表示。
EEE 8是EEE 6的目标,其中,角度条形码在旋转方面是独特的,使得即使旋转任何角度,角度条形码也不会彼此匹配。
EEE 9是EEE 1-8中任一项的目标,还包括:
第三面板,其上具有基准标记的第三布置,
其中,第三布置中的每个基准标记在第三布置的基准标记中是独特可标识的,以及
其中,第三面板进一步包括独特地标识第三面板的一个或多个第三面板标识基准标记;以及
第四布置,相对于第三面板以第二角度设置,其上具有基准标记的第四布置,
其中,第四配置中的每个基准标记在第四配置中的基准标记中是独特可标识的,
其中,第四面板进一步包括独特地标识第四面板的一个或多个第四面板标识基准标记,以及
其中,第二角度不等于第一角度。
EEE 10是EEE 9的目标,
其中,第三面板和第四面板相对于第一面板和第二面板以第三角度设置,以及
其中,第三角度与第一角度和第二角度绕的轴线不同。
EEE 11是EEE 1-10中任一项的目标,
其中,第一布置包括基准标记的第一图案和基准标记的第二图案,
其中,第二布置包括基准标记的第三图案和基准标记的第四图案,
其中,基准标记的第二图案是基准标记的第一图案的缩放版本,以及
其中,基准标记的第三图案与基准标记的第一图案匹配,并且基准标记的第四图案与基准标记的第二图案匹配。
EEE 12是EEE 1-11中任一项的目标,其中,第二布置图案中的基准标记是第一布置中的基准标记在相应位置的180度旋转。
EEE 13是EEE 1-12中任一项的目标,
其中,第一布置中的基准标记包括第一颜色,并且第二布置中的基准标记包括第二颜色,以及
其中,第一颜色和第二颜色是不同的颜色。
EEE 14是一种方法,包括:
使用相机记录目标的校准图像,其中,目标包括:
在其上具有基准标记的第一布置的第一面板,
其中,第一布置中的每个基准标记在第一布置中的基准标记中是独特可标识的;以及
第二面板,其相对于第一面板成第一角度设置,其上具有基准标记的第二布置,
其中,第二布置中的每个基准标记在第二布置中的基准标记中是独特可标识的,以及
其中,基准标记的第一布置与基准标记的第二布置匹配;以及
确定校准图像中的一个或多个基准标记的位置和标识;以及
根据确定的位置和标识,对相机进行校准。
EEE 15是EEE 14的方法,其中,校准相机包括使用第一面板上的基准标记的位置与第二面板上的基准标记的位置之间的相关性,使用针孔相机模型来估计相机矩阵的参数。
EEE 16是EEE 14或15的方法
其中,第一布置包括基准标记的第一图案和基准标记的第二图案,以及
其中,基准标记的第二图案是基准标记的第一图案的缩放版本。
EEE 17是EEE 14-16中任一项的方法,还包括:
相对于目标旋转相机并记录附加校准图像;以及
确定附加校准图像中的一个或多个基准标记的位置和标识。
EEE 18是EEE 17的方法,其中,相对于目标旋转相机包括围绕相机的俯仰轴或相机的侧倾轴中的至少一个旋转相机。
EEE 19是EEE 14-18中任一项的方法,还包括:
移动相机并记录附加校准图像;以及
确定附加校准图像中一个或多个基准标记的位置和标识。
EEE 20是用于校准相机的系统,包括:
目标,包括:
在其上具有基准标记的第一布置的第一面板,
其中,第一布置中的每个基准标记在第一布置中的基准标记中是独特可标识的;以及
第二面板,相对于第一面板成第一角度设置,其上具有基准标记的第二布置,
其中,第二布置中的每个基准标记在第二布置中的基准标记中是独特可标识的,以及
其中,基准标记的第一布置与基准标记的第二布置匹配;以及
被配置为相对于目标平移或旋转相机的平台。
EEE 21是用于校准的目标,包括:
基准标记的第一图案;以及
基准标记的第二图案,
其中,基准标记的第一图案是基准标记的第二图案的缩放版本,使得目标的捕获的校准图像模拟在多个校准视角捕获的单个图案的多个图像。
EEE 22是EEE 21的目标,其中,第一图案中的基准标记和第二图案中的基准标记为圆形。
EEE 23是EEE 21或22的目标,其中,第一图案中的基准标记和第二图案中的基准标记包括标识每个相应基准标记的中心的十字线。
EEE 24是EEE 21-23中任一项的目标,其中,相对于目标的其他基准标记,第一图案中的每个基准标记和第二图案中的每个基准标记是独特可标识的。
EEE 25是EEE 24的目标,其中,第一图案中的基准标记和第二图案中的基准标记分别由相应的角度条形码独特地标记。
EEE 26是EEE 25的目标,其中,角度条形码包括十位编码方案,其中每个位由表示1或0的亮或暗部分表示。
EEE 27是EEE 25的目标,其中,角度条形码在旋转方面是独特的,使得即使旋转任何角度,角度条形码也不会彼此匹配。
EEE 28是一种方法,包括:
使用相机记录目标的校准图像,其中,目标包括:
在其上具有基准标记的第一布置的第一面板,
其中,第一布置中的每个基准标记在第一布置中的基准标记中是独特可标识的;以及
第二面板,相对于第一面板成第一角度设置,其上具有基准标记的第二布置,
其中,第二布置中的每个基准标记在第二布置中的基准标记中是独特可标识的,以及
其中,基准标记的第一布置与基准标记的第二布置匹配;以及
确定校准图像中一个或多个基准标记的位置和标识;以及
基于确定的位置和标识,对相机进行校准。
EEE 29是EEE 28的方法,其中,第二布置中的基准标记是第一布置中的基准标记在相应位置的180度旋转。
EEE 30是EEE 28或29的方法,
其中,第一布置中的基准标记包括第一颜色,并且第二布置中的基准标记包括第二颜色,以及
其中,第一颜色和第二颜色是不同的颜色。
EEE 31是EEE 28-30中任一项的方法,
其中,第一面板包括独特地标识第一面板的一个或多个第一面板标识基准标记,以及
其中,第二面板包括一个或多个第二面板标识基准标记。
EEE 32是EEE 31的方法,
其中,所述一个或多个第一面板标识基准标记设置在第一面板的一个或多个角上,以及
其中,所述一个或多个第二面板标识基准标记设置在第二面板的一个或多个角上。
EEE 33是EEE 28-32中任一项的方法,其中,目标还包括:
第三面板,其上具有基准标记的第三布置,
其中,第三布置中的每个基准标记在第三布置的基准标记中是独特可标识的;以及
第四面板,相对于第三面板以第二角度设置,其上具有基准标记的第四布置,
其中,第四配置中的每个基准标记在第四配置中的基准标记中是独特可标识的,
其中,基准标记的第三布置和基准标记的第四布置分别与基准标记的第一布置和基准标记的第二布置匹配,以及
其中,第二角度不等于第一角度。
EEE 34是EEE 33的方法,
其中,第三面板和第四面板相对于第一面板和第二面板以第三角度设置,以及
其中,第三角度与第一角度和第二角度绕的轴线不同。
EEE 35是EEE 28-34中任一项的方法,其中,校准相机包括使用第一面板上的基准标记的位置与第二面板上的基准标记的位置之间的相关性,使用针孔相机模型估计相机矩阵的参数。
EEE 36是EEE 28-35中任一项的方法,
其中,第一布置包括基准标记的第一图案和基准标记的第二图案,以及
其中,基准标记的第二图案是基准标记的第一图案的缩放版本。
EEE 37是EEE 28-36中任一项的方法,
相对于目标旋转相机并记录附加校准图像;以及
确定附加校准图像中一个或多个基准标记的位置和标识。
EEE 38是EEE 37的方法,其中,相对于目标旋转相机包括围绕相机的俯仰轴或相机的侧倾轴中的至少一个旋转相机。
EEE 39是EEE 28-38中任一项的方法,还包括:
移动相机并记录附加校准图像;以及
确定附加校准图像中一个或多个基准标记的位置和标识。
EEE 40是用于校准相机的系统,包括:
目标,包括:
基准标记的第一图案;以及
基准标记的第二图案,
其中,基准标记的第一图案是基准标记的第二图案的缩放版本,使得目标的捕获的校准图像模拟在多个校准视角捕获的单个图案的多个图像;以及
被配置为相对于目标平移或旋转相机的平台。
Claims (20)
1.一种用于校准的目标,包括:
基准标记的第一图案;以及
基准标记的第二图案
其中,基准标记的第一图案是基准标记的第二图案的缩放版本,使得目标的捕获的校准图像模拟在多个校准视角捕获的单个图案的多个图像。
2.根据权利要求1所述的目标,其中,第一图案中的基准标记和第二图案中的基准标记是圆形的。
3.根据权利要求1所述的目标,其中,第一图案中的基准标记和第二图案中的基准标记包括标识每个相应基准标记的中心的十字线。
4.根据权利要求1所述的目标,其中,相对于目标的其它基准标记,第一图案中的每个基准标记和第二图案中的每个基准标记是独特可标识的。
5.根据权利要求4所述的目标,其中,第一图案中的基准标记和第二图案中的基准标记分别由相应的角度条形码独特地标记。
6.根据权利要求5所述的目标,其中,角度条形码包括十位编码方案,其中,每个位由表示1或0的亮部分或暗部分表示。
7.根据权利要求5所述的目标,其中,角度条形码在旋转方面是独特的,使得即使旋转任何角度,角度条形码也不会彼此匹配。
8.一种方法,包括:
使用相机记录目标的校准图像,其中,目标包括:
第一面板,在其上具有基准标记的第一布置,
其中,第一布置中的每个基准标记在第一布置中的基准标记中是独特可标识的;以及
第二面板,相对于第一面板成第一角度设置,其上具有基准标记的第二布置,
其中,第二布置中的每个基准标记在第二布置中的基准标记中是独特可标识的,以及
其中,基准标记的第一布置与基准标记的第二布置匹配;以及
确定校准图像中的一个或多个基准标记的位置和标识;以及
基于确定的位置和标识,对相机进行校准。
9.根据权利要求8所述的方法,其中,第二布置中的基准标记是第一布置中的基准标记在对应位置处的180度旋转。
10.根据权利要求8所述的方法,
其中,第一布置中的基准标记包括第一颜色,并且第二布置中的基准标记包括第二颜色,以及
其中,第一颜色和第二颜色是不同的颜色。
11.根据权利要求8所述的方法,
其中,第一面板包括独特地标识第一面板的一个或多个第一面板标识基准标记,以及
其中,第二面板包括一个或多个第二面板标识基准标记。
12.根据权利要求11所述的方法,
其中,所述一个或多个第一面板标识基准标记被设置在第一面板的一个或多个角上,以及
其中,所述一个或多个第二面板标识基准标记被设置在第二面板的一个或多个角上。
13.根据权利要求8所述的方法,其中,目标还包括:
第三面板,其上具有基准标记的第三布置,
其中,第三布置中的每个基准标记在第三布置的基准标记中是独特可标识的;以及
第四面板,相对于第三面板以第二角度设置,其上具有基准标记的第四布置,
其中,第四配置中的每个基准标记在第四配置中的基准标记中是独特可标识的,
其中,基准标记的第三布置和基准标记的第四布置分别与基准标记的第一布置和基准标记的第二布置匹配,以及
其中,第二角度不等于第一角度。
14.根据权利要求13所述的方法,
其中,第三面板和第四面板相对于第一面板和第二面板以第三角度设置,以及
其中,第三角度与第一角度和第二角度绕的轴线不同。
15.根据权利要求8所述的方法,其中,校准相机包括使用第一面板上的基准标记的位置与第二面板上的基准标记的位置之间的相关性,使用针孔相机模型来估计相机矩阵的参数。
16.根据权利要求8所述的方法,
其中,第一布置包括基准标记的第一图案和基准标记的第二图案,以及
其中,基准标记的第二图案是基准标记的第一图案的缩放版本。
17.根据权利要求8所述的方法,还包括:
相对于目标旋转相机并记录附加校准图像;以及
确定附加校准图像中的一个或多个基准标记的位置和标识。
18.根据权利要求17所述的方法,其中,相对于目标旋转相机包括使相机绕相机的俯仰轴或相机的侧倾轴中的至少一个旋转。
19.根据权利要求8所述的方法,还包括:
移动相机并记录附加校准图像;以及
确定附加校准图像中的一个或多个基准标记的位置和标识。
20.一种用于校准相机的系统,包括:
目标,包括:
基准标记的第一图案;以及
基准标记的第二图案
其中,基准标记的第一图案是基准标记的第二图案的缩放版本,使得目标的捕获的校准图像模拟在多个校准视角捕获的单个图案的多个图像;以及
平台,被配置为相对于目标平移或旋转相机。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/720,979 | 2017-09-29 | ||
US15/720,979 US10432912B2 (en) | 2017-09-29 | 2017-09-29 | Target, method, and system for camera calibration |
PCT/US2018/051690 WO2019067283A1 (en) | 2017-09-29 | 2018-09-19 | TARGET, METHOD AND SYSTEM FOR CAMERA CALIBRATION |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111164649A true CN111164649A (zh) | 2020-05-15 |
CN111164649B CN111164649B (zh) | 2024-09-06 |
Family
ID=65898116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880063790.4A Active CN111164649B (zh) | 2017-09-29 | 2018-09-19 | 相机校准的目标、方法和系统 |
Country Status (10)
Country | Link |
---|---|
US (3) | US10432912B2 (zh) |
EP (1) | EP3676803A4 (zh) |
JP (2) | JP6765574B1 (zh) |
KR (2) | KR102446163B1 (zh) |
CN (1) | CN111164649B (zh) |
AU (2) | AU2018341950B2 (zh) |
CA (1) | CA3080002C (zh) |
IL (2) | IL273581B (zh) |
SG (2) | SG11202002482PA (zh) |
WO (1) | WO2019067283A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114909994A (zh) * | 2022-04-29 | 2022-08-16 | 深圳市中图仪器股份有限公司 | 影像测量仪的校准方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10432912B2 (en) * | 2017-09-29 | 2019-10-01 | Waymo Llc | Target, method, and system for camera calibration |
US10852731B1 (en) * | 2017-12-28 | 2020-12-01 | Waymo Llc | Method and system for calibrating a plurality of detection systems in a vehicle |
US10942045B1 (en) * | 2018-04-03 | 2021-03-09 | Waymo Llc | Portable sensor calibration target for autonomous vehicle |
US11584368B2 (en) * | 2018-09-24 | 2023-02-21 | Intel Corporation | Evaluating risk factors of proposed vehicle maneuvers using external and internal data |
EP3666523A1 (en) * | 2018-12-11 | 2020-06-17 | Concept Laser GmbH | Method for calibrating an irradiation device for an apparatus for additively manufacturing three-dimensional objects |
DE102018222796A1 (de) * | 2018-12-21 | 2020-06-25 | Conti Temic Microelectronic Gmbh | Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera |
US11681030B2 (en) | 2019-03-05 | 2023-06-20 | Waymo Llc | Range calibration of light detectors |
US10623727B1 (en) | 2019-04-16 | 2020-04-14 | Waymo Llc | Calibration systems usable for distortion characterization in cameras |
US11747453B1 (en) | 2019-11-04 | 2023-09-05 | Waymo Llc | Calibration system for light detection and ranging (lidar) devices |
EP4009092A1 (en) * | 2020-12-04 | 2022-06-08 | Hexagon Technology Center GmbH | Compensation of pupil aberration of a lens objective |
CN113112550B (zh) * | 2020-12-23 | 2022-08-02 | 合肥工业大学 | 一种用于摄像机内外参数标定的编码平面靶标及其编码方法 |
CN113188524B (zh) * | 2020-12-23 | 2022-07-22 | 合肥工业大学 | 一种基于图形几何关系的平行四边形编码标志及其编码方法 |
US20230399015A1 (en) * | 2022-06-14 | 2023-12-14 | Argo AI, LLC | Systems and Methods for Autonomous Vehicle Sensor Calibration and Validation |
WO2023244937A1 (en) * | 2022-06-14 | 2023-12-21 | Argo AI, LLC | Systems and methods for autonomous vehicle sensor calibration and validation |
US20240007614A1 (en) * | 2022-06-30 | 2024-01-04 | Apple Inc. | In-Field Calibration Techniques for Cameras |
GB2625517A (en) * | 2022-12-15 | 2024-06-26 | Dynamic Imaging Analytics Ltd | Camera calibration |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150288951A1 (en) * | 2014-04-08 | 2015-10-08 | Lucasfilm Entertainment Company, Ltd. | Automated camera calibration methods and systems |
CN105981074A (zh) * | 2014-11-04 | 2016-09-28 | 深圳市大疆创新科技有限公司 | 相机标定 |
US9589348B1 (en) * | 2016-05-31 | 2017-03-07 | Oculus Vr, Llc | Camera calibration system |
CN206441238U (zh) * | 2017-02-09 | 2017-08-25 | 杭州零智科技有限公司 | 标定板和标定系统 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6437823B1 (en) | 1999-04-30 | 2002-08-20 | Microsoft Corporation | Method and system for calibrating digital cameras |
FR2810830B1 (fr) | 2000-06-23 | 2002-09-27 | Symah Vision | Procede et dispositif de calibration de camera |
JP3735344B2 (ja) | 2002-12-27 | 2006-01-18 | オリンパス株式会社 | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム |
JP4681856B2 (ja) | 2004-11-24 | 2011-05-11 | アイシン精機株式会社 | カメラの校正方法及びカメラの校正装置 |
JP2007147522A (ja) | 2005-11-29 | 2007-06-14 | Gazo Keisoku Kenkyusho:Kk | 写真計測方法及び写真計測プログラム |
JP5146692B2 (ja) | 2006-03-30 | 2013-02-20 | アクティビューズ リミテッド | 光学的位置測定ならびに剛性または半可撓性の針の標的への誘導のためのシステム |
JP2008141229A (ja) * | 2006-11-29 | 2008-06-19 | Fujifilm Corp | レンズ性能評価装置およびレンズ評価性能方法 |
DE102006060716A1 (de) | 2006-12-21 | 2008-06-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Bildmarken-unterstützten Bildauswertung |
JP2008187564A (ja) | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
JP2008288869A (ja) | 2007-05-17 | 2008-11-27 | Konica Minolta Holdings Inc | キャリブレーション装置、キャリブレーション方法及びプログラム |
DE102008034198B4 (de) * | 2008-07-21 | 2014-01-23 | Zoller & Fröhlich GmbH | Target und Verfahren zum Auswerten von Scans |
TWI408486B (zh) | 2008-12-30 | 2013-09-11 | Ind Tech Res Inst | 具動態校正的攝影機及其動態校正方法 |
US20100235129A1 (en) | 2009-03-10 | 2010-09-16 | Honeywell International Inc. | Calibration of multi-sensor system |
US8261985B2 (en) | 2009-04-07 | 2012-09-11 | Avante Corporation Limited | Manual recount process using digitally imaged ballots |
US8676050B2 (en) | 2010-12-29 | 2014-03-18 | Gary S. Shuster | Autofocus calibration for long lenses |
US9438897B2 (en) | 2011-07-25 | 2016-09-06 | Universidade De Coimbra | Method and apparatus for automatic camera calibration using one or more images of a checkerboard pattern |
EP2587450B1 (en) | 2011-10-27 | 2016-08-31 | Nordson Corporation | Method and apparatus for generating a three-dimensional model of a region of interest using an imaging system |
CN103267491B (zh) * | 2012-07-17 | 2016-01-20 | 深圳大学 | 自动获取物体表面完整三维数据的方法及系统 |
GB2506411B (en) | 2012-09-28 | 2020-03-11 | 2D3 Ltd | Determination of position from images and associated camera positions |
KR101475742B1 (ko) * | 2013-03-15 | 2014-12-24 | 삼성중공업(주) | 사진 계측 장치 및 방법 |
US9791865B2 (en) | 2014-10-29 | 2017-10-17 | Amazon Technologies, Inc. | Multi-scale fiducials |
US10420626B2 (en) | 2015-06-30 | 2019-09-24 | Canon U.S.A., Inc. | Fiducial markers, systems, and methods of registration |
EP3136392A1 (en) | 2015-08-25 | 2017-03-01 | Thomson Licensing | Method and system for embedding and retrieving information through marker transformation |
ES2561732B2 (es) | 2015-09-18 | 2016-10-07 | Universidad Rey Juan Carlos | Dispositivo de calibración multirresolución para sistemas de visión artificial |
US10431007B2 (en) * | 2016-05-31 | 2019-10-01 | Augumenta Ltd. | Method and system for user interaction |
US10432912B2 (en) | 2017-09-29 | 2019-10-01 | Waymo Llc | Target, method, and system for camera calibration |
-
2017
- 2017-09-29 US US15/720,979 patent/US10432912B2/en active Active
-
2018
- 2018-09-19 AU AU2018341950A patent/AU2018341950B2/en not_active Ceased
- 2018-09-19 KR KR1020217000048A patent/KR102446163B1/ko active IP Right Grant
- 2018-09-19 JP JP2020516606A patent/JP6765574B1/ja active Active
- 2018-09-19 SG SG11202002482PA patent/SG11202002482PA/en unknown
- 2018-09-19 KR KR1020207011939A patent/KR102247409B1/ko active IP Right Grant
- 2018-09-19 CA CA3080002A patent/CA3080002C/en active Active
- 2018-09-19 EP EP18863612.0A patent/EP3676803A4/en not_active Withdrawn
- 2018-09-19 WO PCT/US2018/051690 patent/WO2019067283A1/en unknown
- 2018-09-19 SG SG10202112826PA patent/SG10202112826PA/en unknown
- 2018-09-19 CN CN201880063790.4A patent/CN111164649B/zh active Active
-
2019
- 2019-08-21 US US16/547,427 patent/US10930014B2/en active Active
-
2020
- 2020-03-25 IL IL273581A patent/IL273581B/en active IP Right Grant
- 2020-09-15 JP JP2020154834A patent/JP7065158B2/ja active Active
- 2020-09-15 IL IL277360A patent/IL277360B/en unknown
-
2021
- 2021-01-14 US US17/149,621 patent/US11657536B2/en active Active
- 2021-04-23 AU AU2021202531A patent/AU2021202531B2/en not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150288951A1 (en) * | 2014-04-08 | 2015-10-08 | Lucasfilm Entertainment Company, Ltd. | Automated camera calibration methods and systems |
CN105981074A (zh) * | 2014-11-04 | 2016-09-28 | 深圳市大疆创新科技有限公司 | 相机标定 |
US9589348B1 (en) * | 2016-05-31 | 2017-03-07 | Oculus Vr, Llc | Camera calibration system |
CN206441238U (zh) * | 2017-02-09 | 2017-08-25 | 杭州零智科技有限公司 | 标定板和标定系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114909994A (zh) * | 2022-04-29 | 2022-08-16 | 深圳市中图仪器股份有限公司 | 影像测量仪的校准方法 |
CN114909994B (zh) * | 2022-04-29 | 2023-10-20 | 深圳市中图仪器股份有限公司 | 影像测量仪的校准方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190378300A1 (en) | 2019-12-12 |
IL273581A (en) | 2020-05-31 |
JP7065158B2 (ja) | 2022-05-11 |
JP2020201516A (ja) | 2020-12-17 |
US10432912B2 (en) | 2019-10-01 |
AU2021202531B2 (en) | 2022-06-16 |
IL273581B (en) | 2021-02-28 |
IL277360A (en) | 2020-11-30 |
SG11202002482PA (en) | 2020-04-29 |
US20210134012A1 (en) | 2021-05-06 |
AU2018341950B2 (en) | 2021-01-28 |
KR20210003318A (ko) | 2021-01-11 |
CA3080002C (en) | 2024-04-09 |
CA3080002A1 (en) | 2019-04-04 |
AU2021202531A1 (en) | 2021-05-20 |
EP3676803A1 (en) | 2020-07-08 |
WO2019067283A1 (en) | 2019-04-04 |
KR20200047743A (ko) | 2020-05-07 |
IL277360B (en) | 2022-03-01 |
CN111164649B (zh) | 2024-09-06 |
US11657536B2 (en) | 2023-05-23 |
JP2020535511A (ja) | 2020-12-03 |
US20190104295A1 (en) | 2019-04-04 |
KR102446163B1 (ko) | 2022-09-22 |
AU2018341950A1 (en) | 2020-05-07 |
KR102247409B1 (ko) | 2021-05-03 |
EP3676803A4 (en) | 2021-03-03 |
US10930014B2 (en) | 2021-02-23 |
JP6765574B1 (ja) | 2020-10-07 |
SG10202112826PA (en) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11657536B2 (en) | Target, method, and system for camera calibration | |
JP7165484B2 (ja) | 高精密な校正システム及び方法 | |
CN111872544B (zh) | 激光出光指示点的标定方法、装置和振镜同轴视觉系统 | |
CN106468553A (zh) | 一种基于路标的移动物体的定位方法 | |
CN110260857A (zh) | 视觉地图的校准方法、装置及存储介质 | |
CN110135323A (zh) | 图像标注方法、装置、系统及存储介质 | |
Rathnayaka et al. | An efficient calibration method for a stereo camera system with heterogeneous lenses using an embedded checkerboard pattern | |
US20240013437A1 (en) | Method for providing calibration data for calibrating a camera, method for calibrating a camera, method for producing at least one predefined point-symmetric region, and device | |
CN113711588A (zh) | 可用于相机中失真表征的校准系统 | |
CN111179347B (zh) | 基于区域性特征的定位方法、定位设备及存储介质 | |
JP7446643B2 (ja) | 視覚測位方法、装置、機器及び可読記憶媒体 | |
CN113008135B (zh) | 用于确定空间中目标点位置的方法、设备、电子装置及介质 | |
US11250589B2 (en) | General monocular machine vision system and method for identifying locations of target elements | |
CN113538588A (zh) | 标定方法、标定装置及应用其的电子设备 | |
Schillebeeckx et al. | Pose hashing with microlens arrays | |
Rueß | Smooth Central and Non-Central Camera Models in Object Space | |
CN118037857A (zh) | 传感器外参标定方法及相关装置 | |
CN118674789A (zh) | 一种高鲁棒高精度的摄像机标定板及角点检测方法 | |
CN116188579A (zh) | 确定移动物体位姿的方法、系统和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |