CN105989603B - 机器视觉图像传感器校准 - Google Patents

机器视觉图像传感器校准 Download PDF

Info

Publication number
CN105989603B
CN105989603B CN201610091256.7A CN201610091256A CN105989603B CN 105989603 B CN105989603 B CN 105989603B CN 201610091256 A CN201610091256 A CN 201610091256A CN 105989603 B CN105989603 B CN 105989603B
Authority
CN
China
Prior art keywords
external parameter
image data
sensor
calibration
terrestrial reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610091256.7A
Other languages
English (en)
Other versions
CN105989603A (zh
Inventor
K·纳特罗什维利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105989603A publication Critical patent/CN105989603A/zh
Application granted granted Critical
Publication of CN105989603B publication Critical patent/CN105989603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Discrete Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种用于校准一个或多个外部图像传感器参数的系统、装置、方法和计算机可读介质。系统可以基于包括一个或多个地平面地标的图像数据来对例如如可以被用在车辆中的多照相机环绕视图系统进行校准。该系统可以例如通过拉东变换来确定图像数据的地平面投影。例如，可以通过应用投影切片定理来确定与地平面投影中的一个或多个地平面地标中的至少一个地平面地标相关联的信号。可以将地标信号用作自动校准循环中的响应，以优化与传感器相关联的一个或多个外部参数值。

Description

机器视觉图像传感器校准
背景技术
机器视觉持续取得快速的发展。很多当前机器视觉系统利用环绕视图系统，在所述环绕视图系统中，将由不同的图像传感器(例如，不同的照相机)捕获的图像数据彼此地组合在一起。为了适当地耦合多个图像传感器，可以执行校准以建立与每一个传感器相关联的外部参数和内部参数。外部参数包括一个传感器相对于其它传感器的方位和位置。内部参数包括在对由传感器光路造成的图像失真(例如但不限于，与广角光收集相关联的非线性失真(例如，通常被称为鱼眼失真))进行校正时使用的那些参数。一起地，这些传感器参数有助于将图像数据帧位置映射到与托管机器视觉系统的平台有关的世界位置。
图像传感器校准在将机器视觉系统初始安装到平台中时(例如，在车辆制造期间)是重要的。为了在平台的整个寿命周期来维护机器视觉性能，后续的校准(即，再校准)也是重要的。例如，外部的传感器参数容易受到由于平台振动而漂移的影响，并且还容易受到由于平台冲击和/或传感器置换而引起大阶跃函数变化的影响。因此，不需要大量的手工测量和/或严格受控的校准环境的稳健的机器视觉传感器校准系统和技术是有利的。
附图说明
在附图中，通过示例的方式而非通过限制的方式示出了本文描述的材料。为了说明的简单和清楚起见，附图中示出的要素不必按比例进行绘制。例如，为了清楚起见，可以相对于其它要素来夸大一些要素的尺寸。此外，在被认为适当的地方，已经在附图中重复一些附图标记，以指示相应的或者类似的要素。在附图中：
图1A是根据一些实施例的使用机器视觉图像传感器校准系统的示例性车辆平台的等距视图；
图1B是根据一些实施例的使用机器视觉图像传感器校准系统的示例性车辆平台的平面视图；
图2是根据一些实施例的描绘两个图像传感器的视野的示例性车辆平台的等距视图；
图3A和图3B示出了根据一些实施例的由在图2中描绘的两个图像传感器捕获的示例性图像；
图4是根据一些实施例的描绘四个图像传感器的视野的示例性车辆平台的等距视图；
图5A、5B、5C和5D示出了根据一些实施例的由在图4中描绘的四个图像传感器捕获的示例性图像；
图6是示出了根据一些实施例的要被投影到地平面上的环绕图像空间的等距视图；
图7是示出了根据一些实施例的基于地平面投影的自动机器视觉图像传感器校准方法的流程图；
图8是示出了根据一些实施例的用于投影到地平面和对地平面投影中的地标的一致性进行评价的方法的流程图；
图9A、9B、9C示出了根据一些实施例的被应用于图像帧的定向平行投影；
图10A是根据一些实施例的与校准的外部参数相关联的地平面投影的平面视图；
图10B是根据一些实施例的与图10A中示出的地平面投影相关联的投影结果的图；
图11A是根据一些实施例的与未校准的外部参数相关联的地平面投影的平面视图；
图11B是根据一些实施例的与图11A中示出的地平面投影相关联的投影结果的图；
图12是根据一些实施例的被配置为基于地平面投影来执行自动图像传感器校准方法的机器视觉模块的功能框图；以及
图13是根据一些实施例的包括图像传感器校准模块的示例性超低功率系统的图。
具体实施方式
参照附图来描述一个或多个实施例。虽然详细地描绘并且讨论了具体的配置和排列，但是应当理解的是，这仅仅是出于说明性的目的而进行的。相关领域的技术人员将认识到的是，在不背离本描述的精神和范围的情况下，其它的配置和排列也是可行的。对于相关领域的技术人员来说，将显而易见的是，在本文详细描述的内容以外的各种各样的其它系统和应用中，可以使用本文描述的技术和/或排列。
在下面的具体实施方式中对附图进行了参考，所述附图构成具体实施方式的一部分并且示出了示例性的实施例。此外，应当理解的是，在不背离要求的主题的范围的情况下，可以利用其它实施例，并且可以进行结构的和/或逻辑的改变。因此，下面的具体实施方式不是从限制的意义上来理解的，并且要求的主题的范围唯一地由所附的权利要求及其等同物来限定。
在下面的描述中，阐述了众多细节，但是对于本领域的技术人员来说，将显而易见的是，可以在没有这些具体细节的情况下实践实施例。为了避免对更重要的方面造成模糊，以框图的形式而非详细地示出公知的方法和设备。贯穿本说明书对于“一种实施例”或“一个实施例”的提及意指结合该实施例描述的特定的特征、结构、功能或特性被包括在至少一个实施例中。因此，在贯穿本说明书的各个地方出现的短语“在一种实施例中”或者“在一个实施例中”不必然地指代相同的实施例。此外，在实施例的上下文中描述的特定的特征、结构、功能或特性可以以任何适当的方式被组合到一个或多个实施例中。例如，在与第一实施例和第二实施例相关联的特定的特征、结构、功能或特性不互相排斥的任何地方，都可以将第一实施例与第二实施例进行组合。
如在示例性实施例的描述中以及在所附的权利要求书中使用的，单数形式的“一(a)”、“一个(an)”和“所述(the)”旨在同样地包括复数形式，除非上下文以不同的方式清楚地指出。还应当理解的是，如本文使用的术语“和/或”指代并且包含相关联的列表项中的一个或多个的任意组合和所有可能的组合。
如贯穿本说明书以及在权利要求书中使用的，由术语“中的至少一个”或“中的一个或多个”连接的项目的列表可以意指所列出的项目的任意组合。例如，短语“A、B或C中的至少一个”可以意指A；B；C；A和B； A和C；B和C；或者A、B和C。
本文可以使用术语“耦合”和“连接”连同其派生词来描述部件之间的功能关系或结构关系。应当理解的是，这些术语不旨在作为彼此的同义词。更确切地说，在特定的实施例中，“连接”可以被用来指示两个或更多个元件彼此处于直接的物理的、光学的或者电气的接触。“耦合”可以被用来指示两个或更多个元件彼此处于直接的或间接的(在这些元件之间具有其它的介于中间的元件)物理的、光学的或者电气的接触，和/或两个或更多个元件彼此合作或者相互作用(例如，如在因果关系的情况下)。
本文提供的具体实施方式的一些部分是围绕着对计算机存储器内的数据位的运算的算法和符号表示提出的。除非以别的方式特别声明，如根据下面的讨论显而易见的，应当意识到的是，贯穿本描述，利用诸如“计算”、“运算”、“确定”、“估计”、“存储”、“收集”、“显示”、“接收”、“合并”、“生成”、“更新”等等之类的术语的讨论指代计算机系统或者类似的电子计算设备的动作和过程，该动作和过程对被表示为计算机系统的电路(其包括寄存器和存储器)内的物理(电子)量的数据进行操纵，并且将其转变成类似地被表示为计算机系统的存储器或寄存器或者其它这样的信息存储、传输、或显示设备内的物理量的其它数据。
虽然下面的描述阐述了例如可以用诸如片上系统(SoC)架构之类的架构表现的实施例，但是本文描述的技术和/或排列的实现方式不被限制到特定的架构和/或计算系统，并且可以由用于类似目的的任何架构和/或计算系统来实现。使用例如多个集成电路(IC)芯片和/或封装的各种架构和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消费电子(CE)设备，可以实现本文描述的技术和/或排列。此外，虽然下面的描述可能阐述了诸如逻辑实现方式、系统部件的类型和相互关系、逻辑划分/集成选项等等之类的众多具体细节，但是要求的主题可以在没有这样的具体细节的情况下实践。此外，为了不对本文公开的材料造成模糊，未详细地示出诸如例如控制结构和全部软件指令序列之类的某种材料。
本文公开的材料的某些部分可以用硬件例如实现为图像处理器中的逻辑电路。某些其它部分可以用硬件、固件、软件或者其任意组合来实现。本文公开的材料中的至少一些材料还可以被实现为被存储在机器可读介质上的指令，其可以由一个或多个处理器(图形处理器和/或中央处理器)来读取和执行。机器可读介质可以包括用于存储或发送具有由机器(例如，计算设备)可读的形式的信息的任何介质和/或机构。例如，机器可读介质可以包括：只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电气的、光学的、声学的或者其它类似的非暂时性有形介质。
下面将描述用于校准一个或多个外部图像传感器参数的示例性的系统、方法和计算机可读介质。在一些实施例中，机器视觉校准系统例如通过拉东(Radon)变换来确定图像数据的地平面投影。在一些实施例中，该校准系统还例如通过应用投影切片定理来确定与地平面投影中的一个或多个地平面地标中的至少一个相关联的信号。在一些实施例中，该校准系统评估该地标信号的参数化(例如，峰值高度)。在一些实施例中，随着外部参数值在自动校准循环中变化，对该信号峰值进行评估，以优化与传感器相关联的一个或多个外部参数值。
图1A是根据一些实施例的托管机器视觉图像传感器校准系统的示例性平台105的等距视图。虽然为了描述清楚起见，本文在车辆主机平台的背景下描述了实施例的细节，但是本文描述的机器视觉校准系统和方法仍然可应用于任何机器视觉主机平台，无论其是固定的、移动的、自主的，还是非自主的。如本文使用的，可以在基于示例性车辆平台的坐标系统的背景下理解诸如“前面”、“后面”、“驾驶员侧”和“乘客侧”之类的术语。参照图1A，例如，在主机平台105中，前侧和后侧与x轴相交，而驾驶员侧和乘客侧与y轴相交。主机平台105被布置在地平面110上，所述地平面110在与z轴相交的二维x-y坐标空间中延伸。在一些实施例中，地平面是平坦的(z＝0)，但是包括对于机器视觉图像传感器可视的一个或多个特征或地标。在说明性的实施例中，地平面110包括二维(2D)背景112和 2D地平面校准地标114、116。在该示例性实施例中，地平面校准地标114、 116具有与背景112足够的对比度，以对于被嵌入在车辆平台105中的机器视觉系统可视。
在一些实施例中，地平面校准地标包括具有在大部分任何停车场中发现的种类的一个或多个车位线。由于车位线在全世界是高度标准化的，因此本文描述的利用这样的地标的校准技术和系统可以在可应用于车辆平台的很多机器视觉使用的情形下被稳健地使用。在图1A中示出的实施例中，校准地标114、116包括一对直线。在一些实施例中，校准地标114、116 包括一对直线，每一条线邻近平台105的相对的第一(驾驶员)侧和第二 (乘客)侧放置。在另外的实施例中，校准地标114、116包括一对直线，其彼此平行并且具有相同的长度，并且邻近平台105的相对(驾驶员和乘客)侧放置。地平面校准地标114、116以及背景112可以具有任何颜色，但是图1A中的示例性实施例示出了将较浅色的(例如，白色)的线画在较深色的(例如，沥青或混凝土)道路表面上的通常实现方式。
在一些实施例中，机器视觉系统包括多个图像传感器。可以在机器视觉系统中使用两个或更多个图像传感器。在一些实施例中，使用的图像传感器的数量足以生成关于与地平面110平行的平面内的平台环绕360°弧度的环绕视图。图1B是根据一些实施例的使用机器视觉校准系统的示例性车辆平台105的平面视图。在该说明性的实施例中，车辆平台105包括四个图像传感器：驾驶员侧传感器120；前传感器125；乘客侧传感器130；以及后传感器135。在一些实施例中，每一个传感器125-135包括对在预先确定的和/或已知的视野(FOV)上收集的光进行采集的摄像机。从图像传感器120-135中的每一个图像传感器输出的图像数据被耦合到机器视觉模块 115中。图像传感器120-135可以是广角图像传感器，其使得这四个传感器能够捕获足够机器视觉模块来构建环绕视图的FOV。
在一些实施例中，图像传感器的FOV将包括地平面。图2是根据一些实施例的描绘两个图像传感器120和135的视野的示例性主机平台105的等距视图。图像传感器120与沿着y维度远离平台105延伸的FOV 121相关联。图像传感器135与沿着x维度远离平台105延伸的FOV 136相关联。在图2中示出的示例性主机平台105的背景下，外部图像传感器参数包括至少用于描绘图像传感器120和135的相对位置和方位的特性的信息。在该示例性实施例中，可以参照地平面110来确定针对图像传感器120的三个图像传感器方位(例如，偏转角(yaw)、俯仰角(pitch)和侧倾角(roll))，以及同样地可以确定针对图像传感器135的三个图像传感器方位
在一些实施例中，每一个图像传感器120、135通过包括鱼眼镜头(其容纳宽FOV)的光路来收集光样本。一些实施例中的广角光收集导致由每一个传感器收集的图像数据的非线性失真。非线性失真的示例包括但不限于：径向失真、桶形失真和/或鱼眼失真。图3A示出了由图像传感器120 收集的和/或从图像传感器120生成的示例性图像帧。图3B示出了根据一些实施例的由图像传感器135收集的和/或从图像传感器135生成的示例性图像帧。鱼眼失真在每一个图像传感器的FOV 121、136内可见的地平面校准地标114、116中是明显的。每一个FOV 121、136可以具有至少170°(以及有利地至少175°)的沿着与地平面110平行的平面的角形开口。宽FOV 包括与主机平面105紧邻的区域中的地平面，并且可以包括平台105的部分。多个传感器之间的FOV交迭可以根据与图像传感器相关联的外部参数值来改变。在图像传感器120被放置在驾驶员侧表面上(例如，在侧门镜上)和图像传感器135被放置在近似地正交于传感器120的位置的后表面上(例如，在后保险杠上)的示例性实施例中，根据每一个传感器的方位， FOV 121和136沿着平行于地平面110的平面，可以具有如50-70°一样高的角度交迭。
在一些实施例中，地平面校准地标在至少两个图像传感器的FOV内。图4是根据一些实施例的进一步描绘四个图像传感器120、125、130和135 的FOV的主机平台105的等距视图。图5A、5B、5C和5D进一步示出了由分别与四个图像传感器120、125、130和135中的每一个图像传感器相关联的FOV 121、126、131和135收集的和/或从其生成的示例性图像帧。传感器视野内的每一个点与图像坐标相关联。地平面校准地标114在三个视野121、126和136之内。类似地，地平面校准地标116在三个视野131、 126和136之内。
在一些实施例中，机器视觉校准模块对来自图像传感器中的两个或更多个图像传感器的图像数据进行处理，以确定一个或多个外部传感器参数。在图4中示出的示例性主机平台105的背景下，外部参数至少包括用于描绘图像传感器120、125、130和135的相对位置和方位的特性的信息。在一些实施例中，机器视觉模块(例如，图1B中的模块115)将由多个图像传感器输出的图像数据处理成环绕视图或者部分环绕视图。该环绕视图与平台的世界坐标系统相关联。如本文使用的，环绕视图在平行于地平面的平面中，关于机器视觉平台(例如，图1B的平台105)展开360°弧度。可以首先在对图像传感器参数的校准时使用这样的视图，并且随后作为基于传感器参数计算的经校准的视图来确定传感器校准的结果。根据本文描述的校准方法和系统确定的校准参数，可以在生成校准的环绕视图时使用。图6是示出了示例性环绕视图140的等距视图，所述示例性环绕视图140 是根据从被嵌入在平台105上的四个图像传感器收集的图像数据生成的。如描绘的，地平面110的一部分在环绕视图140之内。继本文的实施例之后，即使在环绕视图140是根据广角图像数据来生成的情况下，环绕视图 140也可以基于地平面校准地标114、116来校准。如下面进一步描述的，地标114、116的存在和类似于地标的任何特征的缺失，可以充当稳健的自动传感器校准方法的基础，所述自动传感器校准方法可以被应用在很多机器视觉环境中，特别是对车辆平台而言。
图7是示出了根据一些实施例的基于地平面投影的机器视觉图像传感器校准方法701的流程图。在一些实施例中，方法701要由机器视觉校准模块(例如，被嵌入在机器视觉模块115(图1B)之内)来自动地执行。方法701开始于：在操作705处，接收针对每一个图像传感器的内部图像传感器参数，所述每一个图像传感器向校准贡献图像数据。因为本文的实施例不限于该方面，所以可以遵循任何已知技术来预先确定内部图像传感器参数，例如但不限于，那些用于描绘传感器光路的非线性失真的特性的参数。在示例性实施例中，在操作705处，接收针对四个图像传感器(例如，图4中示出的传感器120、125、130和135)中的每一个图像传感器的内部图像传感器参数。
在操作710处，还利用外部参数值的第一集合来初始化方法701，所述外部参数值的第一集合足够机器视觉模块来对初始的基于多传感器的视图 (例如，环绕视图)进行合成或构建。在操作710处，可以接收针对被耦合到该机器视觉模块的任何两个或更多个图像传感器的初始外部参数信息。在一些实施例中，该初始外部参数信息包括与每一个图像传感器相关联的偏转角、俯仰角和侧倾角数据。在一些示例性实施例中，在操作710 处接收到的初始外部参数信息足够机器视觉模块基于在操作711处从第一图像传感器接收的第一图像数据、在操作712处从第二图像传感器接收的第二图像数据、在操作713处从第三图像传感器接收的第三图像数据、以及在操作714处从第四图像传感器接收的第四图像数据，来生成初始的(未经校准的)环绕视图。可以在操作710处进一步接收针对在操作715处从第n个图像传感器接收的任何另外的图像数据的相应的初始外部参数信息。在一些实施例中，该外部参数信息包括与四个图像传感器中的每一个图像传感器相关联的偏转角、俯仰角和侧倾角数据相对应的至少十二个值。
在实施例中，使用接收的图像数据和当前被存储的与特定的图像传感器相关联的参数的集合来计算图像数据向地平面的投影。在说明性的方法 701中，在操作725处，向地平面中逆投影环绕图像空间(或者其组成部分)。逆投影沿着世界坐标系统内的方向，向地平面中投影图像坐标。在图6中示出的示例性实施例中，将与环绕图像空间140相对应的图像坐标逆投影到地平面110上。可以通过将与多个传感器相关联的投影的图像数据拼接在一起来构建多传感器地平面投影的图像。对于方法701的初始迭代而言，基于在操作710处接收的针对提供输入的每一个图像传感器的初始外部参数信息来构建地平面投影。在示例性实施例中，基于从四个图像传感器接收的信息(其包括在操作711处从第一传感器接收的第一图像数据、在操作712处从第二传感器接收的第二图像数据、在操作713处从第三传感器接收的第三图像数据、以及在操作714处从另外的传感器接收的第四图像数据)来构建环绕视图地面投影的图像。
继续使用图7，在操作730处，机器视觉校准模块要对在操作725处生成的所投影的图像数据进行分析，以评估用于指示所投影的校准地标的信号，作为确定被用来计算地平面投影的外部参数值的充分性的方式。在示例性实施例中，在操作730处，对用于指示所投影的地平面视图上的校准地标的状况的信号进行评估或者评价。该地标信号可以由一个或多个度量来参数化。随后，通过在操作740处修改一个或多个外部参数来在自动校准循环中向该外部参数集应用控制工作，直到校准例程准出条件被满足为止，以及在操作750处，认为完成该自动校准方法701。
在操作730的一些实现方式中，确定针对地标信号的单个度量，其是多个外部参数值的集合的函数。该单个度量可以是在计算地平面图像投影时利用的所有外部参数值的函数。例如，可以确定针对与四照相机环绕视图相关联的十二个外部参数值的每一个集合的一个信号度量。在其它实施例中，在操作730处确定一个以上的信号度量，所述一个以上的信号度量中的每一个信号度量是多个外部参数值的函数。例如，可以识别出针对与四照相机环绕视图相关联的十二个外部参数值的每一个集合的一对峰值。峰值中的第一个峰值可以与第一地平面投影的校准地标相关联，并且随后对该峰值的参数化(例如，峰值高度)取决于该地标的失真。峰值中的第二个峰值可以与第二地平面投影的校准地标相关联。在另外的实施例中，可以将该对信号峰值参数彼此进行比较，作为对参数值的集合内的哪些外部参数值在方法701的后续迭代中要被调整的暗示。
可以利用在迭代之间的操作740处改变的一个或多个外部传感器参数值来迭代自动传感器校准方法701，以评估多个地平面投影校准地标信号。一个或多个信号参数评价(例如，最大峰值高度)可以与在方法701的特定迭代中评估的外部参数值的给定集合相关联地存储。在一些实施例中，在满足门限信号参数评价时，断定为完成方法701。该信号参数评价门限可以是基于一个或多个适当的统计量的，例如但不限于：最小参数评价；最大参数评价；多个参数评价的平均值的最小值/最大值；或者多个参数评价的总和的最小值/最大值。可以通过传统的技术来设计任意数量的更复杂的逻辑测试。
响应于参数值的给定集合未能满足评价门限或标准时，利用新的外部参数值的集合来重复操作725和730。针对方法705的多次迭代，可以保留在操作705处接收的内部参数值，而外部参数值中的一个或多个值则根据先验集来改变(例如，根据操作710处接收的初始值集合来修改)。还可以在最大迭代计数时断定对方法701的迭代。响应于给定的参数集未能满足评价门限，可以在达到最大迭代计数时，在操作750处选择最佳的外部参数值的集合。例如，可以从中选择被存储到存储器的与其相应的评价相关联的参数值集合，并且随后，在操作750处，将使该评价最大化的参数值的集合保留在存储器中，作为方法701的最终结果。响应于给定的参数值的集合满足评价门限或标准，方法701以值的该集合被存储到存储器作为自动校准结果来结束。如果期望的话，随后可以例如通过利用系统用户的帮助实现的手动校准过程来对方法701的结果进行细化。
图8是示出了根据一些实施例的用于计算定向图像投影和评估地平面投影中的校准地标信号的方法801的流程图。方法801可以在上面描述的自动校准方法701内执行。具体而言，可以执行方法801来实现在图7的上下文中介绍的操作725和730。
方法801开始于在操作821处计算地平面图像投影。在一些实施例中，对来自每一个传感器的图像数据执行投影计算，所述每一个传感器贡献针对由与正被投影的图像数据相关联的传感器的一个或多个外部参数值定义的方向的环绕视图。在具有四个图像传感器的示例性实施例中，将来自这四个传感器中的每一个传感器的图像投影到地平面。对于地平面投影而言，该投影方向垂直于地平面。由于校准标记落入多个传感器的FOV之内，因此一个或多个外部参数的误差将导致彼此不一致的投影计算，其引起投影的校准地标的失真。
图9A、9B、9C示出了根据一些实施例的具有要被应用于环绕图像的类型的定向投影(即，要被应用于包括该环绕视图的组成部分的每一个图像帧)。沿特定方向的平行投影可以被认为在该维度中信号与迪拉克δ函数线的卷积。例如，在坐标系统(R,T)中，其中u(x1,x2)＝uν(R,T)，δ(g·x)映射到δ(R)1(T)。图9A 中示出的二维函数u(x1,x2)与图9B 中示出的迪拉克线δ(g·x) 的卷积沿图9C 中示出的方向g生成投影的函数如图9C 中示出的，二维函数u(x1,x2)的投影是沿着平行光束850的，所述平行光束850均具有取决于角度的指定方向。将角度参数化为平行投影光束的方向，用于拉东变换中的二维图像数据矩阵：
在实施例中，针对与收集图像数据的传感器相关联的外部参数值的集合相对应的角度计算2D图像数据帧的拉东变换。对于具有四个图像传感器的示例性实施例来说，可以对四个图像数据帧来执行拉东变换。如果外部参数值对于所有图像传感器来说是正确的，则投影方向将被适当地对齐，并且地平面投影的环绕图像将适当地表示地平面校准地标。如果外部参数值对于一个或多个图像传感器来说是不正确的，则投影方向将被对偏，并且投影计算将产生使校准地标失真的地平面投影的环绕图像。方法801 的剩余操作被指向检测和/或评估地平面投影校准地标中的失真。
在操作822处，将地平面投影从空间域变换到频率域。可以遵循任何已知的技术，关于R，将2D投影图像变换到频率域，以生成地平面投影图像的二维频谱。在一些实施例中，计算地平面投影图像的傅里叶变换。但是，在操作822处还可以使用近似法来简化该变换和/或利用在外部参数校准以外的其它能力中进一步使用的图像计算。作为对于计算傅里叶变换的替代方案，例如，可以计算离散正弦变换(DST)或者离散余弦变换(DCT)。这样的近似法可以具有利用现有的图像处理管道中的变换模块(硬件和/或软件)的优点。频率域变换近似法还可以生成适合于自动传感器校准以外的另外的目的(例如但不限于，图像特征分类算法)的频率域中的图像数据。
在操作823处，沿着垂直于投影方向的方向，对该二维频谱图像进行切片。在一些实施例中，切片方向是基于该平台与地平面地标平行地对齐 (例如，与一对车位线的最长维度相平行)的假定的。在投影与地标的方向平行地对齐的情况下，频谱切片是穿越原点(其与零频率相对应)并且包括与地平面校准地标相关联的频率的一维频谱信号。如果传感器外部参数值是正确的，则该频谱信号理想地与垂直于地平面的投影函数相关联。根据投影切片定理(中心切片定理)，投影函数和穿过二维频谱图像的切片是一维傅里叶变换对。与在切片内捕获的校准地标相对应的频谱信号中的特征的强度越大，则图像传感器与地平面对齐得就越好。因此，频谱切片提供了用于评估外部图像传感器参数在多大程度上与世界坐标内的地平面相对齐的依据。
在一些实施例中，在操作824处，对切片的频谱信号进行滤波，以强调期望的频带。频率域中的滤波可以增强后续操作中的信噪比。在操作824 中，可以利用适合于频率域的任何滤波器，例如，斜坡(ramp)滤波器。
在一些实施例中，对该一维频谱信号执行逆变换，以将该信号映射回到空间域。在示例性方法801中，在操作825处计算的逆变换生成地平面投影的一维信号，其可以关于校准地标，容易地评估针对外部参数值的当前集合。将信号变换回空间域中解决了与在地平面内空间分离的不同的校准地标相关联的信号中的不同的峰值。在一个信号峰值与一个校准地标相对应的情况下，可以通过任何技术来对信号峰值参数化，以生成针对照相机外部校准参数的评价。通常，信号峰值高度关于感知到的校准地标的强度进行缩放。在操作825处计算的逆变换取决于在操作822处执行的变换。在例如操作822处计算傅里叶变换的实施例中，在操作825处计算逆傅里叶变换。
图10A是根据一些实施例的与校准的外部参数相关联的地平面投影的平面视图。地平面地标114和116(例如，一对车位线)与地平面背景112 形成对比。对于校准的外部参数值(和正确的内部参数值)来说，地平面地标114和116是具有近似相等长度的直的平行线。图10B是根据一些实施例的与图10A中示出的所校准的地平面投影相关联的投影信号的图。如图10B中示出的，切片信号具有与地标114、116相关联的峰值1014和1016。该峰值的最大高度取决于所投影的地平面图像内的地标的空间维度，使得在地平面投影的图像中，越高的峰值与越大的一致性相关。因此，在一些实施例，可以将位于预先确定的值处的小于或等于“最大值A”的峰值最小门限应用于校准控制循环中，作为校准成功的标准。
图11A是根据一些实施例的与未完全校准的外部参数相关联的地平面投影的平面视图。如示出的，地平面地标114和116示出了由又一个不正确的外部传感器参数值造成的失真。图11B是根据一些实施例的与图11A 中示出的地平面投影相关联的投影信号的图。如图11B中示出的，切片信号具有与地标114、116相关联的峰值1114和1116。“最大值B”的峰值最大值远低于与校准的传感器参数集相关联的“最大值A”。可以执行基于投影结果的任何测试，以确定是否要对一个或多个外部参数值进行修改以及在自动校准控制循环的另一个迭代中重复方法801。在另外的实施例中，基于对投影信号中的一个或多个峰值的比较，或者基于这些峰值之间的信号电平相对于这些峰值之外的信号电平的比较，来识别在后续的校准控制循环的迭代期间修改的外部参数候选。例如，如还在图11B中示出的，由于峰值1114和1116具有近似相同的幅度，以及峰值1114、1116之间的信号电平高于峰值1114、1116之外的信号电平，因此优先于在其FOV中仅仅具有一个地标的供替代的图像传感器(例如，图4中描绘的传感器120和/或 130)，校准模块逻辑可以划分优先次序调整与在其FOV中具有地标114和 116二者的图像传感器相关联的外部参数(例如，图4中描绘的传感器125 和/或135)。
图12是根据实施例的被配置为基于地平面投影来执行自动图像传感器校准方法的机器视觉模块1215的功能框图。机器视觉模块1215包括照相机硬件模块1210，所述照相机硬件模块1210包括被耦合到图像传感器校准模块115的一个或多个图像传感器。图12还示出了如何将图像传感器校准模块115与各个其它部件结合在一起，以提供具有自动图像传感器校准功能的机器视觉平台。部件机器视觉模块1215在车辆平台之内可以是物理分离的和/或在车辆平台之外。机器视觉模块1215可以是车辆平台中的部件。更一般地说，机器视觉模块1215可以是任何移动平台中的部件。移动平台可以指代具有处理系统和移动电源或电源(例如，一个或多个电池或其它内部电源)的任何设备。移动平台的示例包括膝上型计算机、平板计算机、智能设备(例如，智能电话、平板计算机或智能电视)、以及被配置为由人穿戴的设备(例如，手腕计算机、手指计算机、环形计算机、眼镜计算机等等)。虽然通过示例的方式，利用通过车辆实现的移动平台描述了一些实施例，但是可以意识到的是，可以容易地实现其它实施例。
机器视觉模块1215包括至少一个照相机模块(CM)。在示例性实施例中，CM 1210还包括照相机图像传感器120、125。另外的图像传感器130、 135可以被包括作为CM 1210的另外的部件，或者作为单独的照相机模块的部件(未示出)。每一个传感器120-135与如在本文其它地方描述的外部参数的集合相关联。例如，传感器120-135可以是HD、FHD、QXGA、WQXGA、QSXGA或者UHD格式的数字光学成像设备。在一些实施例中，传感器120-135具有至少8百万像素的分辨率。照相机传感器120-135可以提供每像素8比特或者更高的色彩分辨率，可操作以逐步地捕获连续的视频帧。传感器120-135可以具有170MHz或者更高的像素频率。照相机传感器120-135可以包括RGB拜尔滤色镜、模拟放大器、A/D转换器、用于将入射光转换成与原始图像数据相对应的数字信号的其它部件。可以对传感器120-135进行控制以操作卷帘式快门或者电子焦点平面快门过程，其中针对帧，以行序方式逐步地读出像素。在示例性的视频实施例中，传感器 120-135输出多个连续曝光的帧。CM 1210可以遵照任何已知的流协议(例如，MIPI)，输出与连续采样的帧相关联的原始数据。将原始图像数据输入到ISP 1275。ISP 1275将在与CM 1210相关联的水平的和/或垂直的消隐期期间，接收和分析原始图像数据。在原始图像数据处理期间，ISP 1275可以执行例如色彩空间转换、噪声降低、像素线性化和遮光补偿中的一项或多项。
由CM 1210输出的原始数据和/或由ISP 1275输出的预处理的视频数据可以由图像传感器校准模块115进一步处理。在所示出的实施例中，处理器1250实现图像传感器校准模块115。在一些实施例中，处理器1250包括用于执行用于将由CM 110输出的原始图像数据投影到地平面，将该投影变换到频率域，以及沿着与该投影方向垂直的方向对产生的频谱数据进行切片的方法的一个或多个阶段的一个或多个(可编程的)逻辑电路。处理器 1250还可以包括用于将频谱切片变换回空间域中，以及对产生的投影信号峰值进行参数化和/或评估的逻辑。例如，在一些实施例中，传感器校准模块115包括用于实现在(图7的)方法701的上下文中描述的操作中的一个或多个操作的逻辑。在另外的实施例中，传感器校准模块115包括用于实现在(图8的)方法801的上下文中描述的操作中的一个或多个操作的逻辑。在一些实施例中，传感器校准模块115实现拉东变换模块1233和中心切片模块1234。拉东变换模块1233包括用于生成一个或多个地平面投影的逻辑，以及中心切片模块123包括用于沿着与该投影方向垂直的方向提取频谱数据的切片的逻辑。在一些实施例中，校准模块115用于将校准的外部参数值存储在主存储器1210中。
在实施例中，传感器校准模块115包括用于执行在本文其它地方描述的图像数据变换操作和图像传感器校准算法的逻辑。在一些实施例中，传感器校准模块115包括利用已经通过软件指令配置的可编程电路实现的逻辑。但是，软件实现方式或硬件实现方式或者其组合适合于实现用于对图像传感器120-135的外部参数进行校准的自动方法的一个或多个阶段。对于硬件实现方式来说，拉东变换模块1233和/或中心切片模块1234可以由固定功能的逻辑来实现。对于软件实现方式来说，可以利用任何已知的可编程处理器(例如，处理器1250的内核或者图形处理器的执行单元)来实现拉东变换模块1233和/或中心切片模块1234的逻辑。在一个示例性的实施例中，通过由处理器1250实例化的软件栈的用户空间来调用传感器校准模块115。在一些实施例中，处理器1250执行在软件栈的内核空间中实例化的图像传感器校准算法。在一些实施例中，利用被存储在计算机可读介质上的指令来对处理器1250进行编程，以使得该处理器执行在本文其它地方描述的一个或多个图像传感器校准算法。
由处理器1250实例化的操作系统(OS)的内核空间内的子系统驱动器 1215可以响应于例如在用户空间中执行的机器视觉软件应用层生成的命令，来传递诸如照相机快门速率、积分时间等等之类的各种照相机模块参数。如在本文其它地方描述的环绕视图和/或地平面投影图像可以被输出到显示管道1295，用于呈现给机器视觉模块1215的用户。在另外的实施例中，例如在由用户基于向显示管道1295的输出执行的手动校准期间，用户接口从用户接收输入。在一些实施例中，传感器校准模块115基于通过用户接口接收的输入来修改一个或多个图像传感器外部参数值。
图13是根据一些实施例的包括图像传感器校准模块115的示例性超低功率系统1300的图。系统1300可以是车辆驾驶舱控制器，但是系统1300 不限于该背景。例如，如果未被嵌入在车辆平台中，则系统1300可以被并入到可穿戴的计算设备、膝上型计算机、平板计算机、触摸板、手持计算机、掌上型计算机、蜂窝电话、智能设备(例如，智能电话、智能平板计算机或移动电视)、移动互联网设备(MID)、消息传送设备、数据通信设备和其它类似的移动设备中。
系统1300包括设备平台1302，所述设备平台1302可以实现上面在图 1A-图12的上下文中描述的图像传感器校准方法的全部或子集。在各种示例性实施例中，例如，如在本文其它地方描述的，视频处理器1315对图像数据执行拉东变换和傅里叶变换中的一种或多种。视频处理器1315包括用于实现例如如在本文其它地方描述的这样的变换的逻辑电路。在一些实施例中，一个或多个计算机可读介质可以存储指令，当这些指令被CPU 1310 和/或视频处理器1315执行时，其使得处理器执行在本文其它地方描述的图像传感器校准方法中的一种或多种方法。然后，可以将一个或多个图像传感器外部参数与和CM 1210相关联的多个图像传感器中的一个或多个图像传感器相关联的存储在存储器1312中。
在实施例中，设备平台1302被耦合到人机接口设备(HID)1320。平台1302可以利用CM 1210来收集原始图像数据，所述原始图像数据可以被处理成地平面投影和/或基于被输出到HID 1320的校准地标来进行评价。包括一个或多个导航特征的导航控制器1350可以被用来与例如设备平台1302 和/或HID 1320进行交互。在实施例中，HID 1320可以包括经由无线电装置1318和/或网络1360被耦合到平台1202的任何监视器或抬头显示器 (HUD)。HID1320可以包括例如计算机输出面板、触摸屏显示器、视频监视器、像电视一样的设备和/或电视。
在实施例中，设备平台1202可以包括CM 1210、芯片集1305、处理器 1310、1315、存储器/存储1312、应用1316和/或无线电装置1318的任意组合。芯片集1305可以提供处理器1310、1315、存储器1312、视频处理器 1315、应用1316或无线电装置1318之间的相互通信。
处理器1310、1315中的一个或多个可以被实现为一个或多个复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核处理器或者任何其它微处理器、或中央处理单元(CPU)。
存储器1312可以被实现为易失性存储器设备，例如但不限于：随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。存储器1312还可以被实现为非易失性存储设备，例如但不限于：闪存、电池备用SDRAM(同步DRAM)、磁存储器、相变存储器等等。
无线电装置1318可以包括能够使用各种适当的无线通信技术来发送和接收信号的一个或多个无线电装置。这样的技术可以涉及跨越一个或多个无线网络的通信。示例性无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨越这样的网络进行通信时，无线电装置618可以根据任何版本的一个或多个可应用的标准来操作。
在实施例中，系统1300可以被实现为无线系统、有线系统或二者的组合。当被实现为无线系统时，系统1300可以包括适合于通过无线共享介质 (例如，一个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等等)进行通信的部件和接口。无线共享介质的示例可以包括无线频谱(例如，RF频谱等等)的部分。当被实现为有线系统时，系统1300可以包括适合于在有线通信介质上进行通信的部件和接口，例如，输入/输出(I/O)适配器、用于将该I/O适配器与相应的有线通信介质相连的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可以包括电线、电缆、金属引线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等等。
与本文描述的示例性实施例一致的图像数据变换和传感器校准方法可以用各种硬件架构、元件设计或者“IP内核”来实现。
如上面例证的，本文描述的实施例可以使用硬件单元、软件单元或二者的组合来实现。硬件单元或模块的示例包括：处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片集等等。软件单元或模块的示例包括：应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、数据字、值、符号或者其任意组合。确定实施例是使用硬件单元和/或软件单元来实现，可以根据针对设计的选择所考虑的任意数量的因素(例如但不限于：期望的计算速率、功率电平、耐热性、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束)来改变。
至少一个实施例的一个或多个方面可以用被存储在机器可读存储介质上的典型的指令来实现。这样的指令可以在其被机器执行期间，完全地或至少部分地存在于主存储器之内和/或处理器之内，存储指令的主存储器和处理器部分然后还构成了机器可读存储介质。可编程逻辑电路可以具有由实现计算机可读介质的处理器配置的寄存器、状态机等等。当被编程时，这样的逻辑电路然后可以被理解为物理地转变成落入本文描述的实施例的范围之内的系统。当表示处理器内的各种逻辑的指令被机器读取时，其还可以使得该机器制造遵守本文描述的架构的逻辑和/或执行本文描述的技术。这样的表示(被称为元件设计或IP内核)可以被存储在有形的、机器可读的介质上，并且被提供给各种客户或制造设施，以加载到实际制造该逻辑或处理器的制造机器中。
虽然已经参照实施例描述了本文阐述的某些特征，但是该描述不旨在从限制的意义上进行解释。因此，对本文描述的实现方式的各种修改，以及对本领域的技术人员来说显而易见地与本公开内容有关的其它实现方式在本公开内容的精神和范围之内。
下面的段落简单地描述了一些示例性的实施例：
在一个或多个第一实施例中，一种机器视觉校准系统包括：用于收集与包含地平面的相邻部分的多视野(FOV)相关联的图像数据的多个图像传感器，被耦合到所述图像传感器的图像传感器校准模块。所述校准模块包括用于基于与所述图像传感器相关联的一个或多个第一外部参数值来计算所收集的图像数据向地平面的投影的逻辑。所述校准模块包括用于根据所述地平面投影来计算与一个或多个地平面校准地标相关联的第一地标信号的逻辑。所述校准模块包括用于基于对所述第一地标信号的评估来在一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择的逻辑。
在另外的第一实施例中，所述校准模块包括用于进行下列各项的逻辑：计算所述图像数据在由一个或多个第一外部参数值定义的投影方向上的第一投影，以及通过将所投影的图像数据处理成与投影方向垂直的线相关联的信号并且经过所述一个或多个地平面校准地标来计算所述第一地标信号。
在另外的第一实施例中，所述校准模块包括用于修改所述第一外部参数值中的一个或多个值的逻辑。所述校准模块包括用于基于所述一个或多个修改的外部参数值来计算所述图像数据向地平面的修改的投影的逻辑。所述校准模块包括用于根据所述修改的投影来计算与一个或多个地平面校准地标相关联的第二地标信号的逻辑。所述校准模块包括用于基于所述第一地标信号相对于所述第二地标信号的比较来在所述第一外部参数值和所述第二外部参数值之间进行选择的逻辑。
在另外的第一实施例中，所述校准模块包括用于在基于与所述图像传感器中的第一图像传感器相关联的一个或多个外部参数值的第一方向上，对从所述第一图像传感器接收的第一图像数据进行投影的逻辑。所述校准模块包括用于在基于与所述图像传感器中的第二图像传感器相关联的一个或多个外部参数值的第二方向上，对从所述第二图像传感器接收的第二图像数据进行投影的逻辑。所述校准模块包括用于基于对所述第一地标信号中的一个或多个峰值的参数化来对所述第一地标信号进行评估的逻辑。
在另外的第一实施例中，所述一个或多个地平面校准地标包括一对平行线。所述多个图像传感器包括至少四个图像传感器。所述图像传感器中的第一图像传感器是用于收集与第一FOV相关联的第一图像数据的，所述第一FOV包括所述平行线中的第一条线的至少一部分，但是不包括所述平行线中的第二条线。所述图像传感器中的第二图像传感器是用于收集与第二FOV相关联的第二图像数据的，所述第二FOV包括所述平行线中的第二条线的至少一部分，但是不包括所述平行线中的所述第一条线。所述校准模块包括用于基于对与所述一对平行线相关联的所述信号中的一对峰值的参数化来对所述第一地标信号进行评估的逻辑。
在另外的紧接着上面的第一实施例中，所述图像传感器中的第三图像传感器是用于收集与第三FOV相关联的第三图像数据的，所述第三FOV 包括所述平行线中的二者的至少一部分。所述图像传感器中的第四图像传感器是用于收集与第四FOV相关联的第四图像数据的，所述第四FOV包括所述平行线中的二者的至少一部分。所述校准模块包括用于在基于与所述图像传感器中的第三图像传感器相关联的一个或多个外部参数值的第三方向上，对从所述第三图像传感器接收的第三图像数据进行投影的逻辑。所述校准模块包括用于在基于与所述图像传感器中的第四图像传感器相关联的一个或多个外部参数值的第四方向上，对从所述第四图像传感器接收的第四图像数据进行投影的逻辑。
在另外的第一实施例中，所述图像传感器校准模块包括中心切片模块，所述中心切片模块包括用于进行下列各项的逻辑：通过将所投影的图像数据从空间域变换到频率域来生成二维频谱数据，垂直于所述投影方向中的至少一个方向来对所述二维频谱数据进行切片，以及通过将所述频谱数据切片逆变换回到空间域来生成所述第一地标信号。
在另外的紧接着上面的第一实施例中，所述图像传感器校准模块包括用于针对与收集所述图像数据的传感器相关联的外部参数值的集合相对应的角度，利用拉东变换来计算所述二维投影图像的逻辑。
在另外的紧接着上面的第一实施例中，所述中心切片模块包括用于将所述二维频谱数据切片成一维频谱信号的逻辑，所述一维频谱信号包括与所述一个或多个地平面校准地标相关联的频率。
在另外的紧接着上面的第一实施例中，所述中心切片模块包括用于通过执行傅里叶变换、离散正弦变换或者离散余弦变换来生成所述频谱数据的逻辑。
在一个或多个第二实施例中，一种校准机器视觉系统的方法包括：接收与多视野(FOV)相关联的图像数据，所述多个FOV包含地平面的相邻部分。该方法包括：基于与所述图像传感器相关联的一个或多个第一外部参数值来计算所收集的图像数据向地平面的投影。该方法包括：根据所述地平面投影来计算与一个或多个地平面校准地标相关联的第一地标信号。该方法包括：基于对所述第一地标信号的评估来在所述一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择。
在另外的第二实施例中，该方法包括计算所述投影，包括：计算所述图像数据在由所述一个或多个第一外部参数值定义的投影方向上的第一投影，计算所述第一地标信号包括：将所投影的图像数据处理成与所述投影方向垂直的线相关联的信号并且经过所述一个或多个地平面校准地标。
在另外的第二实施例中，该方法包括：修改所述第一外部参数值中的一个或多个值。该方法包括：基于所述一个或多个修改的外部参数值来计算所述图像数据向地平面的修改的投影。该方法包括：根据所述修改的投影来计算与所述一个或多个地平面校准地标相关联的第二地标信号。该方法包括：基于所述第一地标信号相对于所述第二地标信号的比较来在所述第一外部参数值和所述第二外部参数值之间进行选择。
在另外的第二实施例中，计算所收集的图像数据向地平面的投影进一步包括：在基于与所述图像传感器中的第一图像传感器相关联的一个或多个外部参数值的第一方向上，对从所述第一图像传感器接收的第一图像数据进行投影。计算所收集的图像数据向地平面的投影进一步包括：在基于与所述图像传感器中的第二图像传感器相关联的一个或多个外部参数值的第二方向上，对从所述第二图像传感器接收的第二图像数据进行投影。在所述一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择进一步包括：基于对所述第一地标信号中的一个或多个峰值的参数化来对所述第一地标信号进行评估。
在另外的第二实施例中，所述一个或多个地平面校准地标包括一对平行线。该方法还包括：利用与第一FOV相关联的所述图像传感器中的第一图像传感器来收集第一图像数据，所述第一FOV包括所述平行线中的第一条线的至少一部分，但是不包括所述平行线中的第二条线。该方法还包括：利用与第二FOV相关联的所述图像传感器中的第二图像传感器来收集第二图像数据，所述第二FOV包括所述平行线中的第二条线的至少一部分，但是不包括所述平行线中的所述第一条线。在所述一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择进一步包括：基于对与所述一对平行线相关联的所述第一地标信号中的一对峰值的参数化来对所述第一地标信号进行评估。
在另外的第二实施例中，计算所述第一地标信号进一步包括：通过将所投影的图像数据从空间域变换到频率域来生成二维频谱数据，垂直于所述投影方向中的至少一个方向来对所述频谱数据进行切片，以及将所述频谱数据切片逆变换回到空间域。
在另外的紧接着上面的第二实施例中，计算所收集的图像数据向地平面的投影进一步包括：针对与收集所述图像数据的传感器相关联的外部参数值的集合相对应的角度，计算拉东变换。计算所述第一地标信号进一步包括：将所述二维频谱数据切片成一维频谱信号，所述一维频谱信号包括与所述一个或多个地平面校准地标相关联的频率。
在一个或多个第三实施例中，一种机器视觉校准系统包括：用于执行第二实施例中的任何一个实施例的单元。
在一个或多个第四实施例中，一种机器视觉系统包括：所述一个或多个第三实施例的校准系统、以及用于收集与多个交迭的视野相关联的图像数据的单元。该校准系统还包括：用于在基于与第一图像数据收集单元相关联的一个或多个外部参数值的第一方向上，对从所述第一图像数据收集单元接收的第一图像数据进行投影的单元。该校准系统还包括：用于在基于与第二图像数据收集单元相关联的一个或多个外部参数值的第二方向上，对从所述第二图像数据收集单元接收的第二图像数据进行投影的单元。该校准系统还包括：用于通过将所投影的第一图像数据和第二图像数据从空间域变换到频率域来生成二维频谱数据的单元。该校准系统还包括：用于垂直于所述投影方向中的至少一个方向来对所述频谱数据进行切片的单元。该校准系统还包括：用于将所述频谱数据切片逆变换回到空间域中的第一地标信号的单元。该校准系统还包括：用于对所述第一地标信号中的一个或多个峰值进行参数化的单元。
在一个或多个第五实施例中，一种计算机可读介质包括：被存储在其上的指令，当所述指令被处理系统执行时，其使得所述系统执行第二实施例中的任何一个实施例。
在一个或多个第六实施例中，一种计算机可读介质包括：被存储在其上的指令，当所述指令被处理系统执行时，其使得所述系统执行包括下列各项的方法：接收与包含地平面的相邻部分的多视野(FOV)相关联的图像数据，基于与图像传感器相关联的一个或多个第一外部参数值来计算所收集的图像数据向地平面的投影，根据所述地平面投影来计算与一个或多个地平面校准地标相关联的第一地标信号，以及基于对所述第一地标信号的评估来在所述一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择。
在另外的第六实施例中，所述介质还包括被存储在其上的指令，当所述指令被所述处理系统执行时，其进一步使得所述系统执行还包括下列各项的方法：通过将所投影的图像数据从空间域变换到频率域来生成二维频谱数据，垂直于所述投影方向中的至少一个方向来对所述频谱数据进行切片，将所述频谱数据切片逆变换回到空间域。
将认识到的是，实施例不被限制到这样描述的示例性实施例，但是在不背离所附权利要求书的范围的情况下，可以利用修改和改变来实践。例如，上面的实施例可以包括特征的特定组合。但是，上面的实施例不被限制在这点上，并且在实施例中，上面的实施例可以包括：承担这样的特征的仅仅一个子集，承担这样的特征的不同顺序，承担这样的特征的不同组合，和/或承担除那些明确列举的特征外的另外的特征。因此，应当参照所附的权利要求书连同赋予与这样的权利要求等同的全部范围一起来确定范围。

Claims (18)

1.一种机器视觉校准系统，包括：
多个图像传感器，用于收集与多视野(FOV)相关联的图像数据，所述多视野(FOV)包含地平面的相邻部分；以及
图像传感器校准模块，其被耦合到所述图像传感器并且包括用于进行下列操作的逻辑：
基于与所述图像传感器相关联的一个或多个第一外部参数值来计算所收集的图像数据向所述地平面的投影；
根据所述地平面投影来计算与一个或多个地平面校准地标相关联的第一地标信号；
通过对所投影的图像数据进行分析来评估所述第一地标信号；以及
基于对所述第一地标信号的评估来选择所述一个或多个第一外部参数值或者一个或多个第二外部参数值作为校准结果，其中，所述一个或多个第二外部参数值是通过修改所述一个或多个第一外部参数值而得到的。
2.根据权利要求1所述的系统，其中，所述校准模块包括用于进行下列操作的逻辑：
计算所述图像数据在由所述一个或多个第一外部参数值定义的投影方向上的第一投影；以及
通过将所投影的图像数据处理成与垂直于投影方向的线相关联的信号并且经过所述一个或多个地平面校准地标来计算所述第一地标信号。
3.根据权利要求1所述的系统，其中，所述校准模块包括用于进行下列操作的逻辑：
修改所述第一外部参数值中的一个或多个值；
基于所述一个或多个修改的外部参数值来计算所述图像数据向所述地平面的修改的投影；
根据所述修改的投影来计算与所述一个或多个地平面校准地标相关联的第二地标信号；以及
基于所述第一地标信号相对于所述第二地标信号的比较来在所述第一外部参数值和所述第二外部参数值之间进行选择。
4.根据权利要求1所述的系统，其中，所述校准模块包括用于进行下列操作的逻辑：
在基于与所述图像传感器中的第一图像传感器相关联的一个或多个外部参数值的第一方向上，对从所述第一图像传感器接收的第一图像数据进行投影；
在基于与所述图像传感器中的第二图像传感器相关联的一个或多个外部参数值的第二方向上，对从所述第二图像传感器接收的第二图像数据进行投影；以及
基于对所述第一地标信号中的一个或多个峰值的参数化来对所述第一地标信号进行评估。
5.根据权利要求1所述的系统，其中：
所述一个或多个地平面校准地标包括一对平行线；
所述多个图像传感器包括至少四个图像传感器；
所述图像传感器中的第一图像传感器是用于收集与第一FOV相关联的第一图像数据的，所述第一FOV包括所述平行线中的第一条线的至少一部分，但是不包括所述平行线中的第二条线；
所述图像传感器中的第二图像传感器是用于收集与第二FOV相关联的第二图像数据的，所述第二FOV包括所述平行线中的第二条线的至少一部分，但是不包括所述平行线中的所述第一条线；以及
所述校准模块包括：用于基于对与所述一对平行线相关联的所述信号中的一对峰值的参数化来对所述第一地标信号进行评估的逻辑。
6.根据权利要求5所述的系统，其中：
所述图像传感器中的第三图像传感器是用于收集与第三FOV相关联的第三图像数据的，所述第三FOV包括所述平行线中的两条线的至少一部分；
所述图像传感器中的第四图像传感器是用于收集与第四FOV相关联的第四图像数据的，所述第四FOV包括所述平行线中的两条线的至少一部分；以及
所述校准模块包括用于进行下列操作的逻辑：
在基于与所述图像传感器中的所述第三图像传感器相关联的一个或多个外部参数值的第三方向上，对从所述第三图像传感器接收的第三图像数据进行投影；以及
在基于与所述图像传感器中的所述第四图像传感器相关联的一个或多个外部参数值的第四方向上，对从所述第四图像传感器接收的第四图像数据进行投影。
7.根据权利要求1所述的系统，其中，所述图像传感器校准模块包括中心切片模块，所述中心切片模块包括用于进行下列操作的逻辑：
通过将所投影的图像数据从空间域变换到频率域来生成二维频谱数据；
垂直于投影方向中的至少一个方向来对所述二维频谱数据进行切片；以及
通过将所述频谱数据切片逆变换回到空间域来生成所述第一地标信号。
8.根据权利要求7所述的系统，其中，所述图像传感器校准模块包括：用于针对与收集所述图像数据的所述传感器相关联的外部参数值的集合相对应的角度，利用拉东变换来计算所述二维频谱数据的逻辑。
9.根据权利要求8所述的系统，其中，所述中心切片模块包括：用于将所述二维频谱数据切片成一维频谱信号的逻辑，所述一维频谱信号包括与所述一个或多个地平面校准地标相关联的频率。
10.根据权利要求7所述的系统，其中，所述中心切片模块包括：用于通过执行傅里叶变换、离散正弦变换或者离散余弦变换来生成所述频谱数据的逻辑。
11.一种校准机器视觉系统的方法，所述方法包括：
接收与多视野(FOV)相关联的图像数据，所述多视野(FOV)包含地平面的相邻部分；
基于与所述图像传感器相关联的一个或多个第一外部参数值来计算所收集的图像数据向所述地平面的投影；
根据所述地平面投影来计算与一个或多个地平面校准地标相关联的第一地标信号；
通过对所投影的图像数据进行分析来评估所述第一地标信号；以及
基于对所述第一地标信号的评估来选择所述一个或多个第一外部参数值或者一个或多个第二外部参数值作为校准结果，其中，所述一个或多个第二外部参数值是通过修改所述一个或多个第一外部参数值而得到的。
12.根据权利要求11所述的方法，其中：
计算所述投影包括：计算所述图像数据在由所述一个或多个第一外部参数值定义的投影方向上的第一投影；以及
计算所述第一地标信号包括：将所投影的图像数据处理成与垂直于所述投影方向的线相关联的信号，并且经过所述一个或多个地平面校准地标。
13.根据权利要求11所述的方法，还包括：
修改所述第一外部参数值中的一个或多个值；
基于所述一个或多个修改的外部参数值来计算所述图像数据向所述地平面的修改的投影；
根据所述修改的投影来计算与所述一个或多个地平面校准地标相关联的第二地标信号；以及
基于所述第一地标信号相对于所述第二地标信号的比较来在所述第一外部参数值和所述第二外部参数值之间进行选择。
14.根据权利要求11所述的方法，其中：
计算所收集的图像数据向所述地平面的所述投影进一步包括：
在基于与所述图像传感器中的第一图像传感器相关联的一个或多个外部参数值的第一方向上，对从所述第一图像传感器接收的第一图像数据进行投影；
在基于与所述图像传感器中的第二图像传感器相关联的一个或多个外部参数值的第二方向上，对从所述第二图像传感器接收的第二图像数据进行投影；以及
在所述一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择进一步包括：基于对所述第一地标信号中的一个或多个峰值的参数化来对所述第一地标信号进行评估。
15.根据权利要求11所述的方法，其中，所述一个或多个地平面校准地标包括一对平行线；以及所述方法还包括：
利用与第一FOV相关联的所述图像传感器中的第一图像传感器来收集第一图像数据，所述第一FOV包括所述平行线中的第一条线的至少一部分，但是不包括所述平行线中的第二条线；
利用与第二FOV相关联的所述图像传感器中的第二图像传感器来收集第二图像数据，所述第二FOV包括所述平行线中的第二条线的至少一部分，但是不包括所述平行线中的所述第一条线；以及
在所述一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择进一步包括：基于对与所述一对平行线相关联的所述第一地标信号中的一对峰值的参数化来对所述第一地标信号进行评估。
16.根据权利要求11所述的方法，其中，计算所述第一地标信号进一步包括：
通过将所投影的图像数据从空间域变换到频率域来生成二维频谱数据；
垂直于投影方向中的至少一个方向来对所述频谱数据进行切片；以及
将所述频谱数据切片逆变换回到空间域。
17.根据权利要求16所述的方法，其中：
计算所收集的图像数据向所述地平面的投影进一步包括：针对与收集所述图像数据的所述传感器相关联的外部参数值的集合相对应的角度来计算拉东变换；
计算所述第一地标信号进一步包括：将所述二维频谱数据切片成一维频谱信号，所述一维频谱信号包括与所述一个或多个地平面校准地标相关联的频率。
18.一种计算机可读介质，包括被存储在其上的指令，所述指令当被处理系统执行时，使得所述系统执行权利要求11-17中所述的方法中的任何一种方法。
CN201610091256.7A 2015-03-18 2016-02-18 机器视觉图像传感器校准 Active CN105989603B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/662,026 US9582881B2 (en) 2015-03-18 2015-03-18 Machine vision image sensor calibration
US14/662,026 2015-03-18

Publications (2)

Publication Number Publication Date
CN105989603A CN105989603A (zh) 2016-10-05
CN105989603B true CN105989603B (zh) 2019-04-23

Family

ID=56925053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610091256.7A Active CN105989603B (zh) 2015-03-18 2016-02-18 机器视觉图像传感器校准

Country Status (2)

Country Link
US (1) US9582881B2 (zh)
CN (1) CN105989603B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10040394B2 (en) * 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
US10424117B2 (en) * 2015-12-02 2019-09-24 Seiko Epson Corporation Controlling a display of a head-mounted display device
US10846541B2 (en) * 2017-01-04 2020-11-24 Qualcomm Incorporated Systems and methods for classifying road features
DE102017105910A1 (de) * 2017-03-20 2018-09-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Frequenzbasierte Projektions-Segmentierung
GB2560948B (en) 2017-03-29 2020-12-30 Imagination Tech Ltd Camera Calibration
US10499042B2 (en) * 2017-04-01 2019-12-03 Intel Corporation Barreling and compositing of images
US10473772B2 (en) * 2017-10-12 2019-11-12 Ford Global Technologies, Llc Vehicle sensor operation
DE102018205065A1 (de) 2018-04-04 2019-10-10 Volkswagen Aktiengesellschaft Verfahren zur Kalibrierung eines Positionssensors in einem Fahrzeug, Computerprogramm, Speichermittel, Steuergerät und Kalibrierstrecke
WO2020006378A1 (en) * 2018-06-29 2020-01-02 Zoox, Inc. Sensor calibration
CN112655023B (zh) 2018-06-29 2024-09-06 物流及供应链多元技术研发中心有限公司 用于精确图像融合的多模态成像传感器校准方法
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
KR102121458B1 (ko) * 2018-12-28 2020-06-10 한국생산기술연구원 자동 충전을 위한 로봇 청소기의 경로 추정 방법 및 이를 이용한 로봇 청소기
US11216981B2 (en) 2019-07-26 2022-01-04 Cnh Industrial America Llc System and method for calibrating image data during an agricultural operation using a color indicator
US11360197B2 (en) 2020-01-07 2022-06-14 Luminar, Llc Calibration of sensor systems
CN113838139B (zh) * 2021-08-13 2024-08-27 天津极豪科技有限公司 图像传感器的参数检测方法、装置、电子设备及存储介质
US20230184909A1 (en) * 2021-12-15 2023-06-15 Cnh Industrial America Llc System and method for calibrating agricultural field surface profile sensors
US12026919B2 (en) * 2021-12-22 2024-07-02 Red Hat, Inc. Content-based encoding of digital images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561270A (zh) * 2009-05-27 2009-10-21 天津理工大学 嵌入式全向球视觉目标检测和移动监控系统及方法
CN102176005A (zh) * 2010-12-24 2011-09-07 中国科学院上海光学精密机械研究所 反射投影成像投影图中心的对准方法
CN103035005A (zh) * 2012-12-13 2013-04-10 广州致远电子股份有限公司 一种全景泊车的标定方法，及装置，一种自动标定方法
CN103600707A (zh) * 2013-11-06 2014-02-26 同济大学 一种智能泊车系统的泊车位检测装置及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765981B2 (en) * 2002-07-31 2004-07-20 Agilent Technologies, Inc. Computed tomography
JP5221765B2 (ja) * 2008-10-01 2013-06-26 ハイ キー リミテッド 画像取込装置の較正方法および較正システム
US8351726B2 (en) * 2009-06-29 2013-01-08 DigitalOptics Corporation Europe Limited Adaptive PSF estimation technique using a sharp preview and a blurred image
US20120242839A1 (en) * 2011-03-25 2012-09-27 Tk Holdings Inc. Image sensor calibration system and method
EP2530647A1 (en) * 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
WO2013019707A1 (en) * 2011-08-01 2013-02-07 Magna Electronics Inc. Vehicle camera alignment system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561270A (zh) * 2009-05-27 2009-10-21 天津理工大学 嵌入式全向球视觉目标检测和移动监控系统及方法
CN102176005A (zh) * 2010-12-24 2011-09-07 中国科学院上海光学精密机械研究所 反射投影成像投影图中心的对准方法
CN103035005A (zh) * 2012-12-13 2013-04-10 广州致远电子股份有限公司 一种全景泊车的标定方法，及装置，一种自动标定方法
CN103600707A (zh) * 2013-11-06 2014-02-26 同济大学 一种智能泊车系统的泊车位检测装置及方法

Also Published As

Publication number Publication date
CN105989603A (zh) 2016-10-05
US20160275682A1 (en) 2016-09-22
US9582881B2 (en) 2017-02-28

Similar Documents

Publication Publication Date Title
CN105989603B (zh) 机器视觉图像传感器校准
US11570423B2 (en) System and methods for calibration of an array camera
CN106469431B (zh) 图像处理装置
US10645364B2 (en) Dynamic calibration of multi-camera systems using multiple multi-view image frames
US11663691B2 (en) Method and apparatus for restoring image
US20160180510A1 (en) Method and system of geometric camera self-calibration quality assessment
CN103139469B (zh) 利用多分辨率过程生成鲁棒深度图的系统和方法
US9977981B2 (en) Method and apparatus for calibrating a three-dimensional (3D) image in a tiled display
US20150381965A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
CN111080687A (zh) 用于主动深度感测的方法和装置及其校准方法
CN108074267A (zh) 交点检测装置及方法、摄像头校正系统及方法、程序及记录介质
CN112489140B (zh) 姿态测量方法
CN102509304A (zh) 基于智能优化的摄像机标定方法
WO2023035301A1 (en) A camera calibration method
CN107368790B (zh) 行人检测方法、系统、计算机可读存储介质及电子设备
CN112270719A (zh) 相机标定方法、装置及系统
CN113822942A (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
CN114820739A (zh) 一种面向多光谱相机的图像快速配准方法及装置
CN109816628B (zh) 人脸评价方法及相关产品
CN111637837A (zh) 一种单目摄像头测量物体尺寸及距离的方法和系统
CN110930344B (zh) 一种目标的质量确定方法、装置、系统及电子设备
CN113744361A (zh) 一种基于三目视觉的三维高精地图构建方法及装置
CN112197747B (zh) 利用无线定位辅助目标检测的方法和装置
CN116433769B (zh) 空间校准方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant