CN114051627A - 相机校准方法 - Google Patents

Abstract

公开了一种校准相机的方法。该方法包括：将在相机视场(FOV)中观察到的一个区域定义为感兴趣区域(ROI)；在所述ROI中选择多个物理参考点并获得每个参考点的物理位置坐标；从所述相机FOV或相机图像数据中获得每个参考点的像素位置，并将每个像素位置与其相应参考点的物理位置坐标配对。然后，从成对的像素位置和物理位置坐标中导出一个关系，以使相机FOV或相机图像数据中选定或确定的像素位置转换为所述ROI中相应物理位置的物理位置坐标。

Description

相机校准方法

技术领域

本发明涉及一种相机校准方法，以获得相机的图像视图或视场(FOV)内物体的物理位置坐标，或相机拍摄图像中物体的物理位置坐标。

背景技术

相机被广泛安装用于执行不同类型的智慧城市应用，例如，人/车跟踪、生成交通统计、车辆速度检测等。视觉定位是一种通过使用路边相机图像视图或由这些相机拍摄的图像来提供一个区域内或感兴趣区域内物体位置的技术。许多应用，例如自主车辆控制和自动停车等，可以利用检测到的感兴趣区域内的物体位置来进一步开发。定位精度的提高和成本的降低正在增强对这种视觉定位系统的需求，尤其是在智慧城市环境中。然而，已知的相机校准算法在确定观察对象的位置坐标时可能难以实现，又耗时且准确度低。

在视觉定位领域，经常使用深度相机，但许多已知的深度相机的范围非常有限，只有20米或更小。视觉定位技术是蜂窝车联网(C-V2X)系统和网络的一项关键技术，但C-V2X系统通常要求交通监控相机至少有约100米的深度覆盖。

当然，已经安装了数百万个交通系统监控相机，如果进行适当的调整，它们就可以整合到智慧城市系统中。这些监控相机遇到的一个问题是，它们通常安装在离路面6至8米的高度，因此很难使用传统相机校准方法对这些相机进行手动校准。

CN111461994公开了一种获取坐标变换矩阵并确定物体在相机视场内坐标位置的方法，该方法包括控制相机移动到一个预设的位置，在视场FOV内选择一个参考点，测量其坐标位置，然后将其与相机FOV中的相应像素位置配对。通过获取相机投影位置点的坐标位置数据和参考点的坐标位置数据，可以建立相机FOV内的位置坐标系。但是，还需要获取相机的坐标位置来导出坐标变换矩阵。

US2019/0147647公开了一种使用由程序指令配置的处理器来确定至少两个图像中一些图像点位置的全球定位系统(GPS)坐标的方法。该方法包括接收图像拍摄设备已经拍摄图像的一些位置的位置信息。该方法包括通过对图像中的各种配准对象(registration objects)进行三角测量来确定几何形状，以及确定图像中的至少一个中的图像点位置的GPS坐标。

US2016/0180535公开了一种基于从第二成像设备获取的场景的至少一个第二图像，对从第一成像设备获取的场景的第一图像进行空间对位(georeferencing)的方法。该方法包括获得指示场景的一个或多个区域的合格参数的数据；在场景的一个或多个区域中选择一个或多个支点(pivot)区域，其中支点区域的合格参数满足一个预定标准；对于至少一些选定的支点区域，确定第一和第二图像的连接点；使用确定的连接点和第一成像设备模型，求解第一图像的外部方位问题。

US2019/0266396公开了一种包括接口的装置，该接口被配置为从飞行器上接收图像数据和位置数据。图像数据与包括一个物体对象在内的多个场景图像相关。位置数据与拍摄该多个图像的飞行器上的相机的位置相关。该装置还包括一个处理器，该处理器被配置成，确定与该多个图像中第一图像对应的第一相机位置。处理器还被配置成，确定物体相对于相机的第一相对位置。基于第一相机位置、第一图像数据和与多个图像中第二图像相对应的第二图像数据，确定第一相对位置。处理器还被配置成，基于位置数据和物体的第一相对位置，输出物体的全局位置指示。

需要一种改进的相机校准方法，以获得相机FOV内感兴趣区域(region ofinterest，ROI)中物体的高精度物理位置坐标。

发明目的

本发明的一个目的是在一定程度上减轻或避免与已知的确定相机FOV内物体的物理位置的相机校准方法有关的一个或多个问题。

上述目的是通过主权利要求的特征组合来实现的；从属权利要求公开了本发明的进一步有利实施例。

本发明的另一个目的是提供一种新型相机。

本发明的另一个目的是提供一种获得相机的图像视图(即FOV)中物体的绝对位置坐标的方法。

本领域技术人员将从以下描述中得出本发明的其他目的。因此，上述目的陈述并非详尽无遗，仅用于说明本发明多个目的中的一些目的。

发明内容

在第一个主要方面，本发明提供了一种校准相机的方法，该相机有一个定义或选择的区域或感兴趣区域(ROI)，包括在相机的视场(FOV)中观察到的区域或区域的一部分，该方法包括在所述ROI中选择多个物理参考点并获得每个参考点的物理位置坐标。该方法还包括从所述相机FOV或相机图像数据中获得每个参考点的像素位置，并将每个像素位置与其相应参考点的物理位置坐标配对。然后，从成对的像素位置和物理位置坐标中导出一个关系，以使能够将相机FOV或相机图像数据中选择或识别的像素位置转换为所述ROI中相应物理位置的各自物理位置坐标。

在第二个主要方面，本发明提供了一种相机，包括：存储机器可读指令的存储器和用于执行机器可读指令的处理器，使得当处理器执行机器可读指令时，它将相机配置为：将相机视场(FOV)中观察到的区域定义为感兴趣区域(ROI)；接收所述ROI中多个物理参考点的物理位置坐标；从所述相机FOV或相机图像数据中获得每个参考点的像素位置；将每个像素位置与其各自参考点的物理位置坐标配对；从成对的像素位置和物理位置坐标中导出一个关系，使相机FOV或相机图像数据中选定或确定的像素位置转换为所述ROI中相应物理位置的物理位置坐标。

在第三个主要方面，本发明提供了一种确定相机视场(FOV)中或相机图像数据中像素位置的物理位置坐标的方法，该方法包括：确定或选择FOV或相机图像数据中的像素位置；将所述确定或选择的像素位置转换为感兴趣区域(ROI)中相应物理位置的物理位置坐标，所述ROI包括相机在其FOV中观察到的区域；其中，所述转换是基于从成对的像素位置和ROI中多个参考点的测量物理位置坐标中导出的关系。

本发明内容不一定公开了定义本发明所必需的所有特征；本发明可以存在于所公开特征的子组合中。

前面已经相当广泛地概述了本发明的特征，以便可以更好地理解以下对本发明的详细描述。本发明的其他特征和优点将在下文中描述，它们构成本发明权利要求的主题。本领域技术人员将理解，所公开的概念和具体实施例可以很容易地用作修改或设计其他结构的基础，以实现本发明的相同目的。

附图说明

本发明的上述和进一步的特征将从以下优选实施例的描述中显而易见，所述优选实施例仅以举例的方式结合附图来提供，其中：

图1是一个智慧城市场景的方框示意图，其中根据本发明的相机可以实施本发明的方法；

图2是根据本发明改进的相机的示意框图；

图3显示根据本发明的相机视场(FOV)中的感兴趣区域(ROI)；

图4是由根据本发明的相机拍摄的图像的放大部分，显示了对参考点的测量；

图5显示确定相机FOV或相机图像数据中点位置的像素坐标的示意图；

图6是根据本发明的所有成对的像素坐标和多个参考点的物理位置坐标的集合的一个示例；

图7显示根据本发明的相机的从三维空间到二维像素坐标系的转换矩阵。

具体实施方式

以下描述只是以举例的方式对优选实施例进行描述，并不限制将本发明付诸实施的必要特征的组合。

本说明书中提到的“一个实施例”或“一实施例”是指与该实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。说明书中各处出现的短语“在一个实施例中”不一定都是指同一实施例，也不是与其他实施例相互排斥的单独或替代实施例。此外，所描述的各种特征可能由一些实施例展示，而不是由其他实施例展示。同样，描述了各种要求，这些要求可能是一些实施例的要求，而不是其他实施例的要求。

应当理解，图中所示的元件可以以各种形式的硬件、软件或其组合来实施。这些元件可以在一个或多个适当编程的通用设备上以硬件和软件的组合来实施，这些设备可以包括处理器、存储器和输入/输出接口。

本说明书说明了本发明的原理。因此应当理解，本领域技术人员将能够设计出各种安排，尽管在本文中没有明确描述或示出，但是体现了本发明的原理并包括在其精神和范围内。

此外，本文叙述了本发明的原理、方面和实施例及其具体示例，旨在涵盖其结构和功能等效物。此外，这种等效物还包括当前已知的等效物以及将来开发的等效物，即任何开发的、执行相同功能的元件，无论其结构如何。

因此，例如，本领域技术人员将理解，这里呈现的框图代表了体现本发明原理的系统和设备的概念图。

图中所示各种元件的功能可以通过使用专用硬件以及能够与适当的软件一起执行软件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些可以共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为仅指能够执行软件的硬件，可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。

在本文的权利要求中，任何表示为执行特定功能的装置的元件旨在涵盖执行该功能的任何方式，包括，例如，a)执行该功能的电路元件的组合或b)任何形式的软件，因此，包括固件、微代码等，与执行该软件的适当电路相结合以执行功能。由这些权利要求定义的本发明在于，由各种被提及的装置提供的功能，以权利要求所要求的方式被组合和汇集在一起。因此认为任何提供这些功能的装置均等同于本文所示的装置。

智慧城市发展中最常用的传感器之一是监控摄像头。数以百万计的此类相机正安装在世界各地的城镇中，以执行诸如人/车跟踪和定位、速度检测、通过适当启用的电子设备向车辆和行人提供数据、向中央控制系统提供数据等功能。这种监控摄像头可有效地用于协助交通管制和治安、行人安全和自动停车，这只是识别其中一些功能。然而，其中一些功能要求车辆和/或行人位置数据在一个参考框架内高度准确。在许多现有系统中，相机的相对参考框架提供车辆和/或行人相对于相机位置的位置数据，而不是诸如全球定位系统地理坐标的绝对位置数据。如果这种监控相机被调整为提供车辆和/或行人的绝对位置数据或落在相机视野内的任何物体的绝对位置数据，那么这种监控相机的实用性将大大增强。

实现上述目标的困难之一是难以校准这种相机以提供相机图像视图中物体的绝对位置数据。

在其主要方面之一，本发明提供了一种新颖且简单的方法，用于校准相机所在位置的真实世界坐标系与绝对坐标系(如三维地理坐标系)之间的关系。这反过来又使相机图像视图的二维像素坐标系被校准为三维地理坐标系，即绝对定位系统。

该方法可以包括校准相机的内在特性和相机的外在特性中的一者或两者，如果这些特性尚不知道的话。

此外，该方法还可包括使用一种新颖而简单的方法来验证校准结果，该方法只需要用于该方法主要校准步骤的相同工具。

本发明的第一主要方面的方法的主要目的是将相机图像视图的二维像素坐标系转换为相机图像视图内任何选定点位置的三维地理坐标系。

图1包括一个智慧城市场景100，其中一个或多个相机101根据本发明被适当地启用，以拍摄并提供图像数据，从中获得相机视图内的感兴趣物体102物理位置数据，优选是绝对位置数据，如GPS数据等。每个相机101都有一个指定的相机视图，例如，城市场景100的一部分的视场(field of view，FOV)，在这个例子中，它包括一条带有人行横道104的公路103。

在图1的示例中，相机101安装在路灯105上，但是应当理解，相机101可以安装在任何合适的结构上，包括建筑物等。相机视图可以重叠，尽管这不是必需的。每个相机101都适于获得其各自相机图像视图的图像数据，从中可以获得位于相机图像视图内的物体102的物理位置数据。每个相机101都可以启用物体识别软件，使其能够识别和分类其相机视图内的物体102，但这不是本发明的重点。每个相机101最好能够在其相机视图内的每个物体102上选择一个点位置，该点的绝对位置数据可以从相机图像数据中获得。优选地，点位置选择在离相机101最近的物体102的一端的底部且在所述物体底部的中心，选定点位置的绝对位置数据表示物体102在相机FOV内的物理位置，特别是在相机FOV内确定或选定的感兴趣区域(ROI)内。

每个相机101可被启用以自行确定在确定或选定的ROI内的每个物体102的物理位置数据，并将所述数据报告给智慧城市系统中的其他实体，例如将所述数据报告给基于车辆的电子设备、行人的手持电子设备、包括其他相机101的其他系统传感器、系统网关(未示出)和一个或多个系统中央控制器106。另外或替代地，每个相机101可以各自通过合适的通信网络109，如C-V2X网络，连接到系统服务器107和数据库108，其中相机101能够向服务器107和/或数据库108提供相机图像数据。服务器107可以被配置成，从各个相机101提供的相机图像数据中确定相机ROI内物体102的物理位置数据，将所述物理位置数据存储在数据库108中，并根据需要将所述物理位置数据传送给其他智慧城市系统实体。

图2显示根据本发明概念改进的相机101的一个示例性实施例。在图示的实施例中，相机101可以包括通信设备110，例如在如5G通信系统环境和/或C-V2X网络环境中运行的网络节点、网卡或网络电路等，但本发明的改进的相机101不限于在此类网络环境中运行，而是可以包括用于在任何合适通信网络109中运行的通信设备110。

相机101可以包括多个功能块，用于执行其各种功能。例如，相机101可以包括收发器模块111，用于发送和接收来自其他智慧城市系统实体的数据信号。收发器模块111提供信号处理并被配置成，向功能块模块112提供信号和/或从中提取的信息，例如可以包括各种数据汇(data sink)、控制元件、用户界面等。无论收发器模块111的具体配置如何，实施例包括数据处理模块113，其可以与收发器模块111联合设置，以促进根据本发明对数据进行准确处理。

尽管数据处理模块113显示为被部署成收发器模块111的一部分(例如，包括收发器模块控制和逻辑电路的一部分)，但是根据本发明概念，对这种部署配置没有限制。例如，数据处理模块113可以被部署为相机101的一个独立功能块，其与收发器模块111不同但与之连接。例如，数据处理模块113可以使用逻辑电路和/或存储在相机101的存储器114中的可执行代码/机器可读指令来实施，以便由处理器115执行，从而执行本文所述的功能。例如，可执行代码/机器可读指令可以存储在一个或多个存储器114(例如随机存取存储器(RAM)、只读存储器(ROM)、闪存、磁存储器、光存储器等)中，所述存储器适合存储一个或多个指令集(例如，应用软件、固件、操作系统、小程序等)、数据(例如，配置参数、操作参数和/或阈值、收集的数据、处理的数据等)。一个或多个存储器114可以包括处理器可读存储器，用于一个或多个处理器115可操作地执行数据处理模块113的代码段和/或利用由此提供的数据来执行本文所述的数据处理模块113的功能。另外或替代地，数据处理模块113可以包括一个或多个专用处理器(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)和/或类似的配置)，以执行本文描述的数据处理模块113的功能。

图3显示从相机101(未示出)的角度来看的另一个智慧城市场景100，其中图3的图像116包括相机101的FOV或图像视图。优选地，相机101有一个固定的FOV，即相机101不能改变其FOV。相机101可以被配置成，使用物体识别软件自主地选择或定义其FOV内的ROI 117。或者，相机101可以被配置成，操作者可以在相机的FOV内手动定义或选择ROI 117。相机101可以被配置成，使操作者能够通过通信网络109与相机101远程连接以定义或选择ROI 117和/或对相机101进行其他调整。

ROI 117优选地包括相机FOV的一部分，在该部分中，希望检测、监视、测量、跟踪、警告、发送消息和/或管理感兴趣物体102。感兴趣物体102可以包括车辆和行人中的任何一个，在一些实施例中，甚至包括动物，因为动物进入公路103可能对道路使用者造成危险。

在图3，ROI 117由叠加在相机FOV上的窗口118划定。尽管该示例中的ROI 117不包括人行道或行人道119(但包括横跨公路103的人行横道114)，但可以理解的是，ROI 117可以包括人行道或行人道119，尤其是在行人已经养成在非官方穿越点横跨公路103的习惯的情况下。

图3中划定ROI 117的窗口118可以作为视觉工具提供，以使得操作者能够在相机FOV内轻松且快速地定义或选择ROI 117的范围，但是应当理解，也可以使用其他合适的自主或者手动方式来定义或选择ROI 117。ROI 117可以在独立的时间点为相机101建立，与下文描述的校准相机101的方法的其余步骤不同。换言之，相机101可能已经有一个建立的ROI117，并且根据本发明校准相机101的方法此时可能不需要选择或定义ROI 117的初始步骤。

ROI 117是基于这样的观察：交通监控系统中的大多数ROI(通常包括公路103的一个观察部分)可以由一个平面，即一个平坦的二维(2D)表面来表示或近似。在C-V2X交通监控和/或管理系统中，获得ROI 117内感兴趣物体102的准确物理位置数据是很重要的。本发明提供了一种简单有效的方法来校准交通监控相机101，以便将相机FOV中的像素位置，尤其在相机101的定义或选择的ROI 117中的像素位置与物理位置坐标，最好与绝对位置坐标联系起来。一旦相机101按照本发明进行了校准，相机101和/或服务器107就可以自主地确定相机的ROI 117内的感兴趣物体102的绝对位置坐标。

本发明方法包括在所述ROI 117中选择多个物理参考点120，并为每个参考点120获得各自的物理位置数据。应当理解，图3中的参考点120的尺寸不是按比例的，而是为了便于描述而夸大了尺寸。虽然优选地，参考点120的物理位置数据包括绝对位置数据，如GPS坐标等，但本发明方法可以在没有GPS或类似数据的情况下使用。在这种情况下，物理位置数据可以包括来自相机101的本地或相对参考系如本地笛卡尔参考系的坐标数据。

优选地，在所述ROI 117内选择至少四个参考点120，但也可以在所述ROI 117中选择多达二十或三十个参考点120。参考点120的选择，应使得它们在相机的FOV和/或图像数据内清晰可见，并位于ROI 117内。此外，参考点120最好均匀地分布在整个ROI 117中，最好尽可能地相互隔开，最好不位于同一条或多条线上。

该方法可以包括：使相机101在ROI 117中的每个参考点120被物理测量时拍摄单独的图像，以获得其物理位置数据，如图4所示，该图显示了其中一个参考点120的拍摄图像的放大部分(未按比例显示)。在该示例中，一个由带有可见尖端123的棍子122组成的视觉辅助工具121可以用来选择或确定参考点120。棍子122的尖端123可以确定参考点120。棍子122的尖端123可以被安排成具有增强的可见性。有用的是，棍子122可适于携带物理位置测量设备124，该装置优选地包括实时动态(real-time kinematic，RTK)定位装置，用于获取参考点120的全球位置坐标数据。另外或替代地，在一些实施例中，标记装置125(图3，也不按比例显示)可以放置在一些或每个参考点120处，作为视觉辅助。全球位置坐标数据可以包括世界大地测量系统1984(WGS84)的绝对坐标数据或香港1980大地测量系统(HK80)的绝对坐标数据，但也可以使用任何绝对坐标数据系统。

在下一步骤，校准相机101的方法包括：从所述相机FOV或相机图像数据中获得每个参考点120的相机FOV或图像像素位置。这最好包括：在参考点120处获得视觉辅助121/125的像素位置，例如获得棍子122的尖端123接触公路103表面的像素位置，例如如图4所示。已经发现，在划定参考点120时，使用视觉辅助工具121或视觉辅助工具125大大提高了所述参考点120的像素位置数据的准确性。

从相机图像视图(FOV)或相机图像数据中获得参考点120的像素位置，即像素坐标，可以通过使用图像查看器工具来实现或至少协助实现。这种工具的一个例子是GNU图像处理程序(GIMPTM)，它包含一个跨平台的图像编辑器。使用这样的工具，操作员能够在ROI117的显示图像上移动屏幕光标，将光标悬停在每个参考点120上。该工具将显示光标当前所在参考点120的像素位置。操作员可以通过网络109直接连接到相机101和/或通过服务器/数据库107/108获得对相机FOV或图像数据的访问。从相机图像视图(FOV)或相机图像数据获得参考点120的像素坐标的另一种方法是使用目标检测器工具。这种工具的一个例子是“你只需看一次”(YOLO^TM)实时目标检测算法，如图5所示，该算法在智慧城市场景100中识别感兴趣物体102，并将识别的物体102用一个边界框126包住。边界框126上的任何一点127都可以被选为感兴趣物体102在相机FOV或相机图像数据中的像素坐标位置。虽然图5显示了YOLO^TM算法识别感兴趣物体102，但可以理解，该算法可以被配置为识别参考点120。在这种情况下，视觉辅助工具，如棍子122，被证明是有用的，它可以使用YOLO^TM算法来自主识别参考点并提供参考点120的像素坐标。如图5所示，优选地，边界框126底部中心点127被选为感兴趣物体102或参考点120的像素坐标位置。用于检测物体102和参考点120的合适工具的另一个示例包括单次检测器(SSD)算法。

一旦获得多个参考点120的像素坐标，每个参考点120的像素坐标就与该参考点120的相应物理位置数据配对。这就提供了一个由多个参考点120的所有成对的像素坐标和物理位置坐标组成的集合128(图6)。图6显示了多个参考点120的所有成对的像素坐标和物理位置坐标的集合128的一个示例。多个参考点120的所有成对的像素坐标和物理位置坐标的集合128优选地保存到相机101的存储器114和/或服务器/数据库107/108中。

该方法包括：从所有成对的像素坐标和物理位置坐标的集合128中导出一种关系，以使随后在相机FOV或相机图像数据中选择或识别的像素位置能够被转换为所述ROI 117中相应物理位置的各自物理位置坐标。

导出的关系可以包括多个参考点120的成对像素坐标和物理位置坐标之间的三角关系。然而，优选的是导出一个单应性矩阵(homography matrix)，以将随后在相机FOV或相机图像数据中选择或识别的像素位置转换为所述ROI 117中相应物理位置的各自物理位置坐标。

图7显示三维空间129中的一个平面上的点[p,q,0.1]与二维相机FOV或相机图像数据中的一个像素位置[x,y,1]之间的关系。这里，三维空间129中的平面由坐标P、Q定义。三维空间129中的平面类似于ROI 117。透视投影矩阵129表示从相机三维坐标系[x,y,z]131到相机二维图像像素坐标系[x,y,1]132的投影变换，反之亦然。透视投影矩阵130代表相机101的内在特性。要将三维空间129中平面上的位置[p,q,0.1]转换为图像像素位置，还需要一个旋转和平移矩阵133，其代表相机101的外在特性。旋转和平移矩阵133定义了三维空间129和相机三维坐标系[x,y,z]131之间的关系。

一个图像像素位置[x,y,1]到三维空间129中平面上的位置[p,q,0.1]的变换由以下公式给出，反之亦然：

然而，由于位置[p,q,0.1]是在一个二维平面中，转换可以改写为：

还可以进一步简化为：

本发明的优选方法所需的单应性矩阵包括简化的透视投影矩阵和简化的旋转平移矩阵的乘积：

这可以改写为：

单应性矩阵包含一个3x 3的平面投影变换矩阵，因为对于三维空间中的一个平面来说，它可以简化为一个二维到二维的变换矩阵，它是可逆的。

如果物理参考点120或感兴趣物体102在相机FOV中的点位置表示为[x1,y1,1]，而相机FOV或相机图像数据中的相应像素坐标位置表示为[x2,y2,1]，那么参考点120或感兴趣物体102的物理位置到图像像素位置的可逆变换可以通过以下方式提供：

其中H是3x 3单应矩阵，矩阵H是这样的：右下角元素等于“1”。

因此可以看出，最终的单应矩阵H有八个未知参数，但这些参数可以从已知或测量的物理位置坐标及其相应的图像像素坐标中确定。换言之，本发明的优选方法所需的单应矩阵H中的未知参数可以从四个成对的像素位置和物理位置坐标解析。因此，只需要获得ROI 117中四个参考点120的物理位置数据和相应的图像像素位置，即可获得必要的单应矩阵H，用于将随后选择或识别的相机FOV或相机图像数据中的像素位置转换为所述ROI 117中相应物理位置的各自物理位置坐标。为了便于描述，上述内容没有考虑相机镜头的失真，，但是这种失真可以通过相机内在和外在特性中的已知方法得到解释。

虽然只需要获得四个参考点120的物理位置数据和对应的像素位置，但是优选的是获得多达二十个参考点120的成对的像素位置和物理位置坐标，甚至在一些实施例中获得多达三十个参考点120的成对的像素位置和物理位置坐标。这是因为本发明优选地包括：在导出单应矩阵H的步骤之前，从所有成对像素位置和物理位置坐标的集合128中选择四个或更多成对的像素位置和物理位置坐标的一个子集，然后从所述子集中导出一个筛选单应矩阵。优选地，该方法包括：仅为所述子集选择已知或确定为包括内点(inlier)的成对像素位置和物理位置坐标。筛选单应矩阵用于确定所有成对的像素位置和物理位置坐标的集合128中其余的每个成对的像素位置和物理位置坐标是否包括外点(outlier)。如果任何一个所述剩余的成对像素位置和物理位置坐标被确定为外点，则将其从所有成对像素位置和物理位置坐标的集合128中移除。一旦所有成对像素位置和物理位置坐标的集合128已经被处理以去除任何外点，单应矩阵H就会从所有成对像素位置和物理位置坐标的干净集合(cleaned set)中导出。从所有成对像素位置和物理位置坐标的集合128中去除外点的方法可以包括使用一个预定的、选定的或计算的阈值来将外点与内点分开，其中内点包括满足阈值的成对像素位置和物理位置坐标，，它们是不会从所有成对像素位置和物理位置坐标的集合128中移除的。推导或计算单应矩阵H的方法优选地包括最小二乘法，其最小化内点之间的重投影误差(reprojection errors)。重投影误差可以从参考点120的绝对坐标数据，特别是每个参考点120的全球经纬度数据中计算出来。

应当理解，可以利用任何合适的方法从数据集中去除外点。用于去除外点的合适工具的一个例子包括OpenCV^TM应用程序编程接口(API)。用于去除外点的工具的另一个例子包括随机抽样一致(RANSAC)算法。

获得ROI 117中感兴趣物体102的物理位置坐标的方法可以包括：将单应矩阵H与物体的像素坐标以齐次坐标格式(in a homogenous coordinate format)相乘：

然后通过将上述相乘的结果转换为齐次坐标格式，得到物体的物理位置坐标：

相机101可以包括一个分辨率小于2K的单目RGB相机。

相机101优选地是已经安装好的相机，其中由于相机的安装位置而难以实施传统的相机校准方法。

本发明的方法是可逆的，因为可以确定ROI 117中的物理位置，并为所述位置获得相机的FOV或相机图像数据中的相应像素坐标。

本发明还提供一种相机101，包括：存储机器可读指令的存储器114和用于执行机器可读指令的处理器115，使得当处理器115执行机器可读指令时，它配置相机101以根据本发明实施上述方法。

本发明还提供了一种确定相机101的FOV或相机图像数据中像素位置的物理位置坐标的方法，，该方法包括：识别或选择FOV或相机图像数据中的像素位置；以及将所述识别或选择的像素位置转换为ROI 117中相应物理位置的物理位置坐标，，其中所述转换基于从成对的像素位置和ROI 117中多个参考点120的测量物理位置坐标导出的关系。

上述装置可以至少部分地用软件实现。本领域技术人员将理解，上述装置可以至少部分地使用通用计算机设备或使用定制设备来实现。

在此，本文所述的方法和装置的各个方面可以在包括通信系统的任何装置上执行。该技术的程序方面可以被认为是“产品”或“制品，”通常是以可执行代码和/或相关数据的形式，承载或体现在一种机器可读介质中。“存储”型介质包括移动站、计算机、处理器或类似设备的任何或所有存储器，或其相关模块，如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可在任何时候为软件编程提供存储。软件的全部或部分有时可以通过互联网或各种其他电信网络进行通信。例如，这种通信可以使软件从一台计算机或处理器加载到另一台计算机或处理器。因此，另一种类型的可以承载软件元素的媒体包括光波、电波和电磁波，例如在本地设备之间的物理接口上、通过有线和光学陆线网络以及通过各种空中链路使用。承载这种波的物理元件，如有线或无线链路、光链路等，也可以被认为是承载软件的介质。如本文所用，除非限于有形的非暂时性“存储”介质，否则计算机或机器“可读介质”等术语是指参与向处理器提供指令以供执行的任何介质。

虽然已在附图和前面的描述中详细地说明和描述了本发明，但应将其视为说明性的而不是限制性的，应当理解的是，仅示出和描述了示例性实施例并且不以任何方式限制本发明的范围。可以理解，这里描述的任何特征可以用于任何实施例。说明性的实施例不排斥彼此或本文未述及的其他实施例。因此，本发明还提供了包括上述一个或多个说明性实施例的组合的实施例。在不脱离本发明的精神和范围的情况下，可以对本发明进行修改和变化，因此，仅应施加如所附权利要求书中所示的限制。

在所附权利要求书和本发明的前述描述中，除非上下文由于明确的语言或必要的暗示而另有要求，否则“包括”一词或诸如“包含”等变体是以包容的意义使用，即指定所述特征的存在，但不排除本发明的各种实施例中存在或添加进一步的特征。

应当理解，如果在本文中提到任何现有技术出版物，这种参考不构成承认该出版物构成本领域公知常识的一部分。

Claims (18)

1.一种校准相机的方法，包括以下步骤：

将在相机视场(FOV)中观察到的区域定义为感兴趣区域(ROI)；

在所述ROI中选择多个物理参考点；

获取每个参考点的物理位置坐标；

从所述相机FOV或相机图像数据中获得每个参考点的像素位置；

将每个像素位置与其各自参考点的物理位置坐标配对；和

从所述成对的像素位置和物理位置坐标中导出一个关系，以使所述相机FOV或相机图像数据中选定或确定的像素位置能够被转换为所述ROI中相应物理位置的物理位置坐标。

2.根据权利要求1所述的方法，其中所述ROI中的多个物理参考点包括至少四个参考点，优选地多达三十个参考点。

3.根据权利要求2所述的方法，其中所述参考点位于所述ROI内的不同位置和/或不在所述ROI内的同一条线上。

4.根据权利要求1所述的方法，其中所述导出的关系包括一个单应性矩阵，用于将所述相机FOV或相机图像数据中选定或确定的像素位置转换为所述ROI中的所述相应物理位置的所述物理位置坐标。

5.根据权利要求1所述的方法，其中该方法包括：选择或识别所述相机FOV或相机图像中的物体，并将所述选择或识别的物体的像素位置转换为所述ROI中的物理位置坐标。

6.根据权利要求5所述的方法，其中该方法包括：将所述选择或识别的物体的离所述相机最近的一端的底部的中心，选定或确定为一个像素位置。

7.根据权利要求1所述的方法，其中所述多个参考点均匀地分布在整个ROI内和/或在所述ROI内尽可能地远离彼此。

8.根据权利要求1所述的方法，其中所述ROI被定义为所述相机FOV中的一个平面区域，期望获得其中被观察物体的准确物理位置。

9.根据权利要求1所述的方法，其中该方法包括：为每个参考点获得绝对物理位置坐标。

10.根据权利要求1所述的方法，其中所述相机具有一个固定的FOV。

11.根据权利要求1所述的方法，其中该方法包括：在所述ROI中放置视觉辅助物体，以划定所述参考点。

12.根据权利要求1所述的方法，其中该方法包括：为每个参考点拍摄单独的图像。

13.根据权利要求1所述的方法，其中该方法包括：在导出关系的步骤之前，

选择包含四个或更多个成对的像素位置和物理位置坐标的一个子集；

选择包含四个或更多个所述成对的像素位置和物理位置坐标的子集；

使用所述子集来确定剩余的每个成对的像素位置和物理位置坐标是否包括外点；

如果是，从包括所有所述成对的像素位置和物理位置坐标的集合中删除所述成对的像素位置和物理位置坐标；

一旦从所述集合中删除了所有外点，就从包括所有所述成对的像素位置和物理位置坐标的集合中导出所述关系。

14.根据权利要求4所述的方法，其中该方法包括：在导出一个单应性矩阵的步骤之前：

选择包含四个或更多个成对的像素位置和物理位置坐标的一个子集；

从包含四个或更多个成对的像素位置和物理位置坐标的所述子集导出一个单应性矩阵；

使用所述单应性矩阵来确定剩余的每个成对的像素位置和物理位置坐标是否包括外点；

如果是，从包括所有所述成对的像素位置和物理位置坐标的集合中删除所述成对的像素位置和物理位置坐标；

一旦所有外点被删除，则从包括所有所述成对的像素位置和物理位置坐标的集合中重新计算所述单应性矩阵。

15.根据权利要求14所述的方法，其中从包括所有所述成对的像素位置和物理位置坐标的集合中删除外点的方法包括：使用一个阈值，将外点与内点分开，内点包括满足所述阈值的成对的像素位置和物理位置坐标，因此不会从包括所有所述成对像素位置和物理位置坐标的所述集合中删除。

16.根据权利要求15所述的方法，其中重新计算所述单应性矩阵的步骤包括最小二乘法，其最小化所述内点之间的重投影误差。

17.一种相机，包括：

存储机器可读指令的存储器；和

用于执行所述机器可读指令的处理器，使得当所述处理器执行所述机器可读指令时，将所述相机配置为：

将在相机视场(FOV)中观察到的一个区域定义为感兴趣区域(ROI)；

接收所述ROI中多个物理参考点的物理位置坐标；

从所述相机FOV或相机图像数据中获得每个参考点的像素位置；

将每个像素位置与其各自参考点的所述物理位置坐标配对；

从所述成对的像素位置和物理位置坐标中导出一个关系，以使所述相机FOV或相机图像数据中选定或确定的像素位置能够被转换为所述ROI中相应物理位置的物理位置坐标。

18.一种确定相机视场(FOV)中或相机图像数据中像素位置的物理位置坐标的方法，该方法包括：

确定或选择所述FOV或相机图像数据中的一个像素位置；

将所述确定的或选择的像素位置转换为感兴趣区域(ROI)中相应物理位置的物理位置坐标，所述ROI包括所述相机在其FOV中观察到的一个区域；

其中，所述转换是基于从成对的像素位置和所述ROI中多个参考点的测量物理位置坐标中导出的一个关系。

Images