CN114026600A

CN114026600A - 相机校准方法

Info

Publication number: CN114026600A
Application number: CN202180002817.0A
Authority: CN
Inventors: 郑皓文; 梁尧成; 苗家豪
Original assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Current assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date: 2021-09-07
Filing date: 2021-09-16
Publication date: 2022-02-08

Abstract

公开了一种校准相机的方法。该方法包括：获得相机图像视图内的选定物理点位置的地理坐标，并测量穿过所述选定点位置的真实世界坐标系的x轴与真北之间的角度。该方法包括：使用所述获得的地理坐标、所述测量的角度和从相机的特性导出的投影数据，来导出修正的投影数据，用于将相机图像视图的二维像素坐标系转换为相机图像视图中点位置的三维地理坐标系。

Description

相机校准方法

技术领域

本发明涉及一种相机校准方法，以获得相机的图像视图内或由相机拍摄的图像中物体的绝对位置坐标。

背景技术

相机被广泛安装用于执行不同类型的智慧城市应用，例如，人/车跟踪、生成交通统计、车辆速度检测等。视觉定位是一种通过使用路边相机图像视图或由这些相机拍摄的图像来提供一个感兴趣区域内物体的地理位置的技术。许多应用，如自主车辆控制和自动停车等，可以利用检测到的感兴趣区域内物体的地理位置来进一步开发。定位精度的提高和成本的降低正在增强对这种视觉定位系统的需求，尤其是在智慧城市环境中。然而，已知的相机校准算法通常会表现出以下一个或多个问题，如相机需要有一个可移动的视场，或者需要两个或多个相机来覆盖同一区域。其他可能出现的问题是，输出的位置数据或观察目标的坐标是相对于相机参考系的，而不是绝对位置坐标，如全球位置地理坐标。此外，在确定观察目标的相对位置坐标时，已知的校准方法可能难以实施，耗时且准确度低。

WO2014/068073公开了一种用于确定物体的三维(3D)坐标的光学测量装置。该测量装置包括一个投影装置，其用于以至少一种预定图案照射物体；至少一个相机，其用于拍摄从物体反射的该图案的二维(2D)图像；计算装置，其用于从二维图像中测量至少一个二维图像点的亮度值序列，以及计算与所测量的二维图像点亮度值序列相关的物体点的三维坐标。输出的三维坐标是相对坐标，需要多个相机来确定被观测物体的三维位置坐标。

US9679382公开了一种基于从第二成像设备获得的场景的至少一个第二图像，对从第一成像设备获得的场景的第一图像进行空间对位(geo-referencing)的方法。该方法包括获得指示场景的一个或多个区域的合格参数的数据；在场景的一个或多个区域中选择一个或多个支点(pivot)区域，其中支点区域的合格参数满足一个预定标准；对于至少一些选定的支点区域，确定第一和第二图像的连接点；以及使用确定的连接点和第一成像设备模型，求解第一图像的外部方位。还有，该系统需要一个以上的相机，并且需要一个数字高程模型(digital elevation model，DEM)地图，而这个地图的获得或生成是很耗时的。

US8934008公开了一种确定图像中的地理位置的方法。校准是通过使用从不同位置拍摄的多个图像来进行的。

CN111461994公开了一种基于相机的全球定位系统(GPS)数据使用一个转换矩阵来获得图像中参考点的像素位置和绝对坐标的方法。

J.Riggs于2019年4月10日发表的题为“Coordinate Rotation Derivations RevE：Coordinate Transformations via Euler Angle Rotations”的出版物公开了用于沿轴旋转一个角度的旋转矩阵的一个例子。它还公开了从当地水平(North-East-DownCoordinate System,NED)坐标系到地心地固(Earth-Centered,Earth-Fixed，ECEF)坐标系的转换。

桑迪亚国家实验室于2020年12月出版的题为“Stripmap SAR Data CollectionGeometry on a Round Earth”的出版物公开了从ECEF坐标系到绝对坐标系的转换示例，例如世界大地坐标系1984(World Geodetic System 1984，WGS84)。

需要一种改进的相机校准方法，以获得高精度的绝对坐标。

发明目的

本发明的一个目的是在一定程度上减轻或避免与已知的用于确定物体位置的相机校准方法有关的一个或多个问题。

上述目的是通过主权利要求的特征组合来实现的；从属权利要求公开了本发明的进一步有利实施例。

本发明的另一个目的是提供一种新型相机系统。

本发明的另一个目的是提供一种获得相机的图像视图中的物体的绝对位置坐标的方法。

本领域技术人员将从以下描述中得出本发明的其他目的。因此，上述目的陈述并非详尽无遗，仅用于说明本发明多个目的中的一些目的。

发明内容

本发明涉及一种校准相机的方法和一种使用相机的图像数据来确定相机图像视图内的物体的绝对位置坐标的方法。该方法包括：获得相机图像视图内的选定物理点位置的地理坐标，并测量穿过所述选定点位置的真实世界坐标系的x轴与真北之间的角度。该方法包括：使用所述获得的地理坐标、所述测量的角度和从相机的特性导出的投影数据，来导出修正的投影数据，用于将相机图像视图或图像数据的二维像素坐标系转换为相机图像视图或图像数据中的点位置的三维地理坐标系。基于所有物体都位于真实世界坐标系的Z＝0平面上的假设，该转换是一对一的。

在第一主要方面，本发明提供了一种校准相机的方法，包括以下步骤：获得相机图像视图内的选定点位置的地理坐标；测量真实世界坐标系的x轴与真北之间的角度，所述x轴穿过所述选定点位置；以及使用所获得的地理坐标、所测量的角度以及由相机的特性导出的投影数据，来导出修正的投影数据，用于将相机图像视图的二维像素坐标系转换为相机图像视图中的点位置的三维地理坐标系。

在第二主要方面，本发明提供一种相机，包括：存储机器可读指令的存储器；以及用于执行机器可读指令的处理器，使得当处理器执行机器可读指令时，其将相机配置为：接收包括相机图像视图内的选定点位置的地理坐标的数据；接收包括真实世界坐标系的x轴与真北之间的测量角度的数据，所述x轴穿过所述选定点位置；以及使用包括地理坐标的所述接收的数据、包括测量角度的所述接收的数据、以及从相机的特性导出的投影数据，来导出修正的投影数据，用于将相机图像视图的二维像素坐标系转换成相机图像视图中的点位置的三维地理坐标系。

在第三主要方面，本发明提供了一种确定相机图像视图内的点位置的地理坐标的方法，包括以下步骤：从相机获取图像；在图像中选择一个点位置；获得图像中的所述选定点位置的二维像素坐标；以及使用将相机图像视图的二维像素坐标系映射到三维地理坐标系的投影数据，将图像中的所述选定点位置的所述二维像素坐标转换为所述选定点位置的三维地理坐标。

本发明内容不一定公开了定义本发明所必需的所有特征；本发明可以存在于所公开特征的子组合中。

前面已经相当广泛地概述了本发明的特征，以便可以更好地理解以下对本发明的详细描述。本发明的其他特征和优点将在下文中描述，它们构成本发明权利要求的主题。本领域技术人员将理解，所公开的概念和具体实施例可以很容易地用作修改或设计其他结构的基础，以实现本发明的相同目的。

附图说明

本发明的上述和进一步的特征将从以下优选实施例的描述中显而易见，所述优选实施例仅以举例的方式结合附图来提供，其中：

图1是一个智慧城市场景的方框示意图，其中根据本发明的相机可以实施本发明的方法；

图2是根据本发明改进的相机的示意框图；

图3是根据本发明的一组方法的流程图；

图4是相机三维坐标系与相机二维像素坐标系之间的关系示意图；

图5是相机所在位置的三维真实世界坐标系与相机三维坐标系之间的关系示意图；

图6显示获取相机的外在特性的方法；

图7显示获取相机的内在特性的方法；

图8显示根据本发明的相机校准方法；

图9和10显示根据本发明的校准验证方法。

具体实施方式

以下描述只是以举例的方式对优选实施例进行描述，并不限制将本发明付诸实施的必要特征的组合。

本说明书中提到的“一个实施例”或“一实施例”是指与该实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。说明书中各处出现的短语“在一个实施例中”不一定都是指同一实施例，也不是与其他实施例相互排斥的单独或替代实施例。此外，所描述的各种特征可能由一些实施例展示，而不是由其他实施例展示。同样，描述了各种要求，这些要求可能是一些实施例的要求，而不是其他实施例的要求。

应当理解，图中所示的元件可以以各种形式的硬件、软件或其组合来实施。这些元件可以在一个或多个适当编程的通用设备上以硬件和软件的组合来实施，这些设备可以包括处理器、存储器和输入/输出接口。

本说明书说明了本发明的原理。因此应当理解，本领域技术人员将能够设计出各种安排，尽管在本文中没有明确描述或示出，但是体现了本发明的原理并包括在其精神和范围内。

此外，本文叙述了本发明的原理、方面和实施例及其具体示例，旨在涵盖其结构和功能等效物。此外，这种等效物还包括当前已知的等效物以及将来开发的等效物，即任何开发的、执行相同功能的元件，无论其结构如何。

因此，例如，本领域技术人员将理解，这里呈现的框图代表了体现本发明原理的系统和设备的概念图。

图中所示各种元件的功能可以通过使用专用硬件以及能够与适当的软件一起执行软件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些可以共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为仅指能够执行软件的硬件，可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。

在本文的权利要求中，任何表示为执行特定功能的装置的元件旨在涵盖执行该功能的任何方式，包括，例如，a)执行该功能的电路元件的组合或b)任何形式的软件，因此，包括固件、微代码等，与执行该软件的适当电路相结合以执行功能。由这些权利要求定义的本发明在于，由各种被提及的装置提供的功能，以权利要求所要求的方式被组合和汇集在一起。因此认为任何提供这些功能的装置均等同于本文所示的装置。

智慧城市发展中最常用的传感器之一是监控相机。数以百万计的此类相机正安装在世界各地的城镇中，以执行诸如人/车跟踪和定位、速度检测、通过适当启用的电子设备向车辆和行人提供数据、向中央控制系统提供数据等功能。这种监控相机可有效地用于协助交通管制和治安、行人安全和自动停车，这只是识别其中一些功能。然而，其中一些功能要求车辆和/或行人位置数据在一个参考框架内高度准确。在许多现有系统中，相机的相对参考框架提供车辆和/或行人相对于相机位置的位置数据，而不是诸如全球定位系统地理坐标的绝对位置数据。如果这种监控相机被调整为提供车辆和/或行人的绝对位置数据或落在相机视野内的任何物体的绝对位置数据，那么这种监控相机的实用性将大大增强。

实现上述目标的困难之一是难以校准这种相机以提供相机图像视图中的物体的绝对位置数据。

在其主要方面之一，本发明提供了一种新颖而简单的方法，用于校准相机所在位置的真实世界坐标系与绝对坐标系(如三维地理坐标系)之间的关系。这反过来又使相机图像视图的二维像素坐标系被校准为三维地理坐标系，即绝对定位系统。

该方法可以包括校准相机的内在特性和相机的外在特性中的一者或两者，如果这些特性尚不知道的话。

此外，该方法还可包括使用一种新颖而简单的方法来验证校准结果，该方法只需要使用用于该方法主要校准步骤的相同工具即可。

本发明的第一主要方面的方法的主要目的是将相机图像视图的二维像素坐标系转换为位于相机图像视图内的平面(例如地面)中的任何选定点位置的三维地理坐标系。

图1包括一个智慧城市场景100，其中一个或多个相机101根据本发明被适当地启用，以拍摄并提供图像数据，从中获得相机视图内的物体102的绝对位置数据，如全球定位系统(GPS)数据等。每个相机101都有一个指定的相机视图，例如，城市场景100的一部分的视场(field of view，FOV)，在这个例子中，它包括一条带有人行横道104的公路103。

在图1的示例中，相机101安装在路灯105上，但是应当理解，相机101可以安装在任何合适的结构上，包括建筑物等。相机视图可以重叠，尽管这不是必须的，但是相机重叠区域对于跨相机的物体识别和跟踪是有用的。每个相机101都适于获得其各自相机图像视图的图像数据，从中可以获得位于相机图像视图内的物体102的绝对位置数据。每个相机101都可以启用物体识别软件，使其能够识别和分类其相机视图内的物体102，但这不是本发明的重点。每个相机101最好能够在其相机视图内的一个平面(如地面)中的每个物体102上选择一个点位置，该点的绝对位置数据可以从相机图像数据中获得。优选地，点位置选择在离相机101最近的物体102的一端的底部且在所述物体底部的中心，选定点位置的绝对位置数据表示物体102的绝对位置。

每个相机101可被启用以自行确定其相机视图内的每个物体102的绝对位置数据，并将所述数据报告给智慧城市系统中的其他实体，例如将所述数据报告给基于车辆的电子设备、行人的手持电子设备、包括其他相机101的其他系统传感器、系统网关(未示出)和一个或多个系统中央控制器106。另外或替代地，相机101可以各自通过合适的通信网络109，如以太网网络，连接到系统服务器107和数据库108，例如，其中相机101能够通过使用视频压缩方法的实时编码视频流(如已知的被称为“H.264”的用于高清晰度数字视频的视频压缩标准)，向服务器107和/或数据库108提供相机图像数据。服务器107可以被配置成，从各个相机101提供的相机图像数据中确定相机视图内的物体102的绝对位置数据，将所述绝对位置数据存储在数据库108中，并根据需要将所述绝对位置数据传送给其他智慧城市系统实体。

图2显示根据本发明概念改进的相机101的一个示例性实施例。在图示的实施例中，相机101可以包括通信设备110，例如在如5G通信系统环境中运行的网络节点、网卡或网络电路等，但本发明的改进的相机101不限于在5G通信系统中运行，而是可以包括用于在任何合适通信网络109中运行的通信设备110。

相机101可以包括多个功能块，用于执行其各种功能。例如，相机101可以包括收发器模块111，用于发送和接收来自其他智慧城市系统实体的数据信号。收发器模块111提供信号处理并被配置成向功能块模块112提供信号和/或从中提取的信息，例如可以包括各种数据汇(data sink)、控制元件、用户界面等。无论收发器模块111的具体配置如何，实施例包括数据处理模块113，其可以与收发器模块111联合设置，以促进根据本发明对数据进行的准确处理。

尽管数据处理模块113显示为被部署成收发器模块111的一部分(例如，包括收发器模块控制和逻辑电路的一部分)，但是根据本发明概念，对这种部署配置没有限制。例如，数据处理模块113可以被部署为相机101的一个独立功能块，其与收发器模块111不同但与之连接。例如，数据处理模块113可以使用逻辑电路和/或存储在相机101的存储器114中的可执行代码/机器可读指令来实施，以便由处理器115执行，从而执行本文所述的功能。例如，可执行代码/机器可读指令可以存储在一个或多个存储器114(例如随机存取存储器(RAM)、只读存储器(ROM)、闪存、磁存储器、光存储器等)中，所述存储器适合存储一个或多个指令集(例如，应用软件、固件、操作系统、小程序等)、数据(例如，配置参数、操作参数和/或阈值、收集的数据、处理的数据等)。一个或多个存储器114可以包括处理器可读存储器，用于一个或多个处理器115可操作地执行数据处理模块113的代码段和/或利用由此提供的数据来执行本文所述的数据处理模块113的功能。另外或替代地，数据处理模块113可以包括一个或多个专用处理器(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)和/或类似的配置)，以执行本文描述的数据处理模块113的功能。

图3是根据本发明的第一主要方面的由相机101的数据处理模块113实施的一组方法120的流程图。该组方法120包括校准相机101的内在特性的第一可选方法121。该方法121校准相机101的内在特性，其包括一个或多个相机镜头的焦距、相机光学中心以及可选的相机镜头的径向和切向畸变系数，从中可以获得相机三维坐标系到相机二维像素坐标系的投影变换，用于相机图像视图或拍摄的图像。

该组方法120包括校准相机101外在特性的第二可选方法122。该方法122通过用三维相机坐标系校准相机101所在位置的三维真实世界坐标系，来校准相机101的外在特性。

本发明的主要非可选方法123包括：校准相机101所在位置的三维真实世界坐标系与绝对三维坐标系之间的关系，这将在下文中描述。

该组方法120中的最后一个可选方法124包括：在相机101的所在位置，即在相机图像视图内，获取多个测试点的绝对位置坐标，并将该绝对位置坐标与由相机101拍摄的图像数据中的相应点位置计算出的绝对位置数据进行比较。

图4显示相机三维坐标系130和相机二维像素坐标系131之间的关系。相机101的主要内在特性包括：以像素为单位的相机镜头的焦距和同样以像素为单位的相机的光学中心。相机的内在特性可以用一个3x3的矩阵K来表示：

其中，

[c_x，c_y]是以像素为单位的光学中心(主点)；

[f_x，f_y]是以像素为单位的镜头焦距。

矩阵K表示从相机3D坐标系130到相机2D像素坐标系131的投影变换，反之亦然。然而，矩阵K不考虑镜头畸变，因此可选地校准相机的内在特性可以包括：为径向畸变和切向畸变之一或两者添加畸变校正系数。当光线在靠近镜头边缘的地方比在镜头的光学中心弯曲得更多时，就会发生径向畸变。当镜头和图像平面不平行时，会发生切向畸变。径向畸变和切向畸变都是非线性的。校正径向畸变的关系包括：

x_畸变＝x(1+k₁＊r²+k₂*r⁴+k₃r⁶)

v_畸变＝y(1+k₁＊r²+k₂＊r⁴+k₃＊r⁶)

其中x，y是未畸变的像素位置；

k₁，k₂，k₃是相机镜头的径向畸变系数；

r²：x²+y²。

校正切向畸变的关系包括：

x_畸变＝x+[2*p₁*x*y+p₂*(r²+2*x²)]

y_畸变＝y+[p₁*(r2+2*y²)+2*p₂*x*y]

其中x，y是未畸变的像素位置；

p₁，p₂是相机镜头的切向畸变系数；

r²：x²+y²。

图5显示相机101所在位置的真实世界坐标系132与相机三维坐标系130之间的关系。相机的外在关系包括一个3x3的旋转矩阵R和一个3x1的平移向量T。相机的三维坐标系130的原点是其光学中心，其x轴和y轴定义了相机的图像平面。3x3的旋转矩阵R和3x1的平移向量T由以下矩阵表示：

相机的内在特性和相机的外在特性可以结合起来，以提供投影数据或投影矩阵P，将相机101所在位置的真实世界坐标系132转换为相机二维像素坐标系131：

上述相机投影矩阵P不包括畸变校正，但畸变校正可以按以下方式补偿：

x′＝x/z

y′＝y/z

其中r²＝x′²+y′²

u＝f_x*x″+c_x

v＝f_y*y″+c_y

其中x″和y″是补偿后的相机图像平面x和y值。

在以下描述中，将假设相机101中没有镜头畸变。

确定相机的外在特性的一个优选方法122使用已知尺寸的第一图案平面装置140，其优选地完全放置在相机101的图像视图内，并且优选地尽可能大地出现在图像中。方法122优选地相对于第一图案平面装置140的指定原点(在图8中表示为“世界中心(0，0，0)”)，确定相机101的位置和方向。第一图案平面装置140优选地包括第一平面棋盘图案装置140，其在相机101的所在位置定义了三维真实世界坐标系132，轴Z＝0。然而，第一平面棋盘图案装置140的棋盘图案仅对相机101局部有意义，不能直接用于获取相机图像视图中的选定点的绝对位置数据。

确定相机的外在特性的优选方法122假定同一相机101也被用于单独确定相机的内在特性，如下所述。如图6所示，方法122包括：将第一平面棋盘图案装置140放置在相机的FOV内的地面上，即在相机的图像视图内，使得整个第一平面棋盘图案装置140在相机的FOV内。第一平面棋盘图案装置140应平放在地面上。优选地，第一平面棋盘图案装置140的尺寸在相机的图像视图中至少是150像素乘150像素。在典型的智慧城市监控相机场景100中，这通常是大约1.5米乘1.5米的尺寸。方法122包括：用相机101拍摄第一平面棋盘图案装置140的至少一个图像。相机101的仰角取决于相机101的感兴趣区域(region of interest，ROI)，用于检测位于相机FOV内的物体102。仰角可以是大约30°。相机101可以将拍摄的图像提供给服务器107和/或数据库108。以米为单位的第一平面棋盘图案装置140的总平方尺寸及其行和列的数量被输入到相机101和/或服务器107。在进行第一平面棋盘图案装置140的成像过程之前，棋盘尺寸可能已经上传到相机101和/或服务器/数据库107/108，从而在外在特性校准方法122中节省时间。在任何情况下，使用任何合适的相机外在特性校准方法，从拍摄的图像数据和第一平面棋盘图案装置140的尺寸数据确定外在特性矩阵

用于实施相机外部校准方法的一个合适工具称为“OpenCV^TM”，它包括公开可用的开源计算机视觉库。可以使用OpenCV^TMSolvePnP函数。得到的外在特性矩阵

被保存到相机101和/或服务器/数据库107/108中。

如图7所示，确定相机的内在特性的优选方法121包括：拍摄尺寸小于第一平面图案装置140的第二平面图案装置150的多个图像。该方法可以包括：在例如A4尺寸的纸或卡片上，打印第二平面图案装置150，其包括第二平面棋盘图案装置150。该方法优选地包括：以多个不同视角和/或距相机101的多个不同距离，将所述第二平面棋盘图案装置150放置或保持在相机的FOV中，用相机101拍摄第二平面棋盘图案装置150的多个图像。优选地，获得多达20到30个图像。打印的第二平面棋盘图案装置150的尺寸存储在相机101和/或服务器/数据库107/108中，这可以在成像步骤之前完成。内在特性矩阵K是使用任何合适的相机内在校准方法从拍摄的图像数据和第二平面棋盘图案装置150的尺寸数据的组合中确定的。用于实施相机内在校准方法121的一个合适工具是OpenCV^TM校准相机功能。得到的内在特性矩阵K被保存到相机101和/或服务器/数据库107/108中。

如上所述，如果相机101的内在和外在特性尚不知道的话，确定相机的外在特性的优选方法122和确定相机的内在特性的优选方法121是可选的方法。此外，可以实施任何合适的方法来获得相机101的内在和外在特性。

根据本发明，关键的、非可选的方法123是修正投影矩阵P的方法，以使其对于相机的图像视图内的点位置，适于将相机图像视图的二维像素坐标系131转换为三维全球地理坐标系，即绝对定位系统或绝对坐标系，包括用于映射到三维真实世界坐标系的Z＝0平面的一对一转换。

方法123应使用与方法122中相同的第一平面棋盘图案装置140，来确定相机的外在特性。方法123的测量很简单，可以在很短的时间内完成，一般不超过一分钟。方法123包括：在相机101的图像视图内测量一个选定点位置的绝对坐标，即棋盘坐标系的原点。选定点位置应该是第一平面棋盘图案装置140上的一个选定的角点141，并且优选地是所述平面棋盘图案装置140上的一个内部角点141，即不是装置140的一个物理外部角点，而是装置140的棋盘图案中的角点141，如图8所示。所选角点141可以被认为是相机101所在位置的三维真实世界坐标系的“世界中心”或原点[0,0,0]。原点[0,0,0]的绝对坐标，即全球地理坐标，可以使用任何合适的全球定位设备如实时动态(real-time kinematic，RTK)设备来测量。

除了获得原点[0,0,0]的绝对坐标之外，方法123还包括：测量真实世界坐标系的x轴142与真北144之间的角度α，所述x轴142穿过所述原点[0,0,0]。优选地，方法123包括：测量相对于真北的逆时针角度α。角度α可以使用任何合适的指南针装置来测量，例如电子指南针装置，其中角度测量误差优选地小于0.5度。

方法123还包括：使用所述获得的原点[0,0,0]的绝对坐标、测量的角度α和从相机101的内在和外在特性导出的投影数据，来导出修正的投影数据，用于将相机图像视图的二维像素坐标系131转换为三维地理坐标系，以便能够为相机101的图像视图内或由相机101拍摄的图像内的任何选定点位置(即像素位置)导出全球地理坐标。

因此，方法123将先前描述的相机投影矩阵P改变为修正的或综合的投影矩阵P'，使相机101的二维像素坐标系131中的像素位置能够被变换或转换为三维绝对位置系统中的全球地心或地理坐标。

方法123使用基于测量角度α的第一旋转矩阵和基于测量原点[0,0,0]的经纬度地理坐标的第二旋转矩阵，来修正相机投影矩阵P，以获得综合投影矩阵P'。

如下所示的相机投影矩阵P使得三维真实世界坐标[XYZ]，即第一平面棋盘图案装置140的坐标系，能够被转换为相机101所在位置的相机图像视图或图像数据上的二维像素位置[u,v]。

相机投影矩阵P(假设没有相机镜头畸变)包括：

当相机101所在位置的三维真实世界坐标系中的Z值取为零时，从相机图像视图或图像数据中的像素位置到相机101所在位置的三维真实世界坐标系存在一对一的关系或解决方案。

将Z设置为零，并扩展相机投影矩阵P的第3行，可以表示为：

S＝r₁₃*t₁+r₂₃*t₂+r₃₃*t₃/r₁₃*u+r₂₃*v+r₃₃*1.0

该表达式可以改写为：

这样，三维真实世界坐标系中的唯一X,Y位置可以求解为相机图像视图或图像数据上的二维像素位置[u，v]。

然后，相机投影矩阵P在方法123中通过第一和第二旋转矩阵被修正为综合投影矩阵P’，如下所示：

其中[XE，YE，ZE]代表三维绝对坐标系(全球地心或地理坐标系)，[XC，YC，ZC]代表相机101所在位置的三维真实世界坐标系，PRef是原点[0,0,0]的绝对坐标位置。

由于：

那么综合投影矩阵P’可以表示为：

综合投影矩阵P'使其有可能为相机图像视图或相机所在位置的图像数据系统上的任何二维像素位置[u，v]找到三维绝对坐标。

在前文中，三维绝对坐标可以是根据地心地固(ECEF)坐标系的地心坐标，这一点将在下文中更全面地描述，但是方法123优选地包括：ECEF坐标系最终变换为一个真正的全球地理坐标系，例如世界大地坐标系1984(WGS84)，尽管可以使用任何绝对地理坐标系。

如上所述，相机投影矩阵P能够使相机图像视图或图像数据上的二维像素位置[u，v]转换为相机101所在位置的三维真实世界坐标系，即应用约束条件Z＝0时的第一平面棋盘图案装置140的坐标系。方法123修正相机投影矩阵P，以提供一个综合相机投影矩阵P'，使相机图像视图或图像数据上的二维像素位置[u，v]能够被转换为三维全球地心或地理位置系统，即绝对位置系统。

方法123优选地包括：首先将相机101所在位置的三维真实世界坐标系，即第一平面棋盘图案装置140的坐标系，转换为一个中间坐标系，例如当地水平(NED)坐标系。NED坐标系是与第一平面棋盘图案装置140的坐标系最接近的坐标系，因为它们都占据地球的一个切向平面。这两个坐标系的区别仅在于Z轴(下轴)的旋转。因此，将第一平面棋盘图案装置140的坐标系转换或变换为NED坐标系，使得随后更容易转换或变换为其他绝对坐标系，如ECEF地心坐标系和/或WGS84全球地理坐标系。

方法123优选地还包括：将中间坐标系如NED坐标系转换为ECEF坐标系。这是因为NED坐标系是一个相对坐标系，而ECEF是一个绝对的欧几里德(Euclidean)坐标系，它已被发现是进一步转换为常用的全球地理坐标系(如WGS84)的一个良好踏脚石。WGS84是首选，因为它是最常用的全球地理坐标系。

NED坐标系是地球表面的一个右手本地切面坐标系。在NED坐标系中，法线，即“向下”指向地球中心，北指向真北/大地之北，即沿地球表面朝向地理北极的方向。对于一个平坦的小区域，如第一平面棋盘图案装置140的区域，从局部来看，地球表面可以被认为是平面的或水平的。因此，在这个尺度上，切平面基本上与地球的真实表面相同。鉴于此，第一平面棋盘图案装置140包括地球表面的一个局部切平面。相机101所在位置的三维真实世界坐标系到NED坐标系的转换或变换包括：基于x轴142和真北144之间的角度差在Z轴(下轴)上的旋转变换。换言之，相机101所在位置的三维真实世界坐标系到NED坐标系的转换或变换包括从测量的角α导出的旋转变换，其提供了前述的第一旋转矩阵。第一旋转矩阵由下式给出：

方法123优选地还包括：将NED坐标系变换到ECEF坐标系。NED坐标系和ECEF坐标系是欧几里德坐标系，它们的区别在于包括旋转和平移的一个刚性变换。因此，从NED坐标系到ECEF坐标系的转换基于以下关系：

其中P_NED为NED系统中的一个三维位置，P_ECEF是相应的ECEF位置，P_Ref是参考ECEF位置，即第一平面棋盘图案装置140的原点[0,0,0]的ECEF坐标位置，R是第二旋转矩阵，其列包括“北”、“东”和“下”轴。R是P_Ref的测量纬度Φ和经度λ地理坐标的矩阵。

从相机101所在位置的三维真实世界坐标系[XC，YC，ZC]到ECEF坐标系(XE，YE，ZE)的转换可以整合为以下公式：

其中α是三维真实世界坐标系的x轴142与真北144之间在逆时针方向的测量角度；Φ和λ是RTK设备在第一平面棋盘图案装置140的原点[0,0,0]处测量的经纬度地理坐标；T＝P_Ref，它包括原点[0,0,0]的ECEF坐标。

在实践中，人们发现使用WGS84设备测量T，然后将获得的全球地理坐标转换为ECEF坐标更容易。

最后，方法123优选地包括：将ECEF坐标系转换或变换为优选广泛使用的全球坐标系，如WGS84。ECEF坐标系是一个欧几里德坐标系，与WGS84有一对一的非线性映射，WGS84是一个极坐标系。从ECEF坐标系到WGS84的转换可以通过JiJieZhu于1993年发表的封闭形式算法进行计算。第三方软件如

或pymap3d为转换提供了合适的API。因此，可以进一步修正综合相机投影矩阵P’，以包括从ECEF坐标系到WGS84的转换，具体如下：

其可以改写为：

该组方法120可以包括：验证相机校准的进一步可选方法124。优选地，相同的第一平面棋盘图案装置140被用于验证方法124，或使用相同的第一平面棋盘图案装置140的几个副本。

如图9所示，另外两个第一平面棋盘图案装置140被放置在相机FOV内距相机101不同距离处。优选地，周围环境对GPS信号的阻挡最小，以便为测试点获得最准确的全球地理坐标作为“地面实况”。如图10所示，方法124包括：在另外两个第一平面棋盘图案装置140中的每一个中，确定包括角点143的多个点作为测试点(在图10中表示为1至8)。对于每个测试点143，使用如RTK设备或类似这样的设备来获得全球地理坐标，该设备可以优选地以不超过1.5cm的误差获得GPS。此外，从相机图像视图或图像数据中，获得每个所述测试点143的像素位置，并将像素位置转换为绝对位置数据，即WGS84地理坐标。使用RTK设备为测试点143获得的地理坐标与从相机图像视图或图像数据中的像素位置获得的测试点143的地理坐标进行比较。通过比较，可以确定测试点143的物理测量的地理坐标与从相机图像视图或图像数据中的像素位置获得的测试点143的地理坐标之间存在的任何投影误差，从而验证方法123下的相机校准的精度。任何投影误差的大小可能取决于相关应用所需的定位精度。

优选地，测试点143包括两个额外的第一平面棋盘图案装置140中的内部角点。优选是角点，因为它们更容易检测，但是其他图案或形状，如圆点也是可能的，可以使用合适的图像处理算法，以亚像素精度检测它们。角点可以用Harris角点检测算法或任何其他合适的角点检测算法来检测。

本发明还提供了一种确定相机图像视图内的点位置的地理坐标的方法，包括以下步骤：从相机获取图像；在图像中选择点位置，其中该点位于与第一平面棋盘图案装置相同的平面内；获得图像中的所述选定点位置的二维像素坐标；以及使用将相机图像视图的二维像素坐标系映射到三维地理坐标系的投影数据，将图像中所述选定点位置的所述二维像素坐标转换为所述选定点位置的三维地理坐标。

本发明还提供一种相机，包括：存储机器可读指令的存储器；以及用于执行机器可读指令的处理器，使得当处理器执行该机器可读指令时，其将相机配置成根据本发明实施上述方法。

上述装置可以至少部分地用软件实现。本领域技术人员将理解，上述装置可以至少部分地使用通用计算机设备或使用定制设备来实现。

在此，本文所述的方法和装置的各个方面可以在包括通信系统的任何装置上执行。该技术的程序方面可以被认为是“产品”或“制品”，通常是以可执行代码和/或相关数据的形式，承载或体现在一种机器可读介质中。“存储”型介质包括移动站、计算机、处理器或类似设备的任何或所有存储器，或其相关模块，如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可在任何时候为软件编程提供存储。软件的全部或部分有时可以通过互联网或各种其他电信网络进行通信。例如，这种通信可以使软件从一台计算机或处理器加载到另一台计算机或处理器。因此，另一种类型的可以承载软件元素的媒体包括光波、电波和电磁波，例如在本地设备之间的物理接口上、通过有线和光学陆线网络以及通过各种空中链路使用。承载这种波的物理元件，如有线或无线链路、光链路等，也可以被认为是承载软件的介质。如本文所用，除非限于有形的非暂时性“存储”介质，否则计算机或机器“可读介质”等术语是指参与向处理器提供指令以供执行的任何介质。

虽然已在附图和前面的描述中详细地说明和描述了本发明，但应将其视为说明性的而不是限制性的，应当理解的是，仅示出和描述了示例性实施例并且不以任何方式限制本发明的范围。可以理解，这里描述的任何特征可以用于任何实施例。说明性的实施例不排斥彼此或本文未述及的其他实施例。因此，本发明还提供了包括上述一个或多个说明性实施例的组合的实施例。在不脱离本发明的精神和范围的情况下，可以对本发明进行修改和变化，因此，仅应施加如所附权利要求书中所示的限制。

在所附权利要求书和本发明的前述描述中，除非上下文由于明确的语言或必要的暗示而另有要求，否则“包括”一词或诸如“包含”等变体是以包容的意义使用，即指定所述特征的存在，但不排除本发明的各种实施例中存在或添加进一步的特征。

应当理解，如果在本文中提到任何现有技术出版物，这种参考不构成承认该出版物构成本领域公知常识的一部分。

Claims

1.一种校准相机的方法，包括以下步骤：

获得相机图像视图内的选定点位置的地理坐标；

测量真实世界坐标系的x轴与真北之间的角度，所述x轴穿过所述选定点位置；和

使用所述获得的地理坐标、所述测量的角度、和从所述相机的特性导出的投影数据，来导出修正的投影数据，用于将所述相机图像视图的二维像素坐标系转换为所述相机图像视图内的点位置的三维地理坐标系。

2.根据权利要求1所述的方法，其中从所述相机的特性导出的投影数据包括所述相机的投影矩阵，其将所述选定点位置的三维真实世界坐标系转换为所述相机图像视图的所述二维像素坐标系。

3.根据权利要求2所述的方法，其中所述导出修正的投影数据的步骤包括：使用基于所述测量的角度的第一旋转矩阵和基于所述选定点位置的所述地理坐标的第二旋转矩阵，修改从所述相机的特性导出的所述投影矩阵，以提供一个综合投影矩阵。

4.根据权利要求3所述的方法，其中所述相机图像视图内的点位置的所述三维地理坐标系包括地心地固(ECEF)坐标系，并且所述综合投影矩阵的第一旋转矩阵和第二旋转矩阵的组合将所述选定点位置的所述三维真实世界坐标系转换到所述ECEF坐标系。

5.根据权利要求4所述的方法，其中所述第一旋转矩阵将所述三维真实世界坐标系转换为当地水平(NED)坐标系，所述第二旋转矩阵将所述NED坐标系转换为所述ECEF坐标系。

6.根据权利要求4所述的方法，其中所述方法包括：修改所述综合投影矩阵，以将所述ECEF坐标系转换为一个绝对坐标系。

7.根据权利要求1所述的方法，其中获得所述选定点位置的地理坐标的步骤包括：使用实时动态(RTK)设备。

8.根据权利要求4所述的方法，其中获得所述选定点位置的地理坐标的步骤包括：在所述相机图像视图内放置一个已知尺寸的第一图案平面装置，在所述第一图案平面装置上选择一个点作为所述相机图像视图内的所述选定点位置，其中所述第一图案平面装置定义所述选定点位置的所述三维真实世界坐标系。

9.根据权利要求8所述的方法，其中从所述相机的特性导出的投影矩阵是从相机的内在特性和相机的外在特性的组合中导出的。

10.根据权利要求9所述的方法，其中所述方法包括：从已知尺寸的第二图案平面装置获得所述相机的内在特性，所述方法包括：在所述相机图像视图内以多个不同角度和/或不同距离对所述第二图案平面装置进行成像，以获得所述相机的内在特性矩阵，所述内在特性矩阵包括从所述相机图像视图的三维到所述相机图像视图的所述二维像素坐标系的投影变换。

11.根据权利要求10所述的方法，其中所述方法包括：使用比所述第一图案平面装置小的已知尺寸的第二图案平面装置。

12.根据权利要求10所述的方法，其中所述方法包括：从所述第一图案平面装置获得所述相机的外在特性，以获得所述相机的外在特性矩阵，其包括旋转和平移向量，所述外在特性矩阵包括所述选定点位置的所述三维真实世界坐标系到所述相机图像视图的三维的转换。

13.根据权利要求12所述的方法，其中从所述相机的特性导出的所述投影矩阵包括所述内在特性矩阵和所述外在特性矩阵的矩阵乘积。

14.根据权利要求8所述的方法，其中所述方法包括：使用RTK设备获得所述第一图案平面装置上的多个点位置的地理坐标；在所述相机图像视图中检测所述第一图案平面装置上的所述多个点位置；使用所述综合投影矩阵，为所述相机图像视图中的检测到的每个点位置，确定相应的地理坐标；以及将使用所述RTK设备获得的所述地理坐标与使用所述综合投影矩阵计算得到的地理坐标进行比较，以确定使用所述RTK设备获得的所述地理坐标与使用所述综合投影矩阵计算得到的地理坐标之间的任何投影误差。

15.根据权利要求14所述的方法，其中所述相机的校准是否经过验证，取决于任何投影误差的大小。

16.根据权利要求14所述的方法，其中检测所述第一图案平面装置上的所述多个点位置的步骤包括：检测所述第一图案平面装置上的角点位置。

17.根据权利要求14所述的方法，其中检测所述第一图案平面装置上的所述多个点位置的步骤包括：将所述第一图案平面装置放置在所述相机图像视图内距所述相机的不同距离处，并对每个不同距离重复权利要求13的步骤。

18.一种相机，包括：

存储机器可读指令的存储器；和

用于执行所述机器可读指令的处理器，使得当所述处理器执行所述机器可读指令时，将所述相机配置为：

接收包括相机图像视图内的选定点位置的地理坐标的数据；

接收包括真实世界坐标系的x轴与真北之间的测量角度的数据，所述x轴穿过所述选定点位置；和

使用包括所述地理坐标的所述接收的数据、包括所述测量角度的所述接收的数据、以及从所述相机的特性导出的投影数据，来导出修正的投影数据，用于将所述相机图像视图的二维像素坐标系转换为所述相机图像视图中的点位置的三维地理坐标系。

19.一种确定相机图像视图内的点位置的地理坐标的方法，包括以下步骤：

从所述相机获取图像；

在所述图像的一个预定平面中选择一个点位置；

获得所述图像中的所述选定点位置的二维像素坐标；和

使用将所述相机图像视图的二维像素坐标系映射到三维地理坐标系的投影数据，将所述图像中的所述选定点位置的所述二维像素坐标转换为所述选定点位置的三维地理坐标。