CN114511640A - 一种利用地图进行相机标定的方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种利用地图进行相机标定的方法、装置及存储介质。该方法主要包括图像获取步骤，由相机采集位置固定目标的图像；目标匹配步骤，将图像中的位置固定目标与地图中相应的地图目标进行匹配；坐标信息获取步骤，获取地图目标在地图中的角点世界坐标信息和对应的位置固定目标在图像中的角点像素坐标信息；以及相机参数计算步骤，利用角点世界坐标信息和对应的角点像素坐标信息，通过像素坐标系与世界坐标系之间的映射关系，计算相机的内部参数。本发明在没有相机标定参数的条件下，即可计算出相机标定参数相机，完成相机的定位及建图演算。

Description

一种利用地图进行相机标定的方法、装置及存储介质

技术领域

本发明涉及计算机视觉、电脑视觉技术领域，特别涉及使用相机的自动驾驶领域及高精地图技术领域。

背景技术

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定。

传统相机标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应关系，利用一定的算法获得相机的内外参数。根据标定物的不同，相机标定物可分为三维标定物和平面型标定物。三维标定物可由单幅图像进行标定，标定精度较高，但高精密三维标定物的加工和维护较困难。平面型标定物比三维标定物制作简单，精度易保证，但标定时必须采用两幅或两幅以上的图像。传统相机标定法在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物也限制了传统相机标定法的应用。

无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提。

发明内容

针对现有技术中存在的问题，本发明主要提供一种利用地图进行相机标定的方法、装置及存储介质。

为了实现上述目的，本发明采用的一个技术方案是：提供一种利用地图进行相机标定的方法，包括图像获取步骤，由相机采集位置固定目标的图像；目标匹配步骤，将图像中的位置固定目标与地图中相应的地图目标进行匹配；坐标信息获取步骤，获取地图目标在地图中的角点世界坐标信息和对应的位置固定目标在图像中的角点像素坐标信息；以及相机参数计算步骤，利用角点世界坐标信息和对应的角点像素坐标信息，通过像素坐标系与世界坐标系之间的映射关系，计算相机的内部参数。

本发明采用的另一个技术方案是：提供一种利用地图进行相机标定的装置，包括图像获取模块，由相机采集位置固定目标的图像；目标匹配模块，将图像中的位置固定目标与地图中相应的地图目标进行匹配；坐标信息获取模块，获取地图目标在地图中的角点世界坐标信息和对应的位置固定目标在图像中的角点像素坐标信息；以及相机参数计算模块，利用角点世界坐标信息和对应的角点像素坐标信息，通过像素坐标系与世界坐标系之间的映射关系，计算相机的内部参数。

本发明采用的另一个技术方案是：提供一种计算机可读存储介质，其存储有计算机指令，计算机指令被操作以执行方案一中的利用地图进行相机标定的方法。

本发明的技术方案可以达到的有益效果是：本发明设计了一种利用地图进行相机标定的方法、装置及存储介质。该方法在没有相机标定参数的条件下，即可计算出相机标定参数，完成相机的定位及建图演算，同时既确保了相机内参的准确性又简化了相机标定时对标定环境的限制。

附图说明

图1是本发明一种利用地图进行相机标定的方法的一个具体实施方式的示意图；

图2是本发明一种利用地图进行相机标定的装置的另一个具体实施方式的示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1示出了本发明一种利用地图进行相机标定的方法的一个具体实施方式。

在该具体实施方式中，利用地图进行相机标定的方法主要包括：图像获取步骤S101，由相机采集位置固定目标的图像。

在本发明的一个具体实施例中，利用相机拍摄在世界坐标系中所真实存在的物体的照片，该物体的位置固定不变，且在地图中存在与该被拍摄物体相对应的物体。

例如，使用相机拍摄道路上的标牌、建筑等固定的物体，物体的位置及形态不会随时间有较大的变化且在地图中有固定坐标的参考物。

该具体实施例，能够采集所述位置固定目标的图像信息，为后续建立映射关系求取相机参数奠定基础。

图1所示的利用地图进行相机标定的方法的具体实施方式，还包括：目标匹配步骤S102，将所述图像中的所述位置固定目标与地图中相应的地图目标进行匹配。

在本发明的一个具体实施例中，目标匹配步骤S102，还包括利用图像中的位置固定目标的轮廓信息和地图中相应的地图目标的轮廓信息，匹配得到图像中的位置固定目标在地图中相应的地图目标。

在本发明的一个具体实例中，利用位置固定目标的轮廓信息以及其所处的位置信息和地图目标的轮廓信息和其所处的位置信息，在地图中查找出与图像中的位置固定目标相对应的地图目标，完成位置固定目标和地图目标的匹配。

优选的，在高精度地图中利用位置固定目标的长、宽、高、半径和周长等信息，在高精度地图中查找出与图像中的位置固定目标相对应的地图目标。

该具体实例，通过匹配图像中的位置固定的目标和地图中的地图目标，能够使求出的相机内参更加精准。

图1所示的利用地图进行相机标定的方法的具体实施方式，还包括：坐标信息获取步骤S103，获取地图目标在地图中的角点世界坐标信息和对应的位置固定目标在图像中的角点像素坐标信息。

在本发明的一个具体实例中，将完成匹配的地图目标和位置固定目标在图像中的图形分别在地图中得到地图目标在世界坐标系中的角点坐标信息，在图像中得到位置固定目标在像素坐标系中角点坐标信息。

该具体实施方式为通过映射方式计算相机参数奠定了基础。

在该具体实施方式中，利用地图进行相机标定的方法主要包括：相机参数计算步骤S104，利用角点世界坐标信息和对应的角点像素坐标信息，通过像素坐标系与世界坐标系之间的映射关系，计算相机的内部参数。

在本发明的一个具体实例中，相机参数计算步骤S104，还包括根据角点像素坐标值和角点世界坐标值，计算得到映射矩阵。

在本发明的一个具体实例中，利用位置固定目标在像素坐标系中的角点的坐标值和与之对应的在世界坐标系中的地图目标的角点坐标值，得到反映世界坐标系和像素坐标系之间关系的映射矩阵。利用该映射矩阵，求出相机的内部参数。

该具体实施例，实现了利用地图实现相机标定，能够在相机没有标定参数的条件下，完成相机的定位及建图演算。

在本发明的一个具体实施例中，利用位置固定目标的角点和对应的地图目标的角点进行相机标定的过程中，位置固定目标的角点或地图目标的角点需要进行多次坐标系之间的转换，达到将角点投影到另一参照物所在的坐标系的目的。其中多个坐标系包括，用来描述相机位置的世界坐标系，以相机光心为原点构建所述相机的相机坐标系，以成像平面中点为原点构建图像坐标系和以图像角点为原点构建像素坐标系。

在本发明的一个具体实例中，相机的参数包括相机内参和相机畸变参数，相机内参满足关系式：

其中，fx、fy为焦点，cx、cy为主点坐标；

相机畸变参数满足关系式：D＝[k1 k2 k3 p1 p2]其中，k1,k2,k3为径向畸变、p1,p2为切向畸变。

在本发明的一个具体实例中，利用位置固定目标的角点像素坐标值和地图目标的角点世界坐标值和

关系式求取坐标系转换矩阵H。在

关系式中，位置固定目标的像素坐标系的角点为(u,v)，地图目标的世界坐标系角点坐标为(x,y,z)，所述s为地图目标的世界坐标系角点坐标的z坐标转换到相机坐标系的坐标值。

该具体实施方式求取出了反映世界坐标系和像素坐标系映射关系的映射矩阵，是计算得出相机的内部参数的基础，是实现利用角点像素坐标值和角点世界坐标值求取映射矩阵，进而求取出相机内部参数的关键。

在本发明的一个具体实施例中，相机参数计算步骤S104，还包括利用至少和相机的内部参数数量相同的且已完成匹配的角点坐标信息组，求取相机的所述内部参数；其中，角点信息组为角点像素坐标信息和与之对应的角点世界坐标信息。

在本发明的一个具体实例中，在利用角点世界坐标信息和角点像素坐标信息，通过像素坐标系与世界坐标系之间的映射关系，计算所述相机的内参时，映射关系和相机内参的参数的数量限制了求取过程所需要用到的已完成匹配的角点世界坐标信息和角点像素坐标信息的组数。只有当采集的图像帧数与相机的参数的内参数量相同时，才可以通过映射关系求出相机的全部内部参数。

在本发明的一个具体实例中，因为相机的内参包括相机的焦距和主点坐标和畸变系数五个参数，所以在求取相机的内部参数时至少需要五组已完成匹配的角点世界坐标信息和角点像素坐标信息的组。

该具体实施例，为完成相机的定位及建图演算奠定基础。

在本发明的一个具体实施例中，相机参数计算步骤S104，还包括角点信息组所对应的位置固定目标为一个或多个。

在本发明的一个具体实例中，求取世界坐标系和像素坐标系映射关系的映射矩阵所用到的角点世界坐标信息和角点像素坐标信息的组所对应的位置固定的目标为同一个。

在本发明的一个具体实例中，求取世界坐标系和像素坐标系映射关系的映射矩阵所用到的角点世界坐标信息和角点像素坐标信息的组所对应的位置固定的目标为多个。

该具体实施例，减少了在相机标定过程中对环境条件的要求，提高了相机标定对标定环境的兼容性。

在本发明的一个具体实施例中，相机参数计算步骤S104，还包括利用映射矩阵和映射矩阵与相机内部参数之间的固有关系，计算得到相机的内部参数。

在本发明的一个具体实例中，根据坐标系转换矩阵H和关系式

求得[h1 h2 h3]的矩阵，其中矩阵[h1 h2 h3]是矩阵H的行向量。利用矩阵H的行向量[h1 h2 h3]和相机内参之间的固有数学关系

和

求出相机的内部参数。

该具体实施例能够高效且准确的计算出所述相机的内部参数。

在本发明的一个具体实施例中，相机参数计算步骤S104，还包括利用所求得的内部参数计算位置固定目标上的任一点投影到图像上点的坐标值，通过缩小点的坐标值和真实图像中与点相对应的点的坐标值之间的差异，优化相机的内部参数，求得所述相机的畸变参数。

在本发明的一个具体实例中，利用

关系式，优化求取出的相机内参和求得所述相机的畸变参数。在

关系式中，b_ij是点M_j在图像中实际投影的点的坐标值，F是投影的关系式,M_j是地图目标上的点，K是相机内参关系式，D为相机畸变参数关系式，Ri和ti为相机外参。

F关系式是指将Mj点利用所求得的相机内部参数K,畸变参数D和相机外部参数Ri，Ti投影到相机的图像上，计算得到Mj在图像中的投影点的坐标值。

关系式的作用是缩小图像上实际点b_ij的坐标值和所求得的投影点的坐标值差距，优化所求得的相机内部参数和计算得到相机的畸变参数。

优选的，将高精度地图中的地图目标在世界坐标系的角点坐标通过相机坐标系和图像坐标系，投影到像素坐标系中，比较在实际的像素坐标系中与地图目标相对应的位置固定目标的角点坐标，根据两角点之间的距离差异调整相机内参的值，达到优化相机内部参数和求得相机的畸变参数的目的。

该具体实施例能够减少位置固定目标的图像在像素坐标系的角点坐标和地图目标在像素坐标系的投影角点坐标的差距，提高相机内部参数的精准度，求得相机畸变参数，使相机的参数更加准确，使相机建立的模型更加精确。

图2示出了本发明一种利用地图进行相机标定的装置的具体实施方式。

在该具体实施方式中，利用地图进行相机标定的装置，包括：图像获取模块201，由相机采集位置固定目标的图像；

目标匹配模块202，将图像中的位置固定目标与地图中相应的地图目标进行匹配；

坐标信息获取模块203，获取地图目标在地图中的角点世界坐标信息和位置固定目标在图像中的角点像素坐标信息；以及

相机参数计算模块204，利用角点世界坐标信息和角点像素坐标信息，通过像素坐标系与世界坐标系之间的映射关系，计算相机的内部参数。

本发明提供的利用地图进行相机标定的装置，可用于执行上述任一实施例描述的利用地图进行相机标定的方法，其实现原理和技术效果类似，在此不再赘述。

在本发明的一个具体实施例中，本发明利用地图进行相机标定的装置中各功能模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。

软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。

处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field Programmable Gate Array，简称：FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。

本发明的另一个具体实施方式是提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，其特征在于，计算机指令被操作以执行任一实施例描述的利用地图进行相机标定的方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种利用地图进行相机标定的方法，其特征在于，包括：

图像获取步骤，由相机采集位置固定目标的图像；

目标匹配步骤，将所述图像中的所述位置固定目标与地图中相应的地图目标进行匹配；

坐标信息获取步骤，获取所述地图目标在所述地图中的角点世界坐标信息和对应的所述位置固定目标在所述图像中的角点像素坐标信息；以及

相机参数计算步骤，利用所述角点世界坐标信息和对应的所述角点像素坐标信息，通过像素坐标系与世界坐标系之间的映射关系，计算所述相机的内部参数。

2.如权利要求1所述的利用地图进行相机标定的方法，其特征在于，所述目标匹配步骤的过程包括：

利用所述图像中的所述位置固定目标的轮廓信息和所述地图中相应的地图目标的轮廓信息，匹配得到所述图像中的所述位置固定目标在所述地图中相应的所述地图目标。

3.如权利要求1所述的利用地图进行相机标定的方法，其特征在于，所述映射关系的建立过程包括：

根据所述角点像素坐标值和所述角点世界坐标值，计算得到所述映射矩阵。

4.如权利要求3所述的利用地图进行相机标定的方法，其特征在于，所述相机参数计算过程包括：

利用所述映射矩阵和所述映射矩阵与相机内部参数之间的固有关系，计算得到所述相机的内部参数。

5.如权利要求1所述的利用地图进行相机标定的方法，其特征在于，

利用所求得的所述内部参数计算所述位置固定目标上的任一点投影到图像上点的坐标值，通过缩小所述点的坐标值和真实图像中与所述点相对应的点的坐标值之间的差异，优化所述相机的所述内部参数，求得所述相机的畸变参数。

6.如权利要求1所述的利用地图进行相机标定的方法，其特征在于，利用至少和所述相机的内部参数数量相同的且已完成匹配的角点坐标信息组，求取所述相机的所述内部参数；其中，所述角点信息组为所述角点像素坐标信息和与之对应的所述角点世界坐标信息。

7.如权利要求6所述的利用地图进行相机标定的方法，其特征在于，

所述角点信息组所对应的所述位置固定目标为一个或多个。

8.一种利用地图进行相机标定的装置，其特征在于，包括：

图像获取模块，由相机采集位置固定目标的图像；

目标匹配模块，将所述图像中的所述位置固定目标与地图中相应的地图目标进行匹配；

坐标信息获取模块，获取所述地图目标在所述地图中的角点世界坐标信息和对应的所述位置固定目标在所述图像中的角点像素坐标信息；以及

相机参数计算模块，利用所述角点世界坐标信息和对应的所述角点像素坐标信息，通过像素坐标系与世界坐标系之间的映射关系，计算所述相机的内部参数。

9.一种计算机可读存储介质，其存储有计算机指令，其特征在于，所述计算机指令被操作以执行权利要求1-7中任一项所述的利用地图进行相机标定的方法。

Images