CN109816732B - 标定方法、标定系统、矫正方法、矫正系统及车辆 - Google Patents

Abstract

本发明实施例提供一种标定方法、标定系统、矫正方法、矫正系统及车辆，属于图像处理领域。所述标定方法包括：基于所述四个角点所对应的初始化坐标及图像坐标，采用线性透视投影模型，计算所述四个角点的图像坐标与初始化坐标间的映射矩阵；基于映射矩阵及经线性透视投影模型处理的待标定的棋盘格单元中每一点的图像坐标，计算每一点的初始化坐标；及将每一点的初始化坐标按照一预设矢量进行平移，获得每一点的世界坐标，从而标定出所述棋盘格单元中每一点的图像坐标与世界坐标间的对应关系，其不仅可极大地降低标定的复杂度，还可提高标定数据的精度，并且通过查找标定的映射库即可快速获得相应点的世界坐标以满足自动泊车或代客泊车的需求。

Description

标定方法、标定系统、矫正方法、矫正系统及车辆

技术领域

本发明涉及图像处理领域，具体地涉及一种基于鱼眼摄像头的标定方法、标定系统、用于鱼眼摄像头所拍摄图像的矫正方法、矫正系统及车辆。

背景技术

目前对于190°鱼眼摄像头的标定沿用球型投影模型。由球型投影模型得到畸变参数比较困难，得到的畸变参数本身的误差很大，并且在重投影过程中地面世界坐标计算误差会随着离摄像头距离的增加而增加，使得在通过鱼眼摄像头图像反推地面特征点坐标时存在不可容忍的误差。

发明内容

本发明实施例的目的是提供一种基于鱼眼摄像头的标定方法、标定系统、用于鱼眼摄像头所拍摄图像的矫正方法、矫正系统及车辆，其不仅可极大地降低标定的复杂度，还可提高标定数据的精度，并且通过查找标定的映射库即可快速获得相应点的世界坐标以满足自动泊车或代客泊车的需求。

为了实现上述目的，本发明实施例提供一种基于鱼眼摄像头的标定方法，该标定方法包括：基于被所述鱼眼摄像头拍摄的棋盘格，确定相应的棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标；基于所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵；基于所述映射矩阵及经所述线性透视投影模型处理的所述待标定的棋盘格单元中每一点的图像坐标，计算每一点的初始化坐标；以及将所述待标定的棋盘格单元中每一点的初始化坐标按照一预设矢量进行平移，获得每一点的世界坐标，从而标定出所述待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系，其中，所述预设矢量为由所述鱼眼摄像头指向所述棋盘格所处的初始化坐标系的原点的矢量。

可选的，所述所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵包括：基于所述待标定的棋盘格单元中四个角点的图像坐标，对该待标定的棋盘格单元进行线性近似处理；以及基于经线性近似处理的所述待标定的棋盘格单元中四个角点的图像坐标及所对应的初始化坐标，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的线性变化矩阵，以作为所述映射矩阵。

可选的，所述图像坐标由深度学习机器模型确定。

可选的，所述标定方法还包括：针对所述棋盘格图像中其他待标定的棋盘格单元，重复执行所述基于鱼眼摄像头的标定方法以标定出所述其他待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系；以及合并所述待标定的棋盘格单元及所述其他待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系以作为用于矫正所述鱼眼摄像头所拍摄的图像的映射库。

相应地，本发明实施例还提供一种基于鱼眼摄像头的标定系统，该标定系统包括：第一初始化坐标确定装置，用于基于被所述鱼眼摄像头拍摄的棋盘格，确定相应的棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标；映射矩阵计算装置，用于基于所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵；第二初始化坐标确定装置，用于基于所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵；以及标定装置，用于将所述待标定的棋盘格单元中每一点的初始化坐标按照一预设矢量进行平移，获得每一点的世界坐标，从而标定出所述待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系，其中，所述预设矢量为由所述鱼眼摄像头指向所述棋盘格所处的初始化坐标系的原点的矢量。

可选的，所述映射矩阵计算装置包括：线性近似处理模块，用于基于所述待标定的棋盘格单元中四个角点的图像坐标，对该待标定的棋盘格单元进行线性近似处理；以及线性变化处理模块，用于基于经线性近似处理的所述待标定的棋盘格单元中四个角点的图像坐标及所对应的初始化坐标，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的线性变化矩阵以作为所述映射矩阵。

可选的，所述标定系统还包括：图像坐标确定装置，用于所述图像坐标由深度学习机器模型确定。

可选的，所述标定系统还包括：合并装置，所述标定系统还用于，标定出所述棋盘格图像中其他待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系；以及所述合并装置用于，合并所述待标定的棋盘格单元及所述其他待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系以作为用于矫正所述鱼眼摄像头所拍摄的图像的映射库。

相应地，本发明实施例还提供一种用于鱼眼摄像头所拍摄图像的矫正方法，所述矫正方法包括：确定所述图像中每一点的图像坐标；以及基于所述图像中每一点的图像坐标及上述的基于鱼眼摄像头的标定方法建立的所述映射库，确定每一点相应的世界坐标。

相应地，本发明实施例还提供一种用于鱼眼摄像头所拍摄图像的矫正系统，所述矫正系统包括：图像坐标确定装置，用于确定所述图像中每一点的图像坐标；以及世界坐标确定装置，用于基于所述图像中每一点的图像坐标及上述的基于鱼眼摄像头的标定方法建立的所述映射库，确定每一点相应的世界坐标。

相应地，本发明实施例还提供一种车辆，该车辆包含上述的基于鱼眼摄像头的标定系统和/或上述的用于鱼眼摄像头所拍摄图像的矫正系统。

相应地，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于鱼眼摄像头的标定方法和/或上述的用于鱼眼摄像头所拍摄图像的矫正方法。

相应地，本发明实施例还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行上述的基于鱼眼摄像头的标定方法和/或上述的用于鱼眼摄像头所拍摄图像的矫正方法。

通过上述技术方案，本发明创造性地首先通过线性透视投影模型计算待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵，接着基于所述映射矩阵及经所述线性透视投影模型处理的所述待标定的棋盘格单元中每一点的图像坐标计算每一点的初始化坐标，然后再将每一点的初始化坐标转换为以鱼眼摄像头为原点的世界坐标系中的世界坐标，重复执行上述步骤可得到棋盘格图像中所有点的图像坐标与世界坐标之间的对应关系，即用于矫正所述鱼眼摄像头所拍摄的图像的映射库，不仅可极大地降低标定的复杂度，还可提高标定数据的精度，并且通过查找标定的映射库即可快速获得相应点的世界坐标以满足自动泊车或代客泊车的需求。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例提供的基于鱼眼摄像头的标定方法的流程图；

图2是本发明一实施例提供的图像坐标系中棋盘格的图像的示意图；

图3是本发明一实施例提供的初始化坐标系中棋盘格的示意图；

图4(a)是本发明一实施例提供的线性近似过程示意图；

图4(b)是本发明一实施例提供的线性变化过程示意图；图5是本发明一实施例提供的基于鱼眼摄像头的标定系统的结构图；

图6是本发明一实施例提供的用于鱼眼摄像头所拍摄图像的矫正方法的流程图；以及

图7是本发明一实施例提供的用于鱼眼摄像头所拍摄图像的矫正系统的结构图。

附图标记说明

50 第一初始化坐标确定装置 60 映射矩阵计算装置

70 第二初始化坐标确定装置 80 标定装置

90 图像坐标确定装置 100 世界坐标确定装置

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

目前，泊车共分为自动泊车和代客泊车两种，其中，自动泊车是在停车位旁实现车辆的自动泊车入位过程；而代客泊车则在前者的基础上增加了一定距离范围内的无人驾驶功能。因此，无论是自动泊车还是代客泊车均需要从摄像头拍摄的图像上获取非常精准的位置信息，这样才能实现精确有效地泊车。由于现有技术中处理图像的方法非常复杂并且误差较大，故目前需要一种简单有效的处理方法来满足自动泊车及代客泊车对位置精度的需求。

由于本发明中涉及到多个坐标系以及多个坐标系中的坐标之间的对应关系，故在此简单介绍一下各个坐标系的定义：图像坐标系是以图片左上角为原点，且以图像所在的平面为xy坐标平面的三维坐标系(如图2所示)；初始化坐标系是以棋盘格的原点为原点，棋盘格所在的平面为xy坐标平面的三维坐标系(如图3所示)；以及世界坐标系是以鱼眼摄像头为原点的三维坐标系(未示出)。

图1是本发明一实施例提供的基于鱼眼摄像头的标定方法的流程图。如图1所示，所述基于鱼眼摄像头的标定方法可包括如下步骤：S101，基于被所述鱼眼摄像头拍摄的棋盘格，确定相应的棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标；步骤S102，基于所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵；步骤S103，基于所述映射矩阵及经所述线性透视投影模型处理的所述待标定的棋盘格单元中每一点的图像坐标，计算每一点的初始化坐标；以及步骤S104，将所述待标定的棋盘格单元中每一点的初始化坐标按照一预设矢量进行平移，获得每一点的世界坐标，从而标定出所述待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系，其中，所述预设矢量为由所述鱼眼摄像头指向所述棋盘格所处的初始化坐标系的原点的矢量。本发明创造性地首先采用线性透视投影模型模拟鱼眼投影模型的方法计算待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵，接着基于所述映射矩阵及经所述线性透视投影模型处理的所述待标定的棋盘格单元中每一点的图像坐标计算每一点的初始化坐标，然后再将每一点的初始化坐标转换为以鱼眼摄像头为原点的世界坐标系中的世界坐标，重复执行上述步骤可得到棋盘格图像中所有点的图像坐标与世界坐标之间的对应关系，即用于矫正所述鱼眼摄像头所拍摄的图像的映射库，不仅可极大地降低标定的复杂度，还可提高标定数据的精度，并且通过查找标定的映射库即可快速获得相应点的世界坐标以满足自动泊车或代客泊车的需求。

在执行步骤S101之前，首先，需要采用鱼眼摄像头采集标定数据，也就是说，把棋盘格(黑白棋盘格)标定布置于鱼眼摄像头取景范围内，通过鱼眼摄像头采集图像。接着，基于所采集的棋盘格图像，由深度学习机器模型确定待标定的棋盘格单元中四个角点的图像坐标，具体地，：采用mobilenet提取图片上的多种特征点；对这些特征点进行训练并建立相应的模型；将车位图片输入所训练的模型中，采用SSD框对多种特征进行标注及分类；提取具有所述待标定的棋盘格单元的角点特征的四个点。该四个点的坐标即为所述待标定的棋盘格单元的四个角点的图像坐标。

在步骤S101之前还可先通过人工对所述待标定的棋盘格单元中四个角点的图像坐标进行标注，由此可精确地获得棋盘格与棋盘格图像之间的一一对应的关系，之后再执行步骤S101。具体地可按照如下步骤进行：按照棋盘格标定布中相应的棋盘格单元A中四个角点Ai1、Ai2、Ai3及Ai4的位置人工标注出棋盘格图像中待标定的棋盘格单元A中四个角点Ac1、Ac2、Ac3及Ac4在图片中的位置，如图2及图3所示。假设棋盘格单元A中某角点Ai4在棋盘格位置为(1，2)，可标注棋盘格图像中棋盘格单元A中的角点Ac4与角点Ai4相对应。若棋盘格单元的长度为30cm，则该角点Ai4在初始化坐标系中的坐标为(30，60)，同理，可确定所述待标定的棋盘格单元A中四个角点Ac1、Ac2、Ac3及Ac4所对应的初始化坐标Ai1、Ai2、Ai3及Ai4分别为(0，60)、(0，30)、(30，30)、(30，60)。

对于步骤S102，所述基于所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型模拟鱼眼投影模型的方法，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵可包括：基于所述待标定的棋盘格单元中四个角点的图像坐标，对该待标定的棋盘格单元进行线性近似处理；以及基于经线性近似处理的所述待标定的棋盘格单元中四个角点的图像坐标及所对应的初始化坐标，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的线性变化矩阵，以作为所述映射矩阵。

具体地，通过线性透视投影模型获得映射矩阵的过程如下，如图4(a)与图4(b)所示：

首先，如图4(a)所示，保持所述待标定的棋盘格单元A中四个角点的图像坐标保持不变，对该待标定的棋盘格单元A进行线性近似处理以对未处于角点处的那些点的图像坐标进行矫正，从而可使得最终获得的映射库内数据更加精确。

然后，如图4(b)所示，对经线性近似处理的所述待标定的棋盘格单元A中四个角点的图像坐标Ac1、Ac2、Ac3及Ac4进行线性变化，从而获取其所对应的初始化坐标Ai1、Ai2、Ai3及Ai4，假设线性变化矩阵M_A，则具体线性变换过程如下：

分别将已知的所述待标定的棋盘格单元A中四个角点的图像坐标Ac1、Ac2、Ac3及Ac4及所对应的初始化坐标Ai1、Ai2、Ai3及Ai4代入上述方程组，可得

及

根据上述方程组可求解得到线性变化矩阵M_A。

对于步骤S103，上述基于所述映射矩阵及经所述线性透视投影模型处理的所述待标定的棋盘格单元中每一点的图像坐标，计算每一点的初始化坐标的具体步骤如下：将所述待标定的棋盘格单元A中任一点Q的图像坐标与所述线性变换矩阵M_A相乘，可得到Q点所对应的初始化坐标，重复多次可得到该待标定的棋盘格单元A中每一点的图像坐标相对应的初始化坐标。

对于步骤S104，将所述待标定的棋盘格单元中每一点的初始化坐标与预设矢量相加和，可得到每一点的世界坐标，其中，所述预设矢量为由所述鱼眼摄像头指向所述棋盘格所处的初始化坐标系的原点的矢量。该步骤S104的目的是为了便于实际应用，需要将上述步骤S103得到的初始化坐标进行坐标系转换，由此可得到所述待标定的棋盘格单元的图像坐标与世界坐标之间的对应关系。

针对所述棋盘格图像中其他待标定的棋盘格单元，重复执行上述基于鱼眼摄像头的标定方法以标定出所述其他待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系；以及合并所述待标定的棋盘格单元及所述其他待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系以作为用于矫正所述鱼眼摄像头所拍摄的图像的映射库。具体地，如图4(a)与图4(b)所示，针对其他待标定的棋盘格单元(例如棋盘格单元B、C或D等)，重复上述各个步骤可得到棋盘格单元B(或棋盘格单元C、D等)所对应的映射矩阵M_B(或M_C、M_D等)，然后针对棋盘格单元B内的每一点，基于每一点的图像坐标及所获得的映射矩阵M_B(或M_C、M_D等)，可获得棋盘格单元B(或棋盘格单元C、D等)内每一点所对应的世界坐标。最终，将所有棋盘格单元中每一点的图像坐标与其所对应的世界坐标的对应关系进行合并，从而形成用于矫正所述鱼眼摄像头所拍摄的图像的映射库。因此，本发明可采用线性透视投影原理补全棋盘格的世界坐标。所述映射库可以是由计算机保存算法补全结果，将结果绘制成表格，从而得到该鱼眼摄像头近地面区域坐标映射表。

在实际操作中，也可以通过人工标注仅获得需要关注的区域内所有点的图像坐标与其所对应的世界坐标之间的对应关系，从而形成目标映射库。

现有技术中采用球型投影模型，其图片棋盘格中的坐标与棋盘格的世界坐标之间是非线性关系(例如，平方关系)，由该种模型所确定的世界坐标的误差会随着离摄像头距离的增加而增加。与现有技术中的球形模型相比，本发明中的技术方案由线性透视投影原理决定的，其棋盘格中任一点的图像坐标与其所对应的世界坐标之间是线性关系，由此，本发明中的线性透视投影模型所确定的世界坐标的误差不会随着离摄像头距离的增加而变化，从而可避免陷入求解畸变参数的漩涡中。

综上所述，本发明创造性地首先通过线性透视投影模型计算待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵，接着基于所述映射矩阵及经所述线性透视投影模型处理的所述待标定的棋盘格单元中每一点的图像坐标计算每一点的初始化坐标，然后再将每一点的初始化坐标转换为以鱼眼摄像头为原点的世界坐标系中的世界坐标，重复执行上述步骤可得到棋盘格图像中所有点的图像坐标与世界坐标之间的对应关系，即用于矫正所述鱼眼摄像头所拍摄的图像的映射库，不仅可极大地降低标定的复杂度，还可提高标定数据的精度，并且通过查找标定的映射库即可快速获得相应点的世界坐标以满足自动泊车或代客泊车的需求。

相应地，如图5所示，本发明还提供一种基于鱼眼摄像头的标定系统，该标定系统可包括：第一初始化坐标确定装置50，用于基于被所述鱼眼摄像头拍摄的棋盘格，确定相应的棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标；映射矩阵计算装置60，用于基于所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵；第二初始化坐标确定装置70，用于基于所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵；以及标定装置80，用于将所述待标定的棋盘格单元中每一点的初始化坐标按照一预设矢量进行平移，获得每一点的世界坐标，从而标定出所述待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系，其中，所述预设矢量为由所述鱼眼摄像头指向所述棋盘格所处的初始化坐标系的原点的矢量。

有关本发明提供的基于鱼眼摄像头的标定系统的具体细节及益处可参阅上述针对基于鱼眼摄像头的标定方法的描述，于此不再赘述。

相应地，如图6所示，本发明实施例还提供一种用于鱼眼摄像头所拍摄图像的矫正方法，所述矫正方法可包括如下步骤：步骤S601，确定所述图像中每一点的图像坐标；以及步骤S602，基于所述图像中每一点的图像坐标及上述的基于鱼眼摄像头的标定方法建立的所述映射库，确定每一点相应的世界坐标。

具体地，可通过深度学习机器模型确定鱼眼摄像头所拍摄的图像中每一点的图像坐标，然后基于每一点的图像坐标，通过在映射库中查找与每一点图像坐标相对应的世界坐标。该矫正方法在重投影过程中只需查找映射库中的对应关系，时间复杂度为O(1)，另外，由于该映射库是采用线性透视投影模型的标定方法得到的，故可以大大提高标定数据的精度，从而可保证在自动泊车或代客泊车场景下对于近车地面点坐标的精度要求。

相应地，如图7所示，本发明实施例还提供一种用于鱼眼摄像头所拍摄图像的矫正系统，所述矫正系统可包括：图像坐标确定装置90，用于确定所述图像中每一点的图像坐标；以及世界坐标确定装置100，用于基于所述图像中每一点的图像坐标及上述的基于鱼眼摄像头的标定方法建立的所述映射库，确定每一点相应的世界坐标。

相应地，本发明实施例还提供一种车辆，该车辆包含上述的基于鱼眼摄像头的标定系统和/或上述的用于鱼眼摄像头所拍摄图像的矫正系统。

相应地，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于鱼眼摄像头的标定方法和/或上述的用于鱼眼摄像头所拍摄图像的矫正方法。

相应地，本发明实施例还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行上述的基于鱼眼摄像头的标定方法和/或上述的用于鱼眼摄像头所拍摄图像的矫正方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种基于鱼眼摄像头的标定方法，其特征在于，该标定方法包括：

基于被所述鱼眼摄像头拍摄的棋盘格，确定相应的棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标；

基于所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵；

基于所述映射矩阵及经所述线性透视投影模型处理的所述待标定的棋盘格单元中每一点的图像坐标，计算每一点的初始化坐标；以及

将所述待标定的棋盘格单元中每一点的初始化坐标按照一预设矢量进行平移，获得每一点的世界坐标，从而标定出所述待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系，

其中，所述预设矢量为由所述鱼眼摄像头指向所述棋盘格所处的初始化坐标系的原点的矢量，

其中，所述计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵包括：

基于所述待标定的棋盘格单元中四个角点的图像坐标，对该待标定的棋盘格单元进行线性近似处理；以及

基于经线性近似处理的所述待标定的棋盘格单元中四个角点的图像坐标及所对应的初始化坐标，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的线性变化矩阵，以作为所述映射矩阵。

2.根据权利要求1所述的基于鱼眼摄像头的标定方法，其特征在于，所述图像坐标由深度学习机器模型确定。

3.根据权利要求1所述的基于鱼眼摄像头的标定方法，其特征在于，所述标定方法还包括：

针对所述棋盘格图像中其他待标定的棋盘格单元，重复执行所述基于鱼眼摄像头的标定方法以标定出所述其他待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系；以及

合并所述待标定的棋盘格单元及所述其他待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系以作为用于矫正所述鱼眼摄像头所拍摄的图像的映射库。

4.一种基于鱼眼摄像头的标定系统，其特征在于，该标定系统包括：

第一初始化坐标确定装置，用于基于被所述鱼眼摄像头拍摄的棋盘格，确定相应的棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标；

映射矩阵计算装置，用于基于所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵；

第二初始化坐标确定装置，用于基于所确定的所述棋盘格图像中待标定的棋盘格单元中四个角点所对应的初始化坐标及所述待标定的棋盘格单元中四个角点的图像坐标，采用线性透视投影模型，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的映射矩阵；以及

标定装置，用于将所述待标定的棋盘格单元中每一点的初始化坐标按照一预设矢量进行平移，获得每一点的世界坐标，从而标定出所述待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系，

其中，所述预设矢量为由所述鱼眼摄像头指向所述棋盘格所处的初始化坐标系的原点的矢量，

其中，所述映射矩阵计算装置包括：

线性近似处理模块，用于基于所述待标定的棋盘格单元中四个角点的图像坐标，对该待标定的棋盘格单元进行线性近似处理；以及

线性变化处理模块，用于基于经线性近似处理的所述待标定的棋盘格单元中四个角点的图像坐标及所对应的初始化坐标，计算所述待标定的棋盘格单元中四个角点的图像坐标与所对应的初始化坐标之间的线性变化矩阵以作为所述映射矩阵。

5.根据权利要求4所述的基于鱼眼摄像头的标定系统，其特征在于，所述标定系统还包括：

图像坐标确定装置，用于所述图像坐标由深度学习机器模型确定。

6.根据权利要求4所述的基于鱼眼摄像头的标定系统，其特征在于，所述标定系统还包括：合并装置，

所述标定系统还用于，标定出所述棋盘格图像中其他待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系；以及

所述合并装置用于，合并所述待标定的棋盘格单元及所述其他待标定的棋盘格单元中每一点的图像坐标与世界坐标之间的对应关系以作为用于矫正所述鱼眼摄像头所拍摄的图像的映射库。

7.一种用于鱼眼摄像头所拍摄图像的矫正方法，其特征在于，所述矫正方法包括：

确定所述图像中每一点的图像坐标；以及

基于所述图像中每一点的图像坐标及根据权利要求3所述的基于鱼眼摄像头的标定方法建立的映射库，确定每一点相应的世界坐标。

8.一种用于鱼眼摄像头所拍摄图像的矫正系统，其特征在于，所述矫正系统包括：

图像坐标确定装置，用于确定所述图像中每一点的图像坐标；以及

世界坐标确定装置，用于基于所述图像中每一点的图像坐标及根据权利要求3所述的基于鱼眼摄像头的标定方法建立的映射库，确定每一点相应的世界坐标。

9.一种车辆，其特征在于，该车辆包含根据权利要求4-6中任一项权利要求所述的基于鱼眼摄像头的标定系统和/或根据权利要求8所述的用于鱼眼摄像头所拍摄图像的矫正系统。

10.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1-3中任一项权利要求所述的基于鱼眼摄像头的标定方法和/或根据权利要求7所述的用于鱼眼摄像头所拍摄图像的矫正方法。

11.一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行根据权利要求1-3中任一项权利要求所述的基于鱼眼摄像头的标定方法和/或根据权利要求7所述的用于鱼眼摄像头所拍摄图像的矫正方法。

Images