CN111462249B - 一种交通摄像头标定方法及装置 - Google Patents

Abstract

本发明提供了一种交通摄像头的标定数据获取方法、标定方法及装置，涉及相机标定技术领域，包括：从交通监控视频中获取预设车型库中多个车辆的图片序列；根据所述预设车型库确定每个所述车辆的多个关键点对应的三维坐标；根据所述三维坐标确定每个所述关键点在所述图片序列中对应的二维坐标，将每个所述关键点的所述三维坐标和对应的所述二维坐标确定为所述交通摄像头标定数据。本发明通过交通摄像头本身所拍摄的监控图像获取符合预设车型库中型号的车辆作为标定物，不需设置额外的标定板等，可有效降低对标定数据的获取难度，也能有效提高摄像头标定数据的准确性和可靠性，且便于提高后续对摄像头进行标定的效率和有效性。

Description

一种交通摄像头标定方法及装置

技术领域

本发明涉及相机标定技术领域，具体而言，涉及一种交通摄像头的标定方法及装置。

背景技术

随着现代计算机技术的快速发展，逐渐形成了一门新兴的技术：机器 视觉技术，其主要用计算机来模拟人的视觉功能从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制等领域。而智能监控就是机器视觉的一个重要的应用领域，其用计算机控制的摄像头代替人来进行相关的监控，通过对连续的视频图像进行分析处理，最终实现智能监控的效果。例如交通场景下的车辆监控，已成为现代智能安防系统中重要的一环。

空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机标定。标定过程就是确定摄像机的几何和光学参数，以及摄像机相对于世界坐标系的方位。由于标定精度的大小，直接影响着机器视觉的精度。因此，摄像机标定是智能监控中一个重要的环节和必须解决的问题。

现有的相机标定主要采用张正友标定法，对于交通监控摄像头还使用车道线的消失点进行标定。但是张正友标定法依赖于特定已知尺寸的平面棋盘格标定板，监控摄像头通常距离地面距离比较大，因而必须使用更大的棋盘格，然而在交通道路上放置大型标定板不方便也不安全。使用道路上的消失点去标定则需要确定车道线方向的一个消失点和垂直于车道线方向的另一个消失点，但是垂直于车道线方向的消失点不容易检测，同时对于比较复杂的路边上沿车道方向的消失点也不好确定。且在上述各种标定方法中都需要去估计相机内参初值，只适用于特定的条件，对于复杂变化的交通场景，监控摄像头的内参值通常无法直接获得也不容易计算获得。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的，本发明第一方面的实施例提供了一种交通摄像头的标定数据获取方法，其包括：

从交通监控视频中获取预设车型库中多个车辆的图片序列；

根据所述预设车型库确定每个所述车辆的多个关键点对应的三维坐标；

根据所述三维坐标确定每个所述关键点在所述图片序列中对应的二维坐标，将每个所述关键点的所述三维坐标和对应的所述二维坐标确定为所述交通摄像头标定数据。

进一步地，所述预设车型库包含多个车型的3D模型，每个所述车型的3D模型包含多个所述关键点。

进一步地，所述从交通监控视频中获取预设车型库中多个车辆的图片序列包括：

将所述交通监控视频输入预训练的车辆分类模型；

所述车辆分类模型从所述交通监控视频中获取符合所述预设车型库中所包含车型的多个所述车辆的图片序列。

进一步地，所述根据所述预设车型库确定每个所述车辆的多个关键点对应的三维坐标包括：

在所述预设车型库中根据每个所述车辆构建对应的汽车坐标系；

根据所述汽车坐标系来确定每个所述车辆的多个所述关键点在每个所述车辆的汽车坐标系下对应的所述三维坐标。

进一步地，所述根据所述三维坐标确定每个所述关键点在所述图片序列中对应的二维坐标包括：

将所述图片序列输入预训练的关键点检测模型，其中，所述关键点检测模型的输入为所述图片序列，输出为所述图片序列中所包含车辆的多个所述关键点的三维坐标；

获取所述关键点检测模型输出的所述三维坐标；

确定所述三维坐标在所述图片序列的二维坐标系下对应的所述二维坐标。

进一步地，所述关键点检测模型的输出还包括：得到所述关键点检测模型输出的每个所述关键点在所述图片序列中的可见性。

进一步地，将所述可见性小于预设阈值的关键点确定为不可见关键点，并将所述不可见关键点的所述三维坐标和对应的所述二维坐标从所述交通摄像头标定数据中删除。

为达上述目的，本发明第二方面的实施例还提供了一种交通摄像头的标定数据获取装置，其包括：

获取模块，用于从交通监控视频中获取预设车型库中多个车辆的图片序列；

处理模块，用于根据所述预设车型库确定每个所述车辆的多个关键点对应的三维坐标；

确定模块，用于根据所述三维坐标确定每个所述关键点在所述图片序列中对应的二维坐标，将每个所述关键点的所述三维坐标和对应的所述二维坐标确定为所述交通摄像头标定数据。

使用本发明的交通摄像头的标定数据获取方法或装置，通过交通摄像头本身所拍摄的监控图像获取符合预设车型库中型号的车辆的图片序列，并根据预设车型库确定车辆多个关键点的三维坐标，再确定该车辆的多个关键点对应的二维坐标，由此获得交通摄像头的标定数据。本发明不需设置额外的标定板等，采用自身拍摄的监控视频中的车辆作为标定物，有效降低对标定数据的获取难度，也能有效提高相机标定数据的准确性和可靠性，便于提高后续对相机进行标定的效率和有效性。

为达上述目的，本发明第三方面的实施例提供了一种交通摄像头的标定方法，其包括：

获取所述交通摄像头的标定数据，所述标定数据包括车辆多个关键点的三维坐标和对应的二维坐标，采用如上所述的交通摄像头的标定数据获取方法进行获取；

根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程；

根据所述方程确定所述内参矩阵和所述外参矩阵，完成对所述交通摄像头的标定。

进一步地，所述坐标系转换包括道路坐标系到所述交通摄像头坐标系的转换，以及车辆坐标系到所述道路坐标系的转换，其中，所述外参矩阵表示所述道路坐标系到所述交通摄像头的坐标系的转换。

进一步地，所述道路坐标系以所述交通摄像头到地平面的法线交点为原点，以道路前进方向为x方向，以竖直朝向天空的方向为z方向，以所述地平面上与所述x方向垂直的方向为y方向。

进一步地，车辆在所述道路坐标系的位置由多个变量表示，其中，多个所述变量包括表示所述车辆在所述道路坐标系的水平平移的变量，以及表示所述车辆在所述道路坐标系的偏航角的变量。

进一步地，所述根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程包括构建如下方程：

其中，K表示所述内参矩阵，[RT]_{road}表示所述外参矩阵，[RT]_{vehi}表示第i辆车从车辆坐标系到道路坐标系的转换矩阵，P_{3d} 表示所述三维坐标的矩阵，s表示系数，P_{2d}表示对应的所述二维坐标的矩阵。

进一步地，所述根据所述方程确定所述内参矩阵和所述外参矩阵包括：采用非线性的最小二乘法对所述方程进行优化求解，确定所述内参矩阵和所述外参矩阵。

进一步地，所述根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程之后，还包括：根据车辆的每一帧图像建立所述方程，根据不同车辆的不同方程进行联合优化，确定一个新的内参矩阵进行后续处理。

为达上述目的，本发明第四方面的实施例提供了一种交通摄像头的标定装置，其包括：

数据模块，用于获取所述交通摄像头的标定数据，所述标定数据包括车辆关键点的三维坐标和对应的二维坐标，采用如上所述的交通摄像头的标定数据获取方法进行获取；

构建模块，用于根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程；

标定模块，用于采用非线性的最小二乘法根据所述方程确定所述内参矩阵和所述外参矩阵，完成对所述交通摄像头的标定。

使用本发明的交通摄像头的标定方法或装置，通过。

为达上述目的，本发明第五方面的实施例提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现根据本发明第一方面所述的交通摄像头的标定数据获取方法或实现根据本发明第三方面所述的交通摄像头的标定方法。

为达上述目的，本发明第六方面的实施例提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据本发明第一方面所述的交通摄像头的标定数据获取方法或实现根据本发明第三方面所述的交通摄像头的标定方法。

根据本发明的非临时性计算机可读存储介质和计算设备，具有与根据本发明第一方面的交通摄像头的标定数据获取方法或与根据本发明第三方面的交通摄像头的标定方法具有类似的有益效果，在此不再赘述。

附图说明

图1为现有技术中张正友标定法的原理示意图；

图2为根据本发明实施例的交通摄像头的标定数据获取方法的流程示意图；

图3为根据本发明实施例的车辆3D模型的示意图；

图4为根据本发明实施例的确定对应二维坐标的流程示意图；

图5为根据本发明实施例的确定对应二维坐标的效果示意图；

图6为根据本发明实施例的交通摄像头的标定数据获取装置的结构示意图；

图7为根据本发明实施例的交通摄像头的标定方法的流程示意图；

图8为根据本发明实施例的交通摄像头的标定装置的结构示意图；

图9为根据本发明实施例的计算设备的结构示意图。

具体实施方式

下面将参照附图详细描述根据本发明的实施例，描述涉及附图时，除非另有表示，不同附图中的相同附图标记表示相同或相似的要素。要说明的是，以下示例性实施例中所描述的实施方式并不代表本发明的所有实施方式。它们仅是与如权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，本发明的范围并不局限于此。在不矛盾的前提下，本发明各个实施例中的特征可以相互组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在机器视觉系统中，空间物体的位置、形状和尺寸等信息都是从摄像机获取的图像信息中计算而得到的。为了得到空间点与摄像机图像像素点准确的相互对应关系，必须要对摄像机进行标定。摄像机标定就是计算得到摄像机内部的几何和光学特性即内部参数，以及摄像机坐标系和世界坐标系的相对关系即外部参数。建立合适的摄像机数学模型，得到二维图像坐标和三维世界坐标之间的关系，就可以计算出摄像机的内外参数，实现摄像机的标定。

图1所示为现有技术中张正友标定法的原理示意图。在现有的张正友标定法中，使用棋盘格作为标定物，拍摄若干张图片，该标定物中每个格子的尺寸是事先确定的，棋盘格角点也可以通过计算机视觉方法计算出。有了标定物的三维空间点集，以及其对应的图像坐标点集，便可以通过最小二乘法优化出相机内参以及每张图片中棋盘格相对于相机的空间位置。

而智能视频监控场景，例如道路交通监控场景要求用尽量简单常见的标定参照物、用尽量快速简便的方法完成摄像机的标定操作。现有的基于二维标定板的标定算法，尽管标定精度较高，但不符合上述要求。因此本发明提供一种交通摄像头的标定数据获取方法以及交通摄像头的标定方法，不需要使用棋盘格作为标定物，通过从交通摄像头自身所拍摄的监控视频中获取有效车辆作为标定物，确定车辆的多个关键点的三维坐标和对应的二维坐标作为标定数据，并根据坐标系转换计算出摄像机的内外参数，有效提高交通摄像头标定的简便性和可靠性。

图2所示为根据本发明实施例的交通摄像头的标定数据获取方法的流程示意图，包括步骤S11至S13。

在步骤S11中，从交通监控视频中获取预设车型库中多个车辆的图片序列。在本发明实施例中，所述预设车型库包含多个车型的3D模型，每个所述车型的3D模型包含多个所述关键点。图3所示为根据本发明实施例的车辆3D模型的示意图，在本发明实施例中，所述预设车型库包含若干种细分车型（不同车辆的品牌年款，例如大众帕萨特2018款等）的3D模型，每个3D模型包含多个（例如78个）关键点，例如选取车辆挡风玻璃的四个角点、车门把手点、车灯四周的角点等较为显著的特征点作为关键点。

在本发明实施例中，所述从交通监控视频中获取预设车型库中多个车辆的图片序列包括：将所述交通监控视频输入预训练的车辆分类模型，所述车辆分类模型从所述交通监控视频中获取符合所述预设车型库中所包含车型的多个所述车辆的图片序列。可以理解的是，所述预训练的车辆分类模型可为采用常规训练方法获得，其可根据交通监控视频进行目标检测、跟踪以及车辆品牌年款分类，从所述交通监控视频中获取预设车型库中所保存了对应信息的多个车辆的图片序列。

可以理解的是，在本发明其他实施例中，所述从交通监控视频中获取预设车型库中多个车辆的图片序列也可由人工标注完成。

在步骤S12中，根据所述预设车型库确定每个所述车辆的多个关键点对应的三维坐标。在本发明实施例中，所述根据所述预设车型库确定每个所述车辆的多个关键点对应的三维坐标包括：在所述预设车型库中根据每个所述车辆构建对应的汽车坐标系，并根据所述汽车坐标系来确定每个所述车辆的多个所述关键点在每个所述车辆的汽车坐标系下对应的所述三维坐标。

在本发明实施例中，将所述汽车坐标系的原点设置在车头中心点，x方向为车头到车尾的方向，y方向为左右方向，z方向为竖直方向。则多个关键点对应的三维坐标表示为78个按照一定顺序排列的(x, y, z)的坐标。可以理解的是，本发明对汽车坐标系的构建方法不做限定，能得到车辆各关键点的三维坐标即可。在本发明实施例中，所述多个关键点在汽车坐标系下的三维坐标的获取的方法有很多，例如从车辆CAD模型中获取或由人工测量等。

在步骤S13中，根据所述三维坐标确定每个所述关键点在所述图片序列中对应的二维坐标，将每个所述关键点的所述三维坐标和对应的所述二维坐标确定为所述交通摄像头标定数据。图4所示为根据本发明实施例的确定对应二维坐标的流程示意图，包括步骤S41至S43。

在步骤S41中，将所述图片序列输入预训练的关键点检测模型，其中，所述关键点检测模型的输入为所述图片序列，输出为所述图片序列中所包含车辆的多个所述关键点的三维坐标。在本发明实施例中，可使用预训练的类似人脸关键点、人体骨骼点的检测模型对上述步骤获取的不同车辆的图片序列进行检测，确定图片序列中匹配车辆的各关键点。

在步骤S42中，获取所述关键点检测模型输出的所述三维坐标。

在步骤S43中，确定所述三维坐标在所述图片序列的二维坐标系下对应的所述二维坐标。在本发明实施例中，将图片序列输入预训练的关键点检测模后，该模型的输出为车辆的多个关键点的位置，即在图片序列的二维坐标系下对应的二维坐标。

图5所示为根据本发明实施例的确定对应二维坐标的效果示意图，在本发明实施例中，例如以输入图像的左上角为原点建立二维坐标系，可以得到图中车辆的多个关键点的对应的二维坐标。可以理解的是，本发明对输入的图片序列的二维坐标系的构建方式不做限定，可确定图中车辆各关键点的二维坐标即可。

在本发明实施例中，所述关键点检测模型的输出还包括：得到所述关键点检测模型输出的每个所述关键点在所述图片序列中的可见性（即置信度）。对于其中可见性较低的关键点（即所述可见性小于预设阈值的关键点），不将其三维坐标和对应的二维坐标继续用于后续计算中，即将所述可见性小于预设阈值的关键点确定为不可见关键点，并将所述不可见关键点的所述三维坐标和对应的所述二维坐标从所述交通摄像头标定数据中删除。

例如图5所示，如果是汽车正脸的图片，那么车尾灯、后挡风玻璃相关的关键点不可见，就会预测为低置信度（即可见性小于预设阈值），则该些低置信度的关键点将不参与后续计算，即不作为交通摄像头的标定数据。

在本发明实施例中，确定了车辆多个关键点的三维坐标和对应的二维坐标后，即可作为交通摄像头的标定数据，用于对所述交通摄像头的标定了。

采用本发明实施例的交通摄像头的标定数据获取方法，通过交通摄像头本身所拍摄的监控图像获取符合预设车型库中型号的车辆的图片序列，并根据预设车型库确定车辆多个关键点的三维坐标，再确定该车辆的多个关键点对应的二维坐标，由此获得交通摄像头的标定数据。本发明不需设置额外的标定板等，采用自身拍摄的监控视频中的车辆作为标定物，有效降低对标定数据的获取难度，也能有效提高相机标定数据的准确性和可靠性，便于提高后续对相机进行标定的效率和有效性。

本发明第二方面的实施例还提供了一种交通摄像头的标定数据获取装置。图6所示为根据本发明实施例的交通摄像头的标定数据获取装置600的结构示意图，包括获取模块601、处理模块602以及确定模块603。

获取模块601用于从交通监控视频中获取预设车型库中多个车辆的图片序列。

处理模块602用于根据所述预设车型库确定每个所述车辆的多个关键点对应的三维坐标。

确定模块603用于根据所述三维坐标确定每个所述关键点在所述图片序列中对应的二维坐标，将每个所述关键点的所述三维坐标和对应的所述二维坐标确定为所述交通摄像头标定数据。

在本发明实施例中，所述获取模块601包括车辆分类单元6011（图中未示出），用于根据预训练的车辆分类模型，从所述交通监控视频中获取符合所述预设车型库中所包含车型的多个所述车辆的图片序列。

所述处理模块602包括三维坐标确定单元6021（图中未示出），用于根据每个所述车辆在所述预设车型库中的信息，来确定多个所述关键点在每个所述车辆的汽车坐标系下对应的所述三维坐标。

所述确定模块603包括输入单元6031（图中未示出），用于将所述图片序列输入预训练的关键点检测模型；还包括二维坐标确定单元6032（图中未示出），用于得到所述关键点检测模型输出的所述三维坐标在所述图片序列的二维坐标系下对应的所述二维坐标；还包括可见性确定单元6033（图中未示出），用于得到所述关键点检测模型输出的每个所述关键点在所述图片序列中的可见性。

所述交通摄像头的标定数据获取装置600的各个模块的更具体实现方式可以参见对于本发明的交通摄像头的标定数据获取方法的描述，且具有与之相似的有益效果，在此不再赘述。

可选地，图6所示交通摄像头的标定数据获取装置600还可以包括训练模块，用于执行对如上所述各模型的预训练。

本发明第三方面的实施例提出了一种交通摄像头的标定方法。图7所示为根据本发明实施例的交通摄像头的标定方法的流程示意图，包括步骤S71至S73。

在步骤S71中，获取所述交通摄像头的标定数据，所述标定数据包括车辆多个关键点的三维坐标和对应的二维坐标，采用如上所述的交通摄像头的标定数据获取方法进行获取。在本发明实施例中，将车辆多个关键点在汽车坐标系下的三维坐标的矩阵记为P_{3d}，将多个所述关键点的三维坐标在图片序列中所对应的二维坐标的矩阵记为P_{2d}。

在步骤S72中，根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程。在本发明实施例中，将所述内参矩阵记为K，将所述外参矩阵记为[RT]_{road}。所述坐标系转换包括道路坐标系到所述交通摄像头坐标系的转换，以及车辆坐标系到所述道路坐标系的转换，其中，道路坐标系到交通摄像头坐标系的转换矩阵即为所述外参矩阵[RT] _{road}，将车辆坐标系到道路坐标系的转换矩阵记为[RT]_{veh}。

在本发明实施例中，将一般交通监控场景下的道路简化为一个平面，忽略道路表面的弯曲，则道路上的车辆可以认为完全贴合在道路平面上。基于此构建一个道路坐标系，所述道路坐标系以所述交通摄像头到地平面的法线交点为原点，以道路前进方向为x方向，以竖直朝向天空的方向为z方向，以所述地平面上与所述x方向垂直的方向为y方向。

在本发明实施例中，车辆在所述道路坐标系的位置由多个变量表示，其中，多个所述变量包括表示所述车辆在所述道路坐标系的水平平移的变量，以及表示所述车辆在所述道路坐标系的偏航角的变量。在本发明实施例中，将道路上的车辆建模为处于一个道路平面上的3自由度的物体，则车辆在道路坐标系的位置可以由3个变量来表示：(x, y, a)，其中，x、y表示车辆在道路上的水平平移，a表示车辆在道路坐标系下的偏航角，而车辆的竖直平移、俯仰角、滚转角都可以认为是0。在本发明实施例中，所述偏航角采用欧拉角表示，将第i辆车从车辆坐标系到道路坐标系变换为旋转矩阵表示，记为[RT]_{vehi}。

在本发明实施例中，获取了多个关键点的三维坐标和对应的二维坐标后，基于坐标系转换可构建包含所述交通摄像头的内参矩阵和外参矩阵的方程如下所示：

K[RT] P_{3d} = sP_{2d}

其中，[RT]表示车辆坐标系到交通摄像头坐标系的变换矩阵，s表示用于完成归一化的系数。

在本发明实施例中，变换矩阵[RT]可以拆解为从车辆坐标系到道路坐标系的变换矩阵[RT]_{veh}左乘从道路坐标系到交通摄像头坐标系的变换矩阵[RT]_{road}（即交通摄像头的外参矩阵），由此可以得到一组新的方程如下所示：

其中，[RT]_{vehi}表示第i辆车从车辆坐标系到道路坐标系的变换矩阵。

在本发明实施例中，所述根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程之后，还包括：根据车辆的每一帧图像建立所述方程，根据不同车辆的不同方程进行联合优化，确定一个新的内参矩阵进行后续处理。

在本发明实施例中，当分析了一段交通摄像头的监控视频之后，可以获得多个有效车辆，根据每一辆车的每一帧图像都可依据上述方式建立一个方程。则在多个不同车辆构建的方程中，所述变换矩阵[RT]不同，但是相机的内参矩阵K是相同的。由此，通过多个方程的联合优化，可以解得一个更精确的内参矩阵K_{1}。使用上述更精确的内参矩阵K_{1}进行后续计算处理，可以提高对所述交通摄像头的标定的准确度。可以理解的是，所述联合优化可采用非线性的最小二乘法，例如Levenberg-Marquardt方法进行优化。

在步骤S73中，根据所述方程确定所述内参矩阵和所述外参矩阵，完成对所述交通摄像头的标定。在本发明实施例中，根据上述方程，可采用非线性的最小二乘法例如Levenberg-Marquardt（LM）方法进行优化求解，即可得到所述交通摄像头的内参矩阵K和外参矩阵[RT]_{road}，完成对交通摄像头的标定。

可以理解的是，在本发明实施例中，基于上述方程进行优化求解后，还可以得到车辆从车辆坐标系到道路坐标系的变换矩阵[RT]_{vehi}，可用于实现基于单目视频的车辆三维姿态估计。

采用本发明实施例的交通摄像头的标定方法，通过对监控视频进行车辆关键点提取，获得车辆关键点的三维坐标和对应的二维坐标，并根据坐标系转换构建关于交通摄像头内外参数矩阵的方程，通过优化算法求解方程，得到交通摄像头内外参数矩阵，完成对交通摄像头的标定。本发明基于对交通摄像头本身拍摄的监控视频进行标定数据提取，并建立多个转换坐标系来完成车辆关键点的对应坐标的转换，由此求解交通摄像头的内外参数，可有效提升对摄像头的标定准确度。

本发明第四方面的实施例提出了一种交通摄像头的标定装置。图8所示为根据本发明实施例的交通摄像头的标定装置800的结构示意图，包括数据模块801、构建模块802以及标定模块803。

数据模块801用于获取所述交通摄像头的标定数据，所述标定数据包括车辆关键点的三维坐标和对应的二维坐标，采用如上所述的交通摄像头的标定数据获取方法进行获取。

构建模块802用于根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程。

标定模块803用于采用非线性的最小二乘法根据所述方程确定所述内参矩阵和所述外参矩阵，完成对所述交通摄像头的标定。

在本发明实施例中，所述构建模块802包括坐标系转换单元8021（图中未示出），用于完成道路坐标系到所述交通摄像头坐标系的转换，以及车辆坐标系到所述道路坐标系的转换。

在本发明实施例中，交通摄像头的标定装置800还可以包括优化模块804（图中未示出），用于根据车辆的每一帧图像建立所述方程，根据不同车辆的不同方程进行联合优化，确定一个新的内参矩阵进行后续处理。

所述交通摄像头的标定装置800的各个模块的更具体实现方式可以参见对于本发明的交通摄像头的标定方法的描述，且具有与之相似的有益效果，在此不再赘述。

可选地，图8所示的交通摄像头的标定装置800还可以包括训练模块，用于执行对如上所述各模型的预训练。

本发明第五方面的实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现根据本发明第一方面所述的交通摄像头的标定数据获取方法或实现根据本发明第三方面所述的交通摄像头的标定方法。

一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

本发明第六方面的实施例提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据本发明第一方面所述的交通摄像头的标定数据获取方法或实现根据本发明第三方面所述的交通摄像头的标定方法。

根据本发明第五、六方面的非临时性计算机可读存储介质和计算设备，可以参照根据本发明第一方面实施例或第三方面实施例具体描述的内容实现，并具有与根据本发明第一方面实施例的交通摄像头的标定数据获取方法或第三方面实施例的交通摄像头的标定方法具有类似的有益效果，在此不再赘述。

图9示出了适于用来实现本公开的实施方式的示例性计算设备的框图。图9显示的计算设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，计算设备900可以通用计算设备的形式实现。计算设备900的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（Industry StandardArchitecture；以下简称：ISA）总线，微通道体系结构（Micro Channel Architecture；以下简称：MAC）总线，增强型ISA总线、视频电子标准协会（Video Electronics StandardsAssociation；以下简称：VESA）局域总线以及外围组件互连（PeripheralComponentInterconnection；以下简称：PCI）总线。

计算设备900典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备900访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（Random Access Memory；以下简称：RAM）30和/或高速缓存存储器32。计算设备900可以进一步包括其它可移动/不可移动的、易失性/非易失性的计算机可读存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图中未显示，通常称为“硬盘驱动器”）。尽管图9中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如：光盘只读存储器（Compact Disc Read OnlyMemory；以下简称：CD-ROM）、数字多功能只读光盘（Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM）或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。

计算设备900也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，计算设备900还可以通过网络适配器20与一个或者多个网络（例如局域网（Local Area Network；以下简称：LAN），广域网（Wide Area Network；以下简称：WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器20通过总线18与计算设备900的其它模块通信。要说明的是，尽管图中未示出，可以结合计算设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

本发明的计算设备可以是服务器，也可以有限算力的终端设备。

尽管上面已经示出和描述了本发明的实施例，应当理解的是，上述实施例是示例性的，不能解释为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种交通摄像头标定方法，其特征在于，包括：

从交通监控视频中获取预设车型库中多个车辆的图片序列；

根据所述预设车型库确定每个所述车辆的多个关键点对应的三维坐标；

根据所述三维坐标确定每个所述关键点在所述图片序列中对应的二维坐标，将每个所述关键点的所述三维坐标和对应的所述二维坐标确定为所述交通摄像头标定数据；

所述根据所述预设车型库确定每个所述车辆的多个关键点对应的三维坐标包括：

在所述预设车型库中根据每个所述车辆构建对应的汽车坐标系；

根据所述汽车坐标系来确定每个所述车辆的多个所述关键点在所述汽车坐标系下对应的所述三维坐标

获取所述交通摄像头的标定数据，所述标定数据包括车辆多个关键点的三维坐标和对应的二维坐标；

根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程；

根据所述方程确定所述内参矩阵和所述外参矩阵，完成对所述交通摄像头的标定；

所述坐标系转换包括道路坐标系到所述交通摄像头坐标系的转换，以及车辆坐标系到所述道路坐标系的转换，其中，所述外参矩阵表示所述道路坐标系到所述交通摄像头的坐标系的转换。

2.根据权利要求1所述的交通摄像头标定方法，其特征在于，所述预设车型库包含多个车型的3D模型，每个所述车型的3D模型包含多个所述关键点。

3.根据权利要求1所述的交通摄像头标定方法，其特征在于，所述从交通监控视频中获取预设车型库中多个车辆的图片序列包括：

将所述交通监控视频输入预训练的车辆分类模型；

所述车辆分类模型从所述交通监控视频中获取符合所述预设车型库中所包含车型的多个所述车辆的图片序列。

4.根据权利要求1-3中任一项所述的交通摄像头标定方法，其特征在于，所述根据所述三维坐标确定每个所述关键点在所述图片序列中对应的二维坐标包括：

将所述图片序列输入预训练的关键点检测模型，其中，所述关键点检测模型的输入为所述图片序列，输出为所述图片序列中所包含车辆的多个所述关键点的三维坐标；

获取所述关键点检测模型输出的所述三维坐标；

确定所述三维坐标在所述图片序列的二维坐标系下对应的所述二维坐标。

5.根据权利要求4所述的交通摄像头标定方法，其特征在于，所述关键点检测模型的输出还包括：每个所述关键点在所述图片序列中的可见性。

6.根据权利要求5所述的交通摄像头标定方法，其特征在于，将所述可见性小于预设阈值的关键点确定为不可见关键点，并将所述不可见关键点的所述三维坐标和对应的所述二维坐标从所述交通摄像头标定数据中删除。

7.根据权利要求1所述的交通摄像头标定方法，其特征在于，所述道路坐标系以所述交通摄像头到地平面的法线交点为原点，以道路前进方向为x方向，以竖直朝向天空的方向为z方向，以所述地平面上与所述x方向垂直的方向为y方向。

8.根据权利要求1所述的交通摄像头标定方法，其特征在于，车辆在所述道路坐标系的位置由多个变量表示，其中，多个所述变量包括表示所述车辆在所述道路坐标系的水平平移的变量，以及表示所述车辆在所述道路坐标系的偏航角的变量。

9.根据权利要求1所述的交通摄像头标定方法，其特征在于，所述根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程包括构建如下方程：

其中，K表示所述内参矩阵，[RT]_{road}表示所述外参矩阵，[RT]_{vehi}表示第i辆车从车辆坐标系到道路坐标系的转换矩阵，P_{3d} 表示所述三维坐标的矩阵，s表示系数，P_{2d}表示对应的所述二维坐标的矩阵。

10.根据权利要求1所述的交通摄像头标定方法，其特征在于，所述根据所述方程确定所述内参矩阵和所述外参矩阵包括：采用非线性的最小二乘法对所述方程进行优化求解，确定所述内参矩阵和所述外参矩阵。

11.根据权利要求1-3中任一项所述的交通摄像头标定方法，其特征在于，所述根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程之后，还包括：根据车辆的每一帧图像建立所述方程，根据不同车辆的不同方程进行联合优化，确定一个新的内参矩阵进行后续处理。

12.一种交通摄像头的标定装置，其特征在于，包括：

获取模块，用于从交通监控视频中获取预设车型库中多个车辆的图片序列；

处理模块，用于根据所述预设车型库确定每个所述车辆的多个关键点对应的三维坐标，包括：在所述预设车型库中根据每个所述车辆构建对应的汽车坐标系，根据所述汽车坐标系来确定每个所述车辆的多个所述关键点在所述汽车坐标系下对应的所述三维坐标；

确定模块，用于根据所述三维坐标确定每个所述关键点在所述图片序列中对应的二维坐标，将每个所述关键点的所述三维坐标和对应的所述二维坐标确定为所述交通摄像头标定数据；

数据模块，用于获取所述交通摄像头的标定数据，所述标定数据包括车辆关键点的三维坐标和对应的二维坐标；

构建模块，用于根据所述三维坐标和对应的所述二维坐标以及坐标系转换来构建包含所述交通摄像头的内参矩阵和外参矩阵的方程；

标定模块，用于采用非线性的最小二乘法根据所述方程确定所述内参矩阵和所述外参矩阵，完成对所述交通摄像头的标定；

所述坐标系转换包括道路坐标系到所述交通摄像头坐标系的转换，以及车辆坐标系到所述道路坐标系的转换，其中，所述外参矩阵表示所述道路坐标系到所述交通摄像头的坐标系的转换。

13.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1-11中任一项所述的交通摄像头标定方法。

14.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现根据权利要求1-11中任一项所述的交通摄像头标定方法。

Images