CN112950725A

CN112950725A - 一种监控相机参数标定方法及装置

Info

Publication number: CN112950725A
Application number: CN202110301461.2A
Authority: CN
Inventors: 林涛; 陈振武; 张枭勇; 张炳振; 刘宇鸣
Original assignee: Shenzhen Urban Transport Planning Center Co Ltd
Current assignee: Shenzhen Urban Transport Planning Center Co Ltd
Priority date: 2021-03-22
Filing date: 2021-03-22
Publication date: 2021-06-11

Abstract

本发明提供了一种监控相机参数标定方法及装置，涉及智能交通技术领域，包括：获取监控相机的监控视频；根据监控视频进行目标识别，确定指向第一消失点的第一线段集和指向第二消失点的第二线段集；根据第一线段集确定第一消失点的坐标，以及根据第二线段集确定第二消失点的坐标；根据第一消失点的坐标和第二消失点的坐标确定监控相机的焦距，并根据焦距确定所述监控相机的内参矩阵和第三消失点的坐标；根据三个消失点的坐标和内参矩阵确定监控相机的旋转矩阵；根据监控视频中图像的中心点、内参矩阵和旋转矩阵确定监控相机的平移向量。本发明通过对监控视频进行目标检测后自动化确定消失点，并根据消失点实现完全自动化部署相机参数标定。

Description

一种监控相机参数标定方法及装置

技术领域

本发明涉及智能交通技术领域，具体而言，涉及一种监控相机参数标定方法及装置。

背景技术

随着现代社会科技的高速发展，道路交通规模不断扩大，人们的出行越来越便捷，但与此同时也带来了不少负面影响，例如交通事故数量在逐年增长。为了减小交通问题对人们出行造成的影响，同时提高道路管理效率，各种智能交通产品应运而生，其中以视频检测技术因具有简单便捷、直观性强、成本低廉等优势，而最受重视，成为智能交通系统发展的重要研究方向。

现有技术中，在高点或道路侧面安装监控相机拍摄道路状况的场景中，在检测各种交通事件时，为了提高检测精度以及理解场景，需要获取交通参与者的尺寸，速度以及相互间位置关系等，需要对监控相机进行标定，从而建立一个从图像的像素到世界坐标系的准确映射关系。而在大规模的路侧相机部署中，需要尽量减少人工干预以提高效率并确保安全，目前具有工程可行性的方法为基于正交消失点的标定法，但是现有的基于正交消失点标定相机参数的方法复杂度高、效率低下，难以实现大规模的工程性部署。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的，第一方面，本发明提供了一种监控相机参数标定方法，其包括：

获取监控相机的监控视频；

根据所述监控视频进行目标识别，确定指向第一消失点的第一线段集和指向第二消失点的第二线段集；

根据所述第一线段集确定所述第一消失点的坐标，以及根据所述第二线段集确定所述第二消失点的坐标；

根据所述第一消失点的坐标和所述第二消失点的坐标确定所述监控相机的焦距，并根据所述焦距确定所述监控相机的内参矩阵，以及根据所述第一消失点的坐标和所述第二消失点的坐标确定第三消失点的坐标，其中，三个所述消失点两两正交；

根据三个所述消失点的坐标和所述内参矩阵确定所述监控相机的旋转矩阵；

根据所述监控视频中图像的中心点、所述内参矩阵和所述旋转矩阵确定所述监控相机的平移向量。

进一步地，所述根据所述监控视频进行目标识别，确定指向第一消失点的第一线段集和指向第二消失点的第二线段集包括：

根据所述监控视频进行车辆识别，确定车辆的轨迹线段和车灯连线段；

根据所述轨迹线段确定所述第一线段集，以及根据所述车灯连线段确定所述第二线段集。

进一步地，所述根据所述监控视频进行车辆识别，确定车辆的轨迹线段和车灯连线段包括：

根据所述监控视频进行逐帧分析，确定每一帧的车辆检测框；

根据所述车辆检测框确定车辆的所述轨迹线段；

根据所述车辆检测框进行车灯提取，并根据所述车灯提取的结果确定所述车灯连线段。

进一步地，所述根据所述车辆检测框确定车辆的所述轨迹线段包括：

根据所述车辆检测框确定车辆的质心；

根据所述质心确定所述车辆的所述轨迹线段。

进一步地，所述根据所述轨迹线段确定第一线段集包括：

判断所述轨迹线段是否满足预设条件；

根据所有满足所述预设条件的轨迹线段确定所述第一线段集。

进一步地，所述根据所述第一消失点的坐标和所述第二消失点的坐标确定所述监控相机的焦距，并根据所述焦距确定所述监控相机的内参矩阵，以及根据所述第一消失点的坐标和所述第二消失点的坐标确定第三消失点的坐标包括：

根据所述监控视频中的图像构建像素坐标系，确定所述监控相机的相机光心在所述像素坐标系中的像素坐标；

确定所述第一消失点和所述第二消失点在所述像素坐标系的像素坐标；

根据所述相机光心、所述第一消失点和所述第二消失点的所述像素坐标确定相机焦距，并根据所述焦距确定所述监控相机的内参矩阵；

根据所述相机光心、所述第一消失点、所述第二消失点在世界坐标系下的坐标和所述相机焦距确定所述第三消失点的坐标。

进一步地，所述根据三个所述消失点的坐标和所述内参矩阵确定所述监控相机的旋转矩阵包括：

根据三个所述消失点的坐标和对应的尺度参数，确定三个所述消失点与所述旋转矩阵的线性关系；

根据所述线性关系求解所述旋转矩阵。

进一步地，所述根据所述监控视频中图像的中心点、所述内参矩阵和所述旋转矩阵确定所述监控相机的平移向量包括：

将所述监控视频中图像的所述中心点的地平面位置确定为世界坐标系的原点，构建相机坐标系与世界坐标系的转换方程；

根据所述转换方程求解所述平移向量。

进一步地，所述根据所述转换方程求解所述平移向量包括：

根据所述监控相机的安装高度代入所述转换方程求解所述平移向量；或

根据所述监控视频中地平面任意两点在像素坐标系中的坐标，以及所述两点的实际水平距离差代入所述转换方程求解所述平移向量；或

根据所述监控视频中垂直地平面任意两点在像素坐标系中的坐标，以及所述两点的实际垂直高度差代入所述转换方程求解所述平移向量。

为达上述目的，第二方面，本发明提供了一种监控相机参数标定装置，其包括：

获取模块，用于获取监控相机的监控视频；

消失点确定模块，用于根据所述监控视频进行目标识别，确定指向第一消失点的第一线段集和指向第二消失点的第二线段集；还用于根据所述第一线段集确定所述第一消失点的坐标，以及根据所述第二线段集确定所述第二消失点的坐标；

参数标定模块，用于根据所述第一消失点的坐标和所述第二消失点的坐标确定所述监控相机的焦距，并根据所述焦距确定所述监控相机的内参矩阵，以及根据所述第一消失点的坐标和所述第二消失点的坐标确定第三消失点的坐标，其中三个所述消失点两两正交；还用于根据三个所述消失点的坐标和所述内参矩阵确定所述监控相机的旋转矩阵；还用于根据所述监控视频中图像的中心点、所述内参矩阵和所述旋转矩阵确定所述监控相机的平移向量。

使用本发明的监控相机参数标定方法或装置，通过对监控视频进行目标检测，根据指向消失点的线段集确定画面中的两个消失点，有效提高指向消失点的线段提取准确度，从而有效减小消失点计算结果的偏差，再根据两个消失点与相机光心确定第三个消失点，通过自动确定监控相机画面中的三个消失点，并根据三个消失点标定相机内参，且通过多种可选方式灵活标定相机外参，受环境参照限制小，适应于更多的应用场景，且不需要人工干预，易于实现大规模部署。且本发明根据标定结果和坐标转换，可估算图像中地平面上任意一点的位置、高度和运动速度等功能。

为达上述目的，第三方面，本发明提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现根据本发明第一方面所述的监控相机参数标定方法。

为达上述目的，第四方面，本发明提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据本发明第一方面所述的监控相机参数标定方法。

根据本发明的非临时性计算机可读存储介质和计算设备，具有与根据本发明第一方面的监控相机参数标定方法具有类似的有益效果，在此不再赘述。

附图说明

图1为根据本发明实施例的监控相机参数标定方法的流程示意图；

图2为根据本发明实施例的确定线段集的流程示意图；

图3为根据本发明实施例的确定车辆的轨迹线段和车灯连线段的流程示意图；

图4为根据本发明实施例的确定第一线段集的流程示意图；

图5为根据本发明实施例的根据车辆跟踪筛选的直线轨迹的示意图；

图6为根据本发明实施例的检测车辆的车头灯与车尾灯获取连线的示意图；

图7为根据本发明实施例的确定内参矩阵和第三消失点的坐标的流程示意图；

图8为根据本发明实施例的对监控视频自动确定消失点的示意图；

图9为根据本发明实施例的确定旋转矩阵的流程示意图；

图10为根据本发明实施例的确定平移向量的流程示意图；

图11为根据本发明实施例的以2米为单位绘制的地平面距离网格的示意图；

图12为根据本发明实施例的监控相机参数标定装置的结构示意图。

具体实施方式

下面将参照附图详细描述根据本发明的实施例，描述涉及附图时，除非另有表示，不同附图中的相同附图标记表示相同或相似的要素。要说明的是，以下示例性实施例中所描述的实施方式并不代表本发明的所有实施方式。它们仅是与如权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，本发明的范围并不局限于此。在不矛盾的前提下，本发明各个实施例中的特征可以相互组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在当前交通监控场景下，通过监控相机（摄像头）可以在高点或道路侧面拍摄道路状况，在深度学习快速发展的如今，可以通过深度神经网络检测场景中的车辆行人等交通参与者以及各种交通事件，但无法获取尺寸，速度以及空间信息。通过纯视觉的方法可以将图像坐标与世界坐标相互关联，例如张氏标定法等依赖标定板的方法，将标定板摆放到各个位置拍摄多张相片，将相机标定转化为一个PnP (Perspective-n-Point)问题，即根据给定空间n个点的相互位置关系，确定摄象机在空间的方位。另一类方法为通过相机在多个位置拍摄同一个点，基于相机的运动以及三点关系进行空间重构。这两类方法在上千路的摄像头部署场景下都不存在工程可行性。基于道路上的正交消失点标定相机参数的方法有着更高的灵活性，有自动化标定的潜力，然而现有的方法都无法做到无监督标定，需要大量的人工干预与测算。

本发明通过基于深度学习的目标检测方法提取指向消失点的线段集，并自动确定相机画面消失点，再基于消失点进行相机内、外参数标定，实现了基于侧拍或正拍的监控相机画面中相机参数的自动标定，且无需人工特征标注及调参等步骤，可高效快速地进行监控相机大规模的工程部署。

首先给出如下几个术语的定义，在下文中不再赘述：

消失点（VP点）：是指平行直线的交点。在物理空间中，平行的直线只能在无穷远处相交，因此VP点是无穷远处。但在透视图，两条平行线会很容易相交于一点，这一点即是VP点。

像素坐标系：像素坐标就是像素在图像中的位置。一般像素坐标系的左上角的顶点就是远点，水平向右是u轴，垂直向下是v轴。

世界坐标系：世界坐标系是图像与真实物体之间的一个映射关系。在单目视觉下是真实物体尺寸与图像尺寸的映射关系。

相机内参：内参是相机固有的属性，实际上就是焦距，像元尺寸。

相机外参：外参就是相机相对于世界坐标系的旋转和平移变换关系。

图1所示为根据本发明实施例的监控相机参数标定方法的流程示意图，包括步骤S1至S6。

在步骤S1中，获取监控相机的监控视频。在本发明实施例中，获取待标定的监控相机的监控视频，可录制一段监控视频中的视频画面，例如长度为5分钟，用于后续进行消失点自动确定。

在步骤S2中，根据所述监控视频进行目标识别，确定指向第一消失点的第一线段集和指向第二消失点的第二线段集。图2所示为根据本发明实施例的确定线段集的流程示意图，包括步骤S21至S22。

在步骤S21中，根据所述监控视频进行车辆识别，确定车辆的轨迹线段和车灯连线段。图3所示为根据本发明实施例的确定车辆的轨迹线段和车灯连线段的流程示意图，包括步骤S211至S213。

在步骤S211中，根据所述监控视频进行逐帧分析，确定每一帧的车辆检测框。在本发明实施例中，可将上述录制好的监控视频输入预训练好的目标检测模型中进行逐帧分析，确定每一帧图像中的车辆检测框。可以理解的是，所述预训练好的目标检测模型可采用例如Yolo V3等现有的目标检测模型，本发明并不以此为限。同样可以理解的是，每一帧图像中可能同时包含多个车辆检测框，将会根据后续算法进行处理。

在步骤S212中，根据所述车辆检测框确定车辆的所述轨迹线段。在本发明实施例中，根据所述车辆检测框确定车辆的质心，并根据所述质心确定所述车辆的所述轨迹线段。具体地，在本发明实施例中，确定T-1时刻的图像进行目标检测，确定其中包含的车辆检测框。然后基于前序帧的车辆运动状态，预测车辆在T时刻的位置，并提取车辆特征与空间信息进行匹配融合，根据融合位置预测与目标特征，更新车辆检测框，进行车辆跟踪。对所有的车辆检测框进行跟踪处理，确定车辆在车辆检测框中的质心，保存质心的连线作为车辆行驶的轨迹线段。例如可采用DeepSort模型对车辆进行跟踪，当车辆检测框接触到画面边缘时停止跟踪，防止出现由于只有部分车身导致的质心检测跳变，影响检测的准确度。对所有的车辆检测框进行跟踪处理后，保存所有的轨迹线段作为备选集进行后续处理。

在步骤S213中，根据所述车辆检测框进行车灯提取，并根据所述车灯提取的结果确定所述车灯连线段。在本发明实施例中，对目标检测模型识别出的车辆检测框，使用预训练好的基于深度神经网络的车辆关键点提取模型进行车灯提取。从车辆检测框提取车辆在图像中的质心，从车辆检测框中识别车灯。可以理解的是，车灯识别的方法是基于车辆检测的，在车辆检测包围框中进行车灯提取，该方法依然是基于深度学习的目标检测，训练样本包含了各种光照条件下以及是否打开车灯的情况的图像及标签，提取车灯后同样通过质心选取来获取车灯连线的两个端点，从而确定车灯连线段。

可以理解的是，在本发明实施例中，对于提取不到车灯的情况，大概率是由于车辆被遮挡，则将该车辆检测框标记为遮挡状态。对于提取出车头灯或车尾灯的情况，将该车辆检测框标记为未被遮挡状态，保存从中确定的车灯连线段。

可以理解的是，在本发明实施例中，还可通过动态前景提取、图像分割等方式进行目标检测，并提取指向画面中平行于地平面的两个消失点的直线，用于计算消失点的位置。

在步骤S22中，根据所述轨迹线段确定第一线段集，以及根据所述车灯连线段确定第二线段集。图4所示为根据本发明实施例的确定第一线段集的流程示意图，包括步骤S221至S222。

在步骤S221中，判断所述轨迹线段是否满足预设条件。在本发明实施例中，由于轨迹线段是对目标检测模型获得的多个车辆检测框进行跟踪确定其质心连接起来组成的，但是由于车辆检测过程中会出现各种情况，例如遮挡导致跟丢、车辆检测框变形、跟踪模型不适应特征等。在这些情况下得到的轨迹线段会出现较大的跳变弯折，这些其实都是错误的跟踪结果，会影响对消失点确定的准确度。因此，可设置一定的预设条件对轨迹线段进行筛选，从而提高整体计算的准确性。可以理解的是，所述预设条件可例如根据轨迹连线的拐点特征或弯折角度进行设置，或根据实际情况进行设置，本发明对此不做限制。

在步骤S222中，根据所有满足所述预设条件的轨迹线段确定所述第一线段集。在本发明实施例中，对于不满足预设条件的轨迹线段进行删除，删除错误结果有助于提高后续确定消失点的准确性。将满足预设条件的所有轨迹线段保留，作为第一线段集。图5所示为根据本发明实施例的根据车辆跟踪筛选的直线轨迹的示意图，可以理解的是，由于轨迹线段在透视画面中均交汇于车道方向，从而第一线段集中的所有轨迹线段均指向第一消失点VP1。

在本发明实施例中，根据车灯连线段确定第二线段集，由于车灯连线段均为平行于地平面并且垂直于车道方向的线段，这些线段在透视画面中均交汇于平行于地平面并且垂直于车道的方向，因此第二线段集的所有车灯连线段均指向第二消失点VP2。图6所示为根据本发明实施例的检测车辆的车头灯与车尾灯获取连线的示意图，可以理解的是，对车灯连线段也可设置预设条件进行筛选，将不满足预设条件的车灯连线段删除，仅保留满足预设条件的车灯连线段作为第二线段集。

在步骤S3中，根据所述第一线段集确定所述第一消失点的坐标，以及根据所述第二线段集确定所述第二消失点的坐标。在本发明实施例中，根据所述第一线段集通过投票法确定所述第一消失点的坐标，并根据所述第二线段集通过所述投票法确定所述第二消失点的坐标。所述投票法包括建立像素坐标系和钻石空间坐标系，并将像素坐标系中多条平行直线的交点转换为钻石空间中折线组的交点，并将钻石空间中折线组的交点转换到像素坐标系中，求得在像素坐标系下的消失点坐标。

在步骤S4中，根据所述第一消失点的坐标和所述第二消失点的坐标确定所述监控相机的焦距，并根据所述焦距确定所述监控相机的内参矩阵，以及根据所述第一消失点的坐标和所述第二消失点的坐标确定第三消失点的坐标，其中三个所述消失点两两正交。图7所示为根据本发明实施例的确定内参矩阵和第三消失点的坐标的流程示意图，包括步骤S41至S44。

在步骤S41中，根据所述监控视频中的图像构建像素坐标系，确定所述监控相机的相机光心在所述像素坐标系中的像素坐标。在本发明实施例中，根据监控视频中的图像重建一个三维坐标系，以图像左上角为像素坐标系的原点，单位是像素，则在该像素坐标系中确定监控相机的相机光心的坐标为

，其中，

与

表示相机光心在图像中的像素坐标，

表示监控相机的焦距。

在步骤S42中，确定所述第一消失点和所述第二消失点在所述像素坐标系的像素坐标。在本发明实施例中，在该像素坐标系中重新构建第一消失点VP1的像素坐标为：vp1=(x1，y1，0)，第二消失点VP2的像素坐标为：vp2=(x2，y2，0)。

在步骤S43中，根据所述相机光心、所述第一消失点和所述第二消失点的所述像素坐标确定相机焦距，并根据所述焦距确定所述监控相机的内参矩阵。在本发明实施例中，根据相机成像模型，第一消失点VP1和第二消失点VP2与相机光心的连线是互相垂直的，也就是说该两个向量的点乘等于0，如下公式所示：

代入第一消失点VP1、第二消失点VP2和相机光心的坐标，则有：

从而可以计算得出监控相机的焦距

。

在本发明实施例中，根据监控相机的焦距

可确定监控相机的内参矩阵为：

其中，

与

分别表示监控相机在x和y轴方向的焦距，假设相机光心为图像的正中心，则焦距在x与y方向长度相等，即

，

与

表示相机光心在图片中的像素坐标。

在步骤S44中，根据所述相机光心、所述第一消失点、所述第二消失点在世界坐标系下的坐标和所述相机焦距确定所述第三消失点的坐标。在本发明实施例中，根据消失点的正交特性，第三个消失点VP3就可以直接用前两个消失点与相机光心连线的向量叉乘获得（因为是正交的，三个消失点两两垂直）。在世界坐标系下，第一消失点VP1、第二消失点VP2和相机光心的坐标分别为：

则第三个消失点VP3在世界坐标系下的坐标为：

可以理解的是，第三个消失点VP3的坐标可从世界坐标系的坐标

转换至像素坐标系的坐标：

图8所示为根据本发明实施例的对监控视频自动确定消失点的示意图，通过在监控画面中按照一定的距离间隔选取像素点，并将从该像素点出发指向三个消失点的向量绘制出来，可以看出像素点均具有与道路平行、在地平面上与道路垂直以及垂直于地平面指向天空的三个向量，说明了本发明实施例的对监控视频自动确定三个消失点的有效性和准确性。

在步骤S5中，根据三个所述消失点的坐标和所述内参矩阵确定所述监控相机的旋转矩阵。图9所示为根据本发明实施例的确定旋转矩阵的流程示意图，包括步骤S51至S52。

在步骤S51中，根据三个所述消失点的坐标和对应的尺度参数，确定三个所述消失点与所述旋转矩阵的线性关系。在本发明实施例中，像素坐标系中的像素点和世界坐标系之间的关系可以表示为：

其中，

表示放大尺度值，(u，v)表示点在像素坐标系中的坐标，K表示内参矩阵，R表示监控相机的旋转矩阵，t表示监控相机的平移向量，（X，Y，Z）为点在世界坐标系中的坐标。

由三个消失点位于三个正交方向的无限远处，所以以下方程可以导出对投影矩阵元素的简单约束：

联立公式可消掉t，建立消失点与旋转矩阵的线性关系：

其中，

分别表示图像上三个消失点的坐标，

分别表示三个尺度参数，K表示内参矩阵，R表示旋转矩阵。

在步骤S52中，根据所述线性关系求解所述旋转矩阵。在本发明实施例中，由于旋转矩阵是一个正交矩阵，其行列式为1，且每个列向量都是单位向量且相互正交，旋转矩阵的逆等于其转置，即满足

，所以由

可以将上式转换为以下公式：

在本发明实施例中，在已知三个消失点与内参矩阵K的情况下，可以求出三个参数

，从而得出旋转矩阵R。

在步骤S6中，根据所述监控视频中图像的中心点、所述内参矩阵和所述旋转矩阵确定所述监控相机的平移向量。图10所示为根据本发明实施例的确定平移向量的流程示意图，包括步骤S101至S102。

在步骤S101中，将所述监控视频中图像的所述中心点的地平面位置确定为世界坐标系的原点，构建相机坐标系与世界坐标系的转换方程。在本发明实施例中，将图像中心的地平面位置作为世界坐标系的原点，则确定相机坐标系与世界坐标系的转换方程为：

其中，

表示当前放大尺度值，该放大尺度值在不同的坐标点也是不同的，

表示世界坐标系下监控相机的x坐标，

表示世界坐标系下监控相机的y坐标，h表示世界坐标系下监控相机的高度。可以理解的是，上述公式的左边等式即：

在基本相机成像公式下表示图像中心点

在世界坐标系下是原点。

在步骤S102中，根据所述转换方程求解所述平移向量。在本发明实施例中，可根据以下三种不同的方案完成对平移向量的标定。

方案一：根据所述监控相机的安装高度代入所述转换方程求解所述平移向量。在本发明实施例中，已知监控相机的安装高度h，则直接代入上述转换方程求解线性方程组中的三个未知数

、

和

。

根据求解的

，由求下列公式得到关于t1、t2、t3的线性方程组：

求解线性方程组，则可求解获得平移向量t。

方案二：根据所述监控视频中地平面任意两点在像素坐标系中的坐标，以及所述两点的实际水平距离差代入所述转换方程求解所述平移向量。在本发明实施例中，获取道路平面上两个点在像素坐标系中的坐标分别为

和

，以及两点的实际距离差为

，未知两点的实际坐标分别为

和

，则有公式：

通过联立公式可得：

约去

项可得：

结合以下公式：

可得一个四元非线性方程组，四个未知数分别为

、

、

和

。方程组有正负两组解，根据实际情况进行选择。

已知

则可以由以下公式建立三元线性方程组，求解

：

根据求解的

，则由以下公式得到关于t1、t2、t3的线性方程组：

求解线性方程组，则可求解获得平移向量t。

方案三：根据所述监控视频中垂直地平面任意两点在像素坐标系中的坐标，以及所述两点的实际垂直高度差代入所述转换方程求解所述平移向量。在本发明实施例中，已知监控视频中某标定物的上下两个点的图像坐标

和

，但

和

中已知H但不知

和

，则坐标系转换公式如下所示：

上述两式相减，约去t得到：

则求解线性方程可得到

和

。根据求解得到的

带入以下公式求解线性方程组：

求解可得到

、

和

。根据求解得到的

，由求下列公式得到关于t1、t2、t3的线性方程组：

求解线性方程组，则可求解获得平移向量t。

由此，可根据多种可选方式灵活标定相机的外参，受环境参照限制小，适应于更多的应用场景。

在本发明实施例中，还可根据坐标系的相互转换，实现从物体的像素坐标反推世界坐标，以及估算路面上物体的位置、高度等功能。

从世界坐标系转换至像素坐标系时，在只有物体在像素坐标系中接近地平面的点

时，使用公式：

基于线性方程组求解

、

和

，即可获得世界坐标系下的坐标

。

在获得物体在像素坐标系垂直于地面的下端点

，和上端点

时，则有公式：

通过线性方程组求解

、

和

，获得世界坐标系下的坐标

，并通过公式：

求解

与H，H即为物体的实际高度。

从像素坐标系转换至世界坐标系时，已知世界坐标系下的坐标

，求解

的值，可获得向量

，则图像坐标为

。

由此实现了基于侧拍或正拍的交通监控摄像头画面中相机参数的标定，可以从物体的像素坐标反推世界坐标，以及估算路面上物体的位置、高度等功能。

图11所示为根据本发明实施例的以2米为单位绘制的地平面距离网格的示意图，将图像中心点作为原点，向周围以世界坐标间隔2米选取其他点，经过世界坐标系到像素坐标系的转换绘制，在图片中组成地面刻度盘，已知道路宽度为3.75米，通过本发明实施例绘制的地面尺度基本可以反映真实路面的坐标信息，可以用于路面物体尺寸计算，速度计算以及相对位置还原等应用。

采用本发明实施例的监控相机参数标定方法，通过对监控视频进行车辆目标检测，确定其中的车辆检测框，对车辆检测框进行跟踪确定轨迹线段，并对车辆检测框进行关键点提取，确定车灯连线段，有效提高指向消失点的线段提取准确度，根据轨迹线段和车灯连线段确定监控视频画面中沿车道方向和平行于地平面并且垂直于车道方向的两个消失点，从而有效减小消失点计算结果的偏差，再根据两个消失点与相机光心确定第三个消失点，实现了针对侧拍或正拍的监控相机画面中消失点的普适性标定方法，基于深度学习的特征提取分析，无人工特征与调参等步骤，通过自动确定监控相机画面中的三个消失点，并根据三个消失点标定相机内参，且通过多种可选方式灵活标定相机外参，受环境参照限制小，适应于更多的应用场景，且不需要人工干预，易于实现大规模部署。且本发明根据标定结果和坐标转换，可估算图像中地平面上任意一点的位置、高度和运动速度等功能。

本发明第二方面的实施例还提供了一种监控相机参数标定装置。图12所示为根据本发明实施例的监控相机参数标定装置1200的结构示意图，包括获取模块1201、消失点确定模块1202和参数标定模块1203。

获取模块1201用于获取监控相机的监控视频。

消失点确定模块1202用于根据所述监控视频进行目标识别，确定指向第一消失点的第一线段集和指向第二消失点的第二线段集；还用于根据所述第一线段集确定所述第一消失点的坐标，以及根据所述第二线段集确定所述第二消失点的坐标。

参数标定模块1203用于根据所述第一消失点的坐标和所述第二消失点的坐标确定所述监控相机的焦距，并根据所述焦距确定所述监控相机的内参矩阵，以及根据所述第一消失点的坐标和所述第二消失点的坐标确定第三消失点的坐标，其中三个所述消失点两两正交；还用于根据三个所述消失点的坐标和所述内参矩阵确定所述监控相机的旋转矩阵；还用于根据所述监控视频中图像的中心点、所述内参矩阵和所述旋转矩阵确定所述监控相机的平移向量。

在本发明实施例中，消失点确定模块1202还用于根据所述监控视频进行逐帧分析，确定每一帧的车辆检测框；根据所述车辆检测框确定车辆的所述轨迹线段；根据所述车辆检测框进行车灯提取，并根据所述车灯提取的结果确定所述车灯连线段。

在本发明实施例中，参数标定模块1203还用于将所述监控视频中图像的所述中心点的地平面位置确定为世界坐标系的原点，构建相机坐标系与世界坐标系的转换方程；根据所述转换方程求解所述平移向量

所述监控相机参数标定装置1200的各个模块的更具体实现方式可以参见对于本发明的监控相机参数标定方法的描述，且具有与之相似的有益效果，在此不再赘述。

本发明第三方面的实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现根据本发明第一方面所述的监控相机参数标定方法。

一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。

计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

本发明第四方面的实施例提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据本发明第一方面所述的监控相机参数标定方法。可以理解的是，本发明的计算设备可以是服务器，也可以有限算力的终端设备。

根据本发明第三、四方面的非临时性计算机可读存储介质和计算设备，可以参照根据本发明第一方面实施例具体描述的内容实现，并具有与根据本发明第一方面实施例的监控相机参数标定方法具有类似的有益效果，在此不再赘述。

尽管上面已经示出和描述了本发明的实施例，应当理解的是，上述实施例是示例性的，不能解释为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种监控相机参数标定方法，其特征在于，包括：

获取监控相机的监控视频；

2.根据权利要求1所述的监控相机参数标定方法，其特征在于，所述根据所述监控视频进行目标识别，确定指向第一消失点的第一线段集和指向第二消失点的第二线段集包括：

3.根据权利要求2所述的监控相机参数标定方法，其特征在于，所述根据所述监控视频进行车辆识别，确定车辆的轨迹线段和车灯连线段包括：

根据所述车辆检测框确定车辆的所述轨迹线段；

4.根据权利要求3所述的监控相机参数标定方法，其特征在于，所述根据所述车辆检测框确定车辆的所述轨迹线段包括：

根据所述车辆检测框确定车辆的质心；

根据所述质心确定所述车辆的所述轨迹线段。

5.根据权利要求2所述的监控相机参数标定方法，其特征在于，所述根据所述轨迹线段确定所述第一线段集包括：

判断所述轨迹线段是否满足预设条件；

6.根据权利要求1所述的监控相机参数标定方法，其特征在于，所述根据所述第一消失点的坐标和所述第二消失点的坐标确定所述监控相机的焦距，并根据所述焦距确定所述监控相机的内参矩阵，以及根据所述第一消失点的坐标和所述第二消失点的坐标确定第三消失点的坐标包括：

7.根据权利要求1-6中任一项所述的监控相机参数标定方法，其特征在于，所述根据三个所述消失点的坐标和所述内参矩阵确定所述监控相机的旋转矩阵包括：

根据所述线性关系求解所述旋转矩阵。

8.根据权利要求1-6中任一项所述的监控相机参数标定方法，其特征在于，所述根据所述监控视频中图像的中心点、所述内参矩阵和所述旋转矩阵确定所述监控相机的平移向量包括：

根据所述转换方程求解所述平移向量。

9.根据权利要求8所述的监控相机参数标定方法，其特征在于，所述根据所述转换方程求解所述平移向量包括：

10.一种监控相机参数标定装置，其特征在于，包括：

获取模块，用于获取监控相机的监控视频；

参数标定模块，用于根据所述第一消失点的坐标和所述第二消失点的坐标确定所述监控相机的焦距，并根据所述焦距确定所述监控相机的内参矩阵，以及根据所述第一消失点的坐标和所述第二消失点的坐标确定第三消失点的坐标，其中，三个所述消失点两两正交；还用于根据三个所述消失点的坐标和所述内参矩阵确定所述监控相机的旋转矩阵；还用于根据所述监控视频中图像的中心点、所述内参矩阵和所述旋转矩阵确定所述监控相机的平移向量。

11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1-9中任一项所述的监控相机参数标定方法。

12.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现根据权利要求1-9中任一项所述的监控相机参数标定方法。