CN110930463A - 一种监控摄像头内参标定方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种监控摄像头内参标定方法、装置和电子设备，所述监控摄像头内参标定方法包括：获取所述监控摄像头的拍摄图像和多个待选视角；根据所述待选视角和所述拍摄图像，确定内参初值；根据所述拍摄图像对所述内参初值和重投影误差进行优化，得到内参优化值和重投影误差优化值；遍历所述多个待选视角，对应的所述内参优化值和所述重投影误差优化值；根据多个所述待选视角对应的所述重投影误差优化值，确定所述监控摄像头的内参标定结果。这样，通过待选视角来计算内参初值，就不需要依靠平行线的消失点来计算，从而降低了检测和计算的人力成本和处理时间，提高了监控摄像头的内参标定速度和效率。

Description

一种监控摄像头内参标定方法、装置和电子设备

技术领域

本发明涉及摄像头标定技术领域，具体而言，涉及一种监控摄像头内参标定方法、装置和电子设备。

背景技术

随着社会和经济的发展，交通监控的范围不断扩大，交通监控摄像头的数目呈爆炸性增长；利用计算机完成各种监控任务，不仅节省大量的人力资源，而且提高监控分析的准确性，是交通监控技术发展的必然趋势；摄像机标定是实现各种计算机视觉任务的基础，也是实现智能交通监控的先决条件。

现有的监控摄像头的标定，一般为张正友标定法或者使用车道线的消失点去标定。张正友标定法依赖于特定已知尺寸的平面棋盘格标定板，使用道路上的消失点去标定需要确定车道线方向的一个消失点和垂直于车道线方向的另一个消失点；上述两种标定方法，均需要依靠平行线的消失点来计算监控摄像头内参初值，但是无论是棋盘格上平行线的消失点，还是车道线方向的消失点，均不容易检测或计算，从而给监控摄像头的标定带来不便。

因此，迫切需要一种可以简单计算内参初值的监控摄像头内参标定方法及装置。

发明内容

本发明解决的问题是现有标定方法中内参初值不容易计算。

为解决上述问题，本发明首先提供一种监控摄像头内参标定方法，其包括：

获取所述监控摄像头的拍摄图像和多个待选视角；

选择一个所述待选视角，并根据所述待选视角和所述拍摄图像，确定所述监控摄像头的内参初值；

根据所述拍摄图像对所述内参初值和重投影误差进行优化，得到内参优化值和重投影误差优化值；

遍历所述多个待选视角，得到多个所述待选视角对应的所述内参优化值和所述重投影误差优化值；

根据多个所述待选视角对应的所述重投影误差优化值，确定所述监控摄像头的内参标定结果。

这样，通过设定多个待选视角，而通过待选视角和拍摄图像得到多个内参初值，并从优化得到多个内参优化值之间选择最准确的内参优化值作为内参标定结果；这样通过待选视角来计算内参初值，就不需要依靠平行线的消失点来计算，从而降低了检测和计算的人力成本和处理时间，提高了监控摄像头的内参标定速度和效率；且舍弃了依靠消失点计算内参初值的方式，意味着降低了内参标定的困难程度，使得内参标定更加简单方便。

可选的，所述内参初值至少包括主点坐标初值和焦距初值。

可选的，所述选择一个所述待选视角，并根据所述待选视角和所述拍摄图像，确定所述监控摄像头的内参初值，包括：

获取所述拍摄图像的像素宽度与像素高度；

根据所述像素宽度与像素高度，确定所述主点坐标初值；

根据所述主点坐标初值和所述待选视角，确定所述焦距初值。

这样，可以根据待选视角和拍摄图像，直接估算出(由于上述计算的前提是假设监控摄像头内的设置符合理想情况，因此该计算实质上为估算)监控摄像头的内参初值，不需要依靠平行线的消失点来计算，从而降低了检测和计算的人力成本和处理时间，提高了监控摄像头的内参标定速度和效率；降低了内参标定的困难程度。

可选的，所述多个待选视角中相邻两个所述待选视角的角度间隔相同。

可选的，所述根据所述拍摄图像对所述内参初值和重投影误差进行优化，得到内参优化值和重投影误差优化值，包括：

从所述拍摄图像中选取标定物体，并确定所述标定物体上多个特征点的世界坐标和像素坐标；

根据所述内参初值以及所述特征点的世界坐标和像素坐标，确定所述监控摄像头的外参初值；

通过最小化重投影误差对所述内参初值和所述外参初值进行优化，得到内参优化值和重投影误差优化值。

这样可以由拍摄图像中的标定物体来确定特征点的世界坐标和像素坐标，反而估算出外参值，并通过重投影误差对内参进行重复优化得到最终的内参优化值。这样无需通过棋盘格标定板或者道路上的消失点进行标定，从而可以避免由此造成的安全隐患和测定难度。另外，选择路面上行驶的车辆作为参与标定的物体，可以降低人力成本，同时可以标定出更加精确的内参值和外参值。

可选的，所述标定物体为车辆。

可选的，所述从所述拍摄图像中选取标定物体，并确定所述标定物体上多个特征点的世界坐标和像素坐标，包括：

从所述拍摄图像中选取车辆作为标定物体；

建立所述车辆的3D模型，并定确定所述车辆上关键点的3D尺寸；

选取多个所述关键点作为特征点，确定所述拍摄图像上所述特征点和所述3D模型上所述特征点的一一对应关系；

根据所述车辆上关键点的3D尺寸，确定所述特征点的世界坐标；

根据所述拍摄图像确定所述特征点的像素坐标。

这样可以直接或预先建立3D模型，从而根据3D模型上的关键点确定特征点的世界坐标和对应的像素坐标。通过3D模型，相对平面标定可以在世界坐标系下增加一个维度，从而增加标定结果的精度；另外无需在道路上通过棋盘格等道具进行标定，从而避免出现危险，降低了人力成本。

可选的，所述通过最小化重投影误差对所述内参初值和所述外参初值进行优化，得到内参优化值和重投影误差优化值，包括：

根据所述内参初值、所述外参初值和所述特征点的世界坐标，确定所述特征点的重投影坐标；

根据所述特征点的所述像素坐标和所述重投影坐标，确定所述重投影误差；

对所述重投影误差进行最小化处理，得到内参优化值和外参优化值，并将最小化的所述重投影误差作为所述重投影误差优化值。

这样，可以根据重投影误差对内参初值进行优化，从而得到对应的优化值。

可选的，所述根据多个所述待选视角对应的所述重投影误差优化值，确定所述监控摄像头的内参标定结果，包括：

将所述重投影误差优化值最小的所述待选视角对应的所述内参优化值确定为所述监控摄像头的内参标定结果。

其次提供一种监控摄像头内参标定装置，其包括：

获取单元，其用于获取所述监控摄像头的拍摄图像和多个待选视角；

计算单元，其用于选择一个所述待选视角，并根据所述待选视角和所述拍摄图像，确定所述监控摄像头的内参初值；

优化单元，其用于根据所述拍摄图像对所述内参初值和重投影误差进行优化，得到内参优化值和重投影误差优化值；

遍历单元，其用于遍历所述多个待选视角，得到多个所述待选视角对应的所述内参优化值和所述重投影误差优化值；

选择单元，其用于根据多个所述待选视角对应的所述重投影误差优化值，确定所述监控摄像头的内参标定结果。

这样，通过设定多个待选视角，而通过待选视角和拍摄图像得到多个内参初值，并从优化得到多个内参优化值之间选择最准确的内参优化值作为内参标定结果；这样通过待选视角来计算内参初值，就不需要依靠平行线的消失点来计算，从而降低了检测和计算的人力成本和处理时间，提高了监控摄像头的内参标定速度和效率；且舍弃了依靠消失点计算内参初值的方式，意味着降低了内参标定的困难程度，使得内参标定更加简单方便。

从次提供一种电子设备，包括处理器以及存储器，所述存储器存储有控制程序，所述控制程序被处理器执行时实现上述所述的监控摄像头内参标定方法。

最后提供一种计算机可读存储介质，存储有指令，所述指令被处理器加载并执行时实现上述所述的监控摄像头内参标定方法。

附图说明

图1为根据本发明实施例的监控摄像头内参标定方法的流程图；

图2为根据本发明实施例的监控摄像头内参标定方法步骤20的流程图；

图3为根据本发明实施例的监控摄像头内参标定方法步骤30的流程图；

图4为根据本发明实施例的监控摄像头内参标定方法步骤31的流程图；

图5为根据本发明实施例的监控摄像头内参标定方法步骤33的流程图；

图6为根据本发明实施例的监控摄像头内参标定装置的结构框图；

图7为根据本发明实施例的一种电子设备的结构框图；

图8为根据本发明实施例的另一种电子设备的框图。

附图标记说明：

1-获取单元，2-计算单元，3-优化单元，4-遍历单元，5-选择单元，800-电子设备，802-处理组件，804-存储器，806-电力组件，808-多媒体组件，810-音频组件，812-输入/输出(I/O)的接口，814-传感器组件，816-通信组件。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

显然，所说明的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解，在本发明中，需要对其中的技术问题进行详细阐述。

现有的监控摄像头的标定，一般为张正友标定法或者使用车道线的消失点去标定。张正友标定法依赖于特定已知尺寸的平面棋盘格标定板，监控摄像头距离地面距离比较大，得使用更大的棋盘格，而且在交通道路上放置大型标定板不方便不安全。使用道路上的消失点去标定需要确定车道线方向的一个消失点和垂直于车道线方向的另一个消失点，车道线方向消失点好检测而垂直于车道线方向的消失点不容易检测，同时对于比较复杂的路边上沿车道方向的消失点也不好确定。

在上述各种标定方法中都需要去估计相机内参初值，以上方法适用于特定条件(接近于理想条件)下的标定，对于复杂变化的交通场景，监控摄像头的内参值我们通常无法直接获得也不容易计算获得。

在无法直接获得监控摄像头内参值的情况下，上述两种标定方法，依靠平行线的消失点来计算监控摄像头内参初值，但是无论是棋盘格上平行线的消失点，还是车道线方向的消失点，均不容易检测或计算，需要很多的分析和计算步骤，同时需要耗费大量的人力成本和处理时间，这就给监控摄像头的标定带来不便。

为了便于理解，在本发明中，需要对其中的技术背景进行详细阐述。

一个完整的坐标系统是由坐标系和基准两方面要求所构成的。坐标系指的是描述空间位置的表达形式，而基准指的是为描述空间位置而定义的一系列点、线、面。监控摄像头的处理过程中主要有以下几种坐标系：

像素坐标系：摄像机采集的数字图像在计算机内可以存储为数组，数组中的每一个元素(像素，pixel)的值即是图像点的亮度(灰度)。在图像上定义直角坐标系u-v，每一像素的坐标(u，v)分别是该像素在数组中的列数和行数。故(u，v)是以像素为单位的图像坐标系坐标。

相机坐标系：由于图像坐标系只表示像素位于数字图像的列数和行数，并没有用物理单位表示出该像素在图像中的物理位置，因而需要再建立以物理单位(例如厘米、毫米)表示的成像平面坐标系x-y。我们用(x，y)表示以物理单位度量的成像平面坐标系的坐标。x-y坐标系中，在原点O1定义在摄像机光轴和成像平面的交点处，称为图像的主点(principal point)，该点一般位于图像中心处，但由于摄像机制作的原因，可能会有些偏离，O1在坐标系下的坐标为(u0，v0)，每个像素在x轴和y轴方向上的物理尺寸为dx、dy。

摄像机(摄像头)坐标系(Cameracoordinatesystem)：摄像机成像几何关系中O点称为摄像机光心，XC轴和YC轴与相机坐标系的x轴和y轴平行，ZC轴为摄像机的光轴，和成像平面垂直。光轴与成像平面的交点为图像主点O'，由点O与XC，YC，ZC轴组成的直角坐标系称为摄像机坐标系。OO'为摄像机焦距。

世界坐标系(World coordinate system)：在环境中还选择一个参考坐标系来描述摄像机和物体的位置，该坐标系称为世界坐标系。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵与平移向量来描述。

本公开实施例提供了一种监控摄像头内参标定方法，该方法可以由监控摄像头内参标定装置来执行，该监控摄像头内参标定装置可以集成在摄像头、服务器、摄像机、手机、电脑等电子设备中。如图1所示，其为根据本发明实施例的监控摄像头内参标定方法的流程图；其中，所述监控摄像头内参标定方法，包括：

步骤10，获取所述监控摄像头的拍摄图像和多个待选视角；

其中，所述拍摄图像可以为该监控摄像头拍摄的图像中的一帧；该拍摄图像为交通场景图像。

在此，需要说明的是，每个监控摄像头都具有自己的视角；一般监控摄像头都是固定视角的，也即是说只有一个视角；比如现有的监控摄像头，2.1mm小镜头的视角为150度，2.5mm小镜头的视角为130度，2.8mm小镜头的视角为115度，2.8mm固定光圈的视角为115度，3.6mm镜头的视角为96度，4mm小镜头的视角为78度，6mm小镜头的视角为53度，等等。还有一些监控摄像头的焦距和视角不固定，也即是说有多个焦距和视角；比如现有的监控摄像头，3.5～8mm手动变焦镜头的视角为96～45度，6～15mm手动变焦镜头的视角为54～23度，6～36mm电动变倍镜头的视角为51～9度，8.5～51mm电动变倍镜头的视角为57～10度，6～60mm电动变倍镜头的视角为52～6度，等等。

也可以说，由于生产型号的不同，不同型号的监控摄像头的视角一般也不相同；相应的，监控摄像头的内参值也不容易直接获得。特别是对于交通场景下，所使用的监控摄像头数量繁多，型号不同，通过直接的方式获取监控摄像头的视角或者内参值更是不可能的事情。

本步骤中的多个待选视角，是在无法直接获取监控摄像头的视角的情况下，进行的视角猜想，也即是说，假定监控摄像头的视角为多个待选视角的其中之一。

在此，需要进一步说明的是，对于可变焦距和视角的监控摄像头而言，其在拍摄图像时，每个拍摄图像仅对应一个焦距和视角；也即是说，在拍摄该图像时，监控摄像头的焦距和视角是固定的。

待选视角的选取，可以通过很多方式实现，比如先获得监控摄像头的视角分布的范围(比如大部分监控摄像头的视角在30～150度范围内，焦距和视角可变的监控摄像头在具体使用时也极少使用小于30度的视角)，然后在该视角分布的范围内每隔一个角度间隔选取一个视角。也可以是先统计现有监控摄像头的视角数值(比如大部分监控摄像头的视角为40度、53度、78度、96度、115度、130度、150度，焦距和视角可变的监控摄像头在具体使用时一般使用前述具体数值的度数以及具体数值附近的度数)，然后以统计到的视角数值为待选视角。

可选的，所述多个待选视角中相邻两个所述待选视角的角度间隔相同。也即是说，通过相同的角度间隔选取多个待选视角。这样，多个待选视角均匀分布(均匀分布的待选视角可以使得一定有一个待选视角与实际视角的角度差小于角度间隔)，避免由于分布不均匀导致待选视角与实际视角的角度差过大，后续难以进行优化。

可选的，所述角度间隔为5度或10度或15度或20度。这样，既可以使得待选视角与监控摄像头实际视角的角度差不会过大，还可以避免待选视角的数量过多，节约内参标定时间，提高内参标定效率。

可选的，所述多个待选视角通过统计现有监控摄像头的视角得到。这样，可以使得多个待选视角中很大可能存在与监控摄像头的实际视角相同的视角，从而可以大大提高优化的速度和效果，甚至部分数据不需要优化。

步骤20，选择一个所述待选视角，并根据所述待选视角和所述拍摄图像，确定所述监控摄像头的内参初值；

本步骤中对所述待选视角的选择，可以是随机进行的，可以是依照一定的顺序(如从大到小，从小到大等)逐个进行选择的，具体选择方式可以根据实际情况进行调整。

监控摄像头的视角与监控摄像头的内参具有一定联系，可以通过视角数据结合其他数据来估算出监控摄像头的内参数值，作为内参初值。

步骤30，根据所述拍摄图像对所述内参初值和重投影误差进行优化，得到内参优化值和重投影误差优化值；

本步骤中，对内参初值这优化并非一次性的，可以采用逐渐迭代的方式等对内参初值进行优化；对重投影误差的优化方式也可以采取类似措施。

步骤40，遍历所述多个待选视角，得到多个所述待选视角对应的所述内参优化值和所述重投影误差优化值；

本步骤中，所述遍历多个待选视角，是指逐个选取所述待选视角，直至所有待选视角均被选择为止；选择待选视角后，重复执行步骤20～30，从而得到该待选视角对应的内参优化值和所述重投影误差优化值。

其中，所述遍历待选视角的方式，可以是随机进行的，比如，随机选择一个待选视角，执行完毕后，在剩余的待选视角中再随机选择一个，并继续执行，直至所有待选视角均被选择为止；可以是依照一定的顺序(如从大到小，从小到大等)逐个进行选择的，比如，选择最小的一个待选视角(以从小到大为例)，执行完毕后，在剩余的待选视角中再选择一个最小的待选视角，并继续执行，直至所有待选视角均被选择为止；也可以为其他方式，具体选择方式可以根据实际情况进行调整。

步骤50，根据多个所述待选视角对应的所述重投影误差优化值，确定所述监控摄像头的内参标定结果。通过待选视角，可以得到一对内参优化值和重投影误差优化值；有多少对待选视角，就可以得到多少对内参优化值和重投影误差优化值。其中还可能存在以下情况，部分待选视角的内参优化值和重投影误差优化值相似或相同。

可选的，所述根据多个所述待选视角对应的所述重投影误差优化值，确定所述监控摄像头的内参标定结果，包括：

将所述重投影误差优化值最小的所述待选视角对应的所述内参优化值确定为所述监控摄像头的内参标定结果。重投影误差显示的是计算出来的监控摄像头的内参、外参值与监控摄像头的实际内参、外参值之间的偏差；从投影误差越小，意味着内参优化值与监控摄像头的实际内参值越接近，越相似。因此，在所有的对应内参优化值和重投影误差优化值之间，选择最小的重投影误差优化值，其对应的内参优化值就是与监控摄像头的实际内参值最接近的数值；将其作为监控摄像头的内参标定结果，可以使得对监控摄像头的内参标定更加的准确。

在此需要对内参优化进行进一步的说明，本申请中，选择一个待选视角后，获得与该待选视角对应的内参初值，然后通过不断的优化，得到内参优化值，该内参优化值与监控摄像头的实际内参值非常近似；这样就可以通过优化，得到准确的内参值，也即是对监控摄像头进行准确的内参标定。

但是在实际的应用中，我们发现，如果选择的待选视角与监控摄像头本身的视角相差过大，那么得到的内参初值与监控摄像头的实际内参值相差也会很大；这种情况下，对内参进行的优化会陷入局部极值的情况，最后得到的内参优化值，与监控摄像头的实际内参值相差很大，不能作为对监控摄像头的内参标定。

因此，通过设置多个待选视角，得到多对内参优化值和重投影误差优化值，从而选择最小的重投影误差优化值对应的内参优化值作为内参标定结果；就可以避免待选视角的选择错误导致得到的内参优化值与监控摄像头的实际内参值相差很大的状况，从而提高内参标定结果的准确度。

这样，通过步骤10～50，设定多个待选视角，而通过待选视角和拍摄图像得到多个内参初值，并从优化得到多个内参优化值之间选择最准确的内参优化值作为内参标定结果；这样通过待选视角来计算内参初值，就不需要依靠平行线的消失点来计算，从而降低了检测和计算的人力成本和处理时间，提高了监控摄像头的内参标定速度和效率；且舍弃了依靠消失点计算内参初值的方式，意味着降低了内参标定的困难程度，使得内参标定更加简单方便。

可选的，所述内参初值至少包括主点坐标初值和焦距初值。

需要阐明的是，摄影中心与成像平面的垂线与成像平面的交点，称为图像主点。

这样，只需要获得主点坐标初值和焦距初值，即得到了监控摄像头的内参初值。

可选的，如图2所示，所述步骤20，选择一个所述待选视角，并根据所述待选视角和所述拍摄图像，确定所述监控摄像头的内参初值，包括：

步骤21，获取所述拍摄图像的像素宽度与像素高度；

其中，所述拍摄图像具有自己的像素宽度和像素高度，该数据可以直接从拍摄图像的存储数据中读取或识别得到。比如一个拍摄图像的大小为600像素×400像素，则意味着所述拍摄图像的像素宽度为600像素，像素高度为400像素。

需要说明的是，监控摄像头内部的感光元件的大小，与其所拍摄出来的拍摄图像的像素大小有很大关联。感光元件一般为矩形，基于其放置位置，可以将其大小表现为宽度×高度；拍摄图像的大小表现为像素宽度×像素高度；感光元件对于其本身的设计关系，其上的每个像素都具有物理宽度和物理高度；也即是说，感光元件的宽度＝拍摄图像的像素宽度×像素的物理宽度，感光元件的高度＝拍摄图像的像素高度×像素的物理高度。

步骤22，根据所述像素宽度与像素高度，确定所述主点坐标初值；

其中所述主点一般在摄像头感光原件的最中心点，这样便于进行光学成像，且便于获得最大的视角。

基于前述描述，所述主点坐标与所述像素宽度、像素高度具有很大关联；需要说明的是，所述主点坐标包括宽度方向的的主点横坐标和高度方向的主点纵坐标；其中，所述主点横坐标为所述像素宽度的一半，所述主点纵坐标为所述像素高度的一半。

这样，根据所述像素宽度与像素高度，即可计算出主点横坐标和主点纵坐标，以作为所述主点坐标初值。

步骤23，根据所述主点坐标初值和所述待选视角，确定所述焦距初值。

监控摄像头内部的感光元件的大小一般是固定的，在此情况下，焦距的大小决定着视角的大小，焦距数值小，视角大，所观察的范围也大，但距离远的物体分辨不很清楚；焦距数值大，视角小，观察范围小，只要焦距选择合适，即便距离很远的物体也可以看得清清楚楚。由于焦距和视角是一一对应的，一个确定的焦距对应着一个确定的视角。

需要说明的是，视角(待选视角)包括水平视角和垂直视角，焦距也可以表示为水平焦距和垂直焦距，主点坐标(主点坐标初值)包括主点横坐标(水平坐标)和主点纵坐标(垂直坐标)，具体计算过程中，所述水平焦距可以根据水平视角和主点横坐标确定，所述垂直焦距可以根据垂直视角和主点纵坐标确定。

需要说明的是，由于水平焦距和垂直焦距表示的是水平方向和垂直方向监控摄像头的镜头中心与感光元件(成像平面)的距离，所以水平焦距和垂直焦距的数值是相同的，为了便于进行描述，我们将焦距、水平焦距、垂直焦距视为相同的三个量，可以统一以焦距进行表示。

这样，在确定所述焦距初值时，可以根据水平视角和主点横坐标确定，也可以根据垂直视角和主点纵坐标确定。

这样，通过步骤21～23，可以根据待选视角和拍摄图像，直接估算出(由于上述计算的前提是假设监控摄像头内的设置符合理想情况，因此该计算实质上为估算)监控摄像头的内参初值，不需要依靠平行线的消失点来计算，从而降低了检测和计算的人力成本和处理时间，提高了监控摄像头的内参标定速度和效率；降低了内参标定的困难程度。

可选的，如图3所示，所述步骤30，根据所述拍摄图像对所述内参初值和重投影误差进行优化，得到内参优化值和重投影误差优化值，包括：

步骤31，从所述拍摄图像中选取标定物体，并确定所述标定物体上多个特征点的世界坐标和像素坐标；

在交通场景下，所述监控摄像头的拍摄图像中会拍摄到多个物体，可以从多个物体中选择一个作为标定物体，以便于得到物体的世界坐标和像素坐标。

所述特征点为标定物体上便于识别的位置点，通过特征点在标定物体上的相对位置可以确定特征点的世界坐标；通过特征点在拍摄图像中的像素位置，可以确定特征点的像素坐标。在标定物体和拍摄图像中均可以显示的特征点，其世界坐标和像素坐标一一对应。

可选的，所述标定物体为车辆。这样，通过交通场景下的最常用物体车辆来进行标定，一方面可以利用车辆三个维度的特征，从而使得标定结果精度更加准确，另一方面相同型号的车辆外观和尺寸极度相似，从而可以得到比较精确的世界坐标，进一步增加标定结果的准确性。

步骤32，根据所述内参初值以及所述特征点的世界坐标和像素坐标，确定所述监控摄像头的外参初值；

在监控摄像头的模型中，将世界坐标系中的特征点转化为二维拍摄图像中的特征点，需要经过以下几个变换：

1)将特征点从世界坐标系通过刚体变换(旋转和平移)变换到摄像机坐标系，这个变换过程使用的是监控摄像头间的相对位置，也就是监控摄像头的外参数。

2)将特征点从摄像机坐标系，通过透视投影变换到监控摄像头的成像平面上的像点(变换到相机坐标系)。

3)将像点从相机坐标系，通过缩放和平移变换到像素坐标系上的像素点或者特征点。

其中，上述所述的刚体变换、透视投影变换、缩放和平移变换反映到具体计算过程中，则为一个个变换矩阵，也即是说，特征点的世界坐标系下的4×1矩阵，通过与多个变换矩阵的相乘，最终得到像素坐标系下的3×1矩阵(为了便于表示或计算，也可以直接将多个变换矩阵最终表示为一个3×4矩阵)。

在上述的基础上，已知监控摄像头的内参初值、多个特征点的世界坐标和对应的像素坐标的情况下，可以得到监控摄像头的外参初值；具体的计算过程在此不再赘述。

要说明的是，对于外参初值的计算，由于误差等的存在，仅是通过大量数据的估算得到，并非十分精确的结果。

步骤33，通过最小化重投影误差对所述内参初值和所述外参初值进行优化，得到内参优化值和重投影误差优化值；

由前述步骤的描述可知，外参初值为估算出的，并非十分准确的数据；因此存在重投影误差。通过最小化重投影误差的方式，可以对内参初值和外参初值进行优化，从而得到与实际数值十分接近的内参优化值和外参优化值(外参优化值在后续的步骤中若无引用，则可以舍弃)，以及最小化后的重投影误差(也即是重投影误差优化值)。

这样通过步骤31～33，可以由拍摄图像中的标定物体来确定特征点的世界坐标和像素坐标，反而估算出外参值，并通过重投影误差对内参进行重复优化得到最终的内参优化值。这样无需通过棋盘格标定板或者道路上的消失点进行标定，从而可以避免由此造成的安全隐患和测定难度。另外，选择路面上行驶的车辆作为参与标定的物体，可以降低人力成本，同时可以标定出更加精确的内参值和外参值。

可选的，如图4所示，所述步骤31，从所述拍摄图像中选取标定物体，并确定所述标定物体上多个特征点的世界坐标和像素坐标，包括：

步骤311，从所述拍摄图像中选取车辆作为标定物体；

步骤312，建立所述车辆的3D模型，并定确定所述车辆上关键点的3D尺寸；

道路上行驶的车辆，具有相同型号下3D模型一致的特点，这样可以预先建立车辆的3D模型，从而在后续的判断中直接读取尺寸数据、相对位置数据、距离数据等即可。

可选的，所述车辆上关键点，是指所述车辆上便于识别的位置点，这样可以直接从拍摄图像中识别到，从而增加判断的准确性。为了便于识别和测量，所述关键点可以为车牌角上的4个点、门把手的两个端点、车标等等。

所处关键点的3D尺寸，可以通过直接在实物上测量得到。

步骤313，选取多个所述关键点作为特征点，确定所述拍摄图像上所述特征点和所述3D模型上所述特征点的一一对应关系；

本步骤中，可以选取都在拍摄图像上检测到的关键点或者其中的一部分作为特征点，从而避免因方位遮挡等造成的拍摄图像上和3D模型上特征点无法对应的情况。

所述拍摄图像上所述特征点和所述3D模型上所述特征点的一一对应关系，即为确认是否是同一个特征点；具体确认方式在此不再赘述。

步骤314，根据所述车辆上关键点的3D尺寸，确定所述特征点的世界坐标；

已知特征点的3D尺寸，可以直接建立该车辆的世界坐标系，从而得到特征点的世界坐标。比如，以车辆底盘面上左前轮的中心为坐标原点建立世界坐标系，结合特征点的3D尺寸，即可得到特征点的世界坐标。

需要说明的是，每个车辆都具有自己的世界坐标系，车辆之间不共用同一个世界坐标系(因车辆之间具有相对运动，很难统一)。

步骤315，根据所述拍摄图像确定所述特征点的像素坐标。

所述特征点在拍摄图像上，显示为一个像素点(或多个相邻像素点的集合)，通过像素点的坐标，即可得到特征点的像素坐标。具体确认方式在此不再赘述。

这样通过步骤311～315，可以直接或预先建立3D模型，从而根据3D模型上的关键点确定特征点的世界坐标和对应的像素坐标。通过3D模型，相对平面标定可以在世界坐标系下增加一个维度，从而增加标定结果的精度；另外无需在道路上通过棋盘格等道具进行标定，从而避免出现危险，降低了人力成本。

可选的，如图5所示，所述步骤33，通过最小化重投影误差对所述内参初值和所述外参初值进行优化，得到内参优化值和重投影误差优化值，包括：

步骤331，根据所述内参初值、所述外参初值和所述特征点的世界坐标，确定所述特征点的重投影坐标；

所述步骤32中，确定的所述监控摄像头的外参初值，为估算得出；在此基础上，根据所述内参初值、所述外参初值对所述特征点的世界坐标进行重投影，可以得到与所述特征点的像素坐标接近的重投影坐标。

步骤332，根据所述特征点的所述像素坐标和所述重投影坐标，确定所述重投影误差；

由于内参初值、外参初值为估算得到，因此特征点的像素坐标(根据拍摄图像得到的实际坐标)和重投影坐标具有一定的偏差，即为所述重投影误差。

步骤333，对所述重投影误差进行最小化处理，得到内参优化值和外参优化值，并将最小化的所述重投影误差作为所述重投影误差优化值。

通过最小化重投影误差，进行优化，该优化方式优选为最小二乘法，这样优化简单、方便快速，但还可以其他优化算法对所述重投影误差进行最小化处理，本申请实施例对此不作限定。

这样，通过步骤331～333，可以根据重投影误差对内参初值进行优化，从而得到对应的优化值。

本申请中，通过遍历视角(通过视角和内参的对应关系)去猜测监控摄像机的内参初值，从优化后的多组内参优化值中选择最优结果作为内参标定结果，避免了通过棋盘格进行人工标定带来的危险与人力成本的上升，避免了通过道路的消失线进行标定带来的标定结果不准确标定过程复杂度过高的问题；通过比平面多一个维度的3D车辆模型作为标定物体，使得标定结果更加精确。

本公开实施例提供了一种监控摄像头内参标定装置，用于执行本发明上述内容所述的监控摄像头内参标定方法，以下对监控摄像头内参标定装置进行详细描述。

如图6所示，所述监控摄像头内参标定装置，包括：

获取单元1，其用于获取所述监控摄像头的拍摄图像和多个待选视角；

计算单元2，其用于选择一个所述待选视角，并根据所述待选视角和所述拍摄图像，确定所述监控摄像头的内参初值；

优化单元3，其用于根据所述拍摄图像对所述内参初值和重投影误差进行优化，得到内参优化值和重投影误差优化值；

遍历单元4，其用于遍历所述多个待选视角，得到多个所述待选视角对应的所述内参优化值和所述重投影误差优化值；

选择单元5，其用于根据多个所述待选视角对应的所述重投影误差优化值，确定所述监控摄像头的内参标定结果。

这样，通过设定多个待选视角，而通过待选视角和拍摄图像得到多个内参初值，并从优化得到多个内参优化值之间选择最准确的内参优化值作为内参标定结果；这样通过待选视角来计算内参初值，就不需要依靠平行线的消失点来计算，从而降低了检测和计算的人力成本和处理时间，提高了监控摄像头的内参标定速度和效率；且舍弃了依靠消失点计算内参初值的方式，意味着降低了内参标定的困难程度，使得内参标定更加简单方便。

可选的，所述计算单元2还用于：获取所述拍摄图像的像素宽度与像素高度；根据所述像素宽度与像素高度，确定所述主点坐标初值；根据所述主点坐标初值和所述待选视角，确定所述焦距初值。

可选的，所述优化单元3还用于：从所述拍摄图像中选取标定物体，并确定所述标定物体上多个特征点的世界坐标和像素坐标；根据所述内参初值以及所述特征点的世界坐标和像素坐标，确定所述监控摄像头的外参初值；通过最小化重投影误差对所述内参初值和所述外参初值进行优化，得到内参优化值和重投影误差优化值；

可选的，所述优化单元3还用于：从所述拍摄图像中选取车辆作为标定物体；建立所述车辆的3D模型，并定确定所述车辆上关键点的3D尺寸；选取多个所述关键点作为特征点，确定所述拍摄图像上所述特征点和所述3D模型上所述特征点的一一对应关系；根据所述车辆上关键点的3D尺寸，确定所述特征点的世界坐标；根据所述拍摄图像确定所述特征点的像素坐标。

可选的，所述优化单元3还用于：根据所述内参初值、所述外参初值和所述特征点的世界坐标，确定所述特征点的重投影坐标；根据所述特征点的所述像素坐标和所述重投影坐标，确定所述重投影误差；对所述重投影误差进行最小化处理，得到内参优化值和外参优化值，并将最小化的所述重投影误差作为所述重投影误差优化值。

需要说明的是，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上描述了监控摄像头内参标定装置的内部功能和结构，如图7所示，实际中，该监控摄像头内参标定装置可实现为电子设备，包括：处理器以及存储器，所述存储器存储有控制程序，所述控制程序被处理器执行时实现上述所述的监控摄像头内参标定方法。

图8是根据本发明实施例示出的另一种电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用软件或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

本公开实施例提供了一种计算机可读存储介质，存储有指令，所述指令被处理器加载并执行时实现上述所述的监控摄像头内参标定方法。

本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (12)

1.一种监控摄像头内参标定方法，其特征在于，包括：

获取所述监控摄像头的拍摄图像和多个待选视角；

选择一个所述待选视角，并根据所述待选视角和所述拍摄图像，确定所述监控摄像头的内参初值；

根据所述拍摄图像对所述内参初值和重投影误差进行优化，得到内参优化值和重投影误差优化值；

遍历所述多个待选视角，得到多个所述待选视角对应的所述内参优化值和所述重投影误差优化值；

根据多个所述待选视角对应的所述重投影误差优化值，确定所述监控摄像头的内参标定结果。

2.根据权利要求1所述的监控摄像头内参标定方法，其特征在于，所述内参初值至少包括主点坐标初值和焦距初值。

3.根据权利要求2所述的监控摄像头内参标定方法，其特征在于，所述选择一个所述待选视角，并根据所述待选视角和所述拍摄图像，确定所述监控摄像头的内参初值，包括：

获取所述拍摄图像的像素宽度与像素高度；

根据所述像素宽度与像素高度，确定所述主点坐标初值；

根据所述主点坐标初值和所述待选视角，确定所述焦距初值。

4.根据权利要求1所述的监控摄像头内参标定方法，其特征在于，所述多个待选视角中相邻两个所述待选视角的角度间隔相同。

5.根据权利要求1-4中任一所述的监控摄像头内参标定方法，其特征在于，所述根据所述拍摄图像对所述内参初值和重投影误差进行优化，得到内参优化值和重投影误差优化值，包括：

从所述拍摄图像中选取标定物体，并确定所述标定物体上多个特征点的世界坐标和像素坐标；

根据所述内参初值以及所述特征点的世界坐标和像素坐标，确定所述监控摄像头的外参初值；

通过最小化重投影误差对所述内参初值和所述外参初值进行优化，得到内参优化值和重投影误差优化值。

6.根据权利要求5所述的监控摄像头内参标定方法，其特征在于，所述标定物体为车辆。

7.根据权利要求6所述的监控摄像头内参标定方法，其特征在于，所述从所述拍摄图像中选取标定物体，并确定所述标定物体上多个特征点的世界坐标和像素坐标，包括：

从所述拍摄图像中选取车辆作为标定物体；

建立所述车辆的3D模型，并定确定所述车辆上关键点的3D尺寸；

选取多个所述关键点作为特征点，确定所述拍摄图像上所述特征点和所述3D模型上所述特征点的一一对应关系；

根据所述车辆上关键点的3D尺寸，确定所述特征点的世界坐标；

根据所述拍摄图像确定所述特征点的像素坐标。

8.根据权利要求5所述的监控摄像头内参标定方法，其特征在于，所述通过最小化重投影误差对所述内参初值和所述外参初值进行优化，得到内参优化值和重投影误差优化值，包括：

根据所述内参初值、所述外参初值和所述特征点的世界坐标，确定所述特征点的重投影坐标；

根据所述特征点的所述像素坐标和所述重投影坐标，确定所述重投影误差；

对所述重投影误差进行最小化处理，得到内参优化值和外参优化值，并将最小化的所述重投影误差作为所述重投影误差优化值。

9.根据权利要求1-4任一项所述的监控摄像头内参标定方法，其特征在于，所述根据多个所述待选视角对应的所述重投影误差优化值，确定所述监控摄像头的内参标定结果，包括：

将所述重投影误差优化值最小的所述待选视角对应的所述内参优化值确定为所述监控摄像头的内参标定结果。

10.一种监控摄像头内参标定装置，其特征在于，包括：

获取单元(1)，其用于获取所述监控摄像头的拍摄图像和多个待选视角；

计算单元(2)，其用于选择一个所述待选视角，并根据所述待选视角和所述拍摄图像，确定所述监控摄像头的内参初值；

优化单元(3)，其用于根据所述拍摄图像对所述内参初值和重投影误差进行优化，得到内参优化值和重投影误差优化值；

遍历单元(4)，其用于遍历所述多个待选视角，得到多个所述待选视角对应的所述内参优化值和所述重投影误差优化值；

选择单元(5)，其用于根据多个所述待选视角对应的所述重投影误差优化值，确定所述监控摄像头的内参标定结果。

11.一种电子设备，包括处理器以及存储器，其特征在于，所述存储器存储有控制程序，所述控制程序被处理器执行时实现如权利要求1-9中任一所述的监控摄像头内参标定方法。

12.一种计算机可读存储介质，存储有指令，其特征在于，所述指令被处理器加载并执行时实现如权利要求1-9中任一所述的监控摄像头内参标定方法。

Images