CN104766291A - 多台摄像机标定方法和系统 - Google Patents

Abstract

本发明提供了一种标定多台摄像机的方法，包括：对所述多台摄像机进行系统时间同步；建立所述多台摄像机间的视场重叠区域关系图；计算每一个视场重叠区域内提取到的被跟踪对象的轨迹点的平均深度误差估计值，利用平均深度误差估计值估计每一个视场重叠区域的一跳的标定误差放大倍数，并基于所估计的标定误差放大倍数赋予对应的一跳一个权值，从而将所述视场重叠区域关系图转换成带权值的视场重叠区域关系图；基于带权值的视场重叠区域关系图，采用最小路径算法，获取与最小标定累积误差对应的参考摄像机。

Description

多台摄像机标定方法和系统

技术领域

本发明一种多台摄像机的标定方法和系统，尤其是涉及一种通过动态选择一个或者多个参考摄像机作为参考摄像机，来提高由多台摄像机组成的摄像机网络的标定精度的方法和系统。

背景技术

近来，对人进行跟踪定位系统的研究已经不再局限于原来的在约束条件下的定位跟踪，如实验室环境中，现有的研究场景已经扩大到如地铁站，机场等复杂的真实场景中。另外，对于现有的视频监控系统，不仅要求它能准确地给出跟踪到的人在二维图像中的坐标，还要求其能给出所跟踪到的人在真实三维空间中的位置。为了满足上述需求，基于多个双目立体相机的跟踪系统应运而生，该系统中的每台双目立体相机与一个中央服务器通过网络连接，每个双目立体相机跟踪到出现在其工作视野中的人后，输出人在其摄像机坐标系中的坐标，然后它们将其跟踪结果通过网络传送到服务器端。服务器端则将每台相机的跟踪结果做融合操作，以提高系统最终跟踪定位的准确度。

实现上述基于多个双目立体相机定位系统的一个重要前提是对所有部署的双目相机进行标定，即求取每台相机的外参，通过相机的外参可以将摄像机坐标系下的跟踪结果转换到一个统一的真实世界坐标系下，从而完成服务器端的对多台相机跟踪结果的融合操作。因此，要精确定位被跟踪对象，首先需要对多个双目相机的位置的标定要精确。

要标定多个双目相机的位置，需要设置一个参考点，并基于该参考点对多个双目相机进行位置标定。通常的方式是选取其中一个双目相机作为参考相机，并基于该参考双目相机对其他待标定双目相机依次进行标定。具体而言，就是基于一个已知双目相机的位置，对与该已知双目相机具有重叠视场的未标定双目相机的位置进行标定。通过将已知尺寸的对象放置到已知双目相机和未标定双目相机的重叠视场内，根据已知尺寸对象的具体尺寸、已知双目相机的内部参数（相机坐标系统）和外部参数以及待标定双目相机的内部参数，就可以计算出待标定双目相机的外部参数。很显然，这种方法采用一种顺序的方式来标定所部署的相机，而非一次就可以标定完所有相机，相机的标定顺序根据它们视场的交叠情况以及参考双目相机的选取而定。而且，由于该方法采取了一种顺序的方式来标定所部署的相机，因此，待标定双目相机的标定结果与和它有重叠视场的已标定双目相机的标定结果有关，因此存在标定误差的累积传播问题。在这种情况下，当一个待跟踪对象进入到标定误差较大的双目相机的视场中，而不在标定误差较小的双目相机的视场中时，可能由于双目相机的误差较大而导致对象的位置定位不准确。因此，这就涉及到如何在多个双目相机的标定过程中提高多个双目相机的整体标定精度的问题。

发明内容

为了解决现有技术中参考相机的标定精度高而非参考相机由于误差积累而导致标定精度较低的上述问题，本发明提出了一种标定多个相机的方法，该方法能够提高多个相机的整体精度。

根据本发明的一种标定多台摄像机的方法，包括：对所述多台摄像机进行系统时间同步；基于每台摄像机输出的包含被跟踪对象的跟踪结果所附加的时间戳信息，建立所述多台摄像机间的视场重叠区域关系图；计算在所述视场重叠区域关系图每一个视场重叠区域内提取到的被跟踪对象的轨迹点的平均深度误差估计值，利用所计算的平均深度误差估计值估计所述视场重叠区域关系图中对应于所述每一个视场重叠区域的一跳的标定误差放大倍数，并基于所估计的标定误差放大倍数赋予对应的一跳一个权值，从而将所述视场重叠区域关系图转换成带权值的视场重叠区域关系图；以及基于带权值的视场重叠区域关系图，采用Dijkstra算法，计算任意摄像机作为参考摄像机进行标定时所述多台摄像机之间具有标定累积误差，获取所计算的标定累积误差中的最小累积误差，并将与所述最小标定累积误差对应的参考摄像机确定为所述多台摄像机的参考摄像机。

根据本发明标定多台摄像机的方法，其还包括：当所确定的参考摄像机与每台非参考摄像机之间标定路径上的累积标定误差值小于预定阈值时，直接输出所确定的参考摄像机；当所确定的参考摄像机与每台非参考摄像机之间标定路径上的累积标定误差值大于或等于预定阈值时，则将超购预定阈值的标定路径中标定误差放大倍数最大的一跳断开，从而将所述多台摄像机分成多个子摄像机簇，并相应地形成多个子视场重叠区域关系图，并且针对每个子视场重叠区域关系图采用Dijkstra算法确定每个子摄像机簇中的参考摄像机。

根据本发明的标定多台摄像机的方法，其中基于每台摄像机输出的包含被跟踪对象的结果所附加的时间戳信息，建立所述多台摄像机间的视场重叠区域关系图的步骤包括：比较所部署的任意两台摄像机对跟踪对象的跟踪结果的时间戳，若两台摄像机的跟踪结果存在相同的时间戳信息，则可以判断这两台摄像机间存在视场区域的重叠，并将这种关系用视场重叠区域关系图来表示，其中视场重叠区域关系图中的节点对应于所述多台摄像机中的一台摄像机，而节点之间的边代表该边所连接的两个节点所代表的摄像机之间存在视场重叠关系。

根据本发明的标定多台摄像机的方法，其中计算在所述视场重叠区域关系图每一个视场重叠区域内提取到的被跟踪对象的轨迹点的平均深度误差估计值的步骤包括：对于出现在任意两台摄像机视场交叠区域内的每一个轨迹点，求取每一个轨迹点分别到这两台摄像机的平均深度估计误差，并按照升序将所计算的每个轨迹点的平均深度估计误差依次排列；以及取最小的n个平均深度估计误差求平均值，并该平均值作为这两台摄像机间的标定误差放大倍数。

根据本发明的标定多台摄像机的方法，其中所述最小路径算法采用最小代价表保存采用任意摄像机作为参考摄像机进行标定时到其它摄像机之间的标定累积误差，并根据最小代价表选择最小累积标定误差所对应的摄像机作为参考摄像机。

根据本发明的另一个方面，提供了一种标定多台摄像机的系统，包括：同步单元，对所述多台摄像机进行系统时间同步；视场重叠区域关系图创建单元，基于每台摄像机输出的包含被跟踪对象的跟踪结果图像所附加的时间戳信息，建立所述多台摄像机间的视场重叠区域关系图；权值计算单元，计算在所述视场重叠区域关系图每一个视场重叠区域内提取到的被跟踪对象的轨迹点的平均深度误差估计值，利用所计算的平均深度误差估计值估计所述视场重叠区域关系图中对应于所述每一个视场重叠区域的一跳的标定误差放大倍数，并基于所估计的标定误差放大倍数赋予对应的一跳一个权值，从而将所述视场重叠区域关系图转换成带权值的视场重叠区域关系图；以及最小路径获取单元，基于带权值的视场重叠区域关系图，采用Dijkstra算法，计算任意摄像机作为参考摄像机进行标定时所述多台摄像机之间具有标定累积误差，获取所计算的标定累积误差中的最小累积误差，并将与所述最小标定累积误差对应的参考摄像机确定为所述多台摄像机的参考摄像机。

附图说明

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

图1是根据本发明一个实施例的解释一个人经过若干个摄像机视场交叠区域的示意图。

图2是根据本发明一个实施例的解释根据提取到的人跟踪结果上所附加的时间戳来判断两台双目立体相机是否存在视场交叠情况的示意图。

图3是根据本发明一个实施例的解释视场重叠关系图的示意图。

图4是根据本发明一个实施例的总体流程图。

图5是根据本发明一个实施例的通过选择合适的摄像机作为参考相机来提高多台双目相机整体标定精度的系统图。

图6A-6B是根据本发明一个实施例的解释在标定过程中每一跳间的标定误差放大程度对于非参考摄像机标定精度影响的示意图。

图7是根据本发明一个实施例的解释根据出现在两台摄像机交叠区域内的轨迹点的深度误差来估计该跳标定误差放大程度的示意图。

图8是根据本发明一个实施例的解释当选择图中1号摄像机作为参考摄像机，计算每一台非参考摄像机累积标定误差的示意图。

图9是根据本发明一个实施例的解释将视场重叠关系图中每跳间的标定误差放大度做对数运算后，利用图论方法求解最小代价路径作为非参考摄像机“标定路径”的示意图。

图10是根据本发明一个实施例的解释最小代价表的示意图。

图11和12是根据本发明一个实施例的解释选择将标定误差放大系数最大的边断开，获得两个小的摄像机簇的示意图。

图13所示的是根据本发明的标定多台摄像机的系统。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

图1是根据本发明一个实施例的标定多个摄像机的场所示意图。如图1所示，其中部署了6台双目立体相机，每台双目立体相机给出了对应的编号。尽管图7中给出了6台双目立体相机，但是本发明可以应用到任意数量的双目立体相机，例如4、5、7、8、9…。图1中三角形区域表示每个相机的各自的可拍摄的视场，而相邻两个三角形的交叠阴影区域代表两个不同相机间视场的交叠区域。图2所示的是根据本发明一个实施例判断两台双目立体相机的视场交叠情况的示意图。图2中给出了当一个人或其他对象途经两台相机视场交叠区域时的情况。由于两个不同相机有视场的交叠，当一个人位于该视场交叠区域时，这两台摄像机能同时将其拍摄到。当所有部署的相机进行时间同步处理后，若是该人出现在两台相机视场交叠区域，则两台摄像机会输出具有相同时间戳的跟踪结果。因此，可以通过比较两台相机是否具有相同时间戳的跟踪结果来判断这两台是否有视场的交叠。返回参见图1，其中显示了6台双目相机之间存在视场交叠情况。一个人在这6台摄像机的视场中走动，图中带箭头的曲线代表该人的行进轨迹。当采用图2所示的上述方式比较完每一对摄像机跟踪结果的时间戳后，可以建立如图3所示的摄像机视场重叠关系图。如图3所示，带编号节点代表所部署的双目立体相机，编号对应于相机自身的编号，而连接两节点的边代表两台相机之间存在视场的交叠。

针对图3所示的多台双目摄像机的情况，现有技术通常首先人工随意在多台双目摄像机指定一个参考摄像机，并基于该参考摄像机为起点，利用两台摄像机之间存在视场交叠情况标定其他非参考摄像机。这种方法存在的问题是，参考相机的标定精度往往较高，非参考相机的标定精度较低，有时候可能存在某一摄像机由于与其他摄像机不存在交叠区域而无法标定的情况。产生这种问题的原因是多方面的。一方面是参考相机是人工随意指定的，没有考虑指定的参考相机在整个网络拓扑结构中的位置，而选择不同位置的相机作为参考相机，往往整体的标定精度会不同。因此，参考相机的选择成为确保多台摄像机系统整体的标定误差最小化的重要因素。另一方面，现有技术对充当参考摄像机的相机数目是固定不变。对于不存在视场交叠区域的相机显然针对被监控对象不能起到相互补充作用，这是没有考虑不同系统中所包含的相机的规模差异的结果。

为此，为了保证参考摄像机标定结果的精确，同时提高非参考相机的整体标定精度，在确定参考摄像机时需要考虑参考相机和非参考摄像机间的路径长度（或者称为跳数）、误差传播次数以及每一跳间的标定误差放大程度。此外还要考虑到充当参考相机的个数应该与整个系统所包含的相机数目相适应来动态变化。图4所示的是根据本发明实施例的确定参考摄像机并标定多台双目摄像机的方法的流程图。如图4所示，首先，在步骤S41处，首先对所有需要标定的双目相机进行时间同步，也就是使得每个相机的时钟信号同步，以便在同一时间每个摄像机所拍摄的图像帧具有相同的时间戳。系统的输入为每台双目立体摄像机给出的在其摄像机坐标系下的跟踪结果，以及为每个跟踪结果所附加的时间戳。为了使每个跟踪结果具有同步的时间戳，应该对所有已经部署好的待标定的双目立体摄像机进行系统时间同步操作。同步后的结果是，可以通过时间戳来判断两个不同相机拍摄到的两帧是否是同一个时刻拍摄的，或者说这两帧是否拍摄到了同一时刻的该场景。目前，一种通用的做法是基于NTP协议的同步操作。它除了可以估算消息包在网络上的往返延迟外，还可以独立地估算计算机之间的时钟偏差，用以在无序的英特网环境中提供精确和健壮的时间服务，把计算机的时间同步到某些时间标准。随后，在步骤S42处，基于每台相机所拍摄的移动对象图像的时间戳，建立整个摄像机网络的视场重叠关系图。如上所述，图2所示的是建立视场重叠关系的过程示意图。而图3所示的是整个摄像机网络的视场重叠关系的示意图。

如上针对图1-3所述，要提高整个摄像机网络的标定精度，在选择参考摄像机时要使得整个标定过程中的“跳数”最少以及使得每“跳”的误差也尽可能小。图5示意性显示了同一情况下选择不同参考摄像机的不同跳数的情况。如图5所示，其中显示了图1中的1-3号摄像机。其中三角形代表每台相机的视场范围。阴影区域为两摄像机间的视场交叠。图中的实线箭头表示当指定1号摄像机为参考相机，标定非参考相机时的误差传播情况，其中根据1号摄像机标定2号相机有一次误差传播，标定3号摄像机时有两次误差传播（即从1号摄像机标定2号相机一次误差传播以及从2号摄像机标定3号相机一次误差传播）。因此，以1号摄像机为参考相机进行位置标定的误差传播总次数为3次。而虚线箭头表示当选择2号摄像机为参考相机时的误差传播情况，根据2号参考摄像机的标定结果分别标定1号和3号摄像机时各一次，因此误差传播总次数为2次。假设每次误差传播的程度相同，则显然，以2号摄像机为参考相机的标定结果要优于以1号摄像机为参考相机的标定结果，因为选择2号摄像机为参考相机时误差传播总次数小于选择1号摄像机时的误差传播总次数，因此，在图所示的视场条件下，选择2号相机为参考摄像机将使得总体标定精度更高。

如上所述，除了考虑参考摄像机和非参考摄像机间总误差传播的次数外，还应该考虑每跳间的误差放大程度，这样才能更准确地反映实际情况。图6A-6B示意性显示了采用同一参考摄像机情况下每跳间的误差放大程度对标定精度的影响的两种情况。图6B所示的情况基于图1中所示的5号摄像机和6号摄像机之间存在视场重叠的假设。尽管针对图5描述时假定了每一跳间的误差放大倍数相同，但是，实际上每跳间的误差放大倍数是不相同的，因为误差放大的程度主要取决于从图像中提取被监控对象最高点坐标的准确度以及双目相机给出的该点深度的精度。如图6A-6B所示，每一跳间的误差放大程度用不同的字符来表示。在图6A中，以1号摄像机作为参考摄像机的情况下5号非参考摄像机的误差累积为ω(γβαe)，在图6B中，以1号摄像机作为参考摄像机的情况下5号非参考摄像机的误差累积为表示，其中e是参考摄像机的标定误差。若图6B中非参考摄像机的累积误差大于图6A中非参考摄像机的累积误差ω(γβαe)，则图6A中5号摄像机的标定结果将好于图6B中的标定结果。因此，尽管图6A中5号摄像机与1号参考摄像机间的实际跳数要少于图6B中两摄像机之间的实际跳数，在本发明中也将认为图6B中5号摄像机与1号参考摄像机间的跳数要少于图6A中两摄像机之间的跳数。

为此，本发明在设定参考摄像机之前，需要在步骤S43处，根据任意两个摄像机的重叠区域内移动物体轨迹点的深度误差值，估计每一跳的误差放大程度，并将视场交叠关系图转换成带权值的视场交叠关系图。图7所示的是解释根据出现在两台摄像机交叠区域内的轨迹点的平均深度估计误差来估计每一“跳”的标定误差放大程度的示意图。如图7所示，计算两个摄像机间视场重叠区域内轨迹点的平均深度估计误差，并用它来估计这两台相机间的标定误差放大度。

图7中示出了任意两台摄像机，在此假设为1号摄像机和2号摄像机。假设1号摄像机已经完成了标定，现在要根据1号摄像机的标定结果来标定2号摄像机。为了根据1号摄像机的标定结果来标定2号相机，需要根据1号摄像机的外参计算图中圆圈内两摄像机视场交叠区域内轨迹点的世界坐标以及这些点在2号相机摄像机坐标系中的坐标，然后建立方程组，求解2号摄像机的外参。而轨迹点的深度信息作为建立方程组的已知量，它精度的高低直接决定了2号摄像机外参求解的准确度。根据立体视觉原理，深度估计的准确度会随着物体与摄像机距离的增加而降低，因此这里可以采用两摄像机视场交叠区域轨迹点深度测量误差来估计两相机间的标定误差放大度。用{pi|i=1...n}代表出现在图中视场重叠区域内的轨迹点集合，和分别代表第i个点与1号摄像机和2号摄像机间距离的估计误差，而代表该点的平均深度估计误差。距离误差和可通过下面的公式来估计：

${\mathrm{\δ}}_i=\frac{Z^2}{\mathrm{fT}}\mathrm{\Δd}---\left(1\right)$

上式中，Z代表深度图中的估计深度，f代表摄像机的焦距，T为摄像机的基线（baseline），Δd为允许的最小视差增量。每台相机的Δd不一定相同，Δd的取值与相机计算视差的具体算法有关。

为每一个出现在视场重叠区域内的轨迹点重复这一求取平均深度估计误差的操作，并根据计算所得的平均深度估计误差值将它们升序排列，选取误差最小的前n_nonref个点，然后再按照(2)式，求取这n_nonref个点的平均深度估计误差值：

$e^{\mathrm{monref}}=\underset{i=1}{\overset{n_{\mathrm{nonref}}}{\mathrm{\Σ}}}{\stackrel{\‾}{\mathrm{\δ}}}_i^{12}/n_{\mathrm{nonref}}---\left(2\right)$

求出e^nonref后，可以利用该平均深度估计误差值来估计视场重叠关系图中1号摄像机和2号摄像机之间这一“跳”的标定误差放大度。目前，还没有一个公式能直接建立(2)式中平均深度估计误差值和标定误差放大度的等式关系。当摄像机的内参精确已知时，标定误差的放大度主要是受到提取标定物最高点图像坐标的精度和摄像机对该点深度估计精度两方面的影响。而其中提取最高点图像坐标的精度又与多方面因素有关，如跟踪检测算法的优劣，图像分辨率，图像中的噪声等，因此很难对这两者间的关系准确地用公式来表达。实验表明，平均深度估计误差值e^nonref越大，则越有可能在该跳中引入较大的标定误差，从而在该跳中待标定的非参考摄像机的标定精度就越低。鉴于具体估计方式不是本申请实现的障碍，因此，在此不具体描述标定误差放大程度的估计过程。因此，在实际操作中，可简化两者间的关系，通过实验的方式，大致确定。图8示出了图3中例子所对应的将1号摄像机作为参考相机时的标定误差累积图。在图8中每个节点旁的表达式代表所估计的该摄像机的累积标定误差，其中表示1号参考摄像机的标定误差，则代表根据出现在摄像机i和摄像机j视场交叠区域内轨迹点坐标，标定摄像机j过程中引入的标定误差放大系数，它是根据公式(2)中计算出的该跳的e^nonref而通过实验估计所得。需要指出的是，作为示例，图8只示出了较为简单的摄像机视场重叠关系图，图中连接不同节点间的路径只有一条，所部署的摄像机也只有6台，数量较少。因此，不难找出将1号摄像机作为参考相机时到每台非参考的最优“标定路径”（即拥有最小累积标定误差的标定顺序）。但是，在实际中，为了满足应用的需要，往往部署的相机数量较多，相机间的视场重叠关系也会较复杂。这种复杂性可以表现为：在视场交叠关系图中，不同相机间的连接路径往往多于一条。在这种情况下，往往不容易直接看出参考摄像机和非参考摄像机间的最优“标定路径”。为了克服这一复杂性所带了的问题，这里将图8转换为图9所示的带权图。在该图中，对每跳间的标定误差放大系数取对数运算。

这样一来，可以将图8中计算累积标定误差的乘法运算用加法来代替，从而将寻找最优“标定路径”问题转换为图论中的求取代价最小路径问题，然后可以用已有的如Dijkstra(迪杰斯特拉)算法来求解。Dijkstra(迪杰斯特拉)算法是典型的最短路径路由算法，用于计算一个节点到其他所有节点的最短路径。主要特点是以起始点为中心向外层层扩展，直到扩展到终点为止。Dijkstra算法能得出最短路径的最优解。Dijkstra算法是很有代表性的最短路算法，在很多专业课程中都作为基本内容有详细的介绍，如数据结构，图论，运筹学等等，因此不在此详细描述。因此，在步骤S44处，基于带权值的视场重叠区域关系图，采用Dijkstra（迪杰斯特拉）算法，计算任意摄像机作为参考摄像机进行标定时所述多台摄像机之间的标定累积误差，并将结果保存到最小代价表(Least Cost Table，LCT)中，再根据最小代价表(LCT)获取所计算的标定累积误差中的最小累积误差，并将与所述最小标定累积误差对应的参考摄像机确定为所述多台摄像机的参考摄像机。图10所示的是解释最小代价表的示意图。在如图10所示的最小代价表(LCT)中，第一列列出了假定哪一台摄像机作为参考相机，这里分别列出了假定图3中6台相机为参考摄像机的情况。第二列到倒数第二列之间的元素LCPij(j=1…n,j≠i)则代表以第i号摄像机作为参考摄像机时，与第j号非参考摄像机之间最佳“标定路径”上的累积误差。而第二列到倒数第二列元素所组成方阵的对角线元素代表参考摄像机的标定误差。因此，将第i行第二列到倒数第二列所有元素做累加，可以得到以第i个摄像机作为参考摄像机时的总的最小累积标定误差。将该结果保存在最小代价表(LCT)的最后一列中。

为了保证所部署相机的整体标定精度，应当选择使得总体累积标定误差最小的摄像机作为参考摄像机。因此，根据最小代价表最后一列中的数据，

我们可以按照下式来选择参考摄像机：

为参考摄像机时的标定误差，则表示返回具有括号中操作返回值最小的编号值j，即摄像机的编号。从公式(3)可知，我们选择具有到其它相机累积标定误差和最小的摄像机作为参考摄像机。

尽管上述操作已经确定了参考摄像机并将摄像机网络的整体标定误差降低到了最小，但是，在实际标定过程中，为了获得更好的标定精度，希望能够使得单条“标定路径”的最小累积标定误差足够的小，从而使得每一台非参考摄像机的标定精度足够的高。为此，需要在步骤S45处，当根据最小代价表确定了参考摄像机后，检查是否存在某条到非参考摄像机的最佳“标定路径”的累积标定误差大于预定阈值。当存在一条到非参考摄像机的最佳“标定路径”的累积标定误差大于预定阈值时，则在步骤S46处，将该条累积标定误差大于预定阈值的到非参考摄像机的最佳“标定路径”中的最大误差放大系数对应的“跳”断开，从而将整个摄像机网络分为两个摄像机子网络（也称之为“摄像机簇”）或者消除该边所代表的重叠关系。

图11和图12示意性解释了图3所示视场重叠关系图划分为若干个小的摄像机簇的操作过程。在图11中，假设将2号摄像机选为了参考相机，而2号参考相机与4号和5号非参考摄像机“标定路径”上的最小累积标定误差大于一个预定阈值，且4号摄像机与2号参考摄像机“标定路径”上具有最大误差放大系数的边（或“跳”）为3号摄像机与4号摄像机之间的边，误差放大倍数在图中用表示。为了降低4号非参考摄像机的标定累积误差，这里选择将具有最大误差放大倍数的这条边断开（即图中3号摄像机与4号摄像机之间的边），这样可以得到如图12所示的两个小的摄像机簇，即图中圆圈所标记的两个摄像机子网络。然后，再分别对这两个摄像机簇执行S44和S45的参考摄像机选择操作，分别在这两个摄像机网络中选出参考摄像机，直到每一个摄像机簇中的单条“标定路径”的最小累积误差小于预定阈值。这里需要指出的是，选择断开具有最大误差放大倍数的边是由于它往往代表这两台双目立体相机的视场交叠区域距离这两台相机较远，因此计算的深度的准确度偏低，移动物体最高点的图像坐标的提取也往往不准确，从而会导致外参的计算结果与真实值存在较大的偏差。因此选择断开这条边，避免引入较大的标定误差。通过这种细分所部署的摄像机组成的网络的方法，将原规模的摄像机网络划分为若干个小的摄像机簇，再在每一个簇中选择一台摄像机作为参考摄像机。这样一来，整个摄像机网络中参考摄像机的数目将多于1台。由于将整个摄像机网络划分为了若干个小的虚拟的摄像机簇，每个簇中摄像机的规模与划分前的相比降低了，参考摄像机到非参考摄像机的“标定路径”也将随之变短。这样一来，原来标定累积误差较大的非参考摄像机的误差将会降低，标定精度将会得到提高。如上所述，在某条确定了的非参考摄像机和参考摄像机间“标定路径”上的累积误差过大的情况下，说明该非参考摄像机的标定结果将出现较大偏差，这时应该将部署的相机网络划分为若干个小的相机簇。在每个簇中再迭代使用参考摄像机的智能选择方法，判读是否有某条“标定路径”的累积误差过大，如果没有，则选出一个最佳摄像机作为参考相机。否则，再对该摄像机族进行划分，直到满足条件为止。这个根据标定的累积误差动态划分簇的方法特别适合于所部署的摄像机数量特别多的情况。

图13所示的是根据本发明的标定多台摄像机的系统。如图13所示，所述标定多台摄像机的系统包括：同步单元1310，对所述多台摄像机进行系统时间同步；视场重叠区域关系图创建单元1320，基于每台摄像机输出的包含被跟踪对象的跟踪结果图像所附加的时间戳信息，建立所述多台摄像机间的视场重叠区域关系图；权值计算单元1330，计算在所述视场重叠区域关系图每一个视场重叠区域内提取到的被跟踪对象的轨迹点的平均深度误差估计值，利用所计算的平均深度误差估计值估计所述视场重叠区域关系图中对应于所述每一个视场重叠区域的一跳的标定误差放大倍数，并基于所估计的标定误差放大倍数赋予对应的一跳一个权值，从而将所述视场重叠区域关系图转换成带权值的视场重叠区域关系图；最小路径获取单元1340，基于带权值的视场重叠区域关系图，采用Dijkstra算法，计算任意摄像机作为参考摄像机进行标定时所述多台摄像机之间具有的标定累积误差，获取所计算的标定累积误差中的最小累积误差，并将与所述最小标定累积误差对应的参考摄像机确定为所述多台摄像机的参考摄像机；检查单元1350，当根据最小代价表确定了参考摄像机后，检查是否存在某条到非参考摄像机的最佳“标定路径”的累积标定误差大于预定阈值。分割单元1360，当存在一条到非参考摄像机的最佳“标定路径”的累积标定误差大于预定阈值时，将该条累积标定误差大于预定阈值的到非参考摄像机的最佳“标定路径”中的最大误差放大系数对应的“跳”断开，从而将整个摄像机网络分为两个摄像机子网络。

综上所述，本申请在对包含多台摄像机的摄像机网络进行标定时，通过考虑指定的参考相机在整个网络拓扑结构中的位置确保整体的标定误差最小，而且考虑不同系统中所包含的相机的规模差异而不固定参考摄像机的相机数目，即考虑到参考相机的个数应该与整个系统所包含的相机数目相适应来动态变化。因此，本发明的技术方案既保证了参考摄像机标定结果的精度，同时又提高非参考相机的整体标定精度，这主要是因为本发明同时考虑了参考摄像机和非参考摄像机间的路径长度，或者称为跳数、误差传播次数，又考虑到了每一跳间的标定误差放大程度，也就是说，既关注到摄像机网络的整体标定精度，也顾及到每跳的标定误差放大程度，因此相对于现有的标定方法从整体摄像机系统到个体摄像机的标定精度都得到提高。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (7)

1.一种标定多台摄像机的方法，包括：

对所述多台摄像机进行系统时间同步；

基于每台摄像机输出的包含被跟踪对象的跟踪结果图像所附加的时间戳信息，建立所述多台摄像机间的视场重叠区域关系图；

计算在所述视场重叠区域关系图每一个视场重叠区域内提取到的被跟踪对象的轨迹点的平均深度误差估计值，利用所计算的平均深度误差估计值估计所述视场重叠区域关系图中对应于所述每一个视场重叠区域的一跳的标定误差放大倍数，并基于所估计的标定误差放大倍数赋予对应的一跳一个权值，从而将所述视场重叠区域关系图转换成带权值的视场重叠区域关系图；

基于带权值的视场重叠区域关系图，采用Dijkstra算法，计算任意摄像机作为参考摄像机进行标定时所述多台摄像机之间具有标定累积误差，获取所计算的标定累积误差中的最小累积误差，并将与所述最小标定累积误差对应的参考摄像机确定为所述多台摄像机的参考摄像机。

2.根据权利要求1的标定多台摄像机的方法，其还包括：

当所确定的参考摄像机与每台非参考摄像机之间标定路径上的累积标定误差值小于预定阈值时，直接输出所确定的参考摄像机；

当所确定的参考摄像机与每台非参考摄像机之间标定路径上的累积标定误差值大于或等于预定阈值时，则将超过预定阈值的标定路径中标定误差放大倍数最大的一跳断开，从而将所述多台摄像机分成多个子摄像机簇，并相应地形成多个子视场重叠区域关系图，并且针对每个子视场重叠区域关系图采用Dijkstra算法确定每个子摄像机簇中的参考摄像机。

3.根据权利要求1或2的标定多台摄像机的方法，其中基于每台摄像机输出的包含被跟踪对象的结果所附加的时间戳信息，建立所述多台摄像机间的视场重叠区域关系图的步骤包括：

比较所部署的任意两台摄像机对跟踪对象的跟踪结果的时间戳，若两台摄像机的跟踪结果存在相同的时间戳信息，则可以判断这两台摄像机间存在视场区域的重叠，并将这种关系用视场重叠区域关系图来表示，其中视场重叠区域关系图中的节点对应于所述多台摄像机中的一台摄像机，而节点之间的边代表该边所连接的两个节点所代表的摄像机之间存在视场重叠关系。

4.根据权利要求3的标定多台摄像机的方法，其中计算在所述视场重叠区域关系图每一个视场重叠区域内提取到的被跟踪对象的轨迹点的平均深度误差估计值的步骤包括：

对于出现在任意两台摄像机视场交叠区域内的每一个轨迹点，求取每一个轨迹点分别到这两台摄像机的平均深度估计误差，并按照升序将所计算的每个轨迹点的平均深度估计误差依次排列；以及

取最小的n个平均深度估计误差并求他们平均值，并以该平均值估计这两台摄像机间的标定误差放大倍数。

5.根据权利要求4的标定多台摄像机的方法，其中所述Dijkstra算法采用最小代价表保存采用任意摄像机作为参考摄像机进行标定时到其它摄像机之间的标定累积误差，并根据最小代价表选择最小累积标定误差所对应的摄像机作为参考摄像机。

6.一种标定多台摄像机的系统，包括：

同步单元，对所述多台摄像机进行系统时间同步；

视场重叠区域关系图创建单元，基于每台摄像机输出的包含被跟踪对象的跟踪结果所附加的时间戳信息，建立所述多台摄像机间的视场重叠区域关系图；

权值计算单元，计算在所述视场重叠区域关系图每一个视场重叠区域内提取到的被跟踪对象的轨迹点的平均深度误差估计值，利用所计算的平均深度误差估计值估计所述视场重叠区域关系图中对应于所述每一个视场重叠区域的一跳的标定误差放大倍数，并基于所估计的标定误差放大倍数赋予对应的一跳一个权值，从而将所述视场重叠区域关系图转换成带权值的视场重叠区域关系图；以及

最小路径获取单元，基于带权值的视场重叠区域关系图，采用Dijkstra算法，计算任意摄像机作为参考摄像机进行标定时所述多台摄像机之间具有标定累积误差，获取所计算的标定累积误差中的最小累积误差，并将与所述最小标定累积误差对应的参考摄像机确定为所述多台摄像机的参考摄像机。

7.根据权利要求6的标定多台摄像机的系统，还包括：

检查单元，当将与所述最小标定累积误差对应的参考摄像机确定为所述多台摄像机的参考摄像机后，检查是否存在某条到非参考摄像机的最佳标定路径的累积标定误差大于预定阈值；以及

分割单元，当存在一条到非参考摄像机的标定路径的累积标定误差大于预定阈值时，将该条累积标定误差大于预定阈值的到非参考摄像机的标定路径中的最大误差放大系数对应的一跳断开，从而将整个摄像机网络分为两个摄像机子网络。