CN103745452A - 相机外参评估方法、装置、相机外参标定方法和装置 - Google Patents

Abstract

本发明提供了相机外参评估方法和装置、相机外参标定方法和装置。该相机外参评估方法包括：获得立体相机的外参；获得立体相机拍摄得到的立体图像，该立体图像包括灰度图像和深度图像，其中场景中存在垂直于地面的垂直边缘；检测图像中的垂直边缘；利用立体相机的外参将具体的垂直边缘投影到世界坐标系中的地面平行坐标平面；以及基于垂直边缘投影到地面平行坐标平面的投影形状与圆形的接近程度，评估该立体相机的外参的准确性。从而能够便利地进行相机外参评估，且基于此的相机外参标定方法能够获得准确性满足要求的相机外参。

Description

相机外参评估方法、装置、相机外参标定方法和装置

技术领域

本发明总体地涉及图像处理，具体地，涉及基于图像处理的相机外参评估的方法和装置以及相机外参标定的方法和装置。

背景技术

近年来，利用诸如立体相机的图像捕获装置来获得图像，并基于对图像的分析和处理来进行对象定位、检测或跟踪等的应用越来越多。

为了精确地执行上述应用，通常需要预先对相机进行标定以便获得准确的相机参数。相机的参数包括相机的内部参数（通常简称内参）和外部参数（通常简称外参）。相机内部参数，是相机本身固有的参数，例如焦距、光心位置等。相机外参表示相机在世界坐标系（也称全局坐标系）中的位置和方向，从数学角度而言，相机外参表征了相机坐标系与指定的世界坐标系（也称为全局坐标系）之间的坐标变换关系。

使用错误的相机外参对涉及该双目相机的其他应用影响很大。比如，在涉及到将多个双目相机的检测结果融合在同一世界坐标系下的应用中会出现偏差，等等。

已经存在许多相机外参标定的方法。例如，一种典型方法是使用棋盘格进行双目相机标定，同时标定出相机的内参和外参。

专利文献US8212878提出了一种车载相机的标定装置。该标定装置包括：一台车载相机，一个相机参数计算单元，将相机拍到的路面上的标识使用图像处理方法识别出来并计算出相机参数。相机参数包括相机安装的高度和角度。一个相机参数标定单元，该单元使用参数计算单元输出的参数进行车载相机光轴的标定。

专利文献US8310539提出一种相机外部参数标定方法和装置。该装置包括：一个图像目标，一个二维计算单元，能检测图像中的特征点的二维坐标；一个三维计算单元，能计算特征点的三维坐标；以及一个参数计算单元，根据目标点每次移动后算得的二维坐标和三维坐标计算CCD相机的内参和外参。

专利文献US8184863B2提出一个速度检测系统。该发明提出一个使用图像传感器测量车的速度的系统。该系统在每帧图像中检测车辆，然后根据道路上的标记生成的透视图获得车的位置，其中使用路面上的四个参考点建立图像坐标系的透视图和世界坐标系之间的关系，另外时间信息由每帧图像的时间戳给出。

需要提供一种对标定的相机外参的准确性进行评价的技术，以及一种准确地标定相机外参的技术。

发明内容

本发明的一个目的在于提供一种便利且准确性高的相机外参评估方法和装置。

本发明的另一个目的在于提供一种准确的相机外参标定方法和装置。

根据本发明的一个方面，提供了一种评估立体相机的外参的准确性的外参评估方法，立体相机的外参表示相机坐标系与世界坐标系之间的变换关系，该世界坐标系的一个坐标平面与地面平行，称为地面平行坐标平面，该方法包括：获得立体相机的外参；获得立体相机拍摄得到的立体图像，该立体图像包括灰度图像和深度图像，其中立体相机拍摄的场景中存在垂直于地面的垂直边缘；检测图像中的垂直边缘；利用立体相机的外参将检测到的图像中的垂直边缘投影到世界坐标系中的地面平行坐标平面；以及基于垂直边缘投影到地面平行坐标平面的投影形状与圆形的接近程度，评估该立体相机的外参的准确性。

根据本发明的另一方面，提供了一种评估立体相机的外参的准确性的外参评估装置，立体相机的外参表示相机坐标系与世界坐标系之间的变换关系，该世界坐标系的一个坐标平面与地面平行，称为地面平行坐标平面，该外参评估装置包括：外参获得部件，获得立体相机的外参；立体图像获得部件，获得立体相机拍摄得到的立体图像，该立体图像包括灰度图像和深度图像，其中立体相机拍摄的场景中存在垂直于地面的垂直边缘；垂直边缘检测部件，检测图像中的垂直边缘；垂直边缘投影部件，利用立体相机的外参将检测到的图像中的垂直边缘投影到世界坐标系中的地面平行坐标平面；以及准确性评估部件，基于垂直边缘投影到地面平行坐标平面的投影形状与圆形的接近程度，评估该立体相机的外参的准确性。

利用本发明实施例的相机外参评估方法和相机外参评估装置，通过检测图像中的垂直线并评估该垂直线在地面的投影与圆形的接近程度来评估相机外参，能够便利地进行相机外参评估，特别适合于所拍摄的场景中存在较多垂直线的情况，例如办公室情景下。

根据本发明的再一方面，提供了一种标定立体相机的外参的外参标定方法，立体相机的外参表示相机坐标系与世界坐标系之间的变换关系，该世界坐标系的一个坐标平面与地面平行，称为地面平行坐标平面，该外参标定方法包括如下步骤：图像获得步骤，获得立体相机对移动的对象拍摄得到的多个立体图像；对象及其顶部位置检测步骤，检测该多个立体图像的每个中的该对象，以及获得该对象的多个顶部位置；外参计算步骤，基于检测出的该对象的多个顶部位置，计算立体相机的外参；外参准确性评估步骤，评估立体相机的外参的准确性；数据滤除步骤，如果立体相机的外参的准确性低于预定阈值，则根据该对象的多个顶部位置和立体相机的外参，确定均值平面、上界平面和下界平面；去除多个顶部位置之中位于上界平面和下界平面之间的顶部位置；重复执行上述外参计算步骤、外参准确性评估步骤和数据滤除步骤，直到立体相机的外参的准确性高于预定阈值。

根据本发明的再一方面，提供了一种标定立体相机的外参的外参标定装置，立体相机的外参表示相机坐标系与世界坐标系之间的变换关系，该世界坐标系的一个坐标平面与地面平行，称为地面平行坐标平面，该外参标定装置包括：图像获得部件，获得立体相机对移动的对象拍摄得到的多个立体图像；对象及其顶部位置检测部件，检测该多个立体图像的每个中的该对象，以及获得该对象的多个顶部位置；外参计算部件，基于检测出的该对象的多个顶部位置，计算立体相机的外参；外参准确性评估部件，评估立体相机的外参的准确性；以及数据滤除部件，如果立体相机的外参的准确性低于预定阈值，则根据该对象的多个顶部位置和立体相机的外参，确定均值平面、上界平面和下界平面；去除多个顶部位置之中位于上界平面和下界平面之间的顶部位置；其中，所述外参计算部件、外参准确性评估部件、数据滤除部件重复地顺序执行上述外参计算操作、外参准确性评估操作和数据滤除操作，直到外参准确性评估部件确定立体相机的外参的准确性高于预定阈值。

利用根据本发明实施例的相机外参标定方法和装置，通过利用外参计算、外参准确性评估和数据滤除的迭代操作，可以最终计算得到准确性满足要求的相机外参。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示意性地示出了一个相机坐标系XcYcZc和一个世界坐标系XwYwZw的示意图。

图2示出了根据本发明一个实施例的外参评估（和/或标定）系统的输入输出示意图。

图3示出了根据本发明一个实施例的外参评估装置100的配置框图。

图4示出根据本发明一个实施例的评估立体相机的外参的准确性的外参评估方法的总体流程图。

图5示出了根据本发明实施例的检测图像中的垂直边缘的示例性方法的流程图。

图6A示出了作为处理对象的原始灰度图，图6B示出了灰度图的边缘检测结果的示意图，图6C示出了垂直边缘相交于消失点的示意图。

图7示出了将垂直线投影到世界坐标系中的地面平行坐标平面所得的投影图的示意图。

图8示出了对于图像中的对应于真实世界中的垂直线，在准确的相机外参情况下得到的世界坐标系中的地面投影图以及在不准确的相机外参情况下得到的世界坐标系中的地面投影图。

图9示出了利用主成分分析PCA方法将离散的点拟合成椭圆的示意图。

图10示意性地示出了投影的区域的长轴和短轴的示意图。

图11示出了根据本发明实施例的利用外参准确性评估的迭代式相机外参标定方法的总体流程图。

图12示出了根据本发明一个实施例的人的检测和定位方法的总体流程图。

图13示出了针对各帧使用相机外参计算得到的世界坐标系中的头顶位置的示意图。

图14示出了世界坐标系中的该平均值平面，设定上界和下界的示意图。

图15示出了根据本发明一个实施例的相机外参标定装置的配置框图。

图16示出了根据本发明另一实施例的相机外参标定装置的配置框图。

图17示出了适于用来实现本发明实施方式的示例性计算系统的框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

在进一步详细介绍之前，为了便于理解，首先介绍一下本发明的核心思想。发明人注意到，在现实生活的场景中，存在很多垂直于或基本上垂直于地面的边缘（后文将之称为垂直边缘或者垂直线），在世界坐标系的一个平面平行于地面的情况下，可以想见，如果将这样的垂直边缘投影到地面，得到的投影形状应该为圆形或者充分接近于圆形；但是，在相机的外参不准确的情况下，利用这样的不准确的外参将图像中的相应边缘转换到世界坐标系下，并进而投影到地面，得到的投影形状将明显偏离圆形；可以利用这种垂直边缘投影形状随相机外参准确性的变化而不同来评价相机外参的准确性。

需要说明的是，在本发明中的相机应该做广义理解，既包括独立的立体相机如双目相机等，也包括并入于其它机器中的能够起到图像捕获功能的装置，例如移动电话、平板电脑等中的图像捕获部件。另外，立体相机可以指专门的立体相机，也可以指通过处理而起到立体相机功能的相机。

另外，需要说明的是，本发明实施例中假定世界坐标系的一个平面与地面平行，不过可以略加修改使得本发明实施例的技术适用于任何世界坐标系。例如对于任一原始世界坐标系，可以将其一个平面（通过第一坐标变换矩阵）旋转到与地面平行，得到旋转后的世界坐标系，然后计算指示相机坐标系到该旋转后的世界坐标系的转换关系的相机外参，并评估这样的相机外参的准确性，由此也间接实现了对指示从相机坐标系到原始世界坐标系的转换关系的相机外参的评估。而且，在得到表示从相机坐标系到旋转后的世界坐标系的变换关系的令人满意的外参后，基于上述第一坐标变换矩阵对这样的外参进行进一步转换，可以最终得到表示从相机坐标系到原始世界坐标系之间的变换关系的相机外参。

下面为便于理解，给出表示从相机坐标系到世界坐标系的变换关系的相机外参的形式的示例性描述。图1示意性地示出了一个相机坐标系XcYcZc和一个世界坐标系XwYwZw的示意图，其中在该示例中该世界坐标系的Xw坐标轴和Zw坐标轴所在的平面与地面重合。

假设Xc，Yc，Zc表示在相机坐标系下的任意一个位置的坐标，而Xw,Yw,Zw表示其对应的世界坐标系的坐标，则两者之间的变换关系如等式(1)所示。

$\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\end{array}\right]=R\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\end{array}\right]+T---\left(1\right)$

其中矩阵R和T即相机外参。外参R可以由三个旋转变量θx,θy,θz（有时称为俯仰角，滚动角和偏航角）代表，T由三个平移变量tx,ty,tz组成。具体的R和T的表达式如公式（2）所示：

$R=({\mathrm{\θ}}_x,{\mathrm{\θ}}_y,{\mathrm{\θ}}_z)=\left[\begin{array}{ccc}r11& r12& r13\\ r21& r22& r23\\ r31& r32& r33\end{array}\right]$

$=\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_z*\cos {\mathrm{\θ}}_y& -\sin {\mathrm{\θ}}_z*\cos {\mathrm{\θ}}_x+\cos {\mathrm{\θ}}_z*\sin {\mathrm{\θ}}_y*{\sin \mathrm{\θ}}_x& {\sin \mathrm{\θ}}_z*{\sin \mathrm{\θ}}_x+{\cos \mathrm{\θ}}_z*{\sin \mathrm{\θ}}_y*{\cos \mathrm{\θ}}_x\\ {\sin \mathrm{\θ}}_z*{\cos \mathrm{\θ}}_y& {\cos \mathrm{\θ}}_z*\cos {\mathrm{\θ}}_x+{\sin \mathrm{\θ}}_z*{\sin \mathrm{\θ}}_y*{\sin \mathrm{\θ}}_x& -\cos {\mathrm{\θ}}_z*{\sin \mathrm{\θ}}_x+{\sin \mathrm{\θ}}_z*{\sin \mathrm{\θ}}_y*{\cos \mathrm{\θ}}_x\\ -{\sin \mathrm{\θ}}_y& {\cos \mathrm{\θ}}_y*{\sin \mathrm{\θ}}_x& {\cos \mathrm{\θ}}_y*{\cos \mathrm{\θ}}_x\end{array}\right]$

T=(t_x,t_y,t_z)

(2)

其中θx，θy，θz为三个旋转变量，tx，ty，tz为三个平移变量。R是一个由三个旋转角变换出的3乘3的矩阵。

标定外参即求解出R和T，更具体地，即求解6个参数，θx，θy，θz和tx，ty，tz。

下面将描述用于评估外参的准确性和/或标定外参的系统、装置和方法的实施例。

图2示出了根据本发明一个实施例的外参评估（和/或标定）系统的输入输出示意图。

如图2所示，本发明实施例的外参评估和/或标定系统1接收来自双目相机的灰度图和深度图，可选地还可以从外部接收双目相机的外参，输出对这样的外参的准确性进行评估的结果和/或外参标定结果。

图3示出了根据本发明一个实施例的外参评估装置100的配置框图。

如图3所示，外参评估装置100可以包括：外参获得部件110，配置为获得立体相机的外参；立体图像获得部件120，配置为获得立体相机拍摄得到的立体图像，该立体图像包括灰度图像和深度图像，其中拍摄的场景中存在垂直于地面的垂直边缘；垂直边缘检测部件130，配置为检测图像中的垂直边缘；垂直边缘投影部件140，配置为利用立体相机的外参将检测到的图像中的垂直边缘投影到世界坐标系中的地面平行坐标平面；以及准确性评估部件150，配置为基于垂直边缘投影到地面平行坐标平面的投影形状与圆形的接近程度，评估该立体相机的外参的准确性。

外参获得部件110、立体图像获得部件120、垂直边缘检测部件130、垂直边缘投影部件140和准确性评估部件150可以通过总线系统160耦合在一起，并且可以通过计算硬件系统中的CPU、RAM、ROM以及其中运行或存储的代码来实现。

上述各个部件的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，上述外参获得部件110、立体图像获得部件120、垂直边缘检测部件130、垂直边缘投影部件140和准确性评估部件150可以通过总线系统160互相凝结。另外，可以上述各部件中的两个或更多个合并为一个独立的单元来执行和实现相应的功能和操作，或者可以将外参获得部件110、立体图像获得部件120、垂直边缘检测部件130、垂直边缘投影部件140和准确性评估部件150可以通过总线系统160进一步拆分为更小的单元来实现他们各自的功能和操作。

图4示出根据本发明一个实施例的评估立体相机的外参的准确性的外参评估方法S100的总体流程图。图4的外参评估方法S100可以由图3所示的外参评估装置100来实现，其中图3的各个部件可以实现图4中的对应步骤。不过图4所示的方法也可以由其它计算装置来实现，例如，台式机、平板电脑、工作站等。例如，在相机安装于车辆上的情况下时，该外参评估方法可以由车辆上集成的辅助驾驶计算装置来实现等等。

如图4所示，在步骤S110中，获得立体相机的外参。

立体相机的外参可以是本地标定或计算得到的，也可以是以分布式计算或云计算方式计算得到的。例如，将立体相机拍摄的图像和必要的参数传送到远程的一个或多个计算装置，由远程的一个或多个计算装置协作地计算得到立体相机的外参，然后将这样计算得到的相机外参传输给用于评估立体相机的外参的设备，例如本地计算装置。

下面描述一个标定立体相机的外参的示例性方法。

在该示例性方法中，一个移动对象例如人（其身高已知）在相机可拍摄范围内在地面上行走，由双目相机捕获人的多个立体图像（左图像和右图像，可选地还包括深度图像），将这样的人的图像传送到计算装置，计算装置处理图像，检测每个立体图像中的人并确定头顶位置，由图像中的人的头顶位置（图像坐标系中的坐标）可以得到头顶在相机坐标系下的坐标（关于此图像坐标系到相机坐标系的坐标变换可以使用相机的内参来实现，为公知技术，这里不具体描述），然后基于人的身高和头顶在相机坐标系下的位置坐标来计算相机的外参。

下文中，为了便于描述，假设世界坐标系的一个坐标平面即为地面，如图1所示，同时令世界坐标的原点落在摄像机坐标原点的正下方，即tx=0，tz=0；而且令相机坐标系与世界坐标系的Z轴方向无旋转，即θy=0。则，在此示例中，外参标定简化为求解其余的三个变量θx,θz和ty。

如上所述，通过每帧图像中的人的检测，目前已知数据如下：人的头顶在相机坐标系中的坐标（Xcⁱ,Ycⁱ,Zcⁱ），其中i=1,…,n，n表示图像的帧数，也即检测到的人的头顶位置的数目；因为人的身高已知，且人站在地面上，以及世界坐标系的XwZw坐标系平面在地面上，所以人在世界坐标系中的Yw坐标即等于人的身高。需要说明的是，在世界坐标系的一坐标平面不是与地面重合，而是与地面平行，且相距一定距离的情况下，只要该距离已知，则可以容易得到人的头顶在世界坐标系中的Yw坐标。

通过展开公式(1)的矩阵，对于Yw项，可以得到如下等式(3)：

Y_W=r21*X_C+r22*Y_C+r23*Z_C+t_y    (3)

其中如前所述，r21,r22,r23为需要求解的未知数，代表的是旋转矩阵中的三个元素，具体见公式（2）；ty为另一个需要求解的未知数，代表的是Yw轴上的平移变量。

将已知的人在相机坐标系下的各个头顶位置坐标（Xcⁱ,Ycⁱ,Zcⁱ）和Yw代入公式(3)，得到矩阵形式的等式(4)：

其中如前所述，n表示图像帧数，以及检测到的人的头顶的数目，也表示在世界坐标系中的人的头顶数据的数目。

表达式（4）可以简化为AX=b的形式，问题转换成了一个标准的矩阵求解的问题，此问题的解法属于公知技术，以下只做简单阐述。一般地，如果A是一个非奇异矩阵，则可直接求解X=(A^TA)^-1A^Tb即可。但实际上，由于头顶位置数量n的值可以很多，例如几百个，未知数X的元素只有4个，结果中可能还含有一些错误，且没有唯一解。对此等问题，一般使用优化算法求解，比如可以用最小二乘法（LSM）或者拉格朗日乘数法（Lagrangemultiplier）求解。

由上可以从等式(4)求解得到X，即r21,r22,r23和ty。

在从等式(4)求解得到r21,r22,r23的情况下，从公式(2)，可得到如下等式(5)：

$r21={\sin \mathrm{\θ}}_z*{\cos \mathrm{\θ}}_y\stackrel{{\mathrm{\θ}}_y=0}{=}{\sin \mathrm{\θ}}_z$

$r22={\cos \mathrm{\θ}}_z*{\cos \mathrm{\θ}}_x+{\sin \mathrm{\θ}}_z*{\sin \mathrm{\θ}}_y*{\sin \mathrm{\θ}}_x\stackrel{{\mathrm{\θ}}_y=0}{=}{\cos \mathrm{\θ}}_z*{\cos \mathrm{\θ}}_x---\left(5\right)$

$r23=-{\cos \mathrm{\θ}}_z*{\sin \mathrm{\θ}}_x+{\sin \mathrm{\θ}}_z*{\sin \mathrm{\θ}}_y*{\cos \mathrm{\θ}}_x\stackrel{{\mathrm{\θ}}_y=0}{=}-{\cos \mathrm{\θ}}_z*{\sin \mathrm{\θ}}_x$

由此，可以得到旋转角θx,θz，如等式(6)所示。

$\left\{\begin{array}{c}{\mathrm{\θ}}_x={\tan }^{-1}(-r23/r22)\\ {\mathrm{\θ}}_z={\sin }^{-1}\left(r21\right)\end{array}\right.---\left(6\right)$

由此，求得了所有未知的外参θx,θz和ty，并结合前边的假设tx=0，tz=0以及θy=0，得到了相机的所有外参。

上面示例性地描述了标定相机外参的一个示例性方法。不过本发明的外参准确性评估方法对于外参的获得方法没有限制，可以对于以任何方式获得的外参的准确性进行评估。例如，最简单地，可以以目测方式估计相机相对于特定的世界坐标系而言的旋转角度和平移变量（即相机外参），然后对这样的相机外参的准确性进行评价。

回到图4，在步骤S120中，获得立体相机拍摄得到的立体图像，该立体图像包括灰度图像和深度图像，其中立体相机拍摄的场景中存在垂直于地面的垂直边缘。

例如，立体图像获得部件120可以从本地或者远程获得立体图像。

例如，在办公室情境下，假设诸如双目相机、多目相机等的图像捕获设备安装于房间天花板处，外参评估装置在办公室本地。在此情况下，外参评估装置可以例如通过USB连线等直接从图像捕获设备获取灰度图像或者深度。再例如，在汽车辅助驾驶的应用中，假设双目相机安装于汽车的前方顶部，外参评估装置在汽车内中控区域内，则可以以有线或者无线方式接收相机捕获的图像。

不过，外参评估装置也可以远程通过例如有线或者无线通信接收图像。

立体图像可以包括深度图和灰度图。深度图或视差图可以是基于双目测距原理利用确定的双目摄像机采集得到的。如本领域技术人员公知的，深度图和视差图之间可以相互转化，在本文中两者可以互换使用。

需要说明的是，本发明的获得灰度图像和深度图像是广义的，可以是直接从双目相机获得两者，也可以是直接从双目相机获得左图像和右图像，然后由不同于双目相机的其它计算装置基于左图像和右图像计算得到深度图。

另外，本发明中对立体相机没有限制，可以是双目相机、多目相机等任何能够获得平面图像以及距离信息的图像捕获设备，也可以是并入与其它计算装置例如移动电话中的图像捕获设备，而且可以是形式上为单目相机但通过辅助处理实现了立体相机的功能的图像捕获设备，即对于一个相机，只要其既能够捕获普通的灰度图像又能够获得相机到被摄对象的距离信息，即可视为立体相机。

在步骤S120中获得了立体相机拍摄得到的立体图像后，过程前进到步骤S130。

在步骤S130中，检测图像中的垂直边缘。

如前所述，本发明中图像中的垂直边缘是指真实世界中垂直于地面的边缘在图像中的对应表示。

本发明对于检测图像中的垂直边缘的方法没有限制。例如最简单地，可以人工指定图像中的垂直边缘。另外，可以根据预先具有的关于相机相对于世界坐标系的粗略位置和方向的信息，确定真实世界中的垂直边缘在图像中的方向信息等，以供在垂直边缘自动检测中使用。另外，在另一个示例中，考虑到人一般站于地面上，因此人的竖直方向应该与垂直边缘的方向大致平行，因此可以在图像中检测人，并进而检测人的竖直方向，基于如此检测到的人的竖直方向，来过滤垂直边缘。

图5示出了根据本发明实施例的检测图像中的垂直边缘的示例性方法S130的流程图。该方法可以应用于图4中的垂直边缘检测步骤S130。

如图5所示，在步骤S131中，检测图像中的边缘。

任何图像处理中的边缘检测算法均可以用于本发明。例如，检测边缘的图像处理算法可以是Canny算子或Sobel算子等。

在一个示例中，使用Sobel算子作为边缘检测算法。Sobel算子有多种模式的算子，比如[-1,0,1]模式能够检测出图像中出更多的竖线，而 $\left[\begin{array}{c}-1\\ 0\\ 1\end{array}\right]$ 模式检出更多水平线。考虑到本发明希望检测出更多的垂直边缘，在一个示例中使用[-1,0,1]模式的Sobel算子。

图6A示出了作为处理对象的原始灰度图。图6B示出了灰度图的边缘检测结果的示意图。可以看到，诸如墙的边缘、隔断的边缘等的边缘清楚地包含在边缘检测的结果中。

在步骤S132中，将垂直边缘从步骤S131中检测到的边缘中找出来。

在一个示例中，在边缘检测结果中找出垂直线可以分为两步：第一步，找出较长的线，去掉短线或噪声。具体的方法可以使用霍夫变换在图像中找出所有直线，且只保留像素点多于某个阈值（例如20个像素）的直线。第二步骤，在第一步筛选出的结果中只找出垂直线。在一个示例中，可以基于平行线相交于一消失点的原理来找出垂直线。现实世界中的竖线大部分是垂直于地面的，比如椅子腿、墙的和隔断的边缘等。这些垂直线由于互相平行，根据透视原理，它们会相交于一点，即消失点，如图6C所示（为显示方便，图6C中将图6B的图像旋转了90度）。为此，在一个示例中，可以先找到图像中通过其直线最多的消失点，然后将相交于该消失点的直线作为垂直线。有关确定消失点和经过消失点的直线的方法可以参考申请人为株式会社理光的题为“道路转弯类型检测方法和装置”的申请号为CN201210262021.1的专利申请以及如前所述的同一申请人即株式会社理光的题为“道路分割物检测方法和装置”、申请号为No.201110409269.1的在先申请中的内容，通过引用将该专利文献全文合并于本文中。

在步骤S133中，过滤垂直线，以便从在步骤S132中找到的垂直线中进一步筛选出对评估外参偏差更有利的线。

在一个示例中，可以基于如下标准过滤垂直线：有越多像素点并离相机越近的垂直线，对评测更有利。原因是深度计算误差会随着距离增加而增大，以及较多的像素点能从统计上消除个别的误差。例如，具体的过滤标准可以定为：(像素数目>50)以及(深度值<5m)，即筛选出线上的像素点的数目大于50且深度值小于5米的垂直线，用于后续的相机外参准确性评估。

上面参照图5描述了检测图像中的垂直边缘的示例性方法，其可以应用于图4中的步骤S130。

回到图4，在步骤S130中完成图像中的垂直边缘的检测后，前进到步骤S140。

在步骤S140中，利用立体相机的外参将检测到的图像中的垂直边缘投影到世界坐标系中的地面平行坐标平面。

此步骤将选择的垂直线投影到世界坐标系中的地面平行坐标平面，得到如图7所示的亮点形式的投影形状。

在一个示例中，将垂直线投影到世界坐标系中的地面平行坐标平面具体的方法是：对应线上的每一个点(x,y)，由相机内参可以得出该点在相机坐标系下的坐标(Xc,Yc,Zc)，然后使用在步骤S110中获得的相机外参，根据公式（1）计算其对应的世界坐标系的坐标(Xw,Yw,Zw)。在本示例中，地面对应于世界坐标的Yw=0平面，因此该点(Xw,Yw,Zw)在地面上的投影得到的点的坐标可表示为(Xw,Zw)。在将投影形状具体显示为图像的情况下，该点的坐标可对应于图像中的一个像素。图像中的每个像素代表物理空间的一个微小区域（比如4cm×4cm的方形区域）。于是可将垂线上的每个点在地面平行坐标系上的世界坐标（Xw，Zw）都对应到图像中的像素位置，并将该点在投影图中的对应像素的值加1。

在步骤S140中将垂直线投影到世界坐标系的地面平行坐标平面之后，前进到步骤S150。

在步骤S150中，基于垂直边缘投影到地面平行坐标平面的投影形状与圆形的接近程度，评估该立体相机的外参的准确性。

如图8所示，对于图像中与真实世界中的一条垂直线对应的垂直线，在使用准确的相机外参将其投影到地面上的情况下，其在地面上投影的结果应该是一个点或是一个很小的圆；而在使用不准确的外参将其投影到地面上的情况下，其在地面上的投影的结果呈椭圆形。

在一个示例中，将投影的区域看作椭圆，通过计算和比较其长轴a和短轴b进行相机外参准确性评估。具体步骤如下：

首先，使用主成份分析（PCA）计算长轴a和短轴b。主成份分析常用于统计分析，具体解释可参考维基百科上下述网址处的解释http://en.wikipedia.org/wiki/Principal_component_analysis。图9给出用PCA将离散的点拟合成椭圆的一种形象化表示，通过PCA，找到一对正交的坐标轴F1，F2，也就是椭圆的长轴和短轴所在坐标系。

图10示意性地示出了投影的区域的长轴和短轴的示意图，使用主成份分析的表达式（7）如下：

(a,b)=PCA(p1,p2,,pn)  (7)

其中p1…pn表示投影图上像素值不为0的点，即垂直线投影到的点。a和b是PCA得到的特征值，也即长轴和短轴。

然后，可以计算长短轴的比例r来评估该椭圆与圆形的接近程度，如公式（8）所示：

r=a/b  (8)

其中a和b分别是长轴和短轴的长度值。

长短轴的比例r越接近1，即表明该投影区域越接近与圆形，表示外参越准确。给定阈值r_th=1.5，如果r小于此阈值，可以认为外参比较准确，如果大于此阈值，则认为外参存在较大误差。当然，也可以求得短轴和长轴的比值，并且同样短长轴的比例越接近与1，即表明该投影区域越接近与圆形，表示外参越准确，例如给定阈值r_th=0.7，如果r大于此阈值，可以认为外参比较准确，如果小于此阈值，则认为外参存在较大误差。

可以对各个垂直线均进行上述投影和评估投影区域与圆形接近程度的操作，并基于所有垂直线的投影区域与圆形接近程度的统计结果来评估获得的相机外参的准确性。

需要说明的是，在前面描述的操作中，将图像中检测到的垂直线上各点投影到地面，得到了投影图的各个像素，并对投影图上的各个像素进行椭圆形的长轴和短轴的计算。实际上，可以不必真正计算得到投影图上的各个像素，而是得到图像中检测到垂直线上的各点在世界坐标系中的地面平行坐标平面的投影的坐标，并基于各个投影点的坐标来拟合椭圆，得到椭圆的长轴和短轴，并基于椭圆的长轴和短轴，来评估该投影区域与圆形的接近程度，进而评估相机外参的准确性。

如上所述的本发明实施例的相机外参评估方法和相机外参评估装置通过检测图像中的垂直线并评估该垂直线在地面的投影与圆形的接近程度来评估相机外参，能够便利地进行相机外参评估，而且特别适合于所拍摄的场景中存在较多垂直线的情况，例如办公室情景下。

另外，如前所述，本发明实施例可以通过简单改动而适合于评估对于不存在与地面平行的坐标平面的世界坐标系的相机外参的准确性的评估。例如，对于任何坐标平面都与地面不平行的原始世界坐标系，可以假想一个坐标平面与地面平面的世界坐标系作为居间世界坐标系，在获得了表示相机坐标系到原始世界坐标系的坐标变换关系的原始相机外参的情况下，基于简单的坐标转换求得相机坐标系到居间世界坐标系的居间相机外参，然后就可以利用上述的垂直线检测、垂直线到地面投影、投影图与圆形接近程度评估的操作来评估该居间相机外参的准确性，从而间接地实现了对原始相机外参的准确性的评估。

上面描述了根据本发明实施例的外参准确性评估方法。利用该外参准确性评估方法，可以改进外参标定方法。

图11示出了根据本发明实施例的利用外参准确性评估的迭代式相机外参标定方法S200的总体流程图。如前所述，立体相机的外参表示相机坐标系与世界坐标系之间的变换关系，该世界坐标系的一个坐标平面与地面平行，称为地面平行坐标平面。

如图11所示，在步骤S210中，获得立体相机对移动的对象拍摄得到的多个立体图像。在下面的描述中，以移动的对象为在地面上行走的人为例进行描述。

在步骤S220中，检测该多个立体图像的每个中的该对象，以及获得该对象的多个顶部位置。

各种从图像中检测对象的技术均可以应用于本发明。

在一个示例中，可以采用Michael Harville在2003年发表的题为“stereo person tracking with adaptive plan-view templates of heightand occupancy statistics”的文章中公开的使用双目相机进行人的检测和定位的技术。

图12示出了根据本发明一个实施例的人的检测和定位方法S220的总体流程图，该方法可以应用于图11中的步骤S220。该方法以灰度图和深度图作为输入，包括：灰度图和深度图作为输入，背景建模和前景分割步骤S221，将前景转换到投影图步骤S222，人的检测步骤S223，输出是人的检测列表224。步骤S222需要外参225输入。在初始阶段，相机外参未知，此时可以估计一组初始相机外参（估计相机相对于世界坐标系的旋转角度和平移变量）作为步骤S221的输入。发明人发现，虽然初始的值不准确但是仍可以使方法S200工作。

在步骤S230中，基于检测出的该对象的多个顶部位置，计算立体相机的外参。

有关计算立体相机外参的方法可以参考前面结合图4的步骤S110进行的描述。

在步骤S240中，外参准确性评估步骤，评估立体相机的外参的准确性。

该评估立体相机的外参的准确性的步骤可以参考前面结合图4描述的外参准确性评估方法S100。

在步骤S250中，判断外参的准确性是否低于预定阈值。如果不低于阈值，则表示标定的相机外参满足要求，过程结束。否则，前进到步骤S260。

预定阈值的大小可以根据需要而定。例如，在一个示例中，可以以短轴与长轴的比作为相机外参的准确性指标，预定阈值取为0.7。

在步骤S260中，根据该对象的多个顶部位置和立体相机的外参，确定均值平面、上界平面和下界平面。

在一个示例中，步骤S260可以具体地如下实现：

首先计算图像中检测到的人的头顶位置的世界坐标。如前所述，基于图像中检测到的人的头顶位置，利用相机内参可以得到人的头顶位置在相机坐标系下的坐标，然后使用步骤S230中计算得到的相机外参来通过公式（1）计算得到头顶位置在世界坐标系中的坐标。

图13示出了逐帧使用外参计算得到的世界坐标系中的头顶位置的示意图。

然后，计算头顶高度的均值和方差，如公式（9）所示：

$\stackrel{\&OverBar;}{p}=({\stackrel{\&OverBar;}{X}}_w,{\stackrel{\&OverBar;}{Y}}_w,{\stackrel{\&OverBar;}{Z}}_w)=(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{X}_{\mathrm{wi}},\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{Y}_{\mathrm{wi}},\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{Z}_{\mathrm{wi}})$

${\mathrm{\&sigma;}}_y=\sqrt{\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{(Y_{\mathrm{wi}}-{\stackrel{\&OverBar;}{Y}}_w)}^2}---\left(9\right)$

其中

表示头顶位置的均值；是高度值的均值；σ_y表示高度值的方差；X_wi,Y_wi,Z_wi，其中i=1到n,表示在第1到n帧中检测到的特定对象的头顶在世界坐标系中的坐标。

接下来，根据公式（9）所得的头顶高度的均值和方差拟合平均值平面，设定上界和下界。图14示出了世界坐标系中的该平均值平面，设定上界和下界的示意图，图中的圆形点表示的是头顶位置的均值

然后根据外参，可以决定世界坐标系中的唯一平面。由于外参不完全准确，此平面可能不完全平行于地面（如图14所示）。在一个示例中，用于数据过滤的上界和下界可以根据公式（10）确定：

$p_{\mathrm{lower}}=({\stackrel{\&OverBar;}{X}}_w,{\stackrel{\&OverBar;}{Y}}_w-2*{\mathrm{\&sigma;}}_y,{\stackrel{\&OverBar;}{Z}}_w)---\left(10\right)$

$P_{\mathrm{upper}}=({\stackrel{\&OverBar;}{X}}_w,{\stackrel{\&OverBar;}{Y}}_w+2*{\mathrm{\&sigma;}}_y,{\stackrel{\&OverBar;}{Z}}_w)$

其中p_lower和p_upper表示上界和下界的点，是从高度均值

增减两倍的高度值方差。

根据上界和下界的点，同样，可以根据外参确定上界平面和下界平面（如图14所示）。

在步骤S270中，去除多个顶部位置之中位于上界平面和下界平面之间的顶部位置。

即删除所有在上界平面和下界平面之外的头顶位置，即高度高于上界或低于下界的头顶位置全部删除。

在步骤S270完成之后，返回到步骤S230，然后重复执行上述外参计算步骤S230、外参准确性评估步骤S240和外参准确性是否满足要求判断步骤S250、数据滤除界线确定步骤S260和数据滤除步骤S270，直到立体相机的外参的准确性高于预定阈值（即步骤S250中的否）。

利用根据本发明实施例的相机外参标定方法，通过利用外参计算、外参准确性评估和数据滤除的迭代操作，可以最终计算得到准确性满足要求的相机外参。

根据本发明实施例，还提供了一种相机外参标定装置。

图15示出了根据本发明实施例的相机外参标定装置200的配置框图。

如图15所示，相机外参标定装置200可以包括：图像获得部件210，获得立体相机对移动的对象拍摄得到的多个立体图像；对象及其顶部位置检测部件220，检测该多个立体图像的每个中的该对象，以及获得得到该对象的多个顶部位置；外参计算部件230，基于检测出的该对象的多个顶部位置，计算立体相机的外参；外参准确性评估部件240，评估立体相机的外参的准确性；以及数据滤除部件250，如果立体相机的外参的准确性低于预定阈值，则根据该对象的多个顶部位置和立体相机的外参，确定均值平面、上界平面和下界平面；去除多个顶部位置之中位于上界平面和下界平面之间的顶部位置。所述外参计算部件230、外参准确性评估部件240、数据滤除部件250重复地顺序执行上述外参计算操作、外参准确性评估操作和数据滤除操作，直到外参准确性评估部件确定立体相机的外参的准确性高于预定阈值。

上述图像获得部件210、对象及其顶部位置检测部件220、外参计算部件230、外参准确性评估部件240、数据滤除部件250可以通过总线系统260耦合在一起，并且可以通过计算硬件系统中的CPU、RAM、ROM以及其中运行或存储的代码来实现。上述各个部件的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，上述各个部件可以彼此合并或者各自进行进一步拆分。

图16示出了根据本发明另一实施例的相机外参标定装置300的配置框图。图16所示的实施例与图15所示实施例的不同在于多了计算外参用数据获得部件310而少了图像获得部件210、对象及其顶部位置检测部件220。图16中所示的外参计算部件330、外参准确性评估部件340、数据滤除部件350与图15中所示外参计算部件230、外参准确性评估部件240、数据滤除部件250在功能和实现上类似。

如图16所示，相机外参标定装置300可以包括：计算外参用数据获得部件310，获得用于计算外参用的数据，例如，包括检测到的对象的顶部位置、相机内参、对象高度等；外参计算部件330，基于检测出的该对象的多个顶部位置，计算立体相机的外参；外参准确性评估部件340，评估立体相机的外参的准确性；以及数据滤除部件350，如果立体相机的外参的准确性低于预定阈值，则根据该对象的多个顶部位置和立体相机的外参，确定均值平面、上界平面和下界平面；去除多个顶部位置之中位于上界平面和下界平面之间的顶部位置。所述外参计算部件330、外参准确性评估部件340、数据滤除部件350重复地顺序执行上述外参计算操作、外参准确性评估操作和数据滤除操作，直到外参准确性评估部件确定立体相机的外参的准确性高于预定阈值。

上述计算外参用数据获得部件310、外参计算部件330、外参准确性评估部件340、数据滤除部件350可以通过总线系统360耦合在一起，并且可以通过计算硬件系统中的CPU、RAM、ROM以及其中运行或存储的代码来实现。上述各个部件的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，上述各个部件可以彼此合并或者各自进行进一步拆分。

本发明还可以通过一种用于评估相机外参准确性/标定相机外参的计算系统来实施。图17示出了适于用来实现本发明实施方式的示例性计算系统400的框图。如图17所示，计算系统400可以包括：CPU（中央处理单元）401、RAM（随机存取存储器）402、ROM（只读存储器）403、系统总线404、硬盘控制器405、键盘控制器406、串行接口控制器407、并行接口控制器408、显示控制器409、硬盘410、键盘411、串行外部设备412、并行外部设备413和显示器414。在这些设备中，与系统总线404耦合的有CPU401、RAM402、ROM403、硬盘控制器405、键盘控制器406、串行接口控制器407、并行接口控制器408和显示控制器409。硬盘410与硬盘控制器405耦合，键盘411与键盘控制器406耦合，串行外部设备412与串行接口控制器407耦合，并行外部设备413与并行接口控制器48耦合，以及显示器414与显示控制器409耦合。应当理解，图14所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。

所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

上面参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品（manufacture）。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种评估立体相机的外参的准确性的外参评估方法，立体相机的外参表示相机坐标系与世界坐标系之间的变换关系，该世界坐标系的一个坐标平面与地面平行，称为地面平行坐标平面，该外参评估方法包括：

获得立体相机的外参；

获得立体相机拍摄得到的立体图像，该立体图像包括灰度图像和深度图像，其中立体相机拍摄的场景中存在垂直于地面的垂直边缘；

检测图像中的垂直边缘；

利用立体相机的外参将检测到的图像中的垂直边缘投影到世界坐标系中的地面平行坐标平面；以及

基于垂直边缘投影到地面平行坐标平面的投影形状与圆形的接近程度，评估该立体相机的外参的准确性。

2.根据权利要求1的外参评估方法，所述获得立体相机的外参包括：

获得立体相机对在地面上移动的同一个对象拍摄得到的多个立体图像；

检测该多个立体图像的每个中的该对象；以及

基于检测出的对象的顶部位置，计算立体相机的外参。

3.根据权利要求1的外参评估方法，所述检测图像中的垂直边缘包括：

检测图像中的边缘；

确定作为垂直边缘相交的点的消失点；以及

将相交于该消失点的直线作为垂直边缘。

4.根据权利要求3的外参评估方法，所述检测图像中的边缘包括：

使用Sobel算子利用[-1,0,1]模式的算子来检测图像中的边缘。

5.根据权利要求1的外参评估方法，所述基于垂直边缘投影到世界坐标系中的地面平行坐标平面的投影形状与圆形的接近程度，评估该立体相机的外参的准确性包括：

在将该投影形状看作椭圆的情况下，使用主成分分析PCA方法计算该椭圆的长轴和短轴；

基于长轴和短轴的值，来确定该投影形状与圆形的接近程度。

6.一种标定立体相机的外参的外参标定方法，立体相机的外参表示相机坐标系与世界坐标系之间的变换关系，该世界坐标系的一个坐标平面与地面平行，称为地面平行坐标平面，该外参标定方法包括如下步骤：

图像获得步骤，获得立体相机对在地面上移动的对象拍摄得到的多个立体图像；

对象及其顶部位置检测步骤，检测该多个立体图像的每个中的该对象，以及获得该对象的多个顶部位置；

外参计算步骤，基于检测出的该对象的多个顶部位置，计算立体相机的外参；

外参准确性评估步骤，评估立体相机的外参的准确性，

数据滤除步骤，如果立体相机的外参的准确性低于预定阈值，则

根据该对象的多个顶部位置和立体相机的外参，确定均值平面、上界平面和下界平面；以及

去除多个顶部位置之中位于上界平面和下界平面之间的顶部位置；

重复执行上述外参计算步骤、外参准确性评估步骤和数据滤除步骤，直到立体相机的外参的准确性高于预定阈值。

7.根据权利要求6的外参标定方法，其中所述外参准确性评估步骤包括：

获得立体相机拍摄得到的立体图像，该立体图像包括灰度图像和深度图像，其中立体相机拍摄的场景中存在垂直于地面的垂直边缘；

检测图像中的垂直边缘；

利用标定的立体相机的外参将检测到的图像中的垂直边缘投影到世界坐标系中的地面平行坐标平面；以及

基于垂直边缘投影到地面平行坐标平面的投影形状与圆形的接近程度，评估该标定的立体相机的外参的准确性。

8.一种评估立体相机的外参的准确性的外参评估装置，立体相机的外参表示相机坐标系与世界坐标系之间的变换关系，该世界坐标系的一个坐标平面与地面平行，称为地面平行坐标平面，该外参评估装置包括：

外参获得部件，获得立体相机的外参；

立体图像获得部件，获得立体相机拍摄得到的立体图像，该立体图像包括灰度图像和深度图像，其中立体相机拍摄的场景中存在垂直于地面的垂直边缘；

垂直边缘检测部件，检测图像中的垂直边缘；

垂直边缘投影部件，利用立体相机的外参将检测到的图像中的垂直边缘投影到世界坐标系中的地面平行坐标平面；以及

准确性评估部件，基于垂直边缘投影到地面平行坐标平面的投影形状与圆形的接近程度，评估该立体相机的外参的准确性。

9.根据权利要求8的外参评估装置，所述垂直边缘检测部件通过以下操作来检测图像中的垂直边缘：

检测图像中的边缘；

确定作为垂直边缘相交的点的消失点；以及

将相交于该消失点的直线作为垂直边缘。

10.一种标定立体相机的外参的外参标定装置，立体相机的外参表示相机坐标系与世界坐标系之间的变换关系，该世界坐标系的一个坐标平面与地面平行，称为地面平行坐标平面，该外参标定装置包括：

图像获得部件，获得立体相机对移动的对象拍摄得到的多个立体图像；

对象及其顶部位置检测部件，检测该多个立体图像的每个中的该对象，以及获得该对象的多个顶部位置；

外参计算部件，基于检测出的该对象的多个顶部位置，计算立体相机的外参；

外参准确性评估部件，评估立体相机的外参的准确性；以及

数据滤除部件，如果立体相机的外参的准确性低于预定阈值，则

根据该对象的多个顶部位置和立体相机的外参，确定均值平面、上界平面和下界平面；以及

去除多个顶部位置之中位于上界平面和下界平面之间的顶部位置；

其中，所述外参计算部件、外参准确性评估部件、数据滤除部件重复地顺序执行上述外参计算操作、外参准确性评估操作和数据滤除操作，直到外参准确性评估部件确定立体相机的外参的准确性高于预定阈值。

Images