CN102447942A - 成像装置参数估计方法及应用它的方法、装置和系统 - Google Patents

Abstract

本申请涉及一种成像装置参数估计方法及应用它的方法、装置和系统。根据本申请所提供的实施例，获取所述成像装置所成图像中的基准平面区域，检测所述基准平面区域上的至少两个对象在图像中的位置和高度，然后基于所述至少两个对象在所述图像中的位置和高度，以及有关所述至少两个对象的先验知识，将所述成像装置相对于所述基准平面区域的俯仰角和焦距之乘积作为一个物理量，联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离。根据本申请所提供的实施例，能够快速地估测存在一定俯仰角的成像装置的参数，从而能够将所估测的参数应用于多种计算机视觉应用当中。

Description

成像装置参数估计方法及应用它的方法、装置和系统

技术领域

本申请总体上涉及图像处理。具体地，涉及利用图像处理获知获取图像所用成像装置的部分参数的方法和装置。进一步，本申请还涉及所述方法和装置的应用，包括对象检测、对象跟踪和对象高度估测方法和装置，成像装置，以及监控系统。

背景技术

D.Hoiem，A.Efros及M.Hebert的“Putting Objects in Perspective”，International Journal on Computer Vision，vol.80，no.1，pp.3-15，2008(非专利文献1，其全部内容通过在此引用而合并到本申请文件中)提出了一种利用图像中检测到的人和车的大小，估计相机的参数，并将其反馈回检测系统中改进检测性能的方法。其核心思想在于人和车的实际大小(统计得到的平均大小)是已知的，又假定他们处在同一个水平面上，则通过物体检测算法得到的它们在图像中的位置和大小可以用于估计相机的参数。得到的参数可对二维图像施加三维透视约束，通过反馈这一约束到物体检测中可以改进检测算法的性能。

非专利文献1中的技术方案要求相机的俯仰角的角度必须接近于零。而在诸如监控等许多实际应用中，相机往往是俯拍的角度，偶尔也会存在仰拍的情况。这种情况下该方法就会失效。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本申请的一个目的是提出一种方案，使得在存在一定俯仰角的情况下也能估计相机参数，以便能够对场景施加透视约束。

因此，根据本申请的一个方面，提供了一种估计成像装置参数的方法，包括：获取所述成像装置所成图像中的基准平面区域；检测所述基准平面区域上的至少两个对象在图像中的位置和高度；基于所述至少两个对象在所述图像中的位置和高度，以及有关所述至少两个对象的先验知识，将所述成像装置相对于所述基准平面区域的俯仰角和焦距之乘积作为一个物理量，联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离。

本申请还提供了一种对象检测方法，包括：按照上述估计成像装置参数的方法估计成像装置的参数；基于所述参数对搜索窗口的大小施以透视约束，来在所述成像装置所成图像中检测对象。

本申请还提供了一种对象跟踪方法，包括：按照上述估计成像装置参数的方法估计成像装置的参数；基于所述参数对搜索窗口的大小施以透视约束，来在所述成像装置所成图像中跟踪对象。

本申请还提供了一种对象高度估计方法，包括：按照上述估计成像装置参数的方法估计成像装置的参数；基于所述参数对图像施加透视约束，来根据图像中检测到的对象高度估计对象在真实世界中的实际高度。

根据本申请的另一方面，提供了一种估计成像装置参数的装置，包括：获取所述成像装置所成图像中的基准平面区域的装置；检测所述基准平面区域上的至少两个对象在图像中的位置和高度的装置；基于所述至少两个对象在所述图像中的位置和高度，以及有关所述至少两个对象的先验知识，将所述成像装置相对于所述基准平面区域的俯仰角和焦距之乘积作为一个物理量，联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离的装置。

本申请还提供了一种对象检测装置，包括：上述估计成像装置参数的装置；基于所述参数对搜索窗口的大小施以透视约束，来在所述成像装置所成图像中检测对象的装置。

本申请还提供了一种对象跟踪装置，包括：上述估计成像装置参数的装置；基于所述参数对搜索窗口的大小施以透视约束，来在所述成像装置所成图像中跟踪对象的装置。

本申请还提供了一种对象高度估测装置，包括：上述估计成像装置参数的装置；基于所述参数对图像施加透视约束，来根据图像中检测到的对象高度估计对象在真实世界中的实际高度的装置。

根据本申请的又一方面，还提供了一种成像装置，可以包括上述估计成像装置参数的装置，或者上述对象检测装置，或者上述对象跟踪装置，或者上述对象高度估测装置。

进一步，本申请还提供了一种监控系统，其包括成像装置以及上述估计成像装置参数的装置。

最后，本申请还提供了一种程序产品，该程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行上述方法。

本申请还提供了一种存储介质，该存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行上述方法。

根据本申请所提供的实施例，能够快速地估测存在一定俯仰角的成像装置的参数，从而能够将所估测的参数应用于多种计算机视觉应用当中。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：

图1为根据本申请的一种实施方式的估计成像装置参数的方法的流程图；

图2为根据本申请的一种实施方式的方法用以估计成像装置参数的图像的一个示例；

图3为根据本申请的一种实施方式的方法的示意图；

图4为根据本申请的另一种实施方式的方法的流程图；

图5为根据本申请的一种实施方式的估计成像装置参数的装置的示意图；

图6为能够用于实现本申请提供的各实施方式的计算设备的例子的示意图；

图7为根据本申请另一种实施方式的监控系统的示意图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与至少根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

尤其是，当涉及连接关系和信息的流动时，附图中的图示和说明书中的描述仅涉及与发明密切相关的部分，而未穷尽图示或者列举所有的连接和所有的信息流动。

第一实施方式

在根据成像装置所成的图像来推定成像装置的参数时，如果使用一般的真空相机模型，需要推定的参数个数会达到11个。即使加入很多限制条件，如相机的水平轴与水平面平行等，对于存在俯仰角的相机，需要推定的参数个数还是会有3个：相机俯仰角度、相机的高度和相机的焦距。

在一些技术中，例如非专利文献1，为了简化问题而假设相机俯仰角度接近于0。但这样的话对于存在俯仰角的情况就会失效。

本申请人在研究过程中发现，可以将相机俯仰角度和相机焦距结合起来作为一个参数，从而能够比较容易地估计该参数和相机的高度。具体推导过程如下：

假设一共检测到N个物体(物体可以是人、车、消防栓等可以被检测到的东西)，如图3所示，假设第i个物体的实际高度是h⁽ⁱ⁾(图中所示为h，该值可以通过统计得到，比如人的平均高度约为1.7m)，其底部中心在图像中的位置是(未图示)，其顶部中心在图像中的位置是(未图示)。这里，i、N为大于等于2的自然数，i≤N。

如图3所示，又假定相机俯仰角的角度为θ，焦距为f，所处的位置距离水平面的高度为h_c，图像中心位置的纵坐标为v_c(未图示，只与图像大小有关，已知)。注意在此我们假定相机的x轴与水平面平行，即所拍摄的图像是正的，没有左右倾斜。但事实上本申请的实施方式也适用于x轴不与水平面平行也就是说图像存在左右倾斜的情况，在这种情况下，只不过下面的公式推导中存在坐标系的旋转，并无其他实质性变化。

根据针孔相机模型(此模型可以近似应用于各种类型的相机)，可以得到第i个物体的实际高度与其在图像中的位置大小和相机参数存在如下关系：

$h^{\left(i\right)}=\frac{f{h}_c(f\sin \mathrm{\θ}-(v_c-v_t^{\left(i\right)})\cos \mathrm{\θ})/(f\sin \mathrm{\θ}-(v_c-v_b^{\left(i\right)})\cos \mathrm{\θ})-{\mathrm{fh}}_c}{(v_c-v_t^{\left(i\right)})\sin \mathrm{\θ}+f\cos \mathrm{\θ}}...\left(1\right)$

这样的方程式难以求解，故而非专利文献1中假定θ接近于零，于是有sinθ～0，cosθ～1，从而使问题得到极大的简化并得到解决。但这样并不适合有较大俯仰角的情况。

事实上，当相机存在俯仰角的情况下，重新推理物体高度和相机参数的关系，可以得到下述方程(2)。

$h^{\left(i\right)}=h_c(1-\frac{\mathrm{tg}(\mathrm{\θ}+t{g}^{-1}\left(\frac{v_c-v_t^{\left(i\right)}}{f}\right))}{\mathrm{tg}(\mathrm{\θ}+t{g}^{-1}\left(\frac{v_c-v_b^{\left(i\right)}}{f}\right))})---\left(2\right)$

进一步，考虑到当相机的俯仰角小于30度的时候，tgx～x和tg^-1x～x的近似误差小于10％以下。即使俯仰角扩大到45度，这一误差也还在20％以下。我们使用这个近似，并代入上面的方程式中，得到：

$\frac{h^{\left(i\right)}}{h_c}=\frac{\mathrm{\θf}}{v_b^{\left(i\right)}-v_t^{\left(i\right)}}+\frac{v_b^{\left(i\right)}-v_c}{v_b^{\left(i\right)}-v_t^{\left(i\right)}}---\left(3\right)$

从方程(3)可以看到，不仅方程(1)得以大大简化，使我们可以容易地计算相机参数，而且俯仰角和焦距还形成了一个独立的项θf。由于在获知了相机参数之后将参数应用于相机新获取的图像时，运算过程是求解参数的逆过程，即使用与上述相同的公式，因此没有必要明确知道俯仰角和焦距各自具体的值。因此，可以将项θf视为一个独立的参数，这样就把相机参数的未知数的个数由3个(θ，f，h_c)降为了2个(θf，h_c)，增加了估计的稳健性。

在上面的方程(3)中，由于假定相机的x轴与水平面平行，因此

就是第i个物体在图像中的高度

则是第i个物体顶端距图像中部的距离

，该距离是标量，即物体顶端在图像下半部时为负值，在图像上班部时为正值。所谓图像中部，是指图像的一半高度处。

这样，只要检测两个物体即可估计出一组相机参数(θf，h_c)。为了提高参数估计的稳健性，可以对检测到的N个物体使用参数估计算法(比如最小二乘法拟合)得到相机参数的稳健估计。

基于以上推理，提出了一种估计成像装置参数的方法，如图1所示包括如下步骤：获取所述成像装置所成图像中的基准平面区域(步骤102)；检测所述基准平面区域上的至少两个对象在图像中的位置和高度(步骤104)；基于所述至少两个对象在所述图像中的位置和高度，以及有关所述至少两个对象的先验知识，将所述成像装置相对于所述基准平面区域的俯仰角和焦距之乘积作为一个物理量，联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离(步骤106)。

在步骤102中，获取成像装置所成图像中的基准平面区域。所述基准平面区域具体是什么样的区域取决于具体的应用。例如，如果成像装置是用于监控交通流量，那么所述基准平面区域可以是一段直的、平坦的道路(但并不一定水平)；成像装置是用于人的监控，那么所述基准平面区域可以是一个水平平面区域；等等。换言之，基准平面区域可以是成像装置所观察的主要对象所在的平面区域；所要估计的成像装置参数，就是成像装置相对于该基准平面区域的参数。基准平面区域可以手工指定，也可以通过任何图像识别手段来自动识别。例如，在图2中，图像中部的平坦道路就是合适的基准平面区域。

在步骤104中，检测在所述基准平面区域上的至少两个对象在图像中的位置和高度。这一步骤可以利用任何现有和未来的用于对象检测的技术来实现。这里，所述至少两个对象可以是在成像装置所成的同一幅图像中，也可以是在成像装置在保持姿态基本不变的情况下所成一系列图像(例如视频)中先后出现的不同对象，或者在不同位置的同一对象(此时，由于在图像画面中其位置发生了变化，在本申请中也将其视为不同的对象)。在图2所示的例子中，检测到了若干汽车对象和若干行人对象。

这样，由于知晓了至少两个对象在同一基准平面区域上的图像位置和高度，结合有关所述对象的先验知识(例如人的平均高度，车的平均高度)，就能够在步骤106中联合估计成像装置相对于基准平面区域的俯仰角和焦距之积，以及成像装置相对于所述基准平面区域的距离(在基准平面区域为水平面例如地面时，该距离就是成像装置相对于该基准平面区域的高度)。

例如，可以利用下式来联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离：

$\frac{h^{\left(i\right)}}{h_c}=\frac{\mathrm{\θf}+d_c^{\left(i\right)}}{h_{\mathrm{image}}^{\left(i\right)}}---\left(4\right)$

其中，h(i)是第i个对象的实际高度，

是第i个对象在图像中的高度，

是第i个对象顶端离图像中部的距离，h_c是所述成像装置相对于所述基准平面区域的距离，θ为所述成像装置相对于所述基准平面区域的俯仰角，f为所述成像装置的焦距。

第二实施方式

如图4所示，在按照上述方法获得对成像装置参数的估计(步骤402)之后，可以随后应用于各种计算机视觉应用当中，即，将参数值以及上述方程(4)应用于对计算机视觉应用所获得的图像的透视约束(步骤404)，从而提高计算机视觉应用的效率，或者对计算机视觉应用的结果予以修正(步骤406)。下面讨论计算机视觉应用的几个实例：

实例1：监控场景中的对象检测

在检测对象时，一般要用所有可能大小的窗口对全图像进行扫描，但事实上根据透视原理，远处的扫描窗口应小于近处的扫描窗口。因此，在获得相机参数以后，再进行对象检测时就不再需要全图像每个地方都尝试不同检测窗大小，而是只使用一个真正有可能的检测窗的尺寸。因为检测窗的高度就是对象在图像中的可能高度，因此根据方程式(4)得到：

$h_{\mathrm{image}}^{\left(i\right)}=\frac{h_c}{h^{\left(i\right)}}(\mathrm{\θf}+d_c^{\left(i\right)})---\left(5\right)$

这里对象高度h⁽ⁱ⁾为统计得到的平均值。也就是说，可以根据窗口(即可能的对象图像)在图像中的位置(由

反映)，来利用上面的公式(5)获得该窗口的大小，从而避免使用一些没有可能的尺寸的窗口。

实验证明，施加这一透视约束后，可以削减74.9％的计算量，减少86.1％的误检测。

实例2：对象跟踪

在对象跟踪算法中，当对象在图像中移动时，既要跟踪对象的位置变化，又要跟踪对象的大小变化。

在本申请中，在得到相机的参数后，当对象在图像中移动时，不再需要同时追踪对象的位置和大小变化，而可以只追踪对象的位置变化，其大小由方程(5)导出。也就是说，对于特定的搜索位置，利用所述参数进行透视约束就可以确定相应的搜索窗口的大小，而不需要尝试各种大小的窗口。这样，由于减少了一个自由度，追踪的准确度和稳健性都得到了提高。

实例3：对象高度估计

另外，还可以利用所得到的参数施加透视约束，来根据图像中检测到的对象高度估计对象在真实世界中的实际高度h⁽ⁱ⁾。即：

$h^{\left(i\right)}=\frac{h_c\×(\mathrm{\θf}+d_c^{\left(i\right)})}{h_{\mathrm{image}}^{\left(i\right)}}---\left(6\right)$

第三实施方式

本申请还提出了一种估计成像装置参数的装置500，如图5所示包括如下部件：获取所述成像装置所成图像中的基准平面区域的基准平面区域获取装置502；检测所述基准平面区域上的至少两个对象在图像中的位置和高度的对象检测装置504；以及基于所述至少两个对象在所述图像中的位置和高度，以及有关所述至少两个对象的先验知识，将所述成像装置相对于所述基准平面区域的俯仰角和焦距之乘积作为一个物理量，联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离的参数估计装置506。

所述基准平面区域获取装置502所获取的所述基准平面区域具体是什么样的区域取决于具体的应用。例如，如果成像装置是用于监控交通流量，那么所述基准平面区域可以是一段直的、平坦的道路(但并不一定水平)；成像装置是用于人的监控，那么所述基准平面区域可以是一个水平平面区域；等等。换言之，基准平面区域可以是成像装置所观察的主要对象所在的平面区域；所要估计的成像装置参数，就是成像装置相对于该基准平面区域的参数。基准平面区域可以手工指定，也可以通过任何图像识别手段来自动识别。例如，在图2中，图像中部的平坦道路就是合适的基准平面区域。

所述对象检测装置504可以利用任何现有和未来的用于对象检测的技术来实现。这里，所述至少两个对象可以是在成像装置所成的同一幅图像中，也可以是在成像装置在保持姿态基本不变的情况下所成一系列图像(例如视频)中先后出现的不同对象，或者在不同位置的同一对象(此时，由于在图像画面中其位置发生了变化，在本申请中也将其视为不同的对象)。在图2所示的例子中，检测到了若干汽车对象和若干行人对象。

这样，由于知晓了至少两个对象在同一基准平面区域上的图像位置和高度，结合有关所述对象的先验知识(例如人的平均高度，车的平均高度)，就能够由所述参数估计装置506联合估计成像装置相对于基准平面区域的俯仰角和焦距之积，以及成像装置相对于所述基准平面区域的距离。

例如，可以利用(4)式来联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离。

第四实施方式

在由上述估计成像装置参数的装置获得对成像装置参数的估计之后，可以随后应用于各种计算机视觉应用当中，即，将参数值以及上述方程(4)应用于对计算机视觉应用所获得的图像的透视约束，从而提高计算机视觉应用的效率，或者对计算机视觉应用的结果予以修正。下面讨论计算机视觉应用的几个实例：

实例1：监控场景中的对象检测

在检测对象时，一般要用所有可能大小的窗口对全图像进行扫描，但事实上根据透视原理，对远处的扫描窗口应要小于近处的扫描窗口。因此，在获得相机参数以后，再进行对象检测时就不再需要全图像每个地方都尝试不同检测窗大小，而是只使用一个真正有可能的检测窗的尺寸。也就是说，可以根据窗口(即可能的对象图像)在图像中的位置(由

反映)，来利用上面的公式(5)获得该窗口的大小，从而避免使用一些没有可能的尺寸的窗口。

因此本申请还提供了一种对象检测装置，包括：上述的估计成像装置参数的装置；以及基于所述参数对搜索窗口的大小施以透视约束，来在所述成像装置所成图像中检测对象的装置。

实例2：对象跟踪

在对象跟踪算法中，当对象在图像中移动时，既要跟踪对象的位置变化，又要跟踪对象的大小变化。

在本申请中，在得到相机的参数后，当对象在图像中移动时，不再需要同时追踪对象的位置和大小变化，而可以只追踪对象的位置变化，其大小由方程(5)导出。也就是说，对于特定的搜索位置，利用所述参数进行透视约束就可以确定相应的搜索窗口的大小，而不需要尝试各种大小的窗口。这样，由于减少了一个自由度，追踪的准确度和稳健性都得到了提高。

因此，本申请还提供了一种对象跟踪装置，包括：上述的估计成像装置参数的装置；以及基于所述参数对搜索窗口的大小施以透视约束，来在所述成像装置所成图像中跟踪对象的装置。

实例3：对象高度估计

另外，还可以利用所得到的参数施加透视约束，来根据图像中检测到的对象高度

估计对象在真实世界中的实际高度h⁽ⁱ⁾(见上文的(6)式)。

因此，本申请还提供了一种对象高度估测装置，包括：上述的估计成像装置参数的装置；以及基于所述参数对图像施加透视约束，来根据图像中检测到的对象高度估计对象在真实世界中的实际高度的装置。

以上各实施方式的方法或者装置能够在任何信息处理设备中实现。图6图示了能够用于实现本发明的各种实施方式的计算设备600的例子的结构示意图。

在图6中，中央处理单元(CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM 603中，也根据需要存储当CPU 601执行各种处理等等时所需的数据。

CPU 601、ROM 602和RAM 603经由总线604彼此连接。输入/输出接口605也连接到总线604。

下述部件连接到输入/输出接口605：输入部分606，包括键盘、鼠标等等；输出部分607，包括显示器，比如阴极射线管(CRT)显示器、液晶显示器(LCD)等等，和扬声器等等；存储部分608，包括硬盘等等；和通信部分609，包括网络接口卡比如LAN卡、调制解调器等等。通信部分609经由网络比如因特网执行通信处理。

根据需要，驱动器610也连接到输入/输出接口605。可拆卸介质611比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器610上，使得从中读出的计算机程序根据需要被安装到存储部分608中。

可以从网络比如因特网或存储介质比如可拆卸介质611向计算设备中安装程序。

本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质611。可拆卸介质611的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 602、存储部分608中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

第五实施方式

如前所述，上述各实施方式的方法和装置可以实现于任何信息处理设备中。其中，所述信息处理设备也包括具有信息处理能力的成像装置，例如数字照相机、数字摄像机等。因此，本申请的实施方式还提供包括上述的估计成像装置参数的装置的成像装置，包括上述对象检测装置的成像装置，包括上述对象跟踪装置的成像装置，以及包括上述对象高度估测装置的成像装置。

另外，所述估计成像装置参数的装置还可以应用于监控系统中。例如在图7所示的监控系统中，成像装置710例如摄像头，通过网络连接到服务器720。由服务器720对摄像头拍摄的图像进行处理，以进行对象的检测、跟踪、报警等。在这种情况下，服务器中可以包括上述的估计成像参数的装置，来集中对各个成像装置的参数进行估计，从而能够将所述参数用于后续的处理当中。也就是说，本申请还提供了一种监控系统，其包括成像装置以及上述的估计成像装置参数的装置。

上面对本申请的一些实施方式进行了详细的描述。如本领域的普通技术人员所能理解的，本发明的方法和装置的全部或者任何步骤或者部件，可以在包括处理器、存储介质等的任何计算设备(包括通信设备)或者计算设备的网络(包括通信网络)中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在了解本发明的内容的情况下运用他们的基本编程技能就能实现的，因此不需在此具体说明。

此外，显而易见的是，在上面的说明中涉及到可能的外部操作的时候，无疑要使用与任何计算设备相连的任何显示设备和任何输入设备、相应的接口和控制程序。总而言之，计算机、计算机系统或者计算机网络中的相关硬件、软件和实现本发明的前述方法中的各种操作的硬件、固件、软件或者它们的组合，即构成本发明的设备及其各组成部件。

因此，基于上述理解，本发明的目的还可以通过在任何信息处理设备上运行一个程序或者一组程序来实现。所述信息处理设备可以是公知的通用设备。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者设备的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明的实施方式，并且存储有这样的程序产品的存储介质也构成本发明的实施方式。显然，所述存储介质可以是本领域技术人员已知的，或者将来所开发出来的任何类型的存储介质，包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在本发明的设备和方法中，显然，各部件或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

还需要指出的是，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

另外，虽然上面是一个实施方式一个实施方式地进行描述，但应当理解各个实施方式并不是孤立的。本领域技术人员在阅读了本申请文件之后，显然能够理解，各实施方式所包含的各种技术特征在各种实施方式之间是可以任意组合的，只要它们之间没有冲突即可。当然，在同一实施方式中提及的所有技术特征相互之间也是可以任意组合的，只要它们相互之间没有冲突即可。

最后，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然已经结合附图详细说明了本发明的实施方式及其优点，但是应当理解，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而不背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定，在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。

Claims (21)

1.一种估计成像装置参数的方法，包括：

获取所述成像装置所成图像中的基准平面区域；

检测所述基准平面区域上的至少两个对象在图像中的位置和高度；

基于所述至少两个对象在所述图像中的位置和高度，以及有关所述至少两个对象的先验知识，将所述成像装置相对于所述基准平面区域的俯仰角和焦距之乘积作为一个物理量，联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离。

2.如权利要求1所述的方法，其中，检测所述基准平面区域上的至少两个对象在图像中的位置和高度包括：在所述成像装置所成的同一幅图像中的所述基准平面区域上检测至少两个对象在图像中的位置和高度。

3.如权利要求1所述的方法，其中，检测所述基准平面区域上的至少两个对象在图像中的位置和高度包括：在所述成像装置保持位置和姿态基本不变的情况下所成的多幅图像中的所述基准平面区域上检测至少两个对象在图像中的位置和高度。

4.如权利要求1-3之一所述的方法，其中，联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离包括基于以下等式计算所述乘积和所述距离：

$\frac{h^{\left(i\right)}}{h_c}=\frac{\mathrm{\θf}+d_c^{\left(i\right)}}{h_{\mathrm{image}}^{\left(i\right)}}$

其中，h⁽ⁱ⁾是第i个对象的实际高度，

是第i个对象在图像中的高度，

是第i个对象顶端离图像中部的距离，h_c是所述成像装置相对于所述基准平面区域的距离，θ为所述成像装置相对于所述基准平面区域的俯仰角，f为所述成像装置的焦距。

5.一种对象检测方法，包括：

按照如权利要求1-4之一所述的方法估计成像装置的参数；

基于所述参数对搜索窗口的大小施以透视约束，来在所述成像装置所成图像中检测对象。

6.一种对象跟踪方法，包括：

按照如权利要求1-4之一所述的方法估计成像装置的参数；

基于所述参数对搜索窗口的大小施以透视约束，来在所述成像装置所成图像中跟踪对象。

7.一种对象高度估计方法，包括：

按照如权利要求1-4之一所述的方法估计成像装置的参数；

基于所述参数对图像施加透视约束，来根据图像中检测到的对象高度估计对象在真实世界中的实际高度。

8.一种估计成像装置参数的装置，包括：

获取所述成像装置所成图像中的基准平面区域的装置；

检测所述基准平面区域上的至少两个对象在图像中的位置和高度的装置；

基于所述至少两个对象在所述图像中的位置和高度，以及有关所述至少两个对象的先验知识，将所述成像装置相对于所述基准平面区域的俯仰角和焦距之乘积作为一个物理量，联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离的装置。

9.如权利要求8所述的装置，其中，检测所述基准平面区域上的至少两个对象在图像中的位置和高度的装置被配置为：在所述成像装置所成的同一幅图像中的所述基准平面区域上检测至少两个对象在图像中的位置和高度。

10.如权利要求8所述的装置，其中，检测所述基准平面区域上的至少两个对象在图像中的位置和高度的装置被配置为：在所述成像装置保持位置和姿态基本不变的情况下所成的多幅图像中的所述基准平面区域上检测至少两个对象在图像中的位置和高度的。

11.如权利要求8-10之一所述的装置，其中，联合估计所述乘积以及所述成像装置相对于所述基准平面区域的距离的装置被配置为基于以下等式计算所述乘积和所述距离：

$\frac{h^{\left(i\right)}}{h_c}=\frac{\mathrm{\θf}+d_c^{\left(i\right)}}{h_{\mathrm{image}}^{\left(i\right)}}$

其中，h⁽ⁱ⁾是第i个对象的实际高度，

是第i个对象在图像中的高度，

是第i个对象顶端离图像中部的距离，h_c是所述成像装置相对于所述基准平面区域的距离，θ为所述成像装置相对于所述基准平面区域的俯仰角，f为所述成像装置的焦距。

12.一种对象检测装置，包括：

如权利要求8-11之一所述的估计成像装置参数的装置；

基于所述参数对搜索窗口的大小施以透视约束，来在所述成像装置所成图像中检测对象的装置。

13.一种对象跟踪装置，包括：

如权利要求8-11之一所述的估计成像装置参数的装置；

基于所述参数对搜索窗口的大小施以透视约束，来在所述成像装置所成图像中跟踪对象的装置。

14.一种对象高度估测装置，包括：

如权利要求8-11之一所述的估计成像装置参数的装置；

基于所述参数对图像施加透视约束，来根据图像中检测到的对象高度估计对象在真实世界中的实际高度的装置。

15.一种成像装置，包括如权利要求8-11之一所述的估计成像装置参数的装置。

16.一种成像装置，包括如权利要求12所述的对象检测装置。

17.一种成像装置，包括如权利要求13所述的对象跟踪装置。

18.一种成像装置，包括如权利要求14所述的对象高度估测装置。

19.一种监控系统，包括：

成像装置；以及

如权利要求8-11之一所述的估计成像装置参数的装置。

20.一种程序产品，该程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行如权利要求1-7之一所述的方法。

21.一种存储介质，该存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行如权利要求1-7之一所述的方法。

Images