CN103365030B

CN103365030B - 用于校准摄像机的方法

Info

Publication number: CN103365030B
Application number: CN201310096485.4A
Authority: CN
Inventors: 尼克拉斯·汉森; 安德里亚·帕尔松
Original assignee: Axis AB
Current assignee: Axis AB
Priority date: 2012-03-29
Filing date: 2013-03-25
Publication date: 2017-06-09
Anticipated expiration: 2033-03-25
Also published as: US10425566B2; EP2645701A1; EP3122034B1; US20160364863A1; CN103365030A; EP3122034A1; US20130258115A1

Abstract

本发明涉及一种用于校准摄像机的方法，所述摄像机包括具有中心位置的图像传感器。该方法包括：通过镜头捕获投射到图像传感器上的图像视图，所投射的图像视图具有中心；检测由图像传感器捕获的图像视图的至少一个图像视图边界；基于检测的边界，确定在至少一个维度上与投射在图像传感器上的图像视图的中心相对应的投影中心位置；确定在所述投影中心位置和在至少一个维度上限定的与捕获所投射的图像视图的图像传感器的中心相对应的传感器中心位置之间的偏移；基于所述偏移使图像传感器相对于所述镜头移动，以实现在至少一个维度上在图像传感器的中心和所投射的图像视图的中心之间的大致零偏移。

Description

用于校准摄像机的方法

技术领域

本发明涉及一种用于校准摄像机的方法，并且具体地涉及一种用于校准能够摇摄-倾斜的摄像机系统以解决摄像机系统中的不对准的方法。

背景技术

将摄像头（例如能够摇摄和倾斜的摄像头）精确地移动到可访问摇摄倾斜位置范围中的一般位置通常是困难的。当摄像机要提供在可视界面中选择的经翻译或者经转换的选区的视图时，出现与精度相关的附加问题。

在具有摄像头的系统中，精度变得更为糟糕，其中摄像头通过未安装在摄像头上而是固定附接至摄像头的支承结构上的镜头（例如广角镜头）来获取图像。因此，在这些情况下，所述镜头及其所附接到的支承结构的安装的精度是重要的。除了安装所述镜头时与精度相关的问题之外，摄像机在被装运时可能不使镜头或者支承结构与摄像头安装在一起，在此情况下，必需在现场执行精确安装。因此，这些类型的系统经常在定位时呈现与精度相关的问题。

发明内容

本发明的一个目的在于提高在定位摄像机时的精度，用以获得所期望的图像视图。

该目的通过根据权利要求1所述的用于校准摄像机的方法、通过根据权利要求8所述的用于校准摄像机的方法、和通过根据权利要求10所述的用于变换位置的方法来实现。本发明的进一步实施例在从属权利要求中呈现。

具体地，根据本发明的一个方面，一种用于校准摄像机的方法，其中摄像机包括具有中心位置的图像传感器，所述方法包括：通过镜头捕获投射到图像传感器上的图像视图，所投射的图像视图具有中心；检测由图像传感器捕获的图像视图的至少一个图像视图边界；基于检测的边界确定在至少一个维度上与投射在图像传感器上的图像视图的中心相对应的投影中心位置；确定在所述投影中心位置和在至少一个维度上限定的与捕获所投射的图像视图的图像传感器的中心相对应的传感器中心位置之间的偏移；以及基于所述偏移使图像传感器相对于所述镜头移动，以实现在至少一个维度上在所述图像传感器的中心和所投射的图像视图的中心之间的大致零偏移。通过检测图像视图边界和根据该检测确定图像视图的中心，确定偏移的动作变得方便。而且，这使得能够捕获最大量的图像信息，原因在于其能够最大化地利用图像传感器。另外，通过将光轴和图像传感器的中心对准，摇摄倾斜定位将变得更为精确，尤其是在将显示视图中的像素位置转换为摇摄和倾斜角时更为如此。

在另一实施例中，该方法进一步包括：在移动传感器之后的时间点处，对投射到图像传感器上的图像视图执行附加的捕获；检测与后来捕获的投射到图像传感器上的图像视图相关的至少一个图像视图边界；基于后来检测的边界，确定在至少一个维度上与投射在图像传感器上的图像视图的中心相对应的更新后的投影中心位置；确定在所述更新后的投影中心位置和在至少一个维度上限定的与捕获所投射的图像视图的图像传感器的中心相对应的传感器中心位置之间的偏移；以及如果该偏移为零或者大致为零，则存储更新后的投影中心的位置，所述位置被限定为与至少一个维度相关，所述至少一个维度包括与用于确定更新后的投影中心位置和传感器中心位置之间的偏移的维度不同的维度。通过在图像传感器的初始移动之后由于图像传感器中心和图像视图传感器之间的偏移而再次检测图像视图中心，可以将图像视图高精度地对中到图像传感器上，和/或可以要求较不精确且较不高级的方法来计算图像传感器的移动，由此简化了过程。

根据另一实施例，图像视图通过产生圆形图像或者至少大致圆形的图像的广角镜头被投射到图像传感器上。

根据另一实施例，确定所投射的图像视图的中心的位置包括：计算限定圆的、可能表示与所投射的图像视图相关的至少一个检测的边缘的参数。

在又一个实施例中，计算限定圆的、可能表示与所投射的图像视图相关的至少一个检测边缘的参数是基于霍夫变换。

在一个实施例中，摄像机包括能够摇摄和倾斜的摄像头，该摄像头包括图像传感器，其中图像视图通过相对于摄像机的底座被固定布置的镜头投射到图像传感器上，并且其中所述图像传感器的移动包括摄像头的移动。从而能够实现摄像机，具体地为摄像头的相对简单设计，因为可以通过使用摄像机的摇摄倾斜功能移动整个摄像头来完成传感器移动。

在另一实施例中，摄像头的移动被执行为摇摄和/或倾斜移动，所述摇摄和/或倾斜移动根据所投射的图像视图的中心和捕获所投射的图像视图的图像传感器的中心之间的偏移计算出。

根据本发明的另一方面，一种用于校准摄像机的方法包括：A)上述方法的步骤，B)在摄像机捕获且呈现给操作者的概要图像视图中选择位置，C）计算与所选择的位置相对应的摇摄角和倾斜角，D）将摄像头移动到这样的位置：在该位置中，摄像头可以不通过广角镜头捕获详细的图像视图，该详细的图像视图具有表示计算出的摇摄角和倾斜角的中心，E）在摄像头已经移动到所述位置之后调节摄像头，直到在概要图像中选择的位置居于详细视图的中心，F)保存表示为了使所述位置在详细视图中居中而使用的调节量的数据，重复步骤A至步骤F，直到已经保存与调节相关的预定量的数据，并且基于所保存的数据估计误差函数。通过在将概要图像视图中的选择变换成摇摄和倾斜角时对误差进行采样，可以提高变换的精确以及所得到的从概要视图到详细视图的转换。然后，根据误差采样对误差函数进行估计，可允许较不麻烦的获取足够误差值的过程，因为所需的误差值的数目将减少而又不会导致大致很低的精度。

根据一个实施例，估计误差函数的动作包括：使用线性最小二乘法估计确定多项式误差函数的系数。

根据本发明的又一个方面，一种用于将在摄像机捕获的概要图像中选择的位置变换成要捕获所选择位置的更详细视图的摄像机的摇摄和倾斜角的方法，包括：基于在概要图像中选择的位置，计算用于所选择位置的所述摇摄和倾斜角，基于通过上述过程获得的误差函数来补偿所得到的摇摄和倾斜角。以这种方式，可以提高转换的精度。

根据下面给出的详细描述，本发明的其它应用范围将变得明显。然而，应理解，指示了本发明优选实施例的详细描述和具体示例仅被举例示出，因为根据该详细描述，在本发明范围内的各种改变和修改对于本领域技术人员将变得明显。由此，将理解，本发明并不局限于所描述装置的具体组成部件或者方法的步骤，因为这样的装置和方法可以变化。另外还将理解，本文所用的术语仅用于描述具体实施例的目的，而并不旨在是限制性的。必须注意，如在本说明书和所附权利要求书中使用的，冠词“一”、“该”和“所述”旨在表示一个或更多个元件，除非上下文清楚地另外表明。因此，例如，对“传感器”或者“该传感器”的引用可以包括多个传感器等等。此外，词语“包括”并不排除其它元件或步骤。

附图说明

根据以下参考附图对当前优选实施例的详细描述，本发明的其它特征和优点将变得清楚，在附图中：

图1是实施本发明一个实施例的监控摄像机的示意性侧视图，

图2是与图1相同的侧视图，区别在于监控摄像机的摄像头被倾斜，

图3是其中以虚构方式安装根据本发明一个实施例的监控摄像机的示例房间的示意性概要图，

图4是来自图3的示例房间中的监控摄像机的示例概要图像，该监控摄像机如图1中通过广角镜头捕获图像，图5是来自图3的示例房间中的监控摄像机的详细视图的示例，该监控摄像机如图2中描绘通过球形玻璃捕获图像，

图6是根据本发明一个实施例的摄像头的示意性框图，

图7a至图7b是示出摄像头、概要图像中的位置以及摄像头的摇摄-倾斜角之间的关系的图，

图8a示出概要图像和所述概要图像中的所选择位置，

图8b示出从概要模式转换到所选择位置的详细视图的摄像机所得到的可能详细视图，

图9示出摄像机的示意图，其中摄像头和广角镜头未被正确对准，

图10a示出投射到摄像机中的图像传感器上的概要图像，其中摄像头和广角镜头未被正确对准，

图10b示出根据本发明一个实施例的在摄像头和广角镜头已经对准之后投射在图像传感器上的概要图像，

图11是示出使投射在图像传感器上的概要图像居中的过程的流程图，

图12是示出校准从概要图像中的位置到详细视图的摇摄和倾斜位置的转换函数的过程的流程图，

图13示意性地图示用于方便选择可用在图12的过程中的校准位置的叠加层，

图14示意性地显示图13中的叠加层的转向功能，

图15是示出校准从概要图像中的位置到详细视图的摇摄和倾斜位置的转换函数的替代过程的流程图，

图16a至图16d示出概要图像和在结合图15描述的过程的不同阶段的选择叠加层，和

图17示出根据本发明一个实施例的整合了概要图像的详细视图。

另外，在图中，同样的附图标记在多幅图中始终指代同样或相应的部件。

具体实施方式

本发明涉及监控摄像机中的摄像头的定位的校准。参考图1，根据一个实施例，监控摄像机10是球形（dome）摄像机，包括摄像头12、透明球形罩14和球形底座16。摄像头12能够通过电子控制的电机（未示出）摇摄和倾斜。摄像头12可以是能够摇摄和倾斜的任何已知摄像头。另外，摄像头12包括镜头18。镜头18布置成将表示待由摄像机10捕获的景色的光聚焦在摄像头12中的图像传感器上。所捕获图像的视角可以是固定的或可变的。可变视角可以通过具有能够缩放的镜头18来实现。在固定视角镜头的情况中，视角的选择可以在摄像机的不同应用之间不同。

球形摄像机进一步包括安装在透明球形罩14上并且从球形罩14延伸而远离摄像头12的广角镜头20。广角镜头20被安装在使广角镜头的光轴22大致与旋转轴24一致的方向上，摄像头12在摇摄期间沿旋转轴24转动，下文称之为摇摄轴24。广角镜头20的视角比摄像头12中的镜头18的视角宽。在一个实施例中，广角镜头20的视角大致比摄像头12的镜头18的视角宽。广角镜头的视角可以大于180°。但是，依赖于应用，视角可以更小或更大。角度应至少被选择为提供合理的概要图像。

因此，广角镜头20被安装为使得：当摄像头12被定向用于通过广角镜头20捕获图像时，摄像头12的光轴26与广角镜头20的光轴22对准。

由于广角镜头20的定位以及摄像头12可移动的事实，可以如图1中所示通过广角镜头20捕获概要图像（overview image），并且当在概要图像中辨认出或检测到感兴趣的事物时，可以通过如下方式更详细地查证：简单地移动摄像头12以远离广角镜头20并使摄像头12指向感兴趣的事件或特征，并且通过球形罩捕获图像。在图2中，摄像机被示出在用于通过球形罩而不通过广角镜头20捕获图像的位置中，以便得到更详细的视图。

在一个实施例中，摄像头12的镜头18的视角或者焦距被选择成使得，由摄像头12捕获的而不通过广角镜头20捕获的图像适合提供相关的监视信息。相关的监视信息的示例可以例如是汽车的牌照号码、人的可识别面部、事件的详细进展等等。广角镜头20的视角可以选择成使得，当摄像头12被定向成通过广角镜头20捕获图像时，摄像头12将捕获安装有监控摄像机的整个房间的至少地板的图像视图。替代地，广角镜头20的视角被选择成使得，当摄像头12被定向成通过广角镜头20捕获图像时，摄像头12将捕获受监控区域的概要图像。然后，操作者或者图像分析处理可以识别概要图像中感兴趣的事件或特征，并且重定向摄像头12以直接捕获包括感兴趣的事件或特征的景象。上述语句中的“直接捕获”应理解为，当摄像头12未被定向成通过广角镜头20捕获图像时通过摄像头12捕获图像。

为了便于理解摄像机的功能，下面将描述示例场景。在示例场景中，根据本发明一个实施例的监控摄像机10被安装在房间30的天花板上，参见图3。房间包括四个壁31-34，其中壁31支撑门36以通过到房间相邻的区域，壁32呈现到走廓38的通道，并且壁34支撑窗40。假设监控摄像机10被设置在概要模式下，即摄像头通过经由广角镜头捕获图像来捕获受监控区域的概要图像，图1中示出了摄像机的设置。监控摄像机10在概要模式下的视频序列的帧可以看起来象图4中的图像，其中受监控房间30的全部四个壁31-34被摄像机的概要视图捕获，即整个房间30被概要模式下的监控摄像机捕获。而且，图像帧揭示某人42正进入房间。这可能根据包括有图像帧的视频序列更为明显。如果有权使用该监控摄像机10的摄像并且具有控制该监控摄像机10的权限的操作者发现此人42值得注意，并且想要得到此人42的更详细图像，则操作者可以在控制站简单地标出此人42或此人在概要图像中的区域，并且监控摄像机的摄像头被定向成远离广角镜头20且朝向受监控房间30的所标示区域。摄像头12远离广角镜头20的定向可替代地响应于概要图像中通过移动检测过程检测的被检测移动而启动。由此，摄像头12将移动到与图2中所示位置相类似的位置，并且将可能捕获如图5中所呈现的图像44。摄像头12捕获的图像依赖于摄像头12上的镜头18和/或该镜头18的缩放设置而可具有更宽或更窄的图像视图。然后，当操作者已经结束对此人的调查时，摄像头12可以恢复成通过广角镜头20捕获图像，由此恢复到监控摄像机的概要模式。替代地，如果引导摄像头12远离广角镜头20响应于概要图像中的移动检测来执行，则摄像头12可以恢复成响应于在详细视图中未检测到移动而通过广角镜头20捕获图像。

根据一个实施例，参见图6，监控摄像机10包括图像传感器50、图像处理单元52、通用处理单元54、易失性存储器56、非易失性存储器58、网络接口60、摄像机位置控制器61、摇摄电机62、摇摄电机控制器64、倾斜电机66和倾斜电机控制器68。这里未描述摄像机中的用以执行正常摄像机功能和正常网络活动所需的其它装置和器件，因为这些装置和器件对于本领域技术人员是熟知的。

图像传感器50可以是如下任何已知的图像传感器：该图像传感器能够捕获表示图像视图的光且将光转换成为电信号，电信号然后可以通过图像处理单元52处理成数字图像和/或数字图像流。因此，图像传感器50可以布置成依赖于摄像机的应用而捕获可见光或者红外光。来自图像传感器50的图像数据经由接线70被发送到图像处理单元52。图像处理单元52和通用处理单元54可以是相同的装置，可以实施为相同芯片上的独立单元，或者可以是分离的装置。此外，下面描述为在图像处理单元52中执行的许多功能可以在通用处理单元54中执行，反之，下面描述为在通用处理单元54中执行的许多功能可以在图像处理单元52中执行。

处理单元52、54经由例如总线72连接到用作工作存储器的易失性存储器56。而且，易失性存储器56可以在图像数据的处理期间用作图像数据的临时数据存储器，因此易失性存储器56也可以连接到图像传感器50。非易失性存储器58可以存储处理单元52、54操作所需的程序代码，并且可以存储要保存较长时间段的设置和参数，并且甚至能经受电力断供。处理单元52、54经由例如总线72连接到非易失性存储器58。

网络接口60包括到网络74的电接口，监控摄像机将被连接到该网络74。此外，网络接口60还包括未被实施为由处理单元54执行的全部逻辑接口部分。网络74可以是任何已知类型的LAN（局域网）、WAN（广域网）或者国际互联网。本领域技术人员熟知如何使用多种已知实施方式和协议中的任一种来实施网络接口。

摇摄电机62和倾斜电机66经由每个电机控制器64、68通过处理单元54来控制。电机控制器布置成将来自摄像机位置控制器61的指令转换成为与电机兼容的电信号。摄像机位置控制器61可以通过存储在存储器58中的代码或者通过逻辑电路来实施。倾斜电机66可以布置在可摇摄/可倾斜摄像头12内或与可摇摄/可倾斜摄像头12非常接近，并且在许多情况中摇摄电机62布置成进一步远离摄像头12，具体地在其中从摄像头12算起摇摄接头为第二接头的情况中。用于摇摄和倾斜的控制信号可以经由网络74接收，并且在被转发到电机控制器64、68之前由处理单元54处理。

监控摄像机10的其它实施方式对于本领域技术人员是明显的。

上述的将摄像头从捕获概要图像重定向到捕获在概要模式下捕获的图像中标示的位置的详细图像的功能可以通过如下方式实施：将概要图像内所标示的位置的坐标转换成用于在详细模式下定位摄像机的摇摄角和倾斜角，以捕获所标示位置的图像。

现在参考图7a和图7b，可以使用下面的公式根据图7a中示意性示出的概要图像中的坐标x、y来计算摇摄角ψ和倾斜角距离dx和dy分别是从概要图像的中心（0，0）到概要图像的边界102内的所标示位置x、y的距离。另外，参考示出了监控摄像机10在天花板中的安装地点的侧视图的图7b，广角镜头捕获的总视角θ是用于模拟概要图像中的点的标示所需的倾斜角的参数。这些角度和坐标之间的关系也示出在图7a和图7b中。

公式1

公式2

公式3

使用这些公式，通过将三角学应用于笛卡尔坐标，简单地计算出摇摄角ψ，参见公式3。依据该具体实施例的倾斜角是一种模拟：其中计算结果将所捕获图像的特征模拟成定位在球面702上，由此得到公式2，其中倾斜角通过将距离d和距离r的距离比应用于总视角θ来计算。本发明不必局限于该变换方案，而是可以使用任意已知的变换方案。

依赖于摄像机的应用，变换所需的精度水平可以变化。然而，即使在不要求非常高精度的应用中，用户也希望在概要图像中选择的点看起来相当接近详细视图中的图像的中心。从提供较低品质的变换的系统得到的变换图示在图8a至图8b中，图8a至图8b中示出了概要图像802和根据在概要图像中选择点806得到的详细图像804。例如，假定用户在概要图像中选择了示出锁把手808的特征的位置806。摄像机然后将模式改变为详细模式，并且重定向摄像机以捕获所选择的点808位于帧的中心810的图像或视频。但是，在本示例中，两个模式之间的位置变换并不特别精确，从而引起偏移e_x和e_y。如上述示例中所述，相对于所要求位置的偏移因各种原因是值得进行调整的。这种原因的示例是偏移使用户烦恼，该偏移可导致识别仅在短时间内可见的人员的错过可能性，该偏移可能在需要屏蔽等的应用中令人麻烦。在需要屏蔽例如区域、物体或人员的应用的示例中，需要高的精确度以便不屏蔽目标区域、物体或人员外部的较大部分，从而不阻挡比所要求的信息更多信息的视图。

偏移e_x和e_y可能因为将广角镜头20安装在球面14上、将球面14安装在球形底座16上、将摄像头12安装在壳体中等的动作造成。摄像机组件10需要小的机械公差，以便不引起偏移问题。例如，偏移问题可在用于球面、摄像机、广角镜头等中的任一个的安装螺钉被略过猛烈地紧固时发生。因此，一个普遍问题在于，当摄像头布置成使得其光轴26与用于摇摄摄像头的旋转轴24一致时，广角镜头20的光轴22和摄像头12的光轴26偏移m_off，参见图9。其中摄像头12的光轴26被布置成与摄像头12的旋转轴24一致处的位置是用于通过摄像头12经由广角镜头20捕获图像的默认位置。然而，如根据图9清楚的，广角镜头的微小偏移可引起问题。该类型的不对准还可引起除概要图像中的位置和详细视图中的相应位置之间的偏移问题之外的其它问题。另一问题例如在于，从所捕获的可用像素来看，图像传感器不能被有效地利用。

在图10a中示出图像传感器不被有效利用的一个示例，其中经由摄像头的广角镜头和光学器件投射到图像传感器上的图像视图并不在图像传感器的中心，由距离e_x和e_y标示，距离e_x和e_y标示了在所投射图像视图的中点1002和图像传感器的中点1004之间的距离。

根据本发明的一个实施例，图像传感器不被有效利用的问题通过校准照相机系统来解决。在本实施例中，校准包括如下动作：使摄像头12倾斜，并且将所投射图像视图的中点1002移动到将图像传感器分为两个半部的假想中心线1006上的位置，参见图10b。在该实施例中，由于使用了产生圆形图像的广角镜头，因此所投射图像视图大致是圆形。该实施例的图像传感器是宽度w大于高度h且比得到的所投射圆形图像的直径宽的长方形。因此，所投射图像视图在图像传感器的宽度方向上的定位，即沿着x轴的定位并不象在图像传感器的高度方向上的定位那样严格。实施该校准特征的一个方式在下面参考图10a、图10b和图11进行描述。

开始通过使概要图像居中来校准摄像机10以有效利用图像传感器的过程（过程1100），并且将摄像头12倾斜到广角镜头20的光学路径22中（步骤1102），由此摄像头12被定位以在概要模式下捕获图像。然后，计数器C被复位至例如零，C=0（步骤1104）。计数器后面的想法是对下面执行的重定位程序的次数进行计数，以限制执行该程序的次数。通过广角镜头捕获图像（步骤1106），并且确定所捕获图像的中心的位置CCy（步骤1108）。在该具体实施例中，所投射图像的沿y轴的中心位置被确定，但不必确定沿x轴的中心位置，因为仅使用沿y轴的位置用于调节。但是，可能存在需要沿x轴的位置也需要沿y轴的位置的特定实施例。确定中心位置的一个方式是通过使用边缘检测和标准霍夫（Hough）变换以找到圆的参数。如果摄像机装配有生成圆形图像的镜头，则圆由图像投影的边缘表示，并且图像投影大致为圆形。

然后，将所投射图像的该中心CCy与图像传感器的同样沿y轴的中心CSy相关，并且该过程检查（步骤1112）所投射图像沿y轴的中心CCy是否大致居于图像传感器的中心，即是否CCy=CSy±公差。所投射图像的中心CCy是否被确定为对应于图像传感器在y方向上的中心CSy，或者对次数进行计数的计数器C是否计算出摄像头的该检查和重定位已被执行n次。n的值根据一个实施例为3。值n限定允许摄像机的重定位和检查被执行多少次。该参数的一个原因是避免系统陷入循环，例如在系统因一些原因而不能确定中心的情况下。因此，n的值可以是任意数值，只要其足够小而不导致感知到劣化的性能。

如果步骤1114中的检查为否，则基于所投射图像沿y轴的中心CCy和图像传感器沿y轴的中心之间的偏移使摄像头倾斜（步骤1116）。根据一个实施例，基于下面的公式4计算要使摄像头12倾斜的角度α_tilterr：

公式4

α_tilterr：摄像头应倾斜的角度

β_totch:摄像头本身的总视角

e_y:从图像传感器的中心CSy到所捕获的圆形图像的中心CCy的距离

h:图像传感器的高度

然后，计数器C递增（步骤1118），并且过程返回到步骤1106，以在摄像头的新位置处捕获新图像并且检查新位置是否更精确。

如果步骤1114中的检查为真，则摄像头的位置被存储在存储器中以在进入概要模式时用作摄像头返回到的位置（步骤1120），即为摄像头设置概要模式坐标或者角度。然后，当已经确定摄像头的概要位置时，结束用于在概要模式下定位摄像头的校准过程。

根据一个实施例，使用霍夫变换来寻找所投射图像的中心，并且所投射图像大致是圆形。霍夫变换的更多信息可在普伦蒂斯霍尔公司于2011年出版的由夏皮罗、琳达和斯托克曼撰写的《计算机视觉》（“Computer Vision”,by Shapiro,Linda and Stockman,Prentice-Hall,Inc.2001）中找到。为了应用霍夫变换来找到通过图像投影表示的圆的参数，必须确定图像投影的边界。这可以使用任何标准的边缘检测算法来执行。当已经检测到所投射图像的边缘时，将霍夫变换应用于所检测的边缘。使用霍夫变换的处理可以通过这样的方式加速：为利用霍夫变换进行分析限定有限范围的可能的圆半径。由于可以对圆形的图像投影的尺寸具有相当精确的概念，因此这可以被实现。在一个具体实施例中，霍夫变换中使用的半径在图像传感器的宽度的0.25至0.35倍的范围内。对于具有宽度为1280像素的传感器的系统，半径在320像素至448像素的范围内选取。

为了更快地加速该过程并且仍获得可靠的结果，半径可以从以像素为单位的图像传感器宽度的0.2921875至0.3125倍的范围内选取。对于具有宽度为1280像素的传感器的系统，半径在374像素至400像素的范围内选取。

上述使图像投影在图像传感器上居中的过程可以是如下校准方案的一部分：该校准方案用于减少概要图像中选择的位置与详细图像视图中的中心位置之间的偏移，参见涉及图8a至图8b的论述。

在图12的流程图中描述了用于减少所述偏移的校准方案。因此，根据一个实施例，用于校准能够摇摄倾斜的摄像头的方法（步骤1200）可以包括下面描述的动作。该过程起始于摄像头处于概要模式，并且该过程在摄像机处于概要模式时捕获概要图像（步骤1202）。捕获的概要图像被显示，并且包括有至少三个建议选择的标示器的图案被布置作为概要图像上的叠加层（overlay）（步骤1204）。该叠加层的方位然后可以由操作者调节，以在该叠加层所标示的选择区域内具有尽可能多的区别特征（步骤1206）。叠加层的方位的调节可包括例如绕图像视图的中心点旋转叠加层、通过将建议的选择区域统一地移动至更接近或进一步远离图像视图的中心点而重定位建议的选择区域。该重定位操作和旋转操作可以被执行为在叠加层上的拖放操作。然后，选择在该至少三个建议的选择区域之一中的特征处的点（步骤1208）。所选择的点的坐标被转换为摇摄角和倾斜角（步骤1210）。

之后，根据所述摇摄角和所述倾斜角摇摄和倾斜摄像机、使摄像机进入详细模式，并且当摄像机在完成根据所述摇摄角和所述倾斜角的摇摄和倾斜之后处于详细模式时捕获详细图像（步骤1212）。

在未就转换误差进行校准的系统中，到详细模式的转换几乎不导致所选择的特征出现在详细图像视图中的所捕获图像的中心。操作者现在要手动调节摇摄角和倾斜角，直到摄像机将在概要图像中选择的特征的点大致呈现在详细模式下捕获的图像的中心（步骤1214）。摄像机在该摇摄和倾斜期间频繁地捕获图像，以将摇摄和倾斜的结果呈现给操作者。现在保存标示手动调节的摇摄角和倾斜角与根据特征的位置转换得到的摇摄角和倾斜角之间的差的信息（步骤1216）。该信息被保存用于后续使用。然后，针对至少两个另外的选择区域，重复选择特征的步骤以及记录从概要模式到详细模式的转换的误差的步骤，即在步骤1218中n=3。n的值可以是等于或大于3的任意数。但是，n的值不应过大，因为否则校准将会相当耗时。为了平衡精度与速度，n的值可以在4至10的范围中。

当步骤1208至步骤1216已被执行n次时，则过程估计表示摇摄误差的函数f_ψerr(ψ_calc)和表示倾斜误差的函数其中ψ_calc是从概要坐标直接转换的摇摄角，而函数同样依赖于倾斜角ψ_calc。这些函数f_ψerr(ψ_calc)和表示基于所保存信息的误差（步骤1220），并且校准过程结束。估计的函数现在可用于补偿在概要模式中的位置与在详细模式中的摇摄角和倾斜角之间的变换，即所述函数可应用于包括从概要图像到摇摄角和倾斜角的坐标变换的操作。

在图13中，示出了包括有建议区域的标示器1302a至1302d的所述叠加层1300的示例。该叠加层被示出定位在概要图像视图中，以虚线绘出，以标示其与概要图像的关系。叠加层的主要功能在于，通过便于校准点的统一选择而支持操作者执行校准。在详细模式中，为进一步便于当摄像机指向所选择点时识别出所选择点，叠加层可旋转，参见图14。通过使叠加层能够旋转，操作者可以在尝试适配容易识别的特征以选择作为校准点的同时保持选择区域的统一分布。如在图14的概要图像中所见，建议区域1302a至1302d的标示器实时地绕图像视图的中心点旋转，以使得操作者易于观察到容易识别的特征何时呈现在建议区域的标示器的全部或者至少大部分中。绕概要图像的中心点统一分布的校准点的选择使得误差函数的估计比所述点被定位成朝向概要图像的一侧时更精确。所建议的选择区域的数目在图13至图14中为4，但是如上所述，选择区域的数目可以变化。

根据另一实施例，参见图15和图16a至图16d，选择供校准使用的令人满意的点的过程通过动态自适应选择叠加层来执行。该动态选择叠加层的过程包括初始呈现在概要模式下捕获的图像（步骤1502），然后显示该图像1300并在其上添加叠加层，以呈现所建议的选择区域1602a至1602d（步骤1504）。在图16a至图16d中，摄像机捕获的图像以虚线示出，以便于在图中区分叠加层和所捕获图像。对于第一选择，不必呈现任何建议的选择区域，因为下面推荐的选择将基于实际选择在概要图像中的位置。然后，用户在呈现的概要图像内选择特定校准位置1604a至1604d（步骤1508）。选择的校准位置有利地是示出了清楚的区别特征的位置，以便于识别在详细模式下的特征。然后，这些位置坐标根据公式1至公式3被变换为摇摄角和倾斜角（步骤1510），以供摄像机在详细模式下使用。接着，摄像头在详细模式下被摇摄和倾斜到所述摇摄角和倾斜角，并且捕获详细的图像视图（步骤1512）。该详细的图像视图由操作者研究，操作者进行必要的调整以在详细视图中使所选择的特征居中（步骤1514）。变换后的中心位置和操作者调整后的中心位置之差被存储在存储器中，以供随后在估计误差函数时使用（步骤1516）。然后，估计所选择位置的周向分布。这通过识别在从中心到两个周向相邻的选择位置的半径之间的角度γ来执行。当仅一个位置被选择时，角度γ将是360度。在相邻的选择位置之间的最大角度γ_max被识别（步骤1518）。对于第一选择位置，该角度为360度。如果γ_max小于预定阈值γ_thresh（步骤1520），则该过程被认为具有足够的数据来估计误差函数，并且过程通过估计表示所保存差值的误差函数而结束（步骤1522）。

另一方面，如果γ_max不小于所述预定阈值γ_thresh（步骤1520），则建议的选择区域在周向上被定位在表示它们之间的最大角度γ_max的两个位置之间。该新的建议选择区域以相对于两个相邻位置中的任一个大致成γ_max/2的角度被定位。然后，过程返回到步骤1508，以选择另一校准位置。

图16a至图16d示出了四个与图15中描述的过程相关的连续选择循环。图16a示出在该第一选择循环中选择的起始建议选择区域1602a和起始选择的校准位置1604a。另外，校准位置的在该起始选择之后的最大角度γ_max是360度。线1606和1608仅是辅助线，该辅助线随后用以方便角度的描述，由此这些线并不必包括在本发明实施方式的界面中。然后，在图16b中，示出了如下时刻的选择视图：选择过程已经返回用于选择第二校准过程，并且已经将新的建议选择区域定位在相对于先前选择的校准位置成角度γ_max/2的位置处，见辅助线1606和1610之间的角度。在该情况中，建议的选择区域1602b被定位成相对于先前的校准位置1604a成180度，因为仅存在一个先前的选择位置1604a。

然后，操作者在适当的特征上选择新的校准位置1604b。应注意，建议的选择区域1602a至1602d不必是可以在其内选择校准位置的唯一区域，而是标示了用于选择校准位置的合适区域。在选择了第二校准位置1604b之后，选择过程继续进行并且最终将新的建议选择区域1602c呈现给操作者。该新的建议选择区域1602c的位置被再次计算为两个周向相邻的所选择校准位置之间的最大角度γ_max的一半的角度γ_max/2。在图16c中，最大角度γ_max建立在校准位置1604a和1604b之间，并且是大于180度的部分，因此建议的选择区域1602c布置成相对于线1606或线1612成大致90度。操作者选择新的校准位置1604c，并且过程被再次循环。

然后，下一建议的选择区域1602d被定位成相对于形成最大角度γ_max的线1606或线1612在边上小于90度的角度。操作者然后选择下一校准位置1604d，并且如果这不是要被记录的最后的校准位置，则过程继续。

根据上述当将摄像机朝向校准位置时发现的位置误差，可以估计误差函数。误差函数f_ψerr(ψ_calc)和可以通过三角函数或多项式估计。使用多项式估计的优点在于，线性最小二乘法估计（LLSE）可被用于找到函数的系数。对于本领域技术人员来说，如何使用LLSE估计多项式函数是熟知的。

当已经估计了误差函数时，可以使用从坐标x、y到摇摄倾斜位置ψ_calc、的变换所产生的值来得出在任意计算的摇摄-倾斜位置处的摇摄-倾斜角的误差估计。相应地，在每个摇摄-倾斜位置中的误差可以计算为：

e_ψ＝f_ψerr(ψ_calc) 公式5

公式6

然后，误差补偿后的摇摄-倾斜位置ψ、可以计算为：

ψ＝ψ_calc+e_ψ 公式7

公式8

所得到的摇摄-倾斜位置，即通过使用误差函数进行调节而确定的摇摄-倾斜位置，比不使用误差补偿而计算出的位置具有大体上更高的精度。

从摇摄-倾斜位置ψ、到概要位置x、y的变换可能也是必要的。其中这种变换可能令人感兴趣的一种情况为详细视图中的物体必须被屏蔽且操作者将摄像机返回到概要模式时的情况。在该情况中，被屏蔽的物体应在概要模式下以及在详细模式下被屏蔽。为实现这种结果，详细模式下的位置必须被变换到概要模式下的位置。

根据一个实施例，从摇摄-倾斜位置ψ、到概要位置x、y的变换基于对结合公式1至3所述的变换进行逆变换的公式。根据一个实施例，变换包括计算概要模式下的距离d，参见图7a至图7b和公式9。距离d被近似为，与概要图像的半径的关系和倾斜角与总视角θ之间的关系相同。当计算该距离d时，dx和dy距离可使用基本的三角几何来计算，见公式10和公式11，其中ψ是摇摄角。

公式9

dx＝dsinψ 公式10

dy＝-dcosψ 公式11

为获得值dx和dy的真实的概要坐标，过程对用作摇摄角ψ、距离d以及dx和dy的基准的中心点x_c,y_c的坐标进行进一步调整。

另外，在该变换以及在用于从概要视图转换到详细视图的变换中，不存在不对准误差，因此必须分别确定x和y的误差函数。在一个具体实施例中，这些函数根据大致相同的上述校准过程和数据来估计。更具体地，校准过程可以与结合图12或图15所描述的任一校准过程相同，其中增加了：使用在图12或图15中描述的任一过程中已经使用的相同校准输入来检测并记录在到概要坐标的转换中的位置误差，用以检测和记录从概要位置到详细视图中的摇摄-倾斜位置的转换误差。根据一个实施例，位置误差的检测包括：将转换公式应用到当使详细视图的中心与当前选择的特征对准时根据操作者的调整所得到的摇摄-倾斜位置。然后，所得到的在概要视图的笛卡儿坐标系中的坐标（即x_t,y_t）与来自特征的原始选择的坐标x,y相比较。因此，原始选择的这些坐标是在操作者调整到详细视图的中心的特征的概要图像中的真实坐标，并且这些坐标已被记录。由此，误差值被简单地计算为然后误差值被存储用于估计误差函数f_x(ψ),f_y(ψ)，以用于从详细模式表示到概要模式表示的转换。误差函数可以根据误差数据来估计，所用方法与以上关于用于从概要模式到详细模式的转换的误差函数估计的估计所述的方法相同。在一个具体实施例中，误差函数f_x(ψ),f_y(ψ)已经基于摇摄角相关性进行了估计，而未考虑倾斜角。在该具体实施例中，倾斜角对于误差大体上没有影响，因此不必考虑倾斜角。技术人员将理解，当具体实施方式需要时，误差函数可基于其它的变量。

因此，用于被校准系统的转换操作中的误差可表示为：

e_x＝f_x(ψ) 公式12

e_y＝f_y(ψ) 公式13

相应地，概要模式下的转换和补偿后的坐标可表示如下：

x＝x_c+d_x+e_x 公式14

y＝y_c+dy+e_y 公式16

如先前提到的，从详细模式到概要模式的转换可用于正确定位屏蔽。例如，用于摇摄-倾斜摄像机的屏蔽通常以摇摄-倾斜角被限定，并且通过引入更精确的转换方法，这些屏蔽可简单地被再计算用于概要视图，而不是重新输入概要坐标，由此便于监控摄像机的校正。该转换的另一用途在于其能够实现界面的改进。例如，当摄像机处于详细模式时，如图17中所示，标示详细图像视图的位置的标记物1700可同时显示在概要视图上。在该应用中，概要视图可与详细视图一起显示，以便于知悉摄像机的方位。相应地，详细视图的中心点的位置被连续地转换成为概要坐标，用于将标记物定位在概要视图中。使用该类型系统的操作者可快速地识别监控摄像机正在监控的位置，并且由此可以容易地通知其他人关于具体活动的地方。将详细视图和概要视图提供在同一操作者视野中不必局限于使用在本申请中所述的摄像机，而可以用在使用两个单独摄像机的系统中，一个摄像机用于详细视图而另一摄像机用于概要视图，或与从摄像机捕获的多幅图像中拼接的概要图像结合用在使用标准摇摄-倾斜-缩放摄像机的系统中。在后者情况中，拼接的概要图像可在新的图像信息可用时被更新。相应地，根据一个实施例，当详细视图被呈现时，概要图像可以是静态图像，但根据另一实施例，即使当详细视图被呈现为活动的时，概要视图也可以是活动图像。

Claims

1.用于校准摄像机(10)的方法，所述摄像机(10)包括具有中心位置(1004)的图像传感器(50)，所述方法包括：

通过镜头(18；20)捕获投射到所述图像传感器(50)上的图像视图，所投射的图像视图具有中心(1002)，

检测由所述图像传感器(50)捕获的所述图像视图的至少一个图像视图边界(1008)，

基于检测的边界(1008)，确定在至少一个维度上与投射在所述图像传感器(50)上的图像视图的中心(1002)相对应的投影中心位置(CCy)，

确定在所述投影中心位置(1002)和在至少一个维度上限定的与捕获所投射的图像视图的所述图像传感器(50)的中心(1004)相对应的传感器中心位置(CSy)之间的偏移(e_y)，以及

基于所述偏移(e_y)使所述图像传感器(50)相对于所述镜头(18；20)移动，以实现在至少一个维度上在所述图像传感器的中心(1004)和所投射的图像视图的中心(1002)之间的大致零偏移。

2.根据权利要求1所述的方法，进一步包括：

在移动所述传感器(50)之后的时间点处，对投射到所述图像传感器(50)上的所述图像视图执行附加的捕获，

检测与后来捕获的投射到所述图像传感器(50)上的图像视图相关的至少一个图像视图边界(1008)，

基于后来检测的边界(1008)，确定在至少一个维度上与投射在所述图像传感器(50)上的图像视图的中心(1002)相对应的更新后的投影中心位置(CCy)，

确定在所述更新后的投影中心位置(CCy)和在至少一个维度上限定的与捕获所投射的图像视图的所述图像传感器(50)的中心(1004)相对应的所述传感器中心位置(CSy)之间的偏移(e_y)，以及

如果所述偏移(e_y)不为零或者大致不为零，则基于所述偏移(e_y)使所述图像传感器(50)相对于所述镜头(18；20)移动，以实现在至少一个维度上在所述图像传感器的中心(1004)和所投射的图像视图的中心(1002)之间的大致零偏移。

3.根据权利要求1至2中任一项所述的方法，其中所述图像视图通过广角镜头(20)投射到所述图像传感器(50)上，所述广角镜头(20)产生圆形的图像或者至少大致圆形的图像。

4.根据权利要求3所述的方法，其中确定所投射的图像视图的中心的位置(1002)包括：计算限定圆的、可能表示与所投射的图像视图相关的至少一个检测的边缘(1008)的参数。

5.根据权利要求4所述的方法，其中计算限定圆的、可能表示与所投射的图像视图相关的所述至少一个检测的边缘(1008)的参数是基于霍夫变换。

6.根据权利要求1或2所述的方法，其中所述摄像机(10)包括能够摇摄和倾斜的摄像头(12)，所述摄像头(12)包括所述图像传感器(50)，其中所述图像视图通过相对于所述摄像机(10)的底座(16)被固定布置的镜头(20)投射到所述图像传感器(50)上，并且其中所述图像传感器(50)的移动包括所述摄像头(12)相对于所述固定布置的镜头(20)的移动。

7.根据权利要求6所述的方法，其中所述摄像头(12)的移动被执行为摇摄和/或倾斜移动，所述摇摄和/或倾斜移动根据所投射的图像视图的所述中心(1002)和捕获所投射的图像视图的所述图像传感器(50)的中心(1004)之间的偏移计算出。

8.根据权利要求6所述的方法，进一步包括：响应于在所述投影中心位置(1002)和所述传感器中心位置(CSy)之间的、被确定为零或大致为零的所述偏移(e_y)，存储所述摄像头的倾斜角。

9.用于校准摄像机的方法，包括：

A.根据权利要求1所述的方法，

B.在所述摄像机(10)捕获的且呈现给操作者的概要图像视图中选择位置，

C.计算与所选择的位置相对应的摇摄角和倾斜角，

D.将摄像头(12)移动到详细视图位置：在该位置中，所述摄像头(12)可以不通过广角镜头(20)捕获详细的图像视图，所述详细的图像视图具有表示计算出的摇摄角和倾斜角的中心，

E.在所述摄像头(12)已经移动到所述详细视图位置之后调节所述摄像头(12)，直到在概要图像中选择的位置居于详细视图的中心，

F.保存表示为了使所述详细视图位置在详细视图中居中而使用的调节量的数据，

重复步骤B至步骤F，直到已经保存与所述调节相关的预定量的数据，并且

基于所保存的数据估计误差函数。

10.根据权利要求9所述的方法，其中估计误差函数的动作包括：使用线性最小二乘法估计来确定多项式误差函数的系数。

11.用于将在摄像机(10)捕获的概要图像中选择的位置变换成要捕获所选择位置的更详细视图的摄像机的摇摄和倾斜角的方法，所述方法包括：

基于在所述概要图像中选择的位置，计算用于所选择位置的所述摇摄和倾斜角，

基于通过权利要求9中的过程获得的误差函数来补偿所得到的摇摄和倾斜角。