CN103380618B - 用于监视系统中的摄像机控制的系统和方法 - Google Patents

Abstract

一种用于对监视系统中的摄像机进行校准的方法和系统。该方法和系统使用第一坐标系与第二坐标系之间的数学旋转来将摄像机与区域的地图校准。在一些实施方式中，可以使用这种校准来控制摄像机和/或在地图上显示视觉景锥。

Description

用于监视系统中的摄像机控制的系统和方法

技术领域

本发明涉及摄像机控制方法，尤其涉及监视系统中的摄像机控制的方法。

背景技术

监视系统使用摄像机来监视关注区域。摄像机产生可以显示给用户的视频馈送。这样，用户就可以远程观察关注区域。在有些情况下，监视系统中的摄像机是固定的，用户不能改变它们视场。然而在另一些情况下，摄像机及它们的视场可以通过用户的控制被调节。典型地，这种控制采用手动控制，例如操纵杆来实现。这样，如果视频馈送包括移动物体，用户手动控制摄像机跟随该移动物体。摄像机的这种手动控制并不是非常有效，特别是如果用户需要在有限时间期限内捕捉和/或响应该移动物体。如果摄像机没有(例如，相对地面的高度)精确并适当装配的话，这些问题会进一步复杂。在另一些例子中，使用图像分析来自动控制摄像机跟随视场内的物体。这种方式的缺点是除非该物体位于摄像机的视场内，否则无法执行图像分析。如果移动物体不在视场内，用户必须手动指导摄像机来捕捉它的视场内的移动物体。

发明内容

本发明例示性实施方式提出了一种校准监视系统的方法、系统以及具有用于校准监视系统的指令的计算机可读介质代码。本发明例示性实施方式包括显示来自摄像机的视频馈送，该摄像机具有由平移、缩放和倾斜坐标表征的方位。示例性实施方式进一步包括显示由地理空间坐标表征的区域的地图。用户使用输入装置选择至少三对点。一对点的第一个点是在该地图上选择的，一对点的第二个点是从视频馈送中选择的。第一个点和第二个点对应于相同的地理位置。在地图上选择的三个点被从地理空间坐标转换成由第一坐标系限定的笛卡尔坐标。在视频馈送中选择的三个点被从平移、缩放和倾斜坐标转换为由第二坐标系限定的笛卡尔坐标。然后根据这三对点的笛卡尔坐标来确定第一坐标系与第二坐标系之间的数学旋转。

本发明不同实施方式还包括允许用户使用输入装置在地图上选择至少一个点。所选择的点的地理空间坐标被转换为由第一坐标系限定的笛卡尔坐标，并且该数学旋转被应用到那些笛卡尔坐标以确定由第二坐标系限定的笛卡尔坐标。然后由第二坐标系限定的笛卡尔坐标进一步被转换为所选择的点的平移和倾斜坐标。然后基于所选择的点的平移和倾斜坐标向该摄像机提供方位指令。

在本发明的其他的或可选的实施方式中，接收来自传感器的目标的坐标，如果该目标的坐标不是由第一坐标系限定的笛卡尔坐标，那么它们被转换为由第一坐标系限定的笛卡尔坐标。该数学旋转被应用到由第一笛卡尔坐标系限定的笛卡尔坐标以确定由第二笛卡尔坐标系限定的笛卡尔坐标。由第二笛卡尔坐标系限定的笛卡尔坐标被转换为平移和倾斜坐标，并且基于该平移和倾斜坐标向提供方位指令给该摄像机。

在本发明的其他例示性实施方式中，视频馈送具有左上、右上、左下和右下角。本发明的示例性实施方式进一步包括基于该摄像机方位的平移、缩放和倾斜坐标来确定该视频馈送的至少左下和右下角的有效平移和倾斜角。该视频馈送的至少左下和右下角的有效平移和倾斜角被转换为由第二坐标系限定的笛卡尔坐标。该数学旋转被应用到由第二坐标系限定的笛卡尔坐标以确定该视频馈送的至少左下和右下角的由第一坐标系限定的笛卡尔坐标。使用该视频馈送的至少左下和右下角的由第一坐标系限定的笛卡尔坐标并基于该视频馈送的左上和右上角来确定视觉景锥(view cone)。在地图上显示该视觉景锥。

本发明的例示性实施方式提出了一种控制摄像机的方法、系统以及具有用于控制摄像机的指令的计算机可读介质代码，该摄像机具有由平移、缩放和倾斜坐标表征的方位。本发明的示例性实施方式进一步包括显示由地理空间坐标表征的区域的地图。用户使用输入装置来选择地图中的至少一个点。所选择的点的地理空间坐标被转换为由表征该地图的第一坐标系限定的笛卡尔坐标。数学旋转被应用到所选择的点的笛卡尔坐标以确定由表征来自摄像机的视频馈送的第二坐标系限定的笛卡尔坐标。该数学旋转提供了第一坐标系与第二坐标系之间的转换。由第二坐标系限定的笛卡尔坐标被转换为所选择的点的平移和倾斜坐标，并且基于所选择的点的至少该平移和倾斜坐标向该摄像机提供方位指令。然后根据该平移和倾斜坐标来显示来自摄像机的视频馈送。

本发明的例示性实施方式提出了一种用于把来自多个摄像机的视频馈送区分先后次序的方法、系统以及具有用于把来自多个摄像机的视频馈送区分先后次序的指令的计算机可读介质代码，这些摄像机具有由坐标表征的位置。本发明的示例性实施方式包括接收关注点的坐标并确定该关注点是否在多个摄像机中任意一个的视场内。如果该关注点在多于一个摄像机的视场内，则确定这些摄像机与该关注点之间的距离。本发明不同实施方式进一步包括确定这些摄像机中的哪一个距离该关注点最近。基于关注点的坐标向距离最近的摄像机提供方位指令并显示来自距离最近的摄像机的视频馈送。

本发明的例示性实施方式提出了一种使用传感器和摄像机追踪至少一个目标的方法、系统以及具有使用传感器和摄像机追踪至少一个目标的指令的计算机可读介质代码，该摄像机具有由平移、缩放和倾斜坐标表征的方位。本发明示例性实施方式包括从传感器接收目标的坐标。如果该目标的坐标不是由表征该地图的第一坐标系限定的笛卡尔坐标，那么该坐标被转换为由第一坐标系限定的笛卡尔坐标。数学旋转被应用到由第一坐标系限定的笛卡尔坐标以确定由表征来自摄像机的视频馈送的第二坐标系限定的笛卡尔坐标。该数学旋转提供了第一坐标系与第二坐标系之间的转换。由第二笛卡尔坐标系限定的笛卡尔坐标被转换为平移和倾斜坐标，并且基于该平移和倾斜坐标该摄像机提供方位指令。然后根据该平移和倾斜坐标来显示来自该摄像机的视频馈送。

本发明的例示性实施方式提出了一种用于显示摄像机的视觉景锥的方法、系统以及具有用于显示摄像机的视觉景锥的指令的计算机可读介质代码，该摄像机具有由平移、缩放和倾斜坐标表征的方位。本发明示例性实施方式包括显示区域的地图，基于摄像机的平移、缩放和倾斜坐标来确定视觉景锥，并且在地图上显示视觉景锥。

本发明的例示性实施方式提出了一种用于显示摄像机的视觉景锥的方法、系统以及具有用于显示摄像机的视觉景锥的指令的计算机可读介质代码，该摄像机具有由平移、缩放和倾斜坐标表征的方位。本发明示例性实施方式包括显示由地理空间坐标表征的区域的地图。基于摄像机方位的平移、缩放和倾斜坐标来确定视频馈送的至少左下和右下角的有效平移和倾斜角。该视频馈送的至少左下和右下角的有效平移和倾斜角被转换为由表征视频馈送的第二坐标系限定的笛卡尔坐标。数学旋转被应用到该视频馈送的至少左下和右下角的笛卡尔坐标以确定由表征该地图的第一坐标系限定的笛卡尔坐标。该数学旋转提供了第一坐标系与第二坐标系之间的转换。然后，基于该至少左下和右下角的由第一坐标系限定的笛卡尔坐标并基于该视频馈送的左上和右上角来确定视觉景锥。然后在地图上显示该视觉景锥。

当该摄像机的倾斜坐标低于水平线时，基于该视频馈送的左上和右上角确定该视觉景锥进一步包括基于该摄像机方位的平移、缩放和倾斜坐标来确定该视频馈送的左上和右上角的有效平移和倾斜角。该视频馈送的左上和右上角的有效平移和倾斜角被转换为由第二坐标系限定的笛卡尔坐标。数学旋转被应用到该笛卡尔坐标以确定该视频馈送的左上和右上角的由第一坐标系限定的笛卡尔坐标。基于该左上、右上、左下和右下角的由第一坐标系限定的笛卡尔坐标来确定所述视觉景锥。

当该摄像机的倾斜坐标高于水平线时，基于该视频馈送的左上和右上角确定该视觉景锥包括基于该摄像机的平移、缩放和倾斜坐标来确定该视频馈送的左上和右上角的有效倾斜角。基于该摄像机的可分辨距离来确定该视频馈送的左上和右上角的由第一坐标系限定的坐标。基于该左上、右上、左下和右下角的由第一坐标系限定的笛卡尔坐标来确定视觉景锥。

在进一步的示例性实施方式中，该视觉景锥是多边形，并且该左上、右上、左下和右下角的由第一坐标系限定的笛卡尔坐标是该多边形的顶点。

本发明的例示性实施方式提出一种用于控制摄像机的方法、系统以及具有用于控制摄像机的指令的计算机可读介质代码。本发明示例性实施方式包括显示区域的地图，并确定关注点的笛卡尔坐标。该笛卡尔坐标由表征该地图的第一坐标系限定的。示例性实施方式进一步包括对该关注点的笛卡尔坐标应用数学旋转以确定由表征来自摄像机的视频馈送的第二坐标系限定的笛卡尔坐标。该数学旋转提供了第一坐标系与第二坐标系之间的转换。由第二坐标系限定的笛卡尔坐标被转换为该关注点的至少平移和倾斜坐标，并且基于该关注点的至少平移和倾斜坐标向摄像机提供方位指令。根据该方位指令显示来自摄像机的视频馈送。

在以上描述的全部或一些实施方式中，地理空间坐标是纬度、经度和高度坐标。输入装置是鼠标、光标、十字线、触摸屏以及键盘中的一个或多个。传感器是摄像机、雷达以及运动检测器中的一个或多个。

进一步，在以上描述的全部或一些实施方式中，区域的地图被显示，并且该地图由地理空间坐标表征。在一些实施方式中，至少一个摄像机的位置被显示在地图上。在其它的或可选的实施方式中，至少一个传感器的位置被显示在地图上。在一些实施方式中，至少一个目标的位置也被显示在地图上。

在以上描述的全部或一些实施方式中，由显示的区域的地图确定数学旋转，该区域的地图由地理空间坐标来表征。用户使用输入装置选择至少三对点。每一对点的第一个点是在该地图上选择的，每一对点的第二个点是从视频馈送中选择的。第一个点和第二个点对应于相同的地理位置。在地图上选择的三个点被从地理空间坐标转换成由第一坐标系限定的笛卡尔坐标。在视频馈送中选择的至少三个点被从平移、缩放和倾斜坐标转换为由第二坐标系限定的笛卡尔坐标。然后基于这至少三对点的笛卡尔坐标来确定第一坐标系与第二坐标系之间的数学旋转。在一些实施方式中，数学旋转是矩阵。

附图说明

参考下列附图，本发明的前述特征将通过下面的详细描述更加容易理解。在附图中：

图1示出了根据本发明一个实施方式的监视系统；

图2示出了根据本发明一个实施方式的校准监视系统的方法；

图3A示出了根据本发明一个实施方式的来自摄像机的视频馈送；

图3B示出了根据本发明一个实施方式的建筑物的建筑平面图的地图；

图4A示出了根据本发明一个实施方式的来自摄像机的视频馈送；

图4B示出了根据本发明一个实施方式的来自摄像机的视频馈送；

图5示出了根据本发明一个实施方式的选择的点的列表；

图6示出了根据本发明一个实施方式的控制至少一个摄像机的方法；

图7示出了根据本发明一个实施方式的户外地形图；

图8示出了根据本发明一个实施方式的追踪目标的方法；

图9示出了根据本发明一个实施方式的把来自多个摄像机的视频馈送区分先后次序的方法；

图10示出了根据本发明一个实施方式的具有多个摄像机的户外地形图；

图11示出了根据本发明一个实施方式的摄像机的视场；

图12示出了根据本发明一个实施方式的显示至少一个摄像机的视觉景锥的方法；

图13示出了根据本发明一个实施方式的视觉景锥和摄像机图标；

图14示出了根据本发明一个实施方式的应用到地图中的视觉景锥和摄像机图标；

图15示出了根据本发明一个实施方式的视频馈送和相应的视觉景锥；

图16示出了根据本发明一个实施方式的变换到多边形视觉景锥的视频图像；

图17示出了根据本发明一个实施方式如何使用直角三角形计算可分辨距离；

图18示出了根据本发明一个实施方式的视觉景锥。

具体实施方式

本发明的例示性实施方式提出了一种监视系统。图1示出了根据本发明一个实施方式的监视系统100。该监视系统的例示性实施方式包括至少一个摄像机102。在其他实施方式中，例如图1中示出的，该系统包括多个摄像机102，104，106。摄像机102，104，106经由例如通信网络110与处理器(例如摄像机服务器)电通信。该处理器108也与至少一个显示装置例如监视器112通信。该显示装置112允许用户观看来自摄像机102，104，106的视频馈送。该系统100还包括输入装置114，例如计算机鼠标、光标、十字线、键盘、菜单和/或操纵杆。在不同的实施方式中，显示装置112也是输入装置114(例如触摸屏)。该输入装置114与处理器108电通信，并且允许用户控制摄像机102，104，106以及在来自每个摄像机的视频馈送中选择点。

在例示性实施方式中，该监视系统还包括地理信息系统116。该地理信息系统116包括地理区域的地图(例如建筑物的建筑平面图和/或户外地形图)的数据库。每个地图都包括可以由地理空间坐标系(例如经度、纬度和高度)限定的地理空间坐标。在其他的或可选的实施方式中，该地理空间坐标是可限定的笛卡尔坐标系。

在一些实施方式中，处理器108自身包括地理信息系统116，然而在其他实施方式中，该地理信息系统可以经由通信网络(例如因特网)110与处理器进行通信。显示装置112被用于显示地图，输入装置114被用于在地图上选择点。在不同的示例性实施方式中，可以使用第一显示装置显示来自摄像机102，104，106的视频馈送，使用第二显示装置显示地图。其他的或可选地，监视系统100可以包括至少一个传感器118，例如摄像机、雷达和/或运动检测器。传感器118经由，例如计算机网络110与处理器108电通信。

校准

本发明例示性实施方式提出了一种用于校准监视系统(例如图1中所示的监视系统)的方法。图2示出了根据本发明一个实施方式的校准监视系统的方法200。该方法包括使用显示装置显示来自摄像机的视频馈送202。图3A示出了根据本发明一个实施方式的来自摄像机的视频馈送301。在本例中，视频馈送301示出了建筑物的有屋顶的通道(breezeway)。在例示性实施方式中，摄像机是PTZ摄像机，其具有由平移、缩放和倾斜坐标表征的方位，然而其他摄像机的使用也落在在本发明的范围内。

该方法还包括使用显示装置来显示区域的地图204。图3B示出了根据本发明一个实施方式的建筑物的建筑平面图的地图300。该建筑平面图包括位于两个房间之间的走廊。地图300是由地理空间坐标来表征的。换言之，地图300中的每个点都可以由例如经度和纬度的一系列地理空间坐标来限定。在本发明的一些实施方式中，地图300不包括高度坐标。在这样的实施方式中，高度被假设为“0”。在本发明的其他例示性实施方式中，地图300上的每个点都由高度坐标来限定，因此地图上的每个点由三个坐标：经度、纬度和高度来限定。在本发明的另一些实施方式中，只有地图300中的一些点由高度来限定。在这样的实施方式中，没有被限定的点的高度可以从附近的限定了高度的点推断出来。例如，如果第一个点在30.000度经度和20.000度纬度上，而没有限定高度，那么可以用与第一个点最近的点来推断第一个点的高度。在这样的例子中，该方法使用在30.000度经度19.999度纬度且高度为4英尺的第二个点，和在30.000度经度20.001度纬度且高度为10英尺的第三个点，来假定第一个点的高度约是7英尺。在例示性实施方式中，也可以使用不同的其他推断技术。例如，在一些实施方式中，可以使用对推断高度进行平滑的算法。

地图300的例示性实施方式还使用摄像机图标302示出了摄像机在地图上的位置。以这种方式，用户可以观察地图300并理解来自摄像机的视频馈送的前景和优势点。在图3B中，摄像机图标302示出了摄像机位于走廊尽头。

地图300还显示了输入装置304，因此用户可以在地图300上选择点。在图3B中，输入装置304是十字线(crosshair)，然而，在其他实施方式中输入装置可以由例如箭头、触摸屏和/或菜单来代替。

校准方法的例示性实施方式允许用户使用输入装置304来选择至少三对点206。使用输入装置304在地图300中选择这些对点中的第一个点。在图3B中，用户使用十字线304选择了走廊左角306。处理器记录所选择的点的特定地理空间坐标。一旦用户在地图300上选择了第一个点，他然后从视频馈送中选择这一对点中的第二个点。图4A示出了根据本发明一个实施方式的视频馈送400。视频馈送400和地图300可以在一个显示装置的单独窗口中同时显示，或者在各自的显示装置中分开显示。在图4A中，用户使用十字线402在视频馈送400中选择了走廊左角306。当用户在视频馈送400中选择了一个点，处理器询问摄像机它的方位(例如平移角度、倾斜角度和缩放)。一旦从摄像机接收到该方位，处理器就记录摄像机的特定方位。应该这样选择这对点中的第一个和第二个点：使得它们对应于相同的地理位置。以这种方式，该方法适当地将视频馈送400校准到地图300。

一旦选择了第一对点，用户就选择第二对点。在图3B中，用户选择走廊的右角306作为一对点中的第一个点。然后在视频馈送400中选择这对点中的第二个点。图4B示出了根据本发明一个实施方式的视频馈送400。在图4B中，用户改变了摄像机的方位，因此视频馈送400显示了走廊的不同部分。当走廊的右角308出现在视频馈送400中时，用户使用十字线402选择走廊的右角308。

一旦选择了第二对点，用户就选择第三对点。在本发明例示性实施方式中，用户选择了三对点，然而，在其他示例性实施方式中，用户可以选择4、5或者更多对点用于校准。在一些示例性实施方式中，使用更多对点使得校准更准确，因为通过更多数量的点平均了在一个点中校准产生的误差。

在本发明的例示性实施方式中，如上所述，用户在地图300中选择了一对点中的第一个点，然后在视频馈送400中选择了这对点中的第二个点。一旦第一对点被选择，用户就选择下一对点。然而本发明的实施方式并不限制于这样特定的顺序。事实上，可以以其他顺序选择这些点，只要选择至少三对点就可以。例如，在一个例示性实施方式中，用户首先在视频馈送400中选择一对点中的一个点，然后在地图300中选择这对点中的另一个点。在其他例示性实施方式中，用户首先在视频馈送400中选择所有的三个点，然后在地图300中选择相对应的点。

图5示出了根据本发明一个实施方式的所选择的点的表500。该表包括6对点，并且列出了每一对点的特定坐标。502和504栏列出了在地图301中选择的点的地理空间坐标。506和508栏列出了在视频馈送400中选择的点的摄像机方位。表500中的地理空间坐标是经度、纬度和高度(没有显示高度)，而摄像机的坐标是平移角度、倾斜角度和缩放(没有显示缩放)。

在该校准方法的不同实施方式中，在视频馈送中的每个点的摄像机的平移、倾斜和缩放方位被转换为每个点各自的有效平移和倾斜角度。处理器初始记录摄像机自己的方位，旦该初始平移和倾斜角度代表视频馈送中心。当用户选择了偏离视频馈送400中心的点时，这些点的有效平移和倾斜角度将不同于摄像机自己的平移和倾斜角度。为了确定这些点的有效平移和倾斜角度，使用式1和2确定水平角度视角域(H_FOV)和垂直角度视角域(V_FOV)：

H_FOV＝Zoom (1)

$V_{\mathrm{FOV}}=\mathrm{Zoom}\×\frac{1}{\mathrm{AspectRatio}}---\left(2\right)$

使用式3可以计算有效平移角度(θ)，

$\mathrm{\θ}=H_{\mathrm{FOV}}\×\frac{H_D}{W_{\mathrm{Videofeed}}}+\mathrm{Pan}---\left(3\right)$

其中，H_D是从视频馈送400中心到该点的水平距离(例如，用像素表示)，W_Videofeed是视频馈送的宽度(例如，用像素表示)。使用式4还可以计算有效倾斜角度

其中，V_D是从视频馈送400中心到该点的垂直距离(例如，用像素表示)，H_Videofeed是视频馈送的高度(例如，用像素表示)。

校准方法的例示性实施方式还包括将视频馈送400中选择的至少三个点从有效平移和倾斜角度转换为由笛卡尔坐标系限定的笛卡尔坐标210。在校准方法的不同的实施方式中，该有效平移和倾斜角度被转换为摄像机”笛卡尔坐标系中的单位向量，该“摄像机”笛卡尔坐标系以摄像机的位置为原点。可以使用式5、6和7将该有效平移和倾斜角度转换为笛卡尔坐标：

以这种方式，校准了视频馈送400中选择的每个点的有效平移(θ)和倾斜角度的笛卡尔坐标。

校准方法的例示性实施方式进一步包括将地图300中所选择的三个点从地理空间坐标转换为由坐标系限定的笛卡尔坐标208。可以使用一个点的地理位置(P_lat，P_lon，P_alt)和摄像机的地理位置(C_lat，C_lon，C_alt)创建该坐标系。该“地图”笛卡尔坐标系的原点被设定为该摄像机的位置。在例示性实施方式中，该坐标系的x轴指向东，y轴指向北，而z轴通常指向远离地球的方向。

可以使用式8来计算沿着x轴从摄像机到该点的距离：

X_P＝R_E×sin(P_lat-C_lat)+R_E×cos(P_lat))×(1-cos(P_lon-C_lon))×sin(C_lat) (8)

可以使用式9来计算沿着y轴从摄像机到该点的距离：

Y_P＝R_E×cos(P_lat))×sin(P_lon-C_lon)) (9)

可以使用式10来计算沿着z轴从摄像机到该点的距离：

Z_P＝-C_alt＝-P_alt (10)

在式8、9和10中，R_E是地球半长轴，其可以根据式11来计算：

R_E＝(1-K_flat)×sin²(P_lat)×R_a (11)

其中K_flat是地球平面系数，其近似为1/298.257，R_a是地球半径，其近似为6,378,137米。相应地，使用式8、9和10，该点的笛卡尔坐标是(X_P，Y_P，Z_P)，而摄像机的笛卡尔坐标是(0，0，0)。

在例示性实施方式中，从视频馈送中选择的三个点被转换为单位向量。可以使用式12、13和14来确定这些单位向量：

$u=X_P/\sqrt{X_P^2{Y}_P^2{Z}_P^2}---\left(12\right)$

$v=Y_P/\sqrt{X_P^2{Y}_P^2{Z}_P^2}---\left(13\right)$

$w=Z_P/\sqrt{X_P^2{Y}_P^2{Z}_P^2}---\left(14\right)$

相应地，从地图中选择的三个点中的每一个由“地图”笛卡尔坐标系中的单位向量(u，v，w)限定。

在上面讨论的例示性实施方式中，地图300由例如经度、纬度和高度这样的地理空间坐标来表征。然而在其他实施方式中，地图也可以由笛卡尔坐标系(在上面描述的校准过程之前)来表征，因此就不必从地理空间坐标转换为笛卡尔坐标系了。

本发明例示性实施方式进一步包括基于从地图中和视频馈送中选择的至少三对点的笛卡尔坐标来确定“地图”坐标系与“摄像机”坐标系之间的数学旋转212。该数学旋转提供了从“地图”坐标系中的点到“摄像机”坐标系中的相应点的转换。该旋转的变换提供了从“摄像机”坐标系中的点到“地图”坐标系中的相应点的转换。或者相反，该数学旋转的变换提供了从“摄像机”坐标系中的点到“地图”坐标系中的相应点的转换，而它的变换提供了从“地图”坐标系中的点到“摄像机”坐标系中的相应点的转换。根据在本发明中的使用，“旋转”一词也包括该旋转的变换。

现有技术中已知如何开发出第一笛卡尔坐标系与第二笛卡尔坐标系之间的数学旋转(及其变换)。例如，在不同的实施方式中，该数学旋转是一个四乘四矩阵，其被应用到限定了“摄像机”和“地图”坐标系中的一个中的点的单位向量。该四乘四旋转是通过开发一个原始四乘四矩阵而确定的。该原始四乘四矩阵是根据，例如，Berthold K.P.Horn在美国光学科学杂志629(1987年4月)上发表的“Closed-form Solution of AbsoluteOrientation Using Unit Quaternions”的第4节而开发的。在此通过引用Horn文章的全文将其合并进来。然后使用现有技术中已知的雅各比特征值算法来计算该原始四乘四矩阵的特征向量。特征向量的计算可以例如在William H.Press等人在“Numerical Recipes inC”(剑桥大学第二次印刷)(1992)第11.1节中讨论的那样被软件编码。在此通过引用将这本书的第11.1节合并进来。一旦特征向量被计算出来，特征向量相应的最大正特征值随着旋转矩阵被选择出来。在例示性实施方式中，该旋转矩阵被处理器保存为四元数。

本发明例示性实施方式相比许多现有系统都有优势，因为摄像机不必相对其他参考点被精确地对齐。例如，许多现有系统在安装时需要平移-缩放-倾斜摄像机与地面水平和/或与特定坐标系正确地对齐。如果没有正确地对齐，摄像机将不能准确地移动并捕获关注点。发明人通过使用第一笛卡尔坐标系与第二笛卡尔坐标系之间的数学旋转来校准摄像机而解决了这个问题。在本发明例示性实施方式中，发明人发现前面讨论的校准解决了摄像机与地面或坐标系之间任何未对准的情况。在过去，具有区域的地图的摄像机的校准没有作为可以通过使用两个笛卡尔坐标系之间的数学旋转而被解决的问题来处理，也许是因为经度-纬度坐标和平移-缩放-倾斜摄像机的运动没有对应于笛卡尔坐标系。

使用地图的摄像机控制

本发明例示性实施方式还提出了一种用于控制监视系统(如图1中示出的系统)中的摄像机的计算机实现的方法。图6示出了根据本发明一个实施方式的控制至少一个摄像机的方法600。该方法包括使用显示装置来显示区域的地图602。图7示出了根据本发明一个实施方式的户外地形的地图700。地图700由地理空间坐标，例如经度，纬度和高度来表征。该方法进一步包括允许用户使用输入装置在地图700中选择关注点604。在图6的实施方式中，输入装置是十字线702。在本发明例示性实施方式中，然后调整摄像机704的方位使得摄像机观察到该关注点。以这种方式，通过使用十字线702在地图700中简单地选择点，用户就可以控制摄像机704及其方位。因此，用户可以使用地理界面来进行自动摄像机控制。在图7的例子中，用户的关注的是贯穿地图700的公路706上的活动物体。通过在地图700中的公路706上选择一点，摄像机704自动调节它的方位到该公路，并且用户可以通过来自摄像机的视频馈送来观察公路上的活动物体。

在例示性实施方式中，一旦用户在地图上选择了点，处理器就将所选择的点的地理空间坐标转换为由坐标系限定的笛卡尔坐标606。在示例性实施方式中，使用在本申请“校准”部分中描述的式8、9、10、11、12、13和14来实现转换。因此，该点的地理空间坐标被限定为“地图”笛卡尔坐标系的单位向量。然后处理器108对所选择的点的“地图”笛卡尔坐标应用数学旋转以确定由“摄像机”笛卡尔坐标系限定的笛卡尔坐标608。“摄像机”笛卡尔坐标系由来自摄像机的视频馈送来表征，并且数学旋转(或者其变换)提供了“地图”坐标系与“摄像机”坐标系之间的变换。在例示性实施方式中，根据在本申请中“校准”部分中描述的方法来开发该数学旋转。

然后根据平移、缩放、和倾斜坐标(例如平移(θ)和倾斜)来限定所选择的点的笛卡尔坐标(例如单位向量u，v，w)610。可以使用式15和16将(由“摄像机”坐标系限定的)笛卡尔坐标转换为平移和倾斜角度：

θ＝atan²(u，v) (15)

相应地，根据摄像机的平移和倾斜角度来限定所选择的点。基于这些平移和倾斜角度，处理器可以向摄像机提供方位指令使得摄像机调整到可以观察到所选择的点，由此所选择的点的视频馈送被显示给用户612，614。

目标追踪

本发明例示性实施方式还提出了一种使用至少一个摄像机和至少一个传感器(例如图1中示出的)来追踪目标的计算机实现的方法。图8示出了根据本发明一个实施方式的追踪目标的方法800。该方法包括在处理器中从传感器接收目标的坐标802。在一些实施方式中，目标的坐标是从传感器接收的，并且这些坐标已经根据表征区域的地图的笛卡尔坐标系被进行了限定。例如，在一些实施方式中，当在该区域中安放好运动检测器时，该运动检测器在地图中的笛卡尔坐标就被确定了。因此，如果该运动检测器被拆掉，那么处理器可以假设该目标位于该运动传感器的坐标附近，并且使用由“地图”坐标系限定的传感器的坐标来确定适当的摄像机动作。然而，在其他实施方式中，从传感器接收的目标的坐标是根据地理空间坐标系来限定的。在这样的实施方式中，该地理空间坐标被转换为由“地图”坐标系限定的笛卡尔坐标804。在示例性实施方式中，使用在本申请“校准”部分中描述的式8、9、10、11、12、13和14来实现转换。以这种方式，该目标的地理空间坐标被限定为“地图”笛卡尔坐标系的单位向量(u，v，w)。

目标追踪方法还包括对该目标的“地图”笛卡尔坐标应用数学旋转(或者其变换)以确定由“摄像机”笛卡尔坐标系限定的笛卡尔坐标806。该“摄像机”坐标系限定了来自摄像机的视频馈送，并且数学旋转提供了“地图”坐标系与“摄像机”坐标系之间的变换。在例示性实施方式中，根据在本申请中“校准”部分中描述的方法来开发该数学旋转。

然后根据摄像机的平移、缩放和倾斜坐标(例如平移“θ”和倾斜)来限定该目标的笛卡尔坐标(u，v，w)808。在不同的例示性实施方式中，可以使用在本申请中“使用地图的摄像机控制”部分中描述的式15和16将笛卡尔坐标转换为平移和倾斜角度。相应地，根据摄像机的平移和倾斜角度来限定该目标。基于这些平移和倾斜角度，处理器向摄像机提供方位指令使得摄像机调整到可以观察该目标810，812。

在例示性实施方式中，处理器不断地从传感器接收坐标，并且反复地基于新的坐标来确定摄像机指令。以这种方式，当目标移动通过该区域时，处理器和摄像机自动地追踪目标。

目标追踪方法的例示性实施方式还可以显示利用传感器图标示出传感器位置的地图。此外，在其他的或可选的实施方式中，该地图使用目标图标来显示该目标在该区域中的位置。处理器可以使用传感器和/或目标的地理和/或“摄像机”笛卡尔坐标以在地图上显示它们。通过在地图上显示目标、传感器和摄像机，用户可以更好地理解目标相对于传感器和摄像机的位置。

区分摄像机的次序

本发明例示性实施方式还提出了一种用于区别来自多个摄像机(例如图1中示出的那些)的视频馈送的次序的计算机实现的方法。图9示出了根据本发明一个实施方式的对来自多个摄像机的视频馈送区分先后次序的方法900，而图10示出了根据本发明另一个实施方式的具有多个摄像机1002，1004，1006，1008的户外地形的地图1000。

该方法的例示性实施方式包括接收关注点1010的地理空间坐标902。在图10示出的实施方式中，关注点1002是用户使用显示装置和输入装置从地图1000中选择的。在其他例示性实施方式中，关注点的坐标代表目标，并且是从传感器接收的。在不同的实施方式中，一旦接收到关注点的坐标，一个或多个摄像机1002，1004，1006，1008就调整它们的方位以捕获该关注点1010。在本发明的例示性实施方式中，基于摄像机1002，1004，1006，1008与关注点1010的距离对它们赋予优先次序。

该区分方法的不同示例性实施方式包括确定关注点1010是否位于任何一个摄像机1002，1004，1006，1008的视场内904。在一些示例性实施方式中，该方法还包括确定哪个摄像机1002，1004，1006，1008可以用于观察该关注点(例如一些摄像机可能正在追踪不同的目标或者用户不允许使用某些摄像机)。

图11示出了根据本发明一个实施方式的摄像机1102的视场(view range)1100。如图11所示，摄像机1102的视场1100也可以被限定为考虑障碍物1104，1106，1108。例如，在图11中，摄像机1102的视场1100被墙1108挡住了，并且相应地出现在墙后面的区域1110从视场中省略了。相似地，房子1106也在视场1100中，因此房子后面的区域1112也从视场中省略了。

在不同的示例性实施方式中，每个摄像机的视场由用户来限定。为此，在例示性实施方式中，用户可以使用输入装置在所显示的地图中标注摄像机1102的视场1100，如图11所示。在例示性实施方式中，用户可以通过生成具有起始点和结束点的多条线段来标注摄像机的视场。然后用户闭合这些线段以形成多边形，该多边形具有由这些线段的起始点和结束点限定的顶点。这样，摄像机的视场就可以被限定为相对复杂并且不规则的区域，例如图11中示出的视场1100。在一些情况中，使用多个多边形来表示摄像机的视场可能是适合的。在不同的示例性实施方式中，多边形的顶点是根据地理空间坐标来限定的，然而，在其他实施方式中，顶点是根据“地图”笛卡尔坐标系或者甚至“摄像机”笛卡尔坐标系来限定的。

在示例性实施方式中，为了确定关注点1010是否在任何一个摄像机1002，1004，1006，1008的视场内，该方法确定该关注点是否出现在每个摄像机的多边形视场内。因此，本发明例示性实施方式使用现有技术已知的各种多边形中点(point-in-polygon)算法。在这样的算法的一个例子中，该方法假设了一条在该关注点处开始并且延续穿过该地图的水平线。如果所假设的水平线与多边形的线段相交了偶数次(例如0，2，4)，那么该关注点在多边形的外面。如果所假设的线与多边形相交了奇数次(例如1，3，5)，那么该关注点在多边形的里面。在另一个例子中，计算关注点与组成该多边形的每个顶点(或点)之间所成的角度的总和。如果该总和是360度(例如2π)，那么该关注点在多边形的内部。如果该总和是0度，那么该关注点在多边形的外部，因此也在摄像机的视场的外面。多边形中点算法的进一步细节可以参考：Paul Bourke，“Determining If a Point Lies on the Interior of aPolygon”(1987年11月)(可以在http://local.wasp.uwa.edu.au/～pbourke/geometry/insidepoly/中得到)，在此通过引用将其合并进来。

在一个示例性情况中，如果只有一个摄像机具有捕获该关注点的视场，则处理器为该摄像机提供方位指令以捕获该关注点。在另一个例子中，如果有至少两个摄像机具有捕捉该关注点的视场，则处理器确定这两个摄像机与关注点之间的距离906。如果摄像机位置和关注点都是根据笛卡尔坐标系(例如，前面讨论的“地图”笛卡尔坐标系和/或“摄像机”笛卡尔坐标系)来限定的，那么摄像机与关注点之间的距离可以根据式17来计算，

$D=\sqrt{{(X_C-X_P)}^2+{(Y_C-Y_P)}^2+{(Z_C-Z_P)}^2}---\left(17\right)$

其中，(X_C，Y_C，Z_C)是摄像机的笛卡尔坐标，(X_P，Y_P，Z_P)是关注点的笛卡尔坐标。式17在用于不需要考虑地面曲度的监视系统(例如监视系统位于建筑物上)时尤其准确。如果摄像机位置和关注点都是根据地理空间坐标系(例如纬度，经度和高度)来限定的，那么笛卡尔距离可以使用在本申请“校准”部分描述的式8、9、10和11来计算。该距离也可以使用本部分描述的式17来计算。使用式8、9、10和11的好处是它们考虑了地面曲率，并且这样为监视例如户外地形的监视系统提供了更好的准确性。计算地理空间坐标之间的距离的进一步细节可以参考：Ivan S.Ashcroft，“Projecting an Arbitrary Latitude and Longitudeonto a Tangent Plane”伯明翰青年大学(1999年1月21日)，在此通过引用将其全文合并进来。

一旦关注点与摄像机之间的距离确定下来，处理器就确定哪个摄像机与关注点距离最近908。在本发明例示性实施方式中，然后基于关注点的坐标向距离最近的摄像机提供方位指令，并且在显示装置上显示来自距离最近的摄像机的视频馈送910。

当监视系统包括多个摄像机，但仅具有有限带宽和/或只有有限数量的显示装置来显示视频馈送的时候，本发明的例示性实施方式是特别有利的。在这种情况下，本发明示例性实施方式允许该系统优化摄像机并显示来自距离关注点最近和具有最好的关注点视角的摄像机的视频馈送。

进而，本发明例示性实施方式不再依赖用户的手动控制去捕获关注点或移动物体。例如，如果目标在一个范围内走动，并且突然藏在墙后面，那么该目标可能没有落在墙前面的摄像机的视场内，但是该目标仍然落在位于墙后面的摄像机的视场内。在一些现有的系统中，用户可能需要在两个摄像机之间手动切换以捕获藏在墙后面的目标。然而本发明例示性实施方式基于摄像机的视场和到目标的距离自动区分并显示视频馈送。

视觉景锥

本发明例示性实施方式还提出了一种用于显示摄像机视觉景锥的计算机实现的方法。图12示出了根据本发明一个实施方式的显示至少一个摄像机的视觉景锥的方法1200。图13示出了根据本发明一个实施方式的视觉景锥1300和摄像机图标1302。在本发明示例性实施方式中，视觉景锥1300代表了摄像机的视场。当将视觉景锥1300应用到地图中时特别有利，因为它帮助用户理解摄像机在某个区域内的有利位置和前景。图14示出了根据本发明一个实施方式的应用到地图1404的视觉景锥1400和摄像机图标1402，1202。

在本发明例示性实施方式中，通过将视频馈送的左上、右上、左下和右下角的有效坐标变换到地图上来建立视觉景锥。图15示出了根据本发明另一个实施方式的视频馈送1500和相应的视觉景锥1502。视频馈送1500包括左上角1504、右上角1506、左下角1508和右下角1510。视觉景锥1502也包括左上角1512、右上角1514、左下角1516和右下角1518。在本发明例示性实施方式中，视觉景锥1502是通过将视频馈送1500的左上角1504、右上角1506、左下角1508和右下角1510的有效坐标变换到视觉景锥1502的左上角1512、右上角1514、左下角1516和右下角1518而建立的。基于视频馈送的有效坐标来建立视觉景锥的好处在于，当摄像机方位调整时，地图上的视觉景锥1502也发生了改变以更好地呈现摄像机的视场。

在本发明例示性实施方式中，视频馈送1500的左上角1504、右上角1506、左下角1508和右下角1510的有效坐标是根据摄像机的方位(例如摄像机的平移、缩放和倾斜坐标)来确定的。对于视频馈送1500的左上角1504、右上角1506、左下角1508和右下角1510中的每一个，计算有效平移和倾斜角度1204。为了确定这些点的有效平移和倾斜角度，使用例如在本申请的“校准”部分中描述的式1和2来确定水平角度视场(H_FOV)1520和垂直角度视场(V_FOV)1522。接下来，使用例如在本申请的“校准”部分中描述的式3和4来确定每个角1504、1506、1508和1510的有效平移和倾斜角度(θ，)。

在本发明示例性实施方式中，角1504、1506、1508和1510的有效平移和倾斜角度(θ，)被转换为由笛卡尔坐标系限定的笛卡尔坐标1206。在该方法的不同实施方式中，有效平移和倾斜角度被转换为“摄像机”笛卡尔坐标系中的单位向量(u，v，w)，该“摄像机”笛卡尔坐标系的原点位于摄像机的位置。可以使用例如在本申请的“校准”部分中描述的式5、6和7将有效平移和倾斜角度转换为笛卡尔坐标。

为了将视频馈送1502的角1504、1506、1508和1510转换为地图上的视觉景锥1500的角1512、1514、1516和1518，将数学旋转(或其变换)应用到角1504、1506、1508和1510的“摄像机”笛卡尔坐标1208。该数学旋转(或其变换)确定了由“地图”笛卡尔坐标系限定的单位向量(u，v，w)。该“地图”坐标系限定了地图，并且数学旋转提供了“摄像机”坐标系与“地图”坐标系之间的转换。在例示性实施方式中，该数学旋转是根据在本申请的“校准”部分中描述的方法而开发的。在数学旋转之后，使用式18，19和20将单位向量(u，v，w)转换为经缩放(scaled)的笛卡尔坐标：

X_P＝u×ScalingFactor (18)

Y_P＝v×ScalingFactor (19)

Z_P＝w×ScalingFactor (20)

在本发明不同的实施方式中，缩放因子可以使用式21来确定，

$\mathrm{ScalingFactor}=\left|\frac{C_{\mathrm{alt}}}{w}\right|---\left(21\right)$

其中，在不同的实施方式中，C_alt是摄像机在地面以上的高度。在本发明例示性实施方式中，使用角1504、1506、1508和1510的经缩放的“地图”笛卡尔坐标(X_P，Y_P，Z_P)来确定视觉景锥1500，然后在地图中显示该视觉景锥1210，1212。在更加特别的例示性实施方式中，如图15所示，视觉景锥是多边形，并且使用角1504、1506、1508和1510的“地图”笛卡尔坐标来限定视觉景锥1500的顶点1512、1514、1516和1518。

在本发明的另一个实施方式中，角1504、1506、1508和1510的经缩放的“地图”笛卡尔坐标(X_P，Y_P，Z_P)被转换为地理空间坐标(P_lat，P_lon，P_alt)。在不同的示例性实施方式中，可以通过使用式22和23确定经度和纬度的德耳塔值将“地图”笛卡尔坐标(X_P，Y_P，Z_P)转换为地理空间坐标(P_lat，P_lon，P_alt)，

${\mathrm{\Δ}}_{\mathrm{lat}}=\arcsin \frac{X_P}{R_{\mathrm{lon}}}---\left(22\right)$

${\mathrm{\Δ}}_{\mathrm{lon}}=\arcsin \frac{Y_P-(1-\cos \left({\mathrm{\Δ}}_{\mathrm{lat}}\right)\×\sin \left(C_{\mathrm{lat}}\right)\×R_{\mathrm{lon}})}{R_E}---\left(23\right)$

其中C_lat是已知的摄像机经度地理空间坐标，R_E可以从上面的式11中计算出来，而R_lon是未知的，但是可以作为近似等于摄像机的经度坐标“C_lon”估计出来。笛卡尔坐标转换为地理空间坐标的进一步细节可以参考：Ivan S.Ashcroft，“Projecting an ArbitraryLatitude and Longitude onto a Tangent Plane”伯明翰青年大学(1999年1月21日)。

在本发明例示性实施方式中，一旦德耳塔值“Δ_lat和Δ_lat”确定下来，就可以用它们和式24、25和26来确定角1504、1506、1508和1510的地理空间坐标(P_lat，P_lon，P_alt)，

P_lat＝C_lat+Δ_lat (24)

P_lon＝C_lon+Δ_lon (25)

P_alt＝C_alt (26)

其中(C_lat，C_lon，C_alt)是已知的摄像机的地理空间坐标。相应地，在这样的实施方式中，使用角1504、1506、1508和1510的地理空间坐标(P_lat，P_lon，P_alt)来确定视觉景锥1500，然后在地图上显示视觉景锥。在更特别的例示性实施方式中，视觉景锥是多边形，使用角1504、1506、1508和1510的地理空间坐标来限定视觉景锥1500的顶点1512、1514、1516和1518。图16示出了根据本发明一个实施方式的变换到具有四个顶点的多边形视觉景锥1602的具有四个角的视频图像1600。

在本发明进一步例示性实施方式中，以不同方式来确定视觉景锥1500的左上顶点1512和右上顶点1514。在一些情况下，当摄像机的倾斜角度(或者视频馈送的至少一个角的有效倾斜角度)在水平面以上(例如，大于0)，就不可能将这些角转换到地图上，因为至少一些角的有效倾斜角度不会与地面相交。

解决这个问题的一个例示性方法为，基于摄像机的可分辨距离来确定视觉景锥1500的左上顶点1512和右上顶点1514。可以使用摄像机的分辨率来计算可分辨距离。这样的方法是有利的，因为它更好地表示出摄像机真实的视场。在一个例示性实施方式中，显示视觉景锥1500使得在视觉景锥内的物体可以在视频馈送中被识别(例如，在可分辨距离内的物体)，而视觉景锥外的物体不能与背景区分开(例如在可分辨距离外的物体)。在一个例示性实施方式中，该可分辨距离相当于这样的距离，在这个距离中4米长的物体(近似车辆尺寸)相当于显示器上的2个像素。在一个实施方式中，使用式27来确定该可分辨距离，

$D=\left|\frac{\frac{W}{2}\×R}{\tan \left(\mathrm{\Θ}\right)}\right|---\left(27\right)$

其中W是以像素为单位表示的视频馈送的宽度，R是以每像素米为单位的摄像机的分辨率，Θ是被分为两个的水平角度视场(H_FOV)1520。在一些实施方式中，通过摄像机该视频馈送的宽度传送到处理器。在另一些例示性实施方式中，视频馈送的宽度是固定数，例如320像素。图11示出了根据本发明一个实施方式如何使用直角三角形来计算可分辨距离。然后使用计算出的可分辨距离来确定视觉景锥1500的左上顶点1512和右上顶点1514。

在一个例示性实施方式中，可分辨距离沿着视频馈送的左上角1504和右上角1506的有效平移角度(θ)来展现(project)。左上顶点1512和右上顶点1514的“地图”笛卡尔坐标(X_P，Y_P，Z_P)可以根据式28、29和30来确定，

X_P＝(sin(θ)×D)+X_C (28)

Y_P＝(cos(θ)×D)+Y_C (29)

Z_P＝Z_C (30)

其中(X_C，Y_C，Z_C)是摄像机的“地图”笛卡尔坐标。在本发明的例示性实施方式中，然后使用左上顶点1512和右上顶点1514的“地图”笛卡尔坐标(X_P，Y_P，Z_P)来确定该视觉景锥并在地图上显示该视觉景锥。在其他例示性实施方式中，这些“地图”笛卡尔坐标被转换为地理空间坐标(例如使用式22-26)，然后用于在地图上确定和显示视觉景锥。

在另一个例示性实施方式中，可分辨距离不是沿着角1504和1506的有效平移角度(θ)展现，而是沿着摄像机的平移角度(θ)向可分辨点展现。在一些实施方式中，可分辨点是视觉景锥1502的最大距离边缘的中心。图18示出了根据本发明一个实施方式的视觉景锥1800，其最大距离边缘的中心点1802作为可分辨点。可以根据式31，32和33来确定该可分辨点的“地图”笛卡尔坐标(X_R，Y_R，Z_R)：

X_R＝(sin(θ)×D)+X_C (31)

Y_R＝(cos(θ)×D)+Y_C (32)

Z_R＝Z_C (33)

然后向左和向右旋转该可分辨点(X_R，Y_R，Z_R)半个水平视场(H_FOV)1520以确定该视觉景锥的左上顶点1804和右上1806顶点的“地图”笛卡尔坐标(X_P，Y_P，Z_P)。为了处理器中计算的有效性，可以使用矩阵来旋转该可分辨点。然后可以使用左上顶点1804和右上1806顶点的“地图”笛卡尔坐标(X_P，Y_P，Z_P)来确定并在地图上显示该视觉景锥。然而，在其他例示性实施方式中，“地图”笛卡尔坐标被转换为地理空间坐标，然后被用于确定并在地图上显示该视觉景锥。

在进一步的例示性实施方式中，在本部分式28-33中讨论的展现被实施在“摄像机”笛卡尔坐标系中，然后使用数学转换(或其变换)被转换为“地图”笛卡尔坐标系。

本发明例示性实施方式并不限于使用由平移、缩放和倾斜坐标表征的摄像机(例如平移、缩放和倾斜摄像机)。例如，本发明例示性实施方式也可以用于固定摄像机或其他具有有限运动范围的摄像机。事实上，上面描述的校准和区分方法可以类似地应用于固定摄像机。另外，根据本发明例示性实施方式，固定摄像机的视觉景锥也可以随着其变焦而变化。本发明不同实施方式也可以应用于其他类型的摄像机，例如不能调整其倾斜方位的摄像机。

应该注意到，在这里使用词语，例如“系统”、“处理器”、“服务器”、“输入装置”、“显示装置”、“通信网络”以及“数据库”描述可以使用于本发明某一实施方式中的装置，但并不被解释为限制本发明于某些特定装置类型或系统，除非文中有其他要求。这样，系统可以包括，但不限于，客户端、服务器、计算机、应用或其他类型的装置。这样的装置典型地包括一个或多个用于与通信网络(例如计算机网络)通信的网络界面和配置为相应地执行装置和/或系统功能的处理器(例如，具有存储器和其他外围设备和/或应用特别硬件的微处理器)。通信网络通常可以包括公共和/或私人网络；可以包括局域、广域、都市域、存储、和/或其他类型的网络；可以使用包括，但不限于，模拟技术、数字技术、光技术、无线技术、网络技术和因特网技术的通信技术。

还应该注意到，装置可以使用通信协议和消息(例如，由系统进行消息生成、发送、接收、存储和/或处理)，可以使用通信网络或介质解释传送这样的消息。除非文中有其他要求，本发明并不限于任何特定的通信消息类型、通信消息格式或通信协议。因此，通信消息通常可以包括，但不限于帧、包、数据报、用户数据报、蜂窝单元或其他类型的通信消息。除非文中有其他要求，涉及的特定通信协议是示例性的，可以理解可选的实施方式可以使用这样的通信协议的变更(例如可以随时间而作出的协议的变化和发展)或已知的或将来发展的其他协议。

还应该注意到，在这里描述的逻辑流程示范出本发明的不同方面，但不应该解释为限制本发明于特定的逻辑流程或逻辑实现。描述的逻辑可以被分为不同的逻辑块(例如，程序、模块、界面，功能或子程序)，这样做的前提是在不改变整体结果的情况下，否则就脱离了本发明的真正范围。很多时候，逻辑元素可以被增加、改变、省略、以不同顺序执行或使用不同逻辑构造实现(例如，逻辑门、环基元、条件逻辑和其他逻辑构造)，这样做的前提是在不改变整体结果的情况下，否则就脱离了本发明的真正范围。

可以使用许多不同形式实现本发明，包括但不限于用于处理器(例如，微处理器、微控制器、数字信号处理器或通常目的的计算机)的计算机程序逻辑、用于可编程逻辑装置(例如，现场可编程门阵列(FPGA)或其他PLD)的可编程逻辑、分立元件、集成电路(例如，特定用途集成电路(ASIC))或包括任何上述的组合的任何其他方式。在本发明典型的实施方式中，所有描述的逻辑都由一系列计算机程序指令实现，这些计算机程序指令被转换为计算机可执行的形式，存储在例如计算机可读介质中，并在操作系统的控制下由微处理器执行。

可以以不同形式实现用于实现全部或部分前述功能的计算机程序逻辑，包括但不限于源代码形式、计算机可执行形式、不同媒介形式(例如由汇编器、编译器、连接器或定位器产生的形式)。源代码可以包括以不同程序语言(例如，结果代码、汇编语言、或高级语言，例如Fortran、C、C++、JAVA或HTML)实现的一系列计算机程序指令以用于不同的操作系统或操作环境。源代码可以限定并使用不同数据结构和通信消息。源代码可以以计算机可执行形式(例如，经由注释器)，或者源代码可以转换(例如，经由翻译器、汇编器或编译器)为计算机可执行形式。

计算机程序可以以任何形式(例如，源代码形式、计算机可执行形式或媒介形式)永久地或暂时地固定在有形存储介质中，例如半导体存储装置(例如，RAM、ROM、PROM、EEPROM或闪存可编程RAM)、磁性存储装置(例如，磁盘或硬盘)，光存储装置(例如CD-ROM)、PC卡(例如，PCMCIA卡)或其他存储装置。计算机程序可以以任何形式固定在可以使用任何不同通信技术传输到计算机的信号中，这些通信技术包括但不限于模拟技术、数字技术、光技术、无线技术、网络技术和因特网技术。计算机程序可以以任何形式被分配，例如具有附属印刷或电文档的可擦除存储介质(例如，收缩薄膜软件)，使用计算机系统重载(例如，在系统ROM或硬盘)，或从通信系统(例如因特网或万维网)上的服务器或电子公告板。

可以使用传统手动方法设计，或者可以使用不同的工具，例如计算机辅助设计(CAD)、硬件描述语言(例如，VHDL或AHDL)或PLD程序语言(例如，PALASM、ABEL或CUPL)来设计、捕获、模拟或电子地证明用于实现全部或部分前述功能的硬件逻辑(包括具有可编程逻辑装置的用户的可编程逻辑)。

可编程逻辑可以永久地或暂时地固定在至少一种有形存储介质中，例如半导体存储装置(例如，RAM、ROM、PROM、EEPROM或闪存可编程RAM)、磁性存储装置(例如，磁盘或硬盘)，光存储装置(例如CD-ROM)或其他存储装置。可编程逻辑可以固定在可以使用任何不同通信技术传输到计算机的信号中，这些通信技术包括但不限于模拟技术、数字技术、光技术、无线技术(例如，蓝牙)、网络技术和因特网技术。可编程逻辑可以作为具有附属印刷或电文档的可擦除存储介质(例如，收缩薄膜软件)、使用计算机系统重载(例如，在系统ROM或硬盘)或从通信系统(例如因特网或万维网)上的服务器或电子公告板被分配。当然，本发明一些实施方式可以作为软件(例如计算机程序产品)和硬件的结合来事实。本发明的其他实施方式也可以由纯硬件或纯软件实施。

以上描述的本发明的实施方式指示用作示例；许多不同和改变对于本领域技术人员来说是显而易见的。所有的这些不同和改变都在由所附的权利要求限定的本发明的范围内。

Claims (27)

1.一种对至少一个摄像机进行校准的计算机实现的方法，该系统包括至少一个摄像机，该方法包括以下步骤：

显示来自所述至少一个摄像机的视频馈送，所述至少一个摄像机具有由平移、缩放和倾斜坐标表征的方位；

显示区域的地图，该地图由地理空间坐标来表征；

允许用户使用至少一个输入装置来选择至少三对点，每一对点的第一个点是在所述地图中选择的，每一对点的第二个点是从所述视频馈送中选择的，所述第一个点和所述第二个点对应于相同的地理位置；

在计算机处理中将在所述地图中选择的至少三个点从地理空间坐标转换成由第一坐标系限定的笛卡尔坐标；

在计算机处理中将在所述视频馈送中选择的至少三个点从平移、缩放和倾斜坐标转换为由第二坐标系限定的笛卡尔坐标；

在计算机处理中基于所述至少三对点的笛卡尔坐标来确定所述第一坐标系与所述第二坐标系之间的数学旋转；

允许用户使用所述至少一个输入装置在所述地图中选择至少一个点；

在计算机处理中将所选择的点的地理空间坐标转换为由所述第一坐标系限定的笛卡尔坐标；

在计算机处理中将所述旋转应用到所选择的点的笛卡尔坐标以确定由所述第二坐标系限定的笛卡尔坐标；

在计算机处理中将由所述第二坐标系限定的笛卡尔坐标转换为所选择的点的平移和倾斜坐标；以及

基于所选择的点的平移和倾斜坐标向所述至少一个摄像机提供方位指令。

2.根据权利要求1所述的方法，其中，所述数学旋转是矩阵。

3.根据权利要求1所述的方法，该方法还包括以下步骤：

在所述地图上显示所述至少一个摄像机的位置。

4.根据权利要求1所述的方法，其中，所述地理空间坐标是纬度、经度和高度坐标。

5.根据权利要求1所述的方法，其中，所述输入装置是鼠标、光标、十字线、触摸屏以及键盘中的至少一个。

6.一种对至少一个摄像机进行校准的计算机实现的方法，该系统包括至少一个摄像机，该方法包括以下步骤：

显示来自所述至少一个摄像机的视频馈送，所述至少一个摄像机具有由平移、缩放和倾斜坐标表征的方位；

显示区域的地图，该地图由地理空间坐标来表征；

允许用户使用至少一个输入装置来选择至少三对点，每一对点的第一个点是在所述地图中选择的，每一对点的第二个点是从所述视频馈送中选择的，所述第一个点和所述第二个点对应于相同的地理位置；

在计算机处理中将在所述地图中选择的至少三个点从地理空间坐标转换成由第一坐标系限定的笛卡尔坐标；

在计算机处理中将在所述视频馈送中选择的至少三个点从平移、缩放和倾斜坐标转换为由第二坐标系限定的笛卡尔坐标；

在计算机处理中基于所述至少三对点的笛卡尔坐标来确定所述第一坐标系与所述第二坐标系之间的数学旋转；

从传感器接收至少一个目标的坐标；

如果所述至少一个目标的坐标不是由所述第一坐标系限定的笛卡尔坐标，则在计算机处理中将所述坐标转换为由所述第一坐标系限定的笛卡尔坐标；

在计算机处理中将所述旋转应用到由所述第一笛卡尔坐标系限定的笛卡尔坐标以确定由所述第二笛卡尔坐标系限定的笛卡尔坐标；

在计算机处理中将由所述第二笛卡尔坐标系限定的笛卡尔坐标转换为平移和倾斜坐标；以及

基于所述平移和倾斜坐标向所述至少一个摄像机提供方位指令。

7.根据权利要求6所述的方法，该方法还包括以下步骤：

在所述地图上显示所述传感器的位置。

8.根据权利要求6所述的方法，该方法还包括以下步骤：

在所述地图上显示所述至少一个目标的位置。

9.根据权利要求6所述的方法，其中，所述数学旋转是矩阵。

10.根据权利要求6所述的方法，该方法还包括以下步骤：

在所述地图上显示所述至少一个摄像机的位置。

11.根据权利要求6所述的方法，其中，所述地理空间坐标是纬度、经度和高度坐标。

12.根据权利要求6所述的方法，其中，所述输入装置是鼠标、光标、十字线、触摸屏以及键盘中的至少一个。

13.一种对至少一个摄像机进行校准的计算机实现的方法，该系统包括至少一个摄像机，该方法包括以下步骤：

显示来自所述至少一个摄像机的视频馈送，所述至少一个摄像机具有由平移、缩放和倾斜坐标表征的方位；

显示区域的地图，该地图由地理空间坐标来表征；

允许用户使用至少一个输入装置来选择至少三对点，每一对点的第一个点是在所述地图中选择的，每一对点的第二个点是从所述视频馈送中选择的，所述第一个点和所述第二个点对应于相同的地理位置；

在计算机处理中将在所述地图中选择的至少三个点从地理空间坐标转换成由第一坐标系限定的笛卡尔坐标；

在计算机处理中将在所述视频馈送中选择的至少三个点从平移、缩放和倾斜坐标转换为由第二坐标系限定的笛卡尔坐标；以及

在计算机处理中基于所述至少三对点的笛卡尔坐标来确定所述第一坐标系与所述第二坐标系之间的数学旋转；

其中，所述视频馈送具有左上角、右上角、左下角和右下角，该方法还包括以下步骤：

在计算机处理中基于摄像机方位的平移、缩放和倾斜坐标来确定所述视频馈送的至少所述左下角和所述右下角的有效平移和倾斜角；

在计算机处理中将所述视频馈送的至少所述左下角和所述右下角的有效平移和倾斜角转换为由所述第二坐标系限定的笛卡尔坐标；

在计算机处理中将所述旋转应用到由所述第二坐标系限定的笛卡尔坐标以确定所述视频馈送的至少所述左下角和所述右下角的由所述第一坐标系限定的笛卡尔坐标；

在计算机处理中使用所述视频馈送的至少所述左下角和所述右下角的由所述第一坐标系限定的笛卡尔坐标来确定视觉景锥；

在计算机处理中基于所述视频馈送的所述左上角和所述右上角来确定所述视觉景锥；以及

在所述地图上显示所述视觉景锥。

14.根据权利要求13所述的方法，其中，当所述摄像机的倾斜坐标低于水平线时，基于所述视频馈送的所述左上角和所述右上角来确定所述视觉景锥的步骤包括：

在计算机处理中基于摄像机方位的平移、缩放和倾斜坐标来确定所述视频馈送的左上角和右上角的有效平移；

在计算机处理中将所述视频馈送的左上角和右上角的有效平移和倾斜角转换为由所述第二坐标系限定的笛卡尔坐标；

在计算机处理中将所述数学旋转应用到所述笛卡尔坐标以确定所述视频馈送的左上角和右上角的由所述第一坐标系限定的笛卡尔坐标；以及

在计算机处理中基于所述左上角、右上角、左下角和右下角的由所述第一坐标系限定的笛卡尔坐标来确定所述视觉景锥。

15.根据权利要求14所述的方法，其中，所述视觉景锥是多边形，并且所述左上角、右上角、左下角和右下角的由所述第一坐标系限定的笛卡尔坐标是所述多边形的顶点。

16.根据权利要求13所述的方法，其中，当所述摄像机的倾斜坐标高于水平线时，基于所述视频馈送的左上角和右上角来确定所述视觉景锥的步骤包括：

在计算机处理中基于所述摄像机的平移、缩放和倾斜坐标来确定所述视频馈送的左上角和右上角的有效倾斜角；

在计算机处理中基于所述摄像机的可分辨距离来确定所述视频馈送的左上角和右上角的由所述第一坐标系限定的坐标；以及

基于所述左上角、右上角、左下角和右下角的由所述第一坐标系限定的笛卡尔坐标来确定所述视觉景锥。

17.根据权利要求16所述的方法，其中，所述视觉景锥是多边形，并且所述左上角、右上角、左下角和右下角的由所述第一坐标系限定的笛卡尔坐标是所述多边形的顶点。

18.根据权利要求13所述的方法，其中，所述数学旋转是矩阵。

19.根据权利要求13所述的方法，该方法还包括以下步骤：

在所述地图上显示所述至少一个摄像机的位置。

20.根据权利要求13所述的方法，其中，所述地理空间坐标是纬度、经度和高度坐标。

21.根据权利要求13所述的方法，其中，所述输入装置是鼠标、光标、十字线、触摸屏以及键盘中的至少一个。

22.一种对至少一个摄像机进行校准的设备，系统包括至少一个摄像机，该设备包括：

用于显示来自所述至少一个摄像机的视频馈送的装置，所述至少一个摄像机具有由平移、缩放和倾斜坐标表征的方位；

用于显示区域的地图的装置，该地图由地理空间坐标来表征；

用于允许用户使用至少一个输入装置来选择至少三对点的装置，每一对点的第一个点是在由地理空间坐标表征的地图中选择的，并且每一对点的第二个点是从来自所述至少一个摄像机的视频馈送中选择的，所述第一个点和所述第二个点对应于相同的地理位置；

用于将在所述地图中选择的至少三个点从地理空间坐标转换成由第一坐标系限定的笛卡尔坐标的装置；

用于将在所述视频馈送中选择的至少三个点从平移、缩放和倾斜坐标转换为由第二坐标系限定的笛卡尔坐标的装置；

用于基于所述至少三对点的笛卡尔坐标来确定所述第一坐标系与所述第二坐标系之间的数学旋转的装置；

用于允许用户使用所述至少一个输入装置在所述地图中选择至少一个点的装置；

用于将所选择的点的地理空间坐标转换为由所述第一坐标系限定的笛卡尔坐标的装置；

用于将所述旋转应用到所选择的点的笛卡尔坐标以确定由所述第二坐标系限定的笛卡尔坐标的装置；

用于将由所述第二坐标系限定的笛卡尔坐标转换为所选择的点的平移和倾斜坐标的装置；以及

用于基于所选择的点的平移和倾斜坐标向所述至少一个摄像机提供方位指令的装置。

23.一种对至少一个摄像机进行校准的设备，系统包括至少一个摄像机，该设备包括：

用于显示来自所述至少一个摄像机的视频馈送的装置，所述至少一个摄像机具有由平移、缩放和倾斜坐标表征的方位；

用于显示区域的地图的装置，该地图由地理空间坐标来表征；

用于允许用户使用至少一个输入装置来选择至少三对点的装置，每一对点的第一个点是在由地理空间坐标表征的地图中选择的，并且每一对点的第二个点是从来自所述至少一个摄像机的视频馈送中选择的，所述第一个点和所述第二个点对应于相同的地理位置；

用于将在所述地图中选择的至少三个点从地理空间坐标转换成由第一坐标系限定的笛卡尔坐标的装置；

用于将在所述视频馈送中选择的至少三个点从平移、缩放和倾斜坐标转换为由第二坐标系限定的笛卡尔坐标的装置；

用于基于所述至少三对点的笛卡尔坐标来确定所述第一坐标系与所述第二坐标系之间的数学旋转的装置；

用于从传感器接收至少一个目标的坐标的装置；

用于在所述至少一个目标的坐标不是由所述第一坐标系限定的笛卡尔坐标的情况下将所述坐标转换为由所述第一坐标系限定的笛卡尔坐标的装置；

用于将所述旋转应用到由所述第一笛卡尔坐标系限定的笛卡尔坐标以确定由所述第二笛卡尔坐标系限定的笛卡尔坐标的装置；

用于将由所述第二笛卡尔坐标系限定的笛卡尔坐标转换为平移和倾斜坐标的装置；以及

用于基于所述平移和倾斜坐标向所述至少一个摄像机提供方位指令的装置。

24.一种对至少一个摄像机进行校准的设备，系统包括至少一个摄像机，该设备包括：

用于显示来自所述至少一个摄像机的视频馈送的装置，所述至少一个摄像机具有由平移、缩放和倾斜坐标表征的方位；

用于显示区域的地图的装置，该地图由地理空间坐标来表征；

用于允许用户使用至少一个输入装置来选择至少三对点的装置，每一对点的第一个点是在由地理空间坐标表征的地图中选择的，并且每一对点的第二个点是从来自所述至少一个摄像机的视频馈送中选择的，所述第一个点和所述第二个点对应于相同的地理位置；

用于将在所述地图中选择的至少三个点从地理空间坐标转换成由第一坐标系限定的笛卡尔坐标的装置；

用于将在所述视频馈送中选择的至少三个点从平移、缩放和倾斜坐标转换为由第二坐标系限定的笛卡尔坐标的装置；

用于基于所述至少三对点的笛卡尔坐标来确定所述第一坐标系与所述第二坐标系之间的数学旋转的装置；

用于基于所述摄像机方位的平移、缩放和倾斜坐标来确定所述视频馈送的至少左下角和右下角的有效平移和倾斜角的装置；

用于将所述视频馈送的至少所述左下角和所述右下角的有效平移和倾斜角转换为由所述第二坐标系限定的笛卡尔坐标的装置；

用于将所述旋转应用到由所述第二坐标系限定的笛卡尔坐标以确定所述视频馈送的至少所述左下角和所述右下角的由所述第一坐标系限定的笛卡尔坐标的装置；

用于使用所述视频馈送的至少所述左下角和所述右下角的由所述第一坐标系限定的笛卡尔坐标来确定视觉景锥的装置；

用于基于所述视频馈送的所述左上角和所述右上角来确定所述视觉景锥的装置；以及

用于在所述地图上显示所述视觉景锥的装置。

25.一种用于控制至少一个摄像机的校准系统，该校准系统包括：

处理器；以及

存储有可由该处理器执行以执行处理的指令的存储器，该处理包括：

显示区域的地图；

确定关注点的笛卡尔坐标，所述笛卡尔坐标是由表征所述地图的第一坐标系限定的；

对所述关注点的笛卡尔坐标应用数学旋转以确定由第二坐标系限定的笛卡尔坐标，所述第二坐标系表征了来自所述至少一个摄像机的视频馈送，所述数学旋转提供了所述第一坐标系与所述第二坐标系之间的转换；

将由所述第二坐标系限定的笛卡尔坐标转换为所述关注点的至少平移和倾斜坐标；

基于所述关注点的至少所述平移和倾斜坐标向所述至少一个摄像机提供方位指令；以及

显示来自所述至少一个摄像机的视频馈送。

26.根据权利要求25所述的校准系统，其中，所述处理还包括：

允许用户使用至少一个输入装置在所述地图上选择所述关注点。

27.根据权利要求25所述的校准系统，其中，所述关注点是从传感器接收的。