具体实施方式
如这里使用的,以单数陈述并用词语“一(a)”或“一(an)”表示的元件或步骤应该理解为不排除多个元件或步骤,除非明确地陈述了这样的排除。此外,提及本发明的“一个实施例”并不意欲解释为排除也合并了所陈述的特征的附加实施例的存在。
图1是根据本发明实施例的示范视频监控系统100的示意图。视频监控系统100包括控制面板102、显示监视器104、以及摇摄、俯仰和变焦(PTZ)组件105。典型地,摄像机106被收容在具有圆顶110的围绕物108中,用于保护摄像机106免受摄像机106所位于的环境的影响。在一个实施例中,圆顶110被着色以允许摄像机106获取在围绕物108外部的环境的图像,并同时防止在摄像机106所观察的环境中的个人确定摄像机106的取向。在各种替换实施例中,圆顶110不被着色。在示范实施例中,摄像机106包括围绕垂直轴112进行摇摄、围绕水平轴114进行俯仰、并控制镜头组件116以使摄像机106变焦的能力。例如,PTZ组件105包括摇摄马达和编码器113以及俯仰马达和编码器115。所述编码器确定摇摄和俯仰马达的角位置,并生成用于变焦设置的位置信号,以确定视野的面积。摄像机106的摇摄移动用箭头118表示,摄像机106的俯仰移动用箭头120表示,并且摄像机106的镜头组件116的焦距的改变(即,变焦)用箭头122表示。如参考坐标系统124所示出的,摇摄运动可沿x轴跟踪移动,俯仰运动可沿y轴跟踪移动,并且焦距调整可用于沿z轴跟踪移动。通过控制数据线126从控制面板102传送表示用以控制这种能力的命令的信号。通过视频数据线130而将图像数据信号从摄像机106传送到显示监视器104和存储装置128。
镜头组件116对地点132的区域进行取景,该地点可远离控制面板102,并且处于视野134中和沿着镜头组件116的取景轴136。摄像机106将地点132的图像转换为传送到显示监视器104的电子视频信号。
在示范实施例中,控制面板102包括用以生成摇摄和俯仰命令的X-Y控制操纵杆140。多个摇杆式(rocker-type)开关142用于控制镜头组件116的变焦144、聚焦146、和光圈(iris)148。在替换实施例中,操纵杆140包括用于控制摄像机106的变焦的螺旋致动(twist actuation)。操纵杆140还可合并触发器和/或按钮,以便有助于操作与系统100相关联的各种控制。控制面板102还包括用于键入数字和值的数字小键盘150。在替换实施例中,控制面板102可包括用于键入文本以及数字的按字母顺序的或字母数字的小键盘(未示出)。控制面板102还包括可被编程为运行宏的多个预置开关152,所述宏自动地控制摄像机106和/或镜头组件116的动作。多个按钮154可用于例如预定的控制功能和/或用户定义的功能,例如多摄像机视频监控系统中的摄像机选择。显示器156可用于显示视频监控系统100的状态,或可用于显示与所选择的摄像机相关联的参数。
在示范实施例中,视频监控系统100是单个摄像机应用,然而,本发明的各种实施例可在具有附加摄像机的更大监控系统中使用,附加摄像机可以是固定的或可移动的摄像机或其一些组合,以便提供更大或更复杂的监控区域的覆盖范围。在替换实施例中,一个或多个视频记录器(未示出)连接到控制面板32,以提供由系统100中的摄像机13或其它摄像机所捕获的视频图像的记录。
图2是(图1所示的)视频监控系统100的替换实施例的示意性平面图。视频监控系统200是系统100的扩展版本,其包括在监控区域212周围间隔开的多个视频摄像机202、204、206、208和210。使用与图1中使用的相同的附图标记,在图2中标识与系统100(图1中所示)的器件等同的系统200中的器件。在系统200中可包括更多或更少的摄像机。
系统200包括用于控制系统200的器件和用户所位于的控制室214。每个摄像机通信耦接到控制面板102和显示监视器104。在示范实施例中,虽然任何商业、住宅、或工业设施都可由系统200监视,但是监控区域212用仓库代表。在示范实施例中,监控区域212包括用于定义监控区域212的内部的周界的壁216、和将内部划分为多个室220的壁218。诸如棚架单元222的其它遮断物(obstruction)典型地被呈现为遮断摄像机106、202、204、206、208和210的视野的至少一部分。
在操作期间,当每个摄像机的空间坐标(X,Y,Z)已知并且校准每个摄像机的覆盖范围时,改善网络中的多个视频摄像机的性能。这样的信息用于多个摄像机来独立地从不同的角度定位相同的目标。在示范实施例中,多个摄像机的校准在两个阶段执行,即粗略瞄准(rough training)阶段和细化(refinement)阶段。
对模拟目标224执行摄像机网络的粗略瞄准。在示范实施例中,目标224包括包括一串球体,其拥有对环境唯一的特性,诸如目标224的形状、尺寸、颜色和图案。每个球体的尺寸在直径上大约为两英尺。目标224的示范实施例具有如下属性:当摄像机指向目标时,从目标的观察点看的摄像机的角度可以从来自摄像机的图像导出。这个角度被称为目标对摄像机的角度,并包括更多地已知为方位角和仰角的垂直和水平分量。
目标224位于网络中的任意一个摄像机(在这个示例中,是处于预定正常目标距离228处的摄像机106)的视界区域(area of view)226中。用于定位目标224的命令被传送到摄像机106,并且摄像机106运行对视界区域226的搜索,直到它找到候选目标。该搜索是在从摄像机106接收视频信号时运行的预先编程的或动态的摇摄、俯仰、和/或变焦命令集合。将视频信号与在存储器中存储的目标特性作比较,当比较结果满足预定的阈值标准时,将所标识的物体标记为目标候选者,并且继续搜索直到完成。每个摄像机可具有预定的已存储的搜索命令集合,所述搜索命令可由用户、或者通过用于帮助搜索优化的学习算法、或者通过操作员的协助来选择。该搜索可通过运行已编程的摇摄、俯仰、和/或变焦命令集合的末尾来完成,或者可以在任意时间来完成,诸如一个或多个目标候选者已经被标识时。目标224的获取通过在视界区域226附近移动目标224来确认。如果摄像机106已经获取目标224,则当目标224在视界区域226附近移动时,摄像机106保持指向目标224。当确认了参考目标的获取时,摄像机106向网络中的至少一个其它摄像机传送目标224的特性,诸如目标224的形状、尺寸、颜色和图案。
在对摄像机106完成了粗略瞄准之后,向系统100中的所有摄像机发送用于校准网络的命令。每个视频摄像机202、204、206、208和210运行命令来搜索相应的视界区域内的目标224。目标224被重新定位在监控区域212附近,从而当目标224通过每个视频摄像机202、204、206、208和210的视界区域时,每个摄像机检测并识别目标224。每个视频摄像机202、204、206、208和210的目标对摄像机角度、摇摄、俯仰和变焦参数被传送到网络中每个其它视频摄像机。在各种实施例中,目标对摄像机角度、摇摄、俯仰和变焦参数被实时地连续传送到每个其它视频摄像机。如这里使用的,实时指的是在影响结果的输入中的改变之后的非常短时间段中发生的结果。所述时间段可以是在规则地重复的任务的每一反复之间的时间量。这样的重复的任务被称为周期性任务。所述时间段是实时系统的设计参数,其可基于结果的重要性和/或实现输入的处理以生成结果的系统的能力来选择,或者可以是在包括该系统的器件中固有的延迟。在其它实施例中,目标对摄像机角度、摇摄、俯仰和变焦参数被周期性地传送到每个其它视频摄像机。向每个其它视频摄像机传送每个摄像机的摇摄、俯仰和变焦参数使每个视频摄像机能够确定到用于定位目标224的点的方向。
空间网格定位过程的细化阶段不需要目标224,并且由系统100使用摄像机网络自动执行。从粗略瞄准阶段开始,每个摄像机近似地确定其相对于网络中的每个其它摄像机在空间网格中的地点。能够获取目标224的两个或多个摄像机同时登记来自不同角度的图像,以进一步细化位置数据。变焦因数反复地增加,并且进一步使图像相关以细化相对位置数据。在一对摄像机已经将两个物体定位在它们的视野中之后,可以确定摄像机之间的距离和相对角度。针对能够同时定位目标224的所有摄像机组合,来继续所述摄像机对的校准。然后,使用约束映射将摄像机之间的距离的值合成为网格。所述网格示出了放置摄像机的地方,并粗略地示出了每个摄像机的覆盖区域。参考通过空间网格定位过程创建的数据库,以允许多个摄像机自动地定位并对在所覆盖的区域内的目标进行取景。
图3是0°方位角、5°仰角取向的目标224(图2中所示)的示范实施例的透视图。图4是45°方位角、5°仰角取向的目标224(图3中所示)的示范实施例的又一透视图。图5是0°方位角、90°仰角取向的目标224(图3中所示)的示范实施例的又一透视图。图6是45°方位角、90°仰角取向的目标224(图3中所示)的示范实施例的又一透视图。
图7是(图1所示的)摄像机106的示范实施例的示意性框图。处理器310从软件或固件接收已编程的指令,从存储器308接收数据,并使用所述数据和指令来执行各种操作。处理器310可包括:算术逻辑单元(ALU),其执行算术和逻辑运算;以及控制单元,其在必要时调用ALU,从存储器308提取指令,并对指令进行解码和运行该指令。存储器308一般包括随机存取存储器(RAM)和只读存储器(ROM),然而,可以存在其它类型的存储器,诸如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM)。此外,存储器308可包括在处理器310上运行的操作系统。操作系统执行基本任务,包括识别输入、发送输出到输出装置、保持跟踪文件和目录、并控制各种外围装置。
图像组件213将通过镜头组件116接收的光转换为代表视野134的图像的电信号。该电信号通过处理器310被传送到监视器104或存储装置128。这里使用的术语处理器指的是中央处理单元、微处理器、微控制器、精简指令集电路(RISC)、特定用途集成电路(ASIC)、逻辑电路、和能够运行这里描述的功能的任何其它电路或处理器。存储器308可包括用于预置的宏指令的存储单元,其可使用所述多个预置开关142之一来访问。
如这里使用的,术语“软件”和“固件”是可互换的,并包括在存储器中存储的、由处理器310运行的任何计算机程序,所述存储器包括RAM存储器、ROM存储器、EPROM存储器、EEPROM存储器和非易失性RAM(NVRAM)存储器。上面的存储器类型仅仅是示例,并因此不是对可用于计算机程序的存储的存储器类型的限制。
在各种实施例中,处理器310和存储器308被定位在摄像机106外部,诸如定位在控制面板102中、或PC中、或者能够执行这里描述的功能的其它独立或大型机计算机系统中。
图8是确定每个摄像机的空间坐标(X,Y和Z)并校准摄像机网络中的每个摄像机的覆盖范围的示范方法400的流程图。这样的信息用于多个摄像机独立地从不同角度定位相同的目标。在示范实施例中,多个摄像机的校准在两个阶段执行,即粗略瞄准阶段和细化阶段。
对模拟目标224执行摄像机网络的粗略瞄准402。在示范实施例中,目标224是一串圆形物体,其拥有对环境唯一的特性,诸如形状、尺寸、颜色和图案。模拟目标具有可以估计从摄像机到该目标的角度的属性。这个角度具有更多地公知为方位角和仰角的垂直和水平分量。
目标224被定位404在网络中的任意一个摄像机(在这个示例中是处于预定正常目标距离228处的摄像机106)的视界区域226中。用于定位目标224的命令被传送到摄像机106,并且摄像机106运行406对视界区域226的搜索,直到它找到候选目标。该搜索是在从摄像机106接收视频信号时运行的已编程的摇摄、俯仰、和/或变焦命令集合。将视频信号与在存储器中存储的目标特性作比较408,当比较结果满足410预定的阈值标准时,将所标识的物体标记为目标候选者,并且继续412搜索直到完成。每个摄像机可具有预定的已存储的搜索命令集合,所述搜索命令可由用户、或者通过用于帮助搜索优化的学习算法来选择。该搜索可通过运行已编程的摇摄、俯仰、和/或变焦命令集合的末尾来完成,或者可以在诸如一个或多个目标候选者已经被标识的任意时间来完成。目标224的获取通过在视界区域226附近移动目标224来确认414。如果摄像机106已经获取目标224,则当目标224在视界区域226附近移动时,摄像机106保持指向目标224。当确认了参考目标的获取时,摄像机106向网络中的至少一个其它摄像机传送416目标224的特性,诸如目标224的形状、尺寸、颜色、图案和移动速度。
在对摄像机106完成了瞄准之后,向系统100中的所有摄像机传送418用于校准网络的命令。每个视频摄像机202、204、206、208和210运行命令来搜索420相应的视界区域内的目标224。目标224被重新定位422在监控区域212附近,从而当目标224通过每个视频摄像机202、204、206、208和210的视界区域时,每个摄像机检测并识别424目标224。每个视频摄像机202、204、206、208和210的摇摄、俯仰和变焦参数被传送426到网络中的每个其它视频摄像机。在各种实施例中,摇摄、俯仰和变焦参数被实时地连续传送到每个其它视频摄像机。如这里使用的,实时指的是在影响结果的输入中的改变之后的非常短时间段中发生的结果。所述时间段可以是在规则重复的任务的每一反复之间的时间量。这样的重复的任务被称为周期性任务。所述时间段是实时系统的设计参数,其可基于结果的重要性和/或实现输入的处理以生成结果的系统的能力来选择,或者可以是在包括该系统的器件中固有的延迟。在其它实施例中,摇摄、俯仰和变焦参数被周期性地传送到每个其它视频摄像机。向每个其它视频摄像机传送每个摄像机的摇摄、俯仰和变焦参数使每个视频摄像机能够确定428到用于定位目标224的点的方向。它还使每个视频摄像机能够传送目标224的速度,这有助于目标224的获取。
空间网格定位过程的细化阶段不需要目标224,并且由系统100使用摄像机网络自动执行430。从粗略瞄准阶段开始,每个摄像机近似地确定其相对于网络中的每个其它摄像机在空间网格中的方位。能够获取目标224的两个或多个摄像机同时登记432不同角度的图像,以进一步细化位置数据。变焦因数反复地增加434,并且进一步使图像相关以细化相对位置数据。在一对摄像机已经将两个物体定位436在它们的视野中之后,确定它们之间的距离。针对能够同时定位目标224的所有摄像机组合来继续438摄像机对的校准。然后,使用约束映射将摄像机之间的距离和角度的值合成440为网格。所述网格图示了442每个摄像机的摄像机位置和大致的覆盖区域。参考通过空间网格定位过程创建的数据库允许多个摄像机自动地定位444并对在覆盖区域内的目标进行取景。
尽管这里描述的实施例已经结合视频监控系统进行了论述,但是要理解的是,这里描述的用于定位空间网格中的多个组件的位置的方法可用于其它机械和电学机械系统。
视频监控系统的上述实施例提供了用于使操作者能够利用一个摄像机定位目标并自动地利用所有其它可用摄像机来定位相同目标的有成本效益的且可靠的手段。
上面详细描述了视频监控系统和设备的示范实施例。所图示的视频监控系统器件不限于这里描述的特定实施例,而是相反,每个系统的器件都可以与这里描述的其它器件独立地和分开地使用。例如,上面描述的视频监控系统器件还可以与不同的视频监控系统器件结合来使用。
这里描述的系统和方法的各种实施例的技术效果包括:通过使用目标识别来校准多个摄像机,使得它们在系统中的相对位置已知,并且识别出目标的每个摄像机向其它摄像机传送诸如目标位置的目标特性,从而使视频监控系统的操作变容易。
尽管已经根据各种特定实施例描述了本发明,但是本领域的技术人员将识别出,本发明可以利用在权利要求的精神和范围内的修改来实践。