CN105704437A - 集成的相机感知和无线传感器系统 - Google Patents

Abstract

提供了集成的相机感知和无线传感器系统。提供了一种监控系统，包括互联网使能的（IP）相机和确定多个传感器的位置的节点，节点无线连接到IP相机。节点通过使用包括多点定位、三边测量和三角测量的定位确定技术来确定多个传感器和IP相机的定位。此外，视线定位方法和全球定位系统设备可以在设置定位感知系统中使用，其使得IP相机能够基于条件信息和定位感知控制系统。

Description

集成的相机感知和无线传感器系统

技术领域

本发明涉及集成的相机感知和无线传感器系统。

背景技术

本发明涉及使用互联网协议相机和传感器网络的视频监控。

发明内容

在一个实施例中，本发明提供了一种监控系统，包括视频相机和多个传感器。传感器无线连接到视频相机。每一个传感器被配置成传送和接收条件信息。视频相机通过使用局部定位测量来确定每一个传感器相对于彼此的位置，使得每一个传感器的位置创建用于视频相机的定位信息。包括处理器和存储器的控制器被配置成操作视频相机以捕获视频、从多个传感器接收条件信息，并且基于定位信息和条件信息激活外部系统。

在另一实施例中，本发明提供了一种监控方法，包括从多个传感器向视频相机传送条件信息。视频相机使用局部定位测量确定每一个传感器相对于视频相机的位置，使得每一个传感器的位置创建用于视频相机的定位信息。视频相机被配置成基于定位信息和条件信息激活外部系统。

本发明的其它方面将通过考虑详细描述和附图变得清楚。

附图说明

图1是图示了包括互联网协议相机的监控系统的框图。

图2是图示了图1的互联网协议相机的组件的框图。

图3是图示了用于图1的传感器网络的定位布置的示例的框图。

图4是图示了执行用于图1的监控系统的定位感知的方法的流程图。

图5是图示了通过图3的传感器网络响应于事件的方法的流程图。

图6是图示了基于定位感知从IP相机到图1的IP相机的目标追踪的切换的框图。

图7是图示了图1的IP相机的增加视场的框图。

图8是图示了基于周界交叉获得目标的图1的IP相机的框图。

图9是图示了基于运动检测器的定位获得目标的图1的IP相机的框图。

图10是图示了从图1的IP相机到安装在无人机上的相机的目标追踪的切换的框图。

图11是图示了图1的监控系统的应用的框图。

图12是图示了用于利用图1的IP相机追踪传感器的技术的框图。

图13是图1的图形用户接口的图示。

图14是图1的图形用户接口的另一实施例的图示。

具体实施方式

在详细解释本发明的任何实施例之前，要理解到的是，本发明在其应用中不受限于以下描述中阐述的或在附图中图示的组件的构造和布置的细节。本发明能够具有其它实施例并且能够以各种方式实践或实施。

应当指出的是，多个基于硬件和软件的设备以及多个不同的结构组件可以用于实现本发明。此外，应当理解的是，本发明的实施例可以包括硬件、软件和电子组件或模块，其出于讨论的目的而可以被图示和描述为就像是大部分组件单独实现在硬件中。然而，本领域普通技术人员并且基于该详细描述的阅读将认识到，在至少一个实施例中，本发明的基于电子的方面可以实现在由一个或多个处理器可执行的软件中（例如存储在非暂时性计算机可读介质上）。照此，应当指出的是，多个基于硬件和软件的设备以及多个不同的结构组件可以用于实现本发明。例如，在说明书中描述的“控制单元”和“控制器”可以包括一个或多个处理器、包括非暂时性计算机可读介质的一个或多个存储器模块、一个或多个输入/输出接口以及连接组件的各种连接（例如系统总线）。

传统的相机系统在其对其周围环境的感知方面受相机的视场限制。视场可能受观看角度、观看范围和聚焦相机的能力所限制。若干相机设计试图克服这些限制。例如，鱼眼透镜相机可以提供360°的观看角度。然而，360°覆盖导致相机图像的逼真度的降低。试图克服这些限制的另一设计使用平移、变焦和倾斜（PTZ）相机来移动和聚焦在感兴趣的点上。然而，PTZ相机不检测在当前视场之外的感兴趣的目标或点。作为结果，相机实现的软件用于补偿有限的视场。然而，软件受相机的视场供给的数据限制。此外，环境效应可能影响相机的视场并且使软件不正确地对环境效应起反应。这阻碍对象检测软件精确地评价情形的能力。软件还受从环境效应导致的视场中的减小的限制。

另外的限制源于将控制和调节功能内部合并在相机内。集中在相机中的架构受系统的物理能力限制。例如，局部化架构限制所捕获的视频数据的存储，限制相机编程到现场设置，并且限制对局部重编程的配置改变。有利地，本文所提供的视频监控系统的架构使用无线传感器网络而分散。

图1图示了包括IP相机100的视频监控系统50。系统50还包括包含多个传感器110的传感器网络105。IP相机100与系统通信并且被配置成协调系统。IP相机100连接到第二网络115。第二网络115可以是广域网（WAN），诸如互联网。第二网络115连接到具有其上显示图形用户接口（GUI）124的显示器122的客户端设备120。第二网络115在图1中称为“配置网络”，因为除其它事物之外，可以基于通过设备120的GUI124做出的用户输入实现系统50的某些组件的配置，如以下更加详细解释的。IP相机100被配置成处理经由传感器网络105从传感器110接收的条件信息。此外，IP相机100被配置成经由传感器网络105向传感器110发送控制信息。在一个构造中，IP相机100包括平移、变焦和倾斜（PZT）功能。在其它实施例中，IP相机100是静止的。IP相机100可以设计成感测不同的电磁频谱，包括例如可见光、红外、微波、雷达等。

取决于监控系统50的应用，传感器110可以采取许多形式。可以使用包括视频相机、静止图像相机、红外相机和光传感器的光学传感器。此外，可以使用烟雾、火灾、温度、毒性（例如有毒气体）、空气质量、振动、声音、辐射、运动、接近度、枪击检测、语音识别和其它类型的传感器。在其它构造中，传感器110被设计成监视人或动物的健康。健康监视可以包括各种生理功能的个性化监视传感器110。每一个传感器110传送条件信息，条件信息包括表示其感测到的现象的信息和表示传感器的健康的信息。在一些情况中，每一个传感器110提供诸如视频之类的条件信息的连续流。在其它情况中，传感器提供“警报”消息，其可以例如表示特定条件的存在，例如所感测到的超过预确定的阈值的运动。

条件信息可以包括困境状态或错误状态（例如传感器内的内部故障）和/或通信故障（例如网络通信中的故障、QoS等）。传感器110包括用于无线通信的天线，例如射频（RF）通信。传感器110向传感器网络105和IP相机100传送具有条件信息的唯一传感器标识符。IP相机100向传感器110传送回控制信息。再次取决于传感器110的类型，控制信息包括启用/禁用传感器110、校准传感器110、更新传感器110的固件、控制传感器110的定位等的信息或命令。IP相机100使用条件信息来控制外部系统130和134（在图1中示意性地示出），包括例如灯开关、汽笛、记录设备、警报、阀门控制器、负载控制器和负载开关。可替换地，在其它实施例中，一个传感器100被配置成协调系统。在这样的系统中，一个传感器100接收条件信息并且控制外部系统130和134。

传感器110、传感器网络105和IP相机100的集成提供了如相比于现有的视频健康系统的数个增强的能力。例如，由IP相机100获得的视频信息通过来自传感器100的条件信息来补充。附加的信息通过为视频监控系统提供IP相机100的当前视场之外的信息来增加视频监控系统的功能。由于IP相机100被配置成确定传感器110的定位，因此视频监控系统可以基于定位信息来定位和追踪目标。

图2更加详细地图示了图1的IP相机100。控制器200被电气连接并且配置成与IP相机100的各种模块或组件通信。例如，控制器200连接到无线集线器205、数据库210和网络通信模块215。控制器200包括除其它事物之外可操作于控制IP相机100的操作；控制平移、变焦和倾斜功能；控制、校准和重配置传感器110；重配置IP相机100；和控制数据库210的硬件和软件的组合。在一些构造中，IP相机100直接可配置并且不要求通过第二网络115的访问以配置IP相机100。在一些构造中，IP相机100不包含数据库210。控制器200可以位于IP相机100内或在IP相机100外部。在一些实施例中，控制器200包括多个分离的控制器。在该情况中，多个控制器拆分用于监控系统50的控制功能。例如，相机控制器可以控制IP相机100并且定位控制器可以控制监控系统50的定位感知，如以下进一步描述的。定位控制器可以位于一个传感器110内、IP相机100内或在独立模块中。

在一些实施例中，控制器200包括多个电气和电子组件，其向控制器200和/或IP相机100内的组件和模块提供电力、操作控制和保护。例如，除其它事物之外，控制器200包括处理单元220（例如微处理器、微控制器或另一合适的可编程设备）、存储器225和输入/输出模块230。处理单元220、存储器225和输入/输出模块230以及连接到控制器200的各种模块通过一个或多个控制和/或数据总线连接。在一些实施例中，控制器200部分或全部实现在半导体（例如现场可编程门阵列[“FPGA”]半导体）芯片上，诸如通过寄存器传输级（“RTL”）设计过程开发的芯片。

存储器225包括例如程序存储区域和数据存储区域。程序存储区域和数据存储区域可以包括不同类型的存储器的组合，诸如例如只读存储器（“ROM”）或随机存取存储器（“RAM”）。处理单元220连接到存储器225并且执行能够存储在存储器225的RAM中（例如在执行期间）、存储器225的ROM（例如一般在永久的基础上）或诸如另一存储器或盘之类的非暂时性计算机可读介质中的软件指令。包括在IP相机100的实现中的软件可以存储在控制器200的存储器225中。存储器225被配置成存储条件信息并且按照信息类型和按照接收其的时间对条件信息分类。软件包括例如固件、一个或多个应用、程序数据、滤波器、规则、一个或多个程序模块和其他可执行指令。除其它事物之外，控制器200被配置成从存储器225检索和执行涉及本文所描述的控制过程和方法的指令。在其它构造中，控制器200包括附加的、较少的或不同的组件。

电源向控制器200或IP相机100的其它组件或模块供给标称AC或DC电压。电源还被配置成供给较低电压以操作控制器200或IP相机100内的电路和组件。在其它构造中，控制器200或IP相机100内的其它组件和模块由一个或多个电池或电池组或另一电网独立电源（例如发电机、太阳能面板等）供电。可替换地，控制器200可以通过第二网络115接收电力。第二网络可以包括例如以太网供电（PoE）系统。

网络通信模块215被配置成连接到第二网络115并且通过第二网络115通信。在一些实施例中，网络是例如广域网（“WAN”）（例如基于TCP/IP的网络或蜂窝网络）。在一些构造中，IP相机100被配置有在IP相机100外部的网络通信模块215。网络通信模块215包括IP服务器，其提供允许从连接到互联网的任何计算机访问IP相机100的网页地址。在其它构造中，网络通信模块215位于IP相机100外部并且可通信耦合到IP相机100。此外，网络集线器205可以位于IP相机100内部或者位于IP相机100外部。除其它事物之外，无线集线器205包括微控制器、存储器和RF天线。

传感器网络105是例如采用诸如Wi-Fi、蓝牙、ZigBee等之类的任何各种通信协议的局域网（“LAN”）、邻域网（“NAN”）、家庭域网（“HAN”）或个域网（“PAN”）。通过传感器网络105的通信可以使用一个或多个加密技术来保护，诸如例如用于基于端口的网络安全性的IEEE802.1标准中提供的那些技术。传感器网络105可以操作在网格配置中或星形配置中。

第二网络115通过网络通信模块215连接。连接可以包括例如有线连接、无线连接或无线和有线连接的组合。类似地，控制器200和配置网络或网络通信模块215之间的连接是有线连接、无线连接或无线和有线连接的组合。在一些实施例中，控制器200或网络通信模块215包括一个或多个通信端口（例如以太网、串行高级技术附连[“SATA”]、通用串行总线[“USB”]、集成驱动电子器件[“IDE”]等）以用于递送、接收和存储与IP相机100或IP相机100的操作相关联的数据。

客户端设备120用于控制或监视IP相机100和传感器110。例如，客户端设备120操作耦合到控制器200以控制IP相机100的定位、IP相机100的滚动、IP相机100的配置等。客户端设备120包括实现IP相机100和传感器110的控制和监视的期望水平所要求的数字和模拟输入或输出设备的组合。例如，客户端设备120包括显示器120和输入设备。客户算设备120还可以被配置成实时或大体实时地显示与IP相机100或传感器110相关联的条件或数据。例如，客户端设备120被配置成显示IP相机100的视频流、IP相机100和传感器110的状态、来自传感器110的条件信息和定位信息以及IP相机100的定位信息。在一些构造中，客户端设备120结合一个或多个指示器（例如LED、扬声器等）来控制以提供IP相机100或传感器110的状态或条件的视觉或听觉指示。

图3中的图图示了由图1的传感器网络105、传感器110和IP相机100提供的定位感知系统。定位感知意味着IP相机100知晓每一个传感器110相对于自身的位置（即距离和方向）。定位感知作为包括坐标的列表或角度和距离的列表的定位信息存储在存储器225中。每一个传感器110充当用于确定传感器网络105的定位的节点。例如，传感器360被配置成向传感器网络105传送RF消息。消息包括传送诸如例如消息的开始、地址、条件信息、传感器360静止还是移动、消息时间、最后的位置确定的时间和消息的结束之类的信息的帧和分组。在传感器360的范围中的每一个传感器110接收所传送的消息并且可以基于消息执行动作，诸如重复到传感器网络的消息（并且因此有效地增加传感器360的范围）或执行定时计算以确定传感器360的定位。例如，传感器365、传感器370和传感器375在传感器360的广播范围中。然而，传感器380和IP相机100不在该范围内。传感器365、370和375从传感器360重传消息使得其被传感器380和IP相机100接收。

监控系统50利用多点定位、三边测量或三角测量技术或这些技术的组合来确定每一个传感器110的定位。在多点定位中，使用RF信号并且计算从经同步的传送器发送的信号的到达时间来执行距离测量。例如，传感器360、传感器365、传感器370和传感器375是时间同步的并且向IP相机100传送信号。IP相机100测量来自传感器360、365、370和375的信号的到达的时间差。基于到达时间中的差异，控制器200确定传感器360、365、370和375的定位。在其它实施例中，IP相机100与传感器360、365、370和375时间同步，因而允许利用较少信息计算定位。在一些实施例中，一个或多个传感器110提供条件信息而不需要定位确定。

监控系统50还可以包括软件和硬件以在确定传感器110的位置中执行三边测量技术。例如，IP相机100、第二IP相机390和第三IP相机395可以包括可以测量RF信号从传感器360到每一个IP相机100、390、395的入射角度（即到达角度）的方向发现天线。在一个实施例中，IP相机100和传感器360是时间同步的。在该情况中，控制器200使用RF信号的飞行时间或到达时间来确定IP相机100与传感器360之间的距离。在其它实施例中，IP相机100和传感器360不是时间同步的。在这些情况中，其它手段用于确定IP相机100与传感器360之间的距离。例如，IP相机100可以测量所接收到的RF信号的功率水平并且确定所接收到的信号强度指示符（RSSI）。如由IP相机100接收的RF信号的功率水平可以用于确定从传感器360到IP相机100的相对距离，因为RF信号的功率水平将随距离而减小。一旦确定入射角度和距离，确定传感器360相对于IP相机100、390和395中的每一个的位置。

监控系统50还可以包括软件和硬件以执行使用IP相机100的相机图像的入射角度测量。例如，传感器375可以包括定位在IP相机100的视场范围内的发光二极管（LED）378。LED378在IP相机平移和/或倾斜搜索LED378时由IP相机100控制接通和关断。一旦检测到LED378，IP相机100从IP相机100的参考原点确定方位和高度角并且将方位和高度角存储在存储器225中。第二IP相机100还可以利用包括LED378的视场来定位。第二IP相机390还可以从参考原点确定LED378的方位和高度角。IP相机100还可以配备有罗盘395以帮助确定LED378的方位角。在该情况中，关于磁北测量方位角。可以使用如以上所描述的技术来发现IP相机100与传感器375之间的距离。相反，可以基于由IP相机100、390中的每一个上的GPS定位器启用的GPS位置确定IP相机100与IP相机390之间的距离。IP相机100使用IP相机100、390之间的距离和入射角来确定LED378的定位并且因此确定传感器375的定位。

为了说明，节点A、B和C表示传感器110，如以下所示。控制器200能够使用三角测量来确定B与C之间的距离，一旦角度beta和alpha已知，如以下所图示的。

在一些实施例中，LED方法允许控制器200确定角度α和β并且因而确定A、B和C的方向。控制器200使用三边测量来测量来自A、B和C的RF信号的RSSI或到达时间。因此利用三角测量和三边测量，IP相机100将知晓到每一个节点A、B和C的距离和方向二者。应当指出的是，使用三边测量自身将提供角度和距离，如果节点A、B和C都测量RSSI的话（即A到C的RSSI、B到C的RSSI、B到A的RSSI、C到A的RSSI、A到B的RSSI和C到B的RSSI）。从RSSI值，一个节点（例如A）可以计算节点A、B和C之间的所有角度。

多点定位、三边测量和三角测量的技术可以基于监控系统50的特定需要在各种组合中执行。例如，IP相机100可以使用传感器360上的LED来确定到传感器360的方向并且使用多点定位来确定到传感器360的距离，因而确定定位。类似地，三边测量可以确定从IP相机100到传感器360的方向并且多点定位可以确定距离。因而多点定位、三边测量和三角测量的各种组合可以用于通过首先确定到每一个传感器110的方向或距离来确定传感器110的定位。取决于特定应用中所使用的技术的组合，监控系统50可以实现关于两个或更多设备（例如传感器360和IP相机100）的定位感知。当附加传感器110或IP相机100、390、395被添加到监控系统50时，定位感知可以变得更精确，因为IP相机100执行附加位置确定。这些技术可以组合以创建监控系统50中的冗余。此外，使得如控制器200确定的定位感知更加鲁棒，因为其缓解了针对室内/室外环境的潜在多路径问题。

在一些实施例中，IP相机100配备有GPS位置设备396。这启用IP相机100地理定位自身的能力，并且基于定位信息，地理定位传感器110。传感器110还可以配备有GPS位置设备396。GPS位置设备396可以用于确定传感器360的定位，如果控制器200未能检测传感器360的定位的话。检测传感器360的定位的失败可能发生，因为传感器360不在适当数目的传感器110的范围中以获取定位信息。传感器360中的GPS设备396还可以用于地理定位IP相机100或其它传感器110。

监控系统50的定位感知可以在监控系统50的初始化时、在周期性的基础上或者在由一个传感器110检测的事件（例如运动检测或玻璃碎裂）的发生时确定。图4图示了在系统初始化时确定针对监控系统50的定位感知的方法的实施例的流程图。方法在IP相机100或传感器110的安装之后开始。方法可以在传感器110或IP相机100中的一个或多个通电时触发。可替换地，方法可以周期性地执行，例如按照编程调度。在IP相机100和传感器110通电时，系统初始化（步骤302）。传感器360向传感器网络105传送消息（步骤304）。传感器360的范围中的传感器110和IP相机100接收消息（步骤306）。传感器110和IP相机100计算自身与传感器360之间的距离（步骤308）。传感器110向IP相机100传送距离消息（步骤312）。重复步骤304至312直到每一个传感器110都已经计算了到其它传感器110的距离（步骤314）。当每一个传感器110已经计算了到其它传感器的距离并且向IP相机100传送了距离消息时，IP相机基于距离消息和如果可得到的话距IP相机100的距离确定每一个传感器110的定位（步骤316）。IP相机100将定位信息存储在存储器225或数据库210中（步骤318）。当传感器110检测到事件时，IP相机100参照定位信息以确定事件的位置（步骤322）。

图5图示了当发生感兴趣的事件并且激活外部系统时确定传感器360的定位的方法的流程图。当传感器360检测到事件时（步骤360），传感器360向传感器网络105传送消息（步骤334）。在传感器360的范围中的传感器110和IP相机100接收消息（步骤336）。传感器110和IP相机100计算自身与传感器360之间的距离（步骤338）。传感器110向IP相机100传送距离消息（步骤342）。IP相机100基于距离消息和如果可得到的话所计算的距IP相机100的距离确定每一个传感器110的定位（步骤344）。IP相机100如果在范围中，基于传感器的位置将其视场定位在事件的所确定的位置上，并且基于条件信息和位置信息激活外部系统（步骤318）。

如果传感器360检测到事件，IP相机100可以通过参考储存器225中的传感器360的位置来定位事件。例如，在警报系统中，传感器360可以包括检测指示警报条件的移动的运动传感器。当来自传感器360的条件信息（例如所感测到的运动）到达IP相机100时，IP相机100被配置成将其视场定位到传感器360的位置。然后，IP相机100可以确认警报条件并且通过第二网络115或传感器网络105传送警报信号。传感器110被配置成检测各种事件，诸如例如运动检测、玻璃碎裂、违反生物阈值、违反放射学阈值、音频警报、违反声纳传感器阈值等。

IP相机100被配置成使用多个传感器110来定位事件。例如，如果在传感器375与传感器380之间发生事件，IP相机100基于来自传感器375和传感器380的条件信息和定位感知系统中的传感器375和传感器380的位置确定事件定位。如果事件触发传感器375，则触发传感器380，可以通过将IP相机100的视场定位在传感器375和传感器380的范围相交所在的位置处来确定事件的位置。

监控系统50的另一特征是利用IP相机100和传感器110追踪目标的能力，如图6的图所示。在该实施例中，IP相机100、次级相机450、传感器410和传感器420协调以追踪目标405。传感器410在目标405进入到次级相机450的视场465中之前检测目标405的运动。传感器410被配置成使用目标405的速度、目标405与自身之间的距离、目标405的矢量或目标405的方位来追踪目标。次级相机450从传感器410接收包含该信息的条件信息。次级相机450传送从IP相机100接收定位信息的请求。IP相机从传感器410接收条件信息（或者如果超范围则通过中继器）和针对定位信息的请求。IP相机100通过传感器网络105向次级相机450传送定位信息。次级相机450基于定位信息确定目标405相对于自身的定位。次级相机450确定目标405从哪个方向或角度逼近和何时目标将进入次级相机450的视场。次级相机450相应地调节其视场465并且使用内部控制追踪目标。

当目标405前进时，次级相机450通过定位其视场465使得目标405保持在视场465的中心来追踪目标405。IP相机100从次级相机450接收条件信息并且确定目标405的定位。当目标405逼近次级相机450的视场465的边缘时，IP相机100利用其视场460定位在次级相机450的视场465的边缘。这允许目标405到IP相机100的追踪的平滑切换。目标追踪可以扩展到多于两个相机使得目标405通过多个相机来追踪。

在可替换的实施例中，IP相机在感兴趣的事件发生之前广播传感器110的定位信息。传感器110和次级相机450接收定位信息并且将定位信息存储在存储器中。在发生事件时，诸如目标405进入传感器410的范围，次级相机450和传感器410执行目标追踪和目标450的切换而没有从IP相机100接收定位信息的居间步骤。

传感器420可以帮助次级相机450与IP相机100之间的切换。当目标405到达次级相机450的视场465的边缘并且进入传感器420的范围时，传感器420追踪目标405。IP相机100使用定位信息来基于来自传感器420的条件信息确定目标405的定位。IP相机100基于传感器420所提供的信息定位其视场460。该功能可以向监控系统50提供冗余并且可以为监控系统50提供追踪相机的视场之间的目标的能力。

另一实施例改进夜晚的监控，如图7中所示。IP相机100通过来自运动传感器510的基于传感器网络105的条件信息控制光控制器520。当目标505进入运动传感器510的范围时，运动传感器510向IP相机100传送条件信息，因而警示IP相机100目标505的存在。IP相机100发信号通知光控制器520以激活灯。在夜晚，IP相机100的视场565是有限的。通过激活灯，扩展视场560，并且因而允许IP相机100在没有灯的情况下追踪视场565外部的目标505。

在又一实施例中，光眼（photoeye）传感器610检测与感兴趣的点交叉的目标605，如图8中所示。光眼传感器610传送指示目标605存在的条件信息。IP相机100基于光眼传感器610的定位信息而平移、变焦和倾斜以在其视场中获得目标605。IP相机100然后能够追踪目标605。这允许监视位置的低成本方法。一旦光眼传感器被安装，监控系统50自动确定其定位而不要求附加编程。

在类似的实施例中，IP相机100经由GUI120实时编程以获取穿戴特定颜色的目标。例如，在图9中，IP相机100被配置成检测和追踪穿戴红色衬衫的目标705。IP相机100重配置传感器710、颜色传感器或相机以检测红色。当穿戴红色衬衫的目标705进入传感器710的视场时，传感器710向IP相机100传送指示检测到颜色红色的条件信息。IP相机100基于定位信息平移、变焦和倾斜以在IP相机100的视场765中获得目标705。

图10图示了其中通过沿围栏线的多个相机和传感器获得和追踪目标805的实施例。当目标805逼近围栏线时，接近度传感器810感测到目标805在视场860内。接近度传感器810向IP相机传送指示目标805已经被检测到的条件信息。IP相机100基于接近度传感器810的定位信息平移、变焦和倾斜以在IP相机100的视场865中获得目标805。IP相机100通过将视场865维持在目标805上来追踪目标805。当目标805靠近视场865的边缘时，IP相机100向自动无人机880传送目标805的条件信息和定位信息。自动无人机880然后利用其自身的传感器追踪目标805。例如，自动无人机880包括具有追踪能力的视频相机。当目标805沿围栏线移动时，传感器820、830检测到目标805。传感器820、830向IP相机100和自动无人机880传送条件信息，并且IP相机继续传送定位信息。这为自动无人机880提供目标805的更新的条件信息和定位信息以增强自动无人机的追踪能力。因此，连续更新的条件信息和定位信息通过提供关于目标805的精确信息来允许从相机到相机和传感器到传感器的平滑过渡。在一些实施例中，IP相机100包括用于自动无人机880的控制器并且向自动无人机880传送控制信号。IP相机100可以被配置成基于包括目标805靠近IP相机100的视场865的边缘的事件的发生而派遣自动无人机880。

在又一实施例中，IP相机100提供用于采矿操作的监控，如图11中所示。使用监控系统50的定位感知，IP相机100提供传感器、相机和人员之间的协调。例如，为矿工提供生物测量传感器910并且为采矿装备提供传感器920。IP相机100在存储器225中存储每一个传感器910、920、930、935、940的定位信息。IP相机100通过传感器网络105无线连接到各种安全传感器，例如可燃气体传感器930、有毒气体传感器935和辐射传感器940。该实施例以及其它实施例包括附加传感器以测量诸如二氧化碳水平、一氧化碳水平、氧气水平、温度、化学水平、声音水平等之类的条件。当传感器910、920改变位置时，IP相机100连续更新存储器225中的定位信息。如果检测到危险条件，IP相机100从定位信息确定危险的定位并且激活外部系统130。IP相机100可以被配置成用声音发出撤退警报、激活或去激活通风系统、关闭装备等。在该实施例（和具有移动传感器的其它实施例）中，IP相机100从传感器910、920接收到具有条件信息的快速、周期性消息。IP相机100在接收到每一个快速、周期性消息时确定定位信息。如果IP相机100确定矿工已经进入不正确的位置，IP相机100可以激活外部系统130，诸如用声音发出警告或者通过无线设备通知指定人员。生物测量传感器910向IP相机传送包括生物测量信息的条件信息。如果超过生物测量阈值，IP相机100向医疗人员传送无线通知。

图11中的实施例可以扩展到其它产业以提供安全和保障。例如，监控系统50可以部署在石油钻井上以监视各种条件。在该实施例中，传感器110监视诸如刮风、逼近的风暴、下雨等之类的天气条件。如果存在危险条件，IP相机100警告人员。IP相机100还可以基于天气条件的类型激活外部系统130。生物测量传感器910可以指示工人是否正在经历安全水平以上的生理条件或指示工人已经进入到不安全的位置中。例如，来自生物测量传感器910的信号可以指示工人从石油钻井跌落并且进入到水中。IP相机100激活诸如人员落水警告之类的外部系统130。其它传感器110提供来自石油钻井平台的结构完整性或振动信息。IP相机100与这些传感器110通信并且可以派遣无人机到传感器110的位置以获取难以访问或危险位置的视频。

图12图示了使用定位感知来追踪人员的另一实施例。人员1010配备有传感器1020，其与IP相机100通信。IP相机100通过使用以上描述的多点定位、三边测量和三角测量中的至少一个来确定传感器1020的位置。基于传感器1020距IP相机的距离和角度，IP相机100利用平移、变焦和倾斜功能追踪传感器1020并且不要求IP相机100中的视频识别和追踪软件。类似地，具有传感器1021的人员1011可以被无人机1080追踪。在该示例中，无人机1080通过使用多点定位、三边测量和三角测量技术中的至少一个确定传感器1021的位置。一旦知晓传感器1021相对于无人机1080的定位，无人机能够追踪传感器1021而不要求无人机1080中的视频识别和追踪软件。无人机1080可以编程为维持距传感器1021的设定距离或设定高度。

图13图示了客户端设备120上的显示器122的一个实施例。显示器122包括GUI124，其允许用户打开和关闭显示器122上的窗口。显示器122被配置成显示包括来自空中无人机相机1110的视频馈送1105、来自警察背心相机1120的视频馈送1115和来自街道视图相机1130的视频馈送1125的来自各种源的信息。此外，客户端设备120被配置成显示地图1135，除其它事物之外，地图1135指示空中无人机相机1110、警察背心相机1115和街道视图相机1120的位置。视频馈送1105、1115、1125通过控制器200路由并且经由第二网络115发送到客户端设备120。视频馈送1105、1115、1125可以包括实时视频或存储在控制器200中的视频。显示器122可配置成如用户所期望的显示视频馈送1105、1115、1125中的一个或多个并且重设计所显示的视频馈送1105、1115、1125的大小。

图14图示了地图1120的详细视图。地图1120显示空中无人机相机1110、警察背心相机1115和街道视图相机1120的位置连同运动传感器1245和声纳传感器1255的位置。显示对应于每一个传感器和/或相机的传感器状态。对应于空中无人机（配备有空中无人机相机1110）的传感器状态1215包括例如位置、时间、传感器类型、电池状态、方向、空速、高度、航向、温度、相机状态、分析量、目标追踪状态和空中无人机的（多个）马达状态。对应于警察背心相机1115的传感器状态1225显示例如位置、时间、传感器类型、电池寿命、GPS、心率和氧气水平。对应于街道视图相机1120的传感器状态1235包括例如位置（例如GPS坐标）、时间、传感器类型、卫星船位（satellitefix）数目、mag航向、相机图像链路、分析量、目标追踪指示符、警报指示符、高度和温度。运动传感器1245和声纳传感器1255显示类似的信息，诸如例如位置、时间、传感器类型、传感器状态、电池水平、温度、警报等。

因此，除其它事物之外，本发明提供了一种包括无线连接到传感器的IP相机的监控系统。IP相机使用局部定位技术确定每一个传感器的定位。在以下权利要求中阐述本发明的各种特征和优点。

Claims (21)

1.一种监控系统，包括：

产生编码视频的视频相机；

无线连接到相机的多个传感器，多个传感器中的每一个输出条件信息；

包括处理器和存储器的控制器，被配置成

从多个传感器接收条件信息，

使用局部定位测量确定多个传感器中的每一个传感器相对于视频相机的位置，使得多个传感器中的每一个的位置创建用于视频相机的定位感知，并且

基于定位感知和条件信息激活外部系统。

2.权利要求1的系统，其中视频相机被配置成通过使用选自多点定位、三边测量和三角测量的组中的至少一个来定位多个传感器中的每一个。

3.权利要求1的系统，其中控制器还被配置成基于定位感知和条件信息确定事件位置。

4.权利要求1的系统，还包括

包括图形用户接口（GUI）的客户端设备，客户端设备被配置成与控制器通信，

其中控制器还被配置成

从GUI接收指令，

基于从GUI接收的指令配置多个传感器，

基于从GUI接收的指令配置相机，

向GUI传送条件信息，

基于指令确定事件的优先级水平，以及

基于优先级水平激活外部系统。

5.权利要求1的系统，其中视频包括元数据并且控制器还被配置成在元数据中插入条件信息，使得条件信息与视频时间同步。

6.权利要求1的系统，其中控制器还被配置成

基于条件信息和视频确定来自环境条件的干扰的存在，以及

基于来自环境条件的干扰的存在抑制外部系统的激活。

7.权利要求1的系统，其中控制器还被配置成基于定位感知将条件信息和定位信息存储在相机的存储器中，并且其中条件信息当存储到存储器中时按照条件信息的类型和按照发生时间分类。

8.权利要求1的系统，

其中控制器还被配置成

利用视频相机使用视频追踪目标，

从次级相机接收条件信息，

向次级相机传送控制信息，以及

基于定位感知向次级相机传送定位信息，使得次级相机能够定位目标。

9.权利要求1的系统，其中外部系统包括选自灯开关、汽笛、记录设备、警报、阀门控制器、负载控制器、温度控制器、门锁和负载开关的组中的至少一个。

10.权利要求8的系统，其中次级相机位于无人机上。

11.一种监控方法，包括：

从多个传感器向视频相机无线传送条件信息；

操作视频相机以捕获视频；

使用局部定位测量确定多个传感器中的每一个传感器的位置，使得多个传感器中的每一个的位置创建用于视频相机的定位感知；以及

基于定位感知和条件信息激活外部系统。

12.权利要求11的方法，其中确定每一个传感器的位置包括使用选自多点定位、三边测量和三角测量的组中的至少一个。

13.权利要求11的方法，还包括基于定位感知和条件信息确定事件位置。

14.权利要求11的方法，还包括

使用图形用户接口（GUI）与视频相机通信；

从GUI配置多个传感器；

从GUI配置视频相机；

经由GUI调度多个传感器以在所调度的时间发送条件信息；以及

向GUI传送条件信息。

15.权利要求11的方法，还包括：

以元数据的形式将条件信息插入到视频中，

使条件信息与视频时间同步，以及

将条件信息和元数据存储在存储器中。

16.权利要求11的方法，还包括：

基于条件信息确定来自环境条件的干扰的存在，以及

基于来自环境条件的干扰的存在抑制外部系统的激活。

17.权利要求14的方法，还包括：

从GUI向视频相机传送指令，

基于指令确定事件的优先级水平，以及

基于优先级水平激活外部系统。

18.权利要求11的方法，还包括：

将条件信息存储在视频相机的存储器内，以及

按照信息的类型和按照发生时间对条件信息分类。

19.权利要求14的方法，其中激活外部系统包括来自操作开关、用声音发出汽笛声、记录条件信息、激活警报、操作阀门控制器、操作负载控制器、调节温度控制器和激活门锁的组中的至少一个。

20.权利要求11的方法，还包括：

通过视频相机基于条件信息和定位感知获得目标；

使用视频追踪目标；

使用多个传感器中的传感器追踪目标，使得当目标经过而离开视频相机的视场并且进入传感器的范围中时目标被连续追踪。

21.权利要求1的系统，其中控制器还被配置成基于视频相机所检测到的环境条件向多个传感器传送控制信息。