CN104702967B - 虚拟视频巡检系统与其组件 - Google Patents

Abstract

用于提供虚拟视频巡检功能的一种系统与相应的组件，包括多个传感器单元与监控站。传感器单元优选地被设置在这样的构造以致物理上相邻的传感器单元具有重叠的视野。每个传感器单元优选地被配置为基于事件的检测而生成和传输警报到监控站。监控站可请求来自特定地址的传感器单元以及具有与该特定地址的传感器单元重叠的视野的附加的传感器单元的视频请求。从传感器单元请求的的视频数据可采用拼接算法而被处理和合并。在监控站的用户输入设备和显示器允许合并的视频图像的虚拟平移。传感器单元优选地被实施为与街灯照明光源相合并的街灯传感器单元。

Description

虚拟视频巡检系统与其组件

技术领域与背景技术

本发明涉及信息技术和方法，特别是涉及捕获视频数据以致便于实时虚拟视频巡检的系统以及相应的传感器单元。

众所周知，从一个角度平移到另一个角度的虚拟图像是可能的，例如由谷歌地图街景所示。然而，以这种技术实现的这些图像是静态的，也是相当过时的。此外，根据现有技术，在将一个采样图像观察点传输到下一个观察点的过程中，没有人尝试获得任何保真度水平的图像，通常会导致在该传输过程中发生用户空间意识的损失。

在本地事件发生场所的环境中，例如在运动场，已经有人建议，基于来自多个视频照相机的数据来提供一种从一个观察区域到另一个观察区域的虚拟视频平移效果(Dasher等人的US 2012/0098925)。然而，这种虚拟视频平移是基于来自所有视频照相机的视频流的同时和连续上载，这样表现的方法对于在大区域系统进行实施是不切实际的。

因此，有需求开发一种系统和相应的组件以提供虚拟视频巡检功能。

发明内容

本发明是用于提供虚拟视频巡检功能的一种系统的相应的组件。

根据本发明的具体实施方式的教导，这里提供了一种街灯与传感器单元，包括：(a)光源，设置用于照明第一区域；(b)图像传感器，用于从具有与所述第一区域至少部分重叠的视野中捕获视频数据；(c)数据处理单元，与所述图像传感器所关联，所述数据处理单元包括至少一个处理器与数据存储介质；(d)通信子系统，关联于所述数据处理单元，并被配置用于在有线或无线网络上传输和接收数据，所述通信子系统具有关联的标识符；其中，所述数据处理单元是被配置为驱动所述通信子系统以致：(i)无限期地保持低带宽模式，在该模式中没有视频数据被传输，且所述通信子系统监控视频数据请求；以及(ii)选择地接收与所述关联的标识符有关的视频数据请求，传输来自所述图像传感器的视频数据。

根据本发明的一个具体实施方式的进一步特征，所述数据处理单元还被配置为：(a)处理来自所述图像传感器的所述视频数据，以监控在述视野中发生的事件；以及(b)基于识别在所述视野中发生的事件是否满足至少一个警报标准，驱动所述通信子系统在有线或无线网络上传输警报通知，同时保持所述低带宽模式。

根据本发明的一个具体实施方式的进一步特征，所述街灯与传感器单元是与电源线相连接的，所述通信子系统是被配置用于通过所述电源线传输和接收数据。

根据本发明的一个具体实施方式，这里还提供了一种系统，包括：(a)多个街灯和传感器单元，每个所述街灯和传感器单元是根据权利要求1所述的；其中，所述多个街灯和传感器单元是被设置为这样的间隔关系以致所述视野提供场景的连续覆盖；以及(b)监控站，包括：(i)通信模块，与所述通信子系统网络连接；(ii)数据处理系统，包括至少一个处理器与数据存储介质，所述数据处理系统是与所述通信模块相关联的；以及(iii)图形用户界面，与所述数据处理系统相关联，所述图形用户界面包括显示器以及至少一个用户输入设备；其中，所述监控站是响应于输入，通过所述至少一个用户输入设备进行所述输入以传输视频请求，所述视频请求是被定址到第一所述街灯和传感器单元以及第二所述街灯和传感器单元，所述第二街灯和传感器单元具有与所述第一街灯和传感器单元重叠的视野；以及所述通信模块是被配置为接收与所述视频请求相关联的视频数据，所述视频数据是在所述有线或无线网络上被传输到所述第一街灯和传感器单元以及所述第二街灯和传感器单元；以及所述数据处理系统是被配置为从所述视频数据中生成通过所述图形用户界面来显示的拼接的视频图像。

根据本发明的一个具体实施方式的进一步特征，所述街灯和传感器单元是被设置在细长的阵列中。

根据本发明的一个具体实施方式的进一步特征，所述图形用户界面是响应于输入，通过所述至少一个用户输入设备进行所述输入以从所述选择的街灯和传感器单元改变为物理上定位邻近于所述选择的街灯和传感器单元的其中一个所述的街灯和传感器单元。

根据本发明的一个具体实施方式的进一步特征，所述数据处理单元还被配置为：(a)处理来自所述图像传感器的所述视频数据，以监控在所述视野中发生的事件；以及(b)基于识别在所述视野中发生的事件是否满足至少一个警报标准，驱动所述通信子系统在有线或无线网络上传输警报通知，同时保持所述低带宽模式。

根据本发明的一个具体实施方式的进一步特征，所述通信模块还被配置为接收来自在所述有线或无线网络上物理定位的警报通知；以及所述图形用户界面是被配置为从已经接收到的所述警报通知中生成对所述物理定位的指示的显示。

根据本发明的一个具体实施方式的进一步特征，所述街灯和传感器单元还被配置为执行追踪运动目标的处理；以及所述至少一个警报标准包括违反了至少一个预定规则的目标的运动。

根据本发明的一个具体实施方式的进一步特征，所述街灯和传感器单元是与电源线相连接的，所述通信子系统是被配置用于通过所述电源线传输和接收数据。

根据本发明的一个具体实施方式的进一步特征，所述电源线是连接到多相电源；以及每个所述街灯和传感器单元是独立地连接到所述多相电源的至少一个相。

根据本发明的一个具体实施方式的进一步特征，所述图像传感器是被配置为通过红外成像法从所述视野中捕获视频数据。

根据本发明的一个具体实施方式的进一步特征，所述图像传感器是被配置为通过微波成像法从所述视野中捕获视频数据。

根据本发明的一个具体实施方式的进一步特征，所述街灯和传感器单元还包括用于捕获音频数据的音频传感器。

根据本发明的一个具体实施方式的进一步特征，所述监控站是响应于输入，通过所述至少一个用户输入设备进行所述输入以传输音频请求，所述音频请求是被定址到选择的其中一个所述街灯和传感器单元；以及每个所述街灯和传感器单元是响应于相应定址的音频请求以将音频数据传输到所述监控站。

根据本发明的一个具体实施方式的进一步特征，所述街灯和传感器单元还包括扬声器系统，被配置为播放音频数据。

根据本发明的一个具体实施方式的进一步特征，所述监控站还包括：(a)音频传感器，用于捕获音频数据；以及(b)扬声器系统，被配置为播放音频数据。

根据本发明的一个具体实施方式的进一步特征，所述街灯和传感器单元以及所述监控站具有音频互相通信。

根据本发明的一个具体实施方式，这里还提供了一种监控站，包括：(a)通信模块，被配置为用于在有线或无线网络上传输和接收数据；(b)数据处理系统，包括至少一个处理器与数据存储介质，所述数据处理系统是与所述通信模块相关联的；(c)图形用户界面，与所述数据处理系统相关联，所述图形用户界面包括显示器和至少一个用户输入设备；其中，所述监控站是响应于输入，通过所述至少一个用户输入设备进行所述输入以在所述有线或无线网络上传输视频请求到多个地址；以及所述通信模块是还被配置为接收与所述视频请求相关联的视频数据，所述视频数据是在所述有线或无线网络上被传输到所述多个地址；以及所述数据处理系统是被配置为从所述视频数据中生成通过所述图形用户界面来显示的拼接的视频图像。

根据本发明的一个具体实施方式的进一步特征，所述通信模块还被配置为接收来自在所述有线或无线网络上物理定位的警报通知；以及所述图形用户界面是被配置为从已经接收到的所述警报通知中生成对所述物理定位的指示的显示。

根据本发明的一个具体实施方式的进一步特征，所述监控站是与电源线相连接的，所述通信模块是被配置用于通过所述电源线传输和接收数据。

根据本发明的一个具体实施方式，这里还提供了一种街灯和传感器单元，包括：(a)光源，设置用于照明第一区域；以及(b)传感器单元，包括：(i)图像传感器，用于从具有与所述第一区域至少部分重叠的视野中捕获视频数据；(ii)数据处理单元，与所述图像传感器所关联，所述数据处理单元包括至少一个处理器与数据存储介质；其中，所述数据处理单元是被配置为调节所述光源的亮度水平；以及所述传感器单元是被配置为将视频数据记录到所述数据存储介质；所述光源与所述传感器单元是位于共同的壳体内。

术语

以下术语是根据它们的平常含义而被用于本申请，它们为在相关领域中的技术人员所熟知。然而，为了进一步澄清鉴于本申请的主题，给出以下解释、阐述和范例来说明这些属于是如何被使用或者应用在这里。需要明确的是，下面的解释、阐述和范例都仅被视为示例或者代表，而不应被视为排除或者限制。相反，下面所讨论的术语将被尽可能宽泛地解释，结合它们的普通含义和下面的讨论来解释。

视频拼接——术语“视频拼接”是指结合两个或多个具有重叠视野的视频图像以生成具有有效视野重叠超过一个源视频图像的视野的单一视频图像的方法。这个方法优选地包括：采用几何变换(图像变形)以至少部分校正在重叠区域或者接近重叠区域的图像数据之间的由于照相机光学和观察方向的差异导致的错配。该方法可包括：存储和升级对于每个视频图像的基线图像像素，基于基线图像像素在每个个别的视频图像上执行坐标变换，确定视频图像的重叠区域，执行对于视频图像的重叠区域的变形校正，以及过滤视频图像以增强最终视频图像质量。视频拼接可由在指定硬件、软件或硬件与软件的结合中的算法来完成。需要注意的是，这里所采用的术语“拼接”是指合并图像的方法的执行，而不必需是用于确定需要什么转换的方法。在视频图像传感器是处于固定的位置的例子中，在校准过程中通常足够一次决定或间断地决定什么转换是需要的以获得有效的视频拼接。该校准过程可基于关于照相机位置和/或光学特性的在先数据来采用初始估计。所需要的转换与重叠区域的最终确定是通常由图像处理技术来获得的，例如，应用特征匹配，这是本领域所熟知的。

拼接的视频图像——术语“拼接的视频图像”是指从上述的“视频拼接”方法导致的视频图像。

这里所采用的术语“图像传感器”、“视频传感器”和“照相机”是可替换使用的，它们是指任意和所有图像传感器，能采样一系列图像来生成视频输出。该传感器可以是单色的或彩色的传感器，可以是对可见光敏感的和/或对非可见波长的光敏感的，也可以是多光谱的。而且，非光学成像传感器技术可被这样应用，例如，微波或其他三维表面绘图技术，最终数据呈现为一系列用于显示的图像。根据任意这样的技术所述的传感器在这里是指生成“视频数据”的“视频传感器”。

附图说明

本发明在这里仅通过实施例结合所附的附图进行说明，其中：

图1显示了根据本发明的一个具体实施方式所述的一系列街灯传感器与监控站通信的方块示意图。

图2A-2B显示了根据本发明所述的用于捕获和传输视频数据的方法。

图3显示了根据本发明所述的用于请求、接收和将视频数据流拼接在一起的方法。

图4显示了街灯传感器单元在细长阵列中的布置。

图5A-5B和图6A-6B显示了用户虚拟平移通过视频数据的方法。

图5C显示了街灯传感器单元被配置为通过电源线与三相电源通信的操作。

图7显示了根据本发明的一个具体实施方式的用于生成和发送警报通知的方法，随后通过请求、接收以及拼接视频数据流在一起。

图8显示了根据本发明的一个具体实施方式所述的监控站的方框图。

图9A-9B显示了物理定位和网络定址的装置的一个例子。

图10显示了具有多个附加特征的街灯传感器的方框示意图。

具体实施方式

本发明是用于提供虚拟视频巡检功能的一种系统与相应的部件。

根据本发明所述的一种系统与相应的部件的原理和操作将根据附图和所附的说明而得以更清楚的理解。

现在参考附图，图1是用于提供虚拟视频巡检功能的系统10和相应的组件。参见图1，系统10的主要元件优选地包括多个街灯传感器单元(SLSU)102以及监控站104。每个个别的SLSU 108优选地包括：光源106，用于照明连接到传感器单元100的区域。每个个别的传感器单元100优选地包括图像传感器110，用于从视野中捕获视频数据，该视野与由光源106照明的区域至少部分重叠；通信子系统120，用于传输和接收数据；以及数据处理单元130，用于处理视频数据以及驱动通信子系统120。虽然在这里所描述的具体实施方式中，光源106是优选地物理上连接到传感器单元100，除非另外声明，传感器单元100是具有功能的，无需物理上连接到光源106。光源的类型包括但不限于：LED灯、白炽灯泡、卤素灯泡或者其他合适的能用于生成照明的光源。数据处理单元130优选地包括处理器132，它连接到存储介质，例如存储器134。处理器132可以是任意数量的计算机处理器，包括但不限于微处理器、ASIC、DSP、状态机和微控制器。这样的处理器包括计算机可读介质，或者可以与计算机可读介质通信，该计算机可读介质存储程序代码或者指令组，当由处理器执行这些程序代码或者指令组时，导致该处理器执行动作。计算机可读介质的类型包括但不限于：电的、光的、磁性的或其他能够向处理器提供计算机可读指令的存储装置或传输装置。通信子系统120是被配置为保持由数据处理单元130所驱动的低带宽通信模式。该低带宽通信模式配置通信子系统120以保持静噪，不会传输视频数据，直到明确和个别地需要这样做时。

SLSU可以被设置在任何合适的位置，包括但不限于：马路、高速公路、停车场、公园和机场。优选地，SLSU 102是被这样设置以致物理上邻近于具有重叠的视野的传感器单元。物理上邻近的传感器单元的重叠视野提供了对场景的连续视频覆盖。优选地，每个个别的SLSU 108是与监控站104在网络上通信的，正如在图1中所示。监控站104的主要元件优选地包括：通信模块140、数据处理系统150和图形用户界面160。通信模块140是优选地这样配置以致与每个SLSU 108的通信子系统120在网络上通信。数据处理系统150可包含处理器152，它连接到存储介质，例如存储器154。优选地，图形用户界面160是被连接到用户输入设备164以及用于显示从SLSU接收的数据的显示器162。在显示器162上显示的数据的类型包括但不限于：视频数据、地理信息、SLSU信息以及卫星地图或其他具有传感器地理位置的地图。一个特殊例子可以是在显示器162上的卫星地图，结合了来自系列的SLSU 102的特定SLSU的地理位置。该特定SLSU的地理位置可以是由有色的点来表示，涂覆在卫星地图上。用户输入设备164可以是任意合适的用于提供输入的设备，包括但不限于：键盘、鼠标、游戏杆或者语音识别系统。处理器152可以是任意数量的计算机处理器，包括但不限于微处理器、ASIC、DSP、状态机和微控制器。这样的处理器包括计算机可读介质，或者可以与计算机可读介质通信，该计算机可读介质存储程序代码或者指令组，当由处理器执行这些程序代码或者指令组时，导致该处理器执行动作。计算机可读介质的类型包括但不限于：电的、光的、磁性的或其他能够向处理器提供计算机可读指令的存储装置或传输装置。通信可包括但不限于：直接网络通信、通过云服务器介导的通信，或者其他合适的范例。

参考图2A至图2B，以说明的目的描述了低带宽通信模式的处理流程的例子。在图2A中，图1所示的通信子系统120接听从监控站104或者与该通信子系统120在网络上通信的其他系统进入的视频数据请求210。伴随视频数据请求210，由图像传感器捕获220的实时视频数据流被传输到发出视频数据请求210的设备的目的地址，优选地被传输到监控站104。在图2B中，图1所示的数据处理单元130可在传输230之前附加地处理240从图1所示的图像传感器110捕获220的视频数据。该处理可包括但不限于：压缩、采样、整理、过滤、变形和/或任意其他合适的处理请求。虽然在这些附图中未示出，在每个SLSU 108的通信模块140与通信子系统120之间的直接通信也是可行的。例如，来自SLSU 108的高带宽数据可以被首先上载到云服务器，然后由监控站104下载用于处理。其他合适的通信范例也是可行的。

参见图1和图3，以说明的目的描述了具有重叠视野的两个SLSU的处理流程的特殊例子。优选地，用户输入设备164是被配置为接收来自用户的输入310以生成和发送视频请求330到特别选择的SLSU。视频请求330是通过数据处理系统150而被发送到通信模块140。所选择的SLSU的通信子系统120接收来自通信模块140的视频请求340。优选地，监控站104也会发送视频请求340’到具有与所选择的传感器视野重叠的附加的SLSU。实际上，单个SLSU可具有与多个分离的SLSU重叠的视野；然而，图3表示了具有重叠视野的两个SLSU的特殊例子。在接收视频传输请求之后，所选择的SLSU和附加的SLSU可将记录的全质量视频数据360、360’传输350、350’到监控站用于处理。一旦从每个被请求的SLSU中接收到视频数据370，数据处理系统150执行视频拼接算法380，该算法可提供单一的拼接的视频图像。对应于当前期望的视野的至少部分的拼接视频图像是通过图形用户界面160的显示器162而被显示的。数据处理系统150可自动发送终止传输指令392到SLSU，一旦出现这样的情形：来自该单元的视频数据不再必需用于提供单一的拼接视频图像。一旦接收到终止传输指令392，SLSU将终止视频传输。用户输入设备164也可被进一步配置为起始将终止传输指令392发送到SLSU。

每个SLSU的数据处理系统也可在传输之前执行对于视频数据的处理。该处理包括但不限于：压缩、采样、整理、过滤、变形和/或任意其他合适的由监控站104请求的处理。一旦接收到由监控站104处理的视频数据，数据处理系统150会执行处理技术，将接收的视频数据恢复到完全内容，然后可执行视频拼接算法，它可提供单一的拼接视频图像。

根据特定优选的具体实施例，与监控站104合并的多个SLSU 102是被设置如图1所示。这些SLSU 102优选地被设置为间隔的关系以致物理上相邻的SLSU具有重叠的视野。这个重叠使能够实现特定的“虚拟巡检”功能，正如将在下面更详细的描述。许多空间布置都是可行的，包括但不限于：将SLSU设置为细长的阵列，将SLSU设置为圆形或椭圆形布局；以及将SLSU设置在不同高度。参见图4，设置为细长阵列的四个SLSU的例子是被展示用于说明的目的。正如所述的，SLSU是被这样配置以致每个SLSU的视野与物理上相邻的SLSU的视野重叠。第一SLSU 410具有被包含在第一组视野边缘412、412’之间的空间内的视野。第二SLSU 420具有被包含在第二组视野边缘422、422’之间的空间内的视野。第三SLSU 430具有被包含在第三组视野边缘432、432’之间的空间内的视野。第四SLSU 440具有被包含在第四组视野边缘442、442’之间的空间内的视野。第一SLSU 410的视野与第二SLSU的视野重叠。第二SLSU的视野又与第三SLSU的视野重叠。第三SLSU的视野又与第四SLSU的视野重叠。目标450是被包含在第二SLSU 420与第三SLSU 430的视野之内。

本发明的特定具体实施例的特别优选特征是：所述系统和相应的方法提供了“虚拟巡检”功能。这里采用的术语“虚拟巡检”是描述虚拟监控延展的区域的方法，好像沿着路径前进，无需操作者实际行驶。实际上，这是通过从具有重叠视野的图像传感器中采集视频图像，允许在拼接的视频图像内虚拟平移而获得的，动态地转换图像传感器组所传输的视频数据，以便使得当沿着图像传感器阵列前进时视野瞬时变化时能够动态地改变拼接的视频图像的覆盖。需要注意的是，“虚拟巡检”的操作并不限于沿着路线的平滑推进运动，还可跳跃到任意特别选择的位置，例如，在地图上的位置。然而，与在来自不同景点的不同照相机视野之间的突然切换相比较，在延伸的区域上进行视频图像的虚拟平移的能力提供了直观的界面，更加改善了情景意识。这个特征的一个示例性实施方式将在这里进行描述。

传输和接收处理流程可以类似于图3所示的流程而进行。图1所示的用户输入设备164可被用于虚拟平移穿过拼接的视频图像。现在参见图5至图6B，虚拟平移能力是由实施例来描述。在这个特定实施例中，图4所示的细长阵列构造仅是用于说明。这里所示的四个图像传感器同时是在沿着图像传感器的延伸阵列的一些任意位置，也可以是更多数量的传感器，成十成百个传感器，或者上千的传感器，在城市范围覆盖的例子中。在从特定位置发送视频的任意用户请求之前，所有这些图像传感器是优选地保持它们的低带宽模式。当从一个操作者接收到视频请求，寻求从对应于第二传感器420的位置接收视频图像，图4所示的监控站104将视频请求传输到第二传感器420，并将附加的视频请求传输到第一和第三SLSU 410、430。图5A描述了四个SLSU的最终传输和接收构造。第一组的三个SLSU 410、420、430传输视频数据510、520、530，也被配置为从监控站接收512、522、532指令和控制信息。参见图6A，当前视频图像600是从拼接的视频图像602采集的，通过图形用户界面160来显示。拼接的视频图像602是从视频图像610、620、630拼接的，这些图像分别采集于第一组的三个SLSU 410、420、430，它们传输视频数据510、520、530(图5A)。对应于SLSU 440的视野的区域640是不可用的，因为SLSU 440保持在低带宽模式(类似于在该系统中未示出的其他SLSU)，用于视频数据传输请求542的监控。参考图6B，当用户操作图1所示的输入设备164以请求平移到右边时，作为当前视频图像600而提供的拼接图像602的部分平移穿过该拼接的图像。在图6B中所示的阶段中，来自图像610的数据不再被要求用于生成当前图像600，该系统识别：所请求的视野是向着由SLSU 440覆盖的区域移动。因此，监控站传输终止传输指令到SLSU 410，并发送传输请求到SLSU 440。在这个转换之后，生成了包括区域620、630、640的新的拼接的视频图像，这样使得能够连续虚拟平移进入与SLSU 440的视野相对应的区域。对于这四个SLSU的升级的传输和接收结构是显示在图5B中。这个移交过程可被重复进行，使得操作者可沿着由一组图像传感器所覆盖的区域进行连续的虚拟平移运动。

相同的或类似的技术可被用于在多个方向的虚拟平移。例如，当SLSU的阵列覆盖多个感兴趣的路径时，例如在给出了道路系统的覆盖的系统中，合适的用户输入可被用于选择多个可用的路径中的哪个路径可以被选择用于连续虚拟平移穿过一个接合点。

需要明确的是，以一组三个进行传输的SLSU的例子是非限制性的例子。在特定的例子中，特别是当前视频图像对应于比单个照相机更小的视野时，或者当在步骤中平移是可接受时，同时两个SLSU传输是困难的。类似地，当允许充足的网络带宽时，同时具有超过三个单元传输是优选的，例如，四个单元，这样使得在另一个单元停止之前，即将使用的单元将被驱动，或者五个单元，包括在当前观察位置的侧面的两个单元。

在一个特别优选的具体实施例中，采用电源线通信，同时采用三个SLSU传输，可提供电源线通信的特别配合，其中三相电源是可用的。特别地，通过将连续的SLSU循环地连接到三相，该系统可确保仅有一个视频数据传输需要在每个相被传输任意给出的时间，因而简化了编码要求和/或避免带宽限制，否则这会遇到带宽限制。然而，更普遍地，采用的PLC协议具有足够的带宽以携带并联的多于一个的视频传输，以及连接到电源的不同相，根据街灯网络的现有电源构造以任意方式发生。线控制单元500，与监控站104直接或间接数据通信，呈现出整个系统的相独立。上述具体实施方式的一个例子是显示在图5C中。虽然SLSU优选地无限期地保持低带宽模式，直至视频数据被请求，该SLSU优选地从它们各自的视野中进行连续的视频数据的记录和处理。所记录的数据用作存档，它可从监控站提出用于后面的观察，并提供了用于监控不同情形的范围的基础，在这些情形下，警报信号或其他提示可被发送到监控站。这个功能的多个不同实施例将在这里进行描述。

根据特定优选的具体实施方式，每个SLSU 108的数据处理单元130是被配置为对由SLSU图像传感器110捕获的视频数据执行视频处理算法或者技术，以便生成和传输警报到监控站104或与通信子系统120以网络通信的其他系统。视频处理算法和补充处理技术的类型可包括但不限于：模式/目标识别算法、目标追踪算法、异常检测算法、机器学习算法(有监督的或无监督的)、假设检验，以及上述算法的组合。优选地，一旦建立SLSU 108，有一个初始校正或学习阶段，在此期间，SLSU可捕获和处理在视野中的视频数据，以便定义标称基线。标称基线的一个例子可以是每个像素的时间平均值或者最常见的值，对应于静态背景图像。该基线定义优选地还包括信息，或者在建立过程中预设，或者在学习期间采集，在该单元的视野内定义活动的类型为“普通”和/或被用于识别异常情形的什么标准，这些情形将会生成警报或其它通知。优选地，警报信号条件是基于预定的规则或在学习期间建立的规则来预测的，由目标在监控区域内的运动为特征。违反任何或所有规则的目标的运动可生成警报。这些规则是取决于特定的场景，该场景的视野正在监控。优选地，标称基线是被存储在于数据处理单元130关联的存储器134的合适的格式中。优选地，在学习期间之后，由图像传感器110捕获的视频数据是被发送到数据处理单元130，采用任何适用的技术与在存储器134中存储的标称基线进行分析比较。该分析比较将优选地根据与每个潜在警报标准有关的标准来生成对于视频数据流的评分，该标准被定义在给出的SLSU的力中。优选地，对于根据定义用于每个警报情形标准给出的统计学上显著的极限评分的视频数据流，将生成相应的事件警报信号。

事件可取决于特定场景而被定义，该场景的视野正在监控。例如，如果视野是贯穿一条高速公路，标称基线活动构成机动车辆在预定分钟速度的行驶。包括在SLSU视野内的预期内容的种类可以又操作者来定义，或则可以在学习期间或再校准期间被自动采集。在SLSU监控高速公路的区域的例子中，可满足警报标准的事件的类型包括但不限于：机动车辆在高速公路上的停止，机动车辆的碰撞，在高速公路上的行人移动，在高速公路上的行人不动，或者目标阻碍高速公路的一个或多个车道。

监控高速公路的某个区域的上述实施例仅是宽范围的种类中的一种，它可被分配到SLSU贯穿系统。其他例子包括但不限于：

SLSU监控交叉路和其他非停车区，其中，对于一段时间的动作中断可以是正常的，但在路中的障碍超过特定的时间段会生成报警信号；

SLSU监控仅供行人的区域，当分类为机动车辆的目标出现，会生成报警信号；

认为不能安全通行或者不安全原因的限制区域，任何行人或车辆的出现都会生成报警信号。

需要明确的是，上述是一些有限的例子，本发明所述的系统可被用于评估和识别更宽范围的附加或替代的警报信号标准，适合于多种情形和技术的应用。

个别SLSU识别警报情形并生成警报信号的能力，同时保持低带宽模式，便于在参见图3的上述内容之外的附加层的功能。参见图1和图7，具有重叠视野的第一SLSU 108a和附加SLSU 108b的特殊例子是被描述用于说明的目的。两个SLSU 108a和108b记录702、704从各个图像传感器捕获的视频数据。第一SLSU 108a处理706从它的图像传感器捕获702的视频数据。第一传感器108a的数据处理单元生成警报708并驱动通信子系统以将生成的警报传输710到监控站104。在警报传输之后，第一传感器的通信子系统等待来自监控站104的视频请求712，保持通信的低带宽模式。其余的处理步骤是平行于参考图3所示的上述的步骤。特别地，一旦接收到718警报，监控站104会显示720具有发出警报的SLSU 108a的地理位置的地图。用户输入设备164包括但不限于：鼠标、键盘、游戏杆、触摸屏输入或者语音识别系统，被用于交互地选择722发出警报的SLSU 108a。一旦选择了SLSU 108a，数据处理系统150可生成视频请求724，定址到所选择的SLSU 108a，并定址到附加的SLSU 108b，它具有与所选择的SLSU 108a重叠的视野。视频请求724被传输726到特定的SLSU 108a和108b。一旦接收到视频请求714、716，每个特定的SLSU 108a和108b传输视频数据728、730到监控站104。该监控站104接收732和处理734不同的视频数据反馈，以便生成在前面的具体实施例中讨论的拼接的视频图像。该拼接的视频图像是通过图形用户界面160而被显示736。用户输入设备164可被用于执行虚拟平移动作，正如前面的具体实施方式所述。此外，每个SLSU的数据处理系统还可在传输之前对视频数据进行处理。该处理包括但不限于：压缩、采样、整理、顾虑或任意其他由监控站104所请求的处理。一旦由监控站104接收到已处理的视频数据，数据处理系统150可执行处理技术，该技术恢复所接收的视频数据为完全内容，然后可执行视频拼接算法，该算法可提供单一的拼接的视频图像。

虽然本发明能清楚地采用专用的基础设施来实施，这些设施是可行的，但本发明的特定实施方式中特别优选的特征是：它自身容易基于初级普遍存在的基础设施来安装，如果不排除的话。通过一个特定优选的实施例，本发明所述的SLSU能具有优势地被实施用于传统街灯柱的安装，它通常提供有利位点，沿着道路以规则的间距来间隔，并结合沿着电源线提供的电源，这些电源线可被用于电源线通信。在这个特定的优选实施例中，图1所示的光源106和传感器单元100是优选地被包含在共同的壳体内，并优选地由单一连接方式连接到电源，以便于紧固和容易安装在现有基础设施上。当结合节能的高输出LED街灯而替代街灯灯具时，根据本发明所述的SLSU的安装变成特别节约成本，可用于延展区域的传统街灯的升级。

这样一个具体实施方式的例子是显示在图10中，它是一个全系统方框图，显示了一个代表性的SLSU 1000的实施例，它具有：多个传感器1006、1008、1010，LED灯单元1002，PLC适配器1004，红外(IR)成像装置1012，用于在缺乏可见光的环境中捕获视频数据，以及微波(MW)成像装置1014，用于在由高大建筑或类似物阻碍目标可见性的环境捕获目标的运动。

需要注意的是，SLSU 1000可被用作“智能街灯”平台，用于提供宽范围的其他功能，包括多种数据收集、数据输出和通信功能。例如，可与SLSU 1000整合的附加传感器包括但不限于：用于收集温度数据的温度传感器1006，用于检测环境光的亮度传感器1008，以及用于检测风速的风传感器1010。SLSU 1000也可包括用于执行菊花链WIFI连接点的通信部件，和/或包括蜂窝中继站，和/或其他用于提供通向附近或经过的用户的硬件方案。逻辑图像处理也可自动采集交通识别信息，它可通过通信网络而被分享，同时保持低带宽模式。与图4中所示的监控站104结合的多个传感器1006、1008、1010是优选地被用于智能控制每个SLSU的LED发光单元1002的亮度水平。例如，在亮度传感器1008检测到足够自然光的事件时，LED发光单元1002是优选地被关闭或熄灭。另一个例子是已经被设置在分离区域的SLSU。在夜晚，当亮度传感器1008检测到没有太阳光或者其他可见光的光源时，该LED发光单元1002逻辑地操作在高亮度水平以提供对于车辆和其他行人的可见度。然而，与从在该SLSU中的其他传感器以及其他SLSU中收集的数据关联的交通信息可以是对于必需的最小光或不需要光的情形的指示。这样的情形可包括但不限于：在定义的距离内或者行程时间内，从SLSU感知的没有经过的车辆的交通，没有行人经过的交通。在这样的情形中，LED发光单元1002是优选地被熄灭以减少亮度水平。

根据特定优选的具体实施例，在监控站104与SLSU 102之间的通信是通过无线网络进行，包括但不限于：GSM、CDMA、4G、LTE、Wi-Fi或WiMax。不同的通信协议可被用于不同类型的数据的传输和接收。例如，警报或视频请求是被优选地通过采用电源线通信技术来传输和接收，同时视频数据是优选地通过采用例如LTE等蜂窝宽带协议来传输和接收。

根据特定的优选具体实施例，包括监控站104和SLSU 102都装备有音频传感器和扬声器系统。音频传感器的类型包括但不限于：麦克风、多普勒传感器，或者任意其他合适用于捕获和/或测量音频的设备。语音通信是通过前面具体实施例中讨论的任意有线或无线网络协议来建立的。语音通信模式可以是任意合适的通信模式，包括但不限于：点对点、单点对多点、半双工和全双工。监控站104优选地被配置为从特定选择的SLSU 108中请求音频数据。监控站请求和接收音频数据的方法，以及接收音频请求和传输音频数据的SLSU，是逻辑上类似于在图2A和图3中所描述的视频数据的请求方法。附加地或可替代地，应急反应的对讲机联系可由行人在SLSU通过驱动紧急呼叫按钮或与该SLSU相关联的类似物来启动。这还会优选地生成优先的警报信号到监控系统的操作者，以促使该操作者观察相应的区域，并启动合适的动作来寻址任何可能已经发生的紧急情况。

根据一个优选的具体实施例，图1所示的监控站是远程设置在远离SLSU 102的位置。图8描述了图1所示的监控站以及附加的数据库组件840。用户输入设备834是可选地被配置为从用户接收输入以生成并发送视频请求到特定地址的设备，该设备是与通信模块810通信连接的。附加的视频请求是优选地被发送到设备的地址，这些设备是物理上邻近于特别定址的设备。对于设备的网络地址的这些设备的物理位置是优选地被存储在任何合适的位置，包括但不限于：监控站800的存储器824，云，或图8所示，数据库或表格840，它是优选地与数据处理系统820相关联的。

现在参见图9A至图9B，在物理空间内的五个设备和数据库840的例子，该数据库与每个设备的物理位置相关联，显示每个设备的网络地址。在本例中，如果视频请求是被定址到位置E的设备4 940，视频请求也可被发送到该设备，或者物理上最接近的设备，在本例中是在位置D的设备2 920。在图9B的数据库入口的例子中显示了设备定位和网络地址的地图。在这个例子中，将被定址的设备具有地址a 942和e 922。任何对于设备的数量的改变是优先地反映在绘制地图的更新上。

虽然到目前为止所描述的系统的操作首要地涉及观看和“巡检”实时的视频数据，本发明的特定优选的具体实施方式允许操作者观察预先存储在一个或多个SLSU中的数据，好像实时地观察它一样。为了这个目的，视频请求优选地包括时间戳标识，它或者对应于被请求的视频的时间和日期，或者标识对于当前被采样的视频的视频请求作为实时视频请求。在历史视频的例子中，对于新给出的SLSU的任何随附的启动传输的指令还会包括对应的时间戳以便用于新增的视频数据，用于拼接成为与从活跃的传输SLSU中当前传输的数据同步。

这个历史视频检索的一个普遍应用发生在特定SLSU中生成的警报信号的例子中，其中，操作者希望直接评估事件。该操作者是优选地被给出一个选项来触发在视频顺序之前立即开始观看视频，这导致生成警报信号，因而提供了关于警报的有效性和严重性的快速和可信赖的评估所需的准确信息。

虽然到目前为止所描述的系统涉及SLSU 108，它包括街灯106，连接图1所描述的传感器单元100，但是其他具体实施方式也是可行的，其中，多个传感器单元100被设置在没有任何光源的间隔关系。这些传感器单元100可以被设置为与上面所述的监控站104相连接，该系统的操作首要是用于观看和“巡检”实时视频数据以及“巡检”历史视频。

需要重视的是，上面的描述仅是视图作为实施例，许多其他具体实施方式也是可行的，它们都落入在所附的权利要求所定义的本发明的范围之内。

Claims (14)

1.一种虚拟视频巡检系统，包括：

一组街灯与传感器单元阵列，每个所述的街灯与传感器单元包括：

光源，设置用于照明第一区域；

图像传感器，用于从具有与所述第一区域至少部分重叠的视野中捕获视频数据；

通信子系统，被配置用于在有线或无线网络上传输和接收数据，所述通信子系统具有关联的标识符；以及

数据处理单元，关联于所述图像传感器和所述通信子系统，所述数据处理单元包括至少一个处理器与数据存储介质；所述数据处理单元是被配置为驱动所述通信子系统以致：

无限期地保持低带宽模式，在该模式中没有视频数据被传输，且所述通信子系统监控视频数据请求；以及

选择地接收与所述关联的标识符有关的视频数据请求，传输来自所述图像传感器的视频数据；以及

一种监控站，包括：

通信模块，与所述通信子系统网络连接；

数据处理系统，包括至少一个处理器与数据存储介质，所述数据处理系统是与所述通信模块相关联的；以及

图形用户界面，与所述数据处理系统相关联，所述图形用户界面包括显示器以及至少一个用户输入设备；

其中，所述街灯和传感器单元的阵列是被设置为这样的间隔关系以致所述视野提供场景的连续覆盖；以及

其中，所述监控站是响应于输入，通过所述至少一个用户输入设备进行所述输入以传输视频请求，所述视频请求是被定址到第一所述街灯和传感器单元以及第二所述街灯和传感器单元，所述第二街灯和传感器单元具有与所述第一街灯和传感器单元重叠的视野；以及

所述通信模块是被配置为接收与所述视频请求相关联的视频数据，所述视频数据是在所述有线或无线网络上被传输到所述监控站；以及

所述数据处理系统是被配置为从所述视频数据中生成通过所述图形用户界面来显示的拼接的视频图像，所述拼接的视频图像具有与所述第一所述街灯和传感器单元和第二所述街灯和传感器单元的视野重叠的有效视野；

所述监控站是被配置为通过所述图形用户界面来显示所述有效视野的子区域；所述监控站还响应于输入，通过所述输入，至少一个用户输入设备在所述拼接的视频图像的所述有效视野内平移所述子区域；

其中，所述数据处理系统被配置为从所述视频数据生成拼接的视频图像，所述拼接的视频图像具有重叠超过一个源视频图像的有效视野。

2.根据权利要求1所述的虚拟视频巡检系统，其特征在于，每个所述数据处理单元还被配置为：

处理来自所述图像传感器的所述视频数据，以监控在所述视野中发生的事件；以及

基于识别在所述视野中发生的事件是否满足至少一个警报标准，驱动所述通信子系统通过三相电源的各自相位来传输警报通知，同时保持所述低带宽模式。

3.根据权利要求2所述的虚拟视频巡检系统，其特征在于：所述至少一个警报标准包括违反至少一个预定规则的目标的运动。

4.根据权利要求1所述的虚拟视频巡检系统，其特征在于：所述通信模块还被配置为接收来自在所述有线或无线网络上物理定位的警报通知；以及所述图形用户界面是被配置为从已经接收到的所述警报通知中生成对所述物理定位的指示的显示。

5.根据权利要求1所述的虚拟视频巡检系统，其特征在于：每个所述街灯和传感器单元还被配置为执行追踪运动目标的处理。

6.根据权利要求1所述的虚拟视频巡检系统，其特征在于：每个所述图像传感器是被配置为通过红外成像法从所述视野中捕获视频数据。

7.根据权利要求1所述的虚拟视频巡检系统，其特征在于：每个所述图像传感器是被配置为通过微波成像法从所述视野中捕获视频数据。

8.根据权利要求1所述的虚拟视频巡检系统，其特征在于：每个所述街灯和传感器单元还包括用于捕获音频数据的音频传感器。

9.根据权利要求8所述的虚拟视频巡检系统，其特征在于：所述监控站是响应于输入，通过所述至少一个用户输入设备进行所述输入以传输音频请求，所述音频请求是被定址到选择的其中一个所述街灯和传感器单元；以及

每个所述街灯和传感器单元是响应于相应定址的音频请求以将音频数据传输到所述监控站。

10.根据权利要求8所述的虚拟视频巡检系统，其特征在于：每个所述街灯和传感器单元还包括扬声器系统，被配置为播放音频数据。

11.根据权利要求10所述的虚拟视频巡检系统，其特征在于：所述监控站还包括：音频传感器，用于捕获音频数据；以及

扬声器系统，被配置为播放音频数据。

12.根据权利要求1所述的虚拟视频巡检系统，其特征在于：所述街灯和传感器单元的阵列包括多个街灯和传感器单元，以及所述多个街灯和传感器单元中的少数子集同时传输视频数据。

13.根据权利要求1所述的虚拟视频巡检系统，其特征在于：所述第一街灯和传感器单元的所述通信子系统被配置为通过三相电源的第一相来传输来自所述图像传感器的视频数据，所述第二街灯和传感器单元的所述通信子系统被配置为通过三相电源的第二相来传输来自所述图像传感器的视频数据，所述第三街灯和传感器单元的所述通信子系统被配置为通过三相电源的第三相来传输来自所述图像传感器的视频数据。

14.根据权利要求1所述的虚拟视频巡检系统，其特征在于：在所述低带宽模式中，每个所述通信子系统是被配置为通过电源线进行传输；然而当传输的视频数据是来源于所述图像传感器时，在有线或无线网络上传输所述视频数据，所述有线或无线网络与所述电源线相分离，且所述有线或无线网络为宽带网络。