CN1574961A - 视频监视系统、监视视频合成装置以及视频监视服务器 - Google Patents

Abstract

本发明提供一种由多个监视照相机跟踪跟踪目标的视频监视系统。即使在依照跟踪目标的移动自动地改变照相机图像的情形，这个系统也能够完全地跟踪跟踪目标的位置。该系统包括用于检测跟踪目标的移动方向的移动方向检测器。而且，该系统具备用于存储监视区域的通道配置和照相机位置信息的存储单元。该系统还具备：照相机选择器，用于依照移动方向信息、通道配置信息和照相机位置信息，识别将接着拍摄跟踪目标的照相机；以及屏幕合成单元，用于在屏幕上合成来自拍摄跟踪目标的照相机的图像和来自由照相机选择器选择的照相机的图像。

Description

视频监视系统、监视视频合成装置以及视频监视服务器

技术领域

本发明涉及包括多个监视照相机以及浏览来自监视照相机的图像的监视终端的一种视频监视系统，该视频监视系统自动地依照跟踪目标以及照相机安装状态的移动方向从多个照相机显示图像，使得检查员将保持跟踪跟踪目标。

背景技术

近年，符合通过监视装置用于IP网络的支持，宽范围监视系统已经在多个监视照相机作为单个块用于监控宽范围的方式下发展。这样的监视照相机通过照相机控制自动化和改进监视终端的接口、在控制多个照相机的情况中减少了检查员的工作量。

关于照相机控制的自动化，已知描述在日本专利公开第2002-92751号中的监视装置。依据描述在日本专利公开第2002-92751号中的监视装置，可以移交监视到另一监视照相机。这使它可以没有用户操作就显示监视终端上的跟踪目标。

有关监视终端的接口，公开了日本专利公开第289607/1997号。描述在日本专利公开第289607/1997号中的监视系统显示了地图，其显示监视终端上的照相机位置以便检查员容易地定位照相机位置。

依据装备有相关技术自动跟踪特点的系统，在跟踪目标已经移出进行监视的照相机的范围外的情形，自动地切换监视终端上的图像。因此，对于不久前显示的照相机的位置，难于容易地理解重新显示的照相机的位置。甚至当就象在日本专利公开第289607/1997号中描述的系统中显示地图时，检查员不能容易地理解显示图像和地图上的照相机图标间的关系。而且，为了检查地图内容和照相机位置间的对应，必须频繁地移动地图和照相机图像间的视线。这就增加了检查员的工作量。

发明内容

为了解决这些问题，本发明先存储有关监视区域的地图信息、有关照相机位置的信息和成象范围信息；根据来自一个照相机的包括所述跟踪目标的图像，检测跟踪目标的移动方向；选择接着应该拍摄所述跟踪目标的至少一个另外的照相机；以及产生包括来自所述一个照相机的图像和来自所述至少一个另外的照相机的图像的显示图像，以便通过使用监视区域中的多个照相机来监控作为跟踪目标的移动物体。这防止检查员失去跟踪目标的跟踪。

进而，本发明从该一个照相机和至少一个另外的照相机在地图上能近似照相机位置的位置处安排图像，以产生显示图像。换言之，本发明在跟踪目标在检查员的视线内移动的方向，在图像屏幕上安排跟踪目标的下一照相机图像。甚至在跟踪目标已经移动并且拍摄照相机的图像已经改变的情形，可以平滑地指引检查员的视线到下一照相机图像，从而减少了检查员的工作负担。

进而，可以一个照相机的成象中心和至少一个其它照相机的中心间的距离相对来自该一个照相机的图像的比率的大小、来显示来自该至少一个其它照相机的图像。也可在对应该距离的位置显示来自至少一个其它照相机的图像。尤其就距离而言，这允许直观地理解照相机位置，从而减少了检查员的工作负担。

进而，通过按时间顺序安排并且显示来自目前拍摄的跟踪目标的照相机的图像、来自过去用于拍摄跟踪目标的照相机的图像以及来自预期拍摄跟踪目标的照相机的图像，可以容易地理解跟踪目标的移动路径。

附图说明

图1是依据本发明的第一实施例的视频监视系统的方块图；

图2显示图1中显示的移动方向检测装置106的操作流程；

图3是图1中显示的移动方向检测装置106的操作例子；

图4显示通过图1中显示的移动方向发送装置107发送的移动方向信息的数据结构；

图5显示用于描述图1中显示的地图信息存储装置110的操作的监视区域的例子；

图6显示存储在图1中显示的地图信息存储装置110中的地图信息；

图7显示存储在图1中显示的照相机位置存储装置111中的照相机位置信息的例子以及数据结构；

图8显示图1中显示的照相机选择装置112的操作流程；

图9显示其中图1中显示的照相机选择装置112准备前向邻近照相机列表的操作流程；

图10显示其中图1中显示的照相机选择装置112准备后向邻近照相机列表的操作流程；

图11显示其中图1中显示的照相机选择装置112确定通道中的移动方向的操作流程；

图12显示图1中显示的照相机选择装置112计算照相机屏幕上的移动角度的方法；

图13显示图1中显示的照相机选择装置112计算绝对移动角度的方法；

图14显示图1中显示的照相机选择装置112确定通道中的移动方向的方法；

图15显示图1中显示的屏幕合成(composition)装置113的操作流程；

图16A到16C显示由图1中显示的屏幕合成装置113创建的屏幕布局的例子，图16A显示2-屏幕布局、图16B显示3-屏幕布局以及图16C显示4-屏幕布局；

图17A和17B显示图1中显示的视频监视系统的操作例子；

图18A和18B显示在图1中显示的视频监视系统中增加显示的照相机的数字的情形的操作例子；

图19A和19B显示在图1中显示的视频监视系统中显示上次拍摄的照相机的图像的情形的操作例子；

图20是依据本发明的第二实施例的视频监视系统的方块图；

图21显示图20中显示的屏幕布局产生装置2001的操作流程；

图22A和22B显示图20中显示的屏幕布局产生装置2001计算拍摄中心坐标的方法；

图23显示图20中显示的屏幕布局产生装置2001计算屏幕布置角度的方法；

图24A和24B显示图20中显示的屏幕布局产生装置2001的操作例子；

图25A到25C显示用于图20中显示的视频监视系统的典型监视环境中的显示屏幕以及屏幕布置角度的例子；

图26A和26B显示依照图20中显示的视频监视系统中的照相机拍摄中心间的距离改变屏幕大小的屏幕布置的例子；

图27A和27B显示依照图20中显示的视频监视系统中的照相机拍摄中心间的距离改变屏幕中心位置的屏幕布置的例子；以及

图28是依据本发明的第二实施例的视频监视系统的方块图。

这些图中，参考数字101指示照相机服务器，102指示监视终端，103指示网络装置，104指示监视照相机，105指示图像发送装置，106指示移动方向检测装置，107指示移动方向发送装置，108指示图像接收装置，109指示移动方向接收装置，110指示地图信息存储装置，111指示照相位置存储装置，112指示照相机选择装置，113指示屏幕合成装置，114指示屏幕显示装置，301指示在时间t的图，302指示在时间t+δ的，303指示光流图，304指示平均矢量图，401指示照相机ID，402指示运动矢量，601指示通道列表，701指示照相机位置信息，2001指示屏幕布局产生装置，2801指示照相机服务器以及2802指示监视终端。

具体实施方式

参照附图，将描述本发明的实施例。

(实施例1)

以下参考1到20描述依据本发明的第一实施例的视频监视系统。

图1是显示本发明的第一实施例的配置的方块图。

图1中，数字101代表用于将从监视照相机获得的图像数据以及照相机图像中的人的移动方向上的数据发送到网络的照相机服务器，102代表用于在其屏幕上显示从照相机服务器101接收的图像的监视终端，103代表用于连接多个照相机和监视终端的网络装置，104代表用于拍摄图像的监视照相机，105代表用于发送从监视照相机获得的图像数据的图像发送装置，106代表用于分析从监视照相机获得的图像数据并且检测图像中人的移动方向的移动方向检测装置，107代表用于经由网络装置发送由移动方向检测装置获得的移动方向信息到监视终端的移动方向发送装置，108代表用于接收从照相机服务器发送的图像数据的图像接收装置，109代表用于接收从照相机服务器经由网络装置发送的移动方向信息的移动方向接收装置，110代表用于存储监视区域的通道配置的地图信息存储装置，111代表用于存储位置并且设置监视照相机的角度的照相机位置存储装置，112代表用于识别拍摄作为跟踪目标的人的照相机以及接着将拍摄该人的照相机的照相机选择装置，113代表用于在单一屏幕上合成多个照相机图像的屏幕合成装置，而114代表用于显示合成的屏幕数据的屏幕显示装置。

监视照相机104将得到的图像转换为单帧数字图像数据并且将数据输出到图像发送装置105以及移动方向检测装置106。

在监视终端102上从图像接收装置接收到图像发送开始请求时，图像发送装置105存储监视终端102的网络地址。当输入图像数据时，图像发送装置105将输入图像数据转换到更小量的数据，如JPEG格式数据，并且将结果数据经由网络装置发送到存储网络地址的监视终端102。图像发送装置105，在从监视终端接收到图像发送停止请求时，擦除存储的网络地址并且甚至在输入图像数据的情形也不再发送图像。

参照图2和图3将描述移动方向检测装置的操作。

图2显示移动方向检测装置的操作流程。

图3显示移动方向检测装置的操作的例子。

图3中，数字301代表时间t的图像数据输入、302代表在时间t+δ处的图像数据输入，303代表根据在时间t处图像和在时间t+δ处图像的光流的计算结果，以及304代表计算为移动方向的平均运动矢量的计算结果。

开始处理，移动方向检测装置106等待从监视照相机104的图像输入。当输入图像时，移动方向检测装置106检查是否过去的图像存储在内存储器中。在没有过去的图像被存储在内部存储器中的情形，移动方向检测装置106将输入图像存储到内存储器中作为过去图像，并且等待下一图像数据的输入。在过去图像已经存在的情形，xxx计算过去图像和输入图像间的光流。在运动矢量域的表示中，通过将图像分成多个块并且计算每一个块已经从参考图像的哪个位置移动，从而得到两个图像间的光流。例如在Ankyoin Takeshi，“Gazou no shori to ninshiki”Shokodo，P.164.中描述怎么计算光流。

例如，图3中，在时间t处输入的图像301被存储在内存储器中作为来自移动方向检测装置的过去图像。假定在时间t+δ处图像302是输入时间δ毫秒后，在时间t+δ处图像被分成8×8像素的小块，并且每一块的像素数据与在时间t处图像的对应块的周围的像素数据比较，并且得到具有小的变量的8×8像素的块以计算运动矢量。通过在时间t+δ处图像的所有块上重复相同处理，可以计算全部块的运动矢量域并且产生光流计算结果303。在图3中，处在时间t的通道的下部的人正在向上移动在时间t+δ的通道中，作为这个情形的光流，对于存在该人的每一块，计算对应该人的移动量的运动矢量。

移动方向检测装置106计算下一作为光流计算的运动矢量的平均值，并且将作为有关跟踪目标的运动信息的平均值输出到移动方向发送装置107。

以下参照图4描述移动方向发送装置107的操作。

图4显示由移动方向发送装置107发送的移动方向信息的数据结构。

在图4中，数字401代表作为照相机标识符的照相机ID，402代表由移动方向检测装置计算的跟踪目标的运动矢量值。移动方向发送装置107将移动方向信息经由网络装置103发送到监视终端102。移动方向信息是图4中显示的数据结构，并且包括一组照相机ID 401和运动矢量402。

监视终端102上的移动方向接收装置109从连接到网络的所有照相机服务器接收移动方向信息，并且将信息输出到照相机选择装置112。

参照图5和图6以下描述地图信息存储装置110的操作。

图5显示用于描述地图信息存储装置110的操作的监视区域的例子。

图6显示在地图信息存储装置110中存储的地图信息的数据结构和例子。

图6中，数字601代表在地图信息存储装置110中存储的指示通道配置信息的通道列表。

如监视区域的通道配置的地理信息被存储在地图信息存储装置110中。

以下描述地图信息存储装置110的操作，采用例子的情形是：10米×10米的建筑物中有1米宽的通道，并且使用5个照相机进行监视。

地图信息存储装置110存储图6中显示的通道列表601。为了拍摄，通道列表601包括作为通道标识符的通道ID、作为通道开始点的开始点节点、作为通道结束点的结束点节点以及从开始点到结束点列出通道上安排的照相机的照相机列表。通道方向指示在哪个方向通道从开始点到结束点运行，假定按反时针方向东是0度角度，北是90度，西是180度以及南是270度。

图5显示的环境中，如通道列表601中显示，注册4个通道r1、r2、r3、r4。

参照图5和图7以下描述照相机位置存储装置111的操作。

图7显示照相机位置存储装置111中存储的照相机位置信息的数据结构和例子。

图7中，数字701代表指示照相机位置和照相机角度的照相机位置信息。

照相机位置存储装置111存储图7中显示的照相机位置信息701。照相机位置701包括作为照相机标识符的照相机ID、位置坐标、从假定东是0度而反时针方向代表直接向上看见的照相机的水平角度以及假定水平角度是0度而顺时针方向代表直侧方向看见的照相机的垂直角度。在图5显示的环境中，存在5个照相机c1到c5并且各位置坐标和角度如照相机位置信息701中显示。

参照图8到图14以下描述照相机选择装置112的操作。

图8显示照相机选择装置112的操作流程。

图9显示操作流程，其中照相机选择装置112准备前向邻近照相机列表，作为在通道列表601中的通道方向邻近的照相机的列表信息。

图10显示操作流程，其中照相机选择装置112准备后向邻近照相机列表，作为来自通道列表601中与通道方向不同的方向邻近的照相机的列表信息。

图11显示操作流程，其中照相机选择装置112确定通道中的跟踪目标的移动方向。

图12显示照相机选择装置112从运动方向矢量计算照相机屏幕上的移动角度的方法。

图13显示照相机选择装置112计算监视空间中的跟踪目标的绝对移动角度的方法。

图14显示照相机选择装置112确定通道中的跟踪目标的移动方向的方法。

开始处理，照相机选择装置112等待来自移动方向接收装置109的移动方向信息的输入。当输入移动方向信息时，除非在内存储器中设置跟踪照相机ID，照相机选择装置112在移动方向信息中设置照相机ID 401作为跟踪照相机Id，并且准备作为邻近跟踪照相机的照相机的列表的邻近照相机列表。邻近照相机列表包括：作为当跟踪目标已在匹配通道列表601中显示的通道方向移动时、能接着拍摄跟踪目标的照相机ID的列表的前向邻近照相机列表，以及作为当跟踪目标已在通道列表601中显示的通道方向的不同的方向移动时、能接着拍摄跟踪目标的照相机ID的列表的后向邻近照相机列表。

图9显示照相机选择装置112准备前向邻近照相机列表的操作流程。

照相机选择装置112从通道列表601搜索包含跟踪照相机ID的通道并且获得对应的通道的照相机列表。除非跟踪照相机ID处在获得的照相机列表的末端，照相机选择装置112在紧接跟踪照相机ID之后增加照相机ID作为在前向邻近照相机列表中的单独成分(sole element)，并且完成列表准备。在跟踪照相机ID处在获得的照相机列表的末端的情形，照相机选择装置112确定在跟踪照相机所处的通道中不存在邻近照相机，并且搜索邻近通道。获得邻近通道的列表作为通道列表，其假定包含跟踪照相机ID的通道的结束点节点是下一节点，并且其包含该下一节点作为开始点节点或结束点节点。在下一节点是获得的邻近通道的开始点节点的情形中，照相机选择装置112将这个通道的照相机列表中的第一照相机ID增加到前向邻近照相机列表。在下一节点是结束点节点的情形，照相机选择装置112将这个通道的照相机列表中的最后的照相机ID增加到前向邻近照相机列表。这样，照相机选择装置112准备前向邻近照相机列表。

图10显示照相机选择装置112准备后向邻近照相机列表的操作流程。

照相机选择装置112从通道列表601搜索包含跟踪照相机ID的通道并且获得对应通道的照相机列表。除非跟踪照相机ID处在获得的照相机列表的开头，照相机选择装置112在正好在跟踪照相机ID前增加照相机ID作为后向邻近照相机列表中的单一成分(sole element)并且完成列表准备。在跟踪照相机ID处在获得的照相机列表的开头的情形，照相机选择装置112确定在跟踪照相机所处的通道中不存在邻近照相机，并且搜索邻近通道。获得邻近通道的列表作为通道列表，其假定包含跟踪照相机ID的通道的结束点节点是下一节点，并且其包含该下一节点作为开始点节点或结束点节点。在下一节点是获得的邻近通道的开始点节点的情形中，照相机选择装置112将这个通道的照相机列表中的第一照相机ID增加到后向邻近照相机列表。在下一节点是结束点节点的情形，照相机选择装置112将这个通道的照相机列表中的最后的照相机ID增加到后向邻近照相机列表。这样，照相机选择装置112准备后向邻近照相机列表。

图11显示一操作流程，其中照相机选择装置112从移动方向接收装置输入的移动方向信息中的运动矢量402，确定通道中的跟踪目标的移动方向。

照相机选择装置112从在输入移动方向信息中的运动矢量402计算照相机屏幕上的跟踪目标的移动角度。其次，照相机选择装置112从照相机屏幕上的跟踪目标的移动角度和照相机位置信息701中水平角度计算监视空间中跟踪目标的绝对移动角度。照相机选择装置112将绝对移动角度与在监视空间中存储的跟踪照相机所处的通道的通道方向比较，并且对于通道方向确定人是前向还是后向移动。

图12显示用于计算照相机屏幕上的跟踪目标的移动角度的方法。假定跟踪目标对于屏幕的向上移动的角度是0度，从由运动矢量指示的角度计算屏幕上的移动角度。通过使用下列表达式1，假定运动矢量V＝(Vx，Vy)，计算运动角度θ。

(表达式1)：移动角度θ＝a tan(-Vx/Vy)

图13显示用于计算绝对移动角度的方法。绝对移动角度是通过将照相机的水平角度加到屏幕上的移动角度得到的值，因为在照相机屏幕上的跟踪目标的移动方向是0度并且跟踪目标已经在照相机屏幕上向上移动的情形，跟踪目标在与照相机的水平角度相同的方向移动。通过使用下列表达式2，假定东作为0度计算绝对移动角度：

(表达式2)：绝对移动角度＝照相机的水平角度+照相机屏幕上的移动角度

图14显示用于在通道中确定跟踪目标的移动方向的方法。通过从通道列表601获得跟踪照相机所处的通道的通道方向、并且将通道方向与跟踪目标的绝对移动角度比较，确定通道中的移动方向。在通道方向和绝对移动角度间的差的绝对值是90度或更小的情形，确定跟踪目标前向移动。在该值大于90度的情形，确定跟踪目标对于通道方向后向移动。

照相机选择装置112确定在跟踪目标的移动方向是前向方向的情形的前向邻近照相机列表或在跟踪目标的移动方向是后向方向的情形的后向邻近照相机列表，作为能下次拍摄跟踪目标的照相机列表，并且将列表和跟踪照相机ID一起输出到屏幕合成装置。

在输入移动方向信息时设置跟踪照相机ID的情形，照相机选择装置112对着跟踪照相机ID、在前向邻近照相机列表或后向邻近照相机列表中的照相机ID，检查移动方向信息中的照相机ID。在没得到相配的情形，照相机选择装置112确定移动方向信息不适合目前的跟踪目标并且等待新的移动方向信息的输入。

参照图15和图16，以下描述屏幕合成装置113的操作。

图15显示屏幕合成装置113的操作流程。

图16A到16C显示由屏幕合成装置113创建的屏幕布局的例子。

依照跟踪照相机ID和从照相机选择装置112输出的邻近照相机列表，屏幕合成装置113合成照相机图像，并且将结果图像输出到屏幕显示装置114。

开始处理，屏幕合成装置113检查从照相机选择装置112的输入。在输入照相机列表的情形，屏幕合成装置113将接收照相机图像的指令发送到图像接收装置。接着，依照照相机屏幕输入的数字，屏幕合成装置113确定屏幕布局，并且将照相机ID分配给每一个屏幕位置。图16A到16C显示屏幕布局。图16A显示当使用单一邻近照相机时使用的布局。这个布局显示来自左边的跟踪照相机的图像和来自与左边的跟踪照相机同一大小的邻近照相机的图像。图16B显示当使用两个邻近照相机时使用的布局。这个布局显示来自右边的两个照相机(顶/底)的图像，与左边的照相机同一大小。图16C显示当使用3个邻近照相机时使用的布局。这个布局显示来自右边的3个照相机(顶/底)的图像，具有来自跟踪照相机的图像的四分之一大小。在使用3个以上的邻近照相机的情形，按照要求在屏幕上以适当的大小显示图像。

确定了屏幕布局，屏幕合成装置113依照屏幕布局从图像接收装置108安排图像数据输入，并且将图像数据输出到屏幕显示装置114。在不从照相机选择装置输入新的照相机列表的情形，屏幕合成装置113合成如最后拍摄的在同样屏幕布局中的图像，并且将结果图像输出到屏幕显示装置114。

提供图像接收装置108与能由图像终端合成的数量一样多的图像。图像接收装置108从屏幕合成装置113接收图像接收指令，检查当前接收照相机ID是否与新接收的照相机ID一样。在ID互相不同的情形，图像接收装置108将图像发送端通知发送到从其当前接收图像的照相机服务器，并且向对应新照相机ID的照相机服务器请求开始图像的发送。在请求开始图像的发送后，图像接收装置108从照相机服务器接收图像并且保持将接收的图像数据输出到屏幕合成装置113。

屏幕显示装置114在显示终端的屏幕上显示输入图像数据。

图17A和17B显示这样配置的监视图像监控设备的操作例子。

在跟踪目标依照图17A中显示的移动例子移动的情形，在图17A的位置(a)、(b)和(c)中的监视终端屏幕上输出图17B中显示的屏幕。在位置(a)，作为来自跟踪照相机的图像在左边显示来自照相机c1的图像，并且在右边显示来自跟踪目标的移动方向上的照相机c2的图像。当人移向位置(b)时，将跟踪照相机切换到c2，并且作为右边的邻近照相机显示来自移动方向上的照相机c3的图像。当人移向位置(c)时，同样地显示来自作为跟踪照相机的照相机c3图像，并且作为来自邻近照相机的图像，在右边显示来自移动方向上的分支通道上的照相机c4和c5的图像。

这样，依据第一实施例的监视图像监控设备包括：用于检测照相机屏幕上的跟踪目标的移动方向的移动方向检测装置；用于存储监视环境的通道配置的地图信息存储装置；用于存储照相机位置信息的照相机位置存储装置；以及照相机选择装置，用于通过使用地图信息和照相机位置信息，依照跟踪目标的移动方向，选择将接着拍摄跟踪目标的照相机。因此在监视终端上显示跟踪目标和来自将接着拍摄跟踪目标的照相机的图像。这提供保证检查员将从不失去跟踪目标的跟踪的监视系统。

虽然第一实施例显示来自将可接着拍摄跟踪目标的单一照相机的图像，但可以通过以相似的方法为使用图9和图10中显示的方法准备的照相机列表中的照相机ID准备邻近照相机列表，从而获得在下一照相机之后能拍摄跟踪目标的照相机的列表。

图18A和18B显示来自将拍摄跟踪目标的第一和第二照相机的图像被输出的屏幕例子。

在图18A和18B，当监视下的人是在位置(a)时，来自当前拍摄人的照相机c1、将接着拍摄人的照相机c2和跟随照相机c2将拍摄人的照相机c3的图像在屏幕上显示，如屏幕例子(a)中显示。当跟踪目标移向位置(b)时，在监视终端的屏幕上显示：来自当前拍摄人的照相机c1、将接着拍摄人的照相机c2和能在分支后拍摄人的两个照相机c4和c5的图像。这样，通过递归地在照相机选择装置112上执行照相机列表准备处理、准备包括一直到第n个照相机的照相机列表，并且在屏幕合成装置113上合成一直到第n个的照相机的照相机图像，依据本发明，也可以在终端屏幕上显示n个照相机的预期路径。

虽然第一实施例显示来自拍摄跟踪目标的照相机和将接着拍摄跟踪目标的照相机的图像，通过在照相机选择装置112上存储上次跟踪跟踪目标的照相机ID，可以显示来自用于拍摄跟踪目标的照相机的图像。

图19A和19B显示用于下面情形的屏幕例子：同时显示来自拍摄跟踪目标的照相机的图像和来自当前拍摄跟踪目标的照相机的图像。当监视下的人是在位置(a)时，来自上次拍摄跟踪目标的照相机c1、当前拍摄人的照相机c2和将接着拍摄人的照相机c3的图像在屏幕上显示，如屏幕例子(a)中显示。当跟踪目标移向位置(b)时，显示来自在位置(a)拍摄跟踪目标的照相机c2、当前拍摄人的照相机c3以及能在分支后拍摄人的两个照相机c4和c5的图像。这样，通过在照相机选择装置112上存储跟踪跟踪目标的照相机ID，依据本发明，也可以同时显示显示过去移动路径的照相机图像和显示终端屏幕上的预期路径的另一照相机图像。

虽然第一实施例使用角度不改变的固定照相机，依据本发明，通过获得来自照相机的角度和定期地更新照相机位置信息701，也可以使用装备平/斜(pan/tilt)特征的照相机。

(实施例2)

参照图20到26以下描述依据第二实施例的视频监视系统。

图20是依据本发明的第二实施例的视频监视系统的方块图。

在图20，数字101到114与在图1中显示的第一实施例中的第一视频监视系统中的那些一样。

数字2001代表用于产生由照相机选择装置112选择的照相机的安排布局的屏幕布局产生装置。

参照图21到25以下描述屏幕布局产生装置2001的操作。

图21显示屏幕布局产生装置2001的操作流程。

图22A和22B显示屏幕布局产生装置2001计算照相机的拍摄中心坐标的方法。

图23显示屏幕布局产生装置2001计算邻近照相机的屏幕安排角度的方法。

图24A和24B显示屏幕布局产生装置2001的操作例子。

屏幕布局产生装置2001产生用于安排屏幕上的照相机图像的布局信息，以便容易地理解跟踪照相机和邻近照相机中的实际位置关系。

根据照相机位置信息701，屏幕布局产生装置2001计算通过从照相机选择装置输入的跟踪照相机和邻近照相机列表中的各照相机拍摄的中心位置坐标。

图22A和22B显示用于计算拍摄中心坐标的方法。

如图22A中显示，通过使用以下表达式3，从垂直角度φ和作为照相机位置信息701中的照相机坐标的z-轴值的照相机高度h，计算作为从地面的照相机位置到拍摄中心坐标的距离的拍摄距离a：

(表达式3)：a＝h/(tanφ)

如图22B中所示，通过使用下列表达式4，从照相机位置(X，Y)的x和y坐标、照相机角度θ和拍摄距离a计算照相机拍摄中心坐标(P，Q)：

(表达式4)：(P，Q)＝(X+a×cosθ，Y+a×sinθ)

屏幕布局产生装置2001计算拍摄中心坐标，然后从跟踪照相机的角度和拍摄中心坐标计算邻近照相机列表中的每一个照相机的屏幕安排角度。

图23显示用于计算邻近照相机的屏幕安排角度的方法。

假定跟踪照相机的拍摄中心坐标是(P，Q)以及用于计算屏幕位置的邻近照相机的拍摄中心坐标是(X，Y)，在假定跟踪照相机的拍摄中心坐标是原点的情形得到的邻近照相机的拍摄中心坐标的绝对角度使用下列表达式5计算：

(表达式5)：φ＝a tan((Y-Q)/(X-P))

通过使用下列表达式6，从水平角度a和邻近照相机的拍摄中心坐标的绝对角度φ计算屏幕安排角度θ：

(表达式6)：θ＝(180-a)+φ

依照计算的屏幕安排角度θ，屏幕布局产生装置2001产生用于安排每一个邻近照相机屏幕的布局信息。

图24A和24B显示由屏幕布局产生装置2001产生的布局信息的例子。

首先，屏幕布局产生装置2001在屏幕的中心附近安排跟踪照相机屏幕。然后屏幕布局产生装置2001在连接每一个邻近照相机屏幕的中心的直线和以跟踪照相机屏幕的中心开始并且指向下(0度)的直线间的角度等于对应的屏幕安排角度的位置处、安排邻近照相机屏幕。

图24A和24B中，在邻近照相机列表中包括两个照相机。这是第一照相机A的屏幕安排角度是100度而第二照相机B的屏幕安排角度是220度的屏幕安排例子。如图24B屏幕安排例子中所示，连接照相机A屏幕的中心的直线和以跟踪照相机屏幕的中心开始并指向下的直线间的角度是100度。在连接照相机B屏幕的中心的直线和以跟踪照相机屏幕的中心开始并指向下的直线间的角度是220度。

图25A到25C显示典型照相机安装中的操作例子。

在图25A中，在直线的通道中互相面对定位两个照相机。邻近照相机的屏幕安排角度是180度并且在跟踪照相机屏幕上方安排邻近照相机屏幕。当跟踪目标移入通道时，跟踪目标向上移动并且被向上跟踪然后作为下一个照相机屏幕出现在邻近照相机屏幕上。因此依照跟踪目标的移动，可以平滑地将检查员的视线引导到下一个照相机屏幕。

在图25B中，在L型通道中互相面对地安排两个照相机。邻近照相机的屏幕安排角度是90度并且将邻近照相机屏幕安排到跟踪屏幕的右边。当跟踪目标移入通道时，人向上再向右在跟踪照相机屏幕上移动然后从屏幕消失。然后人出现在邻近照相机屏幕上。当人消失时，检查员只需向右移动他/她的视线以在他/她的视线中捕获人。

在图25C中，3个照相机互相面对面安排在T型通道中。邻近照相机A的屏幕安排角度是135度而邻近照相机B的屏幕安排角度是225度。在图25C的例子中，跟踪目标将转向左或右。在任一情形，通过跟踪跟踪照相机屏幕上的人可以捕获将出现人的邻近照相机屏幕。因此，当切换监控屏幕时检查员能很好地保持跟踪跟踪目标。

这样，依据第二实施例，为了反映监视照相机的安装位置，在监视终端上提供用于产生照相机屏幕的安排布局的屏幕布局产生装置2001。结果，提供了视频监视系统，其中即使在跟踪目标已移动并且拍摄照相机已改变的情形，检查员能保持跟踪跟踪目标。

在该实施例中，当安排邻近照相机屏幕时，依照跟踪照相机的拍摄中心坐标和邻近照相机屏幕的拍摄中心坐标间的距离，屏幕布局产生装置2001可以确定邻近照相机屏幕的大小或从跟踪照相机屏幕确定邻近屏幕的距离。

图26A和26B显示与拍摄中心坐标间的距离成反比而确定邻近照相机屏幕的屏幕大小的屏幕安排例子。跟踪照相机的拍摄中心和邻近照相机A的拍摄中心间的距离是10米并且跟踪照相机的拍摄中心和邻近照相机B的拍摄中心间的距离是5米。作为两倍距离的选择的照相机A的屏幕被显示为选择的照相机B的屏幕的四分之一大小。

图27A和27B显示与拍摄中心坐标间的距离成反比而确定邻近照相机屏幕的屏幕大小的屏幕安排例子。跟踪照相机的拍摄中心和邻近照相机A的拍摄中心间的距离是跟踪照相机的拍摄中心和邻近照相机B的拍摄中心间的距离的两倍。安排屏幕使得跟踪照相机屏幕的中心和邻近照相机屏幕A的中心间的距离将是600像素，其是作为300像素的、在跟踪照相机屏幕的中心和邻近照相机屏幕B的中心间的距离的两倍。

这样，通过依照照相机间的距离确定屏幕大小和屏幕间的距离，本发明提供允许检查员容易地理解照相机间的距离的视频监视系统。

(实施例3)

参照图28，以下描述依据第三实施例的视频监视系统。

图28是依据本发明的第三实施例的视频监视系统的方块图。

在图28中，数字103到114与依据图1中显示的第一实施例的视频监视系统的各装置一样。

数字2801代表用于将照相机图像发送到网络上的监视终端的照相机服务器。数字2802代表用于显示屏幕上的从照相机服务器2801接收的图像的视频监视服务器。

图28中的网络装置和各装置与图1中显示的第一实施例的那些一样，除了视频监视服务器2802包括移动方向检测装置106，并且照相机服务器2801和视频监视服务器2802每个不包括移动方向发送装置107或移动方向接收装置109。

在依据第三实施例的视频监视系统中，视频监视服务器2802包括与位于监视区域中的照相机数量一样多的单元的照相机图像接收装置108。照相机图像接收装置108的每一个单元不断地接收来自预定的照相机服务器2801的图像，从接收的图像数据通过图2中显示的操作流程计算跟踪目标的移动方向，并且将移动方向数据输出到照相机选择装置112，从而显示来自拍摄跟踪目标的照相机的图像和来自将接着拍摄跟踪目标的邻近照相机的图像。即使在拍摄跟踪目标的照相机已经改变的情形，这也提供保证检查员将从不失去跟踪目标的跟踪的监视系统。

依据本发明，首先，拍摄跟踪目标的照相机图像和将接着拍摄跟踪目标的照相机图像是同时地被显示在设置多个监视照相机的环境中的监视终端屏幕上。因此可以提供一种视频监视系统：即使当跟踪目标已经移出拍摄跟踪目标的照相机的视域外，该视频监视系统也容易地在下一照相机图像捕获跟踪目标，而即使在拍摄跟踪目标的照相机已经改变的情形，该视频监视系统也保证检查员将从不失去跟踪目标的跟踪。

其次，可以提供一种视频监视系统：在终端屏幕上同时显示多个照相机图像的情形，通过在检查员能跟踪移动跟踪目标的方向、安排显示来自将接着拍摄跟踪目标的照相机的图像的屏幕，当拍摄跟踪目标的照相机已改变而检查员没有在视线中失去跟踪目标的定位时，该视频监视系统适当地指引检查员的视线。

其三，可以提供一种视频监视系统，其允许检查员容易地理解：在终端屏幕上同时显示多个照相机图像的情形，通过依照拍摄跟踪目标的照相机和将接着拍摄跟踪目标的照相机间的距离，确定来自将接着拍摄跟踪目标的照相机的图像的屏幕的屏幕大小，从而显示出的照相机的位置。

其四，可以提供一种视频监视系统，其允许检查员容易地理解：在终端屏幕上同时显示多个照相机图像的情形，通过依照拍摄跟踪目标的照相机和将接着拍摄跟踪目标的照相机间的距离，确定来自将接着拍摄跟踪目标的照相机的图像的屏幕的距离，从而显示出的照相机的位置。

Claims (10)

1.一种在监视区域中通过多个照相机监控作为跟踪目标的移动物体的视频监视系统，所述系统包括：

多个照相机；

移动方向检测装置，用于根据用所述照相机拍摄的图像检测跟踪目标的移动方向；

地图信息存储装置，用于存储有关所述监视区域的地图信息；

照相机位置存储装置，用于存储所述监视区域中的所述多个照相机的位置和成像范围信息；

照相机选择装置，用于从有关跟踪目标的移动方向信息、有关所述区域的地图信息和所述多个照相机的位置和成像范围信息，选择将接着拍摄跟踪目标的照相机；

屏幕合成装置，用于在屏幕上合成来自拍摄所述跟踪目标的照相机的图像和来自由所述照相机选择器选择的照相机的图像，以及

屏幕显示装置，用于显示由所述屏幕合成装置合成的图像。

2.一种监视视频合成装置，包括：

移动方向检测装置，用于检测用照相机拍摄的跟踪目标的移动方向；

地图信息存储装置，用于存储有关监视区域的地图信息；

照相机位置存储装置，用于存储所述监视区域中的所述多个照相机的位置和成像范围信息；

照相机选择装置，用于从有关跟踪目标的移动方向信息、有关所述区域的地图信息和所述多个照相机的位置和成像范围信息，选择将接着拍摄跟踪目标的照相机；以及

屏幕合成装置，用于在屏幕上合成来自拍摄所述跟踪目标的照相机的图像和来自由所述照相机选择器选择的照相机的图像。

3.根据权利要求2所述的监视视频合成装置，所述装置还包括：

屏幕布局装置，用于同时显示来自拍摄在屏幕的中心的所述跟踪目标的照相机的图像和照相机的位置。

4.根据权利要求2或3所述的监视视频合成装置，

其中所述布局装置从另一照相机产生显示图像，对应所述一个照相机的拍摄中心和所述另一个照相机的拍摄中心间的距离，所述另一照相机以来自所述一个照相机的图像的大小的比率的大小被显示。

5.根据权利要求2或3所述的监视视频合成装置，

其中所述布局装置从另一照相机产生显示图像，以对应所述一个照相机的拍摄中心和所述另一照相机的拍摄中心间的距离的图像大小、安排所述另一照相机。

6.根据权利要求2所述的监视视频合成装置，

其中照相机选择装置存储在拍摄跟踪目标的照相机，并且

其中屏幕合成装置产生显示图像，所述显示图像既显示来自由所述照相机选择装置存储的所述照相机的图像，又显示来自当前在拍摄跟踪目标的一个照相机的图像。

7.根据权利要求6所述的监视视频合成装置，

其中照相机选择装置存储在拍摄跟踪目标的照相机，并且

其中屏幕合成装置安排来自按时间次序在拍摄跟踪目标的照相机的图像，所述照相机由所述照相机选择装置存储。

8.一种用于在监视区域中监控作为跟踪目标的移动物体的视频监视系统的监视图像产生方法，其特征在于包括步骤：

1)先存储有关监视区域的地图信息、有关照相机位置的信息和成象范围信息；

2)根据来自一个照相机的包括所述跟踪目标的图像，检测所述跟踪目标的移动方向；

3)选择接着应该拍摄所述跟踪目标的至少一个另外的照相机；以及

4)产生包括来自所述一个照相机的图像和来自所述至少一个另外的照相机的图像的显示图像。

9.根据权利要求8所述的监视图像产生方法，

其中在步骤4)中，从该一个照相机和至少一个另外的照相机在地图上能近似照相机位置的位置处安排图像，由此产生显示图像。

10.一种视频监视服务器，包括：

地图信息存储装置，用于存储有关监视区域的地图信息；

照相机位置存储装置，用于存储所述监视区域中的所述多个照相机的位置和成像范围信息；

图像接收装置，用于接收来自所述多个照相机的图像；

移动方向检测装置，用于从由所述图像接收装置接收的图像、检测作为跟踪目标的移动物体的移动方向；

照相机选择装置，用于从有关跟踪目标的移动方向信息、有关所述区域的地图信息和所述多个照相机的位置和成像范围信息，选择将接着拍摄跟踪目标的照相机；以及

屏幕合成装置，用于在屏幕上合成来自拍摄所述跟踪目标的照相机的图像和来自由所述照相机选择器选择的照相机的图像。

Images