CN1610929A - 可以处理异步多路复用视频的视频监视和警戒系统 - Google Patents

可以处理异步多路复用视频的视频监视和警戒系统 Download PDF

Info

Publication number
CN1610929A
CN1610929A CNA02826438XA CN02826438A CN1610929A CN 1610929 A CN1610929 A CN 1610929A CN A02826438X A CNA02826438X A CN A02826438XA CN 02826438 A CN02826438 A CN 02826438A CN 1610929 A CN1610929 A CN 1610929A
Authority
CN
China
Prior art keywords
state
input picture
image information
input
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA02826438XA
Other languages
English (en)
Inventor
A·科尔门阿雷茨
S·V·R·古塔
M·特拉伊科维克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1610929A publication Critical patent/CN1610929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的多个方面可用于对异步多路复用的视频信号进行多路分解，该多路复用的视频信号包括从多个不同摄像机得到的图像。图像匹配技术用于将输入图像分配给状态。经过一定时间后，状态的数目将大体上等于输入摄像机的数目。可以通过很多种技术来模型这些状态，这些技术包括例如直方图分析、分群和隐藏马尔可夫模型分析。将输入图像分配给状态，将输入图像按照与这些状态相关联的形式输出。可以从一个或更多状态对图像系列执行区域警戒。区别并报告任何出现的事件。

Description

可以处理异步多路复用视频的视频监视和警戒系统
本发明涉及视频警戒系统，特别是涉及可以处理多个摄像机提供的异步多路复用视频的视频监视和警戒系统。
通常利用可以处理由一个单独摄像机提供的多个图像的算法，来实现计算机视觉监视和警戒系统。在这些系统中，将一个摄像机提供的视频输入视频警戒系统，该视频警戒系统利用计算机视觉算法来确定视频图像中的事件。这些事件例如可以包括在一区域中出现未被授权的人，队伍太长，门没有关，灯没有关或烟雾。
还存在基于多个摄像机计算机视觉的监视系统。这些多摄像机的装备需要(i)可以被独立处理的多个视频输入；或(ii)可计算机控制的多路复用器，它可以在任意给定时间从多个摄像机中单独地选择出将要发送给算法的视频输入。通常，可以由计算机控制的帧精确多路复用器(这里称为“同步”多路复用器)比那些需要异步地从一个摄像机切换到另一摄像机的多路复用器要贵很多。
但是，异步视频多路复用器的问题在于它们的切换事先并不知道。换句话说，可以在多路复用器开始切换之前确定，或者可以通过利用计算机接口进行设定的方式将同步视频多路复用器从一个摄像机切换到另一个摄像机。异步视频多路复用器并不是按照已知的方式进行摄像机之间的切换，且这种切换通常也是不可编程的。当操作人员操作视频监视系统时，使用异步多路复用器也没有特别的缺点，这是因为即使当显示器仅示出视频多路复用流中从一个摄像机提供的视频的特定数目帧时，操作人员也可以通过视频显示来确定正在显示哪个房间。而且操作员也可以相对容易地确定在各个房间中正在发生的事件。
但是，目前的计算机视觉算法并不能对异步视频多路复用器提供的视频进行分析。因此，需要提供一种视频监视和警戒系统，它可以使用异步视频多路复用器同时可以适当监视多个摄像机馈入中每一个中发生的事件。
总的来说，本发明提供了视频监视和警戒系统，它可以处理由多个摄像机提供的异步多路复用的视频。本发明的多个方面对异步多路复用的视频信号进行多路分离，该异步多路复用的视频信号包括从多个不同摄像机提供的多个图像。
在本发明的一个方面中，接受输入图像并将其与多个状态比较。输入图像是从包括由多个不同摄像机提供的多个图像的信号中得到的。当输入图像与一状态匹配时，将该图像分配给该状态。通常通过根据输入图像产生输入图像信息，并将该输入图像信息与从各状态中得到的状态图像信息进行匹配，来执行这种匹配。可以通过多种已知技术例如隐藏马尔可夫模型、直方图、或分群来对这些状态建立模型。
在本发明第二方面中，根据异步多路复用的视频信号来确定每一输入图像。在该方面中，经过一定时间后，每个状态都应当对应一个输入摄像机。每个输入图像应当匹配一个状态，应当确定每个输入图像所属的状态。一旦输入图像与状态匹配以后，就可以将该输入图像分配给该状态，并按照该输入图像属于该状态的形式输出该输入图像。随后，随机选择一摄像机，并将向被选择摄像机提供的图像分配一个状态。由于该状态对应被选择摄像机，因此该图像是从异步多路复用的视频信号中多路分解出来的，且这种多路分解是在事先不知道这些图像怎样处于该异步多路复用的视频信号上的情况下进行的。
在本发明的第三方面中，对各种输出图像进行分析来确定对应各状态的区域事件。在经过一定时间后，区域事件对输入摄像机应是特定的。这些事件可包括紧急事件例如火灾或烟雾、非授权进入以及排队管理等。
在本发明的第四方面中，在输入图像不能与当前存在状态匹配的情况下，需要增加新的状态。因此，本发明的该方面可以在没有状态的情况下开始，并在经过一定时间后，产生出一定数目的状态。经过一定时间后，状态的数目应当等于输入摄像机的数目。另外，这些状态可以被删除。
在本发明的第五方面中，通过隐藏马尔可夫模型(HMM)来对状态建立模型。该HMM不仅允许确定状态，而且允许确定状态之间的转换。在训练期结束后，HMM可以为每个输入摄像机建立一个状态，还可以建立这些状态之间的转换。这些转换可以示范异步视频多路复用器如何在摄像机之间进行切换，怎样使用该异步视频多路复用器从而更好的估算输入图像属于哪个摄像机。
下面将参照详细说明和附图来对本发明和本发明的其它特征和优点进行更为完整的理解。
图1示出根据本发明优选实施例的示例性视频监视系统；
图2示出图1中所示的示例性视频监视系统的结构方块图，该视频监视系统按照本发明优选实施例操作。
图3示出根据本发明优选实施例，用于摄像机多路分解的示例性方法的流程；
图4示出根据本发明优选实施例，模型摄像机视图的示例性状态图；
图5示出根据本发明优选实施例，示例性状态信息存储器区域的方块图。
参照图1，示出按照本发明优选实施例进行操作的示例性视频监视系统100的方块图。该视频监视系统100包括多个摄像机110-1到110-N(通称为“摄像机110”)，摄像机馈给线115-1到115-N(通称为“摄像机馈给线115”)，和异步视频多路复用器120，多路复用的摄像机输出125，和视频警戒系统130。所示视频警戒系统130与数字通用光盘(DVD)135和网络交互作用。
视频警戒系统130包括处理器140和存储器145。存储器145包括图像拾取器145、当前图像155、摄像机多路分解处理300、图像信息165、状态信息170、区域警戒处理175和区域事件180。
异步视频多路复用器120是一个视频多路复用器，它在多个摄像机110和它们相关摄像机馈给线115之间进行异步切换。所谓“异步”，即异步视频多路复用器120在多个摄像机110之间切换的顺序为未知或顺序不能编程。该异步视频多路复用器120产生多路复用的摄像机输出125，该输出125包括摄像机馈给线115提供的多个图像。希望异步视频多路复用器120可以在摄像机馈给线115之间进行切换，从而从各摄像机得到完整的图像(或帧)。但是这不是必需的。
因此异步视频多路复用器120产生视频流(即，多路复用后摄像机输出125)，该视频流包括不同摄像机110提供的多个图像。这些图像并不处于预定的顺序。例如，异步视频多路复用器120可用于具有四个摄像机(即N等于四)的系统100中。在特定时间段期间，异步视频多路复用器120可以按照摄像机110-1、110-4、110-2、110-1、110-4、110-3和110-1这样的顺序从摄像机中选择图像。在一个不同的时间段期间，其中这两个时间段可以能具有相同的时间长度，异步视频多路复用器120可以从摄像机110-4、110-3、110-2和110-4中选择图像。
本发明的多个方面考虑到对异步视频多路复用器120如何在多个摄像机之间进行切换的仅有有限了解。因此本发明并不对摄像机何时切换和多路复用器将在摄像机上保持多长时间进行完整的说明，而是通过创建和细化多个状态并将图像分配给这些状态来进行描述。当实践本发明时，如果各摄像机打开且利用适当光量观察一个位置时，本发明应为每个摄像机创建一个状态。这样，不论多路复用器120如何切换，本发明应能够将多路复用的视频信号多路分解为独立的摄像机画面。
开始多路分解的一种方法是通过对从一单个摄像机输入的单个图像工作。图像获取器150通过本领域公知的技术，从多路复用的摄像机输出125中获取一个图像。该图像获取器获取单个图像，并使该图像作为图像多路分解处理300中的当前图像155。图像获取器150还可以将模拟视频转换为数字图像，如果该步骤还没有执行的话。
摄像机多路分解处理300可以从当前图像155中提取图像信息165。概括地说，摄像机多路分解处理300使用图像匹配技术将当前图像155与所存储的图像相匹配，其中每个存储的图像都对应一个状态。例如，摄像机多路分解处理300利用下面将要详细说明的图像匹配技术，将当前图像155与存储在状态信息170中的多个状态的每个的图像信息进行匹配。如果它们匹配，则将当前图像155分配给该匹配状态，摄像机多路分解处理300按照当前图像155属于该 匹配状态的形式，输出该当前图像155。
然后区域警戒处理175确定该状态属于哪个区域并处理该当前图像155。应当注意区域警戒处理175是对图像信息165而不是当前图像155进行处理，或者对图像信息165与当前图像155的结合进行处理。区域警戒处理175可以确定例如多少人正在排队(例如在银行柜台队列(bank teller line))，灯是否开着，是否有一个或更多人处于非授权区域，或是否存在烟雾或火。区域警戒处理175可以产生区域事件180，该事件180包括危险警报、异常人或物的指示，队列大小或相关警报，或其它信息。
操作者可以调整区域警戒处理175，从而调节摄像机多路分解处理300的输出使其更好地与摄像机110匹配。这将参照图2更为详细的说明。
如上所述，摄像机多路分解处理300使用图像匹配技术将当前图像155与和状态信息170中的状态相关的图像进行匹配。通常如果不是全部也是大多数图像自身可以用于比较，则图像匹配方法可以从图像中提取信息并使用提取出的信息用于匹配。
例如，一种用于图像匹配的相对较为简单的技术使用直方图。一个直方图是处于特定值的像素的数目。简单的直方图使用灰度级，它是图像的二维表示。更为复杂的直方图使用三维或更多维，例如使用颜色、饱和度、和亮度(HSI)直方图。对于基于直方图的处理，图像信息165可以是直方图。将该直方图与状态信息170中的其它直方图进行比较，在该状态信息170中每个状态都与至少一个直方图相关联。如果通过度量确定直方图相似，则确定匹配。一个可能的度量是直方图相交度量，这在M.Swain和D.Ballard在国际期刊计算机视觉(International Journal Computer Vision)7：1，11-32(1991)中的“彩色索引”中有所描述，该文中公开的内容已经通过参考结合在本专利中。参照图4说明示例性状态图，参照图5说明示例性状态信息存储器170。
如果当前图像155与状态信息170中的状态不匹配，则摄像机多路分解处理300可以创建新的状态并为该新状态存储图像信息165。下面将说明摄像机多路分解处理300的其它特征。
其它匹配方法也可以使用。例如，很多图像处理系统确定图像的特征。这些特征包括它的离散余弦变换(DCT)和系数，像素值平均值，协方差、和其它数学工具。另外，可以检查图像的唯一方面。例如一个摄像机可以观察具有很多角落、图画、电视、或其它可视显著目标的房间。这些区域可用于区分图像。
当确定了特征以后，图像信息165可以描述这些特征。将从当前图像155中得到的特征与状态信息170的多个状态中的每个中的存储特征进行比较。不同的特征定义了特征空间。一种确定如何将特征空间分为有序部分的技术称为分群。在分群中，根据很多特征组来确定特定的类别。这些类别可以被用作本文中的状态。一旦确定了类别，然后就可以将一未知的特征组分配给类别之一，或创建其它类别。
另一种通常使用特征空间的技术是隐藏马尔可夫模型(HMM)。一个HMM包括多个状态，这些状态是通过可能性来确定的。另外，HMM通常包括各状态之间的转换。在Donald O.Tanguay所著的“用于手势识别的隐藏马尔可夫模型”(1995)(麻省理工大学，未公开Ph.D.论文)中描述了对图形识别的介绍，其中包括了分群和HMM，其公开的内容已经通过引用结合在本文中。HMM的优点在于这些模型不仅提供了分群，而且提供了与这些群相关的转换。
应当注意视频警戒系统130不需要包括存储器150中所示的每一设备。例如，图像拾取器150可以是独立应用设备，它将当前图像155馈给到视频警戒系统130中。相似的，区域警戒处理175和区域信息180也可以从视频警戒系统130中分离出来。图1中所示的视频警戒系统130和视频监视系统100仅是示例性的。
作为本领域公知技术，这里所讨论的方法和装置可以被分类为制造产品，它自身包含计算机可读介质，该介质上具有计算机可读编码装置。计算机可读程序编码装置可以与计算机系统例如视频监视系统100结合来操作，执行所有或部分步骤从而执行该方法或创建这里所述的装置。计算机可读介质是可记录的介质(例如软盘、硬盘驱动器、密度盘例如DVD135或存储卡)，或者也可以是传输介质(例如包括光纤的网络、互联网、电缆，或使用时分多址、码分多址的无线信道，或其它射频信道)。可以使用任何已知或已开发的可以存储适用于计算机系统的信息的介质。该计算机可读编码装置可以是任何可以使计算机读取指令和数据的机构，该指令和数据可以例如是磁介质上的磁变化或密度盘例如DVD135表面上的高度变化。
存储器145可以使处理器140执行本文中描述的方法、步骤和功能。该存储器145可以是分布式的本地的，该处理器140可以是分布式的或独立的。该存储器145可以是电、磁或光存储器，或这些类型或其它类型存储设备的任何组合。词汇“存储器”可以被广泛理解为足以包含任何信息，该信息可以从由处理器140可访问的可寻址空间中的地址读取出来或写入地址。通过这种限定，网络上的信息也处于视频监视系统100的存储器145内，因为该处理器145可以从网络中获取该信息。应当注意可以将该视频监视系统100的全部或部分制成为集成电路或其它相似设备，例如可编程逻辑电路。
现在参照图2，图1的示例性视频监视系统100的结构方块图200示出根据本发明的优选实施例操作。每个摄像机110都引出一个摄像机馈给线115，该馈给线馈入异步视频多路复用器120中。该异步视频多路复用器120然后将备摄像机的图像多路复用成为多路复用的摄像机输出125。这些图像是异步多路复用的，因此事先并不知道对摄像机馈给线115采样和从这些馈给线捕获图像的顺序。
图像获取器150从多路复用的图像输出125中确认单独的图像。应当注意该图像获取器150可以忽略从异步视频多路复用器120中输出的分图像，异步视频多路复用器120可以产生分图像。或者，可以将具有预定数目有效像素的分图像置于当前图像存储位置中。在图1和2的例子中，由图像获取器150来创建当前图像155。
摄像机多路分解处理300处理当前图像155，并根据当前图像155产生图像信息165。根据上面的描述和下面的详细说明，图像信息可以为直方图信息或多个特征，例如多个离散余弦转换(DCT)系数、平均值、协方差、以及其它本领域公知的特征。
该摄像机多路分解处理300还可以控制并确定状态信息170，下面将参照图4描述其结构性例子。状态信息170通常包含多个状态，每个状态具有自己的图像信息。该摄像机多路分解处理300将图像信息165与状态信息170中的每一状态的图像信息进行比较，并确定它们是否匹配。如果它们匹配，则将当前图像分配给该特定状态，并将该当前图像以属于该状态的形式输出。在图2的例子中，摄像机多路分解处理300产生输出215-1到215-M(总称为“215”)。每个输出对应一个状态。这样，如果例如当前图像155被分配给状态2，当前图像155将被输出到输出端215-2。
如果当前图像155不对应任何状态，则可以使用该图像信息165在状态信息170中创建一个额外的状态，从而产生一个额外的输出215。
希望经过一段时间，输出215(即，M)的数目将等于摄像机馈给线115的数目(即，N)。但是，在特定情况下并不如此。例如，如果两个摄像机观看漆黑区域，则可能将这两个摄像机输出的图像合并到一个状态。
区域警戒处理175检查用于区域事件180的每一输出215。这些事件180可以包括队列长度、特定区域内非授权人的警告、灯是否亮着。该区域警戒处理175还可以包括一从状态到摄像机110的映射。例如，操作者可以确定状态2属于摄像机5，并编程该区域警戒处理175将分配给状态2的图像标记为是从摄像机5输出的。另外，区域警戒处理175可以简单地从该状态或具有区域事件的状态切换并在其上显示图像。这将允许操作者确定哪个图像110并因此确定哪个区域具有区域事件。
现在参照图3，其中示出了根据本发明优选实施例用于摄像机多路分解的方法。方法300由系统使用以便对多路复用后的摄像机信号进行多路分解，其中多路复用后的摄像机信号包含从不同摄像机输出的图像。该多路复用后的摄像机信号可以包含一个图像序列，这些图像是从多个摄像机中同步确定的。这意味着摄像机的旋转方案及观看各摄像机所花的时间是已知的。但是通常，多路复用的摄像机信号将包含从多个摄像机异步确定得到的图像序列。这意味着摄像机旋转方案或观看各摄像机所花的时间都是未知的。方法300希望可以根据多路复用的摄像机信号重新创建各摄像机馈给。
方法300从步骤310开始，在步骤310中根据输入图像确定了输入图像信息。该输入图像信息可以是直方图数据。输入图像信息可以是例如DCT系数、平均值、协方差测量值等特征，也可以是本领域公知的其它特征。在Petkovic等在西班牙Marbella举行的显示、成像和图像会议记录(Int′l conf.On Visualization Imaging and ImageProc.)(2001年9月)中所作的“利用隐藏马尔可夫模型识别网球视频中的击球”中，讨论了用于描述网球运动员动作的特征提取，其中公开的内容已经通过引用结合在本文中。另一种可能的特征提取是各图像的压缩色度特征。描述利用压缩色度特征来表示视频数据帧的参考文献是Lu等在加拿大、Ottawa的ACMMultimedia(2001年9月-10月)中所作的“利用隐藏马尔可夫模型对压缩色度特征进行简化视频分类(Classification of Summarized Video using HiddenMarkov Models on Compressed Chromaticity Signatures)”，其中公开的内容已经通过引用结合在本文中。
在步骤315中，确定当前是否存在状态。如果当前没有状态存在(步骤315＝否)，则将图像信息与一初始状态相联系，并创建一初始状态(步骤325)。然后直到下一图像已经可用于分析时，方法结束。
如果当前存在状态(步骤315＝是)，则通过已知技术执行图像匹配。例如，可以确定直方图为输入图像信息(步骤310)。然后可以将该直方图与其它所存储的各种状态的直方图进行比较，以确定是否匹配。
如果使用分群，则输入图像信息通常为预定数目的特征。这些特征通常被放置在称为特征向量的向量中。分群通常包括确定特定群在特征空间中驻留的位置。换句话说，向一个群分配有一定量的特征空间。如果输入图像的特征处于这样的一定量的特征空间中，则将该输入图像分配给该群。
例如，如果有两个特征，则特征空间为一个平面。可以将一个群分配给该平面的特定区域。可以对该输入图像来确定这两个特征的值，并将这两个特征值用作输入图像信息。基本上，在该平面上由这两个特征描述的位置处设置一个点。如果该点处于分配给该群的区域中，则将该图像分配给该特定群。确定向一个群分配了多少特征空间以及这些群所处的位置通常称为分群，而将一未知向量与一群相联系称为分类。
这里有很多技术可用于判断群，例如K均值算法。该K均值算法在上面已经引用的Tanguay中有详细描述。通常，在训练期间，可以使用某些类型的度量来确定哪种特征向量应当被分群在一起以创建一特定群。
另一可用于图像匹配的技术是使用HMM。通常HMM可使用相似的技术来分群。实施上，HMM也经常用于分群和分类。这样，特征向量可以同时用于分群和HMM。但是，HMM的基础是可能性，而分群的基础通常是平均值或距离测量值。例如，在一HMM中的状态模拟一种事件(例如特定特征向量)发生的可能性。转换可能性模拟从一个状态到另一个状态转换的可能性。图4示出示例性HMM。
在步骤330中，确定输入图像是否与一状态匹配。该步骤取决于图像怎样代表。如果使用直方图，则可以通过比较输入图像信息和对应各状态的图像信息之间的直方图，并在它的各值与输入图像直方图的各值可以相比时发现一状态直方图，确定合适的度量，得出预定值中存在误差。根据本领域公知常识，分群和HMM可以根据特征向量使用相似的度量。
如果输入图像与一状态匹配(步骤330＝是)，则将该图像分配给该状态并按照已经分配给该状态的形式输出该图像(步骤345)。相反，如果输入图像并不与一状态匹配(步骤335＝否)，则利用输入图像信息增加一新状态(步骤335)。此时可以分配分群信息，例如分配给新群的特征空间区域。另外，还可以初始化和分配其它任何必需的信息。
如果使用HMM，则可以为该新状态创建状态转换(步骤340)。在步骤340期间可以为这些转换分配多个值。
如果步骤345或步骤340均已被执行，则执行步骤350。在步骤350更新状态信息。例如，在该步骤中可以更新转换可能性，同样可以更新状态可能性。对于分群，可以利用最后的特征向量提供该群的其它定义。例如，可以由多维高斯分布来表示一个群，它具有平均值和协方差。可通过利用最后特征向量来更新该平均值和协方差。
在步骤355中，方法300确定是否应当删除一状态。如果摄像机已经关闭或者房间内的灯已经关闭从而导致摄像机不能利用足够光来产生可分辨图像，则删除状态。在这些情况下，可以删除原始状态。在后一种情况下，当灯关闭时，可以创建一个新的状态并删除旧的状态。
如果应当删除状态(步骤355＝是)，则在步骤360中删除状态。如果不应当删除状态(步骤355＝否)，则方法300结束。
应当注意，如果本发明中使用HMM，则下面通过引用结合在本文中的内容将描述增加和去除HMM状态：Colmenarez和Gutta在2000年11月6日申请的美国专利申请No.09/706668、“用于确定信号处理系统中对应隐藏马尔可夫模型的状态数目的方法和装置”。Colmenarez和Gutta描述的该技术可用于增加和去除HMM状态。
还应当注意，如果需要，也可以对方法300进行修改以适用于训练。例如，经常对训练数据进行分群，其中与向量相联系的特征向量和群都是已知的并被输入到系统中。
现在参照图4，其中示出了根据本发明优选实施例的模型摄像机视图的示例性状态图400。状态图400包括三个状态410、420和430，和状态转换416、417、418、426、427、436、438和439。如果使用HMM来模型摄像机图像，则将使用状态转换416、417、418、426、427、436、438和439。通常对于其它方案不使用状态转换。
每个状态转换都模型出只要系统处于当前状态时，转换到另一状态的可能性。换句话说，该转换416模型出从状态410转换到状态410的可能性。相似地，转换417模型出从状态410转换到状态420的可能性。
在本发明中，HMM不仅模型出摄像机输出的图像，而且还模拟出视频多路复用器从特定摄像机捕获到图像所需的时间以及视频多路复用器选择摄像机时的顺序。
开始，状态图400通常不包含状态。但是，对于状态图400也可能从具有与摄像机数目相等数目的状态开始。当操作者设定状态图400具有适当数目的状态时，将会发生后一种情况。不论该状态图如何开始，都会将第一输入图像分配给状态410。随着时间的过去，将从不同摄像机输入图像，将要确定对应各状态和各状态转换的可能性。这些分析对本领域技术人员是已知的。例如，在Colmenarez和Gutta、Tanguay、Lu和Petkovic等中都讨论了对图像的HMM分析，他们中的每一个都已经通过引用结合在本文中。
现在参照图5，示出根据本发明优选实施例的示例性状态信息存储区域170。该状态信息区域170用于存储关于HMM状态的数据。该示例性状态信息区域170包括分别对应状态410、420和430的状态信息510、520和530以及编码本540。每个状态信息510、520和530分别包括图像信息511、521和531，转换信息512、522和532以及统计信息513、523和533。图像信息511、521和531包括用于比较图像的信息。如上所述，该信息可包含直方图、可能性密度、群区域、特征向量或其他本领域公知的信息。转换信息512、522、532包括关于状态转换的数据。例如，转换信息512可包含关于每一转换416、417和418的信息(见图4)，例如各转换结束时所处的状态、转换发生的次数、转换的总次数。
该统计信息513、523和533包括关于各状态的数据。例如，统计信息513可包含状态出现的次数、状态已经出现的总次数、以及状态的总数目。作为说明，可以有三个状态，其中一个状态已经出现10次，所有状态已经出现30次。状态出现一次的可能性为1/3。
如本领域技术人员所公知，编码本540是将通常以向量形式存储的输入图像信息映射为HMM状态之一，并为各状态提供可能性的设备。通常，该可能性是从多维高斯函数得出的，且可以在训练中确定出来。
当使用其他类型的图像定量技术，例如直方图方法或分群时，可以相应地修改图4和5。
应当理解这里所示和所描述的实施例和变化形式仅是本发明原理的示例性说明，本领域技术人员在不脱离本发明范围和精神的情况下可以实现多种不同的修改。

Claims (16)

1.一种方法，包括：
将输入图像(115)与多个状态(例如410)之一匹配，输入图像(155)是从包括由多个摄像机(125)提供的图像的信号中确定的；和
当输入图像(155)与状态(例如410)之一匹配时，将该输入图像(155)分配给该个状态(例如410)。
2.如权利要求1所述的方法，其中：
该方法还包括以下步骤：
--从包括由多个摄像机(125)提供的图像的信号中确定一输入图像(155)；和
--根据输入图像(155)确定输入图像信息(165)；
匹配步骤还包括将该输入图像信息(165)与对应至少一个状态(例如410)中每一个的状态图像信息(170)进行比较的步骤；和
分配步骤还包括当输入图像信息(165)与状态(例如410)之一的状态图像信息(170)匹配时，将该输入图像(155)分配给该个状态(例如410)的步骤。
3.如权利要求2所述的方法，其中：
比较的步骤还包括以下步骤：
--确定是否存在至少一个状态(例如410)；和
--当没有存在至少一个状态(例如410)时，增加对应该输入图像(155)的新状态(例如410)；和
分配步骤包括以下步骤：
--将输入图像(155)分配给该新状态(例如410)。
4.如权利要求2所述的方法，其中：
比较的步骤还包括以下步骤：
当输入图像信息(165)不与至少一个状态(例如410)中的每一个的信息中的任一个匹配时，增加对应该输入图像(155)的新状态(例如410)；和
分配步骤包括以下步骤：
--将该输入图像(155)分配给新状态(例如410)。
5.如权利要求2所述的方法，其中至少一个状态(例如410)包括多个状态(例如410)，其中该方法还包括执行训练以确定该多个状态(例如410)的步骤。
6.如权利要求2所述的方法，还包括输出输入图像(155)的步骤，该输入图像按照与一个状态(例如410)相关联的形式输出。
7.如权利要求2所述的方法，其中信号(125)上的图像是异步确定的。
8.如权利要求7所述的方法，还包括将图像多路复用到信号(125)上的步骤，执行多路复用的步骤，其中多个摄像机之间的切换顺序是非预定的。
9.如权利要求2所述的方法，其中信号(125)上的图像是同步确定的。
10.如权利要求2所述的方法，还包括以下步骤：
输出输入图像(155)，该输出步骤将该输入图像(155)与一个状态相关联；
确定输入图像(155)上是否发生事件，该确定步骤将与一个状态(例如410)相关的前面图像与当前图像进行比较。
11.如权利要求2所述的方法，其中当比较该输入图像信息(165)与一个状态的状态图像信息(170)的度量落入预定值内时，输入图像信息(165)与该一个状态的状态图像信息(170)匹配。
12.如权利要求2所述的方法，其中：
根据输入图像(155)确定输入图像信息(165)的步骤包括根据输入图像(155)确定直方图的步骤；
比较步骤包括将输入图像(155)的直方图与对应至少一个状态中的每一个的直方图进行比较的步骤；和
分配步骤包括当输入图像(155)的直方图与一个状态的直方图在预定误差内匹配时，将输入图像(155)分配给状态中的一个的步骤。
13.如权利要求2所述的方法，其中：
根据输入图像(155)确定输入图像信息(165)的步骤包括根据输入图像(155)确定多个特征的步骤；
比较步骤包括将输入图像(155)的特征与对应至少一个状态(例如410)的多个特征中的每一个进行比较的步骤；和
分配步骤包括当输入图像(155)的特征与一个状态的特征在预定误差内匹配时，将输入图像(155)分配给状态中的一个(例如410)的步骤。
14.如权利要求13所述的方法，其中状态中的每个(例如410)包括隐藏马尔可夫模型(HMM)的状态(例如410)。
15.一种系统，包括：
存储器(145)，用于存储计算机可读编码；和
与所述存储器(145)可操作耦合的处理器(140)，所述处理器(140)用于执行所述计算机可读编码，所述计算机可读编码用于：
--从包括由多个摄像机(125)提供的图像的信号中确定一输入图像(155)；
--根据输入图像(155)确定输入图像信息(165)；
--将该输入图像信息(165)与对应至少一个状态(例如410)中每一个的状态图像信息(170)进行比较；和
--当输入图像信息(165)与状态(例如410)之一的状态图像信息(170)匹配时，将该输入图像(155)分配给该个状态(例如410)。
16.一种制造产品，包括：
计算机可读介质，其上具有计算机可读程序编码装置，所述计算机可读程序编码装置包括：
从包括由多个摄像机(125)提供的图像的信号中确定一输入图像(155)的步骤；
根据输入图像(155)确定输入图像信息(165)的步骤；
将该输入图像信息(165)与对应至少一个状态(例如410)中每一个的状态图像信息(170)进行比较的步骤；和
当输入图像信息(165)与状态(例如410)之一的状态图像信息(170)匹配时，将该输入图像(155)分配给该个状态(例如410)的步骤。
CNA02826438XA 2001-12-28 2002-12-12 可以处理异步多路复用视频的视频监视和警戒系统 Pending CN1610929A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/034,670 US6999613B2 (en) 2001-12-28 2001-12-28 Video monitoring and surveillance systems capable of handling asynchronously multiplexed video
US10/034,670 2001-12-28

Publications (1)

Publication Number Publication Date
CN1610929A true CN1610929A (zh) 2005-04-27

Family

ID=21877860

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA02826438XA Pending CN1610929A (zh) 2001-12-28 2002-12-12 可以处理异步多路复用视频的视频监视和警戒系统

Country Status (9)

Country Link
US (1) US6999613B2 (zh)
EP (1) EP1461788B1 (zh)
JP (1) JP2005513939A (zh)
KR (1) KR20040070289A (zh)
CN (1) CN1610929A (zh)
AT (1) ATE320641T1 (zh)
AU (1) AU2002367222A1 (zh)
DE (1) DE60209945T2 (zh)
WO (1) WO2003056527A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8392552B2 (en) 2000-09-28 2013-03-05 Vig Acquisitions Ltd., L.L.C. System and method for providing configurable security monitoring utilizing an integrated information system
IL160758A0 (en) 2001-09-07 2004-08-31 Intergraph Hardware Tech Co Method, device and computer program product for demultiplexing of video images
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
US7480715B1 (en) 2002-01-25 2009-01-20 Vig Acquisitions Ltd., L.L.C. System and method for performing a predictive threat assessment based on risk factors
US20030206172A1 (en) * 2002-03-05 2003-11-06 Vigilos, Inc. System and method for the asynchronous collection and management of video data
US20040148518A1 (en) * 2003-01-27 2004-07-29 John Grundback Distributed surveillance system
US20040189871A1 (en) 2003-03-31 2004-09-30 Canon Kabushiki Kaisha Method of generating moving picture information
US7817716B2 (en) * 2003-05-29 2010-10-19 Lsi Corporation Method and/or apparatus for analyzing the content of a surveillance image
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
JP2005267389A (ja) * 2004-03-19 2005-09-29 Fujitsu Ltd 動画像解析システム及びその装置
US7433820B2 (en) * 2004-05-12 2008-10-07 International Business Machines Corporation Asynchronous Hidden Markov Model method and system
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
US8130285B2 (en) * 2005-04-05 2012-03-06 3Vr Security, Inc. Automated searching for probable matches in a video surveillance system
US7646895B2 (en) * 2005-04-05 2010-01-12 3Vr Security, Inc. Grouping items in video stream images into events
US8335345B2 (en) * 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
US8432449B2 (en) * 2007-08-13 2013-04-30 Fuji Xerox Co., Ltd. Hidden markov model for camera handoff
US8443413B2 (en) * 2007-12-14 2013-05-14 Texas Instruments Incorporated Low-latency multichannel video port aggregator
CN102438153B (zh) * 2010-09-29 2015-11-25 华为终端有限公司 多摄像机图像校正方法和设备
GB201511334D0 (en) * 2015-06-29 2015-08-12 Nokia Technologies Oy A method, apparatus, computer and system for image analysis
US20230308611A1 (en) * 2022-03-28 2023-09-28 Haier Us Appliance Solutions, Inc. Multi-camera vision system in a refrigerator appliance

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243418A (en) * 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
DE4207688C1 (zh) * 1992-03-11 1993-06-03 Grundig E.M.V. Elektro-Mechanische Versuchsanstalt Max Grundig Hollaend. Stiftung & Co Kg, 8510 Fuerth, De
US6317160B1 (en) * 1997-11-28 2001-11-13 U.S. Philips Corporation Frame conversion for asynchronous input image signals
US6751354B2 (en) * 1999-03-11 2004-06-15 Fuji Xerox Co., Ltd Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
DE10011411C2 (de) * 2000-03-09 2003-08-14 Bosch Gmbh Robert Bildgebender Brandmelder
JP3982605B2 (ja) * 2000-09-29 2007-09-26 カシオ計算機株式会社 撮影画像管理装置、撮影画像管理方法及び撮影画像管理プログラム
US6801656B1 (en) * 2000-11-06 2004-10-05 Koninklijke Philips Electronics N.V. Method and apparatus for determining a number of states for a hidden Markov model in a signal processing system
US6731805B2 (en) * 2001-03-28 2004-05-04 Koninklijke Philips Electronics N.V. Method and apparatus to distinguish deposit and removal in surveillance video
US6865295B2 (en) * 2001-05-11 2005-03-08 Koninklijke Philips Electronics N.V. Palette-based histogram matching with recursive histogram vector generation

Also Published As

Publication number Publication date
JP2005513939A (ja) 2005-05-12
US20030123702A1 (en) 2003-07-03
EP1461788A1 (en) 2004-09-29
DE60209945T2 (de) 2006-09-21
KR20040070289A (ko) 2004-08-06
ATE320641T1 (de) 2006-04-15
WO2003056527A1 (en) 2003-07-10
US6999613B2 (en) 2006-02-14
EP1461788B1 (en) 2006-03-15
DE60209945D1 (de) 2006-05-11
AU2002367222A1 (en) 2003-07-15

Similar Documents

Publication Publication Date Title
CN1610929A (zh) 可以处理异步多路复用视频的视频监视和警戒系统
US8326043B2 (en) Video detection system and methods
CN101253535B (zh) 图像检索装置以及图像检索方法
KR102035592B1 (ko) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
CN105590099B (zh) 一种基于改进卷积神经网络的多人行为识别方法
DE112021004261T5 (de) Dualmodale beziehungsnetzwerke zur audiovisuellen ereignislokalisierung
CN109255342B (zh) 一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和系统
CN111967379B (zh) 一种基于rgb视频和骨架序列的人体行为识别方法
CN107004271A (zh) 显示方法、装置、电子设备、计算机程序产品和非暂态计算机可读存储介质
CN101689394A (zh) 用于视频索引和视频概要的方法和系统
CN107659754B (zh) 一种树叶扰动情况下监控视频的有效浓缩方法
CN109815878B (zh) 基于人脸识别的落脚点分析方法和装置
EP3573327B1 (en) Method and device for displaying target object
DE60103131T2 (de) Verfahren und vorrichtung zur automatischen wahrnehmung
CN111368911B (zh) 一种图像分类方法、装置和计算机可读存储介质
JP4250619B2 (ja) 代表画像抽出装置及びその方法
CN101196990A (zh) 网络嵌入式多路人脸检测系统及人脸检测方法
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
CN117011774A (zh) 基于场景知识元的集群行为理解系统
CN110278197A (zh) 一种物联网的管理系统及其管理方法
US20190266403A1 (en) Server, method and wearable device for supporting maintenance of military apparatus based on binary search tree in augmented reality-, virtual reality- or mixed reality-based general object recognition
KR102264744B1 (ko) 영상 데이터를 처리하는 방법 및 이를 실행시키기 위한 명령어들이 저장된 컴퓨터 판독 가능한 기록 매체
TWI784718B (zh) 廠區告警事件處理方法與系統
Deng et al. A fixed transformation of color images for dichromats based on similarity matrices
Xu et al. Relating" Pace'to Activity Changes in Mono-and Multi-camera Surveillance Videos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned