CN101681555B - 状况判定装置、状况判定方法、异常判定装置、异常判定方法 - Google Patents

状况判定装置、状况判定方法、异常判定装置、异常判定方法 Download PDF

Info

Publication number
CN101681555B
CN101681555B CN2008800183147A CN200880018314A CN101681555B CN 101681555 B CN101681555 B CN 101681555B CN 2008800183147 A CN2008800183147 A CN 2008800183147A CN 200880018314 A CN200880018314 A CN 200880018314A CN 101681555 B CN101681555 B CN 101681555B
Authority
CN
China
Prior art keywords
unit
image
change
topography
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800183147A
Other languages
English (en)
Other versions
CN101681555A (zh
Inventor
横光澄男
近藤坚司
荒木昭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2007278625A external-priority patent/JP4624396B2/ja
Priority claimed from JP2007280205A external-priority patent/JP4966820B2/ja
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101681555A publication Critical patent/CN101681555A/zh
Application granted granted Critical
Publication of CN101681555B publication Critical patent/CN101681555B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

一种状况判定装置，包括：局部图像变化率计算单元，用于对所拍摄的图像的局部区域中的亮度值的时间变化率进行计算；和状况判定单元，用于对局部区域的时间变化率的直方图进行分析，从而判定人的移动状况和/或人的拥塞度。该状况判定装置判定人的移动状况和/或拥塞度。一种拥塞推定装置，包括：移动信息生成单元，用于由图像生成单元的图像序列算出移动信息；纹理信息生成单元，用于生成图像纹理信息；和基准移动信息生成单元，用于保持/更新作为基准的基准移动信息。该拥塞推定装置依据基于移动和纹理的有无而做出的相似度判定来判定各个区域的各种状况、推定拥塞度并提供关于拥塞状况的指标和状况是否异常的信息。

Description

状况判定装置、状况判定方法、异常判定装置、异常判定方法
技术领域
本发明涉及一种状况判定装置、状况判定方法、状况判定程序、异常判定装置、异常判定方法和异常判定程序，能够对在诸如车站或机场这样的其中有多人移动的公共空间中拍摄的图像进行分析，以检测人的拥塞度或移动状况。此外，本发明涉及一种拥塞推定装置，其基于图像来推定人的拥塞度，并且更具体地，涉及一种对人的滞留状态或移动状态的种类进行判定以检测异常状态的拥塞推定装置。 
背景技术
近年来，随着对安全保障性的需求增加，在诸如车站或机场这样的公共空间以及重要设施中，已安装有监视相机。在现有技术中，监视员一直监视着监视相机。因此，为了防止由于监视相机数增加和监视员疲劳而使得监视员漏看监视相机，尝试利用图像辨识来实现省力而高效的监视。 
专利文献1和专利文献2公开了用于对监视场所中的人数计数的技术。专利文献1公开了一种技术，该技术利用背景差分来提取背景并对在与人的通道正交的监视区域内移动的人数计数。准备多个监视区域并利用监视区域之间的计数值的变化，这样，即使出现干扰也能够准确地计数。
专利文献2公开了一种技术，其中，相机被设置在通道上方，使得光轴与垂直方向对准，在图像上所设置的边界线处提取运动向量， 以便对人数计数，并对该运动向量关于边界线的垂直分量进行积分，以对经过通道的人的数目计数。 
专利文献3公开了一种技术，该技术从图像中提取对应于人数的特征而不对人数计数以计算拥塞度。在专利文献3中，假定“当存在大量行人时，不同时刻拍摄的图像之间的变化数目增加”，在此前提下，对每个像素或每个局部区域在预定时间内的变化的数目进行计算，并基于该变化的数目来计算拥塞度。
此外，在现有技术中，已提出各种推定图像中的人的拥塞度的技术。例如，已提出下述技术，该技术计算运动向量、计算运动向量的积分值并以积分值的单位对人数计数(例如，参见专利文献4)。已提出一种技术，该技术检测人的头部、测量头部数并推定拥塞度(例如，参见专利文献2)。已提出一种技术，该技术利用通过帧间差分或背景差分处理而提取的背景的面积来推定拥塞度(例如，参见专利文献3或专利文献5)。 
专利文献1：JP-A-2002-074371专利文献2：JP-A-2005-135339专利文献3：JP-A-2004-102380专利文献4：JP-A-2005-128619专利文献5：JP-A-11-282999发明内容本发明要解决的问题 
然而，上面提及的根据现有技术的技术存在下列问题。即是说，专利文献1所公开的技术利用背景差分。因此，难以将该技术应用于照明有大变化的场所，并且难以在拥塞期间逐个对人计数。同样， 在专利文献2所公开的技术中，难以在拥塞期间逐个对人计数。在专利文献3中，因为以人移动为前提，所以难以对其中存在移动中的人和站立的人的状况中的拥塞度进行计算。 
根据现有技术的方法对运动向量积分并以积分值的单位测量人数，是将每个人分立开来的方法。在该方法中，当存在少量人时，能够较为准确地推定拥塞度。然而，在拥塞状况中，人彼此重叠。因此，难以将该技术应用于拥塞状况，并且推定的准确度降低。在提取运动向量时，正常移动的运动向量和由例如噪声生成的微小运动向量由于相机的视角而具有不同大小。因此，必须预先设定运动向量的大小的阈值。 
检测人的头部的方法存在的问题在于，当存在少量人时，难以较为准确地推定拥塞度，并且当存在大量人时，头部的检测准确度降低。在利用通过帧间差分处理提取的背景的面积来推定拥塞度的方法中，当人保持静止时，不提取背景。在利用通过背景差分处理提取的背景的面积来推定拥塞度的方法中，当大部分画面中有人存在时，难以准确地得到背景区域。该方法容易受相机抖动影响。此外，在该方法中，未公开计算拥塞度的指标(滞留区域、移动区域、正常区域、滞留开始状态、滞留消除状态和正常状态)的方法，且难以检验部分拥塞状况。 
为了解决上面提及的问题而做出本发明，并且本发明的目的是提供能够容易地判定监视场所的状况和拥塞度的状况判定装置、状况判定方法、状况判定程序、异常判定装置、异常判定方法和异常判定程序。 
为了解决上面提及的问题而做出本发明，并且本发明的目的 是提供一种能够基于图像而容易且准确地推定人的拥塞度的拥塞推定装置。解决问题的方法 
为了达到目的，本发明提供了一种状况判定装置，其用于对所拍摄的运动图像或多个所拍摄的静止图像进行分析，以判定人的移动状况和/或拥塞度，所述状况判定装置包括：局部图像变化率计算单元，所述局部图像变化率计算单元对所拍摄的图像的局部区域中的亮度值的时间变化率进行计算；和状况判定单元，所述状况判定单元对由所述局部图像变化率计算单元计算的多个局部区域的时间变化率的直方图进行分析，并且判定人的移动状况和/或人的拥塞度。 
根据上面提及的结构，计算所拍摄的图像中的多个局部区域的局部变化率，计算所述多个区域的局部变化率的直方图并且对该直方图进行分析。因此，能够检测与物体的移动的发生率相对应的空间特性(例如，移动偏移到一侧)，并且能够综合地判定监视场所的状况和拥塞度。 
本发明提供了一种状况判定装置，其用于对所拍摄的运动图像或多个所拍摄的静止图像进行分析，以判定人的移动状况和/或拥塞度，所述状况判定装置包括：图像输入单元，所述图像输入单元输入在成像对象场所中拍摄的人的运动图像或多个静止图像；图像蓄积单元，所述图像蓄积单元蓄积由所述图像输入单元输入的图像；局部图像变化检测单元，所述局部图像变化检测单元从蓄积在所述图像蓄积单元中的图像中选择按照第一时间间隔拍摄的两个图像，并且使用表示将所述图像分割成多个局部区域的分割方法的区域分割信息来在每个局部区域中检测所述两个图像之间的变化；局部图像变化信息蓄积单元，所述局部图像变化信息蓄积单元蓄积由所述局部图像变化检测单元检测到的所述两个图像之间的变化，作为图像变化信息；局部图像变化率计算单元，所述局部图像变化率计算单元基于蓄积在所述局 部图像变化信息蓄积单元中的图像变化信息，对每个局部区域中按照第二时间间隔给出的图像之间的变化数目计数，并且计算每个局部区域的图像变化率；局部图像变化率蓄积单元，所述局部图像变化率蓄积单元蓄积由所述局部图像变化率计算单元计算的多个局部区域的图像变化率；局部图像变化率直方图计算单元，所述局部图像变化率直方图计算单元对由所述局部图像变化率蓄积单元蓄积的所述多个局部区域的图像变化率的直方图进行计算；状况判定单元，所述状况判定单元对由所述局部图像变化率直方图计算单元计算的直方图进行分析，以判定所述成像对象场所中的人的移动状况和/或拥塞度。 
根据上面提及的结构，计算所拍摄的图像中的多个局部区域的局部变化率，计算所述多个区域的局部变化率的直方图并且对该直方图进行分析。因此，能够检测与物体的移动的发生率相对应的空间特性(例如，移动偏移到一侧)，并且能够综合地判定监视场所的状况和拥塞度。 
在上面提及的结构中，所述状况判定单元包括参照直方图储存单元和直方图比较单元。 
在上面提及的结构中，所述状况判定单元包括特征提取单元、识别基准储存单元和识别单元。 
在上面提及的结构中，所述移动状况至少包括其中人的移动路径偏移到一侧的状况。 
根据上面提及的结构，能够利用简单的处理来对移动路径偏移到一侧进行检测。因此，能够推定是否存在等候列车的队列以及在车站等存在等候列车的队列的场所中的人的拥塞级别。显然，在其中移动路径没有偏移到一侧的状况中，也能够推定状况和拥塞级别。当在人通常未排成队列的通道中检测到移动路径偏移到一侧时，可推定 存在妨碍人自由移动的障碍。 
本发明提供了一种异常判定装置，其用于对由设置在车站站台处的成像单元拍摄的运动图像或多个静止图像进行分析，以判定异常状况，所述异常判定装置包括：所述状况判定装置；列车到达检测单元，所述列车到达检测单元检测列车到达所述站台；和异常判定单元，所述异常判定单元基于所述状况判定装置的状况判定结果和通过所述列车到达检测单元得到的列车到达信息，当自所述列车到达检测单元取得列车到达信息起经过预定时间之后判定人的移动路径偏移到一侧作为所述状况判定结果时，判定发生异常。 
根据上面提及的结构，能够基于通过状况判定装置得到的状况种类或拥塞度来判定不同于正常状态的异常拥塞状态。 
在上面提及的结构中，所述异常判定装置还包括：通报单元，当所述异常判定单元判定发生异常时，所述通报单元将所述异常判定单元的判定结果发送给预定联络地址。 
根据上面提及的结构，能够给监视员提供辅助信息或迅速将其传送到预定联络地址。 
本发明提供了一种状况判定方法，其用于对所拍摄的运动图像或多个所拍摄的静止图像进行分析，以判定人的移动状况和/或拥塞度，所述状况判定方法包括：局部图像变化率计算步骤，所述局部图像变化率计算步骤用于对所拍摄的图像的局部区域中的亮度值的时间变化率进行计算；和状况判定步骤，所述状况判定步骤用于对由所述局部图像变化率计算单元计算的多个局部区域的时间变化率的直方图进行分析，并且判定人的移动状况和/或人的拥塞度。 
根据上面提及的方法，计算所拍摄的图像中的多个局部区域 的局部变化率，计算所述多个区域的局部变化率的直方图并且对该直方图进行分析。因此，能够检测与物体的移动的发生率相对应的空间特性(例如，移动偏移到一侧)，并且能够综合地判定监视场所的状况和拥塞度。 
在所述状况判定方法中，所述移动状况至少包括其中人的移动路径偏移到一侧的状况。 
根据上面提及的方法，能够利用简单的处理来对移动路径偏移到一侧进行检测。因此，能够推定是否存在等候列车的队列以及在车站等存在等候列车的队列的场所中的人的拥塞级别。显然，在其中移动路径没有偏移到一侧的状况中，也能够推定状况和拥塞级别。当在人通常未排成队列的通道中检测到移动路径偏移到一侧时，可能会推定存在妨碍人自由移动的障碍。 
本发明提供了一种异常判定方法，其用于对由设置在车站站台处的成像单元拍摄的运动图像或多个静止图像进行分析，以判定异常状况，所述异常判定方法包括：状况判定步骤，所述状况判定步骤用于执行状况判定方法；列车到达检测步骤，所述列车到达检测步骤用于检测列车到达所述站台；和异常判定步骤，所述异常判定步骤用于基于状况判定装置的状况判定结果和通过列车到达检测单元得到的列车到达信息，当自所述列车到达检测单元取得所述列车到达信息起经过预定时间之后判定人的移动路径偏移到一侧作为所述状况判定结果时，判定发生异常。 
根据上面提及的方法，能够基于通过状况判定装置得到的状况种类或拥塞度来判定不同于正常状态的异常拥塞状态。 
本发明提供了一种状况判定程序，其对所拍摄的运动图像或多个所拍摄的静止图像进行分析，以判定人的移动状况和/或拥塞度， 所述状况判定程序允许计算机执行：局部图像变化率计算步骤，所述局部图像变化率计算步骤用于对所拍摄的图像的局部区域中的亮度值的时间变化率进行计算；和状况判定步骤，所述状况判定步骤用于对由所述局部图像变化率计算单元计算的多个局部区域的时间变化率的直方图进行分析，并且判定人的移动状况和/或人的拥塞度。 
根据上面提及的程序，计算所拍摄的图像中的多个局部区域的局部变化率，计算所述多个区域的局部变化率的直方图并且对该直方图进行分析。因此，能够检测与物体的移动的发生率相对应的空间特性(例如，移动偏移到一侧)，并且能够综合地判定监视场所的状况和拥塞度。 
在所述状况判定程序中，所述移动状况至少包括其中人的移动路径偏移到一侧的状况。 
根据上面提及的程序，能够利用简单的处理来对移动路径偏移到一侧进行检测。因此，能够推定是否存在等候列车的队列以及在车站等存在等候列车的队列的场所中的人的拥塞级别。显然，在其中移动路径没有偏移到一侧的状况中，也能够推定状况和拥塞级别。当在人通常未排成队列的通道中检测到移动路径偏移到一侧时，可推定存在妨碍人自由移动的障碍。 
本发明提供了一种异常判定程序，其对由设置在车站站台处的成像单元拍摄的运动图像或多个静止图像进行分析，以判定异常状况，所述异常判定程序允许计算机执行：状况判定步骤，所述状况判定步骤用于执行状况判定方法；列车到达检测步骤，所述列车到达检测步骤用于检测到所述站台的列车的到达；和异常判定步骤，所述异常判定步骤用于基于所述状况判定装置的状况判定结果和通过所述列车到达检测单元得到的列车到达信息，当自所述列车到达检测单元取得列车到达信息起经过预定时间之后判定人的移动路径偏移到一侧作 为所述状况判定结果时，判定发生异常。 
根据上面提及的程序，能够基于通过状况判定装置得到的状况种类或拥塞度来判定不同于正常状态的异常拥塞状态。 
本发明提供了一种拥塞推定装置，包括：图像生成单元，所述图像生成单元将通过相机拍摄的图像或各种场景的图像转换成数字图像，并且输出所述数字图像；区域分割单元，所述区域分割单元将输入图像分割成部分区域；移动信息生成单元，所述移动信息生成单元由从所述图像生成单元输出的图像生成移动信息；纹理信息生成单元，所述纹理信息生成单元生成从所述图像生成单元输出的图像的纹理信息；基准移动信息生成单元，所述基准移动信息生成单元储存并更新基准移动信息，所述基准移动信息是每个部分区域中的移动基准的基准；基准纹理信息生成单元，所述基准纹理信息生成单元储存并更新基准纹理信息，所述基准纹理信息用于判定每个部分区域中有无人存在；储存单元，所述储存单元储存所述基准移动信息和所述基准纹理信息；移动信息判定单元，所述移动信息判定单元将从所述移动信息生成单元输出的所述移动信息与由所述基准移动信息生成单元生成的所述基准移动信息进行比较，以判定每个部分区域中有无移动；纹理信息判定单元，所述纹理信息判定单元将从所述纹理信息生成单元输出的所述纹理信息与由所述基准纹理信息生成单元生成的所述基准纹理信息进行比较，以判定每个部分区域中是否存在与人相同的纹理信息；和滞留判定单元，所述滞留判定单元接收来自所述移动信息判定单元和所述纹理信息判定单元的的判定结果，以判定每个区域中有无人存在。 
根据上面提及的结构，移动信息判定单元判定每个区域中有无移动。即使在无移动时，纹理信息判定单元也能够依据纹理相似度来判定有无人存在。因此，能够推定诸如移动区域、滞留区域、静止区域和无人的区域这样的每个区域的状态。于是，滞留判定单元能够 基于每个信息项来判定拥塞度。 
在上面提及的结构中，所述拥塞推定装置还包括：时序生成单元，所述时序生成单元接收由所述图像生成单元生成的图像，并且由移动信息判定有无人存在，其中，仅在判定有人时，所述时序生成单元将更新时序发送给所述基准移动信息生成单元以及所述基准纹理信息生成单元。 
根据上面提及的结构，按照每个更新时序对基准移动信息生成单元的基准移动信息和基准纹理信息生成单元的基准纹理信息进行更新。因此，即使在环境改变时，也能够依据环境的变化来判定有无移动或纹理。结果，能够一直准确地进行判定。 
在上面提及的结构中，所述时序生成单元检测车辆的进入时序，并且按照每个进入时序将更新时序发送给所述基准移动信息生成单元以及所述基准纹理信息生成单元。 
根据上面提及的结构，按照每个车辆进入时序对基准移动信息生成单元的基准移动信息和基准纹理信息生成单元的基准纹理信息进行更新。因此，能够基于车辆进入前后的人的移动或人的纹理来判定有无移动或纹理。 
在上面提及的结构中，所述基准移动信息生成单元按照由所述时序生成单元所通报的时序对基准移动信息进行采样，以设定所述基准移动信息的阈值，当所述基准移动信息超过所述基准移动信息的阈值时，所述移动信息判定单元判定有移动；而当所述基准移动信息未超过所述基准移动信息的阈值时，所述移动信息判定单元判定无移动。 
根据上面提及的结构，按照每个更新时序对基准移动信息生 成单元的基准移动信息进行更新，并且按照每个更新时序对基准移动信息的阈值进行设定。因此，能够基于按照更新时序的移动来判定移动信息。 
在上面提及的结构中，所述纹理信息判定单元对输入信息执行频率转换处理，以判定频域中的相似度。 
根据上面提及的结构，能够基于人的轮廓或侧影来推定相似度。 
在上面提及的结构中，所述基准纹理信息生成单元按照由所述时序生成单元所生成的时序对基准纹理信息进行采样，以设定所述基准纹理信息，并且所述纹理信息判定单元对由所述纹理信息生成单元生成的纹理信息和由所述基准纹理信息生成单元生成的基准纹理信息之间的相似度进行判定，并且当判定所述纹理信息与所述基准纹理信息相似时，所述纹理信息判定单元判定有人。 
根据上面提及的结构，按照每个更新时序对基准纹理信息生成单元的基准纹理信息进行更新，并且能够基于按照更新时序的纹理来判定相似度。 
在上面提及的结构中，所述滞留判定单元接收所述移动信息判定单元的判定结果和所述纹理信息判定单元的判定结果，以输出滞留区域、移动区域、噪声区域和背景区域的任一个的状态，作为每个区域的状态。 
根据上面提及的结构，能够将滞留区域、移动区域、噪声区域和背景区域输出作为每个区域的状态。因此，当进行拥塞推定处理时，拥塞判定单元能够测量每种区域的拥塞度。此外，仅通过对全体拥塞度计数来进行计算。 
在上面提及的结构中，所述拥塞推定装置还包括：异常判定单元，所述异常判定单元接收从所述滞留判定单元输出的信息，并且对每个输入状态进行分析，以判定是否发生异常拥塞。 
根据上面提及的结构，能够基于每个区域的状态来判定整个成像环境的拥塞度是正常还是异常。 
在上面提及的结构中，所述异常判定单元对从所述滞留判定单元输出的每个区域的各种状态：滞留区域、移动区域、噪声区域和背景区域计数，并且当在通过所述时序生成单元得到的车辆的进入时序之后，拥塞指标，即，滞留区域数和移动区域数的和，没有减少预定阈值或更多时，所述异常判定单元判定发生异常。 
根据上面提及的结构，在车辆进入之后对每个区域的状态计数，以计算拥塞指标。因此，能够判定拥塞状态时正常还是异常。 
在上面提及的结构中，所述异常判定单元对从所述滞留判定单元输出的每个区域的各种状态：滞留区域、移动区域、噪声区域和背景区域计数，并且当所述滞留区域的比率超过预定值时，所述异常判定单元判定发生异常。 
根据上面提及的结构，一直对每个区域的状态计数，以计算拥塞指标，从而计算滞留区域的比率。因此，能够基于滞留区域的比率来检测异常。 
在上面提及的结构中，所述异常判定单元对从所述滞留判定单元输出的每个区域的各种状态：滞留区域、移动区域、噪声区域和背景区域计数，并且所述异常判定单元依据滞留区域和移动区域在时间系列中的比率，判定诸如滞留开始、滞留消除和正常状态这样的人 的移动趋势。 
根据上面提及的结构，一直对每个区域的状态和时间系列变化计数，以计算拥塞指标。因此，能够判定诸如滞留开始、滞留消除和正常状态这样的人移动的趋势。此外，能够在发生异常拥塞之前发出警告，并通报开始消除异常拥塞。本发明的优点 
根据本发明，计算所拍摄的图像中的多个局部区域的局部变化率，计算所述多个区域的局部变化率的直方图并且对该直方图进行分析。因此，能够检测与物体的移动的发生率相对应的空间特性(例如，移动偏移到一侧)，并且能够综合地判定监视场所的状况和拥塞度。 
即使当人的移动在自列车到达时起经过预定时间之后偏移到一侧的时候，也能够基于所判定的综合状况或拥塞度以及列车的到达信息这两者来判定发生异常。能够给监视员提供辅助信息或迅速将其传送到预定联络地址。 
根据本发明，自动地设定移动信息的基准移动量。因此，能够判别有移动的状态与没有移动的状态。此外，能够判定有无移动并利用纹理来判定相似度，从而判别每个区域的各种状态：滞留区域、移动区域、噪声区域和背景区域。而且，能够利用每个区域的状态来推定拥塞度，并提供拥塞状况的指标(滞留区域、移动区域、正常区域、滞留开始状态、滞留消除状态和正常状态)以及关于异常状态的信息。因此，能够利用图像容易且准确地推定人的拥塞度。 
附图说明
图1是示意性示出了根据本发明第一实施例的状况判定装置的结构的框图。 图2是示出了将根据本发明第一实施例的状况判定装置安装在铁道车站处的情况的图示。图3是示出了根据本发明第一实施例的用相机CM拍摄的图像的图示。图4是示出了由根据本发明第一实施例的状况判定装置所执行的状况判定方法的流程图。图5是示出了在根据本发明第一实施例的状况判定装置中图像蓄积单元中所蓄积的帧图像和局部图像变化信息蓄积单元中所蓄积的局部变化信息之间的时间系列关系的图示。图6是示出了根据本发明第一实施例的将用相机CM拍摄的图像分割成局部区域的情况的图示。图7是示出了由根据本发明第一实施例的状况判定装置中的局部图像变化检测单元所提取的运动向量的示例的图示。图8是示出了在根据本发明第一实施例的状况判定装置中由局部图像变化检测单元检测然后蓄积在局部图像变化信息蓄积单元中的局部变化信息的元素的图示。图9是示出了在根据本发明第一实施例的状况判定装置中由局部图像变化率计算单元计算然后蓄积在局部图像变化率蓄积单元中的局部变化率的元素的图示。图10是示出了在根据本发明第一实施例的状况判定装置中图像蓄积单元中所蓄积的帧图像、局部图像变化信息蓄积单元中所蓄积的局部变化信息、局部图像变化率蓄积单元中所蓄积的局部变化率和时刻之间的关系的图示。图11是示出了由根据本发明第一实施例的状况判定装置的局部图像变化率直方图计算单元所计算的局部图像变化率直方图的示例的图示。图12是示出了在根据本发明第一实施例的状况判定装置的操作中包括多人数移动状况的图像的示例的图示。图13是示出了在根据本发明第一实施例的状况判定装置的操作中包括少人数移动状况的图像的示例的图示。 图14是示出了在根据本发明第一实施例的状况判定装置的操作中包括在存在等候列车的队列的场所中的人的移动状况的图像的示例的图示。图15是示出了在根据本发明第一实施例的状况判定装置的操作中在三种状况下的发生变化的区域数和局部图像变化率的表格。图16是示出了在根据本发明第一实施例的状况判定装置的操作中多人数移动时的局部图像变化率直方图的特性的图示。图17是示出了在根据本发明第一实施例的状况判定装置的操作中少人数移动时的局部图像变化率直方图的特性的图示。图18是示出了在根据本发明第一实施例的状况判定装置的操作中人的移动路径偏移到一侧时的局部图像变化率直方图的特性的图示。图19是示出了在根据本发明第一实施例的状况判定装置的操作中将包括多人数移动状况的图像分割成局部区域的情况的图示。图20是示出了在根据本发明第一实施例的状况判定装置的操作中将包括少人数移动状况的图像分割成局部区域的情况的图示。图21是示出了在根据本发明第一实施例的状况判定装置的操作中将包括其中人的移动路径偏移到一侧的状况的图像分割成局部区域的情况的图示。图22是示出了在根据本发明第一实施例的状况判定装置的操作中从实际运动图像算出的局部图像变化率直方图的示例的图示。图23是示出了根据本发明第一实施例的状况判定装置中的状况判定单元的内部结构的框图。图24是示出了根据本发明第一实施例的状况判定装置中的局部图像变化检测单元的处理的另一示例的图示。图25是示出了根据本发明第一实施例的状况判定装置中的局部图像变化检测单元的处理的又一示例的图示。图26是示出了根据本发明第一实施例的状况判定装置中的局部图像变化检测单元的处理的再一示例的图示。图27是示出了根据本发明第二实施例的状况判定装置中的状况 判定单元的内部结构的框图。图28是示出了在由根据本发明第二实施例的状况判定装置中的特征提取单元进行的特征量的提取中算出的指标的值的图示。图29是示出了由根据本发明第二实施例的状况判定装置中的特征提取单元所提取的特征量的图示。图30是示出了由根据本发明第二实施例的状况判定装置中的特征提取单元从三个场景的图像中所提取的二维特征量的分布的图示。图31是示出了由根据本发明第二实施例的状况判定装置中的特征提取单元所提取的特征量和二维特征量的分布之间的关系的图示。图32是示出了用于说明根据本发明第二实施例的状况判定装置的拥塞判定处理的、在车站的站台处拍摄的六个场景的图像的图示。图33是示出了用于说明根据本发明第二实施例的状况判定装置的拥塞判定处理的、与六个场景相对应的特征量在二维特征量空间中的分布的图示。图34是示出了用于说明根据本发明第二实施例的状况判定装置的拥塞判定处理的、在三种状况下的特征量的分布和在三种状况下获得的分布的子空间的图示。图35是示出了用于说明根据本发明第二实施例的状况判定装置的拥塞判定处理的子空间方法的图示。图36是示出了用于说明根据本发明第二实施例的状况判定装置的拥塞判定处理的、子空间中的位置和表示拥塞度的指标之间的关联的图示。图37是示出了用于说明根据本发明第二实施例的状况判定装置的拥塞判定处理的、在四种状况下的特征量的分布和在四种状况下获得的分布的子空间的图示。图38是示意性示出了根据本发明第三实施例的异常判定装置的结构的框图。图39是示出了根据本发明第三实施例的异常判定装置的异常判定处理的流程图。图40是示出了从根据本发明第三实施例的异常判定装置中的状 况判定装置输出的拥塞度和在正常状态下状况种类随时间推移的变化的曲线图。图41是示出了示意性示出了根据本发明第四实施例的拥塞推定装置的结构的框图。图42是示出了图41所示的拥塞推定装置中的处理区域的计算方法的图示。图43是示出了通过图41所示的拥塞推定装置将处理区域分割成移动处理区域的示例的图示。图44是示出了通过图41所示的拥塞推定装置将处理区域分割成纹理处理区域的示例的图示。图45是示出了图41所示的拥塞推定装置中的移动信息生成单元、基准移动信息生成单元和移动信息判定单元的详细结构的框图。图46是示出了图45所示的基准移动信息生成单元中的基准运动向量映射参照单元中所储存的基准运动向量映射的示例的图示。图47是示出了图45所示的基准移动信息生成单元中的基准差分区域映射参照单元中所储存的基准差分区域映射的示例的图示。图48是示出了用于图41所示的拥塞推定装置的纹理信息判定处理的输入图像的图示。图49是示出了用于对用于图41所示的拥塞推定装置的纹理信息判定处理的输入图像进行转换的纹理特征提取处理的结果的图示。图50是示出了用于图41所示的拥塞推定装置的纹理信息判定处理的、有人场景中的基准纹理特征量的计算处理的流程的图示。图51是示出了用于图41所示的拥塞推定装置的纹理信息判定处理的、无人场景中的基准纹理特征量的计算处理的流程的图示。图52是示出了用于图41所示的拥塞推定装置的纹理信息判定处理的相似度计算处理的图示。图53是示出了图41所示的拥塞推定装置中的区域状态的判定方法的图示。图54是示出了通过图41所示的拥塞推定装置的区域状态的判定结果的示例的图示。 图55是示意性示出了根据本发明第五实施例的拥塞推定装置的结构的图示。图56是示出了与图55所示的拥塞推定装置相连的相机的安装的示例的图示。图57是示出了图55所示的拥塞推定装置中的列车进入、停止和出发时序的取得处理的流程图。图58是示出了车辆进入时的车站站台场景组的图示。图59是示出了车辆停止时的通过图55所示的拥塞推定装置的车站站台的运动向量的处理结果的图示。图60是示意性示出了根据本发明第六实施例的拥塞推定装置的结构的图示。图61是示出了通过图60所示的拥塞推定装置的区域状态的判定结果的示例的图示。图62是示出了图60所示的拥塞推定装置的拥塞指标的时间序列曲线图。图63是示出了图60所示的拥塞推定装置中的列车的进入、停止和出发时序之间的重叠的拥塞指标时间序列曲线图。图64是示出了图60所示的拥塞推定装置中的人的移动趋势的判定处理的流程图。图65是示出了图60所示的拥塞推定装置中的人的移动趋势的判定处理的图示。附图标记和符号的说明 
100：图像输入单元110：图像蓄积单元120：局部图像变化检测单元130：局部图像变化信息蓄积单元140：局部图像变化率计算单元150：局部图像变化率蓄积单元160：局部图像变化率直方图计算单元 170：状况判定单元200：参照直方图储存单元210：直方图比较单元300：特征提取单元310：识别基准储存单元320：识别单元500：状况判定装置510：列车到达检测单元520：异常判定单元530：通报单元610A、610B、610C：拥塞推定装置611：图像生成单元612：区域分割单元613：移动信息生成单元614：基准移动信息生成单元615：纹理信息生成单元616：基准纹理信息生成单元617：储存单元618：移动信息判定单元619：纹理信息判定单元620：滞留判定单元621：时序生成单元622：异常判定单元630：矩形区域1631：矩形区域2640：图像缓存单元641：光流计算单元642：流代表方向和大小计算单元643：边缘提取单元644：边缘帧间差分单元 645：基准运动向量映射参照单元646：基准差分区域映射参照单元647：运动向量状态判定单元648：差分区域状态判定单元649：移动区域状态判定单元650：基准运动向量映射660：基准差分区域映射670：输入图像680：纹理特征提取处理结果690：有人的场景1691、701：纹理处理区域700：无人的场景1706：相似度计算710：移动信息判定单元判定有移动711：移动信息判定单元判定无移动712：纹理信息判定单元判定有人713：纹理信息判定单元判定无人714、720、762：移动区域715、723、764：噪声区域716、721、763：滞留区域717、722：背景区域730：相机760：拥塞指标时间系列曲线图795：基准滞留区域796：滞留开始PH：车站的站台WL：站台的侧壁ST：人去站台通过的楼梯RL：铁道线CM：相机 SD：状况判定装置AR1 TO AR3：表示人的移动路径的箭头WP：等候列车的人MP：移动中的人 
具体实施方式
下文中，将参照附图来详细地说明本发明的示例性实施例。 
(第一实施例)图1是示意性示出了根据本发明第一实施例的状况判定装置的结构的框图。在图1中，根据本实施例的状况判定装置包括图像输入单元100、图像蓄积单元110、局部图像变化检测单元120、局部图像变化信息蓄积单元130、局部图像变化率计算单元140、局部图像变化率蓄积单元150、局部图像变化率直方图计算单元160和状况判定单元170。 
图2是示出了其中将图1所示的状况判定装置安装在铁道车站的站台处的示例的图示。铁道车站包括站台PH、站台的侧壁WL、设置在站台的入口处的楼梯ST和铁道线RL。拍摄站台PH处的人的图像的相机CM被设置成使得轴线方向与站台PH的长度方向对准，并且被连接到状况判定装置SD。图3是示出了相机CM所拍摄的图像的示例。相机CM的视角、位置和光轴方向被确定成使得所拍摄的图像包括站台PH、楼梯ST的入口和侧壁WL。状况判定装置SD对应于图1所示的状况判定装置。 
接下来，将参照图4所示的流程图来说明根据本实施例的状况判定装置的操作。首先，由图像输入单元100执行图像输入步骤S100。在步骤S100中，将相机CM所拍摄的一帧图像转变成能够进行数字处理的格式，并且将该图像蓄积在图像蓄积单元110中。当相机CM为模拟相机时，将模拟图像转换成数字图像，并且如果必要的话，则对 该数字图像执行诸如编码处理这样的压缩处理。处理后的图像被蓄积在图像蓄积单元110中。当相机CM为数字相机时，将图像通过数字线路输入并且蓄积在图像蓄积单元110中。在本实施例中，假定输入10fps数字运动图像并且顺次蓄积当前时刻的帧图像。当相机CM为模拟相机时，图像蓄积单元110例如可以是蓄积模拟图像的VTR，并且可以在模拟图像即将被输出到局部图像变化检测单元120之前执行AD转换。 
然后，由局部图像变化检测单元120执行局部图像变化检测步骤S110。在该步骤中，如图5所示，第一时间间隔TS1被设定为0.1(秒)，这与成像周期相等，从蓄积在图像蓄积单元110中的帧图像之中提取出两帧图像，即，当前时刻tk的图像和TS1时间前的图像tk-1，并且检测出局部区域中的变化。根据相机CM的安装预先确定局部区域的分割方法，如图6所示。在本实施例中，假定局部区域的总数为NR。为了修正透视投影的影响，局部区域的大小被设定成使得其在靠近相机的地点(画面下方)大而在远离相机的地点(画面上方)小。下面，将说明使用运动向量来检测变化的方法。 
(1)两帧图像中的每个像素的运动向量的计算例如，可以使用诸如非专利文献1中所公开的Lucus-Kanade法这样的梯度法或块匹配法(block matching method)来计算运动向量。在本实施例中，优选的是，使用非专利文献2中所公开的Good Features toTrack法，或者通过匹配过程中的估计值(例如，SAD和SSD)而在后续处理中仅使用具有高可靠性的运动向量。图7示出了在从两帧图像对整个画面计算的运动向量当中的具有高可靠性的运动向量的示例。 
非专利文献1：B.D.Lucas and T.Kanade.“An iterative imageregistration technique with an application to stereo vision”，IJCAI，1981.非专利文献2：Jianbo Shi，Carlo Tomasi，“Good Features to Track”，IEEE Conference on Computer Vision and Pattern Recognition，pp. 593-600，1994(CVPR’94) 
(2)每个局部区域中的运动向量的综合下文中，对从两帧图像，即，当前时刻tk的图像和TS1时间前的图像tk-1中提取的运动向量添加下标“k”，对第i局部区域(1≤i≤NR)中所包括的运动向量添加下标“i”，并且对第i局部区域中所包括的NVk，i运动向量当中的第j运动向量(1≤j≤NVk，i)添加下标“j”，从而使用这些来表示运动向量(uk，i，j，vk，i，j)。 
(等式1)和(等式2)被用来计算运动向量的平均值，从而计算局部区域i的代表运动向量(muk，i，mvk，i)。运动向量在图像上的长度受透视投影的影响，并且其越靠近画面的上方则越比人的实际移动速度小。因此，如在(等式3)和(等式4)中那样，在修正透视投影的影响之后，可以对运动向量进行平均以计算代表运动向量。这里，wk，i，j是用于修正时刻tk的第i局部区域中的第j运动向量的大小的权重系数。运动向量的大小被设定成当该运动向量的起点更靠近画面的上方时增加。 
[等式1]  mu k , i = 1 NV k , i Σ j = 1 NV k , i u k , i , j
[等式2]  mv k , i = 1 NV k , i Σ j = 1 NV k , i v k , i , j
[等式3]  mu k , i = 1 NV k , i Σ j = 1 NV k , i ( w k , i , j · u k , i , j )
[等式4]  mv k , i = 1 NV k , i Σ j = 1 NV k , i ( w k , i , j · v k , i , j )
(3)对代表运动向量执行阈值处理以确定有无移动将第i局部区域的代表运动向量(muk，i，mvk，i)的大小与预定阈值进行比较，确定有无移动。当代表运动向量的大小大于或等于该阈值时，确定有移动。当代表运动向量的大小小于该阈值时，确定没有移动。此时，得到用二值表示局部区域i中有无变化(运动)的局部变化信息Mk，i。当确定有移动时，Mk，i＝1，否则，Mk，i＝0。图8示出了表示局部区域局部变化信息的图像。在图8中，有变化的局部区域被画上了阴影。如图5所示，局部变化信息Mk被蓄积在局部图像变化信息蓄积单元130中，作为表示每个局部区域中有无变化的与局部区域数相对应的二值向量信息，如(等式5)所表示的。在图5中，在时刻tk蓄积帧图像Ik和局部图像变化信息Mk，并且在时刻tk-1蓄积帧图像Ik-1和局部图像变化信息Mk-1。 
[等式5]  M k = [ M k , 1 , M k , 2 , · · · , M k , N R ] T
回到图4，由局部图像变化率计算单元140执行局部图像变化率计算步骤S120。在该步骤中，第二时间间隔TS2被设定为10(秒)。计算每个局部区域在先前TS2(秒)时间的变化(移动)率。因为变化信息是以第一时间间隔TS1求得的，所以使用TS2/TS1个变化信息项来计算变化率。当TS1＝0.1(秒)且TS2＝10(秒)时，使用100个变化信息项。在图9中，在第i局部区域中，对从时刻tk的局部变化信息Mk，i开始到时刻tk-TS2/TS1+1的局部变化信息Mk-TS2/TS1+1，i当中的值为1(即，有变化)的局部变化信息项进行计数。计数值被称为Ck，i。将该计数值除以总数TS2/TS1以计算局部变化率RTk，i。局部变化率RTk，i可以取的值为[0，1]。如图10所示，局部变化率RTk被蓄积在局部图像率蓄积单元150中，作为与局部区域数相对应的表示每个局部区域的变化率的 向量信息，如[等式6]所表示的。在图10中，在时刻tk蓄积局部图像变化率RTk，并且在时刻tk-1蓄积局部图像变化率RTk-1。 
[等式6]  RT k = [ RT k , 1 , RT k , 2 , · · · , RT k , N R ] T
然后，由局部图像变化率直方图计算单元160执行局部图像变化率直方图计算步骤S130。在该步骤中，计算当前时刻tk的NR个局部变化率RTk，i的直方图。因为局部变化率RTk，i能取的值为[0，1]，所以当直方图的阶级的宽度为BW时，阶级数为1/BW。在此情况下，阶级的宽度BW为0.1，并且阶级数为10。图11示出了所计算的局部图像变化率直方图的示例。横轴表示局部图像变化率，纵轴表示频率(区域数)。频率的总和(直方图的积分值)为区域总数NR。 
在本实施例中，考虑图2中所示的车站站台处的人的移动状况。作为移动状况，考虑下列三种模式。 
(1)多人数自由移动例如，存在其中在列车到达之后许多乘客下车并向楼梯ST移动的状况(图12)。多人数移动通过多个移动路径AR1至AR3。 
(2)少人数自由移动例如，存在其中下车的乘客经过楼梯ST并移动通过没有等候下一趟列车的乘客的站台的状况(图13)。因为少人数移动通过空站台，所以人的移动路径改变。结果，与多人数移动时相同，少人数移动通过多个移动路径AR1至AR3。 
(3)移动路径偏移到一侧例如，存在其中等候列车的乘客排成队列并且已通过楼梯ST移动到站台的新乘客通过站台的空场地移动到站台的画面的前方的状况 (图14)。因为存在等候列车的人WP，所以移动中的人MP的移动路径被限定在箭头AR1附近。 
图15示出了这三种移动状况模式的发生变化(具有大于或等于预定值的变化率)的区域数和局部图像变化率的大小。图16、17和18分别示出了这三种移动模式的图11中所示的局部图像变化率直方图的典型示例，诸如(1)多人数移动、(2)少人数移动和(3)移动路径偏移到一侧。 
首先，将使用图9中所示的图像来补充说明多人数移动的状况，其中，所述图像是通过对图12中所示的图像执行局部区域分割处理而得到的。当多人数移动时，图像中很多区域被改变(移动)。因为人的密度高，所以移动中的人逐个经过某个局部区域。因此，多数局部区域中局部图像变化率增加，如图15的第一列所示。同样，在图16所示的局部图像变化率直方图中，存在大量具有中等到大的局部图像变化率的局部区域。 
将使用图20中所示的图像来补充说明少人数自由移动的状况，其中，所述图像是通过对图13中所示的图像执行局部区域分割处理而得到的。与多人数移动时相同，即使在少人数移动时，人也经过空站台上的各种路径。因此，图像的多数区域中都存在变化(运动)。然而，因为人的密度低，所以经过某个局部区域的移动中的人数小。因此，如图15的第二列所示，局部图像变化率低。同样，在图17所示的局部图像变化率直方图中，具有中等局部图像变化率的局部区域的数大，而具有大的局部图像变化率的局部区域的数小。 
将使用图21中所示的图像来补充说明移动路径偏移到一侧的状况，其中，所述图像是通过对图14中所示的图像执行局部区域分割处理而得到的。当存在等候列车的队列时，人的移动路径被限定在箭头AR1附近。因为等候列车的人在那些位置稍微移动而非移动大， 所以发生变化(运动)的区域基本上被限制在存在移动中的人MP的区域，并且发生变化的区域数小。当通过楼梯ST移动到站台PH的人数等于少人数移动时(图12)的并且移动路径受限时，每局部区域经过移动路径的人数大于少人数移动时的，如图15的第三列所示。同样，在图18所示的局部图像变化率直方图中，具有中等到大的局部图像变化率的局部区域的数小于如图16所示的多人数移动时的。然而，与如图17所示的少人数移动时不同，至少存在具有大的局部图像变化率的局部区域。 
如上所述，在局部图像变化率直方图计算步骤S130(局部图像变化率直方图计算单元160)中计算局部图像变化率直方图。
图22示出了从实际运动图像的三个场景(多人数移动、少人数移动和移动路径偏移到一侧)中提取出的局部图像变化率直方图。局部图像变化率直方图中的每一个都对应于时刻tk，的局部变化率RTk，的直方图(在此情况下，在时刻tk，计算局部变化率，但如参照图10所说明的，从先前的TS2/TS1个局部变化信息项来计算某个时刻的局部变化率)。图22示出了当局部区域的总数NR＝162、TS1＝0.1(秒)、TS2＝10(秒)并且直方图的阶级的宽度BW＝0.1时的结果。从图22中可以看出，趋势与图16、17和18中所示的相同。 
然后，由状况判定单元170执行状况判定步骤S140。在诸如多人数移动、少人数移动和移动路径偏移到一侧这样的三种状况中，局部图像变化率直方图具有图16、17和18中所示的各个形状，如上所述。在本实施例中，预先在上面提及的三种状况中计算局部图像变化率直方图，然后将其储存作为参照直方图，并且将这些参照直方图与所判定的状况中的局部图像变化率直方图进行比较，从而判定三种状况中的一种。 
图23是示出了根据本实施例的状况判定单元170的内部结 构的图示。状况判定单元170包括参照直方图储存单元200和直方图比较单元210。将先前计算的、对应于每种状况的至少一个参照局部图像变化率直方图储存在参照直方图储存单元200中，以便与相应的状况(多人数移动、少人数移动和移动路径偏移到一侧中的任一种状况)相关联。直方图比较单元210将由局部图像变化率直方图计算单元160计算的在将判定的状况中的局部图像变化率直方图与参照直方图储存单元200中所储存的参照直方图进行比较。然后，判定在将判定的状况中的局部图像变化率直方图与参照直方图中的哪一个最为相似，并且输出与最为相似的直方图相关联的状况，作为状况的判定结果。例如，使用(等式7)的直方图交叉、(等式8)的Bhattaccharyya系数和(等式9)的标准化相关作为直方图之间的相似度的计算方法。 
[等式7] s = Σ u = 1 m w u min ( p u , q u )
[等式8]  s = Σ u = 1 m p u · q u
[等式9]  s = Σ u = 1 m p u · q u Σ u = 1 m p u Σ u = 1 m q u
回到图4，最后，由控制单元(图1中未示出)执行步骤S150。当装置的操作者使用输入单元(图1中未示出)输入处理结束指示时，处理返回到图像输入步骤S100，处理下一帧图像。当未输入处理结束指示时，处理结束。 
在本实施例中，在由局部图像变化检测单元120执行的局部 图像变化检测步骤S110中，使用运动向量，以便对图像蓄积单元110中所蓄积的帧图像当中的分隔了时间间隔TS1的两帧图像之间的局部区域中的变化进行检测。然而，可以使用其他方法。当使用运动向量时，能够得到移动方向或速度。结果，能够更准确地判定状况或拥塞度。可以使用帧之间的差分来简单地检测有无变化。如图24所示，当计算在时刻tk-1和时刻tk拍摄的两帧之间的差分时，得到其中每个像素的值都由亮度差(多值)构成的图像Dk(x，y)。可以基于局部区域i中的亮度差的平均值dk，i是否大于或等于预定阈值来判定每个局部区域中有无变化。在图24中，Si表示形成区域i的像素的集合并且NPi表示该集合的元素数。 
如图25所示，在得到其中每个像素的值都由亮度差构成的差分图像Dk(x，y)之后，可以执行表示有无变化的二值化，以得到二值化差分图像BDk(x，y)，并且可以基于局部区域中有变化的像素的数bd1k，i来判定每个局部区域中有无变化。当局部区域具有不同的面积时，可以基于通过利用局部区域的面积除(标准化)有变化的像素的数而得到的bd2k，i来判定每个局部区域中有无变化。 
当基于亮度值而得到帧之间的差分时，图像受到照明变化的影响。因此，如图26所示，可以对通过对输入图像进行边缘提取和二值化而得到的图像之间的差分(对每个像素的XOR运算)进行计算，以得到边缘处的帧间差分图像EDk(x，y)，并且可以基于局部区域中有变化的像素的数ed1k，i来判定每个局部区域中有无变化。当局部区域具有不同的面积时，可以基于通过利用局部区域的面积除(标准化)有变化的像素的数而得到的ed2k，i来判定每个局部区域中有无变化。 
如上所述，根据本实施例的状况判定装置，对所拍摄的图像的局部区域中的亮度值的时间变化率和多个局部区域的时间变化率的直方图进行分析，以判定人的移动状况。具体地，可简单地检测到移动路径偏移到一侧。因此，例如，在诸如车站这样的存在等候列车的 队列的场所，可推定存在等候列车的队列。当在人通常未排成队列的通道中检测到移动路径偏移到一侧时，可推定存在妨碍人自由移动的障碍。 
(第二实施例)根据本发明第二实施例的状况判定装置的结构与根据本发明第一实施例的状况判定装置的结构相同，如图1中所示。因此，将省略对其的说明。在第一实施例中，状况判定单元170具有图23中所示的内部结构，而根据本实施例的状况判定装置具有图27中所示的内部结构。即是说，状况判定单元170包括特征提取单元300、识别基准储存单元310和识别单元320。特征提取单元300从由局部图像变化率直方图计算单元160计算的直方图中提取用于判定状况或拥塞度的特征量。在识别基准储存单元310中，预先储存用于判定状况或拥塞度的、由特征提取单元300提取的特征量与状况种类或拥塞指标之间的关系。识别单元320基于由特征提取单元300提取的特征量和储存在识别基准储存单元310中的识别基准来识别状况种类或拥塞度。 
根据本实施例的状况判定方法的流程与图4中所示的根据第一实施例的相同。在本实施例中，直至局部图像变化率直方图计算步骤S130为止的处理和步骤S150的处理与第一实施例中的相同，并且将省略对其的描述。 
接下来，将参照附图27中的框图来说明状况判定步骤S140中的操作。首先，特征提取单元300从由局部图像变化率直方图计算单元160计算的直方图中提取用于判定状况或拥塞度的特征量。在此情况下，特征提取单元300从局部图像变化率直方图中提取二维特征量。通过下列方法来提取特征量。 
(1)在局部图像变化率直方图中，对具有中等变化率(阈值TH1)或以上的区域的数计数，并且该区域数为RN1。 (2)在局部图像变化率直方图中，对具有更大的变化率(大于或等于阈值TH2；TH2＞TH1)的区域的数计数，并且该区域的数为RN2。(3)如果RN1不等于0，则(f1，f2)＝(RN1/NR，RN2/RN1)是特征量，并且如果RN1等于0，则(f1，f2)＝(RN1/NR，0)为特征量。 
当TH1＝0.4且TH2＝0.7时，图22所示的三种状况(多人数移动、少人数移动和移动路径偏移到一侧)中的每一种状况中的RN1和RN2都具有图28所示的表格中的值，并且三种状况中的每一种状况中的f1和f2都具有图29所示的表格中的值。 
此外，预先计算用于判定状况或拥塞度的、由特征提取单元300提取的特征量与状况种类或拥塞指标之间的关系，然后将其储存在识别基准储存单元310中。图30示出了从三个场景的图像中预先提取的二维特征量(f1，f2)的分布。在该分布中，每个点都是从某个时刻的局部变化率直方图中提取的。即是说，特征是从在多个时刻的三个场景中的每一个场景中提取的。图30中所示的分布被作为是储存在识别基准储存单元310中的信息。 
识别单元320基于由特征提取单元300提取的特征量和储存在识别基准储存单元310中的识别基准来识别状况种类或拥塞度。 
接下来，将说明状况种类的识别方法。假定图30所示的信息被储存在识别基准储存单元310中。假定由局部图像变化率直方图计算单元160计算的直方图中的每一个都是图22所示的直方图中的任一个并且其状况种类未知。在此情况下，由特征提取单元300提取的特征量是图29所示的表格中的任一行中的值的集合。对储存在识别基准储存单元310中的特征量中与特征提取单元300所提取的特征量最为接近的特征点进行搜索(最邻近法)，并且输出与该特征点相关联的状况种类。这样，能够判定与由特征提取单元300提取的特征量相对应的场景的状况。图31示出了图29的表格中所示的每个值与图30 所示的二维特征量(f1，f2)的分布之间的关系。使用最邻近法能够准确地判定状况。 
上面已经说明了最邻近法，但本发明并不限于此。可以使用任何利用多个被监视的训练样本来对未知样本进行识别的方法。例如，可以使用支持向量机(SVM)、判别分析法(线性判别分析法或二次判别分析法)或者神经网络。因为各种文献中公开了这些方法，所以省略对它们的说明。例如，非专利文献3中公开了SVM，非专利文献4中公开了判别分析法。 
非专利文献3：Nello Cristianini，John Shawe-Taylor，″Anintroduction to Support Vector Machine″，大北刚译，Kyoritsu ShuppanCo.，Ltd，2005/03。非专利文献4：柳井晴夫等，″Multivariate Analysis，ModernStatistics 2″，Asakura Publishing Co.，Ltd.，1979/01。 
接下来，将说明拥塞度的判定方法。首先，将在自由移动的情况下(移动路径未受限时)和移动路径偏移到一侧时说明拥塞期间指标RN1和RN2中的变化和特征量f1和f2中的变化。 
<在自由移动的情况下(当移动路径未受限时)>当图32中的状态[1]转变成状态[2](在图32中，数值在圆圈中，这对于数值3至6也相同)时，具有中等或中等以上的局部图像变化率的区域的数RN1增加，而具有大的局部图像变化率的区域的数RN2未大量增加。原因在于，在移动路径未受限的状况中，当人数增加时，人经过各种路径(人不太可能经过相同的路径)。因此，由于特征量f1的增加而使得在二维特征量空间(f1，f2)中位置从图33中的[1]转变成[2]。 
在图32中，状态[3]表示人的移动路径基本上分布在车站站 台的整个区域上。在图32中，当状态从[2]转变成[3]时，与从[1]到[2]的转变相同，由于特征量f1的增加而使得在二维特征量空间(f1，f2)中位置从图33中的[2]转变成[3]。 
在图32的状态[4]中，因为人的密度增加，所以具有大的局部图像变化率的区域的数增加。具有中等或以上的局部图像变化率的区域的数RN1的增加率比具有大的局部图像变化率的区域的数RN2的大。在二维特征量空间(f1，f2)中，位置从图33中的[3]转变成[4](特征量的所绘制的点更可能移动)。 
当状态按照在图32中的[4]→[3]→[2]→[1]的次序转变时，特征量在图33的特征量空间中按照[4]→[3]→[2]→[1]的相反次序移动。 
<移动路径偏移到一侧时>当状态从图32中的[1]转变成[2]时图33的特征量空间中的所绘制的点的移动与自由移动期间的相同。等候列车的队列开始由状态[2]形成。在队列开始形成的图32的状态[5]中，人的移动路径受队列限制。移动路径一旦受队列限制，具有中等或以上的局部图像变化率的区域的数RN1就达到峰值。当排成队列的人的数增加且移动路径进一步受到限制时，指标RN1减少。对于另一指标RN2，当人以恒定速率经过区域时，每单位时间经过该区域的人的数由于人的移动路径受到限制而增加，这导致指标RN2增加。在图33的二维特征量空间(f1，f2)中，位置从[2]转变成[5]。 
在图32的状态[6]中，排成队列的人数进一步增加，并且人的移动路径进一步受到限制。因此，具有中等或以上的局部图像变化率的区域的数RN1减少，并且具有大的局部图像变化率的区域的数RN2增加。在图33的二维特征量空间(f1，f2)中，位置从[5]转变成[6]。 
接下来，将说明拥塞度的计算方法。这里，将说明利用子空间法的示例。非专利文献5的第14章中公开了子空间法的细节。这里，将仅说明子空间法的概要。首先，执行处理(1)和(2)。 
(1)对多人数移动、少人数移动和移动路径偏移到一侧这三种状况中的每一种状况提取多个特征量，从而算出图30中所示的分布。 
(2)对每种状况的二维分布执行主分量分析，并且将第一主分量(主轴)的直线作为一维子空间。图34示出了三种状况的子空间。 
将在(3)中说明包括将由其计算拥塞度的从场景中提取的特征量的状况判定方法和拥塞度的计算方法。 
(3)确定包括其状况未知的的特征量的子空间。如图35所示，当输入的特征量向量f被投影到子空间时，选择具有最大投影分量‖Pf‖的子空间作为识别结果。这对应于识别状况种类的另一实施例。如图36所示，预先使子空间(直线)上的位置和表示拥塞度的指标互相关联，并且能够基于当特征量向量f被投影到子空间时的向量的终点位置(图35中的箭头POS的位置)来计算表示拥塞度的指标。可以选择图36中最接近的拥塞级别(整数)作为表示拥塞度的指标，并且可以在终点位置处进行插值，以计算小数的拥塞级别。 
非专利文献5：″Technical Review and View in ComputerVision″(“计算机视觉中的技术展望与观点”)，松山隆司，久野义德，井宫淳，(New Technology)Communications(新技术通讯)，1998/06 
在本实施例中，基于投影到子空间的特征向量的位置来计算拥塞度。然而，替代主分量分析法，可以使用诸如多元回归分析这样 的其他方法。非专利文献4中公开了多元回归分析法的详细内容，因而省略对其的说明。 
在本实施例中，将三种状况(多人数移动、少人数移动和移动路径偏移到一侧)定义为状况种类。然而，可以识别两种状况，即，对应于多人数移动和少人数移动的“正常移动”和“移动路径偏移到一侧”。这些状况可以被分为四种或更多种状况。例如，可以如图37所示将状况分为四种状况，以便在子空间中进行近似时减少近似误差。 
如上所述，根据本实施例的状况判定装置，对所拍摄的图像的局部区域中的亮度值的时间变化率和多个局部区域的时间变化率的直方图进行分析，以判定人的移动状况并且计算拥塞级别。具体地，可简单地检测到移动路径偏移到一侧。因此，例如，在诸如车站这样的存在等候列车的队列的场所，可推定存在等候列车的队列及其拥塞级别。此外，在移动路径没有偏移到一侧的状况中，能够推定状况和拥塞度。当在人通常未排成队列的通道中检测到移动路径偏移到一侧时，可推定存在妨碍人自由移动的障碍。 
(第三实施例)图38是示意性地示出了根据本发明第三实施例的异常判定装置的结构的框图。在图38中，根据本实施例的异常判定装置包括状况判定装置500、列车到达检测单元510、异常判定单元520和通报单元530。与第一实施例相同，异常判定装置被安装在图2所示的铁道车站的站台处。 
状况判定装置500具有图1的框图中所示的结构，并且将所判定的状况种类或拥塞度传送到异常判定单元520。状况判定装置500的详细操作与根据第一实施例或第二实施例的相同。假定将要判定的状况种类至少包括其中人的移动路径偏移到一侧的状况。 
列车到达检测单元510检测列车的到达站台。可以使用任何方法，只要其能够检测列车的到达即可。例如，可以使用识别图像的方法、利用传感器的方法以及利用列车运行数据的方法。在识别图像的方法中，可以预先注册诸如列车的颜色和形状这样的外观信息，并且可以执行关于注册信息的模板匹配，以判定列车的到达。还可以使用第一实施例中所说明的运动向量的方法。当具有相似的方向和强度的多个运动向量出现在图像的预定区域(铁道线附近)中时，可以检测到刚体的移动，以判定列车的到达。在利用传感器的方法中，例如，负载传感器被设置在铁道下面，并且能够基于负载值来判定列车的到达。此外，可以使用激光发射设备和光接收设备来检测从列车反射的激光，或者检测从激光发光单元射出的光被列车遮挡住，从而判定列车的到达。作为利用列车运行数据的方法的示例，能够通过接收来自列车或列车控制中心的通信数据来检测列车的到达。 
异常判定单元520基于来自状况判定装置500的状况判定结果和拥塞度判定结果以及来自列车到达检测单元510的列车到达信息这两者来判定有无异常。下面，将说明该处理的细节。当异常判定单元520判定存在异常时，通报单元530将该事实发送到预定联络地址。 
接下来，将参照图39中的流程图来说明根据本实施例的异常判定装置的操作。图像输入步骤S100至状况判定步骤S140由状况判定装置500执行。状况判定装置500的结构示于图1中，并且执行步骤S100至S140的单元及其操作与根据第一实施例或第二实施例的相同。因此，将省略对其的详细说明。这里，将参照图40来说明从状况判定装置500输出的状况判定结果和拥塞指标在正常操作期间的时间系列变化。图40是示意性地示出了从根据第二实施例的状况判定装置输出的状况判定结果和拥塞度中的时间系列变化的图示。 
<拥塞指标>横轴表示时间，并且列车在时刻t3和时刻t6到达。因为前一趟列 车已在时刻t1到达，所以站台上没人并且拥塞度为0。因为直到列车到达的时刻t3人移动到站台以便上车，所以拥塞度逐渐增加。在列车到达的时刻t3，等候列车的乘客上车，并且乘客从列车下来到站台上并移动到图2所示的楼梯ST。在所有乘客都移动到楼梯ST的时刻t4，拥塞度返回到0。之后，重复从时刻t1到时刻t4的状况。 
<状况判定结果>在从时刻t1到时刻t2的时间段中，没有等候列车的队列。该状况被判定为“状况1：少人数移动”。因为从时刻t2开始形成等候列车的队列t2，所以该状况被判定为“状况2：移动路径偏移到一侧”。当列车在时刻t3到达时，所有乘客移动到图2中所示的楼梯ST。因此，该状况被判定为“状况3：多人数移动”。 
然后，由列车到达检测单元510执行列车到达检测步骤S200。该处理与列车到达检测单元510的操作相同。 
然后，由控制单元(图38中未示出)执行步骤S210。在当前时刻有列车到达信息(是的情况)时，处理前进到异常判定步骤S220。当没有列车到达信息(否的情况)时，处理前进到步骤S150。 
然后，由异常判定单元520执行异常判定步骤S220。该步骤如下执行。预先测量从列车到达到拥塞度返回到0的时间(例如，从时刻t3到时刻t4的时间段)，并且基于测量值来确定阈值DT。当自列车到达检测单元510检测到列车到达起经过时间DT之后拥塞指标不小于预定阈值或者状况没有被判定为“状况1：少人数移动”时，判定有异常。 
异常的示例包括：由于列车中没有空间而使得在站台上等候列车的乘客未乘上到达的列车，并且一些乘客留在了站台；楼梯ST发生拥塞，并且即使在经过时间DT之后，下车的乘客也未能移动到楼梯 ST。拥塞消除的时间受等候列车的人数和下车的人数的影响。因此，优选根据日期和时间将阈值DT设定为适当的值。 
然后，由控制单元(图38中未示出)执行步骤S230。如果在异常判定步骤中判定存在异常(是的情况)，则处理前进到通报步骤S240。如果没有异常(否的情况)，则处理前进到步骤S150。由通报单元530执行通报步骤S240。通报处理与通报单元530的操作相同。最后，由控制单元(图38中未示出)执行步骤S150。在图38中，当装置的操作者使用输入单元(图38中未示出)输入处理结束指示(是的情况)时，处理返回到图像输入步骤S100以处理下一帧图像。当未输入处理结束指示(否的情况)时，处理结束。 
如上所述，根据本实施例的异常判定装置，能够基于通过状况判定装置得到的状况种类或拥塞度来判定不同于正常状态的异常拥塞状态。 
(第四实施例)图41是示意性地示出了根据本发明第四实施例的拥塞推定装置的结构的框图。在图41中，根据本实施例的拥塞推定装置610A包括：图像生成单元611，其将用相机拍摄的图像或各种场景的图像转换成数字图像，并且输出该数字图像；区域分割单元612，其将输入图像分割成部分区域；移动信息生成单元613，其由从图像生成单元611的图像序列生成移动信息；基准移动信息生成单元614，其储存并更新作为每个部分区域中的运动的基准的基准移动信息；纹理信息生成单元615，其生成从图像生成单元611输出的图像的纹理信息；基准纹理信息生成单元616，其储存并更新基准纹理信息，所述基准纹理信息用于判定每个部分区域中有无人存在；储存单元617，其储存基准移动信息和基准纹理信息；移动信息判定单元618，其将从移动信息生成单元613输出的移动信息与由基准移动信息生成单元614生成的基准移动信息进行比较，以基于比较结果判定每个部分区域中有无移动；纹理信息判 定单元619，其将从纹理信息生成单元615输出的纹理信息与由基准纹理信息生成单元616生成的基准纹理信息进行比较，以判定每个部分区域中是否存在与人相同的纹理信息；和滞留判定单元620，其接收来自移动信息判定单元618和纹理信息判定单元619的判定结果，并且基于接收到的判定结果而判定每个区域中有无人存在。 
将参照图42、43和44来说明具有上面提及的结构的拥塞推定装置610A的操作。首先，将通过图像生成单元611得到的图像数据传送给移动信息生成单元613和纹理信息生成单元615。这里，将参照图42来说明图像分割单元612的功能。首先，区域分割单元612执行用于移动信息生成单元613和基准移动信息生成单元614的区域分割。基于作为对象的物体的尺寸来确定区域。对具有与前后位置相对应的物体尺寸的矩形区域(1)630和矩形区域(2)631进行设定。基于所设定的两个矩形区域，通过线性插值来确定任意位置处的移动处理区域。图43示出了移动处理区域的分割的示例。 
然后，基于用于所确定的移动信息的区域的分割结果，来确定用于纹理信息生成单元615和基准纹理信息生成单元616的纹理处理区域。在用于纹理的纹理处理区域的分割中，用于移动信息的多个区域分割结果的集合为一个纹理处理区域。图44示出了其中二乘二总计四个用于移动信息的移动处理区域结果属于一个纹理处理区域的示例。在本实施例中，使用了四个移动处理区域结果，但其数目可以随设计自由改变。 
接下来，将参照图45来说明移动信息生成单元613、基准移动信息生成单元614和移动信息判定单元618的操作。从图像生成单元611输入的图像被储存在图像缓存单元640中。然后，将图像输入到光流计算单元641和边缘提取单元643。光流计算单元641从图像中提取特征点并且对与所提取的特征点相对应的下一帧上的点进行搜索。连接对应的特征点与初始图像的特征点的向量是运动向量。流代 表方向/大小计算单元642对每个移动处理区域的代表流和代表大小进行计算。 
每个移动处理区域都包括多个运动向量。然而，计算多个运动向量的平均值作为代表大小，并且当存在具有多个方向的移动向量时，计算最高频率的方向向量作为流代表方向。当计算该方向时，仅由具有大于或等于预定值的大小的流来构建频率分布，以消除噪声流。 
每个移动处理区域的流的代表方向信息(单位：弧度)和流的代表大小(单位：像素)都被储存并且然后传送给运动向量状态判定单元647。基准移动信息生成单元614包括基准运动向量映射参照单元645和基准差分区域映射参照单元646。图46所示的基准运动向量映射650被储存在基准运动向量映射参照单元645中，并且每个移动处理区域都具有作为有无移动的基准值的阈值。例如，区域(1)651、区域(2)652和区域(3)653(在图46中，省略了其中具有数值的圆括号“()”，这与下列说明相同)的阈值为10。当流的大小超过阈值时，判定有移动。当流的大小小于阈值时，判定无运动。同样，区域(8)654和区域(9)655的阈值为9。所有移动处理区域都有阈值。 
回到图45，边缘提取单元643使用诸如索贝尔滤波器这样的现有边缘提取程序来提取输入图像的边缘，并且将所提取的结果传送给边缘帧间差分单元644。边缘帧间差分单元644计算前一边缘帧与当前输入的边缘帧之间的差分，提取与前一帧中的像素不同的当前帧中的像素，并且将它们传送给差分区域状态判定单元648。基准移动信息生成单元614包括基准差分区域映射参照单元646，并且映射包括用于当像素在若干百分点的移动处理区域中被移动时判定有无移动的映射。图47示出了基准差分区域映射660的示例。 
在基准差分区域映射660中，当诸如区域(1)661、区域(2)662或区域(3)663(在图47中，省略了其中具有数值的圆括号“()”， 这与下列说明相同)这样的处理区域的10％有移动时，判定该区域为移动区域。当移动量小于10％时，判定该区域为非移动区域。例如，当移动了15％的区域时，区域(8)664和区域(9)665被判定为移动区域。这样，差分区域状态判定单元648对所有移动处理区域执行上面提及的判定处理。移动区域状态判定单元649基于运动向量状态判定单元647的判定结果和差分区域状态判定单元648的判定结果这两者来判定已被判定为移动区域的移动处理区域中有移动存在，并且将判定结果传送给滞留判定单元620(参见图41)。将已基于运动向量状态判定单元647的判定结果和差分区域状态判定单元648的判定结果这两者而被判定为非移动区域的移动处理区域作为非移动区域传送给滞留判定单元620。 
接下来，将参照图48和49来说明纹理信息生成单元615、基准纹理信息生成单元616和纹理信息判定单元619的操作。纹理信息生成单元615从通过区域分割单元612分割的每个纹理处理区域中提取纹理特征量。使用傅里叶变换对纹理特征量执行频率转换处理。图48示出了输入图像670的示例。对区域(t1)671、区域(t2)672、区域(t3)673、…(在图48中，省略了其中具有数值的圆括号“()”，这与下列说明相同)顺次执行频率转换处理。图49示出了纹理特征量提取处理的结果的示例。通过对区域(t1)671、区域(t2)672、区域(t3)673、…(在图49中，省略了其中具有数值的圆括号“()”，这与下列说明相同)执行频率转换处理，得到纹理特征量提取结果680作为输入。纹理特征量提取结果680包括区域t1纹理特征量681、区域t2纹理特征量682和区域3纹理特征量683。 
基准纹理信息生成单元616从有人的场景组和无人的场景组中的每个纹理处理区域中提取纹理特征量。图50示出了有人的场景(1)690(在图50中，省略了其中具有数值的圆括号“()”，这与下列说明相同)。从诸如区域(t1)692、…、区域(t17)693、…的纹理处理区域691中的每个区域中提取纹理特征量。这样，从有人的场 景1的区域t1中提取纹理特征量694，并且从有人的场景1的区域t17中提取纹理特征量695。同样，图51示出了无人的场景(1)700(在图51中，省略了其中具有数值的圆括号“()”，这与下列说明相同)。从诸如区域(t1)702、…、区域(t17)703、…这样的纹理处理区域701中的每个区域中提取纹理特征量。这样，从无人的场景1的区域t1中提取纹理特征量704，并且从无人的场景1的区域t17中提取纹理特征量705。 
将参照图52来说明纹理信息判定单元619的处理。纹理信息判定单元619输出从纹理信息生成单元615输入的图像670中的每个纹理处理区域的区域(t1)671、…的区域(t1)纹理特征量681、…(在图52中，省略了其中具有数值的圆括号“()”，这与下列说明相同)。此外，因为基准纹理信息生成单元616具有与每个纹理区域相对应的基准纹理特征量，例如，从无人的场景1的区域t1中提取纹理特征量704，并且从有人的场景1的区域t1中提取纹理特征量694。纹理特征量694和704对应于输入图像的区域(t1)692和区域(t1)702。然后，执行与区域t1纹理特征量681的相似度计算706。当与无人的场景的区域的相似度高时，纹理信息判定单元619判定该区域中无人。当与有人的场景的区域的相似度高时，纹理信息判定单元619判定该区域中有人。在相似度计算中，可以使用SAD(绝对差分和)来计算具有最小相似度的纹理，或者可以使用标准化的相关指标。 
接下来，将参照图53来说明滞留判定单元620的操作。在基于移动信息判定单元的判定结果而被判定为有移动710的区域中，将基于纹理信息判定单元的判定结果而被判定为其中有人712的区域判定为移动区域714。在基于移动信息判定单元的判定结果而被判定为有移动710的区域中，将基于纹理信息判定单元的判定结果而被判定为其中无人713的区域判定为噪声区域715。在基于移动信息判定单元的判定结果而被判定为无移动711的区域中，将基于纹理信息判定单元的判定结果而被判定为其中有人712的区域判定为滞留区域716。在 基于移动信息判定单元的判定结果而被判定为无移动711的区域中，将基于纹理信息判定单元的判定结果而被判定为其中无人713的区域判定为背景区域717。这样，能够如图54所示地输出每个区域的状态。图54示出了移动区域720、滞留区域721、背景区域723和噪声区域724的状态。 
如上所述，移动信息判定单元618判定区域有无移动，并且纹理信息判定单元619利用纹理判定相似度，从而判定有人的区域或无人的区域。滞留判定单元620能够判别每个区域的各种状态：滞留区域、移动区域、噪声区域和背景区域。 
根据本实施例的拥塞推定装置610A的纹理信息生成单元615和基准纹理信息生成单元616使用通过傅里叶变换的频率转换处理来提取纹理特征量，但本发明不限于此。例如，可以使用边缘信息或伽柏特征来提取特征量。 
根据本实施例的拥塞推定装置610A的基准纹理信息生成单元616生成无人的场景和有人的场景作为基准纹理的一个图案，但本发明不限于此。例如，可以使用多个有人的场景和多个无人的场景来生成多个基准纹理。基准纹理可以从诸如多人数场景、正常人数场景、少人数场景和无人场景这样的多个场景中生成，并且纹理信息判定单元619可以利用它们来判定有人的区域或无人的区域。此外，可以通过诸如支持向量机(SVM)或Boosting算法的学习算法来学习多个场景，并且可以使用有人的场景的代表基准纹理和无人的场景的代表特征量来判定有人的区域或无人的区域。 
(第五实施例)图55是示意性地示出了根据本发明第五实施例的拥塞推定装置的结构的框图。根据本实施例的拥塞推定装置610B与根据第四实施例的拥塞推定装置610A的不同之处在于其还包括时序生成单元621，所 述时序生成单元621将所输入的基准信息的更新时序输入到基准移动信息生成单元614和基准纹理信息生成单元616。其他结构与根据第四实施例的相同，并且将省略对其的说明。 
将参照图56和57来说明时序生成单元621的下述处理，在所述处理中，时序生成单元621按照列车进入、停止和出发的时序将更新时序发送给基准移动信息生成单元614和基准纹理信息生成单元616。如图56所示，相机730被安装在车站站台处使其能够监视铁道。当列车进入铁道上的车站时，利用诸如帧间差分和背景差分处理这样的图像处理技术来检测列车进入期间铁道中的变化，并且将进入时序传送给基准移动信息生成单元614和基准纹理信息生成单元616。在列车即将进入之前，存在等候列车的队列。因此，纹理信息判定单元619使用有人的模板来更新纹理信息。然后，当列车停止时，乘客上下车。因此，基准移动信息生成单元614使用列车的停止时序来更新基准移动信息。图57示出了该处理的步骤安排。 
在车辆进入检测步骤S141中，通过图像处理来检测列车的进入，并且将检测结果传送给更新时序通报步骤S145。在车辆停止检测步骤S142中，在于车辆进入检测步骤S141中检测到车辆进入之后，当铁道上没有移动时，判定车辆停止，并将车辆停止时刻通报给更新时序通报步骤S145。在车辆出发检测步骤S143中，在于车辆停止检测步骤S142中检测到车辆停止之后，当铁道上有移动时，判定车辆出发，并且将车辆的出发通报给更新时序通报步骤S145。在该处理中，连续对车辆的进入、停止和出发进行检测，直到发出处理结束指示(步骤S144)。 
图58示出了在车辆进入时序的车站站台的图像的示例。如图58所示，将在进入时序得到的多个场景传送给基准纹理信息生成单元616，并且从该场景组中生成基准纹理。这样，能够使有人存在时的基准纹理适应于场景。此外，储存用于每个日期和时间的基准纹理。 这样，能够与例如日期和时间同步地判定纹理信息。 
图59示出了在列车停止时序的从车站站台提取运动向量的处理之后的运动向量的获取结果的序列的示例。如图59所示，在列车停止时序得到的多个场景被传送给基准移动信息生成单元614，并且从那时的场景组中提取每个移动处理区域中的移动的大小或方向向量。然后，将那时的移动作为基准移动量，以获取每个移动处理区域的方向向量。此外，储存用于每个日期和时间的基准移动信息。这样，能够与例如日期和时间同步地判定移动信息。 
如上所述，时序生成单元621基于列车的进入、停止和出发时序，自动地设定移动信息的基准移动量或有人的纹理信息。这样，能够判别有移动的状态与没有移动的状态。此外，能够判定有无人存在。 
根据本实施例的拥塞推定装置610B的时序生成单元621利用图像处理技术生成车辆的进入时序，但本发明不限于此。例如，可以将检测传感器设置在铁道上，并且可以从传感器的信息得到与车辆的进入、停止和出发相关的信息。此外，可以与列车时刻表中的到达时刻同步地通报列车的进入时序。 
时序生成单元621利用车辆的进入、停止和出发时序，但不限于此。时序生成单元621可以按照任意时间间隔生成更新时序。 
(第六实施例)图60是示意性地示出了根据本发明的第六实施例的拥塞推定装置的结构的框图。根据本实施例的拥塞推定装置601C与根据第四实施例的拥塞推定装置610A的不同之处在于其还包括时序生成单元621，所述时序生成单元621将所输入的基准信息的更新时序输入到基准移动信息生成单元614和基准纹理信息生成单元616以及异常判定单元 622，所述异常判定单元622对处理区域的时间系列比率进行分析并判定有无异常拥塞。其他结构与根据第四实施例的拥塞推定装置610A的相同，并且将省略对其的详细说明。 
图61示出了从滞留判定单元620输出的处理区域状态判定结果序列150。区域状态判定结果序列750具有作为t(0)751、t(1)752、t(2)753、…、t(n)756(在图61中，省略了其中具有数值的圆括号“()”，这与下列说明相同)的时间系列数据的区域判定结果。图62示出了通过绘制区域状态判定结果序列750而得到的拥塞指标时间系列曲线图760。该曲线图是通过在时间系列中绘制滞留区域763、移动区域762、噪声区域764、总拥塞度761而得到的。总拥塞度761表示移动区域762的数目和滞留区域763的数目之和。异常拥塞判定单元622在总拥塞度761超过预定的阈值时判定发生异常拥塞。例如，当阈值被设定成使得如果总拥塞度761超过80％则判定拥塞异常时，在t(5)754和t(30)755时判定发生异常拥塞，并通报该事实。在本实施例中，基于总拥塞度761的比率来判定异常拥塞。然而，可以基于滞留区域763的比率来判定异常拥塞。在本实施例中，基于总拥塞度761的比率来判定异常拥塞。然而，可以基于移动区域762的比率来判定异常拥塞。 
图63示出了通过使t10：车辆进入765、t20：车辆进入768、t11：车辆停止766、t21：车辆停止769、t12：车辆出发767和t22：车辆出发770的时序在拥塞指标时间系列曲线图上重叠而得到的拥塞指标时间系列曲线图，其中所述时序从时间生成单元621得到。当总拥塞度761在自t10：车辆进入765和t20：车辆进入768时起经过预定时间之后没有减少预定阈值时，异常判定单元622判定存在异常。例如，在自t10：车辆进入765起的预定判定时间段771的范围中，当总拥塞度761没有减少60％或更多时，异常判定单元622判定发生异常拥塞，并通报该事实。 
在图63所示的示例中，在自10：车辆进入765和t20：车辆进入768时起的判定时间段771中，总拥塞度761减少60％或更少时，不判定发生异常拥塞。在本实施例中，基于车辆进入时的总拥塞度761的比率来判定异常拥塞。然而，可以基于滞留区域763的比率来判定异常拥塞。在本实施例中，基于总拥塞度761的比率来判定异常拥塞。然而，可以基于移动区域762的比率来判定异常拥塞。 
接下来，将参照图64来说明人的移动趋势的判定处理，在该处理中，依据通过滞留判定单元620判定的每个处理区域的状态来判定诸如滞留开始状态、滞留消除状态和正常状态这样的人的移动趋势。在滞留区域检测步骤S180中，对滞留区域进行检测。在搜索滞留区域的邻近区域的搜索步骤S181中，判定在包括滞留区域的邻近区域中是生成了新的滞留区域还是消除了滞留区域，并将表示判定结果的信息传送给滞留区域连续增加判定步骤S182和滞留区域连续减少判定步骤S185。 
在滞留区域连续增加判定步骤S182中，判定滞留区域是否连续单调地增加，并且判定连续增加的滞留区域数是否大于或等于阈值(步骤S183)。如果滞留区域数大于或等于预定阈值，则在滞留开始判定通报步骤S184中，在由于滞留区域的增加而发生异常拥塞之前发出警告。同样，在滞留区域连续减少判定步骤S185中，判定滞留区域是否连续单调地减少，并且判定连续减少的滞留区域数是否大于或等于阈值(步骤S186)。如果滞留区域数大于或等于预定阈值，则在滞留消除判定通报步骤S187中，通报已消除拥塞状况。 
图65示出了上面提及的处理的示例。在时刻(t-4)790和时刻(t-3)791(在图65中，省略了其中具有数值的圆括号“()”，这与下列说明相同)，仅检测到移动区域。在时刻(t-2)792，生成滞留区域，并且将该滞留区域作为基准滞留区域795。在时刻(t-1)793，在基准滞留区域795附近生成新的滞留区域，并且将滞留区域组作为基准滞留 区域组。在时刻(t)794，在基准滞留区域组中生成三个新的滞留区域。当用于判定滞留区域的阈值为三个滞留区域时，判定滞留开始796发生，并通报该事实。对滞留消除执行如上所述的相同步骤。除滞留开始判定和滞留消除判定之外的情况被判定为正常状态。因此，能够通报正常状态。 
如上所述，能够基于每个区域的各种状态，即滞留区域、移动区域、噪声区域和背景区域来判定拥塞状况的指标(滞留开始状态、滞留消除状态和正常状态)和异常状态。 
虽然上面已经说明了本发明的示例性实施例，但是本发明并不限于此，而是本领域技术人员基于说明书和公知技术而做出的改变和应用也都包括在本发明的保护范围内。 
本申请基于在2007年10月26日提交的日本专利申请No.2007-278625和在2007年10月29日提交的日本专利申请No.2007-280205，其内容通过引用结合于此。工业适用性 
根据本发明的状况判定装置、状况判定方法和状况判定程序能够提供这样一种装置、方法和程序，所述装置、方法和程序，在诸如车站或机场这样的其中有多人移动的公共空间中进行图像监视时，能够判定与人的移动有关的状况种类或拥塞度，并且实现省力和高效。此外，根据本发明的异常判定装置、异常判定方法和异常判定程序能够提供这样一种装置、方法和程序，所述装置、方法和程序，在正如车站或机场这样的其中有多人移动的公共空间中进行图像监视时，能够判定与人的移动有关的异常拥塞状况、实现省力和高效，并且预先检测异常，以便防止由异常拥塞而引起的事故。 
根据本发明的拥塞推定装置自动地设定移动信息的基准移 动量，以判别有移动的状态和无移动的状态。此外，该拥塞推定装置判定有无移动并利用纹理来判定相似度，从而判别每个区域的各种状态：滞留区域、移动区域、噪声区域和背景区域。而且，该拥塞推定装置利用每个区域的状态来推定拥塞度，并且能够提供拥塞状况的指标(滞留区域、移动区域、正常区域、滞留开始状态、滞留消除状态和正常状态)以及关于异常状态的信息。因此，根据本发明的拥塞推定装置能够被应用于通报异常拥塞状态的装置。 

Claims (9)

1.一种状况判定装置，用于对所拍摄的运动图像或多个所拍摄的静止图像进行分析，以判定人的移动状况和/或拥塞度，所述状况判定装置包括：
图像输入单元，所述图像输入单元输入在成像对象场所中拍摄的人的运动图像或多个静止图像；
图像蓄积单元，所述图像蓄积单元蓄积由所述图像输入单元输入的图像；
局部图像变化检测单元，所述局部图像变化检测单元从蓄积在所述图像蓄积单元中的图像中选择按照第一时间间隔拍摄的两个图像，并且使用表示将所述图像分割成多个局部区域的分割方法的区域分割信息来在每个局部区域中检测所述两个图像之间的变化；
局部图像变化信息蓄积单元，所述局部图像变化信息蓄积单元蓄积由所述局部图像变化检测单元检测到的所述两个图像之间的变化，作为图像变化信息；
局部图像变化率计算单元，所述局部图像变化率计算单元基于蓄积在所述局部图像变化信息蓄积单元中的图像变化信息，对每个局部区域中按照第二时间间隔给出的图像之间的变化数目计数，并且计算每个局部区域的图像变化率；
局部图像变化率蓄积单元，所述局部图像变化率蓄积单元蓄积由所述局部图像变化率计算单元计算的多个局部区域的图像变化率；
局部图像变化率直方图计算单元，所述局部图像变化率直方图计算单元对由所述局部图像变化率蓄积单元蓄积的所述多个局部区域的图像变化率的直方图进行计算；
状况判定单元，所述状况判定单元对由所述局部图像变化率直方图计算单元计算的直方图进行分析，以判定所述成像对象场所中的人的移动状况和/或拥塞度。
2.根据权利要求1所述的状况判定装置，其中，所述状况判定单元包括参照直方图储存单元和直方图比较单元。
3.根据权利要求1所述的状况判定装置，其中，所述状况判定单元包括特征提取单元、识别基准储存单元和识别单元。
4.根据权利要求1所述的状况判定装置，其中，所述移动状况至少包括其中人的移动路径偏移到一侧的状况。
5.一种异常判定装置，用于对由设置在车站站台处的成像单元拍摄的运动图像或多个静止图像进行分析，以判定异常状况，所述异常判定装置包括：
根据权利要求4所述的状况判定装置；
列车到达检测单元，所述列车到达检测单元检测列车到达所述站台；和
异常判定单元，所述异常判定单元基于所述状况判定装置的状况判定结果和通过所述列车到达检测单元得到的列车到达信息，当自所述列车到达检测单元取得所述列车到达信息起经过预定时间之后判定人的移动路径偏移到一侧作为所述状况判定结果时，判定发生异常。
6.根据权利要求5所述的异常判定装置，还包括：
通报单元，当所述异常判定单元判定发生异常时，所述通报单元将所述异常判定单元的判定结果发送给预定联络地址。
7.一种状况判定方法，用于对所拍摄的运动图像或多个所拍摄的静止图像进行分析，以判定人的移动状况和/或拥塞度，所述状况判定方法包括：
图像输入步骤，所述图像输入步骤用于输入在成像对象场所中拍摄的人的运动图像或多个静止图像；
图像蓄积步骤，所述图像蓄积步骤用于蓄积由所述图像输入步骤输入的图像；
局部图像变化检测步骤，所述局部图像变化检测步骤用于从在所述图像蓄积步骤中蓄积的图像中选择按照第一时间间隔拍摄的两个图像，并且使用表示将所述图像分割成多个局部区域的分割方法的区域分割信息来在每个局部区域中检测所述两个图像之间的变化；
局部图像变化信息蓄积步骤，所述局部图像变化信息蓄积步骤用于蓄积由所述局部图像变化检测步骤检测到的所述两个图像之间的变化，作为图像变化信息；
局部图像变化率计算步骤，所述局部图像变化率计算步骤用于基于在所述局部图像变化信息蓄积步骤中蓄积的图像变化信息，对每个局部区域中按照第二时间间隔给出的图像之间的变化数目计数，并且计算每个局部区域的图像变化率；
局部图像变化率蓄积步骤，所述局部图像变化率蓄积步骤用于蓄积由所述局部图像变化率计算步骤计算的多个局部区域的图像变化率；
局部图像变化率直方图计算步骤，所述局部图像变化率直方图计算步骤用于对由所述局部图像变化率蓄积步骤蓄积的所述多个局部区域的图像变化率的直方图进行计算；
状况判定步骤，所述状况判定步骤用于对由所述局部图像变化率直方图计算步骤计算的直方图进行分析，以判定所述成像对象场所中的人的移动状况和/或拥塞度。
8.根据权利要求7所述的状况判定方法，其中，所述移动状况至少包括其中人的移动路径偏移到一侧的状况。
9.一种异常判定方法，用于对由设置在车站站台处的成像单元拍摄的运动图像或多个静止图像进行分析，以判定异常状况，所述异常判定方法包括：
状况判定步骤，所述状况判定步骤用于执行权利要求8的状况判定方法；
列车到达检测步骤，所述列车到达检测步骤用于检测列车到达所述站台；和
异常判定步骤，所述异常判定步骤用于基于状况判定步骤的状况判定结果和通过列车到达检测步骤得到的列车到达信息，当自所述列车到达检测单元取得所述列车到达信息起经过预定时间之后判定人的移动路径偏移到一侧作为所述状况判定结果时，判定发生异常。
CN2008800183147A 2007-10-26 2008-10-20 状况判定装置、状况判定方法、异常判定装置、异常判定方法 Expired - Fee Related CN101681555B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2007278625A JP4624396B2 (ja) 2007-10-26 2007-10-26 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラム
JP278625/2007 2007-10-26
JP2007280205A JP4966820B2 (ja) 2007-10-29 2007-10-29 混雑推定装置および方法
JP280205/2007 2007-10-29
PCT/JP2008/002970 WO2009054119A1 (ja) 2007-10-26 2008-10-20 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法、異常判定プログラムおよび混雑推定装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2012100617661A Division CN102582664A (zh) 2007-10-26 2008-10-20 拥塞推定装置

Publications (2)

Publication Number Publication Date
CN101681555A CN101681555A (zh) 2010-03-24
CN101681555B true CN101681555B (zh) 2012-11-28

Family

ID=40579228

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008800183147A Expired - Fee Related CN101681555B (zh) 2007-10-26 2008-10-20 状况判定装置、状况判定方法、异常判定装置、异常判定方法
CN2012100617661A Pending CN102582664A (zh) 2007-10-26 2008-10-20 拥塞推定装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2012100617661A Pending CN102582664A (zh) 2007-10-26 2008-10-20 拥塞推定装置

Country Status (3)

Country Link
US (2) US8472715B2 (zh)
CN (2) CN101681555B (zh)
WO (1) WO2009054119A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554457B2 (en) * 2010-07-15 2013-10-08 Passur Aerospace, Inc. System and method for airport surface management
GB2484133B (en) * 2010-09-30 2013-08-14 Toshiba Res Europ Ltd A video analysis method and system
JP5520203B2 (ja) * 2010-12-01 2014-06-11 株式会社日立製作所 混雑度推定装置
JP2012212407A (ja) * 2011-03-31 2012-11-01 Sogo Keibi Hosho Co Ltd 状態判定装置、状態判定方法およびプログラム
US9232233B2 (en) * 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
WO2013057904A1 (ja) 2011-10-19 2013-04-25 パナソニック株式会社 蝟集判定装置及び蝟集判定方法
JP5826001B2 (ja) * 2011-11-30 2015-12-02 キヤノン株式会社 画像処理装置、及びその制御方法
US9218739B2 (en) 2012-05-14 2015-12-22 Ford Global Technologies, Llc Method for analyzing traffic flow at an intersection
US8718906B2 (en) * 2012-05-14 2014-05-06 Ford Global Technologies, Llc Method for analyzing traffic flow at an intersection
WO2014112407A1 (ja) * 2013-01-16 2014-07-24 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP6064728B2 (ja) * 2013-03-26 2017-01-25 東日本電信電話株式会社 情報提供システム、情報提供方法及びコンピュータプログラム
JP6100581B2 (ja) * 2013-03-29 2017-03-22 株式会社デンソーウェーブ 監視装置
WO2015029588A1 (ja) * 2013-08-27 2015-03-05 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
CN105518755A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 安全系统、安全方法和非暂时性计算机可读介质
CN103500327B (zh) * 2013-10-16 2018-06-05 武汉理工大学 基于空间位置信息的同一品牌车辆的车型识别方法
KR102143618B1 (ko) * 2014-01-17 2020-08-11 삼성전자주식회사 프레임률 제어 방법 및 그 전자 장치
JP5910655B2 (ja) * 2014-03-25 2016-04-27 トヨタ自動車株式会社 移動速度予測装置及び移動速度予測方法
CN104021668B (zh) * 2014-06-26 2016-03-09 中国科学院自动化研究所 一种公共交通供需状态检测与预测系统及方法
US10846536B2 (en) * 2014-06-27 2020-11-24 Nec Corporation Abnormality detection device and abnormality detection method
JP6708122B2 (ja) 2014-06-30 2020-06-10 日本電気株式会社 誘導処理装置及び誘導方法
CN105719269B (zh) * 2014-12-03 2018-09-28 高德软件有限公司 一种目标物体确定方法及装置
EP3813333B1 (en) * 2015-01-20 2022-06-29 Panasonic Intellectual Property Corporation of America Irregularity detection rule update for an on-board network
JP6573819B2 (ja) * 2015-01-20 2019-09-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 不正検知ルール更新方法、不正検知電子制御ユニット及び車載ネットワークシステム
JP6650677B2 (ja) * 2015-02-26 2020-02-19 キヤノン株式会社 映像処理装置、映像処理方法、およびプログラム
CN104700432B (zh) * 2015-03-24 2017-11-03 银江股份有限公司 一种自适应的粘连车辆分割方法
JP6384802B2 (ja) * 2015-03-26 2018-09-05 パナソニックＩｐマネジメント株式会社 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
CN106257558A (zh) * 2015-06-17 2016-12-28 中兴通讯股份有限公司 物体定位方法及装置
CN104969875A (zh) * 2015-07-23 2015-10-14 中山大学深圳研究院 一种基于图像变化的宠物行为检测系统
US10289884B2 (en) 2015-08-27 2019-05-14 Kabushiki Kaisha Toshiba Image analyzer, image analysis method, computer program product, and image analysis system
JP6806066B2 (ja) * 2015-09-11 2021-01-06 日本電気株式会社 物体計数装置、物体計数方法、物体計数プログラム、および物体計数システム
US9646191B2 (en) * 2015-09-23 2017-05-09 Intermec Technologies Corporation Evaluating images
DE102015221823A1 (de) * 2015-11-06 2017-05-11 Siemens Aktiengesellschaft Vorrichtung und Verfahren zum Verarbeiten einer wenigstens eine Information darstellenden Bilddarstellung
JP6474919B2 (ja) 2016-01-12 2019-02-27 株式会社日立国際電気 混雑状況監視システム及び混雑状況監視方法
JP6674791B2 (ja) 2016-02-17 2020-04-01 株式会社Ｓｃｒｅｅｎホールディングス 混雑度推定方法、人数推定方法、混雑度推定プログラム、人数推定プログラム、および人数推定システム
JP6397581B2 (ja) * 2016-05-13 2018-09-26 株式会社日立製作所 混雑状況可視化装置、混雑状況可視化システム、混雑状況可視化方法、および混雑状況可視化プログラム
WO2017221644A1 (ja) * 2016-06-22 2017-12-28 ソニー株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
JP6843557B2 (ja) * 2016-08-30 2021-03-17 キヤノン株式会社 システム、情報処理装置、情報処理方法及びプログラム
JP6904677B2 (ja) 2016-08-30 2021-07-21 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3340105A1 (en) 2016-12-21 2018-06-27 Axis AB Method for and apparatus for detecting events
JP6948128B2 (ja) 2017-01-13 2021-10-13 キヤノン株式会社 映像監視装置及びその制御方法及びシステム
US10691956B2 (en) * 2017-05-12 2020-06-23 Canon Kabushiki Kaisha Information processing apparatus, information processing system, information processing method, and storage medium having determination areas corresponding to waiting line
JP6991737B2 (ja) 2017-05-12 2022-01-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7005213B2 (ja) * 2017-08-04 2022-01-21 セコム株式会社 画像解析装置
US20190147667A1 (en) * 2017-11-15 2019-05-16 Whyline, Inc. Systems and methods for virtual line services
CN108198180B (zh) * 2018-01-10 2019-11-26 南通大学 一种图像亮度值变化原因的判定方法
CN109109910A (zh) * 2018-08-28 2019-01-01 罗文彬 一种用于既有普速铁路维护的轨道基准控制网及测量方法
EP3825730A1 (en) * 2019-11-21 2021-05-26 Bentley Systems, Incorporated Assigning each point of a point cloud to a scanner position of a plurality of different scanner positions in a point cloud
CN112288038B (zh) * 2020-01-10 2021-05-18 牧今科技 基于图像分类的物体识别或物体注册的方法及计算系统
US11772271B2 (en) 2020-01-10 2023-10-03 Mujin, Inc. Method and computing system for object recognition or object registration based on image classification
CN111429424B (zh) * 2020-03-20 2023-08-11 中冶赛迪信息技术(重庆)有限公司 一种基于深度学习的加热炉入口异常识别方法
US11676397B2 (en) * 2020-10-15 2023-06-13 Denso International America, Inc. System and method for detecting an object collision
CN112419770B (zh) * 2020-11-06 2021-10-08 杭州图软科技有限公司 一种公交站台一体式多媒体系统
WO2022201779A1 (ja) * 2021-03-23 2022-09-29 日本電気株式会社 経路情報提供装置、経路情報提供システム、経路情報提供方法およびコンピュータ可読媒体
CN113194308B (zh) * 2021-05-24 2023-02-24 浙江大华技术股份有限公司 传输设备堵塞区域的确定方法、装置
CN113838277B (zh) * 2021-09-26 2022-07-26 广州文远知行科技有限公司 车辆异常发生时间点确定方法、装置、设备及存储介质
CN114724361A (zh) * 2022-03-16 2022-07-08 阿里巴巴（中国）有限公司 路况确定方法、装置及计算机可读存储介质
CN114925753A (zh) * 2022-04-28 2022-08-19 南通东升灯饰有限公司 一种led地灯的使用异常报警系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1667666A (zh) * 2004-03-12 2005-09-14 三菱扶桑卡客车公司 车辆行驶状态判定装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0467275A (ja) * 1990-07-06 1992-03-03 Matsushita Electric Ind Co Ltd 認識方法及び認識装置
EP0567059B1 (en) * 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JPH07296166A (ja) * 1994-04-22 1995-11-10 Matsushita Electric Works Ltd 混雑度検出装置
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
JPH09282455A (ja) * 1996-04-16 1997-10-31 Hitachi Ltd 画像監視方法、画像監視装置および道路監視装置
JPH10290446A (ja) 1997-04-14 1998-10-27 Oki Electric Ind Co Ltd 背景画像生成方法及び装置
JPH1196376A (ja) 1997-09-24 1999-04-09 Oki Electric Ind Co Ltd 移動物体追跡装置及び方法
JP3831112B2 (ja) 1998-03-30 2006-10-11 東日本旅客鉄道株式会社 移動物体計測装置
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6754367B1 (en) * 1999-09-30 2004-06-22 Hitachi Denshi Kabushiki Kaisha Method and apparatus for automatically detecting intrusion object into view of image pickup device
JP3519672B2 (ja) * 2000-06-19 2004-04-19 株式会社日立製作所 動作認識処理装置及び移動物体の動作分析システム
JP3571628B2 (ja) 2000-08-31 2004-09-29 三菱電機株式会社 画像処理装置
JP2003187248A (ja) 2001-12-21 2003-07-04 Mitsubishi Electric Corp 画像処理システムおよび画像処理装置
JP2004032551A (ja) * 2002-06-27 2004-01-29 Seiko Epson Corp 画像処理方法、画像処理装置及びプロジェクタ
JP2004064438A (ja) * 2002-07-29 2004-02-26 Toshiba Corp 監視システム及び監視方法
JP4082144B2 (ja) 2002-09-05 2008-04-30 株式会社明電舎 混雑度調査装置
US7203338B2 (en) * 2002-12-11 2007-04-10 Nielsen Media Research, Inc. Methods and apparatus to count people appearing in an image
JP4218368B2 (ja) 2003-02-25 2009-02-04 パナソニック電工株式会社 人検出方法及び人検出装置
DE10328322A1 (de) * 2003-06-24 2005-01-27 Massen Machine Vision Systems Gmbh Überwachung des Farbeindrucks von mehrfarbig gemusterten Produkten
JP4192719B2 (ja) * 2003-08-22 2008-12-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP3944647B2 (ja) 2003-10-21 2007-07-11 コニカミノルタホールディングス株式会社 物体計測装置、物体計測方法、およびプログラム
JP2005135339A (ja) 2003-10-31 2005-05-26 Konica Minolta Holdings Inc 通行人検出方法および装置ならびに通行人計数装置
DE102004040057A1 (de) * 2004-08-18 2006-03-09 Rauch, Jürgen, Dr.-Ing. Verkehrsleitsystem
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1667666A (zh) * 2004-03-12 2005-09-14 三菱扶桑卡客车公司 车辆行驶状态判定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平7-296166A 1995.11.10

Also Published As

Publication number Publication date
US8472715B2 (en) 2013-06-25
CN101681555A (zh) 2010-03-24
US20130195364A1 (en) 2013-08-01
US20100177963A1 (en) 2010-07-15
US8655078B2 (en) 2014-02-18
CN102582664A (zh) 2012-07-18
WO2009054119A1 (ja) 2009-04-30

Similar Documents

Publication Publication Date Title
CN101681555B (zh) 状况判定装置、状况判定方法、异常判定装置、异常判定方法
Hu et al. Moving object detection and tracking from video captured by moving camera
EP2835763B1 (en) A hybrid method and system of video and vision based access control for parking stall occupancy determination
US9495600B2 (en) People detection apparatus and method and people counting apparatus and method
US9449236B2 (en) Method for object size calibration to aid vehicle detection for video-based on-street parking technology
US8699758B2 (en) Object counter and method for counting objects
JP4624396B2 (ja) 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラム
CN109684996B (zh) 基于视频的实时车辆进出识别方法
EP1640937B1 (en) Collision time estimation apparatus and method for vehicles
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
US20110176000A1 (en) System and Method for Counting People
US20130265419A1 (en) System and method for available parking space estimation for multispace on-street parking
Ryan et al. Crowd counting using group tracking and local features
CN111079621B (zh) 检测对象的方法、装置、电子设备和存储介质
KR20190087276A (ko) 영상 기반 교통량 측정 시스템 및 그 방법
Pece From cluster tracking to people counting
Rao et al. Frame difference and Kalman filter techniques for detection of moving vehicles in video surveillance
US20230410522A1 (en) Information processing apparatus, control method, and program
JP2021196934A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2022264533A1 (ja) 検知枠位置精度向上システム、及び検知枠位置補正方法
Srilekha et al. A novel approach for detection and tracking of vehicles using Kalman filter
CN111062294B (zh) 一种客流排队时间的检测方法、装置及系统
CN107316313A (zh) 场景分割方法及设备
JP4818430B2 (ja) 移動物体認識方法及び装置
JP3609679B2 (ja) 動画像処理装置及びその方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20191020