CN113382157A - 影像分析系统和影像分析方法 - Google Patents

影像分析系统和影像分析方法 Download PDF

Info

Publication number
CN113382157A
CN113382157A CN202110036398.4A CN202110036398A CN113382157A CN 113382157 A CN113382157 A CN 113382157A CN 202110036398 A CN202110036398 A CN 202110036398A CN 113382157 A CN113382157 A CN 113382157A
Authority
CN
China
Prior art keywords
baggage
person
camera
image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110036398.4A
Other languages
English (en)
Other versions
CN113382157B (zh
Inventor
垂井俊明
村上智一
福田竣
田村雅人
广木桂一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN113382157A publication Critical patent/CN113382157A/zh
Application granted granted Critical
Publication of CN113382157B publication Critical patent/CN113382157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30112—Baggage; Luggage; Suitcase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供能够综合地判断人物与行李的持有关系的影像分析系统和影像分析方法。本发明的影像分析系统分析由多个摄像机拍摄的影像，从多个摄像机的影像检测第一目标物和第二目标物，进行追踪处理，并且基于第一目标物和第二目标物的种类和目标物间的距离，判断第一目标物和第二目标物的关联度，将其存储于数据库。

Description

影像分析系统和影像分析方法
技术领域
本发明涉及对拍摄有移动物体的影像进行分析的系统。
背景技术
根据监视摄像机的影像来实时地发现可疑者、可疑物从而实现安心、安全的影像监视系统被广泛使用。此外，出现了不仅监视单一的场所，而对多个场所、进而对施设整体进行集中监视的影像监视系统。
在这样的状况下，为了从大量的影像中检索出拍摄到特定的人物、物体的场面并进行提示，而提案了各种影像检索技术。进而，要求不仅单独地检测人物、物体，而是监视人物和人物所持有的行李等影像中的人物、物体的关系。由此，能够实现持有特定的行李的人物的发现、行李的交接、弃置的判断。
作为关于本技术的关联技术，有专利文献1。专利文献1中公开了，在规定区域内的摄像机影像中，检测并追踪多个人物，计算第一人物与第二人物的相对位置(距离)，在人物间的距离在一定时间以上靠近地存在时，判断为可疑者的技术。
现有技术文献
专利文献
专利文献1：日本特开2011-227647号公报。
发明内容
发明要解决的技术问题
专利文献1中，使用单一摄像机判断人物间的关联，因此要判断在用监视摄像机拍摄的人物与行李间的关联时，存在以下的问题。
在想要使用单一摄像机掌握人物和人物所持有的行李的关系时，存在行李被隐藏(遮敝)的情况，因此存在行李并不是在所有拍到人物的帧中被拍摄到的情况。其原因是，行李被人物的阴影隐藏而无法检测到，或行李的位置低而被其他人物、行李等隐藏。因此，人物与行李间的关联判断难以进行像人物间的关系判断那样的以帧间追踪为基础的判断。
进而，为了进一步强化人物与行李间的持有关系(占有关系)，仅是使用单一摄像机是不够的。例如，仅从正面拍摄人物的视角的摄像机的话，不能够检测到背包等背着的行李，因此仅用该摄像机不能够判断背着的行李的持有。此时，需要分析设置于多个场所的各种视角的摄像机影像，综合地判断持有关系。
此外，要求根据行李的交接、弃置等行李的持有关系的变化来检测可疑者。但是，在使用单一摄像机影像的判断中，在行为本身的影像没有被摄像机拍摄到的情况下难以作出判断。此时，需要使用多个摄像机间的影像使行李的持有关系的变化明确，从而判断发生上述可疑行动的可能性。
由此，本发明的目的在于能够在多个摄像机间综合地判断人物与行李的持有关系，并且能够掌握摄像机间的人物与行李的持有关系的变化。
用于解决问题的技术手段
本发明的一例是，一种对由多个摄像机拍摄的影像进行分析的影像分析系统中，从多个摄像机的影像中检测第一目标物和第二目标物，进行追踪处理，并且基于第一目标物和第二目标物的种类和目标物间的距离，判断第一目标物和第二目标物的关联度，将其存储于数据库。
发明效果
根据本发明，能够提供可综合判断人物与行李的拥有关系的影像分析系统和影像分析方法。
附图说明
图1是实施例1的影像分析系统的整体结构图。
图2是实施例1的数据库中保持的人物表的结构图。
图3是实施例1的数据库中保持的行李表的结构图。
图4是实施例1的数据库中保持的人物及行李关联性表的结构图。
图5是表示实施例1的多个帧中的行李的看到的状态的变化的说明图。
图6是实施例1的影像分析数据库服务器所执行的摄像机内行李保持判断处理流程图。
图7是表示实施例1的行李持有判断的评价指标判断方式的说明图。
图8是表示实施例1的摄像机内行李轨迹组、摄像机间行李持有判断方式的说明图。
图9是实施例1的终端PC中显示的行李持有检索画面的一例。
图10是实施例1的影像分析数据库服务器所执行的摄像机间行李持有判断处理流程图。
图11是表示实施例1的利用多个摄像机的行李追踪方式的说明图。
图12是实施例1的影像分析数据库服务器所执行的摄像机间行李持有状况显示处理流程图。
图13是实施例1的终端PC中显示的行李持有检索画面中将追踪对象目标物切换至行李的情况的显示例。
图14是实施例1的终端PC中显示的行李持有检索画面中检测到弃置、交接的情况的显示例。
图15是实施例1的终端PC中显示的人物-行李联合检索画面的一例。
图16是实施例1的影像分析数据库服务器所执行的人物-行李联合检索处理流程图。
图17是实施例2的终端PC中显示的能够排队误追踪目标物的行李持有检索画面的一例。
图18是实施例2的影像分析数据库服务器所执行的追踪目标物间的关联判断处理流程图。
图19是实施例2的影像分析数据库服务器所执行的误追踪目标物排除处理流程图。
图20是表示实施例2的误追踪目标物排除方式的说明图。
具体实施方式
以下，参照附图说明本发明的实施例。
实施例1
图1表示本实施例的影像分析系统的整体结构图。在图1中，1000是影像分析数据库服务器，1101～1110是摄像机等影像拍摄装置，1400是用于显示并检索影像分析结果的终端PC。影像分析系统中的影像分析数据库服务器1000与终端PC1400由网络1500连接。另外，作为影像分析系统，也可以是多个影像分析数据库服务器和终端PC通过网络连接。
影像分析数据库服务器1000是通常的PC服务器，由CPU1010、内存1011、网络接口1012、存储器1013构成。以下所述的各功能在内存1011上展开，作为在CPU1010上动作的程序1200被安装。在内存上还确保供上述程序使用的工作区域1220。
存储器1013具有数据库1300和摄像机的影像的帧图像存储区域1380。
本影像分析系统中，对由影像拍摄装置1101～1110拍摄的影像用影像分析数据库服务器1000进行分析，将其结果存储于数据库1300，并且将分析、检索结果输出至终端PC1400，向监视者(操作员)提供。
数据库1300包括记录有检测到的人物的信息的人物表1310、记录有检测到的行李的信息的行李表1330、记录有表示人物与行李的关系性(持有关系等)的信息的人物及行李关联性表1350。
作为影像分析数据库服务器1000的功能，由时序图像获取功能部1201从各影像拍摄装置1101～1110获取时序图像的最新的影像帧的图像，将其存储于存储器1013的帧图像存储区域1380。进而，由实时影像分析功能部1210对各影像帧实施实时影像分析。即，实时影像分析功能部1210在实施了人物检测追踪功能部1211和行李检测追踪功能部1212的处理后对于检测出的人物、行李，由关联性判断功能部1213判断它们的关联性。此处，人物和行李也可以由一个多类别(multiclass)检测器进行检测。人物和行李的检测、追踪结果和判断出的关联性分别存储于数据库1300内的人物表1310、行李表1330和人物及行李关联性表1350。
影像分析数据库服务器1000的程序1200内的用户接口功能部1240使用终端PC1400的浏览器1401将行李持有检索画面等显示于显示器1410。操作员使用鼠标1430、键盘1420操作画面，进行行李持有检索等。操作员的操作(例如行李持有检索操作)通过上述浏览器1401、影像分析数据库服务器1000的用户接口功能部1240被传递至检索功能部1230，检测数据库1300上的数据，将检索结果显示于显示器1410。显示的检索结果的影像从帧图像存储区域1380被读出。
本实施例的特征是，在影像分析数据库服务器1000的关联性判断功能部1213中，实时地判断检测、追踪到的人物、行李间的关系性，将其存储于数据库1300内的人物及行李关联性表1350，并且根据操作员从终端PC1400输入的行李持有检索等操作，检索数据库1300，基于从多个影像拍摄装置得到的时序的人物、行李关联性，进行行李持有的判断。
图2中表示数据库1300内的人物表1310的详细结构。数据库的各行与各影像帧中检测出的人物矩形对应。即，在人物检测追踪功能部1211每次在影像帧中检测出一个人物时生成。人物在时序的多个帧中被拍到的情况下，生成与拍到的数量对应的数量。
图2中，在人物表1310中存储有以下的信息。
(1)摄像机ID1311：检测出人物的摄像机的ID。
(2)日期和时间1312：检测出人物的日期、时刻(图中为了简化而表示了时间、分、秒，但实际上记录UNIX(注册商标)时刻等)。
(3)帧ID1313：检测出人物的影像帧的ID。
(4)人物矩形ID1314：是影像帧内的人物矩形(包围检测出的人物的矩形)的ID，在帧内取独特的值。
(5)矩形信息1315：影像帧内的人物矩形的坐标值(图像内的二维坐标)，例如以保持有矩形中心点的坐标、矩形的纵横的长度的排列表示。
(6)摄像机内人物轨迹ID1316：带摄像机内人物追踪的结果的人物的ID，按每个摄像机取独特的值。
(7)全局人物ID1317：带摄像机间人物追踪的结果的人物的ID，在影像分析系统整体取独特的值。
(8)人物特征量1318：存储人物的外表的特征量的矢量值。外表类似的人物取相近的特征量。在摄像机内人物追踪、摄像机间人物检索等中使用。
(9)人物属性1319：表示人物的属性(男女、年龄、衣物颜色等)的矢量值。在属性检索中使用。
图3中表示数据库1300内的行李表1330的详细结构。数据库的各行与在各影像帧中检测到的行李矩形对应。行李在多个帧中被拍到的情况下，也同样生成与拍到的数量对应的数量。
图3中，在行李表1330中存储有以下的信息。
(1)摄像机ID1331：检测出行李的摄像机的ID。
(2)日期和时间1332：检测出行李的日期、时刻。
(3)帧ID1333：检测出行李的影像帧的ID。
(4)行李矩形ID1334：影像帧内的行李矩形的ID。
(5)矩形信息1315：影像帧内的行李矩形的坐标值。
(6)摄像机内行李轨迹ID1336：带摄像机内行李追踪的结果的行李的ID。按每个摄像机取独特的值。由于遮敝(隐藏)而行李追踪中断的情况下，有对同一行李分配多个ID的情况。这些多个轨迹利用下述轨迹组ID1337统一。
(7)摄像机内行李轨迹组ID1337：将由于遮敝而中断的行李追踪结果(多个摄像机内行李轨迹ID)按同一行李统一标注的ID。对判断为同一行李的行李组分配相同的值。按每个摄像机取独特的值。
(8)全局行李ID1338：带摄像机间行李追踪的结果的人物的ID。
(9)行李特征量1339：存储行李的外表的特征量的矢量值。
(10)行李属性1340：表示行李的属性(种类、颜色等)的矢量值。
图4中表示数据库1300内的人物及行李关联性表1350的结构。数据库的各行按每个判断为关联性高的人物、行李的组合生成。具体来说，对于在图像内判断为距离接近的(后述)、人物轨迹和行李轨迹组的组合，存储关联性。在一个人物持有多个行李等的情况下，对一个人物生成多个行。
图4中，在人物及行李关联性表1350中存储有以下的信息。
(1)摄像机ID1351：判断出人物、行李关联性的摄像机ID。
(2)摄像机内人物轨迹ID1352：判断为存在关联性的人物的轨迹ID。
(3)摄像机内行李轨迹组ID1353：判断为存在关联性的行李的轨迹组ID(行李轨迹的集合)。
(4)行李持有判断评价指标1354：表示行李为人物的持有物的可能性的评价指标(以下称为“评价指标”)。
(5)代表帧编号1355：行李为人物的持有物的可能性最高的影像的帧编号。在GUI上显示检索结果时使用。
此处，使用图5说明本实施例的行李持有判断的基本方针。图5中，情况1至情况3表示行李的看到的状态的不同情况。图中，同一摄像机的时序影像表示3帧。情况1中在全部的帧中看得到行李，判断为有行李。情况2中，在任一个帧中均看不到行李，因此判断为无行李(但是如后所述存在例外)。情况3中仅在一部分的帧中看得到行李。该情况下，需要判断为对应人物持有行李。像这样，行李因为遮敝或视角而有时看得到有时看不到，因此人物追踪结果的1帧中拍摄到行李的情况需要判断为持有行李。但是，根据视角，存在无论是否持有行李，在任一帧中均完全不能够拍摄到行李的情况。由正面视角摄像机判断的背包是一个例子。为了在这样的情况下也能够正确判断行李持有，必须根据多个摄像机的影像综合地判断行李持有。
图6中表示由实时影像分析功能部1210实施的摄像机内行李保持判断的处理流程。首先，从摄像机输入帧图像(步骤S101)后，实施人物检测、追踪(步骤S102)、行李检测、追踪(步骤S103)。
在检测处理中从静止画面抽取人物、行李的矩形。在使用共用的目标物检测器时，根据检测出的目标物的种类(人物/行李)使处理分支。追踪处理是公知技术，根据在连续的帧图像检测出的目标物(人物、行李)，基于外表的类似度、影像内的位置关联同一目标物。例如人物的情况下，将此次处理的帧图像中检测出的各人物与到前帧为止检测出的人物，考虑外表类似度、位置等地相关联。对新出现的人物矩形，赋予新的摄像机内人物轨迹ID1316。追踪得到的结果作为轨迹(track)被管理。通过以上处理，对每个在摄像机内的连续图像中判断为相同的目标物，分配轨迹ID。
对在该帧中检测出的全部人物、全部行李，求取人物特征量、行李特征量、人物属性、行李属性(步骤S104)后，将检测出的人物、行李的矩形位置、属性、特征量等写入DB的人物表1310/行李表1330的对应区域。将通过追踪被赋予的轨迹ID存储于人物表的摄像机内人物轨迹ID 1316区域、行李表的摄像机内轨迹ID1336区域(步骤S105)。
接着，判断人物持有行李的可能性。关于图像内中检测出的全部人物，对处于一定值以内的距离(例如人物矩形的幅宽的3倍等)以内的全部行李，计算评价指标(后述)，与帧ID一起暂时存储于工作区域1220(直至轨迹结束)(步骤S106)。
此处，使用图7说明评价指标的计算方式。图7表示在图像900内有人物901、902、行李903、904的情况。
本实施例中，作为评价指标，使用将图7所示的人物、行李矩形的中心点的图像上的距离(像素数)(图中L1、L2、L3)除以人物矩形的幅宽(像素数)(图中W1、W2)而得的值。具体地说，
人物901持有行李903的可能性：L1/W1
人物901持有行李904的可能性：L2/W1
人物902持有行李904的可能性：L3/W2
此处，评价指标取0～3的值，越小则距离越近，判断为该人物是该行李的拥有者的可能性越高。
回到图6，接着判断人物轨迹是否结束(步骤S107)。具体来说，对于对应的轨迹，在一定时间(例如4秒)以上没有添加新的人物矩形的情况下，判断为人物在对应的摄像机的画面中消失，判断为轨迹结束。没有结束的人物轨迹的话，回到步骤S101，继续进行接下来的帧图像的处理。
有结束的人物轨迹的情况下，在与该人物追踪结果(轨迹ID)关联的全部帧中，从工作区域1220获取与该人物关联的行李全部的评价指标，即多个帧图像内的目标物间的区域的关联度(步骤S108)。接着使用各个行李的行李特征量1339，根据行李外表的类似度，综合类似的行李的轨迹，生成轨迹组(步骤S109)。按各轨迹组分配新的轨迹组ID，写入行李表的摄像机内行李轨迹组ID区域1337。通过将与所选择的人物关联的外表类似的行李轨迹汇总至轨迹组，能够将由于遮敝等中断的行李追踪统一。
此处，使用图8进行行李轨迹组的说明。轨迹组按每个摄像机判断。图8中，说明在多个帧之间人物行李在摄像机间被追踪的状况(为了进行说明，将多个时刻的人物/行李记入同一张图)。以摄像机11为例，检测、判断出以下的人物、行李追踪结果。
人物轨迹HT1：人物矩形911、912、913、914
行李轨迹BT1：行李矩形915、916
行李轨迹BT2：行李矩形918
此处，在对应于人物矩形913的时刻，行李被人物隐藏而看不见，因此行李轨迹暂时中断(分为BT1、BT2这2个行李轨迹)。于是，用上述步骤S109的处理，判断BT1、BT2是同一行李，结果将BT1和BT2汇合而生成行李轨迹组BTG1。另一方面，关于摄像机12，行李轨迹没有中断，因此行李轨迹组BTG3仅由行李轨迹BT3构成。
回到图6的流程，进而，按行李轨迹组，判断对于对应的(轨迹结束了的)人物的评价指标的最小值、即摄像机影像内目标物间关联度(步骤S110)，作为表示该人物持有与该轨迹组对应的行李的可能性的评价指标。最后，对于对应的人物和行李轨迹组的组合，将上述评价指标的最小值作为行李持有判断评价指标1354存储在人物及行李关联性表1350中，将判断了该评价指标的帧编号作为代表帧编号1355存储(步骤S111)。之后回到步骤101，继续进行对下一帧的处理。
通过以上的处理，在摄像机内影像中，能够求取人物和存在是其持有物的可能性的行李的组合、评价指标，并将其存储于数据库。
接着说明多个摄像机间的行李持有检索方式。首先说明检索处理的概要，在摄像机间行李检索中，当指定操作员关注的人物(行李的持有者)时，根据数据库1300的信息，首先在摄像机间追踪该人物。即，在全摄像机中，检索与该人物外表类似的人物，并按时间顺序排列。基于多个摄像机间人物追踪信息，进一步检索数据库，求取全部在各摄像机中存在是该人物的持有物的可能性的行李，以时序显示。进而，基于多个摄像机中的行李持有信息，综合判断存在是该人物的持有物的可能性的行李并对其进行显示。
图9是本实施例的终端PC所显示的行李持有检索画面的一例。图9中，在显示画面2000中，2001是摄像机ID，2002是时刻，显示关注影像显示区域2003的摄像机、时刻的影像。关注影像由操作员指定摄像机ID、时刻而显示，除此之外，也能够根据后述的检索结果选择影像。图9中，在影像中显示人物M1、行李B1。
基于操作员指定摄像机ID、时刻而使其显示的影像、或根据后述的检索结果得到的影像，从影像显示区域2003选择人物或行李，将其拖动着添加到追踪对象目标物选择区域2100。追踪对象目标物选择区域为了应对后述的追踪对象目标物的切换，能够显示多个目标物(2111、2112……)。用选择按钮2111a将显示于该区域的目标物选择为摄像机间追踪对象。图9中选择人物M1，作为摄像机间的追踪对象。2101是在人物追踪时判断为同一人物的阈值。阈值预先显示默认(default)值，仅在使用默认值以外的值时进行手动输入。
在显示画面2000内的下半部分显示行李持有检索结果。2200是追踪信息显示区域。人物摄像机间追踪结果区域2210中，关于对应的人物(图中M1)，在人物摄像机间追踪结果中检测出的各摄像机的影像按时间顺序排列(2211、2212、2213、2214)。影像是如后所述在摄像机间检测出的每个轨迹的代表帧图像。也显示摄像机ID、代表影像的时刻。2220中，将在各摄像机中判断出的行李候选的矩形图像和评价指标按上述叙述的轨迹(摄像机)显示。在该画面中，在摄像机间追踪该人物的信息以时序显示，即在区域2301中显示由摄像机1判断出的信息，2302显示摄像机2的信息(2303以后也是同样的)。各摄像机中举出多个行李作为候选时，从上到下以评价指标从小到大的顺序进行显示。即，在区域2302中显示的摄像机2中，显示了行李B1和B2，但评价指标小(0.3)的行李B1显示于1位，评价指标大(1.0)的行李B2显示于2位。本例中显示了2位，但也能够显示更多，或滚动显示。
显示画面2000内的2400中显示持有物判断综合顺序。即，关于人物M1，综合判断在多个摄像机中判断为是持有物的可能性的结果(后述)，显示存在是对应的人物的持有物的可能性的行李。图9中是持有物的可能性最高的行李是B1，以下接着是B3、B4。操作员根据此处显示的信息，判断哪个行李是持有物。
接着使用图10说明本实施例的摄像机间行李持有的判断处理流程。图10是后述的图12中所述的显示流程中的判断部分的算法。图10中，当得到追踪对象人物的矩形图像时(步骤S121)，从全摄像机的人物追踪结果，检索外表类似的人物的轨迹(track)(步骤S122)。具体来说，比较人物表的人物特征量1318，获取包含不同量为阈值以下的人物的轨迹(track)。结果求出判断为同一人物的人物轨迹(按各个摄像机)。
其后，按各摄像机，得到与上述得到的人物轨迹关联的全部行李(登记在人物及行李关联性表1350的、存在是该人物的持有物的可能性的全部行李)的行李信息(行李轨迹组ID、评价指标、行李特征量)(步骤S123)。具体来说，根据摄像机ID1351、摄像机内人物轨迹ID1352，查找人物及行李关联性表1350，得到行李信息(行李轨迹组ID1353、行李持有判断评价指标1354)。其后，对于上述得到的全部行李，根据行李表的行李特征量1339类似度将外表类似的行李轨迹组群体化，判断为同一行李(步骤S124)。
此处，使用图8说明“行李轨迹组群体”。在摄像机11中判断行李轨迹组BTG1(包括行李轨迹BT1、BT2)，在摄像机12中判断行李轨迹组BTG3(包括行李轨迹BT3)。由这些各个摄像机拍摄的行李类似而判断为相同行李时，将不同的摄像机的行李轨迹组群体化，在摄像机间判断为相同行李。
回到图10，关于上述得到的行李轨迹组群体的全体，根据属于群体的行李轨迹组的数量、各行李轨迹组的评价指标，判断表示相应行李是人物的持有物的可能性的顺序(综合顺序)(步骤S125)。即，根据行李与人物一起被拍到的次数和行李与人物的接近度，从是持有物的可能性高的行李起依次排列。以下是判断方式的例子。
(1)按属于群体的行李轨迹组数由多到少的顺序排列。即，按在人物的附近拍到行李的摄像机从多到少的顺序排列。
(2)在上述次数相同的情况下，按评价指标合计值从小到大的顺序排列。即，从存在于更靠近人物的位置的行李起从上位到下位地显示。
使用图11，详细说明上述的通过摄像机间追踪判断表示行李是指定的人物的持有物的可能性的顺序(综合顺序)的方式。图11表示与图6的追踪信息显示区域2200中显示的信息同样的内容。即，以时序追踪人物M91的图像(人物影像)、持有物的候选的行李的影像(1位、2位)和评价指标以时序显示(2901-2904)。此处，行李候选检测出B91、B92、B93、B94这4个。其中，B91的出现频率为4次最高，在人物M91附近拍到它的摄像机最多。由此，此时，判断为行李B91是行李的可能性最高。其它的行李92-94各仅被拍到一次，因此判断为按评价指标从小到大的顺序、行李B93、B94、B92存在是行李的可能性。
图10中，说明了指定人物，判断存在是持有物的可能性的行李的处理流程，但与此相反，指定行李而判断存在是持有者的可能性的人物的判断，也能够通过替换人物和行李而与上述处理流程同样的方式实现。具体地说，对于人物使用人物轨迹(track)的地方成为行李轨迹组(轨迹的集合)，而且成为行李轨迹组的群体的部分成为人物轨迹的群体。
图12是表示本实施例的、使用图9的画面显示摄像机间行李持有判断结果的处理流程。图12中，首先从影像中选择检索对象人物矩形，将其拖动而添加至追踪对象目标物栏(如果有必要，输入同一人物判断阈值)(步骤S141)。其后，实施图10所示的摄像机间行李持有检索判断处理流程(步骤S142)。
将步骤S142所得到的判断为同一人物的人物轨迹(track)按时间顺序排列(步骤S143)。其后，对上述各轨迹(track)按时刻从早到晚的顺序实施步骤S144以后的处理。即，将行李候选的行李轨迹组ID按评价指标从小到大的顺序排列(步骤S144)。其后，对于评价指标最小的行李轨迹组ID，从人物及行李关联性表获取代表帧编号1355，将代表帧的摄像机图像全体作为人物摄像机间追踪结果显示于图9的2210栏(也显示摄像机ID、时刻)。
进一步，对于上述行李轨迹组ID全体，按评价指标从小到大的顺序实施步骤S146以后的处理。即，获取代表帧编号(步骤S146)，从代表帧编号的图像获取行李矩形的图像，在图9的2220栏的对应的顺序的位置与评价指标一起显示(步骤S147)。在有按顺序的下一个行李轨迹组ID时，反复回到步骤S146(步骤S148)，进而，在有下一时刻的轨迹(track)时，反复回到步骤S144(步骤S149)。
最后，对于判断为同一行李的行李轨迹组群体全体，按综合顺序将相应行李的矩形图像(所述代表帧编号的矩形的某一个)显示于持有物判断综合顺序区域2400(步骤S150)，在有按顺序的下一个行李轨迹组群体时反复进行步骤S150(步骤S151)。
图12中所述的显示处理流程是以人物图像为主体，显示具有是持有物的可能性的行李的处理流程，但在以行李图像为主体，判断具有是持有者的可能性的人物时，也能够以同样的方式实现。
图13中表示切换追踪对象目标物，以行李图像为主体而判断持有者时的画面例。从影像显示区域2003中显示的帧图像，拖动行李B1的矩形，添加到追踪对象目标物选择区域2100的空区域2112后，用选择按钮2112a选择行李B1。结果，在追踪信息显示区域2200中，显示行李的摄像机间追踪结果(2330的各帧图像)，并且在2340栏，各摄像机的对于轨迹的持有者候选的人物矩形与评价指标一起显示。进而，在持有者判断综合顺序显示区域2450中，由多个摄像机判断出的、行李B1的持有者主候选按可能性从高到低的顺序显示。
此处，在图14中，作为本实施例的应用例，表示应用追踪信息显示区域2200的信息，进行弃置、交接检测的例子。
图14中，(1)表示有弃置的检测时的例子。在追踪信息显示区域2200中，以时序追踪人物M4而判断持有物。在摄像机21、摄像机22的影像(2511、2512)中，人物M4持有行李B5，但摄像机23、摄像机24的影像(2513、2514)中同一人物M4的持有行李消失。此时，能够判断为在摄像机22与摄像机23之间有发生了行李的弃置的可能性。如上所述，即使没有拍摄到弃置现场也能够作出判断。
严格来说需要实施行李追踪，确认其他人物是否持有该行李B5。在其它人物持有时，成为下述的交接。
图14中，(2)表示存在交接的情况的例子。在追踪信息显示区域2200中，追踪行李B6，以时序表示进行了持有者判断的结果。在摄像机31、32的影像(2611、2612)中，人物M5是行李的持有者，而与此不同，摄像机34、35的影像(2614、2615)中人物M6成为持有者(摄像机33中，人物M5、M6两者是持有者候选)。因此，在摄像机33的时刻，持有者发生了变化，所以能够检测出存在交接。此时，即使没有拍摄到进行交接的摄像机33的影像2613，只要了解在前后的影像中持有者从M5替换成了M6，则能够判断为交接。
如上所述，通过利用追踪对象目标物选择区域2100，选择影像中的各个人物/行李、对其进行追踪、判断持有物/持有者、显示于追踪信息显示区域2200，能够以持有物、持有者、弃置、交接等各种观点来判断行李的持有关系。
接着，使用图15、图16，说明在本实施例的影像分析系统中，实施人物-行李联合检索的方法。在现有的图像检索中，实现了关注于单一的目标物的检索(例如人物的属性检索、人物的类似图像检索、行李的类似图像检索)，但本实施例中实现考虑多个目标物的关系(例如检索持有特定的行李的人物)的检索。
图15中表示人物-行李联合检索的画面界面。将该画面也显示于终端PC1400的显示器1410。显示画面3000是实现联合人物属性和行李属性的检索的画面。在3100中指定作为检索对象的人物的属性(性别、年龄、衣物颜色、其他)，在3200中指定检索对象的行李属性(种类、颜色、其他)，当按下检索按钮3001时，检索该人物持有该行李的场景，将其显示于检索结果显示区域3300。在3300中显示检索结果的场景按检索结果符合条件的可能性从高到底的顺序显示(3301～3303)。在各检索结果中，显示摄像机ID、时刻、人物持有行李的代表帧的图像。
3101、3201是在显示检索结果时，指定以人物属性检索结果、行李属性检索结果的哪一个为优先而进行分类的复选框。在图15的例子中指定了以人物属性检索为优先，因此优选显示人物属性符合的程度高的检索结果(详情后述)。3102、3202是分别在人物、行李属性检索中判断为属性相同的阈值，3002是输入判断为行李持有的评价指标的阈值的区域(作为各个的初始值，输入默认值，也能够变更)。
图16是本实施例的人物-行李联合属性检索的处理流程。在图16中，首先，以在图15的3100中指定的人物属性检索人物表1310，得到符合指定的属性信息的人物信息(摄像机ID1311、摄像机内人物轨迹ID1316的组合)(步骤S161)。具体来说，判断根据在3100中指定的属性值生成的属性矢量与存储于人物表的人物属性(1319)的距离是否更接近于3102指定的阈值。同样地，利用在3200指定的行李属性检索行李表1330，得到对应的行李信息(摄像机ID1331、摄像机内行李轨迹组ID1337)(步骤S162)。
接着，按每个摄像机，关于拍摄到对应的人物、行李的全部帧(通过对照人物表的帧ID1313、行李表的帧ID1333而得到的全部帧)，对于人物、行李的全部组合(摄像机内人物ID、摄像机内行李轨迹组ID的全部组合)，检索人物及行李关联性表1350，得到行李持有判断评价指标1354(步骤S163)。其后，获取上述评价指标比3002中指定的阈值小的全部组合(步骤S164)。
其后，基于在3101、3201中指定的显示优先顺序，实施基于人物/行李属性的评价值(指定的属性矢量与数据库的属性矢量的距离)、行李持有判断评价指标的判断，判断检索结果显示的优先度(步骤S165)。例如实施以下的判断。
(1)人物属性优先的情况：按人物属性的匹配度从高到低的顺序。即，按指定的属性与存储于DB的人物属性矢量的差值从小到大的顺序。另外，在人物属性判断结果相同的情况下，按行李属性匹配度从高到低的顺序。
(2)行李属性优先的情况：按行李属性匹配度从高到低的顺序。另外，在行李属性判断结果相同的情况下，按人物属性匹配度从高到低的顺序。
(3)人物、行李两者优先的情况(选择3101、3201两者)：按人物属性、行李属性、评价值的加权平均从小到大的顺序。即，综合地按属性的接近度、即持有物的可能性从高到低的顺序。
(4)人物、行李的任一者均不优先的情况(3101、3201均不选择)：时间顺序。
回到图16，最后，依据上述显示顺序，显示人物及行李关联性表的代表帧编号1355的图像(步骤S166)。
另外，以上以属性检索为例进行了说明，但对于联合人物、行李的类似图像检索也能够以同样的画面、算法进行检索、显示。此时，代替属性矢量的匹配度，根据类似度(特征矢量的距离)，检索与检索源的人物/行李矩形图像的外表类似的人物/行李。进而，组合属性、类似图像的判断也能够以同样的方式进行。例如，检索与某特定的人物类似，且拿着蓝色行李箱的人物等。
如上所述，根据本实施例，第一目标物和所述第二目标物相关联地存储于数据库，因此能够进行组合多个目标物的监视、例如人物的行李持有关系的判断。此外，在行李没有在全部的帧中被拍摄到的情况下，也能够以拥有者为主体将类似的行李关联。进而，能够进行摄像机间的类似目标物(人物、行李)的判断、综合多个摄像机的信息的持有关系的判断、以及多个摄像机间的持有关系的变化的判断。
[实施例2]
在实施例1中，持有物/持有者判断是，根据在多个摄像机间追踪与在追踪对象目标物选择区域2100选择的人物/行李的外表特征类似的人物/行李而得的时序结果，判断该人物/行李的持有物/持有者。但是，在通过追踪实施的类似(人物/行李)检索时，如果混有外表相似的其他人物/其他行李，则有发生误追踪，导致判断结果不正确的可能性。特别是关于行李，因为类似的行李很多，所以容易发生误追踪。
由此，本实施例具有将误追踪的结果显示的人物/行李的追踪结果(摄像机的轨迹)删除的功能。进而，基于摄像机间的空间位置关系，通过考虑时空限制，也能够将与删除的摄像机的追踪结果关联的摄像机的追踪结果删除。
图17是本实施例的实施行李追踪时的终端PC中显示的显示画面。在图17中，对与实施例1的图13功能相同的部分标注相同的附图标记，省略其说明。图17中与图13的不同点在于，设置有与各摄像机的影像相关联地，删除对应的追踪结果的按钮4101～4106。
图17的例子中，追踪持有物B10而检索持有者，但在行李摄像机间追踪结果2230中，摄像机52、摄像机51中行李B11有误追踪，结果虽然本来的持有者为M10，但错误判断为M11(4203、4205)。
此时，操作员判断为画面上看起来发生了误检测的情况下，需要通过按下删除按钮4103或4105，删除该误追踪结果。进而，本实施例中，用删除按钮的4103或4105的某一个将摄像机52或51的影像的某一个删除时，通过后述的算法，判断时空限制，关联的误检测结果(摄像机52或51的某方的追踪结果)也自动删除。
接着，使用图18、19、20，说明基于摄像机间的位置关系删除关联的误追踪结果的方法。图20的(1)中，表示摄像机间位置关系(监视对象场所的路径上能够从哪个摄像机到达哪个摄像机)。在本实施例中，摄像机51～摄像机56如图所示地配置。图17中指定为查询对象的摄像机53的两侧是摄像机52、54，在它们的旁边是摄像机51、55。例如，表示从摄像机53向摄像机51移动时必须经过摄像机52。
在显示图17所示的追踪画面时，基于图18所示的处理流程，判断追踪目标物间的关系。图18的处理流程接续摄像机间行李持有状况显示(图12)的步骤S122而实施。在图18中，首先，判断上述(图20的(1))摄像机间位置关系、时空限制，选择从拍摄图17的2003的查询图像(检索源图像)的摄像机能够直接(不经由其他摄像机)到达的摄像机的轨迹(步骤S201)。此时，选择与摄像机53的图像在考虑了时空限制时不会发生矛盾的摄像机52、54的轨迹。此处，时空限制判断是公知的技术，是根据摄像机间的距离、影像拍摄时刻，是将从拍摄到查询图像的时刻起不能够到达的、或在拍摄到查询图像的时刻不能够到达的轨迹除外的判断。例如，与查询图像同时由其他摄像机拍摄的轨迹、与在摄像机间移动所需的时间相比较在摄像机间拍摄的时刻过近的轨迹被除外。
其后根据所选的轨迹的摄像机，递推地选择进而能够到达的摄像机(轨迹)(步骤S202)。具体地说，判断出从自摄像机52能够到达的摄像机51、摄像机54能够到达的摄像机55以及摄像机56。最后基于上述判断出的轨迹的关系，表示追踪出的目标物间的关系的列表结构(图20的(2))在内存的工作区域1220上生成(步骤S203)。本结构在每次检索时生成。
图20的(2)中显示表示上述追踪出的目标物间的关系的结构体的示意图。本结构体根据追踪出的目标物的考虑了时空限制的摄像机(轨迹)间依存关系，表示检索出的目标物(本实施例中是行李)间的关系。图中，为了容易理解，将各节点以代表图像的图形来表示，但实际的数据结构中，目标物间的关系由双向列表管理。本实施例中，首先在上述步骤S201，从表示由摄像机53的查询图像检测出的目标物的节点963连接到表示由两侧的摄像机52、54检测出的目标物的节点962、964。其后在步骤S202中通过递推处理，从表示摄像机52的目标物的节点962连接到摄像机51的节点961，从摄像机54的节点964连接到摄像机55的节点965，进而连接到摄像机56的节点966。结果生成图20的(2)所示的结构体。
接着表示在图19中排除误追踪目标物的算法。图19中，操作员手动删除在图17的画面中误追踪的目标物(步骤S221)时，在图20的(2)的追踪目标物结构体中，从删除了的目标物，能够递推地逆推到目标物间连接(步骤S222)。但是，在逆推上述连接时，到达分支的终点、或从其它连接也指向下一节点时，中止递推处理(步骤S223)。不符合上述结束条件的情况下，删除与到达的节点对应的目标物(步骤S224)，其后回到步骤S222继续进行递推处理。
例如，图20的(2)中，摄像机52中拍摄到的目标物B11的追踪结果由操作员删除了的情况下，删除该追踪目标物结构体的节点962。能够从此逆推到的节点是963、961，但来自节点964的连接也指向节点963，因此根据步骤S223的判断，从递推删除中除外。结果，仅追踪目标物结构体的节点961通过步骤S224的处理被删除。最终与摄像机52中操作员判断为误检测的轨迹的影像关联的摄像机51的轨迹的影像自动地被删除。
通过以上的处理，在图17中操作员删除了误追踪目标物时，能够实现考虑时空限制地自动删除关联的误追踪目标物。
实施例3
在上述实施例中，关于人物与行李判断了持有关系，但上述实施例的方法在其他目标物间也能够适用。例如，对于人物与汽车、人物与自行车也能够应用同样的方法。
由此，本实施例中，上述实施例中的行李持有判断评价指标1354是表示人物与物体间的拥有、使用、握持的指标。
此外，在人物与汽车的关系中，发生遮敝而导致追踪中断的可能性存在于人物这一方。由此，使用轨迹组ID在画面内关联多个轨迹的是人物方。
以上说明了实施例，但本发明并不限定于上述实施例，包括各种变形例。例如，上述实施例为了容易理解本发明而进行了详细说明，但并非必须具有所说明的全部结构。此外，能够在某实施例的结构的一部分置换其他实施例的结构，而且，能够在某实施例的结构上添加其他实施例的结构。此外，能够对各实施例的结构的一部分，进行其他结构的添加、删除、置换。
此外，上述各结构、功能、功能部等的一部分或全部可以通过例如由集成电路进行设计等而由硬件实现。
附图标记说明
1000：影像分析数据库服务器，1010：CPU，1011：内存，1012：网络接口，1013：存储器，1101～1110：影像拍摄装置，1200：程序，1201：时序图像获取功能部，1210：实时影像分析功能部，1211：人物检测追踪功能部，1212：行李检测追踪功能部，1213：关联性判断功能部，1220：工作区域，1230：检索功能部，1240：用户接口功能部，1300：数据库，1310：人物表，1330：行李表，1350：人物及行李关联性表，1380：帧图像存储区域，1400：终端PC，1401：浏览器，1410：显示器，1500：网络，2000：显示画面，2003：影像显示区域，2100：追踪对象目标物选择区域，2200：追踪信息显示区域，2400：持有物判断综合顺序区域，2450：持有者判断综合顺序显示区域，3000：显示画面，3300：检索结果显示区域。

Claims (10)

1.一种对由多个摄像机拍摄的影像进行分析的影像分析系统，其特征在于：
获取由所述摄像机拍摄的时序性的多个帧图像，基于所述多个帧图像检测第一目标物和第二目标物，并且基于时序性的多个图像进行各目标物的摄像机影像内追踪处理，
在各帧图像中，基于所述第一目标物和所述第二目标物的种类以及各帧图像内的目标物间的距离，判断所述第一目标物和所述第二目标物在帧图像内的帧内关联度，
根据所述第一目标物和所述第二目标物的追踪信息以及时序性地拍摄的多个帧图像中的所述帧内关联度，判断所述第一目标物和所述第二目标物间在对应的摄像机影像内的摄像机影像内目标物间关联度，
将所述第一目标物和所述第二目标物相关联，与所述摄像机影像内目标物间关联度一起存储于数据库。
2.如权利要求1所述的影像分析系统，其特征在于：
所述摄像机影像内目标物间关联度是表示人物与物体间的拥有、使用、握持的指标。
3.如权利要求1所述的影像分析系统，其特征在于：
在所述多个摄像机间进行所述第一目标物和所述第二目标物的追踪，
基于多个摄像机的所述摄像机影像内目标物间关联度，判断摄像机间的目标物间关联度，且判断所述目标物间的综合关联度。
4.如权利要求1所述的影像分析系统，其特征在于：
具有在所述多个摄像机间进行所述第一目标物和所述第二目标物的追踪，显示所述摄像机影像内目标物间关联度在多个摄像机间的时序变化的单元。
5.如权利要求1所述的影像分析系统，其特征在于：
具有在所述摄像机影像内追踪处理中，将追踪中断的同一目标物间相关联地存储于数据库的单元。
6.如权利要求1所述的影像分析系统，其特征在于：
具有在所述多个摄像机间实施了目标物的追踪后，删除被操作员判断为误检测的目标物的单元，
并且具有在删除误检测的目标物时，考虑时空限制地将与所述删除的目标物相关联的目标物删除的单元。
7.如权利要求1所述的影像分析系统，其特征在于：
所述第一目标物是人物，所述第二目标物是行李，
对于所述摄像机影像内追踪处理所得到的每个人物轨迹判断有无持有行李。
8.如权利要求1所述的影像分析系统，其特征在于：
所述第一目标物是人物，所述第二目标物是行李，
根据所述摄像机影像内追踪处理所得到的所述多个摄像机的追踪结果，来判断所述人物与所述行李的关联度。
9.如权利要求4所述的影像分析系统，其特征在于：
所述第一目标物是人物，所述第二目标物是行李，
将与所述人物关联的行李按每个所述摄像机以带优先度的方式显示。
10.一种对由多个摄像机拍摄的影像进行分析的影像分析方法，其特征在于：
获取由所述摄像机拍摄的时序性的多个帧图像，基于所述多个帧图像检测第一目标物和第二目标物，并且基于时序性的多个图像进行各目标物的摄像机影像内追踪处理，
在各帧图像中，基于所述第一目标物和所述第二目标物的种类以及各帧图像内的目标物间的距离，判断所述第一目标物和所述第二目标物在帧图像内的帧内关联度，
根据所述第一目标物和所述第二目标物的追踪信息以及时序性地拍摄的多个帧图像中的所述帧内关联度，判断所述第一目标物和所述第二目标物间在对应的摄像机影像内的摄像机影像内目标物间关联度，
将所述第一目标物和所述第二目标物相关联，与所述摄像机影像内目标物间关联度一起存储于数据库。
CN202110036398.4A 2020-03-10 2021-01-12 影像分析系统和影像分析方法 Active CN113382157B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020040748A JP2021145164A (ja) 2020-03-10 2020-03-10 映像解析システム、及び、映像解析方法
JP2020-040748 2020-03-10

Publications (2)

Publication Number Publication Date
CN113382157A true CN113382157A (zh) 2021-09-10
CN113382157B CN113382157B (zh) 2023-04-07

Family

ID=74003691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110036398.4A Active CN113382157B (zh) 2020-03-10 2021-01-12 影像分析系统和影像分析方法

Country Status (5)

Country Link
US (1) US20210287503A1 (zh)
EP (1) EP3879440A1 (zh)
JP (1) JP2021145164A (zh)
CN (1) CN113382157B (zh)
SG (1) SG10202012442RA (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441650A (zh) * 2007-09-25 2009-05-27 株式会社东芝 影像输出装置、方法和系统
US20090219391A1 (en) * 2008-02-28 2009-09-03 Canon Kabushiki Kaisha On-camera summarisation of object relationships
US20130274987A1 (en) * 2012-04-13 2013-10-17 Hon Hai Precision Industry Co., Ltd. Luggage case and luggage case moving method
CN107251552A (zh) * 2015-02-20 2017-10-13 松下知识产权经营株式会社 跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法
CN107615758A (zh) * 2015-05-26 2018-01-19 松下知识产权经营株式会社 跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法
US20180101194A1 (en) * 2016-10-07 2018-04-12 Panasonic Intellectual Property Management Co., Ltd. Monitoring video analysis system and monitoring video analysis method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299742A (ja) * 2007-06-01 2008-12-11 Mitsubishi Electric Corp 人物追跡装置
JP5552769B2 (ja) * 2009-07-29 2014-07-16 ソニー株式会社 画像編集装置、画像編集方法及びプログラム
JP5550974B2 (ja) 2010-04-19 2014-07-16 セコム株式会社 不審者検知装置
US9412180B2 (en) * 2012-01-17 2016-08-09 Sony Corporation Information processing apparatus, information processing method, and program
FR2997212B1 (fr) * 2012-10-18 2015-11-06 Morpho Appairage d'un objet et d'un detenteur de cet objet
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
JP7039409B2 (ja) * 2018-07-18 2022-03-22 株式会社日立製作所 映像解析装置、人物検索システムおよび人物検索方法
US10997459B2 (en) * 2019-05-23 2021-05-04 Webkontrol, Inc. Video content indexing and searching
CN110533685B (zh) * 2019-08-30 2023-10-24 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441650A (zh) * 2007-09-25 2009-05-27 株式会社东芝 影像输出装置、方法和系统
US20090219391A1 (en) * 2008-02-28 2009-09-03 Canon Kabushiki Kaisha On-camera summarisation of object relationships
US20130274987A1 (en) * 2012-04-13 2013-10-17 Hon Hai Precision Industry Co., Ltd. Luggage case and luggage case moving method
CN107251552A (zh) * 2015-02-20 2017-10-13 松下知识产权经营株式会社 跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法
CN107615758A (zh) * 2015-05-26 2018-01-19 松下知识产权经营株式会社 跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法
US20180101194A1 (en) * 2016-10-07 2018-04-12 Panasonic Intellectual Property Management Co., Ltd. Monitoring video analysis system and monitoring video analysis method

Also Published As

Publication number Publication date
SG10202012442RA (en) 2021-10-28
EP3879440A1 (en) 2021-09-15
CN113382157B (zh) 2023-04-07
US20210287503A1 (en) 2021-09-16
JP2021145164A (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
KR102153591B1 (ko) 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
Wolf et al. Evaluation of video activity localizations integrating quality and quantity measurements
Yun et al. Vision‐based garbage dumping action detection for real‐world surveillance platform
US6424370B1 (en) Motion based event detection system and method
US8548211B2 (en) Indicating a correspondence between an image and an object
JP5227911B2 (ja) 監視映像検索装置及び監視システム
CN104956412B (zh) 信息处理设备、信息处理方法、程序和信息处理系统
US11308158B2 (en) Information processing system, method for controlling information processing system, and storage medium
WO2020017190A1 (ja) 映像解析装置、人物検索システムおよび人物検索方法
EP0805405A2 (en) Motion event detection for video indexing
CN108665476B (zh) 一种行人跟踪方法以及电子设备
US20200374491A1 (en) Forensic video exploitation and analysis tools
KR20080075091A (ko) 실시간 경보 및 포렌식 분석을 위한 비디오 분석 데이터의저장
US20160048978A1 (en) Method and apparatus for automatic keyframe extraction
KR101954717B1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
CN111814510A (zh) 一种遗留物主体检测方法及装置
CN113382157B (zh) 影像分析系统和影像分析方法
Calderara et al. Multimedia surveillance: content-based retrieval with multicamera people tracking
EP1184810A2 (en) Improvements in or relating to motion event detection
Thomanek et al. A scalable system architecture for activity detection with simple heuristics
WO2022113453A1 (ja) 異常検知装置、異常検知方法
Persia et al. Labeling the frames of a video stream with interval events
Foggia et al. A Method for Detecting Long Term Left Baggage based on Heat Map.
CN108073668A (zh) 视频索引建立方法及应用其的装置
JP2022011666A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant