CN101627630A - 相机间联系关系信息生成装置 - Google Patents

相机间联系关系信息生成装置 Download PDF

Info

Publication number
CN101627630A
CN101627630A CN200880007483A CN200880007483A CN101627630A CN 101627630 A CN101627630 A CN 101627630A CN 200880007483 A CN200880007483 A CN 200880007483A CN 200880007483 A CN200880007483 A CN 200880007483A CN 101627630 A CN101627630 A CN 101627630A
Authority
CN
China
Prior art keywords
camera
relation information
information generating
cameras
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880007483A
Other languages
English (en)
Other versions
CN101627630B (zh
Inventor
横光澄男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101627630A publication Critical patent/CN101627630A/zh
Application granted granted Critical
Publication of CN101627630B publication Critical patent/CN101627630B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明的一个课题是要提供一种能够高可靠性地进行相机间联系关系估计的相机间联系关系信息生成装置。该装置包括：用于从由多个相机捕捉的视频提取被摄体的特征量的特征量提取部(21)；用于提取所捕捉的每个视频中的指示被摄体出现和消失的点的In/Out点的In/Out点提取部(22)；用于基于提取的In/Out点来形成In/Out区域的In/Out区域形成部(23)；用于在包括于In/Out区域中的In/Out点的多个组合的每一个中通过获得被摄体的每个特征量的相似度的总和来计算相关值的相关值计算部(24)；用于基于相关值来创建频率直方图的频率直方图创建部(25)；以及用于提取频率直方图的峰值并且估计多个相机之间有无联系关系以及生成联系关系信息的联系关系信息生成部(26)。

Description

相机间联系关系信息生成装置
技术领域
[0001]
本发明涉及相机间联系关系信息生成装置，该装置能够在例如以多个监视相机构成的监视系统跟踪人物的情况中，高可靠性地估计在相机之间的联系关系。
背景技术
[0002]
在用于使用来自多个相机的监视视频执行大范围监视的系统中，已经提出了一种通过基于提前掌握的在拍摄区域和各个相机的布置之间的对应关系来自动地切换画面上所显示的相机视频而跟踪人物等的系统(例如，参见专利文献1)。
[0003]
专利文献1：JP-A-2005-12415(第4页至第14页、图1)
发明内容
本发明的要解决的问题
[0004]
在通过多个相机监视广泛范围的情况中，多个相机之间的联系处理成为必要。特定地，在对相机之间的人物进行对照的情况中，通过使用关于相机之间的联系关系(拓扑)的信息来改善人物的对照精度。用于获取该联系关系信息的方法还包括用于手动地提前给出消息的方法，但是存在由于相机的数目很大而造成的处理复杂的问题。而且，存在一种用于使用由各个相机观测到的对象来自动地进行估计的方法，但是存在如下的问题，即，由于在基于每个相机所提取的所有对象的出现时间和消失时间的频率分布来估计的方法中，误对应的数据很大，所以精度低。
[0005]
因此，鉴于以上的传统问题，作了本发明，并且本发明的目标是要提供一种相机间联系关系信息生成装置，该装置能够改善由于相机间的误对应而造成的有无联系关系的精度的降低，并且使用仅相似被摄体对，例如人物对，来高可靠性地进行相机间联系关系的估计。
用于解决问题的手段
[0006]
本发明的相机间联系关系信息生成装置的特征在于，包括：特征量提取装置，该特征量提取装置用于从由多个相机捕捉的视频提取被摄体的特征量；In/Out点提取装置，该In/Out点提取装置用于提取由多个相机捕捉的每个视频中的指示被摄体所出现的点的In点和指示被摄体从其消失的点的Out点；In/Out区域形成装置，该In/Out区域形成装置用于基于由In/Out点提取装置提取的In点来形成包括In点的In区域，并且基于由In/Out点提取装置提取的Out点来形成包括Out点的Out区域；相关值计算装置，该相关值计算装置用于在由In/Out区域形成装置所形成的Out区域中所包括的Out点和所形成的In区域中所包括的In点的多个组合的每一个中，通过获得由特征量提取装置所提取的被摄体的每个特征量的相似度的总和来计算相关值；频率直方图创建装置，该频率直方图创建装置用于基于由相关值计算装置所计算的相关值来创建频率直方图；以及联系关系信息生成装置，该联系关系信息生成装置用于提取由频率直方图创建装置所创建的频率直方图的峰值，并且估计多个相机之间有无联系关系，以及生成联系关系信息。
[0007]
根据上述构造，将人物信息用作被摄体信息能够可靠性地完成相机之间联系关系的估计。
[0008]
本发明的相机间联系关系信息生成装置的特征在于，包括：显示装置，该显示装置用于显示由多个相机捕捉的视频；以及显示控制装置，该显示控制装置用于控制显示装置的显示形式。
[0009]
根据上述构造，能够基于指示估计的相机之间有无联系关系的联系关系信息来执行能够进行人物跟踪等的适当的画面显示。
[0010]
本发明的相机间联系关系信息生成装置的特征在于，在显示在与多个相机的一个相机的Out区域对应的显示装置的显示位置中移动的被摄体的情况中，根据由联系关系信息生成装置生成的联系关系信息，显示控制装置突出与具有显示移动之后的被摄体的高概率的多个相机的其它相机的In区域对应的显示装置的显示位置。
[0011]
根据上述构造，在跟踪人物的情况中，能够视觉地掌握接下来出现的相机号和出现区域候选，并且还无需执行诸如切换相机这样的复杂操作，使得降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
[0012]
本发明的相机间联系关系信息生成装置的特征在于，在显示在与多个相机的一个相机的Out区域对应的显示装置的显示区域中移动的被摄体的情况中，根据由联系关系信息生成装置生成的联系关系信息，显示控制装置使与多个相机的其它相机对应的显示装置的显示面积大于正常的显示面积。
[0013]
根据上述的构造，无需执行诸如切换相机这样的复杂操作，使得降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
[0014]
本发明的相机间联系关系信息生成装置的特征在于，在显示在与多个相机的一个相机的Out区域对应的显示装置的显示位置中移动的被摄体的情况中，根据由联系关系信息生成装置生成的联系关系信息，显示控制装置改变与相机的每一个对应的显示装置的显示位置，使得与具有显示移动后的被摄体的高概率的多个相机的其它相机的In区域对应的显示装置的显示位置和与该一个相机的Out区域对应的显示装置的显示位置相邻。
[0015]
根据上述构造，无需执行诸如切换相机这样的复杂操作，使得降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
[0016]
本发明的相机间联系关系信息生成装置的特征在于，由联系关系信息生成装置生成的联系关系信息包括多个相机的一个相机的任意区域和其它相机的任意区域之间的移动时间信息，并且显示控制装置根据联系关系信息，将与该一个相机对应的显示装置的显示位置和与其它相机对应的显示装置的显示位置分离。
[0017]
根据上述构造，易于视觉地掌握相机之间的联系关系，使得降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
[0018]
本发明的相机间联系关系信息生成装置的特征在于，当多个相机的一个相机的拍摄范围与其它相机的拍摄范围重叠时，根据由联系关系信息生成装置生成的联系关系信息，显示控制装置将与该一个相机对应的显示装置的显示位置和与其它相机对应的显示装置的显示位置重叠。
[0019]
根据上述构造，易于视觉地掌握相机之间的拍摄范围关系，使得降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
本发明的优点
[0020]
根据本发明，仅使用相似被摄体对例如人物对来估计联系关系，使得改善由于相机之间的误对应而造成的有无联系关系在精度上的降低，并且能够高可靠性地完成相机之间的联系关系的估计。而且，通过提前形成In/Out区域并且进行每区域的路径估计，能够在防止由于增加路径的数目而造成的失败的同时，适当地执行使用相机之间的联系关系信息的相机之间的人物跟踪(监视)等。
附图说明
[0021]
图1是示出本发明第一实施例中的相机间联系关系信息生成装置的内部构造的框图。
图2是描述其中形成In区域的情况的图示(In点收集)。
图3是描述其中形成In区域的情况的图示(区域分割)。
图4是描述其中形成In区域的情况的图示(椭圆近似)。
图5是描述其中形成In区域的情况的图示(整合处理)。
图6是示出多个相机之间的人物的移动示例的图示。
图7是概念地示出其中出现Out点的候选的时间范围的示意图。
图8是描述通过频率直方图创建部所创建的直方图的对应对的图表的情况的图示。
图9是示出由于步行速度而造成的到达时间上的差异的发生的图示。
图10是示出具有多个峰值的直方图示例的图示。
图11是示出本发明第二实施例中的相机间联系关系信息生成装置的内部构造的框图。
图12是概念地示出相机之间的联系关系信息的图示。
图13是示出多个相机之间的人物的移动示例的图示。
图14是概念地示出其中出现Out点的候选的时间范围的示意图。
图15是示出突出具有出现的高概率的区域的显示示例的图示。
图16是示出放大和显示具有出现的高概率的区域的显示示例的图示。
图17是示出显示具有出现的高概率的区域以便于与移动之前的视频相邻的显示示例的图示。
图18是示出基于相机之间的联系关系而布置视频的显示示例的图示(分离)。
图19是示出基于相机之间的联系关系而布置视频的显示示例的图示(重叠)。
附图数字和标记的描述
[0022]
10接口部
21特征量提取部
22In/Out点提取部
23In/Out区域形成部
24相关值计算部
25频率直方图创建部
26联系关系信息生成部
27参数设置部
30数据库
40显示控制部
50显示部
100、101相机间联系关系信息生成装置
200、201、202监视相机
300网络线路
具体实施方式
[0023]
下文中，将利用附图来详细描述本发明实施例中的相机间联系关系信息生成装置。
[0024]
第一实施例
图1是示出本发明第一实施例中的相机间联系关系信息生成装置的内部构造的框图。相机间联系关系信息生成装置100主要包括：接口(I/F)部10、特征量提取部21、In/Out点提取部22、In/Out区域形成部23、相关值计算部24、频率直方图创建部25、联系关系信息生成部26、参数设置部27、数据库30、显示控制部40、显示部50等。
[0025]
相机间联系关系信息生成装置100通过网络线路300等从多个监视相机(三个相机200到202作为示例在附图中示出)获取视频，并且执行下述的控制或判定，以及在装置内部的显示部50上显示视频。
[0026]
接口部10通过网络线路300等从多个相机200、201、202获取视频。
[0027]
特征量提取部21提取由相机的每一个所捕捉的视频中的人物的特征量。提取的特征量是关于身体高度、速度、颜色、纹理等的信息。
[0028]
在由每个相机所观测到的人物信息中，In/Out点提取部22将出现在相机视野的点识别为In点，并且将从相机视野消失的点识别为Out点，并且一定时段地收集每个相机的In/Out点信息。
[0029]
为了确定基于获得的In/Out点集合的In/Out区域，In/Out区域形成部23通过k均值(k-means)算法等的区域分割处理来提取作为In/Out区域候选群组的In/Out区域。然后，整合在In/Out区域候选群组中的具有少In/Out点信息的区域或邻近其它区域的区域，并且确定最后的In/Out区域。
[0030]
图2到图5是，作为上述In/Out区域形成部23和In/Out点提取部22的功能部的动作示例，描述In区域形成情况的图示。
[0031]
首先，In/Out点提取部22收集任何时间内所测量的In点(图2)。接下来，将图像区域初始地分割成12个区域(3乘4)，并且利用包括在每个区域内的In点信息通过k均值方法来执行区域分割处理(图3)。进一步地，使用初始的分割结果来应用k均值方法，并且通过将包括在12个分割的区域的每一个中的In点信息作为元素，做出通过奇异值分解完成的每个区域的椭圆近似。而且，当包括在每个区域中的In点信息少于预设的阈值时，In点信息被认为是噪声区域并且被消去(图4)。
[0032]
然后，In/Out区域形成部23相对于被近似为椭圆的每个区域来执行整合处理。重复利用阈值或大于该阈值的值来整合邻近区域的处理，并且持续该处理直至被整合的区域完成。使用被整合的区域内的In点的集合，做出通过奇异值分解完成的椭圆近似，并且获取最终的In点区域(图5)。
[0033]
相关值计算部24计算相关值，用于使用以以上方式获得的出现区域(In区域)和消失区域(Out区域)来估计每个区域之间的对应关系。通过每个相机观测到的关于人物的In/Out点信息具有各种特征量，诸如，时间、重心、高度、水平宽度、颜色信息。当在相机的拍摄范围中不存在重叠时，相对于具有联系关系的区域，从某个消失区域消失的人物在一定时段后出现在具有联系关系的出现区域中(当在相机的拍摄范围中存在重叠时，该人物在一定时段之前出现在出现区域中)。从与在一定时段内出现的人物有关的信息中仅选择具有相似的特征量的人物为相应候选，并且在联系关系的估计中被使用。通过下面的公式1来以相关值来评估In/Out点中的人物特征量的相似度。
[0034]
[数学公式1]
(公式1)：
Figure A20088000748300121
这里，wi表示每个特征量的权重系数，并且相似度i表示每个特征量的相似度，并且t表示搜索时间窗。即，通过加权的相似度的特征量的种类的总和(即，i)来计算预定搜索时间窗中的相关值。在联系关系的估计处理中，仅使用与具有来自上述评估公式的阈值或大于该阈值的相似度的人物相关的信息。
[0035]
频率直方图创建部25将获得的In/Out点对放入相机之间的每一In/out区域所构建的In/Out点对应频率分布中。具有联系关系的In区域和Out区域对实际上在根据区域之间距离的时间的附近具有对应频率的峰值，并且能够通过检测其峰值来确定有无联系关系。
[0036]
这里将利用示例来描述In/Out区域的对应处理。
[0037]
图6是示出在多个相机之间人物的移动示例的图示。从某个相机消失的人物再次出现在另一个相机。在图6的示例中，在时间t6时从由相机1(下文中称为Cam 1)的Out 1示出的地点(下文中简单地称为Out 1)消失的人物在时间t10时出现在由相机2(下文中称为Cam 2)的In 3示出的地点(下文中简单地称为In 3)。在假设在由每个相机所捕捉的区中不存在重叠部分的情况中，认为出现在In点的人物通常对应于在过去的一定时间内从任何相机消失的人物(Out点)。因此，能够通过获得在相机之间对应的人物对并且测量该人物对进行对应所需要的时间来估计多个相机之间的区域对应，即，多个相机之间的联系关系。另外，图7是概念地示出其中出现Out点的候选的时间范围的示意图。
[0038]
频率直方图创建部25创建直方图，其中，相对于每个相机的所有In区域和Out区域的组合来绘制In点/Out点的对应点。图8是描述由频率直方图创建部25所创建的直方图的对应对的图表的情况的图示。该图示示出相对于图6中示出的人物移动示例得到对应于In 3的Out区域的过程。如从图6和图7判定的，对应于In 3的Out区域包括Out1、Out 6和Out 5，使得Out区域被保持为对应候选。
[0039]
在图示的示例中，Out 1具有联系关系，使得对于In 3/Out 1的特定时间部分的很多人物对被计数。另外，存在如下的情况，即，其中，从其它Out点的出现时刻的关系，不考虑联系关系的不存在，In/Out点的对应对出现，但是这种对应相对于特定直方图元素不太可能具有峰值。在以上过程中执行绘制并且最终定位具有如图8的下部中示出的峰值(由附图中的椭圆所示的峰值)的直方图元素。
[0040]
联系关系信息生成部26提取该直方图元素，并且估计相机间有无联系关系，以及生成联系关系信息。
[0041]
另外，在图8的直方图的示例中，示出了一个峰值的情况，但是实际的行走速度根据人物或物体而变化(参见图9)。因此，在本实施例的相机间联系关系信息生成装置100中，还能够通过假设当得到从某个相机到另一个相机的移动时间时具有多个速度，来执行多个移动时间计算。如图10所示，多个峰值对应于人物行走速度中的变化，并且还能够作为人物、自行车、汽车等种类的变化来把握。
[0042]
参数设置部分27设置在上述的各种计算中所使用的参数。而且，数据库30保持在计算中所使用的各种数据、相机间联系关系信息等。
[0043]
第二实施例
图11是示出本发明的第二实施例中的相机间联系关系信息生成装置的内部构造的框图。第二实施例与第一实施例的相机间联系关系信息生成装置101不同在于，由联系关系信息生成部26所生成的联系关系信息被反馈到相关值计算部24，并且计算下述的相似度标准。由于其它构造与第一实施例相同，所以省略详细解释。
[0044]
下面将描述以上构造的相机间联系关系信息生成装置101的相似度标准计算动作。相关值计算部24基于第一实施例中所描述的联系关系信息来确定人物A和人物B之间的相似度。通过下面的公式2来计算相似度标准。
[0045]
[数学公式2]
(公式2)
Figure A20088000748300151
Figure A20088000748300152
Figure A20088000748300153
这里，wi表示特征量的每一个的权重系数，并且相似度i表示特征量的每一个的相似度。
[0046]
而且，基于下面的公式3来确定相同人物确定标准。
[0047]
[数学公式3]
(公式3)：
Figure A20088000748300154
如公式2中所示，身体高度、速度、颜色和纹理的相似度计算的积和乘以联系关系信息(联系关系AB的联系概率)。即，将其中人物A出现的相机的区域号和其中人物B消失的相机的区域号的联系概率用作权。这里所使用的联系关系AB的联系概率是指示第一实施例中所描述的相机之间的估计的联系关系的信息，并且布置在如图12中所示的矩阵。
[0048]
例如，当联系概率是80％时，相似度计算的积和乘以值80％，并且获得最后的相似度值。相关值计算部24执行多个对应候选和相似度计算作为在相机中新出现的人物A的对应候选，并且在超过阈值(MATCH_TH)的候选中选择具有最大值的候选作为对应人物。
[0049]
当在多个相机之间跟踪人物时，从某个相机消失的人物通常在一定时间后出现在另一个相机。换言之，作为在相机中新出现人物A的对应候选，直至现在从每个相机消失的人物可被拾取为对应候选。下文中将描述由相关值计算部24执行的人物相关候选的选择动作。
[0050]
图13是示出多个相机之间的人物的移动示例的图示。当在时间t10时新的人物出现在Cam 2的In 3(称为基准In点)时，对应于该In点的人物成为从任何相机消失的人物(称为Out点)。对应于基准In点的Out点的候选成为对于过去的TH时间从In点消失的Out点。从图14明显的是，在从t10开始回到TH时间的范围内出现的Out 1(t6)、Out 6(t5)和Out 4(t4)成为Out点的候选。分别计算关于这三个候选的相似度，并且关联具有最高相似度的并且超过确定标准的阈值的候选。
[0051]
接下来，将描述本发明实施例中的相机间联系关系信息生成装置的显示控制处理。
[0052]
例如，在基于如第二实施例中所描述的相同人物确定标准来跟踪移动人物的情况中，显示控制部40执行下面的显示控制，使得监视器能够容易地执行监视。
[0053]
(1)根据相机间联系关系信息突出具有接下来移动的高概率的相机的拍摄区域。例如，在其中布置了9个监视相机并且用被分割成9部分的画面来正常地显示来自每个相机的视频的示例中，当在Cam 6的内部的某个区域中出现从Cam 1到右侧移动的人物的概率很高时，如图15中所示，突出该区域。(2)根据相机间联系关系信息来放大并且显示具有接下来移动的高概率的相机的视频。例如，当在Cam 6内部的某个区域中出现从Cam 1到右侧移动的人物的概率很高时，如图16中所示较大地显示Cam 6的图像。(3)根据相机间联系关系信息，用修改的布置来显示视频，使得具有接下来移动的高概率的相机的视频与移动之前的相机视频的显示相邻。例如，当在Cam 3内部出现从Cam 1消失的人物的概率很高时，如图17中所示，Cam 3的图像的布置被改变到Cam 1的右侧并且显示该图像。
[0054]
通过如上所述的显示控制，即使当人物从某个相机的拍摄范围移动到另一个相机的拍摄范围时，监视器能够容易地跟踪该人物。另外，即使在上述第一实施中在跟踪移动的人物的情况中，也能够由显示控制部40来执行这种显示控制。
[0055]
接下来，将描述本发明实施例中的相机间联系关系信息生成装置的映射显示。
[0056]
在本发明实施例中的相机间联系关系信息生成装置中，基于获取的相机间联系关系信息来布置根据联系关系的视频。例如，当某个相机的Out点和某个相机的In点之间的联系的概率很高并且在对应区域中的人物的消失和出现之间存在时间距离时，显示控制部40如图18中所示分离并且显示两个相机的视频。另一方面，当某个相机的Out点和某个相机的In点之间的联系的概率很高并且在对应区域中的人物的消失和出现同时时(当两个相机的拍摄范围重叠时)，显示控制部40适当地重叠并且显示两个相机的视频，如图19中所示。
[0057]
通过上述的显示控制，即使当人物从某个相机的拍摄范围移动到另一个相机的拍摄范围时，监视器也能够容易执行视觉识别并且跟踪该人物。另外，即使在上述第一实施例中在跟踪移动的人物的情况中，也能够通过显示控制部40来执行根据这种映射显示的显示控制。
[0058]
已经参考具体实施例详细描述了本发明，但是对于本领域技术人员来说明显的是，能够在不脱离本发明的精神和范围的情况下做出各种改变或修改。
[0059]
本发明基于2007年3月6日提交的日本专利申请(专利申请No.2007-055473)，并且该专利申请的内容通过引用被并入这里。
工业实用性
[0060]
根据本发明的相机间联系关系信息生成装置具有能够通过借助于高可靠性的联系关系的估计来预测被摄体的移动目的地来缩小对应目的地的效果，并且可用于使用多个相机来执行大范围监视的监视系统等。

Claims (7)

1.一种相机间联系关系信息生成装置，包括：
特征量提取装置，所述特征量提取装置用于从由多个相机捕捉的视频提取被摄体的特征量；
In/Out点提取装置，所述In/Out点提取装置用于提取由所述多个相机捕捉的每个视频中的指示所述被摄体出现的点的In点和指示所述被摄体从其消失的点的Out点；
In/Out区域形成装置，所述In/Out区域形成装置用于基于由所述In/Out点提取装置提取的所述In点来形成包括所述In点的In区域，并且基于由所述In/Out点提取装置提取的所述Out点来形成包括所述Out点的Out区域；
相关值计算装置，所述相关值计算装置用于针对由所述In/Out区域形成装置所形成的所述In区域中所包括的所述In点和所形成的所述Out区域中所包括的所述Out点的多个组合的每一个，通过获得由所述特征量提取装置所提取的所述被摄体的每个特征量的相似度的总和来计算相关值；
频率直方图创建装置，所述频率直方图创建装置用于基于由所述相关值计算装置计算的所述相关值来创建频率直方图；以及
联系关系信息生成装置，所述联系关系信息生成装置用于提取由所述频率直方图创建装置创建的所述频率直方图的峰值并且估计在所述多个相机之间的联系关系的存在或不存在，以生成联系关系信息。
2.根据权利要求1所述的相机间联系关系信息生成装置，进一步包括：显示装置，所述显示装置用于显示由所述多个相机捕捉的视频；以及显示控制装置，所述显示控制装置用于控制所述显示装置的显示形式。
3.根据权利要求2所述的相机间联系关系信息生成装置，其中，在显示在与所述多个相机的一个的所述Out区域对应的所述显示装置的显示位置中移动的被摄体的情况中，根据由所述联系关系信息生成装置生成的所述联系关系信息，所述显示控制装置突出与具有显示移动后的所述被摄体的高概率的所述多个相机的其它相机的所述In区域对应的所述显示装置的显示位置。
4.根据权利要求2所述的相机间联系关系信息生成装置，其中，在显示在与所述多个相机的一个的所述Out区域对应的所述显示装置的显示位置中移动的所述被摄体的情况中，根据由所述联系关系信息生成装置生成的所述联系关系信息，所述显示控制装置使与所述多个相机的其它相机对应的所述显示装置的显示面积大于正常的显示面积。
5.根据权利要求2所述的相机间联系关系信息生成装置，其中，在显示在与所述多个相机的一个的所述Out区域对应的所述显示装置的显示位置中移动的所述被摄体的情况中，根据由所述联系关系信息生成装置生成的所述联系关系信息，所述显示控制装置改变与所述相机的每一个对应的所述显示装置的显示位置，使得与具有显示移动后的所述被摄体的高概率的所述多个相机的其它相机的所述In区域对应的所述显示装置的显示位置和与所述相机的所述一个的所述Out区域对应的所述显示装置的显示位置相邻。
6.根据权利要求2所述的相机间联系关系信息生成装置，其中，由所述联系关系信息生成装置生成的所述联系关系信息包括在所述多个相机的一个的任意区域和其它相机的任意区域之间的移动时间信息，并且所述显示控制装置根据所述联系关系信息，将与所述相机的所述一个对应的所述显示装置的显示位置和与所述其它相机对应的所述显示装置的显示位置分离。
7.根据权利要求2所述的相机间联系关系信息生成装置，其中，当所述多个相机的一个的拍摄范围与其它相机的拍摄范围重叠时，根据由所述联系关系信息生成装置生成的所述联系关系信息，所述显示控制装置将与所述相机的所述一个对应的所述显示装置的显示位置和与所述其它相机对应的所述显示装置的显示位置重叠。
CN2008800074830A 2007-03-06 2008-02-29 相机间联系关系信息生成装置 Expired - Fee Related CN101627630B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007055473A JP4881766B2 (ja) 2007-03-06 2007-03-06 カメラ間連結関係情報生成装置
JP055473/2007 2007-03-06
PCT/JP2008/000413 WO2008108087A1 (ja) 2007-03-06 2008-02-29 カメラ間連結関係情報生成装置

Publications (2)

Publication Number Publication Date
CN101627630A true CN101627630A (zh) 2010-01-13
CN101627630B CN101627630B (zh) 2011-07-13

Family

ID=39737984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800074830A Expired - Fee Related CN101627630B (zh) 2007-03-06 2008-02-29 相机间联系关系信息生成装置

Country Status (5)

Country Link
US (1) US8284255B2 (zh)
EP (1) EP2117232A4 (zh)
JP (1) JP4881766B2 (zh)
CN (1) CN101627630B (zh)
WO (1) WO2008108087A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104322059A (zh) * 2013-04-19 2015-01-28 松下电器（美国）知识产权公司 摄像机控制装置、摄像机控制方法及摄像机控制系统
CN105744223A (zh) * 2016-02-04 2016-07-06 北京旷视科技有限公司 视频数据处理方法和装置
CN107862240A (zh) * 2017-09-19 2018-03-30 深圳韵脉智能科技有限公司 一种多摄像头协同的人脸追踪方法
CN110140153A (zh) * 2017-01-23 2019-08-16 韩华泰科株式会社 监控装置与系统

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010116969A1 (ja) 2009-04-10 2010-10-14 オムロン株式会社 監視システム、および監視端末
JP2011090408A (ja) * 2009-10-20 2011-05-06 Canon Inc 情報処理装置、その行動推定方法及びプログラム
US9746988B2 (en) * 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
WO2013057904A1 (ja) 2011-10-19 2013-04-25 パナソニック株式会社 蝟集判定装置及び蝟集判定方法
JP5983033B2 (ja) * 2012-05-28 2016-08-31 富士通株式会社 位置関係判定プログラム、位置関係判定方法および位置関係判定装置
US10368010B2 (en) 2012-07-31 2019-07-30 Nec Corporation Image processing system, image processing method, and program
SG11201500693QA (en) 2012-07-31 2015-04-29 Nec Corp Image processing system, image processing method, and program
WO2014041912A1 (ja) * 2012-09-13 2014-03-20 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP6210234B2 (ja) 2012-09-19 2017-10-11 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JPWO2014050432A1 (ja) * 2012-09-27 2016-08-22 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
EP2911388B1 (en) 2012-10-18 2020-02-05 Nec Corporation Information processing system, information processing method, and program
EP2913997B1 (en) 2012-10-29 2021-09-29 NEC Corporation Information processing system, information processing method, and program
JP6292540B2 (ja) * 2012-12-28 2018-03-14 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP6233624B2 (ja) * 2013-02-13 2017-11-22 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP6406241B2 (ja) 2013-02-15 2018-10-17 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP6273685B2 (ja) 2013-03-27 2018-02-07 パナソニックＩｐマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
WO2014155958A1 (ja) * 2013-03-29 2014-10-02 日本電気株式会社 対象物監視システム、対象物監視方法および監視対象抽出プログラム
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5506990B1 (ja) 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US9355310B2 (en) 2014-05-27 2016-05-31 International Business Machines Corporation Monitoring individuals using distributed data sources
JP6465600B2 (ja) * 2014-09-19 2019-02-06 キヤノン株式会社 映像処理装置および映像処理方法
JP6128468B2 (ja) 2015-01-08 2017-05-17 パナソニックＩｐマネジメント株式会社 人物追尾システム及び人物追尾方法
JP6495705B2 (ja) * 2015-03-23 2019-04-03 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
US11997388B2 (en) 2019-05-03 2024-05-28 Toyota Motor Europe Image obtaining means for finding an object
WO2021166032A1 (ja) * 2020-02-17 2021-08-26 日本電信電話株式会社 デバイス間位置関係推定装置、デバイス間位置関係推定方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9902328A0 (sv) * 1999-06-18 2000-12-19 Ericsson Telefon Ab L M Förfarande och system för att alstra sammanfattad video
US7319479B1 (en) * 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
JP4307050B2 (ja) * 2002-11-07 2009-08-05 富士通株式会社 ハイライトシーンの抽出装置
JP4195991B2 (ja) 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
CN100541535C (zh) * 2004-01-06 2009-09-16 索尼株式会社 图像处理设备和方法
JP4418935B2 (ja) 2004-07-15 2010-02-24 株式会社国際電気通信基礎技術研究所 光学マーカシステム
US7629995B2 (en) * 2004-08-06 2009-12-08 Sony Corporation System and method for correlating camera views
JP4229105B2 (ja) 2005-08-25 2009-02-25 トヨタ自動車株式会社 ハイブリッド車およびその制御方法
US7872593B1 (en) * 2006-04-28 2011-01-18 At&T Intellectual Property Ii, L.P. System and method for collecting image data

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104322059A (zh) * 2013-04-19 2015-01-28 松下电器（美国）知识产权公司 摄像机控制装置、摄像机控制方法及摄像机控制系统
CN104322059B (zh) * 2013-04-19 2018-04-27 松下电器（美国）知识产权公司 摄像机控制装置、摄像机控制方法及摄像机控制系统
CN105744223A (zh) * 2016-02-04 2016-07-06 北京旷视科技有限公司 视频数据处理方法和装置
CN110140153A (zh) * 2017-01-23 2019-08-16 韩华泰科株式会社 监控装置与系统
CN107862240A (zh) * 2017-09-19 2018-03-30 深圳韵脉智能科技有限公司 一种多摄像头协同的人脸追踪方法
CN107862240B (zh) * 2017-09-19 2021-10-08 中科(深圳)科技服务有限公司 一种多摄像头协同的人脸追踪方法

Also Published As

Publication number Publication date
EP2117232A1 (en) 2009-11-11
US8284255B2 (en) 2012-10-09
CN101627630B (zh) 2011-07-13
WO2008108087A1 (ja) 2008-09-12
EP2117232A4 (en) 2014-03-05
JP4881766B2 (ja) 2012-02-22
US20100097475A1 (en) 2010-04-22
JP2008219570A (ja) 2008-09-18

Similar Documents

Publication Publication Date Title
CN101627630A (zh) 相机间联系关系信息生成装置
CN110717414B (zh) 一种目标检测追踪方法、装置及设备
KR102153591B1 (ko) 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
RU2546327C1 (ru) Устройство для отслеживания человека, способ отслеживания человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека
US8472715B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
US8724845B2 (en) Content determination program and content determination device
JP5975353B2 (ja) 人数計測装置
CN103310444B (zh) 一种基于头顶摄像头的监控行人计数的方法
US10133937B2 (en) Crowd monitoring system
CN102982313B (zh) 烟雾检测的方法
JP2019505866A (ja) 通行人の頭部識別方法及びシステム
CN102087702A (zh) 图像处理设备、图像处理方法和程序
CN104574351B (zh) 一种基于视频处理的车位检测方法
CN112347817B (zh) 一种视频目标检测与跟踪方法及装置
CN111325048B (zh) 一种人员聚集检测方法和装置
CN106326822A (zh) 车道线检测的方法及装置
CN104574441B (zh) 一种基于gmm和时序模型的跌倒实时检测方法
CN106934817A (zh) 基于多属性的多目标跟踪方法及装置
US20220036056A1 (en) Image processing apparatus and method for recognizing state of subject
CN109583373A (zh) 一种行人重识别实现方法
WO2022078134A1 (zh) 一种人员流量分析方法和系统、电子设备和可读存储介质
CN102663491B (zh) 一种基于surf特征的高密度人群计数方法
CN105957300B (zh) 一种智慧金睛识别可疑张贴遮蔽报警方法和装置
CN103456123B (zh) 一种基于流动和扩散特征的视频烟气探测方法
CN114140498A (zh) 一种双目视觉的多目标跟踪计数方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110713

Termination date: 20180229

CF01 Termination of patent right due to non-payment of annual fee