CN105100700A - 利用摄像机之间的交接的目标物跟踪装置及方法 - Google Patents

利用摄像机之间的交接的目标物跟踪装置及方法 Download PDF

Info

Publication number
CN105100700A
CN105100700A CN201410635733.2A CN201410635733A CN105100700A CN 105100700 A CN105100700 A CN 105100700A CN 201410635733 A CN201410635733 A CN 201410635733A CN 105100700 A CN105100700 A CN 105100700A
Authority
CN
China
Prior art keywords
video camera
described object
target tracking
information
judged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410635733.2A
Other languages
English (en)
Inventor
权奇相
孔正玟
金娓里
尹在雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung SDS Co Ltd
Original Assignee
Samsung SDS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140097147A external-priority patent/KR20150133619A/ko
Application filed by Samsung SDS Co Ltd filed Critical Samsung SDS Co Ltd
Publication of CN105100700A publication Critical patent/CN105100700A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种利用摄像机之间的交接的目标物跟踪装置及方法。根据本发明的一个实施例的目标物跟踪装置包括:输入单元,接收要搜索的目标物的信息的输入;预测路径计算单元,利用两个以上的位置预测模型而由输入的所述信息计算所述目标物的各个预测模型所分别对应的移动候选地点,并通过计算出的所述各个预测模型所分别对应的移动候选地点之间的比较而确定所述目标物的移动预测地点。

Description

利用摄像机之间的交接的目标物跟踪装置及方法
技术领域
本发明的实施例涉及一种借助于图像的目标物跟踪技术。
背景技术
随着CCTV等普遍化,为了跟踪嫌疑人或嫌疑车辆等的移动路径而利用视频数据的情况正在增多。现有技术中的目标物跟踪方法主要是监控人员直接用肉眼全面观察可疑区域及时间段的视频数据而找出目标物的方式。然而这样的方式由于是依赖于监控人员的主观判断的方式,因此在准确性方面存在局限性,而且随着跟踪范围的扩大而出现基于全面搜索的时间和成本急剧增加的问题。
为了解决这样的问题,提出了在图像中跟踪特定人物等的多种多样的跟踪方法。然而现有技术中的方法大多数为用于在一个图像内检测是否存在特定目标物的方法,因此在由多个摄像机所收集的图像有效地跟踪目标物方面存在局限性。
[现有技术文献]
[专利文献]
韩国授权专利公报第10-1089287号(2011.11.28)
发明内容
本发明的实施例用于在利用多个摄像机的目标物跟踪过程中有效地减少计算量和计算时间。
根据本发明的示例性实施例,提供一种目标物跟踪装置,包括:输入单元,接收要搜索的目标物的信息的输入;预测路径计算单元,利用两个以上的位置预测模型而由输入的所述信息计算所述目标物的各个预测模型所分别对应的移动候选地点,并通过计算出的所述各个预测模型所分别对应的移动候选地点之间的比较而确定所述目标物的移动预测地点。
所述目标物的信息可包括所述目标物的图像、所述目标物的观测位置、观测视角以及移动方向中的一种以上。
所述目标物的观测位置可以是拍摄所述目标物的摄像机的位置信息。
所述目标物的移动预测地点可以是判断为能够搜索到所述目标物的摄像机的位置信息。
所述预测路径计算单元可分别由所述两个以上的位置预测模型导出判断为能够搜索到所述目标物的一个以上的候选摄像机的信息,并将导出的所述候选摄像机信息进行比较而选择判断为能够搜索到所述目标物的一个以上的摄像机。
所述位置预测模型可包括隐马尔可夫模型(HiddenMarcovmodel:HMM)、高斯混合模型(GaussianMixtureModel:GMM)、决策树模型(DecisionTree)或者基于位置的模型中的一种以上。
所述预测路径计算单元可通过利用集成模型组合所述两个以上的位置预测模型,从而选择判断为能够搜索到所述目标物的一个以上的摄像机。
所述预测路径计算单元可利用对所述两个以上的位置预测模型分别应用互不相同的加权值的加权多数投票方式(weightedmajorityvoting)来结合所述两个以上的位置预测模型。
所述预测路径计算单元可通过考虑由所述各个预测模型选择的候选摄像机的频数以及已设定的各个预测模型所分别对应的加权值中的一种以上而选择判断为能够搜索到所述目标物的一个以上的摄像机。
所述装置还可以包括:判断单元,从由所述预测路径计算单元选择的一个以上的摄像机所获取的图像中判断所述目标物是否存在。
所述预测路径计算单元可在判断为由选择的所述一个以上的摄像机获取的图像中不存在所述目标物的情况下,除去所选择的所述摄像机并由导出的所述候选摄像机的信息重新选择判断为能够搜索到所述目标物的摄像机。
根据本发明的另一示例性实施例,提供一种目标物跟踪方法,包括如下步骤:接收输入的步骤,接收要搜索的目标物的信息的输入;预测路径计算步骤,利用两个以上的位置预测模型而由输入的所述信息计算所述目标物的各个预测模型所分别对应的移动候选地点,并通过计算出的所述各个预测模型所分别对应的移动候选地点之间的比较而确定所述目标物的移动预测地点。
所述目标物的信息可包括所述目标物的图像、所述目标物的观测位置、观测视角以及移动方向中的一种以上。
所述目标物的观测位置可以是拍摄所述目标物的摄像机的位置信息。
所述目标物的移动预测地点可以是判断为能够搜索到所述目标物的摄像机的位置信息。
所述预测路径计算步骤还可以包括如下步骤:分别由所述两个以上的位置预测模型导出判断为能够搜索到所述目标物的一个以上的候选摄像机的信息;将导出的所述候选摄像机信息进行比较而选择判断为能够搜索到所述目标物的一个以上的摄像机。
在选择所述一个以上的摄像机的步骤中,可通过考虑由所述各个预测模型选择的候选摄像机的频数以及已设定的各个预测模型所分别对应的加权值中的一种以上而选择判断为能够搜索到所述目标物的一个以上的摄像机。
所述预测路径计算步骤中还包括如下步骤:从由选择的一个以上的摄像机获取的图像中判断所述目标物是否存在。
在所述预测路径计算步骤中,可在判断为由选择的所述一个以上的摄像机获取的图像中不存在所述目标物的情况下,除去所选择的所述摄像机并由导出的所述候选摄像机的信息重新选择判断为能够搜索到所述目标物的摄像机。
根据本发明的实施例,在利用多个摄像机而在特定区域内跟踪目标物的过程中,不是将相关区域内的所有摄像机的图像作为对象而执行搜索,而是只搜索预测目标物可能要移动的地点的摄像机,因此可以使目标物搜索中的计算量和计算时间的减少有质的飞跃。
附图说明
图1为用于说明根据本发明的一个实施例的目标物跟踪装置100的构成的模块图。
图2为用于说明在根据本发明的一个实施例的预测路径计算单元104和判断单元106中的路径计算过程的示例图。
图3为表示将根据本发明的一个实施例的目标物跟踪结果显示于画面上的例的示例图。
图4为用于说明根据本发明的一个实施例的目标物跟踪方法300的流程图。
图5为表示在根据本发明的一个实施例的预测路径计算单元中用于将隐马尔可夫模型应用于目标物的数据建模的一例的状态转换图。
图6为用于说明在图5所示的状态转换图中在各个状态下观测的符号的方向的示例图。
符号说明
100:目标物跟踪装置102:输入单元
104:预测路径计算单元106:判断单元
108:输出单元
具体实施方式
以下,参照附图说明本发明的具体实施方式。以下的详细说明是为了有助于理解本说明书中记载的方法、装置和/或系统的全面性的理解而提供。然而这只不过是示例,本发明并不局限于此。
在说明本发明的实施例时,在认为对有关本发明的公知技术的具体说明有可能对本发明的主旨造成不必要的混乱的情况下,省略其详细说明。另外,后述的术语为考虑到在本发明中的功能而定义的术语,其可能因使用者、运用者的意图或惯例等而不同。因此要将贯穿整个说明书的内容作为基础而对其进行定义。在详细的说明中使用的术语仅仅是用于阐述本发明的实施例,决不能理解为限定性。除非明确地使用为不同,单数形态的表现包含复数形态的含义。在本说明中,“包括”或“具有”之类的表述用于表示某种特性、数字、步骤、操作、要素及这些的一部分或者组合,并不能解释为排除除此之外还存在一个或一个以上的其他特性、数字、步骤、操作、要素及这些的一部分或组合的必然性或可能性。
图1为用于说明根据本发明的一个实施例的目标物跟踪装置100的构成的模块图。根据本发明的一个实施例的目标物跟踪装置100是一种用于在目标物被设置有多个摄像机的区域(area)内的特定摄像机所检测到的情况下为了跟踪所述目标物的移动而有效地选择需要进行搜索的其他摄像机的装置。通常,一个摄像机可拍摄的区域有限,而人或汽车等目标物则持续移动,因此为了跟踪目标物的移动,需要通过相关区域内的摄像机之间的交接(handover)而持续观察目标物。在一个实施例中,将目标物跟踪装置100构成为由存储有特定区域内的多个摄像机的位置信息以及从各个摄像机获取的图像数据的数据库(未图示)等跟踪特定目标物,然而本发明的实施例并非一定要局限于此,也可以构成为利用从特定区域内的多个摄像机实时接收的图像信息而实时跟踪特定目标物。即,在本发明的实施例中,请留意摄像机不仅为表示网络摄像机、闭路电视监控系统(CCTV)等物理摄像机的含义,而且还是包含由相关摄像机拍摄或者获取的图像的含义。
如图所示,根据本发明的一个实施例的目标物跟踪装置100包括:输入单元102、预测路径计算单元104、判断单元106、以及输出单元108。
输入单元102从用户等接收要搜索的目标物的信息。如前所述,在本发明的实施例中,所述目标物可以是特定的人、动物或车辆等可通过摄像机图像识别的所有类型的被摄体。并且,所述目标物的信息可包括所述目标物的图像、所述目标物的观测位置、观测视角(viewpoint)以及移动方向中的一种以上。
在一个实施例中,用户可从由搜索对象区域内的特定摄像机拍摄的图像的一个帧中选择要搜索的目标物的图像。此时,所述目标物的图像可选择所述目标物的脸部或服装等能够较好地识别相关目标物的特征的图像,从而使后续的目标物跟踪过程中可更加容易地识别目标物。为此,输入单元102可提供用于在画面上选择目标物的合适的用户界面,而用户通过所述用户界面选择画面上的特定区域,并可以执行将选择的区域的被摄体与背景分离之类的作业。输入单元102可构成为将通过如上所述的作业获取的目标物的图像与相关帧的拍摄视角、拍摄位置(拍摄相关目标物的GPS位置信息等)、目标物在相关图像内的移动方向等信息一并存储。
预测路径计算单元104搜索预计为目标物已从最初识别的地点移动到的地点。在本发明的一个实施例中,预测路径计算单元104利用两个以上的位置预测模型来由输入的所述信息计算所述目标物的分别对应于各个预测模型的移动候选地点,并通过计算出的分别对应于所述各个预测模型的移动候选地点之间的比较来确定所述目标物的移动预测地点。此时,所述目标物的移动预测地点可以是判断为似乎有可能搜索到所述目标物的摄像机的位置信息。而且,所述摄像机的位置信息可以是包含摄像机的设置信息(视角、IP地址、画质、设置位置等)、摄像机的产品信息(公司名、模型名、规格等)、类型(固定型、全方位旋转变焦(PTZ,Pan-Tilt-Zoom)或是否具有红外线功能等)等信息的概念。对此进行如下更为详细的说明。
预测路径计算单元104可包括用于从由输入单元102获取的目标物的信息计算目标物的移动预测地点的多个算法模型。而且在一个实施例中,预测路径计算单元104可将两个以上的位置预测模型构成为集成模型(ensemblemodel)。这是由于如果利用集成模型则与只利用一个位置预测模型结果的时候相比可以导出可靠性和准确率更高的结果。
所述算法模型例如可以是隐马尔可夫模型(HiddenMarcovmodel:HMM)、高斯混合模型(GaussianMixtureModel:GMM)、决策树(DecisionTree)等基于统计的方法,也可以是单纯的基于位置的模型,且还可以是其他方法。换言之,本发明的实施例并不局限于特定算法模型。即,预测路径计算单元104可构成为通过考虑跟踪嫌疑对象(目标物)的移动方向图案等而从前述的算法模型中利用合适的算法模型。此时,选择的算法模型根据学习成果必将成为对于互不相同的移动方向图案的强有力的模型。
作为所述算法模型之一的HMM是一种由基于时间序列的顺序数据预测目标物的下一位置的基于统计的预测模型。因此在具有行人向特定地点移动时想着到达目的地的最短距离而移动的步行图案的情况下,借助于HMM的预测结果想必不会从实际目标物(行人)的移动方向上偏离较多。
图5为表示在根据本发明的一个实施例的预测路径计算单元中用于将隐马尔可夫模型应用于目标物的数据建模的一例的状态转换图。图示的状态转换图是通过学习由实际行人以5秒为间隔发送GPS坐标而构成的行人移动路径(trajectory)数据而生成的图,作为学习成果找到的状态为S1、S2、S3这三个。连接各个状态的箭头为转换到下一状态的概率以及指向自身的概率。在各个状态下观测到的符号(symbol)为如图6所示的八个方向,而在各个状态下将被观测到的符号的概率如以下的表1。
[表1]
S1 S2 S3
P(O1) 0.478 0.991 1.000
P(O2) 0.166 0.004 0.000
P(O3) 0.044 0.000 0.000
P(O4) 0.028 0.000 0.000
P(O5) 0.036 0.000 0.000
P(O6) 0.028 0.000 0.000
P(O7) 0.044 0.000 0.000
P(O8) 0.174 0.004 0.000
并且,GMM是一种分别生成针对在各个状态下将被观测到的互不相同的移动方向的正态分布,并基于此而预测下一位置的基于统计的预测模型。对于这一模型而言,针对各个状态的正态分布不受来自之前状态的影响,因此在目标物骤然改变方向或者倒转路径而走去的表现出不规则步行图案的情况下的预测中比HMM更适合。
正是这样,各种位置预测算法模型存在各自的特征和优缺点,在将多个算法模型构成为集成模型的情况下,可分散偏差(bias),并能够克服区域最优点(localoptimum)的局限。因此,可以比通过一种算法模型生成的结果表现出更高的准确率。在一个实施例中,在这种集成模型中的结合使用投票(voting)方式,然而不是使用单纯的多数投票方式,而是使用加权多数投票方式(weightedmajorityvoting)而将模型各自的加权值比重置为不同。如前所述,根据特定步行图案等目标物的特性而存在更加合适的算法,因此基于此而取不同的加权值。例如,预测路径计算单元104可通过作为“boosting”算法的一种的自适应增强(adaboost)算法而结合集成模型。在使用“adaboost”的情况下,算法模型可根据步行图案等目标物的特性而表现出互补性的结果。
预测路径计算单元104将所述目标物的信息代入到各个算法模型,从而与各个算法分别对应而导出一个以上的候选地点,并通过导出的候选地点之间的比较或竞争(contention)而确定要搜索所述目标物的预测地点。
在一个实施例中,预测路径计算单元104可基于由上述各个预测模型选择的候选摄像机的频数(各个摄像机分别对应的选择次数)而选择判断为似乎有可能搜索到所述目标物的一个以上的摄像机。而且,根据实施例,在设定有各个预测模型分别对应的加权值等的情况下,可一并考虑到这一点而反映在所述摄像机的选择。具体而言,预测路径计算单元104可通过根据各个算法模型的候选地点之间的投票而确定要搜索所述目标物的候选地点。例如,假设现在与发现目标物的地点的摄像机相邻的摄像机有1号到6号的六个,且根据三个互不相同的算法模型的分析结果,在1号算法模型中作为候选地点得出摄像机1、3、5号的结果,而在2号算法模型中得出摄像机3、5、6号的结果,并在3号算法模型中得出摄像机4、5、6号的结果。在此情况下,在六个摄像机中5号摄像机的得票数最高而达到3,因此预测路径计算单元104优先将5号地点(摄像机)确定为目标物的移动预测地点。
在另一实施例中,预测路径计算单元104可根据服从多数的原则而从由各个算法模型导出的候选地点确定目标物的移动预测地点。例如在上述例中,在将3号摄像机选择为最优候选地点的算法有两个而选择2号摄像机的算法有一个的情况下,根据服从多数的原则可将3号摄像机选择为目标物的移动预测地点。
在又一个不同实施例中,预测路径计算单元104可利用通过训练数据先行学习的结果而对各个候选地点赋予分别对应于犯罪或事件类型的加权值。具体而言,训练数据可以通过由专门的测试仪持GPS发送装置等而移动于摄像机候选地点并以特定周期向收集服务器进行发送而生成。这种训练数据可根据犯罪倾向而不同地生成类别(category),作为一个例,在考虑爆炸恐怖袭击之类的将多数群众作为对象的犯罪情景的情况下,可以使测试仪朝人群较多地集中的广场或设施方向移动并生成数据。作为又一个不同的例,在考虑抢劫、强奸等将特定对象者作为对象的犯罪情景的情况下,可以使测试仪朝人迹罕至的胡同或娱乐场馆密集区域方向等移动并生成数据。这种数据的基本信息可以由纬度坐标、经度坐标和发送时间等构成。而且,作为附加信息还可以插入基于罪犯侧写(profiling)的罪犯的服装类型等特征。于是,考虑基于犯罪类型的加权值而应用,从而可以选择更加准确的目标物的移动预测地点。
此外,预测路径计算单元104可构成为通过应用分别对应于之前步骤中的算法的准确率、基于目标物特性的算法所对应的加权值等多种多样的要素而由分别对应于各个算法而导出的候选地点预测目标物的移动。例如,目标物如果是犯下杀人罪的罪犯,则可以预测为了避开搜查而故意混入人群中或者考虑到二次犯罪而向人口大量集中的购物中心、地铁等移动,且大致可以预测会避开警察局、消防所等政府机构。并且,如果嫌疑人为走失的孩子,则主要向警察局、消防局等附近政府机构移动的可能性较高,而利用市外交通工具的可能性似乎较低。即,如果根据嫌疑人的类型而对位于候选搜索地点周围的交通设施、政府机构、购物中心等特定据点赋予加权值,则在选定候补时可期望更高的准确率。换言之,本发明的实施例并不局限于从基于多个算法的结果中导出最终结论的特定方法,只要是如前所述的从基于频数、加权值、优先顺序等多个算法的多个结果值中导出最终结论的方法就可以不加限制地使用。即,在本发明的实施例中,基于各个算法的结果值的“比较”应当解释为包括由多个互不相同的结果值导出最终结论的所有方式的含义。
而且,预测路径计算单元104不用非要选择一个预测地点(摄像机),而是可以选择位于预测目标物将会移动到的区域的多个摄像机组,或者还可以构成为选择将多个摄像机依次连接的预测路径。
判断单元106从由被预测路径计算单元104选择的一个以上的摄像机获取的图像判断所述目标物是否存在。例如在所述目标物为人的情况下,判断单元106可利用脸部识别算法而判断是否从所述图像中发现与所述目标物相近的脸部。在此情况下,作为对室外环境强有力的脸部识别方法,可使用在多种多样的室外环境条件(照明、基于时间段的颜色变化)下的检测率及识别率较高且对基于闭塞(occlusion)、姿势等的角度变化强有力且局部脸部识别(partialfacematching)的识别率较高的识别算法。并且,作为用于进一步提高用于判断确属目标物的相似度的准确率的方法,可以与脸部识别一同考虑人物的特征(feature)。此时,所述特征可使用大小信息、颜色信息、速度信息等。
预测路径计算单元104可构成为,在判断为由选择的所述一个以上的摄像机获取的图像中不存在所述目标物的情况下,除去所选择的所述摄像机并由导出的所述候选摄像机信息重新选择判断为似乎能够搜索到所述目标物的摄像机。例如在预测路径计算单元104根据算法之间的投票而选择摄像机的情况下,如果判断为所选择的摄像机中没有检测到目标物,则预测路径计算单元104可以选择各算法选择第二多的摄像机(对于前述的示例而言,是摄像机3或摄像机6)。
而且,与之不同,在判断单元106判断的结果为由预测地点的摄像机实际发现目标物的情况下,预测路径计算单元104将新发现的摄像机作为基准而重新执行目标物的移动预测地点搜索。这种重复一直执行直到达到最初设定的时间范围或区域范围为止,或者一直执行到不再出现搜索到嫌疑人的候补为止,并将所述搜索的结果导出的移动预测地点连接,从而可以导出目标物的移动预测路径。
图2为用于说明在根据本发明的一个实施例的预测路径计算单元104和判断单元106中的路径计算过程的示例图。如图所示,假设分别配置从摄像机1到摄像机20的二十个摄像机,且最初是在摄像机20中发现了目标物。在此情况下,预测路径计算单元104利用互不相同的多个(例如,三个)算法而按照各个算法分别计算将会发现所述目标物的下一候选地点。假设根据三个算法的结果,两个算法选择摄像机15而剩下的一个算法选择摄像机14。在此情况下,判断单元106将由两个算法预测的摄像机15选择为下一地点,并从相关摄像机的图像中搜索目标物的存在。如果所述搜索结果为从摄像机15中发现目标物,则预测路径计算单元104将摄像机15作为基准而计算新的候选地点,且判断单元106将会选择其中之一。在图示的附图中,用斜线表示的部分表示通过如上所述的过程而进行搜索的结果发现目标物的摄像机,而箭头表示通过连接摄像机而生成的目标物的移动路径。
输出单元108将通过预测路径计算单元104和判断单元106计算出的目标物的移动路径显示于画面上。例如,如图3所示,输出单元108可构成为给用户提供所需的信息,例如将通过预测路径计算单元104和判断单元106计算出的移动路径输出到地图上,或者根据用户的选择而再现各个地点分别对应的目标物被发现的图像等。在图示的实施例中,虚线表示关心区域内的摄像机的位置,实线表示分别对应于各个算法的候选地点,以斜线涂画的部分表示实际选择的移动预测地点,中央的大圆表示已设定的时间范围(例如,从最初发现之时起的2小时以内等)或者区域范围。
根据这种本发明的实施例,无需为了搜索目标物的移动路径而搜索特定区域的所有摄像机,而是只要搜索候选预测地点即可,因此可以使目标物跟踪中的计算量和计算时间的减少有质的飞跃。
图4为用于说明根据本发明的一个实施例的目标物跟踪方法300的流程图。
在步骤302中,输入单元102接收要搜索的目标物的信息。所述目标物的信息可包括所述目标物的图像、所述目标物的观测位置和观测视角以及移动方向中的一种以上。而且,所述目标物的观测位置可以是拍摄所述目标物的摄像机的位置信息。
在步骤304中,预测路径计算单元104利用两个以上的位置预测模型而由所输入(即接收)的所述信息计算所述目标物的各个预测模型所分别对应的移动候选地点。
在步骤306中,预测路径计算单元104通过在所述步骤304中计算的所述各个预测模型所分别对应的移动候选地点之间的比较而确定所述目标物的移动预测地点。此时,所述目标物的移动预测地点可以是判断为似乎有可能搜索到所述目标物的摄像机的位置信息。即,在所述步骤304中是从两个以上的位置预测模型中的每一个导出判断为似乎有可能搜索到所述目标物的一个以上的候选摄像机的信息,而在步骤306中通过比较导出的所述候选摄像机的信息而选择判断为似乎有可能搜索到所述目标物的一个以上的摄像机。如前所述,所述步骤306可构成为基于由所述各个预测模型选择的候选摄像机的频数而选择判断为似乎有可能搜索到所述目标物的一个以上的摄像机。
在步骤308中,判断单元106从由被选择的一个以上的摄像机获取的图像中搜索所述目标物是否存在。
在步骤310中,判断单元106判断在所述步骤308中搜索的结果所述图像中是否存在目标物。如果所述判断的结果为在所述图像内没有发现目标物,则判断单元106回到所述步骤306而从各个算法所分别对应的移动候选地点中重新选择目标物的移动预测地点,在此情况下,最初被选择的地点将在选择中被排除。
另外,与之不同,如果所述判断的结果在所述图像内发现目标物,则预测路径计算单元104将基准位置更新为新搜索到的地点(步骤312),并从更新的基准位置起反复执行所述步骤304以下的步骤。所述过程反复执行直到达到最初设定的时间范围或区域范围为止,或者反复执行到不再出现搜索到嫌疑人的候补为止。
另外,本发明的实施例可包括记录有用于在计算机上执行本说明书中记载的方法的程序的计算机可读记录介质。所述计算机可读记录介质可将程序命令、本地数据文件、本地数据结构等单独或者组合起来包含在内。所述介质既可以是为了本发明而特别设计并构成的介质,也可以是在计算机软件领域中通常可以使用的介质。计算机可读记录介质的例中包括:硬盘、软盘以及磁带之类的磁介质;CD-ROM、DVD之类的光记录介质;软盘之类的磁光介质以及ROM、RAM、闪存之类的为了存储并执行程序命令而特别构成的硬件装置。程序命令的例中不仅可以包括由编译器制作的机器语言代码,而且还可以包括利用解释器等而由计算机执行的高级语言代码。
以上已详细说明本发明的代表性实施例,然而本发明所属的技术领域中具有普通知识的人员应该会理解能够在不脱离本发明范围的限度内对所述的实施例进行多种多样的变形。因此本发明的权利范围不应局限于所述的实施例而确定,而是要根据权利要求书及其等价内容而确定。

Claims (19)

1.一种目标物跟踪装置,包括:
输入单元,接收关于要搜索的目标物的信息的输入;
预测路径计算单元,利用两个以上的位置预测模型而由输入的所述信息计算所述目标物的各个预测模型所分别对应的移动候选地点,并通过计算出的所述各个预测模型所分别对应的移动候选地点之间的比较而确定所述目标物的移动预测地点。
2.如权利要求1所述的目标物跟踪装置,其中,所述目标物的信息包括所述目标物的图像、所述目标物的观测位置、观测视角以及移动方向中的一种以上。
3.如权利要求2所述的目标物跟踪装置,其中,所述目标物的观测位置为拍摄所述目标物的摄像机的位置信息。
4.如权利要求1所述的目标物跟踪装置,其中,所述目标物的移动预测地点为判断为能够搜索到所述目标物的摄像机的位置信息。
5.如权利要求1所述的目标物跟踪装置,其中,所述预测路径计算单元分别由所述两个以上的位置预测模型导出判断为能够搜索到所述目标物的一个以上的候选摄像机的信息,并将导出的所述摄像机信息进行比较而选择判断为能够搜索到所述目标物的一个以上的摄像机。
6.如权利要求5所述的目标物跟踪装置,其中,所述预测路径计算单元通过考虑由所述各个预测模型选择的候选摄像机的频数以及已设定的各个预测模型所分别对应的加权值中的一种以上而选择判断为能够搜索到所述目标物的一个以上的摄像机。
7.如权利要求5所述的目标物跟踪装置,其中,所述位置预测模型包括隐马尔可夫模型、高斯混合模型、决策树模型或者基于位置的模型中的一种以上。
8.如权利要求5所述的目标物跟踪装置,其中,所述预测路径计算单元通过利用集成模型结合所述两个以上的位置预测模型,从而选择判断为能够搜索到所述目标物的一个以上的摄像机。
9.如权利要求5所述的目标物跟踪装置,其中,所述预测路径计算单元利用对所述两个以上的位置预测模型分别应用互不相同的加权值的加权多数投票方式来结合所述两个以上的位置预测模型。
10.如权利要求5所述的目标物跟踪装置,其中,还包括:
判断单元,从由所述预测路径计算单元选择的一个以上的摄像机所获取的图像中判断所述目标物是否存在。
11.如权利要求10所述的目标物跟踪装置,其中,所述预测路径计算单元在判断为由选择的所述一个以上的摄像机获取的图像中不存在所述目标物的情况下,排除所选择的所述摄像机并由导出的所述候选摄像机的信息重新选择判断为能够搜索到所述目标物的摄像机。
12.一种目标物跟踪方法,包括如下步骤:
接收输入的步骤,接收关于要搜索的目标物的信息的输入;
预测路径计算步骤,利用两个以上的位置预测模型而由输入的所述信息计算所述目标物的各个预测模型所分别对应的移动候选地点,并通过计算出的所述各个预测模型所分别对应的移动候选地点之间的比较而确定所述目标物的移动预测地点。
13.如权利要求12所述的目标物跟踪方法,其中,所述目标物的信息包括所述目标物的图像、所述目标物的观测位置、观测视角以及移动方向中的一种以上。
14.如权利要求12所述的目标物跟踪方法,其中,所述目标物的观测位置为拍摄所述目标物的摄像机的位置信息。
15.如权利要求12所述的目标物跟踪方法,其中,所述目标物的移动预测地点为判断为能够搜索到所述目标物的摄像机的位置信息。
16.如权利要求12所述的目标物跟踪方法,其中,所述预测路径计算步骤还包括如下步骤:
分别由所述两个以上的位置预测模型导出判断为能够搜索到所述目标物的一个以上的候选摄像机的信息;
将导出的所述候选摄像机信息进行比较而选择判断为能够搜索到所述目标物的一个以上的摄像机。
17.如权利要求16所述的目标物跟踪方法,其中,在选择所述一个以上的摄像机的步骤中,通过考虑由所述各个预测模型选择的候选摄像机的频数以及已设定的各个预测模型所分别对应的加权值中的一种以上而选择判断为能够搜索到所述目标物的一个以上的摄像机。
18.如权利要求16所述的目标物跟踪方法,其中,所述预测路径计算步骤中还包括如下步骤:
从由选择的一个以上的摄像机获取的图像中判断所述目标物是否存在。
19.如权利要求18所述的目标物跟踪方法,其中,在所述预测路径计算步骤中,在判断为由选择的所述一个以上的摄像机获取的图像中不存在所述目标物的情况下,排除所选择的所述摄像机并由导出的所述候选摄像机的信息重新选择判断为能够搜索到所述目标物的摄像机。
CN201410635733.2A 2014-05-20 2014-11-05 利用摄像机之间的交接的目标物跟踪装置及方法 Pending CN105100700A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140060309 2014-05-20
KR10-2014-0060309 2014-05-20
KR1020140097147A KR20150133619A (ko) 2014-05-20 2014-07-30 카메라간 핸드오버를 이용한 목표물 추적 장치 및 방법
KR10-2014-0097147 2014-07-30

Publications (1)

Publication Number Publication Date
CN105100700A true CN105100700A (zh) 2015-11-25

Family

ID=54554187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410635733.2A Pending CN105100700A (zh) 2014-05-20 2014-11-05 利用摄像机之间的交接的目标物跟踪装置及方法

Country Status (3)

Country Link
US (1) US20150338497A1 (zh)
CN (1) CN105100700A (zh)
WO (1) WO2015178540A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651916A (zh) * 2016-12-29 2017-05-10 深圳市深网视界科技有限公司 一种目标的定位跟踪方法及装置
CN108111806A (zh) * 2017-11-20 2018-06-01 厦门市美亚柏科信息股份有限公司 一种监控方法及终端
CN109325965A (zh) * 2018-08-22 2019-02-12 浙江大华技术股份有限公司 一种目标对象跟踪方法及装置
CN110110690A (zh) * 2019-05-16 2019-08-09 廊坊鑫良基科技有限公司 一种目标行人追踪方法、装置、设备及存储介质
CN110827316A (zh) * 2019-10-29 2020-02-21 贵州民族大学 人群恐慌四散检测方法、系统、可读存储介质和电子设备
CN111034171A (zh) * 2017-09-26 2020-04-17 索尼半导体解决方案公司 信息处理系统
CN112750301A (zh) * 2019-10-30 2021-05-04 杭州海康威视系统技术有限公司 目标对象追踪方法、装置、设备及计算机可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786177B2 (en) * 2015-04-10 2017-10-10 Honda Motor Co., Ltd. Pedestrian path predictions
CN106791586A (zh) * 2015-11-19 2017-05-31 杭州海康威视数字技术股份有限公司 一种对移动目标进行监控的方法及监控设备、装置、系统
JP6415495B2 (ja) 2016-08-09 2018-10-31 株式会社ミスミ 設計支援装置、設計支援システム、サーバ及び設計支援方法
GB2562049A (en) * 2017-05-02 2018-11-07 Kompetenzzentrum Das Virtuelle Fahrzeug Improved pedestrian prediction by using enhanced map data in automated vehicles
CN108985218A (zh) * 2018-07-10 2018-12-11 上海小蚁科技有限公司 人流量统计方法及装置、存储介质、计算设备
KR102354585B1 (ko) * 2019-12-18 2022-01-26 한국철도기술연구원 열차 자율주행 차상단말의 핸드오버 시점 결정 방법
US11640671B2 (en) * 2021-03-09 2023-05-02 Motorola Solutions, Inc. Monitoring system and method for identifying an object of interest after the object of interest has undergone a change in appearance
CN113487651B (zh) * 2021-06-17 2022-07-05 超节点创新科技(深圳)有限公司 行李跟踪方法、装置、设备及可读存储介质
WO2023033710A1 (en) * 2021-09-02 2023-03-09 Hitachi, Ltd. Method and system of object tracking

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
CN101572804A (zh) * 2009-03-30 2009-11-04 浙江大学 多摄像机智能控制方法及装置
US20100207762A1 (en) * 2009-02-19 2010-08-19 Panasonic Corporation System and method for predicting abnormal behavior
CN103581527A (zh) * 2012-07-18 2014-02-12 中国移动通信集团公司 一种安防系统中的跟踪摄像方法、装置及安防主机

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535817B1 (en) * 1999-11-10 2003-03-18 The Florida State Research Foundation Methods, systems and computer program products for generating weather forecasts from a multi-model superensemble
ATE500580T1 (de) * 2005-03-25 2011-03-15 Sensormatic Electronics Llc Intelligente kameraauswahl und objektverfolgung
KR101362630B1 (ko) * 2007-06-21 2014-02-12 엘지전자 주식회사 디지털 비디오 레코더에서의 피사체 이동 경로 추적 방법
US8432449B2 (en) * 2007-08-13 2013-04-30 Fuji Xerox Co., Ltd. Hidden markov model for camera handoff
TWI405457B (zh) * 2008-12-18 2013-08-11 Ind Tech Res Inst 應用攝影機換手技術之多目標追蹤系統及其方法,與其智慧節點
EP2549752A4 (en) * 2010-03-15 2014-12-03 Omron Tateisi Electronics Co TERMINAL FOR SURVEILLANCE CAMERA
KR101248054B1 (ko) * 2011-05-04 2013-03-26 삼성테크윈 주식회사 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
US8370280B1 (en) * 2011-07-14 2013-02-05 Google Inc. Combining predictive models in predictive analytical modeling
JP5956248B2 (ja) * 2012-05-21 2016-07-27 セコム株式会社 画像監視装置
EP3101561A1 (en) * 2012-06-22 2016-12-07 Google, Inc. Ranking nearby destinations based on visit likelihoods and predicting future visits to places from location history
KR101933153B1 (ko) * 2012-11-06 2018-12-27 에스케이 텔레콤주식회사 관심객체 이동방향에 따른 관제 영상 재배치 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
US20100207762A1 (en) * 2009-02-19 2010-08-19 Panasonic Corporation System and method for predicting abnormal behavior
CN101572804A (zh) * 2009-03-30 2009-11-04 浙江大学 多摄像机智能控制方法及装置
CN103581527A (zh) * 2012-07-18 2014-02-12 中国移动通信集团公司 一种安防系统中的跟踪摄像方法、装置及安防主机

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651916A (zh) * 2016-12-29 2017-05-10 深圳市深网视界科技有限公司 一种目标的定位跟踪方法及装置
CN106651916B (zh) * 2016-12-29 2019-09-03 深圳市深网视界科技有限公司 一种目标的定位跟踪方法及装置
CN111034171A (zh) * 2017-09-26 2020-04-17 索尼半导体解决方案公司 信息处理系统
CN111034171B (zh) * 2017-09-26 2022-05-17 索尼半导体解决方案公司 信息处理系统
CN108111806A (zh) * 2017-11-20 2018-06-01 厦门市美亚柏科信息股份有限公司 一种监控方法及终端
CN109325965A (zh) * 2018-08-22 2019-02-12 浙江大华技术股份有限公司 一种目标对象跟踪方法及装置
CN110110690A (zh) * 2019-05-16 2019-08-09 廊坊鑫良基科技有限公司 一种目标行人追踪方法、装置、设备及存储介质
CN110110690B (zh) * 2019-05-16 2023-04-07 廊坊鑫良基科技有限公司 一种目标行人追踪方法、装置、设备及存储介质
CN110827316A (zh) * 2019-10-29 2020-02-21 贵州民族大学 人群恐慌四散检测方法、系统、可读存储介质和电子设备
CN112750301A (zh) * 2019-10-30 2021-05-04 杭州海康威视系统技术有限公司 目标对象追踪方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20150338497A1 (en) 2015-11-26
WO2015178540A1 (ko) 2015-11-26

Similar Documents

Publication Publication Date Title
CN105100700A (zh) 利用摄像机之间的交接的目标物跟踪装置及方法
Dee et al. How close are we to solving the problem of automated visual surveillance? A review of real-world surveillance, scientific progress and evaluative mechanisms
JP5976237B2 (ja) 映像検索システム及び映像検索方法
US11475671B2 (en) Multiple robots assisted surveillance system
JP4852765B2 (ja) 広域分散カメラ間の連結関係推定法および連結関係推定プログラム
USRE44527E1 (en) Abnormality detection and surveillance system
USRE42690E1 (en) Abnormality detection and surveillance system
US8995717B2 (en) Method for building and extracting entity networks from video
US8149278B2 (en) System and method for modeling movement of objects using probabilistic graphs obtained from surveillance data
JP5495235B2 (ja) 監視対象者の行動を監視する装置及び方法
US8266174B2 (en) Behavior history retrieval apparatus and behavior history retrieval method
Papaioannou et al. Fusion of radio and camera sensor data for accurate indoor positioning
JP2004531842A (ja) サーベイランスシステムおよび監視システムに関する方法
KR102376479B1 (ko) 인공지능 기반 객체 자동 인식을 위한 cctv 제어 방법, 장치 및 시스템
CN111325954B (zh) 人员走失预警方法、装置、系统及服务器
KR102384299B1 (ko) 폭행 감지 기능을 구비한 cctv 촬영 장치 및 cctv 영상에 기초한 폭행 감지 방법
US20230403375A1 (en) Duration and potential region of interest for suspicious activities
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
CN110533700A (zh) 对象跟踪方法和装置、存储介质及电子装置
KR102260123B1 (ko) 지역내 이벤트감지장치 및 그 장치의 구동방법
CN112132041A (zh) 一种基于计算机视觉的社区巡更分析方法及其系统
Anisha et al. Automated vehicle to vehicle conflict analysis at signalized intersections by camera and LiDAR sensor fusion
CN112381853A (zh) 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法
Andersson et al. Activity recognition and localization on a truck parking lot
van Rooijen et al. Rapid person re-identification retraining strategy for flexible deployment in new environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151125