CN105744223B - 视频数据处理方法和装置 - Google Patents

视频数据处理方法和装置 Download PDF

Info

Publication number
CN105744223B
CN105744223B CN201610079944.1A CN201610079944A CN105744223B CN 105744223 B CN105744223 B CN 105744223B CN 201610079944 A CN201610079944 A CN 201610079944A CN 105744223 B CN105744223 B CN 105744223B
Authority
CN
China
Prior art keywords
acquisition device
video acquisition
video
video data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610079944.1A
Other languages
English (en)
Other versions
CN105744223A (zh
Inventor
毛慧子
张弛
印奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Maigewei Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201610079944.1A priority Critical patent/CN105744223B/zh
Publication of CN105744223A publication Critical patent/CN105744223A/zh
Application granted granted Critical
Publication of CN105744223B publication Critical patent/CN105744223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明的实施例提供了一种视频数据处理方法和装置。该视频数据处理方法包括:获取分别由多个视频采集装置采集的样本视频数据,其中,由多个视频采集装置之一采集的样本视频数据与由多个视频采集装置中的至少一个其他视频采集装置采集的样本视频数据记录同一样本目标的运动轨迹;以及利用所获取的样本视频数据进行训练以确定多个视频采集装置之间的位置关系。根据本发明实施例的视频数据处理方法和装置,可以利用样本训练的方法确定多个视频采集装置之间的位置关系,这种方法实现简单,对于视频采集装置的部署以及背景场景等先验信息不作太多要求,因此可以减少目标跟踪系统的部署开销。

Description

视频数据处理方法和装置
技术领域
本发明涉及目标跟踪技术领域,更具体地涉及一种视频数据处理方法和装置。
背景技术
定位跟踪技术对于企业安防等领域具有重要作用。传统的跟踪方法主要基于单个摄像头,这类方法的优点是对拍摄场景以及摄像头布置的要求较低,在跟踪系统的部署阶段较为方便,但缺点在于对某个特定目标(例如特定人物)的跟踪需要耗费大量人力和时间,因为需要依靠人工方式逐一排查所有视频数据。近期提出的多摄像头跟踪方法,可以利用摄像头的位置关系以及背景信息,在多摄像头之间自动实现对某个特定目标的跟踪。但这种方法往往要求比较苛刻的初始化条件,例如需要提前对跟踪区域进行三维建模,需要合理安排摄像头的分布位置等。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种视频数据处理方法和装置。
根据本发明一方面,提供了一种视频数据处理方法。该视频数据处理方法包括:获取分别由多个视频采集装置采集的样本视频数据,其中,由所述多个视频采集装置之一采集的样本视频数据与由所述多个视频采集装置中的至少一个其他视频采集装置采集的样本视频数据记录同一样本目标的运动轨迹;以及利用所获取的样本视频数据进行训练以确定所述多个视频采集装置之间的位置关系。
示例性地,所述利用所获取的样本视频数据进行训练以确定所述多个视频采集装置之间的位置关系包括:根据所述所获取的样本视频数据确定样本目标在所述多个视频采集装置的记录区域中的出入时间;以及根据样本目标在所述多个视频采集装置的记录区域中的出入时间确定所述多个视频采集装置之间的位置关系。
示例性地,所述根据样本目标在所述多个视频采集装置的记录区域中的出入时间确定所述多个视频采集装置之间的位置关系包括:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第一时段内同时出现在所述多个视频采集装置中的第一视频采集装置和第二视频采集装置的记录区域中,则根据所述一个或多个样本目标在各自对应的第一时段内的运动轨迹确定所述第一视频采集装置和所述第二视频采集装置之间的重合区域。
示例性地,所述根据样本目标在所述多个视频采集装置的记录区域中的出入时间确定所述多个视频采集装置之间的位置关系包括:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开所述多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入所述多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在所述多个视频采集装置的任何一个的记录区域中,则估计所述一个或多个样本目标在各自对应的第二时段内的可能运动轨迹并根据所述一个或多个样本目标在各自对应的第二时段内的可能运动轨迹确定所述第一视频采集装置与所述第二视频采集装置之间的消失区域。
示例性地,所述视频数据处理方法进一步包括:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开所述多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入所述多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在所述多个视频采集装置的任何一个的记录区域中,则根据所述一个或多个样本目标的各自对应的第二时段确定和所述第一视频采集装置与所述第二视频采集装置之间的消失区域相关的消失时间阈值。
示例性地,所述视频数据处理方法进一步包括:对于所述多个视频采集装置中的每一个,获取由该视频采集装置针对其对应的关键点采集的图像,所述关键点的地理位置是已标注好的;以及基于所述关键点在所述图像中的像素位置以及所述关键点的地理位置计算该视频采集装置的图像空间与地理空间之间的映射关系。
示例性地,所述所获取的样本视频数据中记录的所有样本目标的运动轨迹在时间轴上没有交集。
示例性地,所述视频数据处理方法进一步包括:获取由所述多个视频采集装置中的至少部分视频采集装置针对待跟踪目标采集的实际视频数据;以及利用所获取的实际视频数据和所述至少部分视频采集装置之间的位置关系对所述待跟踪目标进行跟踪。
示例性地,所述利用所获取的实际视频数据和所述至少部分视频采集装置之间的位置关系对所述待跟踪目标进行跟踪包括:当根据由所述至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现所述待跟踪目标从所述第一视频采集装置的记录区域运动到所述第一视频采集装置与所述至少部分视频采集装置中的第二视频采集装置之间的重合区域时,比较由所述第二视频采集装置采集的位于所述重合区域内的所有目标与所述待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为所述待跟踪目标并利用由所述第二视频采集装置采集的实际视频数据跟踪所述待跟踪目标。
示例性地,所述利用所获取的实际视频数据和所述至少部分视频采集装置之间的位置关系对所述待跟踪目标进行跟踪包括:当根据由所述至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现所述待跟踪目标从所述第一视频采集装置的记录区域运动到所述第一视频采集装置与所述至少部分视频采集装置中的第二视频采集装置之间的消失区域时,比较由所述第二视频采集装置在特定时段内采集的从所述消失区域运动到所述第二视频采集装置的记录区域的所有目标与所述待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为所述待跟踪目标并利用由所述第二视频采集装置采集的实际视频数据跟踪所述待跟踪目标。
示例性地,所述特定时段小于或等于和所述第一视频采集装置与所述第二视频采集装置之间的消失区域相关的消失时间阈值。
示例性地,所述视频数据处理方法进一步包括:传送与所述待跟踪目标相关的跟踪信息用于存储,其中,所述跟踪信息包括所述待跟踪目标在由所述至少部分视频采集装置中的每一个采集的实际视频数据中的图像位置和所述待跟踪目标的目标信息。
根据本发明另一方面,提供了一种视频数据处理装置,包括:第一获取模块,用于获取分别由多个视频采集装置采集的样本视频数据,其中,由所述多个视频采集装置之一采集的样本视频数据与由所述多个视频采集装置中的至少一个其他视频采集装置采集的样本视频数据记录同一样本目标的运动轨迹;以及训练模块,用于利用所获取的样本视频数据进行训练以确定所述多个视频采集装置之间的位置关系。
示例性地,所述训练模块包括:时间确定子模块,用于根据所述所获取的样本视频数据确定样本目标在所述多个视频采集装置的记录区域中的出入时间;以及位置确定子模块,用于根据样本目标在所述多个视频采集装置的记录区域中的出入时间确定所述多个视频采集装置之间的位置关系。
示例性地,所述位置确定子模块包括重合区域确定单元,用于如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第一时段内同时出现在所述多个视频采集装置中的第一视频采集装置和第二视频采集装置的记录区域中,则根据所述一个或多个样本目标在各自对应的第一时段内的运动轨迹确定所述第一视频采集装置和所述第二视频采集装置之间的重合区域。
示例性地,所述位置确定子模块包括消失区域确定单元,用于如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开所述多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入所述多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在所述多个视频采集装置的任何一个的记录区域中,则估计所述一个或多个样本目标在各自对应的第二时段内的可能运动轨迹并根据所述一个或多个样本目标在各自对应的第二时段内的可能运动轨迹确定所述第一视频采集装置与所述第二视频采集装置之间的消失区域。
示例性地,所述视频数据处理装置进一步包括时间阈值确定模块,用于如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开所述多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入所述多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在所述多个视频采集装置的任何一个的记录区域中,则根据所述一个或多个样本目标的各自对应的第二时段确定和所述第一视频采集装置与所述第二视频采集装置之间的消失区域相关的消失时间阈值。
示例性地,所述视频数据处理装置进一步包括:第二获取模块,用于对于所述多个视频采集装置中的每一个,获取由该视频采集装置针对其对应的关键点采集的图像,所述关键点的地理位置是已标注好的;以及计算模块,用于对于所述多个视频采集装置中的每一个,基于所述关键点在所述图像中的像素位置以及所述关键点的地理位置计算该视频采集装置的图像空间与地理空间之间的映射关系。
示例性地,所述所获取的样本视频数据中记录的所有样本目标的运动轨迹在时间轴上没有交集。
示例性地,所述视频数据处理装置进一步包括:第三获取模块,用于获取由所述多个视频采集装置中的至少部分视频采集装置针对待跟踪目标采集的实际视频数据;以及跟踪模块,用于利用所获取的实际视频数据和所述至少部分视频采集装置之间的位置关系对所述待跟踪目标进行跟踪。
示例性地,所述跟踪模块包括第一跟踪子模块,用于当根据由所述至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现所述待跟踪目标从所述第一视频采集装置的记录区域运动到所述第一视频采集装置与所述至少部分视频采集装置中的第二视频采集装置之间的重合区域时,比较由所述第二视频采集装置采集的位于所述重合区域内的所有目标与所述待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为所述待跟踪目标并利用由所述第二视频采集装置采集的实际视频数据跟踪所述待跟踪目标。
示例性地,所述跟踪模块包括第二跟踪子模块,用于当根据由所述至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现所述待跟踪目标从所述第一视频采集装置的记录区域运动到所述第一视频采集装置与所述至少部分视频采集装置中的第二视频采集装置之间的消失区域时,比较由所述第二视频采集装置在特定时段内采集的从所述消失区域运动到所述第二视频采集装置的记录区域的所有目标与所述待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为所述待跟踪目标并利用由所述第二视频采集装置采集的实际视频数据跟踪所述待跟踪目标。
示例性地,所述特定时段小于或等于和所述第一视频采集装置与所述第二视频采集装置之间的消失区域相关的消失时间阈值。
示例性地,所述视频数据处理装置进一步包括传送模块,用于传送与所述待跟踪目标相关的跟踪信息用于存储,其中,所述跟踪信息包括所述待跟踪目标在由所述至少部分视频采集装置中的每一个采集的实际视频数据中的图像位置和所述待跟踪目标的目标信息。
根据本发明实施例的视频数据处理方法和装置,可以利用样本训练的方法确定多个视频采集装置之间的位置关系,所确定的位置关系可以用于实现在多个视频采集装置之间对期望目标的自动跟踪,这种方法实现简单,对于视频采集装置的部署以及背景场景等先验信息不作太多要求,因此可以减少目标跟踪系统的部署开销。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的视频数据处理方法和装置的示例电子设备的示意性框图;
图2示出根据本发明一个实施例的视频数据处理方法的示意性流程图;
图3示出根据本发明一个实施例的示例性样本目标的运动轨迹的示意图;
图4示出根据本发明另一个实施例的视频数据处理方法的示意性流程图;
图5示出根据本发明一个实施例的示例性待跟踪目标的运动轨迹的示意图;
图6示出根据本发明一个实施例的视频数据处理装置的示意性框图;以及
图7示出根据本发明一个实施例的视频数据处理系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先,参照图1来描述用于实现根据本发明实施例的视频数据处理方法和装置的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108和至少两个视频采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述视频采集装置110可以采集期望的视频数据(例如包含运动目标的视频),并且将所采集的视频数据存储在所述存储装置104中以供其它组件使用。视频采集装置110可以采用任何合适的设备实现,例如摄像头。
示例性地,用于实现根据本发明实施例的视频数据处理方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面,将参考图2描述根据本发明实施例的视频数据处理方法。图2示出根据本发明一个实施例的视频数据处理方法200的示意性流程图。如图2所示,视频数据处理方法200包括以下步骤。
在步骤S210,获取分别由多个视频采集装置采集的样本视频数据,其中,由多个视频采集装置之一采集的样本视频数据与由多个视频采集装置中的至少一个其他视频采集装置采集的样本视频数据记录同一样本目标的运动轨迹。
示例性地,图像采集装置可以是摄像头,其可以连接到后端的具备计算能力的计算设备或远程服务器,并将其所采集的视频数据传送到后端计算设备或远程服务器进行处理。下文将以摄像头作为图像采集装置的示例来描述本发明,应当理解,这并非对本发明的限制。
在一个实施例中,图像采集装置是普通摄像头。在这种情况下,假设样本目标为行人,为了获得适于训练的样本视频数据,可以使作为样本目标的行人穿着易于与背景区分开的衣物,如颜色比较鲜艳的外套等。通过记录该行人在各个摄像头中依次出现的时间和位置,可以获得与该行人相关的样本视频数据。该样本视频数据可以用于随后确定摄像头之间的位置关系。
在另一个实施例中,图像采集装置是深度摄像头。在这种情况下,可以通过视频数据中的深度信息的变化区分背景和行人。因此,在这种情况下,作为样本目标的行人的穿着不受限制。同样地,通过记录该行人在各个摄像头中依次出现的时间和位置,可以获得与该行人相关的样本视频数据。该样本视频数据可以用于随后确定摄像头之间的位置关系。
样本目标可以是任何合适的运动目标,例如行人、车辆等。为了确定摄像头之间的位置关系,可以利用某种运动目标作为样本进行训练。在训练之前,需要记录这些样本目标的运动轨迹。例如,可以记录行人在某个包含多个摄像头的场景中的运动轨迹。可以理解的是,在场景中存在多个摄像头的情况下,一个行人可能经过所有摄像头的记录区域(即拍摄区域),也可能只经过了其中一部分摄像头的记录区域。在后一种情况下,通过该行人的运动轨迹只能获知一部分摄像头之间的位置关系。然而,剩余摄像头之间的位置关系可以通过其他经过这些摄像头的记录区域的行人的运动轨迹来判断。因此,无需每个行人经过所有摄像头的记录区域,不过如果希望获知某个场景下的所有摄像头之间的位置关系,则每个摄像头需要与至少一个其他摄像头记录下同一行人的运动轨迹。
本文所述的记录区域是指视频采集装置能够采集到视频数据(或图像)的地理空间中的区域,其与视频采集装置采集到的视频帧所在的图像空间相对应。简单来说,如果目标出现在视频采集装置采集到的视频帧中,说明目标出现在视频采集装置的记录区域中。
样本目标可以是日常生活中的运动目标,也可以是专门用于样本训练的运动目标。以停车场的监控摄像头为例,如果希望在整个停车场场景下利用多个摄像头实现行人跟踪,需要首先对摄像头的部署情况进行训练。可以直接利用日常生活中的实际行人进行训练。监控摄像头记录实际行人的运动轨迹。这样情况下,行人的运动轨迹比较随机,可能经过所有摄像头的记录区域,也可能仅经过一部分摄像头的记录区域。在初始经过停车场的行人较少,所采集的视频数据可能参考价值较小,只能训练出行人经过的那些摄像头的大致位置关系。随着时间推移,经过停车场的行人越来越多,所采集的视频数据的量也越来越大,最终有可能训练出所有摄像头的位置关系,并且位置关系确定的准确度会提高。
当然,比较优选地,是选取测试者扮演行人经过摄像头的记录区域。在初始训练过程中,尽量使得在每个测试者测试过程中仅该测试者在停车场内行走,这样可以避免误识别和误跟踪,从而可以有效提高训练结果的准确度。在建立摄像头的基本空间结构之后,可以利用多人的运动轨迹进行训练,以使得在多人情境下的跟踪精度能够提高。另外,还可以利用额外信息进行校准,如可在运动轨迹上加入校准点使得定位更加精确。
在步骤S220,利用所获取的样本视频数据进行训练以确定多个视频采集装置之间的位置关系。
可以根据样本目标运动的时间顺序判断视频采集装置之间的位置关系。位置关系可以理解为视频采集装置的记录区域之间的位置关系。如果两个视频采集装置的记录区域相距较近或具有重合区域,则可以认为这两个视频采集装置是相邻的。例如,在行人从一个摄像头的记录区域离开并立即进入另一摄像头的记录区域的情况下,可以认为这两个摄像头是相邻的。可以理解的是,对于多个视频采集装置来说,它们所记录的样本目标的数量越大,所判断出的位置关系的准确度越高。
利用样本视频数据进行训练的优点在于可以利用简单的方法进行自适应初始化。在目标跟踪系统的部署过程中,用户不需要提前绘制整个场景的背景图,也不需要精确安排各个摄像头的分布,只需在摄像头部署完成后,通过一些“训练”完成摄像头之间的位置关系的建模。
示例性地,根据本发明实施例的视频数据处理方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的视频数据处理方法可以部署在视频采集端处,例如,在监控领域,可以部署在监控系统的视频采集端。替代地,根据本发明实施例的视频数据处理方法还可以部署在服务器端(或云端)处。例如,可以在客户端采集视频数据,客户端将采集到的视频数据传送给服务器端(或云端),由服务器端(或云端)进行视频数据处理。
根据本发明提供的视频数据处理方法,可以利用样本训练的方法确定多个视频采集装置之间的位置关系,所确定的位置关系可以用于实现在多个视频采集装置之间对期望目标的自动跟踪,这种方法实现简单,对于视频采集装置的部署以及背景场景等先验信息不作太多要求,因此可以减少目标跟踪系统的部署开销。
根据本发明实施例,步骤S220可以包括:根据所获取的样本视频数据确定样本目标在多个视频采集装置的记录区域中的出入时间;以及根据样本目标在多个视频采集装置的记录区域中的出入时间确定多个视频采集装置之间的位置关系。
如上文所述,可以根据样本目标运动的时间顺序判断视频采集装置之间的位置关系。作为示例,假如行人从一个摄像头的记录区域连续运动到另一摄像头的记录区域,可以认为这两个摄像头是相邻的。所谓的连续运动可以理解为行人从一个摄像头的记录区域紧接着进入另一个摄像头的记录区域,在这两个摄像头的记录区域中转换时没有进入其他摄像头的记录区域。行人在每个摄像头的记录区域的出入时间可以根据行人在摄像头采集的视频数据中的出现时间来确定。
例如,如果根据摄像头1采集的样本视频数据发现某个行人在九点至九点十分出现在摄像头1的记录区域中,并且根据摄像头2采集的样本视频数据发现该行人在九点十一分至九点十五分出现在摄像头2的记录区域中,并且在九点十分至九点十一分之间未出现在其他摄像头的记录区域中,则可以认为摄像头1和摄像头2是相邻摄像头。
利用样本目标在视频采集装置的记录区域中的出入时间可以简单快速地确定视频采集装置之间的位置关系。
根据本发明实施例,根据样本目标在多个视频采集装置的记录区域中的出入时间确定多个视频采集装置之间的位置关系可以包括:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第一时段内同时出现在多个视频采集装置中的第一视频采集装置和第二视频采集装置的记录区域中,则根据一个或多个样本目标在各自对应的第一时段内的运动轨迹确定第一视频采集装置和第二视频采集装置之间的重合区域。
图3示出根据本发明一个实施例的示例性样本目标的运动轨迹的示意图。虽然记录区域是三维的,但是为了描述方便,图3示出的是记录区域在水平地面上的投影,用该投影区域代表记录区域。在图3中,样本目标A从摄像头1的记录区域x离开并进入摄像头2的记录区域y。假设样本目标A的运动轨迹为运动轨迹310。从运动轨迹310可以看出,样本目标A在一段时间内同时出现在记录区域x和记录区域y中,也就是同时出现在摄像头1和摄像头2的镜头中并记录在它们所采集的视频数据中。这样,根据摄像头1和摄像头2所采集的视频数据,可知摄像头1的记录区域x和摄像头2的记录区域y是存在重合的,它们的重合区域应该包含样本目标A在同时出现在记录区域x和记录区域y中(也就是同时出现在摄像头1和摄像头2所采集的视频数据中)的那段时间内的运动轨迹。因此,可以根据样本目标A在该时段内的运动轨迹大致估计出该重合区域。可以理解的是,可能不止一个样本目标经过摄像头1和摄像头2之间的重合区域,经过重合区域的样本目标越多,重合区域的确定越准确。样本目标在经过重合区域时经历的时间可能不同,每个样本目标可以对应各自的第一时段。可以综合考虑所有经过摄像头1和摄像头2之间的重合区域的样本目标的运动轨迹来确定这两个摄像头之间的重合区域。
根据本发明实施例,根据样本目标在多个视频采集装置的记录区域中的出入时间确定多个视频采集装置之间的位置关系可以包括:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在多个视频采集装置的任何一个的记录区域中,则估计一个或多个样本目标在各自对应的第二时段内的可能运动轨迹并根据一个或多个样本目标在各自对应的第二时段内的可能运动轨迹确定第一视频采集装置与第二视频采集装置之间的消失区域。
继续参考图3,假设样本目标B从摄像头1的记录区域x离开并进入摄像头2的记录区域y。样本目标B的运动轨迹为运动轨迹320。在运动轨迹320中,样本目标B有一段时间未曾出现在任何摄像头的记录区域中(即未曾出现在摄像头采集的视频数据中)。在这种情况下,可以认为样本目标B在这段时间“消失”,未曾记录下样本目标B的运动轨迹。这样,可以根据这段消失时间估计样本目标B在这段时间的可能运动轨迹。例如,如果这段消失时间很短的话,例如仅有几秒钟,则可以认为样本目标B是直线行走的,可以根据样本目标B离开记录区域x的离开点坐标以及进入记录区域y的进入点坐标大致估计出样本目标B的运动轨迹。进一步地,根据样本目标B的可能运动轨迹大致估计出两个摄像头之间的消失区域(或称无法覆盖区域)。
同样地,可能不止一个样本目标经过摄像头1和摄像头2之间的消失区域,经过消失区域的样本目标越多,消失区域的确定越准确。样本目标在经过消失区域时经历的时间可能不同,每个样本目标可以对应各自的第二时段。可以综合考虑所有经过摄像头1和摄像头2之间的消失区域的样本目标的可能运动轨迹来确定这两个摄像头之间的消失区域。
根据本发明实施例,视频数据处理方法200可以进一步包括:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在多个视频采集装置的任何一个的记录区域中,则根据一个或多个样本目标的各自对应的第二时段确定和第一视频采集装置与第二视频采集装置之间的消失区域相关的消失时间阈值。
消失时间阈值可以用来在对目标进行跟踪时衡量待跟踪目标是暂时进入摄像头之间的消失区域还是真正消失。根据本发明的一个示例,消失时间阈值根据样本目标经过消失区域所消耗的时间而定,也就是根据所有经过某消失区域的样本目标对应的第二时段确定与该消失区域相关的时间阈值。消失时间阈值的计算方法可以根据需要设定。例如,可以选择所有经过某消失区域的样本目标对应的第二时段中最长的第二时段作为消失时间阈值。另外,也可以计算所有经过某消失区域的样本目标对应的第二时段的平均值作为消失时间阈值。
如上所述,可以利用消失时间阈值衡量待跟踪目标是暂时进入摄像头之间的消失区域还是真正消失,这有助于提高目标跟踪系统的跟踪性能。
根据本发明实施例,视频数据处理方法200可以进一步包括:对于多个视频采集装置中的每一个,获取由该视频采集装置针对其对应的关键点采集的图像,关键点的地理位置是已标注好的;以及基于关键点在图像中的像素位置以及关键点的地理位置计算该视频采集装置的图像空间与地理空间之间的映射关系。
地理空间可以用例如室外地图或室内平面图来标示。将图像空间中的像素坐标与地图或平面图中的地理坐标进行映射,找出二者的对应关系。例如,可以在地图或平面图上标注地理位置已知的关键点,利用视频采集装置采集包含关键点的图像,这样从图像采集装置所采集的视频数据中可以确定各关键点在图像空间中的像素位置,进而可以建立关键点的地理位置与对应的像素位置之间的映射关系。当然,也可以使测试者经过特定关键点,通过对测试者进行跟踪确定关键点在图像空间中的像素位置。
通过图像空间与地理空间之间的映射关系可以对训练出的视频采集装置的位置关系进行校准。另外,在获知图像空间与地理空间之间的映射关系之后,可以在对待跟踪目标进行跟踪时将待跟踪目标的运动轨迹与待跟踪目标在实际地理空间中的位置对应起来,便于对待跟踪目标的位置进行查看和跟踪。
根据本发明实施例,所获取的样本视频数据中记录的所有样本目标的运动轨迹在时间轴上没有交集。
如上文所述,在初始训练过程中,尽量使得在每个测试者测试过程中仅该测试者在摄像头的布置场景内行走。在这种情况下获得的样本视频数据中,每个样本目标的运动轨迹在时间轴上不与其它样本目标的运动轨迹重合。这样可以避免误识别和误跟踪,从而可以有效提高训练结果的准确度。
图4示出了根据本发明另一个实施例的视频数据处理方法400的示意性流程图。图4所示的视频数据处理方法400的步骤S410和S420与上述视频数据处理方法200中的步骤S210和S220类似,为了简洁,在此不再赘述。
根据本实施例,视频数据处理方法400可以进一步包括以下步骤。
在步骤S430,获取由多个视频采集装置中的至少部分视频采集装置针对待跟踪目标采集的实际视频数据。在步骤S440,利用所获取的实际视频数据和至少部分视频采集装置之间的位置关系对待跟踪目标进行跟踪。
当在实际场景下进行目标检测和跟踪时,可以通过以下方式进行。
利用位置关系已知的视频采集装置对待跟踪目标进行跟踪。当待跟踪目标进入某视频采集装置的记录区域时,由该视频采集装置采集包含待跟踪目标的视频。可以实时获取视频采集装置采集到的实际视频数据。对于所获取的实际视频数据,可以针对每个视频帧,通过现有的目标检测方法检测待跟踪目标,以标注出待跟踪目标的运动轨迹。待跟踪目标的运动轨迹可以利用待跟踪目标在每个视频帧中的位置和目标信息等标注。目标信息可以利用多种算法得到,其包括但不限于方向梯度直方图(HOG)特征,卷积神经网络特征等。在待跟踪目标是行人的情况下,通常用行人的人脸特征作为目标信息。
当待跟踪目标在第一视频采集装置的记录区域中运动时,可以利用第一视频采集装置采集的视频数据实时跟踪待跟踪目标。当待跟踪目标离开第一视频采集装置的记录区域并进入相邻的第二视频采集装置的记录区域时,可以利用第二视频采集装置采集的视频数据继续跟踪待跟踪目标。因此,在视频采集装置之间的位置关系已知的情况下,可以根据待跟踪目标当前的运动状态判断需要通过哪个视频采集装置实现对待跟踪目标的持续跟踪。
可以理解的是,对待跟踪目标的跟踪也可以是在待跟踪目标所经过的所有视频采集装置采集到包含该待跟踪目标的视频数据之后进行的。在这种情况下,可以在包含待跟踪目标的所有视频数据中进行待跟踪目标的检测和跟踪。
根据本发明实施例,利用所获取的实际视频数据和至少部分视频采集装置之间的位置关系对待跟踪目标进行跟踪包括:当根据由至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现待跟踪目标从第一视频采集装置的记录区域运动到第一视频采集装置与至少部分视频采集装置中的第二视频采集装置之间的重合区域时,比较由第二视频采集装置采集的位于重合区域内的所有目标与待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为待跟踪目标并利用由第二视频采集装置采集的实际视频数据跟踪待跟踪目标。
例如,当根据摄像头1的数据发现某个期望跟踪的行人进入摄像头1的记录区域时,可以利用摄像头1采集到的视频数据对该行人进行跟踪。假设摄像头1与摄像头2相邻并且二者之间具有重合区域。随着行人的移动,其可能会进入摄像头1与摄像头2之间的重合区域。在这种情况下,可以认为行人接下来很有可能进入摄像头2的记录区域。因此,可以利用摄像头2继续对行人进行跟踪。
可以理解的是,可能会有多个行人同时出现摄像头1与摄像头2之间的重合区域中。摄像头2将同时采集到包含多个行人的视频数据。需要从这些行人中识别出待跟踪行人。可以从摄像头1采集的视频数据中提取待跟踪行人的人脸特征。将待跟踪行人的人脸特征与摄像头2采集到的位于重合区域内的所有行人的人脸特征进行比较,计算相似度,将相似度满足要求的行人视为待跟踪行人并继续跟踪。在另一示例中,也可以将待跟踪行人的人脸特征与摄像头2采集到的所有行人的人脸特征进行比较,计算相似度,将相似度大于相似度阈值的行人视为待跟踪行人并继续跟踪。
根据本实施例的相似度阈值可以根据需要而定,其可以是任何合适的值,例如90%等,本发明不对此进行限制。
根据本发明实施例,利用所获取的实际视频数据和至少部分视频采集装置之间的位置关系对待跟踪目标进行跟踪包括:当根据由至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现待跟踪目标从第一视频采集装置的记录区域运动到第一视频采集装置与至少部分视频采集装置中的第二视频采集装置之间的消失区域时,比较由第二视频采集装置在特定时段内采集的从消失区域运动到第二视频采集装置的记录区域的所有目标与待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为待跟踪目标并利用由第二视频采集装置采集的实际视频数据跟踪待跟踪目标。
例如,当根据摄像头1的数据发现某个期望跟踪的行人进入摄像头1的记录区域时,可以利用摄像头1采集到的视频数据对该行人进行跟踪。假设摄像头1与摄像头2相邻并且二者之间具有消失区域。随着行人的移动,其可能会进入摄像头1与摄像头2之间的消失区域。在这种情况下,可以认为行人接下来很有可能进入摄像头2的记录区域。
可以理解的是,可能会有多个行人同时从摄像头1与摄像头2之间的消失区域运动到摄像头2的记录区域。摄像头2将同时采集到包含多个行人的视频数据。需要从这些行人中识别出待跟踪行人。可以从摄像头1采集的视频数据中提取待跟踪行人的人脸特征。将待跟踪行人的人脸特征与摄像头2在特定时段内采集到的从摄像头1与摄像头2之间的消失区域运动到摄像头2的记录区域的所有行人的人脸特征进行比较,计算相似度,将相似度大于相似度阈值的行人视为待跟踪行人并继续跟踪。在另一示例中,也可以将待跟踪行人的人脸特征与摄像头2在特定时段内采集到的所有行人的人脸特征进行比较,计算相似度,将相似度满足要求的行人视为待跟踪行人并继续跟踪。
根据本实施例的相似度阈值可以根据需要而定,其可以是任何合适的值,例如90%等,本发明不对此进行限制。
上文所述的特定时段可以是任何合适的值,例如十秒、三十秒、一分钟等。在一个示例中,特定时段可以根据在样本训练过程中获得的消失时间阈值而确定。例如,特定时段可以小于或等于和至少部分视频采集装置中的第一视频采集装置与第二视频采集装置之间的消失区域相关的消失时间阈值。
如上文所述,消失时间阈值可以用来在对目标进行跟踪时衡量待跟踪目标是暂时进入摄像头之间的消失区域还是真正消失。假设消失时间阈值是三十秒。如果在待跟踪行人在进入摄像头1与摄像头2之间的消失区域之后超过三十秒仍未出现在摄像头2的记录区域中,也就是在摄像头2采集的视频数据中找不到相似度满足要求的行人,则可以认为该行人消失,其行踪已丢失。
参考图5,示出根据本发明一个实施例的示例性待跟踪目标的运动轨迹的示意图。与图3类似,图5用记录区域在水平地面上的投影代表记录区域。如图5所示,假设待跟踪目标Z沿着运动轨迹510从左到右运动。从图中可以看出,待跟踪目标Z从摄像头1的记录区域x离开之后,进入了摄像头1的记录区域x与摄像头2的记录区域y之间的消失区域。此时需要判断在特定时段内在摄像头2的记录区域内是否出现待跟踪目标Z。横线520是运动轨迹510在时间轴上的表示。在横线520上,深黑色的圆点代表待跟踪目标出现在摄像头的记录区域中,浅灰色的圆点代表待跟踪目标消失。横线520上标示的阈值是指特定时段。从横线520上可以看出,待跟踪目标在特定时段结束之前出现在摄像头2的记录区域y中,因此可以利用摄像头2继续对待跟踪目标进行跟踪。
根据本发明实施例,视频数据处理方法进一步包括:传送与待跟踪目标相关的跟踪信息用于存储,其中,跟踪信息包括待跟踪目标在由至少部分视频采集装置中的每一个采集的实际视频数据中的图像位置和待跟踪目标的目标信息。
通过每个视频采集装置采集的视频数据,可以获得待跟踪目标的跟踪信息。待跟踪信息可以是指示待跟踪目标的运动轨迹的信息,也就是说,可以包含上文所述的待跟踪目标在每个视频帧中的位置(即图像位置)和目标信息。目标信息可以包括但不限于HOG特征,卷积神经网络特征等。在待跟踪目标是行人的情况下,通常可以用行人的人脸特征作为目标信息。
可以将待跟踪目标的跟踪信息传送到存储装置用于存储。在视频数据处理方法实现在视频采集端的情况下,可以由处理器接收摄像头采集的视频数据,对视频数据进行处理之后获得待跟踪对象的跟踪信息。随后,处理器可以将跟踪信息传送到相连接的存储装置存储起来。此外,处理器也可以将跟踪信息上传到远程服务器存储起来。在视频数据处理方法实现在远程服务器端的情况下,可以由远程服务器接收摄像头采集的视频数据,对视频数据进行处理之后获得待跟踪对象的跟踪信息。随后,远程服务器可以将跟踪信息存储起来。
跟踪信息的存储可以方便以后对待跟踪目标的运动情况进行检索和查看。
可以理解的是,针对样本目标的训练过程和针对待跟踪目标的跟踪过程可以在相同或不同的后端计算设备或远程服务器上实现。当然,采集待跟踪目标的视频的视频采集装置需要包括在样本训练所针对的视频采集装置中。
在一个实施例中,对待跟踪目标的跟踪在远程服务器端完成。当某一行人的轨迹离开某一摄像头的记录区域时,服务器可以根据摄像头之间的位置关系,访问行人接下来可能经过的摄像头的视频数据并进行匹配和继续跟踪。
在一个实施例中,对待跟踪目标的跟踪在具备计算能力的终端设备上完成。例如,每个摄像头可以与各自的终端设备相连。当某一行人的轨迹离开某一摄像头的记录区域时,与该摄像头相连的终端设备可以通过网络(如以太网,无线网等)将该行人的图像位置与人脸特征发送给与相邻摄像头相连的终端设备,由相邻摄像头继续跟踪该行人。与各摄像头相连的终端设备可以将其计算获得的跟踪信息上传至服务器。
根据本发明另一方面,提供一种视频数据处理装置。图6示出了根据本发明一个实施例的视频数据处理装置600的示意性框图。
如图6所示,根据本发明实施例的视频数据处理装置600包括第一获取模块610和训练模块620。
第一获取模块610用于获取分别由多个视频采集装置采集的样本视频数据,其中,由多个视频采集装置之一采集的样本视频数据与由多个视频采集装置中的至少一个其他视频采集装置采集的样本视频数据记录同一样本目标的运动轨迹。第一获取模块610可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
训练模块620用于利用所获取的样本视频数据进行训练以确定多个视频采集装置之间的位置关系。训练模块620可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
根据本发明实施例,训练模块620可以包括:时间确定子模块,用于根据所获取的样本视频数据确定样本目标在多个视频采集装置的记录区域中的出入时间;以及位置确定子模块,用于根据样本目标在多个视频采集装置的记录区域中的出入时间确定多个视频采集装置之间的位置关系。
根据本发明实施例,位置确定子模块包括重合区域确定单元,用于如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第一时段内同时出现在多个视频采集装置中的第一视频采集装置和第二视频采集装置的记录区域中,则根据一个或多个样本目标在各自对应的第一时段内的运动轨迹确定第一视频采集装置和第二视频采集装置之间的重合区域。
根据本发明实施例,位置确定子模块包括消失区域确定单元,用于如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在多个视频采集装置的任何一个的记录区域中,则估计一个或多个样本目标在各自对应的第二时段内的可能运动轨迹并根据一个或多个样本目标在各自对应的第二时段内的可能运动轨迹确定第一视频采集装置与第二视频采集装置之间的消失区域。
根据本发明实施例,视频数据处理装置600进一步包括时间阈值确定模块,用于如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在多个视频采集装置的任何一个的记录区域中,则根据一个或多个样本目标的各自对应的第二时段确定和第一视频采集装置与第二视频采集装置之间的消失区域相关的消失时间阈值。
根据本发明实施例,视频数据处理装置600进一步包括:第二获取模块,用于对于多个视频采集装置中的每一个,获取由该视频采集装置针对其对应的关键点采集的图像,关键点的地理位置是已标注好的;以及计算模块,用于对于多个视频采集装置中的每一个,基于关键点在图像中的像素位置以及关键点的地理位置计算该视频采集装置的图像空间与地理空间之间的映射关系。
根据本发明实施例,所获取的样本视频数据中记录的所有样本目标的运动轨迹在时间轴上没有交集。
根据本发明实施例,视频数据处理装置600进一步包括:第三获取模块,用于获取由多个视频采集装置中的至少部分视频采集装置针对待跟踪目标采集的实际视频数据;以及跟踪模块,用于利用所获取的实际视频数据和至少部分视频采集装置之间的位置关系对待跟踪目标进行跟踪。
根据本发明实施例,跟踪模块包括第一跟踪子模块,用于当根据由至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现待跟踪目标从第一视频采集装置的记录区域运动到第一视频采集装置与至少部分视频采集装置中的第二视频采集装置之间的重合区域时,比较由第二视频采集装置采集的位于重合区域内的所有目标与待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为待跟踪目标并利用由第二视频采集装置采集的实际视频数据跟踪待跟踪目标。
根据本发明实施例,跟踪模块包括第二跟踪子模块,用于当根据由至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现待跟踪目标从第一视频采集装置的记录区域运动到第一视频采集装置与至少部分视频采集装置中的第二视频采集装置之间的消失区域时,比较由第二视频采集装置在特定时段内采集的从消失区域运动到第二视频采集装置的记录区域的所有目标与待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为待跟踪目标并利用由第二视频采集装置采集的实际视频数据跟踪待跟踪目标。
根据本发明实施例,特定时段小于或等于和第一视频采集装置与第二视频采集装置之间的消失区域相关的消失时间阈值。
根据本发明实施例,视频数据处理装置600进一步包括传送模块,用于传送与待跟踪目标相关的跟踪信息用于存储,其中,跟踪信息包括待跟踪目标在由至少部分视频采集装置中的每一个采集的实际视频数据中的图像位置和待跟踪目标的目标信息。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
图7示出了根据本发明一个实施例的视频数据处理系统700的示意性框图。视频数据处理系统700包括视频采集装置710、存储装置720、以及处理器730。
视频采集装置710用于采集需要的视频数据。视频采集装置710是可选的,视频数据处理系统700可以不包括视频采集装置710。
所述存储装置720存储用于实现根据本发明实施例的视频数据处理方法中的相应步骤的程序代码。
所述处理器730用于运行所述存储装置720中存储的程序代码,以执行根据本发明实施例的视频数据处理方法的相应步骤,并且用于实现根据本发明实施例的视频数据处理装置中的第一获取模块610和训练模块620。
在一个实施例中,所述程序代码被所述处理器730运行时使所述视频数据处理系统700执行以下步骤:获取分别由多个视频采集装置采集的样本视频数据,其中,由多个视频采集装置之一采集的样本视频数据与由多个视频采集装置中的至少一个其他视频采集装置采集的样本视频数据记录同一样本目标的运动轨迹;以及利用所获取的样本视频数据进行训练以确定多个视频采集装置之间的位置关系。
在一个实施例中,所述程序代码被所述处理器730运行时使所述视频数据处理系统700所执行的利用所获取的样本视频数据进行训练以确定多个视频采集装置之间的位置关系的步骤包括:根据所获取的样本视频数据确定样本目标在多个视频采集装置的记录区域中的出入时间;以及根据样本目标在多个视频采集装置的记录区域中的出入时间确定多个视频采集装置之间的位置关系。
在一个实施例中,所述程序代码被所述处理器730运行时使所述视频数据处理系统700所执行的根据样本目标在多个视频采集装置的记录区域中的出入时间确定多个视频采集装置之间的位置关系的步骤包括:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第一时段内同时出现在多个视频采集装置中的第一视频采集装置和第二视频采集装置的记录区域中,则根据一个或多个样本目标在各自对应的第一时段内的运动轨迹确定第一视频采集装置和第二视频采集装置之间的重合区域。
在一个实施例中,所述程序代码被所述处理器730运行时使所述视频数据处理系统700所执行的根据样本目标在多个视频采集装置的记录区域中的出入时间确定多个视频采集装置之间的位置关系的步骤包括:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在多个视频采集装置的任何一个的记录区域中,则估计一个或多个样本目标在各自对应的第二时段内的可能运动轨迹并根据一个或多个样本目标在各自对应的第二时段内的可能运动轨迹确定第一视频采集装置与第二视频采集装置之间的消失区域。
在一个实施例中,所述程序代码被所述处理器730运行时还使所述视频数据处理系统700执行:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在多个视频采集装置的任何一个的记录区域中,则根据一个或多个样本目标的各自对应的第二时段确定和第一视频采集装置与第二视频采集装置之间的消失区域相关的消失时间阈值。
在一个实施例中,所述程序代码被所述处理器730运行时还使所述视频数据处理系统700执行:对于多个视频采集装置中的每一个,获取由该视频采集装置针对其对应的关键点采集的图像,关键点的地理位置是已标注好的;以及基于关键点在图像中的像素位置以及关键点的地理位置计算该视频采集装置的图像空间与地理空间之间的映射关系。
在一个实施例中,所获取的样本视频数据中记录的所有样本目标的运动轨迹在时间轴上没有交集。
在一个实施例中,所述程序代码被所述处理器730运行时还使所述视频数据处理系统700执行:获取由多个视频采集装置中的至少部分视频采集装置针对待跟踪目标采集的实际视频数据;以及利用所获取的实际视频数据和至少部分视频采集装置之间的位置关系对待跟踪目标进行跟踪。
在一个实施例中,所述程序代码被所述处理器730运行时使所述视频数据处理系统700所执行的利用所获取的实际视频数据和至少部分视频采集装置之间的位置关系对待跟踪目标进行跟踪的步骤包括:当根据由至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现待跟踪目标从第一视频采集装置的记录区域运动到第一视频采集装置与至少部分视频采集装置中的第二视频采集装置之间的重合区域时,比较由第二视频采集装置采集的位于重合区域内的所有目标与待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为待跟踪目标并利用由第二视频采集装置采集的实际视频数据跟踪待跟踪目标。
在一个实施例中,所述程序代码被所述处理器730运行时使所述视频数据处理系统700所执行的利用所获取的实际视频数据和至少部分视频采集装置之间的位置关系对待跟踪目标进行跟踪的步骤包括:当根据由至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现待跟踪目标从第一视频采集装置的记录区域运动到第一视频采集装置与至少部分视频采集装置中的第二视频采集装置之间的消失区域时,比较由第二视频采集装置在特定时段内采集的从消失区域运动到第二视频采集装置的记录区域的所有目标与待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为待跟踪目标并利用由第二视频采集装置采集的实际视频数据跟踪待跟踪目标。
在一个实施例中,所述特定时段小于或等于和第一视频采集装置与第二视频采集装置之间的消失区域相关的消失时间阈值。
在一个实施例中,所述程序代码被所述处理器730运行时还使所述视频数据处理系统700执行:传送与待跟踪目标相关的跟踪信息用于存储,其中,跟踪信息包括待跟踪目标在由至少部分视频采集装置中的每一个采集的实际视频数据中的图像位置和待跟踪目标的目标信息。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的视频数据处理方法的相应步骤,并且用于实现根据本发明实施例的视频数据处理装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的视频数据处理装置的各个功能模块,并且/或者可以执行根据本发明实施例的视频数据处理方法。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机执行以下步骤:获取分别由多个视频采集装置采集的样本视频数据,其中,由多个视频采集装置之一采集的样本视频数据与由多个视频采集装置中的至少一个其他视频采集装置采集的样本视频数据记录同一样本目标的运动轨迹;以及利用所获取的样本视频数据进行训练以确定多个视频采集装置之间的位置关系。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的利用所获取的样本视频数据进行训练以确定多个视频采集装置之间的位置关系的步骤包括:根据所获取的样本视频数据确定样本目标在多个视频采集装置的记录区域中的出入时间;以及根据样本目标在多个视频采集装置的记录区域中的出入时间确定多个视频采集装置之间的位置关系。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的根据样本目标在多个视频采集装置的记录区域中的出入时间确定多个视频采集装置之间的位置关系的步骤包括:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第一时段内同时出现在多个视频采集装置中的第一视频采集装置和第二视频采集装置的记录区域中,则根据一个或多个样本目标在各自对应的第一时段内的运动轨迹确定第一视频采集装置和第二视频采集装置之间的重合区域。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的根据样本目标在多个视频采集装置的记录区域中的出入时间确定多个视频采集装置之间的位置关系的步骤包括:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在多个视频采集装置的任何一个的记录区域中,则估计一个或多个样本目标在各自对应的第二时段内的可能运动轨迹并根据一个或多个样本目标在各自对应的第二时段内的可能运动轨迹确定第一视频采集装置与第二视频采集装置之间的消失区域。
在一个实施例中,所述计算机程序指令在被计算机运行时还使所述计算机执行:如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在多个视频采集装置的任何一个的记录区域中,则根据一个或多个样本目标的各自对应的第二时段确定和第一视频采集装置与第二视频采集装置之间的消失区域相关的消失时间阈值。
在一个实施例中,所述计算机程序指令在被计算机运行时还使所述计算机执行:对于多个视频采集装置中的每一个,获取由该视频采集装置针对其对应的关键点采集的图像,关键点的地理位置是已标注好的;以及基于关键点在图像中的像素位置以及关键点的地理位置计算该视频采集装置的图像空间与地理空间之间的映射关系。
在一个实施例中,所获取的样本视频数据中记录的所有样本目标的运动轨迹在时间轴上没有交集。
在一个实施例中,所述计算机程序指令在被计算机运行时还使所述计算机执行:获取由多个视频采集装置中的至少部分视频采集装置针对待跟踪目标采集的实际视频数据;以及利用所获取的实际视频数据和至少部分视频采集装置之间的位置关系对待跟踪目标进行跟踪。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的利用所获取的实际视频数据和至少部分视频采集装置之间的位置关系对待跟踪目标进行跟踪的步骤包括:当根据由至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现待跟踪目标从第一视频采集装置的记录区域运动到第一视频采集装置与至少部分视频采集装置中的第二视频采集装置之间的重合区域时,比较由第二视频采集装置采集的位于重合区域内的所有目标与待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为待跟踪目标并利用由第二视频采集装置采集的实际视频数据跟踪待跟踪目标。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的利用所获取的实际视频数据和至少部分视频采集装置之间的位置关系对待跟踪目标进行跟踪的步骤包括:当根据由至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现待跟踪目标从第一视频采集装置的记录区域运动到第一视频采集装置与至少部分视频采集装置中的第二视频采集装置之间的消失区域时,比较由第二视频采集装置在特定时段内采集的从消失区域运动到第二视频采集装置的记录区域的所有目标与待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为待跟踪目标并利用由第二视频采集装置采集的实际视频数据跟踪待跟踪目标。
在一个实施例中,所述特定时段小于或等于和第一视频采集装置与第二视频采集装置之间的消失区域相关的消失时间阈值。
在一个实施例中,所述计算机程序指令在被计算机运行时还使所述计算机执行:传送与待跟踪目标相关的跟踪信息用于存储,其中,跟踪信息包括待跟踪目标在由至少部分视频采集装置中的每一个采集的实际视频数据中的图像位置和待跟踪目标的目标信息。
根据本发明实施例的视频数据处理系统中的各模块可以通过根据本发明实施例的实施视频数据处理的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的视频数据处理方法及装置、视频数据处理系统以及存储介质,可以利用样本训练的方法确定多个视频采集装置之间的位置关系,这种方法实现简单,对于视频采集装置的部署以及背景场景等先验信息不作太多要求,因此可以减少目标跟踪系统的部署开销。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种视频数据处理方法,包括:
获取分别由多个视频采集装置采集的样本视频数据,其中,由所述多个视频采集装置之一采集的样本视频数据与由所述多个视频采集装置中的至少一个其他视频采集装置采集的样本视频数据记录同一样本目标的运动轨迹;以及
利用所获取的样本视频数据进行训练以确定所述多个视频采集装置之间的位置关系,
其中,所述利用所获取的样本视频数据进行训练以确定所述多个视频采集装置之间的位置关系包括:
根据所述所获取的样本视频数据确定样本目标在所述多个视频采集装置的记录区域中的出入时间;以及
根据样本目标在所述多个视频采集装置的记录区域中的出入时间确定所述多个视频采集装置之间的位置关系;
其中,所述根据样本目标在所述多个视频采集装置的记录区域中的出入时间确定所述多个视频采集装置之间的位置关系包括:
如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第一时段内同时出现在所述多个视频采集装置中的第一视频采集装置和第二视频采集装置的记录区域中,则根据所述一个或多个样本目标在各自对应的第一时段内的运动轨迹确定所述第一视频采集装置和所述第二视频采集装置之间的重合区域。
2.如权利要求1所述的视频数据处理方法,其中,所述根据样本目标在所述多个视频采集装置的记录区域中的出入时间确定所述多个视频采集装置之间的位置关系包括:
如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开所述多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入所述多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在所述多个视频采集装置的任何一个的记录区域中,则估计所述一个或多个样本目标在各自对应的第二时段内的可能运动轨迹并根据所述一个或多个样本目标在各自对应的第二时段内的可能运动轨迹确定所述第一视频采集装置与所述第二视频采集装置之间的消失区域。
3.如权利要求2所述的视频数据处理方法,其中,所述视频数据处理方法进一步包括:
如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开所述多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入所述多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在所述多个视频采集装置的任何一个的记录区域中,则根据所述一个或多个样本目标的各自对应的第二时段确定和所述第一视频采集装置与所述第二视频采集装置之间的消失区域相关的消失时间阈值。
4.如权利要求1所述的视频数据处理方法,其中,所述视频数据处理方法进一步包括:
对于所述多个视频采集装置中的每一个,
获取由该视频采集装置针对其对应的关键点采集的图像,所述关键点的地理位置是已标注好的;以及
基于所述关键点在所述图像中的像素位置以及所述关键点的地理位置计算该视频采集装置的图像空间与地理空间之间的映射关系。
5.如权利要求1所述的视频数据处理方法,其中,所述所获取的样本视频数据中记录的所有样本目标的运动轨迹在时间轴上没有交集。
6.如权利要求1至5任一项所述的视频数据处理方法,其中,所述视频数据处理方法进一步包括:
获取由所述多个视频采集装置中的至少部分视频采集装置针对待跟踪目标采集的实际视频数据;以及
利用所获取的实际视频数据和所述至少部分视频采集装置之间的位置关系对所述待跟踪目标进行跟踪。
7.如权利要求6所述的视频数据处理方法,其中,所述利用所获取的实际视频数据和所述至少部分视频采集装置之间的位置关系对所述待跟踪目标进行跟踪包括:
当根据由所述至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现所述待跟踪目标从所述第一视频采集装置的记录区域运动到所述第一视频采集装置与所述至少部分视频采集装置中的第二视频采集装置之间的重合区域时,比较由所述第二视频采集装置采集的位于所述重合区域内的所有目标与所述待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为所述待跟踪目标并利用由所述第二视频采集装置采集的实际视频数据跟踪所述待跟踪目标。
8.如权利要求6所述的视频数据处理方法,其中,所述利用所获取的实际视频数据和所述至少部分视频采集装置之间的位置关系对所述待跟踪目标进行跟踪包括:
当根据由所述至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现所述待跟踪目标从所述第一视频采集装置的记录区域运动到所述第一视频采集装置与所述至少部分视频采集装置中的第二视频采集装置之间的消失区域时,比较由所述第二视频采集装置在特定时段内采集的从所述消失区域运动到所述第二视频采集装置的记录区域的所有目标与所述待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为所述待跟踪目标并利用由所述第二视频采集装置采集的实际视频数据跟踪所述待跟踪目标。
9.如权利要求8所述的视频数据处理方法,其中,所述特定时段小于或等于和所述第一视频采集装置与所述第二视频采集装置之间的消失区域相关的消失时间阈值。
10.如权利要求6所述的视频数据处理方法,其中,所述视频数据处理方法进一步包括:
传送与所述待跟踪目标相关的跟踪信息用于存储,其中,所述跟踪信息包括所述待跟踪目标在由所述至少部分视频采集装置中的每一个采集的实际视频数据中的图像位置和所述待跟踪目标的目标信息。
11.一种视频数据处理装置,包括:
第一获取模块,用于获取分别由多个视频采集装置采集的样本视频数据,其中,由所述多个视频采集装置之一采集的样本视频数据与由所述多个视频采集装置中的至少一个其他视频采集装置采集的样本视频数据记录同一样本目标的运动轨迹;以及
训练模块,用于利用所获取的样本视频数据进行训练以确定所述多个视频采集装置之间的位置关系;
其中,所述训练模块包括:
时间确定子模块,用于根据所述所获取的样本视频数据确定样本目标在所述多个视频采集装置的记录区域中的出入时间;以及
位置确定子模块,用于根据样本目标在所述多个视频采集装置的记录区域中的出入时间确定所述多个视频采集装置之间的位置关系;
其中,所述位置确定子模块包括:
重合区域确定单元,用于如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第一时段内同时出现在所述多个视频采集装置中的第一视频采集装置和第二视频采集装置的记录区域中,则根据所述一个或多个样本目标在各自对应的第一时段内的运动轨迹确定所述第一视频采集装置和所述第二视频采集装置之间的重合区域。
12.如权利要求11所述的视频数据处理装置,其中,所述位置确定子模块包括:
消失区域确定单元,用于如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开所述多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入所述多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在所述多个视频采集装置的任何一个的记录区域中,则估计所述一个或多个样本目标在各自对应的第二时段内的可能运动轨迹并根据所述一个或多个样本目标在各自对应的第二时段内的可能运动轨迹确定所述第一视频采集装置与所述第二视频采集装置之间的消失区域。
13.如权利要求12所述的视频数据处理装置,其中,所述视频数据处理装置进一步包括:
时间阈值确定模块,用于如果对于一个或多个样本目标中的每一个,该样本目标在其对应的第二时段的开始时刻离开所述多个视频采集装置中的第一视频采集装置的记录区域并在其对应的第二时段的结束时刻进入所述多个视频采集装置中的第二视频采集装置的记录区域,并且该样本目标在其对应的第二时段内未出现在所述多个视频采集装置的任何一个的记录区域中,则根据所述一个或多个样本目标的各自对应的第二时段确定和所述第一视频采集装置与所述第二视频采集装置之间的消失区域相关的消失时间阈值。
14.如权利要求11所述的视频数据处理装置,其中,所述视频数据处理装置进一步包括:
第二获取模块,用于对于所述多个视频采集装置中的每一个,获取由该视频采集装置针对其对应的关键点采集的图像,所述关键点的地理位置是已标注好的;以及
计算模块,用于对于所述多个视频采集装置中的每一个,基于所述关键点在所述图像中的像素位置以及所述关键点的地理位置计算该视频采集装置的图像空间与地理空间之间的映射关系。
15.如权利要求11所述的视频数据处理装置,其中,所述所获取的样本视频数据中记录的所有样本目标的运动轨迹在时间轴上没有交集。
16.如权利要求11至15任一项所述的视频数据处理装置,其中,所述视频数据处理装置进一步包括:
第三获取模块,用于获取由所述多个视频采集装置中的至少部分视频采集装置针对待跟踪目标采集的实际视频数据;以及
跟踪模块,用于利用所获取的实际视频数据和所述至少部分视频采集装置之间的位置关系对所述待跟踪目标进行跟踪。
17.如权利要求16所述的视频数据处理装置,其中,所述跟踪模块包括:
第一跟踪子模块,用于当根据由所述至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现所述待跟踪目标从所述第一视频采集装置的记录区域运动到所述第一视频采集装置与所述至少部分视频采集装置中的第二视频采集装置之间的重合区域时,比较由所述第二视频采集装置采集的位于所述重合区域内的所有目标与所述待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为所述待跟踪目标并利用由所述第二视频采集装置采集的实际视频数据跟踪所述待跟踪目标。
18.如权利要求16所述的视频数据处理装置,其中,所述跟踪模块包括:
第二跟踪子模块,用于当根据由所述至少部分视频采集装置中的第一视频采集装置采集的实际视频数据发现所述待跟踪目标从所述第一视频采集装置的记录区域运动到所述第一视频采集装置与所述至少部分视频采集装置中的第二视频采集装置之间的消失区域时,比较由所述第二视频采集装置在特定时段内采集的从所述消失区域运动到所述第二视频采集装置的记录区域的所有目标与所述待跟踪目标之间的相似度,确定相似度大于相似度阈值的目标为所述待跟踪目标并利用由所述第二视频采集装置采集的实际视频数据跟踪所述待跟踪目标。
19.如权利要求18所述的视频数据处理装置,其中,所述特定时段小于或等于和所述第一视频采集装置与所述第二视频采集装置之间的消失区域相关的消失时间阈值。
20.如权利要求16所述的视频数据处理装置,其中,所述视频数据处理装置进一步包括:
传送模块,用于传送与所述待跟踪目标相关的跟踪信息用于存储,其中,所述跟踪信息包括所述待跟踪目标在由所述至少部分视频采集装置中的每一个采集的实际视频数据中的图像位置和所述待跟踪目标的目标信息。
CN201610079944.1A 2016-02-04 2016-02-04 视频数据处理方法和装置 Active CN105744223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610079944.1A CN105744223B (zh) 2016-02-04 2016-02-04 视频数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610079944.1A CN105744223B (zh) 2016-02-04 2016-02-04 视频数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN105744223A CN105744223A (zh) 2016-07-06
CN105744223B true CN105744223B (zh) 2019-01-29

Family

ID=56241890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610079944.1A Active CN105744223B (zh) 2016-02-04 2016-02-04 视频数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN105744223B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862240B (zh) * 2017-09-19 2021-10-08 中科(深圳)科技服务有限公司 一种多摄像头协同的人脸追踪方法
CN108366343B (zh) * 2018-03-20 2019-08-09 珠海市一微半导体有限公司 机器人智能监视宠物的方法
CN108337485A (zh) * 2018-03-27 2018-07-27 中冶华天工程技术有限公司 基于视频移动轨迹的访客管理方法
CN108932496B (zh) * 2018-07-03 2022-03-25 北京佳格天地科技有限公司 区域内目标物的数量统计方法及装置
CN110232712A (zh) * 2019-06-11 2019-09-13 武汉数文科技有限公司 室内人员定位跟踪方法和计算机设备
CN110443134B (zh) * 2019-07-03 2022-06-07 安徽四创电子股份有限公司 一种基于视频流的人脸识别跟踪的系统及工作方法
CN112102372A (zh) * 2020-09-16 2020-12-18 上海麦图信息科技有限公司 一种针对机场地面对象的跨摄像头轨迹跟踪系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777783B1 (en) * 2007-03-23 2010-08-17 Proximex Corporation Multi-video navigation
CN104063867A (zh) * 2014-06-27 2014-09-24 浙江宇视科技有限公司 一种多摄像机视频同步方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965898B2 (en) * 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
JP4881766B2 (ja) * 2007-03-06 2012-02-22 パナソニック株式会社 カメラ間連結関係情報生成装置
CN101616309B (zh) * 2009-07-16 2010-12-29 上海交通大学 无重叠视域多摄像机人体目标跟踪方法
CN102523370B (zh) * 2011-11-22 2014-08-27 上海交通大学 基于网络传输算法的多摄像头视频异常行为检测方法
CN102436662B (zh) * 2011-11-29 2013-07-03 南京信息工程大学 一种非重叠视域多摄像机网络中的人体目标跟踪方法
CN102821246B (zh) * 2012-08-29 2015-04-15 上海天跃科技股份有限公司 一种摄像头联动控制方法及监控系统
CN103824278B (zh) * 2013-12-10 2016-09-21 清华大学 监控摄像机的标定方法和系统
CN104038729A (zh) * 2014-05-05 2014-09-10 重庆大学 级联式多摄像机接力跟踪方法及系统
CN103997624B (zh) * 2014-05-21 2017-04-05 江苏大学 重叠域双摄像头目标跟踪系统及方法
CN104010168B (zh) * 2014-06-13 2017-06-13 东南大学 一种无重叠视域多摄像机监控网络拓扑自适应学习方法
CN104618688B (zh) * 2015-01-19 2017-09-29 荣科科技股份有限公司 一种可视化监控防护方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777783B1 (en) * 2007-03-23 2010-08-17 Proximex Corporation Multi-video navigation
CN104063867A (zh) * 2014-06-27 2014-09-24 浙江宇视科技有限公司 一种多摄像机视频同步方法和装置

Also Published As

Publication number Publication date
CN105744223A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105744223B (zh) 视频数据处理方法和装置
US10824918B2 (en) System and method for predictive sports analytics using body-pose information
US8300935B2 (en) Method and system for the detection and the classification of events during motion actions
CN110427905A (zh) 行人跟踪方法、装置以及终端
CN104103030B (zh) 图像分析方法、照相机装置、控制装置及控制方法
CN109903312A (zh) 一种基于视频多目标跟踪的足球球员跑动距离统计方法
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN108629791A (zh) 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
CN106203305A (zh) 人脸活体检测方法和装置
WO2018226692A1 (en) Techniques for object tracking
CN110443210A (zh) 一种行人跟踪方法、装置以及终端
US20140212004A1 (en) System and method for photographing moving subject by means of camera, and acquiring actual movement trajectory of subject based on photographed image
CN109002761A (zh) 一种基于深度卷积神经网络的行人重识别监控系统
CN108256404A (zh) 行人检测方法和装置
EP3665653A1 (en) Techniques for rendering three-dimensional animated graphics from video
CN108875517A (zh) 视频处理方法、装置和系统及存储介质
CN111160243A (zh) 客流量统计方法及相关产品
US20180005385A1 (en) Method, system and non-transitory computer-readable recording medium for measureing ball spin
CN111091025B (zh) 图像处理方法、装置和设备
CN107452015A (zh) 一种具有重检测机制的目标跟踪系统
CN105608209B (zh) 一种视频标注方法和视频标注装置
CN103514429B (zh) 检测对象的特定部位的方法及图像处理设备
CN109410245A (zh) 一种视频目标跟踪方法及设备
CN108921876A (zh) 视频处理方法、装置和系统及存储介质
US9990857B2 (en) Method and system for visual pedometry

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

GR01 Patent grant
GR01 Patent grant