CN117528035B - 一种基于主动通知的物体跨境头追踪方法及系统 - Google Patents
一种基于主动通知的物体跨境头追踪方法及系统 Download PDFInfo
- Publication number
- CN117528035B CN117528035B CN202410017871.8A CN202410017871A CN117528035B CN 117528035 B CN117528035 B CN 117528035B CN 202410017871 A CN202410017871 A CN 202410017871A CN 117528035 B CN117528035 B CN 117528035B
- Authority
- CN
- China
- Prior art keywords
- notification message
- notification
- matching
- tracking
- successful
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/222—Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及图像数据处理技术领域,尤其涉及一种基于主动通知的物体跨境头追踪方法及系统,该方法包括步骤:S10,提取该物体的外观特征,并记录当前时间和位置;S20,检查通知消息队列中是否有来自其他摄像头的通知消息,如果有则根据时间、位置和外观特征进行匹配,如果匹配成功,则将通知消息中的追踪ID赋予给物体;若通知消息队列中没有通知消息或者匹配不成功,则赋予该物体一个新的追踪ID;S30,获取该物体的离开时间,且由所述离开时间、追踪ID、位置和外观特征构造一条通知消息,并向预先设置的候选摄像头发送该通知消息。本发明系统包括特征提取模块、匹配赋值模块和主动通知模块。本发明可以实现物体跨境头有效追踪。
Description
技术领域
本发明涉及图像数据处理技术领域,特别涉及一种基于主动通知的物体跨境头追踪方法及系统。
背景技术
视频监控系统已经广泛应用于各个领域,如交通、公共安全、安防监控等。视频监控系统的主要功能之一是对监控场景中的物体进行检测和追踪,以获取物体的运动轨迹、行为模式等信息。然而,由于单个摄像头的视野范围有限,无法覆盖整个监控区域,因此需要多个摄像头协同工作,形成一个分布式的视频监控网络。在这种情况下,如何实现跨镜头追踪,即在不同摄像头之间正确地关联同一个物体,是一个重要且具有挑战性的问题。
目前,已有一些物体跨镜头追踪的方法被提出,主要可以分为两类:基于外观特征的方法和基于非外观特征的方法。基于外观特征的方法是指利用物体的颜色、纹理、形状等视觉信息来进行匹配和识别,例如ReID模型、深度学习模型等。基于非外观特征的方法是指利用物体的运动轨迹、位置关系、时间窗口等信息来进行匹配和识别,例如卡尔曼滤波、匈牙利匹配等。
然而,现有的物体跨镜头追踪方法仍然存在一些问题和不足。例如,基于外观特征的方法容易受到光照、遮挡、姿态变化等因素的影响,导致识别准确率降低,且对于例如车辆这样的物体,无法区分同一型号和颜色的车辆,导致追踪混乱;基于非外观特征的方法需要预先知道物体的运动模型来推算物体到下一个镜头的出现位置,这在实际应用中难以获取或者不稳定;此外,现有的方法大多是物体进入摄像头后被动地去全局所有对象或者有关联的摄像头中进行匹配和识别,尤其是考虑外观特征时,这样会导致较大的误差。
发明内容
本发明的目的在于提供一种基于主动通知的物体跨境头追踪方法及系统,通过主动通知方式解决追踪不稳定及误差大的问题。
为了实现上述发明目的,本发明提供了以下技术方案:
一种基于主动通知的物体跨境头追踪方法,包括以下步骤:
S10,检测是否有物体进入当前摄像头的监控区域,若有则提取该物体的外观特征,并记录当前时间和位置,以及将外观特征、当前时间和位置存储在当前摄像头的数据库中;
S20,检查通知消息队列中是否有来自其他摄像头的通知消息,如果有则根据时间、位置和外观特征进行匹配,如果匹配成功,则将通知消息中的追踪ID赋予给物体;若通知消息队列中没有通知消息或者匹配不成功,则赋予该物体一个新的追踪ID;
S30,当该物体离开当前摄像头时,获取该物体的离开时间,且由所述离开时间、追踪ID、位置和外观特征构造一条通知消息,并向预先设置的候选摄像头发送该通知消息。
上述方案中,当物体离开当前摄像头时会向候选摄像头发送该通知消息,候选摄像头主要包括与其邻近的摄像头,即物体随后可能会进入到其监控画面的摄像头,通过主动向候选摄像头发送通知消息的方式,可以保障物体进入任一候选摄像头的监控画面时都能被准确追踪,即有效地实现物体跨境头追踪。而且,上述方案中不仅仅是依靠外观特征进行匹配,同时还融入了时间和空间信息,继而可以提高同一物体识别的准确性,即降低识别误差。
所述S10中,提取该物体的外观特征的同时,识别物体的身份标识,并存储于数据库中;所述S30中,构造的通知消息中还包括所述身份标识;所述S20中,如果根据时间、位置和外观特征匹配不成功,则将通知消息中的身份标识与识别出的身份标识进行匹配,若两者一致则最终判定为匹配成功,且将身份标识匹配成功的通知消息中的追踪ID赋予给物体,否则判定为匹配不成功。
上述方案中增加了身份标识识别,例如物体是车辆,则增加车牌号识别,当通过外观特征、时空特征匹配不成功时,利用车牌号识别,作为物体识别手段的一种补充,可以进一步增强识别的可靠性,避免物体丢失。
所述S10中,提取该物体的外观特征的同时,识别物体的身份标识,并存储于数据库中;所述S30中,构造的通知消息中还包括所述身份标识;所述S20中,还包括将通知消息中的身份标识与识别出的身份标识进行匹配,若两者一致,则不管根据时间、位置和外观特征是否匹配成功,最终都判定为匹配成功,且将身份标识匹配成功的通知消息中的追踪ID赋予给物体;若身份标识匹配不成功,则以根据时间、位置和外观特征匹配的结果对物体赋予追踪ID。
上述方案中也增加了身份标识识别,此方案中则是将身份识别作为物体外观特征识别手段的一种修正,就是外观及时空信息可能会受到例如环境及光照度等影响,继而导致识别结果的准确度降低,例如车牌识别的可靠性相对更高,此时再通过身份识别对外观特征识别结果进行修正,可以进一步增强识别的准确性,避免物体识别错误。
当匹配成功时,从通知消息队列中删除匹配成功的通知消息。
匹配成功就说明物体已经被成功追踪,因此将对应的通知消息从通知消息队列中删除,一方面可以避免对后续物体追踪的影响,另一方面还可以减少进行匹配的消息数量,继而提高物体追踪效率,还可以节省存储空间。
还包括步骤:判断通知消息队列中的各条通知消息是否达到设定的有效期限阈值,如果是,则从通知消息队列中删除该通知消息。
一般而言,候选摄像头是与当前摄像头邻近的,物体如果要进入候选摄像头的时间是很短的,如果很长一段时间物体都没有进入某一候选摄像头的监控画面,则说明可能该物体已经进入到其他候选摄像头的画面,因此本候选摄像头无需再进行追踪,此时将通知消息从消息队列中删除,可以释放存储空间,同样也可以避免被无效地重复匹配,提升追踪效率。
所述S20中还包括:在匹配成功后,向同时接收到该匹配成功的通知消息的其他摄像头发送撤销通知,以便于其他摄像头在接收到该撤销通知后,将该通知消息从通知消息队列中删除。
上述方案中,在匹配成功后直接通知其他接收到相同消息的其他候选摄像头删除该通知消息,这样不仅可以释放存储空间、避免无效匹配,而且还可以避免通知消息被误删,进一步提高追踪的可靠性。
一种基于主动通知的物体跨境头追踪系统,包括:
特征提取模块,用于检测是否有物体进入当前摄像头的监控区域,若有则提取该物体的外观特征,并记录当前时间和位置,以及将外观特征、当前时间和位置存储在当前摄像头的数据库中;
匹配赋值模块,用于检查通知消息队列中是否有来自其他摄像头的通知消息,如果有则根据时间、位置和外观特征进行匹配,如果匹配成功,则将通知消息中的追踪ID赋予给物体;若通知消息队列中没有通知消息或者匹配不成功,则赋予该物体一个新的追踪ID;
主动通知模块,用于当该物体离开当前摄像头时,获取该物体的离开时间,且由所述离开时间、追踪ID、位置和外观特征构造一条通知消息,并向预先设置的候选摄像头发送该通知消息。
所述特征提取模块中,提取该物体的外观特征的同时,识别物体的身份标识,并存储于数据库中;所述主动通知模块中,构造的通知消息中还包括所述身份标识;所述匹配赋值模块中,还将通知消息中的身份标识与识别出的身份标识进行匹配,若两者一致,则不管根据时间、位置和外观特征是否匹配成功,最终都判定为匹配成功,且将身份标识匹配成功的通知消息中的追踪ID赋予给物体;若身份标识匹配不成功,则以根据时间、位置和外观特征匹配的结果对物体赋予追踪ID。
当匹配成功时,从通知消息队列中删除匹配成功的通知消息。
所述匹配赋值模块还用于在匹配成功后,向同时接收到该匹配成功的通知消息的其他摄像头发送撤销通知,以便于其他摄像头在接收到该撤销通知后,将该通知消息从通知消息队列中删除。
与现有技术相比,本发明通过主动向候选摄像头发送通知消息的方式,可以保障物体进入任一候选摄像头的监控画面时都能被准确追踪,即有效地实现物体跨境头追踪,避免丢失,提高物体追踪的稳定性。在物体匹配时,除了外观特征,同时还融入了时间和空间信息,多种特征综合识别,继而可以提高同一物体识别的准确性,即降低识别误差。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍, 应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为实施例中基于主动通知的物体跨境头追踪方法的流程图。
图2为实施例中举例的物体跨境头追踪应用场景图。
图3为实施例中基于主动通知的物体跨境头追踪系统的模块结构图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本实施例中提供了一种基于主动通知的物体跨境头追踪方法,包括以下步骤:
S10,检测是否有物体进入当前摄像头的监控区域,当检测到有物体进入时,提取该物体的外观特征,并记录当前时间和位置,位置可以用经纬度坐标表示,以及将外观特征、当前时间和位置存储在当前摄像头的数据库中。
具体实现时,可以在每个摄像头的画面中绘制一个或多个多边形区域,当物体进入某多边形区域时就表示物体要进入该摄像头或者要离开该摄像头而进入其他摄像头。
S20,检查其通知消息队列中是否有来自其他摄像头的通知消息,如果有则根据时间、位置和外观特征等信息进行匹配,如果匹配成功,则将通知消息中的追踪ID赋值给该物体,从而实现物体跨境头追踪;如果匹配不成功,或者通知消息队列中没有来自其他摄像头的通知消息,说明该物体是首次进入摄像头的监控区域,则将赋予该物体一个新的追踪ID。
匹配算法可以采用二分图匹配算法,包括但不限于匈牙利匹配算法、KM算法等。具体的,本实施例中匹配过程的逻辑判断如下:
第1,对外观特征进行向量距离计算,例如欧式距离、余弦距离等,如果距离小于设定的第一距离阈值,则无需匹配时间和位置,直接判断为匹配成功。如果外观特征向量距离大于第二距离阈值,也无需匹配时间和位置,直接判定为匹配不成功。
此外,如果提取的外观特征向量与消息队列中多个物体的外观特征向量的距离均小于第一距离阈值,则与距离最小的物体匹配成功。
第2,如果外观特征向量距离大于第一距离阈值但小于第二距离阈值,则进一步判断时间和位置是否相近,如果时间和位置均相近,则匹配成功,且与时间和位置最相近的物体匹配成功;如果时间或位置不相近,则匹配不成功。时间相近是指物体进入当前摄像头时采集的时间与通知消息中的时间之差在设定的时间阈值范围内,位置相近是指物体进入当前摄像头时采集的位置与通知消息中的位置之差在设定的位置阈值范围内。
匹配成功就说明物体已经被成功追踪,因此当前摄像头无需再继续追踪,为了避免对应的通知消息对后续物体追踪造成干扰,同时减少进行匹配次数继而提高物体追踪效率,作为更加优选的实施方式,当匹配成功时,从通知消息队列中删除匹配成功的通知消息。删除已经匹配成功的通知消息后,还可以释放存储空间。
S30,当该物体离开(可以包括已经离开或即将离开)当前摄像头时,获取该物体的离开时间,且由所述离开时间、追踪ID、位置和外观特征构造一条通知消息,并向预先设置的候选摄像头发送该通知消息。候选摄像头接收到通知消息后,将其存储于通知消息队列中。
候选摄像头是指物体离开当前摄像头后可能进入的摄像头。例如在某个三岔路口,某物体从A摄像头的监控区域离开后可能会进入B摄像头和C摄像头的监控区域,那么B摄像头和C摄像头就是A摄像头的候选摄像头。容易理解的,当前摄像头与候选摄像头在地理位置上必然是相邻的,因此根据摄像头的分布位置可以预先确定相互间的候选关系,即针对于当前摄像头而言,其候选摄像头是可以预先确定并设置的。
上述方法中,同时利用了物体的外观特征和非外观特征,非外观特征即是指时间和位置信息,共同确定不同摄像头中的物体是否为同一物体,由此可以提高物体追踪的准确性,而且,通过主动通知的方式可以有效减少跨境头追踪的延迟和误差,提高跨境头追踪的实时性。
在与消息队列中的物体进行匹配时,可以与消息队列中所有的物体进行匹配,但是如果消息队列中的物体数量较多时,匹配过程会消耗较多的时间。因此,为了提高匹配效率,在进一步优化的方案中,可以对消息队列中的物体进行分类,同一类别的物体的通知消息集中在一个队列中,不同类别的物体的通知消息在不同的队列中,在进行外观特征匹配时,先确定物体的类别,然后将外观特征与对应类别的消息队列中的物体进行匹配,如果匹配成功,则无需再与其他类别的物体进行匹配,如果匹配不成功,再与其他类别的消息队列中的物体进行匹配。如此操作可以大大降低需要匹配比对的数量,继而提高效率。
对于物体的分类可以是灵活的,作为举例,例如针对车辆,可以分类为自行车、小轿车、大卡车等等。分类方式也可以在实际应用中进行动态调节。
当前摄像头的候选摄像头可能有多个,因此物体可能只会进入到其中一个候选摄像头的监控区域内,而其他候选摄像头就不会再检测到该物体,此时对于其他候选摄像头而言,当前摄像头已经匹配成功的通知消息则是无用的。因此,为了避免通知消息队列中过多的无用消息占用空间,也为了提高搜索效率,优选给接收到的每一条通知消息设定一个有效期限,如果在有效期限内没有与该通知消息匹配成功的物体,则删除该通知消息。
作为另一种可实施方式,当前摄像头在匹配成功后,则向同时接收到同一条通知消息(即匹配成功的通知消息)的其他摄像头发送撤销通知,其他摄像头在接收到撤销通知后即可将该通知消息从通知消息队列中删除,从而避免重复匹配和冲突。例如A摄像头同时向B和C摄像头发送了一条通知消息,当该物体进入B摄像头时,B摄像头会与该条通知消息匹配成功,此时B摄像头则可以向C摄像头发送撤销该条通知消息的通知,因为物体已经进入B摄像头而不可能再进入C摄像头,因此C摄像头撤销该条通知消息也不会影响该物体的有效追踪。
针对于可识别身份标识的物体,在其他实施方式中,步骤S10中,在检测到物体进入到摄像头监控区域时,还可以同时提取物体的身份标识,步骤S20中匹配时同时将身份标识作为一个匹配项目,在步骤S30中构造通知消息时,将身份标识作为通知消息的一个信息项。
例如,针对于车辆,在提取车辆的外观特征的同时,提取该车辆的车牌号,将车牌号作为身份标识。
在不同的实施方式下,身份标识有不同的作用。此处,作为举例,一种是将身份标识作为补充,在外观特征匹配失败时利用身份标识进行匹配,另一种是将身份标识作为修正手段,对外观特征匹配的结果进行修正。
第一种实施方式下,所述S20中,如果根据时间、位置和外观特征匹配不成功,则将通知消息中的身份标识与识别出的身份标识进行匹配,若两者一致则最终判定为匹配成功,且将身份标识匹配成功的通知消息中的追踪ID赋予给物体,否则判定为匹配不成功。也就是说,此种方式下,可以在外观特征匹配不成功时才会启动身份标识匹配,如果外观特征匹配成功则可以不启动身份标识匹配。
第二种实施方式下,所述S20中,还包括将通知消息中的身份标识与识别出的身份标识进行匹配,若两者一致,则不管根据时间、位置和外观特征是否匹配成功,最终都判定为匹配成功,且将身份标识匹配成功的通知消息中的追踪ID赋予给物体;若身份标识匹配不成功,则以根据时间、位置和外观特征匹配的结果对物体赋予追踪ID。也就是说,此种方式下,优先考虑身份标识匹配的结果。例如,车牌号匹配成功,车牌号对应的追踪ID为123,而根据外观特征匹配成功对应的追踪ID为124,或者外观特征匹配不成功,那么此时都会将123赋予给车辆。如果车牌号匹配不成功,而根据外观特征匹配成功对应的追踪ID为124,则将124赋予给车辆。如果车牌号匹配不成功,根据外观特征和时空匹配也不成功,那么则最终判定为匹配不成功,赋予车辆新的追踪ID,例如125。
为了更清楚的理解本发明,以物体为车辆为例,对上述方法进行更详细的阐述。
如图2所示,为一个十字路口的应用场景图,该路口布置了四个摄像头,分别为A、B、C、D,每个摄像头的监控区域用一个矩形框表示,A与B邻近,B摄像头为A摄像头的候选摄像头,C和D均与B邻近,因此C和D均为B摄像头的候选摄像头,B和D均与C邻近,因此B和D均为C摄像头的候选摄像头。假设有一个红色汽车在当前道路准备右转,从 A 摄像头进入 B 摄像头,再从 B 摄像头进入 C 摄像头,图2中的弧线表示该车辆的行驶轨迹。同时摄像头具备身份识别模块,即车牌号识别模块,在红色汽车进入摄像头A时可以获取车牌信息。各个摄像头预先已经置入实现上述方法的程序模块,基于上述方法实现车辆追踪的过程如下:
1)当红色汽车进入A摄像头的视野时,A摄像头检测到该物体,身份识别模块识别出车牌号为川A12345(仅为举例,非真实牌照),储在A摄像头的数据库中。
2)A摄像头对红色汽车提取外观特征,并记录当前时间和经纬度坐标位置,并将车牌号、外观特征、当前时间和经纬度坐标位置存储在A摄像头的数据库中。
3)由于红色车辆是首次出现在A摄像头的视野,且A摄像头没有接收到其他摄像头发送的通知消息,因此A摄像头赋予该红色车辆一个新的追踪ID,例如123。
4)当红色汽车即将离开A摄像头时,A摄像头获取该车辆离开的时间和位置、外观特征、车牌号信息,构造一条通知消息,并向候选摄像头B发送该通知消息。B摄像头接收到该通知消息后,将该通知消息加入到B摄像头的通知消息队列中。
5)当红色汽车进入B摄像头的视野时,B摄像头检测到该车辆,身份识别模块识别出车牌号为川A12345,同时对红色汽车提取外观特征,并记录当前时间和经纬度坐标位置,并将车牌号、外观特征、当前时间和经纬度坐标位置存储在B摄像头的数据库中。
6)B 摄像头检查其通知消息队列中是否有通知消息,由于A摄像头发送了有关该车辆的通知消息,因此检查到通知消息队列中有通知消息,于是根据时间、位置、外观特征等信息进行匹配,且匹配成功,于是将通知消息中的追踪ID123赋值给该车辆,同时也将车牌号赋值给该车辆,从而实现车辆跨镜头追踪,并从通知消息队列中删除该通知消息。
7)当红色汽车即将离开B摄像头时,B摄像头获取该车辆离开的时间和位置、外观特征等信息,构造一条通知消息,并向候选摄像头C和D发送该通知消息,C和D摄像头将该通知消息加入到各自的通知消息队列中。
8)当红色汽车进入C摄像头时,C摄像头检测到该车辆,身份识别模块识别出车牌号为川A12345。
9)C摄像头对红色汽车提取外观特征,并记录当前时间和经纬度坐标位置,并将外观特征、当前时间和经纬度坐标位置存储在C摄像头的数据库中。
10)C摄像头检查其通知消息队列中是否有通知消息,检查到有来自于B摄像头的通知消息,则根据时间、位置、外观特征等信息进行匹配,且匹配成功,则将通知消息中的追踪ID123 赋值给该车辆,同时也将车牌号赋值给该车辆,从而实现车辆跨镜头追踪,并删除该通知消息。
11)摄像头C向同样接收到该消息的候选摄像头D发送撤销通知,告知其ID为123的车辆已经进入摄像头C。摄像头D接收到摄像头C发来的撤销通知后,在其通知消息队列中删除ID为123的车辆的通知消息,以避免重复匹配。通过上述过程,可以实现对红色汽车在A、B、C三个摄像头之间的无缝追踪,保持其追踪ID的一致性。
假设出于某种原因C摄像头在基于外观特征匹配时匹配失败,但此时身份识别模块识别出车牌川A12345,则查询通知消息队列得到川A12345对应的追踪ID为123,因此将123赋予给改红色车辆。
请参阅图3,基于相同的发明构思,本实施例中同时提供了一种基于主动通知的物体跨境头追踪系统,包括特征提取模块、匹配赋值模块和主动通知模块。
其中,特征提取模块用于检测是否有物体进入当前摄像头的监控区域,若有则提取该物体的外观特征,并记录当前时间和位置,以及将外观特征、当前时间和位置存储在当前摄像头的数据库中。
其中,匹配赋值模块用于检查通知消息队列中是否有来自其他摄像头的通知消息,如果有则根据时间、位置和外观特征进行匹配,如果匹配成功,则将通知消息中的追踪ID赋予给物体;若通知消息队列中没有通知消息或者匹配不成功,则赋予该物体一个新的追踪ID。
在匹配成功后,还可以将匹配成功的通知消息从消息队列中删除,以避免重复匹配而降低追踪效率。或者作为另一种实施方式,在匹配成功后,向同时接收到该匹配成功的通知消息的其他摄像头发送撤销通知,以便于其他摄像头在接收到该撤销通知后,将该通知消息从通知消息队列中删除。
其中,主动通知模块用于当该物体离开当前摄像头时,获取该物体的离开时间,且由所述离开时间、追踪ID、位置和外观特征构造一条通知消息,并向预先设置的候选摄像头发送该通知消息。
针对于可以进行身份识别的物体,所述特征提取模块在提取该物体的外观特征的同时,识别物体的身份标识,并存储于数据库中;所述主动通知模块中,构造的通知消息中还包括所述身份标识;所述匹配赋值模块中,还将通知消息中的身份标识与识别出的身份标识进行匹配,若两者一致,则不管根据时间、位置和外观特征是否匹配成功,最终都判定为匹配成功,且将身份标识匹配成功的通知消息中的追踪ID赋予给物体;若身份标识匹配不成功,则以根据时间、位置和外观特征匹配的结果对物体赋予追踪ID。或者,在根据时间、位置和外观特征匹配不成功时,将通知消息中的身份标识与识别出的身份标识进行匹配,若两者一致则最终判定为匹配成功,且将身份标识匹配成功的通知消息中的追踪ID赋予给物体,否则判定为匹配不成功。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于主动通知的物体跨境头追踪方法,其特征在于,包括以下步骤:
S10,检测是否有物体进入当前摄像头的监控区域,若有则提取该物体的外观特征,并记录当前时间和位置,以及将外观特征、当前时间和位置存储在当前摄像头的数据库中;
S20,检查通知消息队列中是否有来自其他摄像头的通知消息,如果有则根据时间、位置和外观特征进行匹配,如果匹配成功,则将通知消息中的追踪ID赋予给物体;若通知消息队列中没有通知消息或者匹配不成功,则赋予该物体一个新的追踪ID;同一类别的物体的通知消息集中在一个队列中,不同类别的物体的通知消息在不同的队列中,在进行外观特征匹配时,先确定物体的类别,然后将外观特征与对应类别的消息队列中的物体进行匹配;
S30,当该物体离开当前摄像头时,获取该物体的离开时间,且由所述离开时间、追踪ID、位置和外观特征构造一条通知消息,并向预先设置的候选摄像头发送该通知消息。
2.根据权利要求1所述的基于主动通知的物体跨境头追踪方法,其特征在于,所述S10中,提取该物体的外观特征的同时,识别物体的身份标识,并存储于数据库中;所述S30中,构造的通知消息中还包括所述身份标识;所述S20中,如果根据时间、位置和外观特征匹配不成功,则将通知消息中的身份标识与识别出的身份标识进行匹配,若两者一致则最终判定为匹配成功,且将身份标识匹配成功的通知消息中的追踪ID赋予给物体,否则判定为匹配不成功。
3.根据权利要求1所述的基于主动通知的物体跨境头追踪方法,其特征在于,所述S10中,提取该物体的外观特征的同时,识别物体的身份标识,并存储于数据库中;所述S30中,构造的通知消息中还包括所述身份标识;所述S20中,还包括将通知消息中的身份标识与识别出的身份标识进行匹配,若两者一致,则不管根据时间、位置和外观特征是否匹配成功,最终都判定为匹配成功,且将身份标识匹配成功的通知消息中的追踪ID赋予给物体;若身份标识匹配不成功,则以根据时间、位置和外观特征匹配的结果对物体赋予追踪ID。
4.根据权利要求1-3任一所述的基于主动通知的物体跨境头追踪方法,其特征在于,当匹配成功时,从通知消息队列中删除匹配成功的通知消息。
5.根据权利要求1-3任一所述的基于主动通知的物体跨境头追踪方法,其特征在于,还包括步骤:判断通知消息队列中的各条通知消息是否达到设定的有效期限阈值,如果是,则从通知消息队列中删除该通知消息。
6.根据权利要求1-3任一所述的基于主动通知的物体跨境头追踪方法,其特征在于,所述S20中还包括:在匹配成功后,向同时接收到该匹配成功的通知消息的其他摄像头发送撤销通知,以便于其他摄像头在接收到该撤销通知后,将该通知消息从通知消息队列中删除。
7.一种基于主动通知的物体跨境头追踪系统,其特征在于,包括:
特征提取模块,用于检测是否有物体进入当前摄像头的监控区域,若有则提取该物体的外观特征,并记录当前时间和位置,以及将外观特征、当前时间和位置存储在当前摄像头的数据库中;
匹配赋值模块,用于检查通知消息队列中是否有来自其他摄像头的通知消息,如果有则根据时间、位置和外观特征进行匹配,如果匹配成功,则将通知消息中的追踪ID赋予给物体;若通知消息队列中没有通知消息或者匹配不成功,则赋予该物体一个新的追踪ID;同一类别的物体的通知消息集中在一个队列中,不同类别的物体的通知消息在不同的队列中,在进行外观特征匹配时,先确定物体的类别,然后将外观特征与对应类别的消息队列中的物体进行匹配;
主动通知模块,用于当该物体离开当前摄像头时,获取该物体的离开时间,且由所述离开时间、追踪ID、位置和外观特征构造一条通知消息,并向预先设置的候选摄像头发送该通知消息。
8.根据权利要求7所述的基于主动通知的物体跨境头追踪系统,其特征在于,所述特征提取模块中,提取该物体的外观特征的同时,识别物体的身份标识,并存储于数据库中;所述主动通知模块中,构造的通知消息中还包括所述身份标识;所述匹配赋值模块中,还将通知消息中的身份标识与识别出的身份标识进行匹配,若两者一致,则不管根据时间、位置和外观特征是否匹配成功,最终都判定为匹配成功,且将身份标识匹配成功的通知消息中的追踪ID赋予给物体;若身份标识匹配不成功,则以根据时间、位置和外观特征匹配的结果对物体赋予追踪ID。
9.根据权利要求7或8所述的基于主动通知的物体跨境头追踪系统,其特征在于,当匹配成功时,从通知消息队列中删除匹配成功的通知消息。
10.根据权利要求7或8所述的基于主动通知的物体跨境头追踪系统,其特征在于,所述匹配赋值模块还用于在匹配成功后,向同时接收到该匹配成功的通知消息的其他摄像头发送撤销通知,以便于其他摄像头在接收到该撤销通知后,将该通知消息从通知消息队列中删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410017871.8A CN117528035B (zh) | 2024-01-05 | 2024-01-05 | 一种基于主动通知的物体跨境头追踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410017871.8A CN117528035B (zh) | 2024-01-05 | 2024-01-05 | 一种基于主动通知的物体跨境头追踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117528035A CN117528035A (zh) | 2024-02-06 |
CN117528035B true CN117528035B (zh) | 2024-03-22 |
Family
ID=89755358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410017871.8A Active CN117528035B (zh) | 2024-01-05 | 2024-01-05 | 一种基于主动通知的物体跨境头追踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117528035B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118018865B (zh) * | 2024-03-14 | 2024-06-07 | 四川省寰宇众恒科技有限公司 | 全天候场景的物体跨镜头追踪方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104601964A (zh) * | 2015-02-06 | 2015-05-06 | 武汉大学 | 非重叠视域跨摄像机室内行人目标跟踪方法及系统 |
CN105025099A (zh) * | 2015-07-15 | 2015-11-04 | 同济大学 | 智能摄像机网络系统及摄像机网络动态任务分配方法 |
CN106412414A (zh) * | 2016-06-08 | 2017-02-15 | 同济大学 | 追踪系统、摄像头、监测方法、及监测系统 |
CN111091584A (zh) * | 2019-12-23 | 2020-05-01 | 浙江宇视科技有限公司 | 一种目标跟踪方法、装置、设备和存储介质 |
CN111836009A (zh) * | 2020-06-18 | 2020-10-27 | 浙江大华技术股份有限公司 | 多个相机进行目标跟踪的方法、电子设备及存储介质 |
CN112884815A (zh) * | 2021-02-02 | 2021-06-01 | 鹏城实验室 | 一种基于多摄像机的车辆追踪方法 |
CN113177967A (zh) * | 2021-03-31 | 2021-07-27 | 千里眼(广州)人工智能科技有限公司 | 视频数据的物体追踪方法、系统和存储介质 |
CN113887411A (zh) * | 2021-09-30 | 2022-01-04 | 浙江大华技术股份有限公司 | 一种人员跟踪方法及装置、一种人员归档方法及装置 |
CN116958884A (zh) * | 2023-09-18 | 2023-10-27 | 杭州靖安防务科技有限公司 | 目标追踪的方法和系统 |
CN117036410A (zh) * | 2023-08-22 | 2023-11-10 | 国机工业互联网研究院(河南)有限公司 | 一种多镜头追踪方法、系统及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI405457B (zh) * | 2008-12-18 | 2013-08-11 | Ind Tech Res Inst | 應用攝影機換手技術之多目標追蹤系統及其方法,與其智慧節點 |
US8781293B2 (en) * | 2012-08-20 | 2014-07-15 | Gorilla Technology Inc. | Correction method for object linking across video sequences in a multiple camera video surveillance system |
US20140184803A1 (en) * | 2012-12-31 | 2014-07-03 | Microsoft Corporation | Secure and Private Tracking Across Multiple Cameras |
JP2018186397A (ja) * | 2017-04-26 | 2018-11-22 | キヤノン株式会社 | 情報処理装置、映像監視システム、情報処理方法及びプログラム |
US11526999B2 (en) * | 2020-06-26 | 2022-12-13 | Seagate Technology Llc | Object tracking using multi-camera system |
-
2024
- 2024-01-05 CN CN202410017871.8A patent/CN117528035B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104601964A (zh) * | 2015-02-06 | 2015-05-06 | 武汉大学 | 非重叠视域跨摄像机室内行人目标跟踪方法及系统 |
CN105025099A (zh) * | 2015-07-15 | 2015-11-04 | 同济大学 | 智能摄像机网络系统及摄像机网络动态任务分配方法 |
CN106412414A (zh) * | 2016-06-08 | 2017-02-15 | 同济大学 | 追踪系统、摄像头、监测方法、及监测系统 |
CN111091584A (zh) * | 2019-12-23 | 2020-05-01 | 浙江宇视科技有限公司 | 一种目标跟踪方法、装置、设备和存储介质 |
CN111836009A (zh) * | 2020-06-18 | 2020-10-27 | 浙江大华技术股份有限公司 | 多个相机进行目标跟踪的方法、电子设备及存储介质 |
CN112884815A (zh) * | 2021-02-02 | 2021-06-01 | 鹏城实验室 | 一种基于多摄像机的车辆追踪方法 |
CN113177967A (zh) * | 2021-03-31 | 2021-07-27 | 千里眼(广州)人工智能科技有限公司 | 视频数据的物体追踪方法、系统和存储介质 |
CN113887411A (zh) * | 2021-09-30 | 2022-01-04 | 浙江大华技术股份有限公司 | 一种人员跟踪方法及装置、一种人员归档方法及装置 |
CN117036410A (zh) * | 2023-08-22 | 2023-11-10 | 国机工业互联网研究院(河南)有限公司 | 一种多镜头追踪方法、系统及装置 |
CN116958884A (zh) * | 2023-09-18 | 2023-10-27 | 杭州靖安防务科技有限公司 | 目标追踪的方法和系统 |
Non-Patent Citations (1)
Title |
---|
车路视觉协同的高速公路防碰撞预警算法;蔡创新;高尚兵;周君;黄子赫;;中国图象图形学报;20200812(08);141-149 * |
Also Published As
Publication number | Publication date |
---|---|
CN117528035A (zh) | 2024-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107563419B (zh) | 图像匹配和二维码相结合的列车定位方法 | |
CN117528035B (zh) | 一种基于主动通知的物体跨境头追踪方法及系统 | |
US11080869B2 (en) | Search assist system, search assist apparatus, and search assist method | |
KR101678004B1 (ko) | 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법 | |
US11315430B2 (en) | System, program, and method for detecting information on a person from a video of an on-vehicle camera | |
CN113055823B (zh) | 一种基于路侧停车管理共享单车的方法及装置 | |
CN112115939B (zh) | 车辆车牌的识别方法、装置 | |
CN111191481B (zh) | 车辆识别方法及系统 | |
CN110826415A (zh) | 一种场景图像中车辆的重识别方法及设备 | |
CN112836683B (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
CN112434566A (zh) | 客流统计方法、装置、电子设备及存储介质 | |
CN112819989A (zh) | 一种园区巡更方法、装置及设备 | |
CN112017444A (zh) | 一种套牌车辆检测方法及其装置、介质和系统 | |
CN113705271A (zh) | 一种高精地图车道生成方法及装置 | |
CN106327876A (zh) | 一种基于行车记录仪的套牌车捕捉系统及方法 | |
CN111161542B (zh) | 车辆识别方法及装置 | |
CN109344776B (zh) | 数据处理方法 | |
CN110942619B (zh) | 一种车辆确定方法、装置、系统及电子设备 | |
CN112069849B (zh) | 基于多个二维码的识别定位方法、装置、设备及存储介质 | |
US12079319B2 (en) | Person specifying device, person specifying method, and recording medium | |
CN111738185B (zh) | 一种目标识别方法、装置及设备 | |
CN114724028A (zh) | 船只信息的确定方法及相关装置、设备和存储介质 | |
CN113221982A (zh) | 一种车辆识别方法、车辆识别模型创建方法及相关组件 | |
US20240312220A1 (en) | Image processing device, image processing method, and program | |
CN117975071B (zh) | 图像聚类方法、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |