CN115297306A - 一种行人随身物品防丢监控方法、装置、设备及存储介质 - Google Patents

一种行人随身物品防丢监控方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115297306A
CN115297306A CN202211230849.9A CN202211230849A CN115297306A CN 115297306 A CN115297306 A CN 115297306A CN 202211230849 A CN202211230849 A CN 202211230849A CN 115297306 A CN115297306 A CN 115297306A
Authority
CN
China
Prior art keywords
pedestrian
tracking
personal
unique
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211230849.9A
Other languages
English (en)
Other versions
CN115297306B (zh
Inventor
陈磊
黄金叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Original Assignee
Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qiyang Special Equipment Technology Engineering Co ltd filed Critical Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Priority to CN202211230849.9A priority Critical patent/CN115297306B/zh
Publication of CN115297306A publication Critical patent/CN115297306A/zh
Application granted granted Critical
Publication of CN115297306B publication Critical patent/CN115297306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行人随身物品防丢监控方法、装置、设备及存储介质，涉及视频监控技术领域。所述方法是在获取由摄像头对目标监控区域实时采集的视频数据后，分别采用多目标跟踪算法跟踪出现在所述目标监控区域中的各个行人以及具有唯一物品编号的各件随身物品，得到行人跟踪结果和物品跟踪结果，并在根据所述行人跟踪结果和所述物品跟踪结果判定有某件随身物品已离开所属主人时，触发进行随身物品丢失报警，如此可以及时发现行人随身物品丢失情况，特别适用于诸如客运车站或列车厢内等公共场所。此外，还可在发现有物品交接时自动更新行人与物品的绑定关系，以便确保后续不会误触发进行随身物品丢失报警，提升防丢监控可靠性。

Description

一种行人随身物品防丢监控方法、装置、设备及存储介质
技术领域
本发明属于视频监控技术领域，具体涉及一种行人随身物品防丢监控方法、装置、设备及存储介质。
背景技术
随着互联网技术的快速发展，给客运公路或铁路带来了更多的机遇和挑战。采用智能机器人和信息化手段可不断提高客运服务水平和质量，提升乘车体验，是客运服务的必然要求。当旅客出行时，经常随身携带行李，而为保证行李与旅客形影不离也是客运服务的一项重要任务。
目前，在诸如客运车站或列车厢内等公共场所经常会发生旅客的行李出现遗忘丢失、被错拿或被盗窃等现象，如何基于监控视频及时发现行人随身物品丢失情况，是本领域技术人员亟需研究课题。
发明内容
本发明的目的是提供一种行人随身物品防丢监控方法、装置、计算机设备及计算机可读存储介质，用以解决现有技术无法基于监控视频及时发现行人随身物品丢失情况的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种行人随身物品防丢监控方法，包括：
获取由摄像头对目标监控区域实时采集的视频数据；
根据所述视频数据，采用第一多目标跟踪算法跟踪出现在所述目标监控区域中的各个行人，得到行人跟踪结果；
针对所述各个行人，根据在所述行人跟踪结果中的且对应的人体边界框的框内图像，采用目标检测算法进行随身物品检测，若检测得到无唯一物品编号的随身物品，则将用于与对应的唯一行人编号绑定的唯一物品编号赋予所述随身物品；
根据所述视频数据，采用第二多目标跟踪算法跟踪具有唯一物品编号的各件所述随身物品，得到物品跟踪结果；
根据所述行人跟踪结果和所述物品跟踪结果，判断是否有某件随身物品已离开所属主人，其中，所述所属主人是指具有与所述某件随身物品的唯一物品编号绑定的唯一行人编号的行人；
若有，则触发进行随身物品丢失报警。
基于上述发明内容，提供了一种基于监控视频及时发现行人随身物品丢失情况的监控方案，即在获取由摄像头对目标监控区域实时采集的视频数据后，分别采用多目标跟踪算法跟踪出现在所述目标监控区域中的各个行人以及具有唯一物品编号的各件随身物品，得到行人跟踪结果和物品跟踪结果，并在根据所述行人跟踪结果和所述物品跟踪结果判定有某件随身物品已离开所属主人时，触发进行随身物品丢失报警，如此可以及时发现行人随身物品丢失情况，特别适用于诸如客运车站或列车厢内等公共场所，便于实际应用和推广。
在一个可能的设计中，所述第一多目标跟踪算法或所述第二多目标跟踪算法采用deepsort目标跟踪算法。
在一个可能的设计中，所述deepsort目标跟踪算法包括有：针对未匹配的跟踪目标，根据对应的当前预测位置判断是否离开所述目标监控区域，若是，则在下一次位置预测时舍弃该跟踪目标，否则在下一次位置预测时依然使用卡尔曼滤波法预测对应的位置。
在一个可能的设计中，所述目标检测算法采用YOLO V4模型。
在一个可能的设计中，根据所述行人跟踪结果和所述物品跟踪结果，判断是否有某件随身物品已离开所属主人，包括：
遍历具有唯一物品编号的各个所述随身物品，若发现有某件随身物品的且在所述物品跟踪结果中的物品边界框与所属主人的且在所述行人跟踪结果中的人体边界框无交集区域，则判定所述某件随身物品已离开所述所属主人，其中，所述所属主人是指具有与所述某件随身物品的唯一物品编号绑定的唯一行人编号的行人。
在一个可能的设计中，在根据所述行人跟踪结果和所述物品跟踪结果判断是否有某件随身物品已离开所属主人之前，所述方法还包括：
根据所述视频数据，采用姿态估计算法识别所述各个行人的姿态行为，得到姿态识别结果；
针对具有唯一物品编号的各件所述随身物品，判断是否同时存在如下情况（A）～（C）：
（A）根据所述姿态识别结果，发现具有与对应的唯一物品编号绑定的唯一行人编号的第一行人作出的姿态行为是物品给予行为；
（B）根据所述姿态识别结果，发现第二行人作出的姿态行为是物品接收行为；
（C）对应的且在所述物品跟踪结果中的物品边界框，从所述第一行人的且在所述行人跟踪结果中的人体边界框中移出并移入所述第二行人的且在所述行人跟踪结果中的人体边界框中；
针对具有唯一物品编号的各件所述随身物品，若同时存在上述情况（A）～（C），则将对应的唯一物品编号更新为用于与所述第二行人的唯一行人编号绑定的唯一物品编号。
在一个可能的设计中，所述姿态估计算法采用PMPE模型。
第二方面，提供了一种行人随身物品防丢监控装置，包括有数据获取模块、行人跟踪模块、物品检测模块、物品跟踪模块、关系判断模块和报警触发模块；
所述数据获取模块，用于获取由摄像头对目标监控区域实时采集的视频数据；
所述行人跟踪模块，通信连接所述数据获取模块，用于根据所述视频数据，采用第一多目标跟踪算法跟踪出现在所述目标监控区域中的各个行人，得到行人跟踪结果；
所述物品检测模块，通信连接所述行人跟踪模块，用于针对所述各个行人，根据在所述行人跟踪结果中的且对应的人体边界框的框内图像，采用目标检测算法进行随身物品检测，若检测得到无唯一物品编号的随身物品，则将用于与对应的唯一行人编号绑定的唯一物品编号赋予所述随身物品；
所述物品跟踪模块，分别通信连接所述数据获取模块和所述物品检测模块，用于根据所述视频数据，采用第二多目标跟踪算法跟踪具有唯一物品编号的各件所述随身物品，得到物品跟踪结果；
所述关系判断模块，分别通信连接所述行人跟踪模块和所述物品跟踪模块，用于根据所述行人跟踪结果和所述物品跟踪结果，判断是否有某件随身物品已离开所属主人，其中，所述所属主人是指具有与所述某件随身物品的唯一物品编号绑定的唯一行人编号的行人；
所述报警触发模块，通信连接所述关系判断模块，用于当判定有某件随身物品已离开所属主人时，触发进行随身物品丢失报警。
在一个可能设计中，还包括有分别通信连接所述行人跟踪模块和所述物品跟踪模块的且在根据所述行人跟踪结果和所述物品跟踪结果判断是否有某件随身物品已离开所属主人之前启动的交接处理模块，其中，所述交接处理模块包括有依次通信连接的姿态估计子模块、交接判断子模块和编号更新子模块；
所述姿态估计子模块，用于根据所述视频数据，采用姿态估计算法识别所述各个行人的姿态行为，得到姿态识别结果；
所述交接判断子模块，用于针对具有唯一物品编号的各件所述随身物品，判断是否同时存在如下情况（A）～（C）：
（A）根据所述姿态识别结果，发现具有与对应的唯一物品编号绑定的唯一行人编号的第一行人作出的姿态行为是物品给予行为；
（B）根据所述姿态识别结果，发现第二行人作出的姿态行为是物品接收行为；
（C）对应的且在所述物品跟踪结果中的物品边界框，从所述第一行人的且在所述行人跟踪结果中的人体边界框中移出并移入所述第二行人的且在所述行人跟踪结果中的人体边界框中；
所述编号更新子模块，用于针对具有唯一物品编号的各件所述随身物品，若同时存在上述情况（A）～（C），则将对应的唯一物品编号更新为用于与所述第二行人的唯一行人编号绑定的唯一物品编号。
第三方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的行人随身物品防丢监控方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意可能设计所述的行人随身物品防丢监控方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意可能设计所述的行人随身物品防丢监控方法。
上述方案的有益效果：
（1）本发明创造性提供了一种基于监控视频及时发现行人随身物品丢失情况的监控方案，即在获取由摄像头对目标监控区域实时采集的视频数据后，分别采用多目标跟踪算法跟踪出现在所述目标监控区域中的各个行人以及具有唯一物品编号的各件随身物品，得到行人跟踪结果和物品跟踪结果，并在根据所述行人跟踪结果和所述物品跟踪结果判定有某件随身物品已离开所属主人时，触发进行随身物品丢失报警，如此可以及时发现行人随身物品丢失情况，特别适用于诸如客运车站或列车厢内等公共场所；
（2）可在发现有物品交接时自动更新行人与物品的绑定关系，以便确保后续不会误触发进行随身物品丢失报警，提升防丢监控可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的行人随身物品防丢监控方法的流程示意图。
图2为本申请实施例提供的行人及随身物品的检测跟踪示例图。
图3为本申请实施例提供的进行随身物品交接的姿态行为示例图。
图4为本申请实施例提供的行人随身物品防丢监控装置的结构示意图。
图5为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
如图1和2所示，本实施例第一方面提供的所述行人随身物品防丢监控方法，可以但不限于由具有一定计算资源的且通信连接摄像头的计算机设备执行，例如由平台服务器、个人计算机（Personal Computer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机）、智能手机、个人数字助理（Personal Digital Assistant，PDA）或可穿戴设备等电子设备执行。如图1所示，所述行人随身物品防丢监控方法，可以但不限于包括有如下步骤S1～S6。
S1.获取由摄像头对目标监控区域实时采集的视频数据。
在所述步骤S1中，所述摄像头的镜头视野涵盖所述目标监控区域，用于实时采集所述目标监控区域的视频帧图像，得到包含有若干连续视频帧图像的监控视频数据。所述目标监控区域可以但不限于为客运车站或列车厢内等公共场所。
S2.根据所述视频数据，采用第一多目标跟踪算法跟踪出现在所述目标监控区域中的各个行人，得到行人跟踪结果。
在所述步骤S2中，所述第一多目标跟踪算法用于检测位于视频帧图像中的行人图像，并对检测出的行人进行视频跟踪（在跟踪过程中，需要为检测出的各个行人赋予唯一行人编号，例如赋予1、2、3或4等数字编号）。所述第一多目标跟踪算法优选采用deepsort目标跟踪算法，其中，所述deepsort目标跟踪算法的具体过程如下：先用目标检测器检测到目标边界框bbox，并根据所述目标边界框bbox生成检测目标信息detections（其用于保存当前帧图像中检测到的所有目标），然后使用卡尔曼滤波法预测前一帧图像中的跟踪目标信息tracks（其用于保存前一帧图像做了跟踪的所有目标）在当前帧图像的位置，再然后对基于外观特征的马氏距离计算跟踪目标和检测目标的代价矩阵，再然后相继对跟踪目标和检测目标进行级联匹配和IOU（Intersection over Union）匹配，最后得到当前帧图像的所有匹配对、未匹配的跟踪目标以及未匹配的检测目标，并针对每个匹配成功的跟踪目标，用其对应的检测目标进行位置更新，以及处理未匹配的跟踪目标和检测目标。此外，在所述deepsort目标跟踪算法中，所述目标检测器、所述卡尔曼滤波法、所述外观特征、所述马氏距离、余弦距离、所述代价矩阵、所述级联匹配、所述IOU匹配均为现有术语或技术特征，本领域技术人员可以常规得到所述deepsort目标跟踪算法的具体过程细节。
本实施例考虑在未匹配的跟踪目标中可能就包含了被遮挡的目标，只是在当前帧图像中没有被检测到，因此在所述deepsort目标跟踪算法中，优选包括有：针对未匹配的跟踪目标，根据对应的当前预测位置判断是否离开所述目标监控区域（即根据当前预测位置与帧图像边界的位置关系，判断是否仍出现在帧图像中，若在，则判定未离开所述目标监控区域，否则判定离开所述目标监控区域），若是，则在下一次位置预测时舍弃该跟踪目标，否则在下一次位置预测时依然使用卡尔曼滤波法预测对应的位置。如此在发现跟踪目标被遮挡时（即在跟踪目标未匹配有检测目标且当前预测位置仍出现在当前帧图像中），可将该跟踪目标标记为被遮挡masked，然后依旧使用卡尔曼滤波法预测在下一帧图像中的位置，直到匹配有检测目标或发现该跟踪目标超出图像的范围为止，进而相对于一般的丢弃处理方法，可以避免因遮挡而提前终止视频跟踪，确保跟踪的长期持续性。
S3.针对所述各个行人，根据在所述行人跟踪结果中的且对应的人体边界框的框内图像，采用目标检测算法进行随身物品检测，若检测得到无唯一物品编号的随身物品，则将用于与对应的唯一行人编号绑定的唯一物品编号赋予所述随身物品。
在所述步骤S3中，所述目标检测算法用于检测位于所述框内图像中的随身物品图像，其优选采用YOLO V4模型，其中，所述YOLO V4模型由三部分组成，分别是骨干网络backbone、颈部网络neck和头部网络head。所述骨干网络Backbone可采用CSPDarknet53（CSP表示Cross Stage Partial) 网络，用于提取特征。所述颈部网络neck由SPP（SpatialPyramid Pooling block）块和PANet（Path Aggregation Network）网络组成，前者用于增加感受野以及分离出最重要的特征，后者用于保证同时从高级别层接受语义特征和从横向骨干网络的低级别层接收细粒度的特征。所述头部网络head是基于锚框进行检测，并对三种不同尺寸的特征图13x13、26x26和52x52进行检测，分别用于检测从大到小的目标（在这里，尺寸大的特征图包含到信息更加丰富，因此，52x52尺寸的特征图用于检测小目标，反之亦然）。所述唯一物品编号与所述唯一行人编号的绑定关系可举例如下：若某个行人的唯一行人编号为2，并在所述某个行人的人体边界框的框内图像中，检测得到无唯一物品编号的随身物品，则可将该随身物品的唯一物品编号赋予为2.3。此外，所述随身物品可以但不限于为行李箱、背包和/或手机等物品。
S4.根据所述视频数据，采用第二多目标跟踪算法跟踪具有唯一物品编号的各件所述随身物品，得到物品跟踪结果。
在所述步骤S4中，所述第二多目标跟踪算法用于检测位于视频帧图像中的随身物品图像，并对检测出的随身物品进行视频跟踪，其可同样优选采用所述deepsort目标跟踪算法。
S5.根据所述行人跟踪结果和所述物品跟踪结果，判断是否有某件随身物品已离开所属主人，其中，所述所属主人是指具有与所述某件随身物品的唯一物品编号绑定的唯一行人编号的行人。
在所述步骤S5中，由于所述行人跟踪结果会包含有跟踪目标行人的人体边界框，所述物品跟踪结果会包含有跟踪目标随身物品的物品边界框，因此可以基于物品边界框与人体边界框的位置关系，来判断是否有某件随身物品已离开所属主人，即优选的，根据所述行人跟踪结果和所述物品跟踪结果，判断是否有某件随身物品已离开所属主人，包括但不限于有如下：遍历具有唯一物品编号的各个所述随身物品，若发现有某件随身物品的且在所述物品跟踪结果中的物品边界框与所属主人的且在所述行人跟踪结果中的人体边界框无交集区域（即该物品边界框已完全移出该人体边界框），则判定所述某件随身物品已离开所述所属主人，其中，所述所属主人是指具有与所述某件随身物品的唯一物品编号绑定的唯一行人编号的行人。
S6.若有，则触发进行随身物品丢失报警。
在所述步骤S6中，所述触发进行随身物品丢失报警的具体方式包括但不限于有：在当前显示的视频帧图像中，以红框形式闪烁展示所述某件随身物品及所述所属主人的边界框和/或编号，以便提醒监控人员快速找到所述某件随身物品，并快速将其交还给所述所属主人。
由此基于前述步骤S1～S6所描述的行人随身物品防丢监控方法，提供了一种基于监控视频及时发现行人随身物品丢失情况的监控方案，即在获取由摄像头对目标监控区域实时采集的视频数据后，分别采用多目标跟踪算法跟踪出现在所述目标监控区域中的各个行人以及具有唯一物品编号的各件随身物品，得到行人跟踪结果和物品跟踪结果，并在根据所述行人跟踪结果和所述物品跟踪结果判定有某件随身物品已离开所属主人时，触发进行随身物品丢失报警，如此可以及时发现行人随身物品丢失情况，特别适用于诸如客运车站或列车厢内等公共场所，便于实际应用和推广。
本实施例在前述第一方面的技术方案基础上，还提供了一种在发现有物品交接时自动更新行人与物品的绑定关系的可能设计一，即在根据所述行人跟踪结果和所述物品跟踪结果判断是否有某件随身物品已离开所属主人之前，所述方法还包括但不限于有如下步骤S451～S453。
S451.根据所述视频数据，采用姿态估计算法识别所述各个行人的姿态行为，得到姿态识别结果。
在所述步骤S451中，所述姿态估计算法用于识别所述各个行人在监控视频中所作出的动作姿态行为（其包括但不限于是否作出物品给予行为和/或物品接收行为等），其可优选采用PMPE(Regional Multi-Person Pose Estimation)模型。所述PMPE模型的具体应用过程如下：将由人体检测器检测得到的人体边界框送入“SSTN（symmetric spatialtransformer network）+SPPE（single-person pose estimator）”模块，以便自动生成姿态标记；然后通过参数化的姿态非极大值抑制（parametric pose NMS）模块对生成的姿态标记进行处理，以便获取估计的人体姿态。同时在所述PMPE模型的训练过程中，为了避免陷入局部最小值并更好的利用SSTN，引入了“并行SPPE”，并使用姿态引导标记生成器（PGPG：pose-guided proposals generator）来增强已有的训练实例。此外，所述人体检测器、所述SSTN、所述SPPE、所述姿态非极大值抑制模块、所述“并行SPPE”和所述姿态引导标记生成器均为现有术语或技术特征，本领域技术人员可以常规得到所述PMPE模型并进行姿态估计应用。
S452.针对具有唯一物品编号的各件所述随身物品，判断是否同时存在如下情况（A）～（C）：
（A）根据所述姿态识别结果，发现具有与对应的唯一物品编号绑定的唯一行人编号的第一行人作出的姿态行为是物品给予行为；
（B）根据所述姿态识别结果，发现第二行人作出的姿态行为是物品接收行为；
（C）对应的且在所述物品跟踪结果中的物品边界框，从所述第一行人的且在所述行人跟踪结果中的人体边界框中移出并移入所述第二行人的且在所述行人跟踪结果中的人体边界框中。
在所述步骤S452中，所述第一行人即为随身物品的且在交接前的原所属主人，所述第二行人即为该随身物品的且在交接后的新所属主人，只有在同时存在上述情况（A）～（C）时，才能视为所述随身物品被正常地从所述原所属主人交付给了所述新所属主人，如图3所示。此外，在上述情况（C）中，所述物品边界框可以是部分区域从所述第一行人的且在所述行人跟踪结果中的人体边界框中移出，和/或所述物品边界框可以是部分区域移入所述第二行人的且在所述行人跟踪结果中的人体边界框中。
S453.针对具有唯一物品编号的各件所述随身物品，若同时存在上述情况（A）～（C），则将对应的唯一物品编号更新为用于与所述第二行人的唯一行人编号绑定的唯一物品编号。
在所述步骤S453中，举例的，若所述第一行人的唯一行人编号为2，所述第二行人的唯一行人编号为3，同时存在上述情况（A）～（C）的随身物品的唯一物品编号为2.3，则可以将该随身物品的唯一物品编号更新为3.3，以便与所述第二行人的唯一行人编号绑定。
由此基于前述可能设计一，可在发现有物品交接时自动更新行人与物品的绑定关系，以便确保后续不会误触发进行随身物品丢失报警，提升防丢监控可靠性。
如图4所示，本实施例第二方面提供了一种实现第一方面或可能设计一所述的行人随身物品防丢监控方法的虚拟装置，包括有数据获取模块、行人跟踪模块、物品检测模块、物品跟踪模块、关系判断模块和报警触发模块；
所述数据获取模块，用于获取由摄像头对目标监控区域实时采集的视频数据；
所述行人跟踪模块，通信连接所述数据获取模块，用于根据所述视频数据，采用第一多目标跟踪算法跟踪出现在所述目标监控区域中的各个行人，得到行人跟踪结果；
所述物品检测模块，通信连接所述行人跟踪模块，用于针对所述各个行人，根据在所述行人跟踪结果中的且对应的人体边界框的框内图像，采用目标检测算法进行随身物品检测，若检测得到无唯一物品编号的随身物品，则将用于与对应的唯一行人编号绑定的唯一物品编号赋予所述随身物品；
所述物品跟踪模块，分别通信连接所述数据获取模块和所述物品检测模块，用于根据所述视频数据，采用第二多目标跟踪算法跟踪具有唯一物品编号的各件所述随身物品，得到物品跟踪结果；
所述关系判断模块，分别通信连接所述行人跟踪模块和所述物品跟踪模块，用于根据所述行人跟踪结果和所述物品跟踪结果，判断是否有某件随身物品已离开所属主人，其中，所述所属主人是指具有与所述某件随身物品的唯一物品编号绑定的唯一行人编号的行人；
所述报警触发模块，通信连接所述关系判断模块，用于当判定有某件随身物品已离开所属主人时，触发进行随身物品丢失报警。
在一个可能设计中，还包括有分别通信连接所述行人跟踪模块和所述物品跟踪模块的且在根据所述行人跟踪结果和所述物品跟踪结果判断是否有某件随身物品已离开所属主人之前启动的交接处理模块，其中，所述交接处理模块包括有依次通信连接的姿态估计子模块、交接判断子模块和编号更新子模块；
所述姿态估计子模块，用于根据所述视频数据，采用姿态估计算法识别所述各个行人的姿态行为，得到姿态识别结果；
所述交接判断子模块，用于针对具有唯一物品编号的各件所述随身物品，判断是否同时存在如下情况（A）～（C）：
（A）根据所述姿态识别结果，发现具有与对应的唯一物品编号绑定的唯一行人编号的第一行人作出的姿态行为是物品给予行为；
（B）根据所述姿态识别结果，发现第二行人作出的姿态行为是物品接收行为；
（C）对应的且在所述物品跟踪结果中的物品边界框，从所述第一行人的且在所述行人跟踪结果中的人体边界框中移出并移入所述第二行人的且在所述行人跟踪结果中的人体边界框中；
所述编号更新子模块，用于针对具有唯一物品编号的各件所述随身物品，若同时存在上述情况（A）～（C），则将对应的唯一物品编号更新为用于与所述第二行人的唯一行人编号绑定的唯一物品编号。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面或可能设计一所述的行人随身物品防丢监控方法，于此不再赘述。
如图5所示，本实施例第三方面提供了一种执行如第一方面或可能设计一所述的行人随身物品防丢监控方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或可能设计一所述的行人随身物品防丢监控方法。具体举例的，所述存储器可以但不限于包括随机存取存储器（Random-Access Memory，RAM）、只读存储器（Read-Only Memory，ROM）、闪存（Flash Memory）、先进先出存储器（FirstInput First Output，FIFO）和/或先进后出存储器（First Input Last Output，FILO）等等；所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面或可能设计一所述的行人随身物品防丢监控方法，于此不再赘述。
本实施例第四方面提供了一种存储包含如第一方面或可能设计一所述的行人随身物品防丢监控方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或可能设计一所述的行人随身物品防丢监控方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如第一方面或可能设计一所述的行人随身物品防丢监控方法，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或可能设计一所述的行人随身物品防丢监控方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种行人随身物品防丢监控方法，其特征在于，包括：
获取由摄像头对目标监控区域实时采集的视频数据；
根据所述视频数据，采用第一多目标跟踪算法跟踪出现在所述目标监控区域中的各个行人，得到行人跟踪结果；
针对所述各个行人，根据在所述行人跟踪结果中的且对应的人体边界框的框内图像，采用目标检测算法进行随身物品检测，若检测得到无唯一物品编号的随身物品，则将用于与对应的唯一行人编号绑定的唯一物品编号赋予所述随身物品；
根据所述视频数据，采用第二多目标跟踪算法跟踪具有唯一物品编号的各件所述随身物品，得到物品跟踪结果；
根据所述行人跟踪结果和所述物品跟踪结果，判断是否有某件随身物品已离开所属主人，其中，所述所属主人是指具有与所述某件随身物品的唯一物品编号绑定的唯一行人编号的行人；
若有，则触发进行随身物品丢失报警。
2.根据权利要求1所述的行人随身物品防丢监控方法，其特征在于，所述第一多目标跟踪算法或所述第二多目标跟踪算法采用deepsort目标跟踪算法。
3.根据权利要求2所述的行人随身物品防丢监控方法，其特征在于，所述deepsort目标跟踪算法包括有：针对未匹配的跟踪目标，根据对应的当前预测位置判断是否离开所述目标监控区域，若是，则在下一次位置预测时舍弃该跟踪目标，否则在下一次位置预测时依然使用卡尔曼滤波法预测对应的位置。
4.根据权利要求1所述的行人随身物品防丢监控方法，其特征在于，所述目标检测算法采用YOLO V4模型。
5.根据权利要求1所述的行人随身物品防丢监控方法，其特征在于，根据所述行人跟踪结果和所述物品跟踪结果，判断是否有某件随身物品已离开所属主人，包括：
遍历具有唯一物品编号的各个所述随身物品，若发现有某件随身物品的且在所述物品跟踪结果中的物品边界框与所属主人的且在所述行人跟踪结果中的人体边界框无交集区域，则判定所述某件随身物品已离开所述所属主人，其中，所述所属主人是指具有与所述某件随身物品的唯一物品编号绑定的唯一行人编号的行人。
6.根据权利要求1所述的行人随身物品防丢监控方法，其特征在于，在根据所述行人跟踪结果和所述物品跟踪结果判断是否有某件随身物品已离开所属主人之前，所述方法还包括：
根据所述视频数据，采用姿态估计算法识别所述各个行人的姿态行为，得到姿态识别结果；
针对具有唯一物品编号的各件所述随身物品，判断是否同时存在如下情况（A）～（C）：
（A）根据所述姿态识别结果，发现具有与对应的唯一物品编号绑定的唯一行人编号的第一行人作出的姿态行为是物品给予行为；
（B）根据所述姿态识别结果，发现第二行人作出的姿态行为是物品接收行为；
（C）对应的且在所述物品跟踪结果中的物品边界框，从所述第一行人的且在所述行人跟踪结果中的人体边界框中移出并移入所述第二行人的且在所述行人跟踪结果中的人体边界框中；
针对具有唯一物品编号的各件所述随身物品，若同时存在上述情况（A）～（C），则将对应的唯一物品编号更新为用于与所述第二行人的唯一行人编号绑定的唯一物品编号。
7.根据权利要求6所述的行人随身物品防丢监控方法，其特征在于，所述姿态估计算法采用PMPE模型。
8.一种行人随身物品防丢监控装置，其特征在于，包括有数据获取模块、行人跟踪模块、物品检测模块、物品跟踪模块、关系判断模块和报警触发模块；
所述数据获取模块，用于获取由摄像头对目标监控区域实时采集的视频数据；
所述行人跟踪模块，通信连接所述数据获取模块，用于根据所述视频数据，采用第一多目标跟踪算法跟踪出现在所述目标监控区域中的各个行人，得到行人跟踪结果；
所述物品检测模块，通信连接所述行人跟踪模块，用于针对所述各个行人，根据在所述行人跟踪结果中的且对应的人体边界框的框内图像，采用目标检测算法进行随身物品检测，若检测得到无唯一物品编号的随身物品，则将用于与对应的唯一行人编号绑定的唯一物品编号赋予所述随身物品；
所述物品跟踪模块，分别通信连接所述数据获取模块和所述物品检测模块，用于根据所述视频数据，采用第二多目标跟踪算法跟踪具有唯一物品编号的各件所述随身物品，得到物品跟踪结果；
所述关系判断模块，分别通信连接所述行人跟踪模块和所述物品跟踪模块，用于根据所述行人跟踪结果和所述物品跟踪结果，判断是否有某件随身物品已离开所属主人，其中，所述所属主人是指具有与所述某件随身物品的唯一物品编号绑定的唯一行人编号的行人；
所述报警触发模块，通信连接所述关系判断模块，用于当判定有某件随身物品已离开所属主人时，触发进行随身物品丢失报警。
9.一种计算机设备，其特征在于，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7中任意一项所述的行人随身物品防丢监控方法。
10.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7中任意一项所述的行人随身物品防丢监控方法。
CN202211230849.9A 2022-10-10 2022-10-10 一种行人随身物品防丢监控方法、装置、设备及存储介质 Active CN115297306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211230849.9A CN115297306B (zh) 2022-10-10 2022-10-10 一种行人随身物品防丢监控方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211230849.9A CN115297306B (zh) 2022-10-10 2022-10-10 一种行人随身物品防丢监控方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115297306A true CN115297306A (zh) 2022-11-04
CN115297306B CN115297306B (zh) 2023-03-24

Family

ID=83819250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211230849.9A Active CN115297306B (zh) 2022-10-10 2022-10-10 一种行人随身物品防丢监控方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115297306B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497056A (zh) * 2022-11-21 2022-12-20 南京华苏科技有限公司 基于深度学习的区域内遗失物品检测方法
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统
CN116665140A (zh) * 2023-03-08 2023-08-29 深圳市旗扬特种装备技术工程有限公司 一种共享单车载人行为检测方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040124982A1 (en) * 2002-10-17 2004-07-01 Aram Kovach Method for tracking and processing passengers and their transported articles
CN105915847A (zh) * 2016-04-29 2016-08-31 浙江理工大学 基于特征匹配跟踪的视频监控装置及其方法
CN106504484A (zh) * 2016-11-23 2017-03-15 成都四威电子有限公司成都星石科技分公司 一种物品防丢失追踪方法
CN110796017A (zh) * 2019-09-30 2020-02-14 北京三快在线科技有限公司 物品遗落的确定方法和装置、模型训练方法和装置
CN111323835A (zh) * 2020-03-20 2020-06-23 安徽启新明智科技有限公司 一种基于人包关联的安检方法及其装置
CN111601076A (zh) * 2020-04-29 2020-08-28 利智华(北京)智能科技有限公司 机场行李及人员双重匹配安检管理方法、装置及设备
WO2020193737A1 (en) * 2019-03-26 2020-10-01 Atsr Limited Security method and system for a vehicle
CN112257502A (zh) * 2020-09-16 2021-01-22 深圳微步信息股份有限公司 一种监控视频行人识别与跟踪方法、装置及存储介质
US20210089798A1 (en) * 2019-09-24 2021-03-25 Ford Global Technologies, Llc Systems and methods of preventing removal of items from vehicles by improper parties
CN113313090A (zh) * 2021-07-28 2021-08-27 四川九通智路科技有限公司 一种被遗弃可疑行李的遗弃人检测追踪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040124982A1 (en) * 2002-10-17 2004-07-01 Aram Kovach Method for tracking and processing passengers and their transported articles
CN105915847A (zh) * 2016-04-29 2016-08-31 浙江理工大学 基于特征匹配跟踪的视频监控装置及其方法
CN106504484A (zh) * 2016-11-23 2017-03-15 成都四威电子有限公司成都星石科技分公司 一种物品防丢失追踪方法
WO2020193737A1 (en) * 2019-03-26 2020-10-01 Atsr Limited Security method and system for a vehicle
US20210089798A1 (en) * 2019-09-24 2021-03-25 Ford Global Technologies, Llc Systems and methods of preventing removal of items from vehicles by improper parties
CN110796017A (zh) * 2019-09-30 2020-02-14 北京三快在线科技有限公司 物品遗落的确定方法和装置、模型训练方法和装置
CN111323835A (zh) * 2020-03-20 2020-06-23 安徽启新明智科技有限公司 一种基于人包关联的安检方法及其装置
CN111601076A (zh) * 2020-04-29 2020-08-28 利智华(北京)智能科技有限公司 机场行李及人员双重匹配安检管理方法、装置及设备
CN112257502A (zh) * 2020-09-16 2021-01-22 深圳微步信息股份有限公司 一种监控视频行人识别与跟踪方法、装置及存储介质
CN113313090A (zh) * 2021-07-28 2021-08-27 四川九通智路科技有限公司 一种被遗弃可疑行李的遗弃人检测追踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497056A (zh) * 2022-11-21 2022-12-20 南京华苏科技有限公司 基于深度学习的区域内遗失物品检测方法
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统
CN116665140A (zh) * 2023-03-08 2023-08-29 深圳市旗扬特种装备技术工程有限公司 一种共享单车载人行为检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115297306B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN115297306B (zh) 一种行人随身物品防丢监控方法、装置、设备及存储介质
Yun et al. Vision‐based garbage dumping action detection for real‐world surveillance platform
US10402634B2 (en) Information processing device, information processing method, and computer program product
Javed et al. Tracking and object classification for automated surveillance
US20150009323A1 (en) Multi-target tracking method for video surveillance
Chan et al. Detecting rare events in video using semantic primitives with HMM
Tian et al. Real-time detection of abandoned and removed objects in complex environments
Lee et al. Real-time illegal parking detection in outdoor environments using 1-D transformation
Ilias et al. An edge-based method for effective abandoned luggage detection in complex surveillance videos
CN111079621B (zh) 检测对象的方法、装置、电子设备和存储介质
Denman et al. Automatic surveillance in transportation hubs: No longer just about catching the bad guy
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
CN116129328A (zh) 遗留物检测方法、装置、设备以及存储介质
Amrouche et al. Vehicle Detection and Tracking in Real-time using YOLOv4-tiny
TW202109454A (zh) 物體追蹤裝置、控制方法以及程式
Soga et al. Pedestrian detection with stereo vision
CN113269038B (zh) 一种基于多尺度的行人检测方法
KR102019301B1 (ko) 농축산 도난을 감지하는 영상 감시 장치 및 그 방법
CN113705417A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN112070033A (zh) 一种基于有限状态机分析的视频遗留物检测方法
Rathnayake et al. Occlusion handling for online visual tracking using labeled random set filters
CN116030096A (zh) 目标识别方法、装置、终端设备及计算机可读存储介质
Khan et al. A Constructive Review on Pedestrian Action Detection, Recognition and Prediction
Rowe et al. Robust multiple-people tracking using colour-based particle filters
Dziri et al. Low Complexity Multi-object Tracking System Dealing with Occlusions.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant