CN112733814B - 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 - Google Patents

一种基于深度学习的行人徘徊滞留检测方法、系统及介质 Download PDF

Info

Publication number
CN112733814B
CN112733814B CN202110336932.3A CN202110336932A CN112733814B CN 112733814 B CN112733814 B CN 112733814B CN 202110336932 A CN202110336932 A CN 202110336932A CN 112733814 B CN112733814 B CN 112733814B
Authority
CN
China
Prior art keywords
pedestrian
feature
features
initial
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110336932.3A
Other languages
English (en)
Other versions
CN112733814A (zh
Inventor
林亦宁
宋庆龙
赵之健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Supremind Intelligent Technology Co Ltd
Original Assignee
Shanghai Supremind Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Supremind Intelligent Technology Co Ltd filed Critical Shanghai Supremind Intelligent Technology Co Ltd
Priority to CN202110336932.3A priority Critical patent/CN112733814B/zh
Publication of CN112733814A publication Critical patent/CN112733814A/zh
Application granted granted Critical
Publication of CN112733814B publication Critical patent/CN112733814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于深度学习的行人徘徊滞留检测方法、系统及介质，属于图像识别技术领域，其中方法主要包括三个部分，即行人检测预处理、行人重识别及重识别校验。通过上述三个步骤极大的提高了行人检测的准确性，进而可以保证行人滞留时长检测的准确性，降低了行人徘徊滞留预警的虚警率。

Description

一种基于深度学习的行人徘徊滞留检测方法、系统及介质
技术领域
本申请涉及图像识别技术领域，具体而言，涉及一种基于深度学习的行人徘徊滞留检测方法、系统及介质。
背景技术
随着科学技术的快速发展，智能视频监控中的视频分析技术以其无需人为干预的情况下能够自动对监控场景的视频序列进行实时分析、定位、跟踪和识别目标等优势，引起了人们越来越多的关注，并成为智能视觉系统中的一个研究热点。徘徊行为检测是视频监控的一项重要内容，它反映行人目标彷徨、矛盾的心理过程，是一种常见的视频分析技术。徘徊行为表现为目标在某区域内反复的往返或无规则的运动，是一种复杂的行为模式。
在传统方法中，徘徊滞留常常作为行人异常行为识别的一部分，这类方法往往存在以下几点缺陷：（1）将徘徊滞留常常作为行人异常行为识别的一部分， 这类做法并没有对徘徊滞留这一问题的特异性做专业处理；（2）传统的行人异常行为识别方法往往使用前背景建模的方法提取来获得人体，这种方法会因为各种嘈杂物体的运动造成过多错误检测；（3）传统行人识别方法的分类器较为简单（类似SVM，决策树），这种分类器对异常行为分析的置信度较低。例如，专利文献（CN105608479A）结合深度数据的异常行为检测方法及系统该专利使用前背景提取的方法获取人体目标，这种方法的准确率不高，会有很多无关的物体被识别为人体，而且异常行为检测部分做的过于简单，就针对行人徘徊滞留这一部分，该方法没有考虑现实情况，对于行人跟踪丢失、行人二次进入摄像机画面、行人被遮挡后再次出现等情况进行相关处理；况且该方案需要使用至少一个深度摄像头和一个常规摄像头，部署成本偏高。专利文献（CN103150579A）使用前背景提取的方法获取人体目标，同上，这类方法的准确率不高，且该方法使用SVM作为分类器，该分类器对异常行为分析的置信度较低， 相比于神经网络方法较为无力。
综上可见，现有技术虽然进行了行人徘徊检测的尝试，但仍存在例如上述的许多技术问题。
发明内容
为了解决上述背景技术中存在的技术问题，本申请提供了一种基于深度学习的行人徘徊滞留检测方法、系统及介质，以提高行人徘徊滞留检测的精度。
本申请的第一方面提供了一种基于深度学习的行人徘徊滞留检测方法，所述方法包括：
行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；
行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；
跟踪模块采用跟踪算法区分图像帧中不同的行人目标；
重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；
重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；
徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警。
可选地，所述行人检测模块所采用的深度学习模型为YOLOv5。
可选地，所述跟踪模块采用跟踪算法为匈牙利匹配算法。
可选地，所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，包括：
先使用卷积网络提取后续图像帧中多帧图像帧中的单个行人的外貌特征，将其分别输入第一分支网络和第二分支网络；第一个分支网络融合多帧所述外貌特征为一个第一初始融合特征，第二分支网络先纵向将每一帧的所述外貌特征切分，然后把每一帧的切分后的特征块作为图网络的一个节点，使用图卷积网络融合各块特征得到第二初始融合特征；融合所述第一初始融合特征和所述第二初始融合特征，将特征融合结果作为该行人的行人特征。
可选地，采用如下方法融合所述第一初始融合特征和所述第二初始融合特征：
Figure 85400DEST_PATH_IMAGE001
其中，
Figure 251808DEST_PATH_IMAGE002
表示融合后的行人特征矩阵，
Figure 343129DEST_PATH_IMAGE003
表示第一初始融合特征矩阵，
Figure 315502DEST_PATH_IMAGE004
表示第一初始融合特征矩阵的权重；
Figure 441459DEST_PATH_IMAGE005
表示第二初始融合特征矩阵，
Figure 513189DEST_PATH_IMAGE006
表示第二初始融合矩阵的权重；
Figure 505457DEST_PATH_IMAGE007
分别表示行人的头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵，
Figure 999630DEST_PATH_IMAGE008
分别表示头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵的权重。
可选地，所述基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值，包括：将所述重识别得出的行人特征与所述特征库中已有的行人特征逐一采用相似度算法计算初始置信阈值，并将最高的所述初始置信阈值作为置信阈值，将最高的所述初始置信阈值对应的行人认定为与所述重识别得出的行人为同一行人。
可选地，重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，包括：
将所述重识别得出的行人的图片帧序列输入步态模型的第一分支模型和第二分支模型；所述第一个分支模型融合所有输入帧的特征得出该行人步态的整体特征，所述第二个分支模型分别计算每一帧步态的特征，再将特征纵向切块，每个块的特征采取各帧图像中该块相应最大的特征；融合所述整体特征和所述细微特征，并特征融合结果作为该行人的步态特征；
采用相似度算法计算所述重识别得出的行人与所述最高的所述初始置信阈值对应的行人的步态特征相似度值，若所述相似度值高于相似度阈值，则校验结果为真，否则为假。
可选地，采用如下方法融合所述第一初始融合特征和所述第二初始融合特征：
Figure 652198DEST_PATH_IMAGE001
其中，
Figure 268730DEST_PATH_IMAGE002
表示融合后的行人特征矩阵，
Figure 537906DEST_PATH_IMAGE003
表示第一初始融合特征矩阵，
Figure 524186DEST_PATH_IMAGE004
表示第一初始融合特征矩阵的权重；
Figure 234522DEST_PATH_IMAGE005
表示第二初始融合特征矩阵，
Figure 382475DEST_PATH_IMAGE006
表示第二初始融合矩阵的权重；
Figure 342210DEST_PATH_IMAGE007
分别表示行人的头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵，
Figure 804284DEST_PATH_IMAGE008
分别表示头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵的权重。
本申请的第二方面提供了一种基于深度学习的行人徘徊滞留检测系统，所述系统包括行人检测模块、行人质量评估及处理模块、跟踪模块、重识别模块、重识别校验模块和徘徊滞留判断模块；其中，
所述行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；
所述行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；
所述跟踪模块采用跟踪算法区分图像帧中不同的行人目标；
所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；
所述重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；
所述徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警。
本申请的第三方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。
本发明的有益效果在于：
(1)本申请的方案在行人检测模块之后接入了行人质量评估模块，将模糊程度高及行人图像不完整的行人目标进行筛除，可以有效提升了行人目标的图像质量，保障了后续行人识别的准确性；
(2)本申请的方案还基于步态特征对基于外貌特征的行人重识别结果进行校验，即将行人步态作为第二重保险，有效的提高了行人识别的准确性；
(3)本申请的方案在行人外貌特征识别和步态特征识别时融合了整体特征和局部特征，使得得出的识别结果更能反映行人的特点，也就保证了行人识别、匹配及校验的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例公开的一种基于深度学习的行人徘徊滞留检测方法的流程示意图。
图2是本申请实施例公开的一种基于深度学习的行人徘徊滞留检测系统的结构示意图。
图3是本申请实施例公开一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
实施例一
请参阅图1，图1是本申请实施例公开的一种基于深度学习的行人徘徊滞留检测方法的流程示意图。如图1所示，本申请实施例的一种基于深度学习的行人徘徊滞留检测方法，所述方法包括：
行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；
行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；
跟踪模块采用跟踪算法区分图像帧中不同的行人目标；
重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；
重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；
徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警。
可见，本申请实现行人徘徊检测的方案主要包括三个部分，即行人检测预处理、行人重识别及重识别校验。通过上述三个步骤极大的提高了行人检测的准确性，进而可以保证行人滞留时长检测的准确性，降低了行人徘徊滞留预警的虚警率。
其中，行人检测模块可先采用AF-ALFNet模型来对行人对象进行检测识别，AF-ALFNet模型同时添加了注意力模块和特征融合模块，可以更好的进行特征学习，进而能够精确检测各种场景下的行人，例如黑暗模糊行人、小尺寸行人等，能够很大程度上减少不同场景及环境下行人的漏检和误检，降低漏检率，提升了检测性能。然后，再由行人质量评估及处理模块进行评分及筛除操作。
可选地，在行人检测模块进行矩形窗口计算之前，还包括：对每张图片帧进行亮度调整、对比度变化、随机裁剪、仿射变换和尺度变换处理。
可选地，所述行人检测模块所采用的深度学习模型为YOLOv5。
在本申请可选实施例中，除了YOLOv5外，还可以选择SSD、RetinaNet等one-stage检测算法，本申请对此不作限定。
可选地，所述跟踪模块采用跟踪算法为匈牙利匹配算法。
在本申请可选实施例中，除了匈牙利匹配算法外，还可以选择IOU模型、基于卡尔曼滤波器的模型、YOLO3模型等，本申请对此不作限定。
可选地，所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，包括：
先使用卷积网络提取后续图像帧中多帧图像帧中的单个行人的外貌特征，将其分别输入第一分支网络和第二分支网络；第一个分支网络融合多帧所述外貌特征为一个第一初始融合特征，第二分支网络先纵向将每一帧的所述外貌特征切分，然后把每一帧的切分后的特征块作为图网络的一个节点，使用图卷积网络融合各块特征得到第二初始融合特征；融合所述第一初始融合特征和所述第二初始融合特征，将特征融合结果作为该行人的行人特征。
在本申请可选实施例中，第一初始融合特征反映的是行人的整体特征，例如高矮、胖瘦、着装整体色系等，而第二初始融合特征反映的则是行人的局部特征，例如头部的发型、发色、帽子特征等，上衣的款式、颜色、长度等，腰部的背包特征、腰带特征等，下装款式、颜色、长度等，脚部的鞋子颜色、款式等。相应地，第二分支网络在对外貌特征进行纵向切分时，可按照人体的头部、上身、腰部、下身、脚部这些主要构成结构对应切分为五个部分，从而得到五个特征块，然后再融合为第二初始融合特征。
其中，所述第一分支网络、第二分支网络可以为ResNet、VGGNet、GoogLeNet或者DenseNet，并且，所述第一分支网络和所述第二分支网络可以相同或不同，本申请对此不作限定。
可选地，采用如下方法融合所述第一初始融合特征和所述第二初始融合特征：
Figure 900285DEST_PATH_IMAGE001
其中，
Figure 484719DEST_PATH_IMAGE002
表示融合后的行人特征矩阵，
Figure 197329DEST_PATH_IMAGE003
表示第一初始融合特征矩阵，
Figure 666356DEST_PATH_IMAGE004
表示第一初始融合特征矩阵的权重；
Figure 968197DEST_PATH_IMAGE005
表示第二初始融合特征矩阵，
Figure 130057DEST_PATH_IMAGE006
表示第二初始融合矩阵的权重；
Figure 470909DEST_PATH_IMAGE007
分别表示行人的头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵，
Figure 337102DEST_PATH_IMAGE008
分别表示头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵的权重。
其中，
Figure 204433DEST_PATH_IMAGE009
的取值可通过如下方式获得：任选不同性别的两个行人的图片，得到其相应的局部特征，即，
Figure 35730DEST_PATH_IMAGE011
接着，
Figure 316407DEST_PATH_IMAGE012
Figure 720712DEST_PATH_IMAGE013
，其中，
Figure 911391DEST_PATH_IMAGE014
于是，
Figure 8529DEST_PATH_IMAGE015
。
在本申请可选实施例中，基于男性局部特征和女性局部特征来获得男女性局部特征之间的正则距离，再基于获得的正则距离计算出头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵之间的权重，最后将身体特定部位特征相关的权重占所有的权重的比值作为
Figure 651869DEST_PATH_IMAGE009
的取值。另外，出于提高身体特定部位特征权重的准确性及普适性，上述使用的男性和女性的局部特征可以为基于满足一定数量阈值和/或地域阈值的局部特征集合进行加权处理后得出的。
另外，对于第一初始融合特征矩阵的权重
Figure 328707DEST_PATH_IMAGE016
和第二初始融合矩阵的权重
Figure DEST_PATH_IMAGE017
的权重分配，可以采用经验值法来确定，例如，可以基于对识别准确率的事后统计来确定最合理的（
Figure 560843DEST_PATH_IMAGE018
）组合，即将识别准确率最高的（
Figure 297723DEST_PATH_IMAGE018
）组合用于计算公式
Figure 225097DEST_PATH_IMAGE019
中。
可选地，所述基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值，包括：将所述重识别得出的行人特征与所述特征库中已有的行人特征逐一采用相似度算法计算初始置信阈值，并将最高的所述初始置信阈值作为置信阈值，将最高的所述初始置信阈值对应的行人认定为与所述重识别得出的行人为同一行人。
可选地，重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，包括：
将所述重识别得出的行人的图片帧序列输入步态模型的第一分支模型和第二分支模型；所述第一个分支模型融合所有输入帧的特征得出该行人步态的整体特征，所述第二个分支模型分别计算每一帧步态的特征，再将特征纵向切块，每个块的特征采取各帧图像中该块相应最大的特征；融合所述整体特征和所述细微特征，并特征融合结果作为该行人的步态特征；
采用相似度算法计算所述重识别得出的行人与所述最高的所述初始置信阈值对应的行人的步态特征相似度值，若所述相似度值高于相似度阈值，则校验结果为真，否则为假。
在本申请可选实施例中，对于整体特征和所述细微特征的融合，可采用与上述融合第一初始融合特征和第二初始融合特征的相同方法。也即，对于步态特征同样分为行人的头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵以作为细微特征，于是，融合方法为：
Figure 463484DEST_PATH_IMAGE020
其中，
Figure 18968DEST_PATH_IMAGE021
表示融合后的行人步态特征矩阵，
Figure 926750DEST_PATH_IMAGE022
表示第一初始融合步态特征矩阵，
Figure 669316DEST_PATH_IMAGE023
表示第一初始融合步态特征矩阵的权重；
Figure 953536DEST_PATH_IMAGE024
表示第二初始融合步态特征矩阵，
Figure 973313DEST_PATH_IMAGE025
表示第二初始融合步态矩阵的权重；
Figure 520838DEST_PATH_IMAGE026
分别表示行人的头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵，
Figure 94908DEST_PATH_IMAGE008
分别表示头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵的权重。
其中，
Figure 245135DEST_PATH_IMAGE009
的取值可通过如下方式获得：任选不同性别的两个行人的若干步态图片，得到其相应的局部步态特征，即，
Figure 634266DEST_PATH_IMAGE011
接着，
Figure 946167DEST_PATH_IMAGE012
Figure 679637DEST_PATH_IMAGE013
，其中，
Figure 40080DEST_PATH_IMAGE014
于是，
Figure 34450DEST_PATH_IMAGE015
。
在本申请可选实施例中，基于男性局部特征和女性局部步态特征来获得男女性局部特征之间的正则距离，再基于获得的正则距离计算出头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵之间的权重，最后将身体特定部位步态特征相关的权重占所有的权重的比值作为
Figure 986094DEST_PATH_IMAGE009
的取值。另外，出于提高身体特定部位步态特征权重的准确性及普适性，上述使用的男性和女性的局部特征可以为基于满足一定数量阈值和/或地域阈值的局部步态特征集合进行加权处理后得出的。
另外，其中的相似度算法可为基于欧几里得距离、皮尔逊相关系数、余弦相似度或Tanimoto系数的算法，以及，重识别和重识别校验所采用的相似度算法可以相同也可以不同，本申请对此不作限定。
实施例二
请参阅图2，图2是本申请实施例公开的一种基于深度学习的行人徘徊滞留检测系统的结构示意图。如图2所示，本申请实施例的一种基于深度学习的行人徘徊滞留检测系统，所述系统包括行人检测模块、行人质量评估及处理模块、跟踪模块、重识别模块、重识别校验模块和徘徊滞留判断模块；其中，
所述行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；
所述行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；
所述跟踪模块采用跟踪算法区分图像帧中不同的行人目标；
所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；
所述重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；
所述徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警。
可见，本申请实现行人徘徊检测的方案主要包括三个部分，即行人检测预处理、行人重识别及重识别校验。通过上述三个步骤极大的提高了行人检测的准确性，进而可以保证行人滞留时长检测的准确性，降低了行人徘徊滞留预警的虚警率。
实施例三
请参阅图3，图3是本申请实施例公开的一种电子设备，所述设备包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述的基于深度学习的行人徘徊滞留检测方法。
实施例四
本申请实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施例一所述的基于深度学习的行人徘徊滞留检测方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于深度学习的行人徘徊滞留检测方法，其特征在于：所述方法包括：
行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；
行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；
跟踪模块采用跟踪算法区分图像帧中不同的行人目标；
重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；
重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；
徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警；
所述基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值，包括：将所述重识别得出的行人特征与所述特征库中已有的行人特征逐一采用相似度算法计算初始置信阈值，并将最高的所述初始置信阈值作为置信阈值，将最高的所述初始置信阈值对应的行人认定为与所述重识别得出的行人为同一行人；
重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，包括：
将所述重识别得出的行人的图片帧序列输入步态模型的第一分支模型和第二分支模型；所述第一分支模型融合所有输入帧的特征得出该行人步态的整体特征，所述第二分支模型分别计算每一帧步态的特征，再将特征纵向切块，每个块的特征采取各帧图像中该块相应最大的特征，即得出该行人步态的细微特征；融合所述整体特征和所述细微特征，并将特征融合结果作为该行人的步态特征；
采用相似度算法计算所述重识别得出的行人与所述最高的所述初始置信阈值对应的行人的步态特征相似度值，若所述相似度值高于相似度阈值，则校验结果为真，否则为假。
2.根据权利要求1所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：所述行人检测模块所采用的深度学习模型为YOLOv5。
3.根据权利要求1所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：所述跟踪模块采用跟踪算法为匈牙利匹配算法。
4.根据权利要求1所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，包括：
先使用卷积网络提取后续图像帧中多帧图像帧中的单个行人的外貌特征，将其分别输入第一分支网络和第二分支网络；第一个分支网络融合多帧所述外貌特征为一个第一初始融合特征，第二分支网络先纵向将每一帧的所述外貌特征切分，然后把每一帧的切分后的特征块作为图网络的一个节点，使用图卷积网络融合各块特征得到第二初始融合特征；融合所述第一初始融合特征和所述第二初始融合特征，将特征融合结果作为该行人的行人特征。
5.根据权利要求4所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：采用如下方法融合所述第一初始融合特征和所述第二初始融合特征：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
表示融合后的行人特征矩阵，
Figure DEST_PATH_IMAGE006
表示第一初始融合特征矩阵，
Figure DEST_PATH_IMAGE008
表示第一初始融合特征矩阵的权重；
Figure DEST_PATH_IMAGE010
表示第二初始融合特征矩阵，
Figure DEST_PATH_IMAGE012
表示第二初始融合矩阵的权重；
Figure DEST_PATH_IMAGE014
分别表示行人的头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵，
Figure DEST_PATH_IMAGE016
分别表示头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵的权重。
6.一种基于深度学习的行人徘徊滞留检测系统，其特征在于：所述系统包括行人检测模块、行人质量评估及处理模块、跟踪模块、重识别模块、重识别校验模块和徘徊滞留判断模块；其中，
所述行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；
所述行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；
所述跟踪模块采用跟踪算法区分图像帧中不同的行人目标；
所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；
所述重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；
所述徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警；
其中，所述基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值，包括：将所述重识别得出的行人特征与所述特征库中已有的行人特征逐一采用相似度算法计算初始置信阈值，并将最高的所述初始置信阈值作为置信阈值，将最高的所述初始置信阈值对应的行人认定为与所述重识别得出的行人为同一行人；
重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，包括：
将所述重识别得出的行人的图片帧序列输入步态模型的第一分支模型和第二分支模型；所述第一分支模型融合所有输入帧的特征得出该行人步态的整体特征，所述第二分支模型分别计算每一帧步态的特征，再将特征纵向切块，每个块的特征采取各帧图像中该块相应最大的特征，即得出该行人步态的细微特征；融合所述整体特征和所述细微特征，并将特征融合结果作为该行人的步态特征；
采用相似度算法计算所述重识别得出的行人与所述最高的所述初始置信阈值对应的行人的步态特征相似度值，若所述相似度值高于相似度阈值，则校验结果为真，否则为假。
7.一种计算机存储介质，所述存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器运行时执行如权利要求1-5任一项所述的方法。
CN202110336932.3A 2021-03-30 2021-03-30 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 Active CN112733814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110336932.3A CN112733814B (zh) 2021-03-30 2021-03-30 一种基于深度学习的行人徘徊滞留检测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110336932.3A CN112733814B (zh) 2021-03-30 2021-03-30 一种基于深度学习的行人徘徊滞留检测方法、系统及介质

Publications (2)

Publication Number Publication Date
CN112733814A CN112733814A (zh) 2021-04-30
CN112733814B true CN112733814B (zh) 2021-06-22

Family

ID=75595991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110336932.3A Active CN112733814B (zh) 2021-03-30 2021-03-30 一种基于深度学习的行人徘徊滞留检测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN112733814B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408356A (zh) * 2021-05-21 2021-09-17 深圳市广电信义科技有限公司 基于深度学习的行人重识别方法、装置、设备及存储介质
CN113627383A (zh) * 2021-08-25 2021-11-09 中国矿业大学 一种用于全景智能安防的行人徘徊重识别方法
CN113963437A (zh) * 2021-10-15 2022-01-21 武汉众智数字技术有限公司 一种基于深度学习的步态识别序列获取方法和系统
CN114066877A (zh) * 2021-11-25 2022-02-18 深圳市商汤科技有限公司 图像筛选方法及装置、电子设备和存储介质
CN116168348B (zh) * 2023-04-21 2024-01-30 成都睿瞳科技有限责任公司 基于图像处理的安全监控方法、系统及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101488185A (zh) * 2009-01-16 2009-07-22 哈尔滨工程大学 基于分块矩阵的步态识别方法
CN108229444A (zh) * 2018-02-09 2018-06-29 天津师范大学 一种基于整体和局部深度特征融合的行人再识别方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
WO2018232922A1 (zh) * 2017-06-23 2018-12-27 深圳市盛路物联通讯技术有限公司 一种家居安防方法及系统
CN109117721A (zh) * 2018-07-06 2019-01-01 江西洪都航空工业集团有限责任公司 一种行人徘徊检测方法
CN109766779A (zh) * 2018-12-20 2019-05-17 深圳云天励飞技术有限公司 徘徊人员识别方法及相关产品
CN110113561A (zh) * 2018-02-01 2019-08-09 广州弘度信息科技有限公司 一种人员滞留检测方法、装置、服务器及系统
CN110287890A (zh) * 2019-06-26 2019-09-27 银河水滴科技（北京）有限公司 一种基于步态特征和行人重识别特征的识别方法及装置
CN110895668A (zh) * 2018-09-12 2020-03-20 深圳云天励飞技术有限公司 异常徘徊监测方法、装置、设备及计算机可读存储介质
CN110969087A (zh) * 2019-10-31 2020-04-07 浙江省北大信息技术高等研究院 一种步态识别方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015129210A1 (ja) * 2014-02-25 2015-09-03 日本電気株式会社 情報処理装置、データ分析方法、及び、記録媒体
CN110399835B (zh) * 2019-07-26 2024-04-02 北京文安智能技术股份有限公司 一种人员停留时间的分析方法、装置及系统
CN111860318A (zh) * 2020-07-20 2020-10-30 杭州品茗安控信息技术股份有限公司 一种建筑工地行人徘徊检测方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101488185A (zh) * 2009-01-16 2009-07-22 哈尔滨工程大学 基于分块矩阵的步态识别方法
WO2018232922A1 (zh) * 2017-06-23 2018-12-27 深圳市盛路物联通讯技术有限公司 一种家居安防方法及系统
CN110113561A (zh) * 2018-02-01 2019-08-09 广州弘度信息科技有限公司 一种人员滞留检测方法、装置、服务器及系统
CN108229444A (zh) * 2018-02-09 2018-06-29 天津师范大学 一种基于整体和局部深度特征融合的行人再识别方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN109117721A (zh) * 2018-07-06 2019-01-01 江西洪都航空工业集团有限责任公司 一种行人徘徊检测方法
CN110895668A (zh) * 2018-09-12 2020-03-20 深圳云天励飞技术有限公司 异常徘徊监测方法、装置、设备及计算机可读存储介质
CN109766779A (zh) * 2018-12-20 2019-05-17 深圳云天励飞技术有限公司 徘徊人员识别方法及相关产品
CN110287890A (zh) * 2019-06-26 2019-09-27 银河水滴科技（北京）有限公司 一种基于步态特征和行人重识别特征的识别方法及装置
CN110969087A (zh) * 2019-10-31 2020-04-07 浙江省北大信息技术高等研究院 一种步态识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于视频序列的徘徊检测跟踪算法的研究与实现;刘晓明;《中国优秀硕士学位论文全文数据库信息科技辑》;20110815;I138-294 *
视频监控系统中人体异常行为的分析研究;薛春芳;《中国优秀硕士学位论文全文数据库信息科技辑》;20180815;I136-345 *

Also Published As

Publication number Publication date
CN112733814A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112733814B (zh) 一种基于深度学习的行人徘徊滞留检测方法、系统及介质
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
US8744125B2 (en) Clustering-based object classification
KR101964397B1 (ko) 정보처리장치 및 정보처리방법
RU2393544C2 (ru) Способ и устройство для обнаружения пламени
CN111814638B (zh) 基于深度学习的安防场景火焰检测方法
CN109670441A (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN109766779B (zh) 徘徊人员识别方法及相关产品
CN109255360B (zh) 一种目标分类方法、装置及系统
US10445885B1 (en) Methods and systems for tracking objects in videos and images using a cost matrix
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
CN109299703A (zh) 对鼠情进行统计的方法、装置以及图像采集设备
JP2010122746A (ja) 画像監視装置
CN109271932A (zh) 基于颜色匹配的行人再识别方法
CN111401278A (zh) 安全帽识别方法、装置、电子设备及存储介质
Ramirez-Alonso et al. Temporal weighted learning model for background estimation with an automatic re-initialization stage and adaptive parameters update
CN111797726A (zh) 一种火焰检测方法、装置、电子设备及存储介质
CN115223246A (zh) 一种人员违规行为识别方法、装置、设备及存储介质
CN114743154B (zh) 一种基于注册形式的工服识别方法及计算机可读介质
CN113657250A (zh) 一种基于监控视频的火焰检测方法及系统
CN112347988A (zh) 口罩识别模型的训练方法、装置、计算机设备和可读存储介质
JP6444331B2 (ja) 対象識別装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant