CN116704216A - 徘徊检测方法、徘徊检测装置以及计算机可读存储介质 - Google Patents
徘徊检测方法、徘徊检测装置以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116704216A CN116704216A CN202310513619.1A CN202310513619A CN116704216A CN 116704216 A CN116704216 A CN 116704216A CN 202310513619 A CN202310513619 A CN 202310513619A CN 116704216 A CN116704216 A CN 116704216A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- detection
- pedestrian
- loitering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 171
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 230000001131 transforming effect Effects 0.000 claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims description 43
- 230000006399 behavior Effects 0.000 claims description 20
- 230000009545 invasion Effects 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013441 quality evaluation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 2
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种徘徊检测方法、徘徊检测装置以及计算机可读存储介质。该徘徊检测方法包括：获取同一时刻采集的第一相机的第一检测图像，以及第二相机的第二检测图像；基于所述第一相机与所述第二相机的变换关系，将所述第二检测图像变换到所述第一检测图像的坐标系，得到所述第一检测图像与所述第二检测图像的融合图像；在所述融合图像检测行人的轨迹路径；基于所述轨迹路径，判断所述行人的往返次数是否大于预设次数；若是，则确认所述行人出现徘徊行为。通过上述方式，徘徊检测装置通过多相机拼接，实现较大范围的徘徊检测，通过多相机联动抓图，提高重点场所的人员徘徊识别率。
Description
技术领域
本申请涉及智能安防技术领域，特别是涉及一种徘徊检测方法、徘徊检测装置以及计算机可读存储介质。
背景技术
随着计算机视觉技术的发展，图像处理和视频分析等相关技术应用于传统安防行业，传统的安防系统也正由数字化、网络化，而逐步走向智能化。智能安防系统中对监控视频进行目标检测、分类、识别、跟踪、特征点提取也得到越来越多的关注。徘徊检测就是判断视频中的人体目标是否出现徘徊行为的判断异常轨迹，从而尽早发现、处理可能出现的偷盗、恐怖袭击、扒窃等潜在危险。
目前的徘徊检测方法主要分为四个部分，分别为视频图片处理、行人检测、轨迹跟踪、轨迹分析。常用的徘徊检测主要使用单高清摄像机进行图片采集，再进行降噪等处理，接着将处理完成的图片送至检测器中进行识别，通过行人跟踪算法对行人特征进行匹配得到行人的轨迹信息，最后以轨迹点的折返情况对人员的徘徊情况及逆行判断。
传统的徘徊检测算法，使用单个摄像头，适用于小型场景下的徘徊检测。在实际的使用场景中，高风险人员在会现在重点场所周边踩点，徘徊幅度较大，使用单摄像头不易识别。
发明内容
本申请提供了一种徘徊检测方法、徘徊检测装置以及计算机可读存储介质。
本申请提供了一种徘徊检测方法，所述徘徊检测方法包括：
获取同一时刻采集的第一相机的第一检测图像，以及第二相机的第二检测图像；
基于所述第一相机与所述第二相机的变换关系，将所述第二检测图像变换到所述第一检测图像的坐标系，得到所述第一检测图像与所述第二检测图像的融合图像；
在所述融合图像检测行人的轨迹路径；
基于所述轨迹路径，判断所述行人的往返次数是否大于预设次数；
若是，则确认所述行人出现徘徊行为。
其中，所述在所述融合图像检测行人的轨迹路径，包括：
在多帧融合图像中提取所述行人的运动信息和外观特征；
将每帧融合图像的行人的运动信息和外观特征进行线性融合，得到第一次度量信息；
对所述多帧融合图像的第一次度量信息进行关联，获取第一关联结果；
获取匹配失败的运动信息的检测框和外观特征的检测框的交并比，得到第二次度量信息；
对匹配失败的第二次度量信息进行关联，获取第二关联结果；
根据所述第一关联结果和所述第二关联结果，生成所述行人的轨迹路径。
其中，所述在多帧融合图像中提取所述行人的运动信息和外观特征，包括：
在所述融合图像中，若所述行人同时出现在第一检测图像以及变换后的第二检测图像时，获取所述第一检测图像的第一图像质量，和所述第二检测图像的第二图像质量；
在所述第一图像质量高于所述第二图像质量时，从所述第一检测图像提取所述行人的运动信息和外观特征；
在所述第一图像质量低于所述第二图像质量时，从所述第二检测图像提取所述行人的运动信息和外观特征。
其中，所述徘徊检测方法，还包括：
基于所述轨迹路径，获取所述行人在每个轨迹点的运动方向；
基于所述行人在单位时间的运动方向变换次数，获取所述行人的往返次数。
其中，所述基于所述轨迹路径，获取所述行人在每个轨迹点的运动方向，包括：
将所述轨迹路径映射到所述融合图像坐标轴的第一象限；
获取每一轨迹点与坐标原点的斜率；
基于相邻轨迹点的斜率差值，确定所述每一轨迹点的运动方向。
其中，所述基于相邻轨迹点的斜率差值，确定所述每一轨迹点的运动方向，包括：
获取当前轨迹点与相邻轨迹点的斜率差值；
在所述斜率差值大于0时，将所述当前轨迹点的运动方向取值为第一预设值；
在所述斜率差值小于0时，将所述当前轨迹点的运动方向取值为第二预设值；
所述基于所述行人在单位时间的运动方向变换次数，获取所述行人的往返次数，包括：
获取所述行人的轨迹路径的所有轨迹点的运动方向取值；
确定运动方向取值组合在所述所有轨迹点中的出现次数，作为所述行人的往返次数；
其中，所述运动方向取值组合为相邻运动方向取值为第一预设值和第二预设值。
其中，所述在所述融合图像检测行人的轨迹路径之后，所述徘徊检测方法还包括：
基于所述轨迹路径，判断所述行人的往返次数是否大于预设次数的一半；
若是，则确认所述行人出现疑似徘徊行为；
控制所述第一相机，和/或第二相机按照快速抓拍速度采集图像，其中，所述快速抓拍速度高于正常抓拍速度。
其中，所述控制所述第一相机，和/或第二相机按照快速抓拍速度采集图像，包括：
在所述疑似徘徊行为出现在所述第一检测图像内时，控制所述第一相机按照快速抓拍速度采集图像，所述第二相机按照正常抓拍速度采集图像；
在所述疑似徘徊行为出现在所述第二检测图像内时，控制所述第一相机按照正常抓拍速度采集图像，所述第二相机按照快速抓拍速度采集图像；
在所述疑似徘徊行为出现在所述融合图像中第一检测图像和变换后的第二检测图像的交界区域时，控制所述第一相机按照快速抓拍速度采集图像，所述第二相机按照快速抓拍速度采集图像。
其中，所述控制所述第一相机按照快速抓拍速度采集图像，所述第二相机按照正常抓拍速度采集图像之后，所述徘徊检测方法还包括：
将所述第二相机的边界根据所述变换关系变换到所述第一相机的单向绊线入侵规则线；
在出现疑似徘徊行为的行人运动至所述单向绊线入侵规则线时，控制所述第二相机按照快速抓拍速度采集图像。
本申请还提供了一种徘徊检测装置，所述徘徊检测装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如上述的徘徊检测方法。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的徘徊检测方法。
本申请的有益效果是：徘徊检测装置获取同一时刻采集的第一相机的第一检测图像，以及第二相机的第二检测图像；基于所述第一相机与所述第二相机的变换关系，将所述第二检测图像变换到所述第一检测图像的坐标系，得到所述第一检测图像与所述第二检测图像的融合图像；在所述融合图像检测行人的轨迹路径；基于所述轨迹路径，判断所述行人的往返次数是否大于预设次数；若是，则确认所述行人出现徘徊行为。通过上述方式，徘徊检测装置通过多相机拼接，实现较大范围的徘徊检测，通过多相机联动抓图，提高重点场所的人员徘徊识别率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的徘徊检测方法一实施例的流程示意图；
图2是本申请提供的徘徊检测方法一实施例的整体流程示意图；
图3是图1所示徘徊检测方法步骤S14的具体流程示意图；
图4是本申请提供的各个轨迹点斜率变化情况的示意图；
图5是本申请提供的徘徊检测方法另一实施例的流程示意图；
图6是本申请提供的徘徊检测装置一实施例的结构示意图；
图7是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请解决现有技术的问题的技术手段是通过预先存储的几种常见通用的特征物品，通过特征比对来智能的匹配用户想要设置的预置位置，即减少了用户手动调整摄像头方向的步骤，自动调整摄像头方向。
具体请参阅图1和图2，图1是本申请提供的徘徊检测方法一实施例的流程示意图，图2是本申请提供的徘徊检测方法一实施例的整体流程示意图。
其中，本申请的徘徊检测方法应用于一种徘徊检测装置，其中，本申请的徘徊检测装置可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，徘徊检测装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的徘徊检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
需要说明的是，本申请实施例中的徘徊检测装置上可以搭载在摄像机或者摄像头上，直接对摄像机或摄像头进行控制，也可以作为一种摄像机或摄像头。
如图2所示，本申请的基于多相机联动的徘徊检测方法主要包括相机联动配置、视频图片采集、图片质量评估、行人检测、轨迹分析、徘徊判断分析六个部分。
具体地，第一部分是相机联动配置，该部分先要设置主相机和辅相机，并使用单应性刚体变换空间采样技术得到辅相机拼接到主相机的单应性变化矩阵。第二部分是图片采集，该部分的实现是通过多个前端高清摄像头拍摄得到多个实时视频录像，再将实时的视频录像按秒截取图片存储到寄存器中。第三部分是图片质量评估，由于第二部分得到的图片可能存在遮挡、模糊等问题，因此在此部分对其进行筛选。第四部分是行人检测，使用检测精度高和检测速度快的YOLOv5进行实时分析。第五部分是轨迹分析，该部分使用第一部分得到的单应性变化矩阵对辅相机的图像与主相机的图像进行拼接，并使用基于YOLOv5的多行人跟踪算法对视频种检测到的行人进行跟踪，从而得到行人的轨迹。第六部分是徘徊判断分析，使用基于行人轨迹的检测方法，以轨迹点的斜率变化方向改变次数作为是否存在徘徊行为的依据。
下面通过具体的徘徊检测方法的实现流程继续介绍图2所示六个部分的具体内容：
具体而言，如图1所示，本申请实施例的徘徊检测方法具体包括以下步骤：
步骤S11：获取同一时刻采集的第一相机的第一检测图像，以及第二相机的第二检测图像。
在本申请实施例中，如图2所示的相机联动配置，使用多相机联动的徘徊检测需要关注相机的安装方式。
多台相机需要区分主相机和辅相机，主相机一般安装在重点场所的正面位置，多为近景相机；辅相机一般安装在重点场所的附近，用于扩展主相机的视野，与主相机存在一部分视野重合。在后续的识别和计算过程中，位置信息都会以主相机的位置进行标准化处理。在本申请实施例中，以第一相机作为主相机，以第二相机作为辅相机。在其他实施方式中，同样可以采用第一相机作为辅相机，第二相机作为主相机的设置方式。
因为行人的行走速度不会特别快，因此在进行图片采集时，主相机和辅相机使用正常抓拍速度vlow进行图片采集，每隔对应时间截取图片存储到寄存器中。
进一步地，本申请实施例还可以通过绊线入侵判定，实现主相机和辅相机的采集接力，使得存在疑似徘徊人员的相机使用快速抓拍速度vhigh进行采集，不存在疑似徘徊人员的相机使用vlow速度进行采集。一方面可以保证对疑似徘徊人员的精确抓拍，另一方面可以降低相机的抓拍资源。
步骤S12：基于第一相机与第二相机的变换关系，将第二检测图像变换到第一检测图像的坐标系，得到第一检测图像与所述第二检测图像的融合图像。
在本申请实施例中，在对检测图像进行处理之前，徘徊检测装置还可以对检测图像进行预处理和筛选。
具体请参阅图2所示的图片质量评估部分，截取的图片中，有些图片的效果不是很理想。可能会出现行人模糊分辨不出具体的个人特征或被遮挡的情况，会造成下一步无法进行识别，此类图片不予选择。因此，使用质量评估模型对图片进行评估，判断图像中行人的完整程度和模糊程度，设置阈值，对图片进行筛除。
经过图片质量评估之后，徘徊检测装置利用留下的检测图像进行融合：具体地，徘徊检测装置利用单应性变化矩阵，将辅相机的检测图像变换到主相机的检测图像上，并完成检测图像的融合拼接，得到融合图像。
由此，融合图像即可同时包括主相机和辅相机的采集范围，能够有效实现较大范围的徘徊检测。
步骤S13：在融合图像检测行人的轨迹路径。
在本申请实施例中，如图2所示的行人检测和轨迹分析两部分，徘徊检测装置通过对每帧融合图像检测行人的位置，再通过连续多帧的融合图像的行人位置，生成行人的轨迹路径。
具体地，在行人检测模块，使用YOLOv5模型进行检测。使用CIoU Loss作为目标回归的损失函数。同时采用混合精度进行训练用以减少模型大小。
在轨迹分析模块，首先，徘徊检测装置需要对于图片的行人检测提取行人的运动信息和外观特征。在提取运动信息过程中，由于使用多相机进行联动，需要对辅相机的行人检测数据进行处理，将其位置信息转换到主相机对应的位置。若同一时间点行人同时出现在主辅相机中，选用图像评估质量更佳的图片进行外观特征提取。
然后，徘徊检测装置将运动信息和外观特征的度量结果进行线性融合作为第一次度量，并将结果作为输入，使用匈牙利算法分析，得到关联结果并更新轨迹。然后对匹配失败的行人和轨迹使用IoU进行度量，再使用匈牙利算法进行第二次数据匹配，增加成功配对数量，提高跟踪准确率。需要说明的是，第二次数据匹配的针对的是运动信息和检测框和外观特征的检测框的交并比，匹配精度相对第一次数据匹配的匹配精度稍低一些，能够有效增加匹配成功率。
步骤S14：基于轨迹路径，判断行人的往返次数是否大于预设次数。
在本申请实施例中，徘徊检测装置根据轨迹路径，确定行人的行进方向，在行进方向发生改变，例如折返等情况，则计数往返次数。在预设时间段内，统计行人的往返次数，即可判断行人的往返次数是否大于预设次数，若大于，则确认该行人存在徘徊行为，进入步骤S15；若小于，则确认该行人不存在徘徊行为。
具体地，为了提高行人往返次数的统计数据的准确性，本申请提供了一种具体的徘徊判断的计算方式。具体请参阅图3，图3是图1所示徘徊检测方法步骤S14的具体流程示意图。
徘徊检测装置将同一行人的轨迹信息映射到第一象限，相邻的轨迹点斜率求差，对差值进行二值映射到1和-1。遍历统计一个轨迹片段内连续1的个数或连续-1的个数，对统计结果进行数据合并处理，若统一时间段内斜率变化次数大于阈值，则判定为徘徊；若小于或等于阈值，则判定为未发生徘徊行为。
具体而言，如图3所示，本申请实施例的徘徊检测方法具体包括以下步骤：
步骤S141：基于轨迹路径，获取行人在每个轨迹点的运动方向。
在本申请实施例中，徘徊检测装置将行人轨迹映射到坐标轴的第一象限，其中，坐标轴的原点则由融合图像的左下角坐标点确定。
当行人向同一方向运动时，其运动轨迹曲线上的任意一点pi＝(xi,yi)，与原点坐标C＝(x0,y0)连线的斜率变化方向是一致的，其中i的取值范围为0到N。通过斜率的变化可以反应轨迹点和x轴夹角的变化。行人向同一方向运动时，各个轨迹点斜率变化情况，如图4所示。
本申请的斜率计算公式如下
由于在行人识别中使用了最小外接矩形框来标注行人的位置，因此，本申请实施例采用矩形框的中心点作为轨迹曲线的生成点，减少由于矩形框的形变引起的异常轨迹点问题。
徘徊检测装置对于轨迹中的每一个轨迹点求取斜率，相邻的轨迹点斜率求差，并对差值进行二值化映射，当斜率差值时ki>0，其在对应位置的取值为1，说明在该轨迹点，行人沿相同运动方向行走。当ki<0时，其在对应的位置取值为-1，说明在该轨迹点，行人沿相反运动方向行走。
步骤S142：基于行人在单位时间的运动方向变换次数，获取行人的往返次数。
在本申请实施例中，徘徊检测装置将连续的1和-1进行合并，记录单位时间内的不连续个数，即“1，-1”，以及“-1,1”的取值组合数量，作为行人的往返次数。
步骤S15：确认行人出现徘徊行为。
在本申请实施例中，当行人的轨迹路径中不连续个数Ir大于阈值p时，判定该行人出现徘徊行为。
在本申请实施例中，徘徊检测装置获取同一时刻采集的第一相机的第一检测图像，以及第二相机的第二检测图像；基于所述第一相机与所述第二相机的变换关系，将所述第二检测图像变换到所述第一检测图像的坐标系，得到所述第一检测图像与所述第二检测图像的融合图像；在所述融合图像检测行人的轨迹路径；基于所述轨迹路径，判断所述行人的往返次数是否大于预设次数；若是，则确认所述行人出现徘徊行为。通过上述方式，徘徊检测装置通过多相机拼接，实现较大范围的徘徊检测，通过多相机联动抓图，提高重点场所的人员徘徊识别率。
请继续参阅图2所示的相机图片采集部分，继续参阅图5，图5是本申请提供的徘徊检测方法另一实施例的流程示意图。
具体而言，如图5所示，本申请实施例的徘徊检测方法具体包括以下步骤：
步骤S21：基于轨迹路径，判断行人的往返次数是否大于预设次数的一半。
在本申请实施例中，为了减少处理的数据量，相机图片采集使用绊线入侵进行多相机联动的抓图。
步骤S22：确认行人出现疑似徘徊行为。
步骤S23：控制第一相机，和/或第二相机按照快速抓拍速度采集图像，其中，快速抓拍速度高于正常抓拍速度。
在本申请实施例中，未发现疑似徘徊人员时，主辅相机以较慢速率vlow进行抓图，当主/辅相机发现疑似徘徊行为，主/辅相机使用较快的速度vhigh进行抓图。
需要说明的是，行人在规定区域内停留时长超过t1或是不连续个数Ir大于时，判定为疑似徘徊行为。
进一步地，对于行人触发疑似徘徊行为时，行人所处的具体位置，本申请还提供了以下相机采集速度的设计方案：
若疑似徘徊人员出现在主相机中(不含主辅相机的交界区域)时，主相机以速度vhigh进行抓图，辅相机以速度vlow进行抓图。将辅相机的边界使用单应性变换得到主相机中的单向绊线入侵规则线rule1(从主相机向辅相机方向)。
当疑似徘徊人员在主相机中触发绊线入侵时，辅相机开始使用速度vhigh进行抓图。将主相机的边界使用单应性变换得到辅相机中的单向绊线入侵规则线rulw2(从主相机向辅相机方向)。当疑似徘徊人员在辅相机中触发绊线入侵时，则主相机恢复使用速度vlow进行抓图。
若疑似徘徊人员出现在辅相机中(不含主辅相机的交界区域)时，辅相机以速度vhigh进行抓图，主相机以速度vlow进行抓图。将主相机的边界变换到辅相机中的单项绊线入侵规则线rule3(从辅相机向主相机方向)。
当疑似徘徊人员在辅相机中触发绊线入侵时，主相机使用速度vhigh进行抓图。将辅相机的边界使用单应性变换得到主相机中的单向绊线入侵规则线rule4(从辅相机向主相机方向)。当疑似徘徊人员在主相机中触发绊线入侵时，则辅相机恢复使用速度进行抓图vlow。
若疑似徘徊人员出现在主辅相机的交界区域时，主相机和辅相机都使用速度vhigh进行抓图。
本申请实施例中，徘徊检测装置使用单应性刚体变换空间采样技术进行图像匹配，从而使用多摄像头联动的方式徘徊的判定，可以实现徘徊范围较大的情况下的识别，实现较大范围的徘徊检测。徘徊检测装置通过采集行人的轨迹的数据，利用数据的斜率的变化进行徘徊判断。徘徊检测装置通过绊线入侵实现多相机联动抓图，减少处理数据量。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的徘徊检测方法，本申请还提出了一种徘徊检测装置，具体请参阅图6，图6是本申请提供的徘徊检测装置一实施例的结构示意图。
本申请实施例的徘徊检测装置300包括存储器31和处理器32，其中，存储器31和处理器32耦接。
存储器31用于存储程序数据，处理器32用于执行程序数据以实现上述实施例所述的徘徊检测方法。
在本实施例中，处理器32还可以称为CPU(Central Processing Unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、现场可编程门阵列(FPGA，Field Programmable GateArray)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器32也可以是任何常规的处理器等。
为实现上述实施例的徘徊检测方法，本申请还提供了一种计算机可读存储介质，如图7所示，计算机可读存储介质400用于存储程序数据41，程序数据41在被处理器执行时，用以实现如上述实施例所述的徘徊检测方法。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的徘徊检测方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的徘徊检测方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种徘徊检测方法，其特征在于，所述徘徊检测方法包括：
获取同一时刻采集的第一相机的第一检测图像，以及第二相机的第二检测图像；
基于所述第一相机与所述第二相机的变换关系，将所述第二检测图像变换到所述第一检测图像的坐标系，得到所述第一检测图像与所述第二检测图像的融合图像；
在所述融合图像检测行人的轨迹路径；
基于所述轨迹路径，判断所述行人的往返次数是否大于预设次数；
若是，则确认所述行人出现徘徊行为。
2.根据权利要求1所述的徘徊检测方法，其特征在于，
所述在所述融合图像检测行人的轨迹路径，包括：
在多帧融合图像中提取所述行人的运动信息和外观特征；
将每帧融合图像的行人的运动信息和外观特征进行线性融合，得到第一次度量信息；
对所述多帧融合图像的第一次度量信息进行关联，获取第一关联结果；
获取匹配失败的运动信息的检测框和外观特征的检测框的交并比，得到第二次度量信息；
对匹配失败的第二次度量信息进行关联，获取第二关联结果；
根据所述第一关联结果和所述第二关联结果，生成所述行人的轨迹路径。
3.根据权利要求2所述的徘徊检测方法，其特征在于，
所述在多帧融合图像中提取所述行人的运动信息和外观特征，包括：
在所述融合图像中，若所述行人同时出现在第一检测图像以及变换后的第二检测图像时，获取所述第一检测图像的第一图像质量，和所述第二检测图像的第二图像质量；
在所述第一图像质量高于所述第二图像质量时，从所述第一检测图像提取所述行人的运动信息和外观特征；
在所述第一图像质量低于所述第二图像质量时，从所述第二检测图像提取所述行人的运动信息和外观特征。
4.根据权利要求1所述的徘徊检测方法，其特征在于，
所述徘徊检测方法，还包括：
基于所述轨迹路径，获取所述行人在每个轨迹点的运动方向；
基于所述行人在单位时间的运动方向变换次数，获取所述行人的往返次数。
5.根据权利要求4所述的徘徊检测方法，其特征在于，
所述基于所述轨迹路径，获取所述行人在每个轨迹点的运动方向，包括：
将所述轨迹路径映射到所述融合图像坐标轴的第一象限；
获取每一轨迹点与坐标原点的斜率；
基于相邻轨迹点的斜率差值，确定所述每一轨迹点的运动方向。
6.根据权利要求5所述的徘徊检测方法，其特征在于，
所述基于相邻轨迹点的斜率差值，确定所述每一轨迹点的运动方向，包括：
获取当前轨迹点与相邻轨迹点的斜率差值；
在所述斜率差值大于0时，将所述当前轨迹点的运动方向取值为第一预设值；
在所述斜率差值小于0时，将所述当前轨迹点的运动方向取值为第二预设值；
所述基于所述行人在单位时间的运动方向变换次数，获取所述行人的往返次数，包括：
获取所述行人的轨迹路径的所有轨迹点的运动方向取值；
确定运动方向取值组合在所述所有轨迹点中的出现次数，作为所述行人的往返次数；
其中，所述运动方向取值组合为相邻运动方向取值为第一预设值和第二预设值。
7.根据权利要求1所述的徘徊检测方法，其特征在于，
所述在所述融合图像检测行人的轨迹路径之后，所述徘徊检测方法还包括：
基于所述轨迹路径，判断所述行人的往返次数是否大于预设次数的一半；
若是，则确认所述行人出现疑似徘徊行为；
控制所述第一相机，和/或第二相机按照快速抓拍速度采集图像，其中，所述快速抓拍速度高于正常抓拍速度。
8.根据权利要求7所述的徘徊检测方法，其特征在于，
所述控制所述第一相机，和/或第二相机按照快速抓拍速度采集图像，包括：
在所述疑似徘徊行为出现在所述第一检测图像内时，控制所述第一相机按照快速抓拍速度采集图像，所述第二相机按照正常抓拍速度采集图像；
在所述疑似徘徊行为出现在所述第二检测图像内时，控制所述第一相机按照正常抓拍速度采集图像，所述第二相机按照快速抓拍速度采集图像；
在所述疑似徘徊行为出现在所述融合图像中第一检测图像和变换后的第二检测图像的交界区域时，控制所述第一相机按照快速抓拍速度采集图像，所述第二相机按照快速抓拍速度采集图像。
9.根据权利要求8所述的徘徊检测方法，其特征在于，
所述控制所述第一相机按照快速抓拍速度采集图像，所述第二相机按照正常抓拍速度采集图像之后，所述徘徊检测方法还包括：
将所述第二相机的边界根据所述变换关系变换到所述第一相机的单向绊线入侵规则线；
在出现疑似徘徊行为的行人运动至所述单向绊线入侵规则线时，控制所述第二相机按照快速抓拍速度采集图像。
10.一种徘徊检测装置，其特征在于，所述徘徊检测装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-9任一项所述的徘徊检测方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1-9任一项所述的徘徊检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310513619.1A CN116704216A (zh) | 2023-05-06 | 2023-05-06 | 徘徊检测方法、徘徊检测装置以及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310513619.1A CN116704216A (zh) | 2023-05-06 | 2023-05-06 | 徘徊检测方法、徘徊检测装置以及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116704216A true CN116704216A (zh) | 2023-09-05 |
Family
ID=87842375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310513619.1A Pending CN116704216A (zh) | 2023-05-06 | 2023-05-06 | 徘徊检测方法、徘徊检测装置以及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704216A (zh) |
-
2023
- 2023-05-06 CN CN202310513619.1A patent/CN116704216A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020094091A1 (zh) | 一种图像抓拍方法、监控相机及监控系统 | |
| US8891826B2 (en) | Image processing system, image processing method, and computer program | |
| US8314854B2 (en) | Apparatus and method for image recognition of facial areas in photographic images from a digital camera | |
| JP6561830B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| CN107818573B (zh) | 一种目标跟踪方法及装置 | |
| EP2801078B1 (en) | Context aware moving object detection | |
| CN109711318B (zh) | 一种基于视频流的多人脸检测与跟踪方法 | |
| KR101910542B1 (ko) | 객체 검출을 위한 영상분석 서버장치 및 방법 | |
| WO2020094088A1 (zh) | 一种图像抓拍方法、监控相机及监控系统 | |
| JP6551226B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| US20090310822A1 (en) | Feedback object detection method and system | |
| KR102002812B1 (ko) | 객체 검출을 위한 영상분석 서버장치 및 방법 | |
| JP2007066124A (ja) | 背景画像生成方法とその装置及び画像監視システム | |
| CN107122743B (zh) | 安防监控方法、装置和电子设备 | |
| JPWO2014155958A1 (ja) | 対象物監視システム、対象物監視方法および監視対象抽出プログラム | |
| Sharma | Human detection and tracking using background subtraction in visual surveillance | |
| KR100885418B1 (ko) | 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법 | |
| CN110855932B (zh) | 基于视频数据的报警方法、装置、电子设备及存储介质 | |
| TWI476735B (zh) | 攝影機異常種類辨識方法及可偵測攝影異常的監視主機 | |
| CN116704216A (zh) | 徘徊检测方法、徘徊检测装置以及计算机可读存储介质 | |
| CN110572618B (zh) | 一种非法拍照行为监控方法、装置及系统 | |
| US20160364604A1 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus | |
| CN116071813A (zh) | 一种场景检测方法、装置、介质及设备 | |
| CN112738387A (zh) | 目标抓拍方法、装置及存储介质 | |
| KR20030045392A (ko) | 카메라를 사용한 얼굴 영상 자동 촬영 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |