CN109684916A - 基于路径轨迹数据异常检测方法、系统、设备及存储介质 - Google Patents

基于路径轨迹数据异常检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN109684916A
CN109684916A CN201811348058.XA CN201811348058A CN109684916A CN 109684916 A CN109684916 A CN 109684916A CN 201811348058 A CN201811348058 A CN 201811348058A CN 109684916 A CN109684916 A CN 109684916A
Authority
CN
China
Prior art keywords
pedestrian
path locus
video image
model
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811348058.XA
Other languages
English (en)
Other versions
CN109684916B (zh
Inventor
周曦
何洪路
杭堃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengrui (chongqing) Research Institute Of Artificial Intelligence Technology Co Ltd
Original Assignee
Hengrui (chongqing) Research Institute Of Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengrui (chongqing) Research Institute Of Artificial Intelligence Technology Co Ltd filed Critical Hengrui (chongqing) Research Institute Of Artificial Intelligence Technology Co Ltd
Priority to CN201811348058.XA priority Critical patent/CN109684916B/zh
Publication of CN109684916A publication Critical patent/CN109684916A/zh
Application granted granted Critical
Publication of CN109684916B publication Critical patent/CN109684916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于路径轨迹数据异常检测方法、系统、设备及存储介质，该方法包括：获取视频图像中行人的路径轨迹；提取所述行人的路径轨迹所对应的特征点，将其分成不同类型的监控人群；基于神经网络采用预先标定的不同类型的监控人群的路径轨迹作为训练集来拟合参数进行训练得到检测模型；调用所述检测模型检测所述视频图像中行人的路径轨迹，检测其为是否为正常人员。以不同种类的监控人群为训练集利用深度神经网络通过无监督与有监督相结合的方式训练检测模型，提高了训练与预测的准确度；使其能够根据行人的路径轨迹自动发现非正常人员，以预警方式协助工作人员开展安防监控。

Description

基于路径轨迹数据异常检测方法、系统、设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于路径轨迹数据异常检测方法、系统、设备及存储介质。
背景技术
科学技术的进步为人们带来了长足的方便，一切科技的进步都源于人类美好的愿景；尤其进入信息时代后，只有想不到没有做不到的事情，人们通过自身的智慧不断的突破各个领域的难题，使生活日新月异。顾名思义，信息时代即以计算机技术为主体的时代，通过计算机技术的运用，人们生活产生了翻天覆地的变化，比如通过计算机技术实现了：平安城市“天网”监控建设、智能家电控制、智能门禁控制等。
在近十年，各地平安城市“天网”监控项目投入巨额资金，建设了大量的治安监控摄像机，截止到今天，我们所处的城市中已经遍布“天网”监控摄像机，存储了大量安防数据。然而，从治安监控的角度来讲，依然没有解决在监控辖区内的活动范围与数量实现实时监控，及时发现异常，发出警报以预警，而如何利用好这些监控资源，用什么技术和方法来发现监控辖区内出现的人群(行人)活动异常，如何及时预警，依然是一个亟待解决的难题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于路径轨迹数据异常检测方法、系统、设备及存储介质，用于解决现有技术中无法从视频监控中检测到行人的运动轨迹是否异常的问题。
为实现上述目的及其他相关目的，本发明提供一种基于路径轨迹数据异常检测方法，包括：
获取视频图像中行人的路径轨迹；
提取所述行人的路径轨迹所对应的特征点，将其分成不同类型的监控人群；
基于神经网络采用预先标定的不同类型的监控人群的路径轨迹作为训练集来拟合参数进行训练得到检测模型；
调用所述检测模型检测所述视频图像中行人的路径轨迹，检测其为是否为正常人员。
本发明的另一目的在于提供一种基于路径轨迹数据异常检测系统，包括：
轨迹获取模块，用于获取视频图像中行人的路径轨迹；
特征提取模块，用于提取所述行人的路径轨迹所对应的特征点，将其分成不同类型的监控人群；
模型训练模块，用于基于神经网络采用预先标定的不同类型的监控人群的路径轨迹作为训练集来拟合参数进行训练得到检测模型；
检测模块，用于调用所述检测模型检测所述视频图像中行人的路径轨迹，检测其为是否为正常人员。
于本发明的另一目的在于提供一种计算设备，包括：
一个或多个处理器；和
存储器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明还有一目的在于存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行上述的方法中的任一方法。
如上所述，本发明的基于路径轨迹数据异常检测方法、系统、设备及存储介质，具有以下有益效果：
通过大量视频监控中行人的路径轨迹进行分析，提取各个所述行人的路径轨迹对应特征点，按其特征点将行人划分成不同种类监控人群，以不同种类的监控人群为训练集利用深度神经网络通过无监督与有监督相结合的方式训练检测模型，提高了训练与预测的准确度；使其能够根据行人的路径轨迹自动发现非正常人员，以预警方式协助工作人员开展安防监控。
附图说明
图1显示为本发明提供的一种基于路径轨迹数据异常检测方法流程示意图；
图2显示为本发明提供的一种基于路径轨迹数据异常检测方法中步骤S1流程示意图；
图3显示为本发明提供的一种基于路径轨迹数据异常检测方法中步骤S4流程示意图；
图4显示为本发明提供的一种基于路径轨迹数据异常检测系统结构框图；
图5显示为本发明提供的一种基于路径轨迹数据异常检测系统一实施例结构框图；
图6显示为本发明提供的一种基于路径轨迹数据异常检测系统另一实施例结构框图；
图7显示为本发明提供的一种包含路径轨迹数据异常检测方法的计算设备结构框图；
图8至图10分别显示为本发明提供的一种基于路径轨迹数据异常检测的实施例图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，为本发明提供的一种基于路径轨迹数据异常检测方法流程示意图，包括：
步骤S101，获取视频图像中行人的路径轨迹；
其中，视频图像可以为完整的视频数据，也可以为多个摄像头通过多段视频数据的拼接组合，而该视频数据格式包括VCD、WMV、AVI等；摄像头安装在摄城市内各个角落、街道组成摄像网络；拼接是指将分散的多段视频进行结合；摄像网络采集到的多段监控视频将被汇聚至同一个服务器，可以按照不同的地区存入不同的数据库，也可以对相同时间段的监控视频进行拼接，并按照不同时间段存入不同的数据库；时间段可以按照小时划分，如以两小时为一个时间段，从0点-2点起算；也可以按照人员的活跃程度划分，如上午7点-9点为上班行走高峰期划为一个时间段，9点开始到中午12点为工作时间划为一个时间段等；优选为按照活跃程度划分，因为上下班高峰期以及深夜为事故高发时段，因此该时间段虽然短，但是监控数据中的人为活动频度会比较高，在进行行为监控时可以优先进行寻找、追踪，从而在排除偶然事件的前提下，节省了事后追查的时间，提高了追查效率。
步骤S102，提取所述行人的路径轨迹所对应的特征点，将其分成不同类型的监控人群；
具体地，根据所述视频图像中行人的路径轨迹在时间、地点、以及所述行人在某时间某地点所出现的密集程度与频率提取所述行人所对应的特征点，按照所述特征点将监控人员分为若干类型存储于特征库。
步骤S103，基于神经网络采用预先标定的不同类型的监控人群的路径轨迹作为训练集来拟合参数进行训练得到检测模型；
具体地，基于神经网络架构采用预先标定的不同类型的监控人群的路径轨迹为训练集联合训练wide模型与deep模型，以所述wide模型与deep模型的加权和为预测结果。
步骤S104，调用所述检测模型检测所述视频图像中行人的路径轨迹，检测其为是否为正常人员。
在本实施例中，采用人脸识别与跨境追踪技术共同识别行人的路径轨迹，基于深度学习网络反向训练检测模型，使其在数据库中能够分析行人的路径轨迹，根据路径轨迹的特征点进行判断，使其能够自动发现非正常人员，以预警方式协助工作人员展开重点监控，以提高监控。
请参阅图2，为本发明提供的一种基于路径轨迹数据异常检测方法中步骤S1流程示意图，详述如下：
步骤S201，获取所述视频图像中行人各自对应的人脸图像；
其中，采用人脸检测算法获取视频图像中人脸；例如，生成人脸检测模型；如，训练人脸检测器，通过训练得到人脸模型，依据人脸模型对目标对象的检测，获得检测框；提取所述检测框的人脸特征点，并据其进行相似度计算，获得所述特征数据，考虑到人脸图像有遮挡、或图像不清晰导致无法识别人脸的原因，结合步骤S202至S203可有效克服上述问题，也能够识别行人的路径轨迹，达到精确跟踪，监控的目的。
步骤S202，当所述视频图像中人脸图像达到识别标准，则采用人脸识别检测行人；
其中，当检测到人脸图像符合识别标准，如、图像清晰度、人脸完整度都满足要求，即可采集人脸识别方式进行检测，以实现行人的识别，例如：通过深度学习算法提取所述目标样本中人体图片的人脸特征点，并据其对所述人体图片中的人脸进行质量打分；将人脸质量进行比对，选取人脸质量分数最高的人体图片，并从中截取获得所述人脸照片。人体图片是指包含人脸和身体的图片；提取目标样本中的人脸特征点并且确定其位置(人脸框)，再判断上述位置中的人脸与正脸的相似度，据其得到质量分数；选择分数最高的，并根据人脸框截取出人体图片中的人脸，得到人脸照片。通过人脸照片可以确定目标对象的身份，从而便于追查。
步骤S203，当所述视频图像中人脸图像未达到识别标准，则采用跨境追踪技术检测行人；
其中，跨镜追踪(Person Re-Identification，简称ReID)技术是现在计算机视觉研究的热门方向，主要解决跨摄像头跨场景下行人的识别与检索。该技术能够根据行人的穿着、体态、发型等信息认知行人。
具体地，通过两种识别模式相结合，有效提高识别性能；通过人体识别模式进行检测后跟踪，避免了因为人脸看不清导致无法通过人脸识别实现对目标人物的人脸的检测与跟踪，根据行人的人体特征识别行人。
步骤S204，以检测的所述行人为依据在所述视频图像中按照该行人的时间与地点形成其对应的路径轨迹，其中，所述路径轨迹包含行人的时间或地点。
在本实施例中，由于每张图像或视频图像中行人的运动轨迹都有对应的时间信息和位置信息，根据运动轨迹的时间先后顺序将同一行人的路径信息生成路径轨迹，方便后续对路径轨迹进行分析。
在上述实施例中，通过联合训练wide模型与deep模型，以所述wide模型与deep模型的加权和为预测结果，其中，wide模型为广义线性模型，如：(y＝wTx+by＝wTx+b，其中，特征x为dd维的向量，w为模型参数，y的基础上增加了sigmoid函数作为最终输出)，输入特征可以是连续特征，也可以是稀疏的离散特征，离散特征之间进行交叉后可以构成更高维的离散特征。线性模型训练中通过L1正则化，能够很快收敛到有效的特征组合中。deep端对应的是DNN模型(a(l+1)＝f(W(l)a(l)+b(l))a(l+1)＝f(W(l)a(l)+b(l))其中，f为激活函数，如，relus)，每个特征对应一个低维的实数向量，我们称之为特征的embedding。DNN模型通过反向传播调整隐藏层的权重，并且更新特征的embedding。wide and deep整个模型的输出是线性模型输出与DNN模型输出的叠加，详见如下：
P(Y＝1x)＝σ(wTwide[x,φ(x)]+wTdeepa(lf)+b)P(Y＝1∣x)＝σ(wwideT[x,φ(x)]+wdeepTa(lf)+b)
模型的训练采用联合训练(joint training)，模型的训练误差会同时反馈到线性模型和DNN模型中进行参数更新。相比于ensemble learning中单个模型进行独立训练，模型的融合仅在最终做预测阶段进行，joint training中模型的融合是在训练阶段进行的，单个模型的权重更新会受到wide端和deep端对模型训练误差的共同影响。因此在模型的特征设计阶段，wide端模型和deep端模型只需要分别专注于擅长的方面，wide端模型通过离散特征的交叉组合进行memorization，deep端模型通过特征的embedding进行generalization，这样单个模型的大小和复杂度也能得到控制，而提高了整体模型的性能。
请参阅图3，为本发明提供的一种基于路径轨迹数据异常检测方法中步骤S1流程示意图，详述如下：
步骤S301，当检测到所述视频图像中行人集合于某地时，根据所述视频图像中行人的路径轨迹的出现频率高于第一预设值时，则将该行人视为维稳人员；
其中，行人集合中某个地点，即，同一时间段在同一地点的运动轨迹相交重合，详见附图8中红点区域，通过与以往的历史数据比对，找出重复出现次数较多的行人，可根据经验值进行调整第一预设值，从而发现需重点维稳人员。
步骤S302，当检测到所述视频图像中行人的路径轨迹以群体出现在稳定且分散的地点时，且其出现频率低于第二预设值时，则将该行人视为涉毒嫌疑人员；
其中，详见附图9中红点区域为分散的多个地点，而将路径轨迹转化成附图9的样式进行显示，方便工作人员直观了解监控状态，同时，通过检测模型自动判断是否有涉毒嫌疑人员，可有效减轻工作人员的工作量。
步骤S303，当检测到所述视频图像中行人的路径轨迹范围广且在非正常时间段内出现于某地点时，结合人脸识别方式判断该行人是否为惯犯(犯罪前科的人员)，如果是，则将该行人视为盗窃嫌疑人员。
其中，详见图10，在非正常时间段，如，凌晨等时间段内，只有极少数的行人出现在范围较广的区域，通过人脸识别方式判断该行人是否为盗窃嫌疑人员。
具体地，当发现了非正常人员，将结果发送至用户显示界面，产生报警信息提醒工作人员。
在本实施例中，通过挖掘行人的路径轨迹信息，判断出行人是否为正常人(非正常人员包含涉嫌维稳人员、涉毒嫌疑人员与盗窃嫌疑人员等)，有效的减轻了工作人员用人去判断的标准，提高了预测判断的准确率，提高了识别效率，同时，减少了工作人员的人为工作量，使其具有自动识别的智能效果。
请参阅图4，为本发明提供一种基于路径轨迹数据异常检测系统结构框图，包括：
轨迹获取模块1，用于获取视频图像中行人的路径轨迹；
特征提取模块2，用于提取所述行人的路径轨迹所对应的特征点，将其分成不同类型的监控人群；
具体地，根据所述视频图像中行人的路径轨迹在时间、地点、以及所述行人在某时间某地点所出现的密集程度与频率提取所述行人所对应的特征点，按照所述特征点将监控人员分为若干类型存储于特征库。
模型训练模块3，用于基于神经网络采用预先标定的不同类型的监控人群的路径轨迹作为训练集来拟合参数进行训练得到检测模型；
具体地，基于神经网络架构采用预先标定的不同类型的监控人群的路径轨迹为训练集联合训练wide模型与deep模型，以所述wide模型与deep模型的加权和为预测结果。
检测模块4，用于调用所述检测模型检测所述视频图像中行人的路径轨迹，检测其为是否为正常人员。
在本实施例中，采用人脸识别与跨境追踪技术共同识别行人的路径轨迹，基于深度学习网络反向训练检测模型，使其在数据库中能够分析行人的路径轨迹，根据路径轨迹的特征点进行判断，使其能够自动发现非正常人员，以预警方式协助工作人员展开重点监控，以提高监控。
请参阅图5，为本发明提供的一种基于路径轨迹数据异常检测系统一实施例结构框图，详述如下：
人脸获取单元11，用于获取所述视频图像中行人各自对应的人脸图像；
人脸识别单元12，用于当所述视频图像中人脸图像达到识别标准，则采用人脸识别检测行人；
人体识别单元13，用于当所述视频图像中人脸图像未达到识别标准，则采用跨境追踪技术检测行人；
轨迹提取单元14，用于以检测的所述行人为依据在所述视频图像中按照该行人的时间与地点形成其对应的路径轨迹，其中，所述路径轨迹包含行人的时间或地点。
请参阅图6，为本发明提供的一种基于路径轨迹数据异常检测系统另一实施例结构框图，详述如下：
第一检测单元41，用于当检测到所述视频图像中行人集合于某地时，根据所述视频图像中行人的路径轨迹的出现频率高于第一预设值时，则将该行人视为维稳人员；
第二检测单元42，用于当检测到所述视频图像中行人的路径轨迹以群体出现在稳定且分散的地点时，且其出现频率低于第二预设值时，则将该行人视为涉毒嫌疑人员；
第三检测单元43，当检测到所述视频图像中行人的路径轨迹范围广且在非正常时间段内出现于某地点时，结合人脸识别方式判断该行人是否为惯犯，如果是，则将该行人视为盗窃嫌疑人员。
由于该系统与上述方法为一一对应关系，其涉及的技术细节与技术效果参照上述方法实施例，在此不一一赘述。
请参阅图7，为本发明提供一种计算设备，包括：
一个或多个处理器50；和
存储器51；
一个或多个程序(计算机程序52)，其中所述一个或多个程序存储在所述存储器中51并被配置为由所述一个或多个处理器50执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行上述的方法中的任一方法。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能
综上所述，本发明通过大量视频监控中行人的路径轨迹进行分析，提取各个所述行人的路径轨迹对应特征点，按其特征点将行人划分成不同种类监控人群，以不同种类的监控人群为训练集利用深度神经网络通过无监督与有监督相结合的方式训练检测模型，提高了训练与预测的准确度；使其能够根据行人的路径轨迹自动发现非正常人员，以预警方式协助工作人员开展安防监控。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种基于路径轨迹数据异常检测方法，其特征在于，所述方法包括以下步骤：
获取视频图像中行人的路径轨迹；
提取所述行人的路径轨迹所对应的特征点，将其分成不同类型的监控人群；
基于神经网络采用预先标定的不同类型的监控人群的路径轨迹作为训练集来拟合参数进行训练得到检测模型；
调用所述检测模型检测所述视频图像中行人的路径轨迹，检测其为是否为正常人员。
2.根据权利要求1所述的基于路径轨迹数据异常检测方法，其特征在于，所述获取视频图像中行人的路径轨迹的步骤，包括：
获取所述视频图像中行人各自对应的人脸图像；
当所述视频图像中人脸图像达到识别标准，则采用人脸识别检测行人；
当所述视频图像中人脸图像未达到识别标准，则采用跨境追踪技术检测行人；
以检测的所述行人为依据在所述视频图像中按照该行人的时间与地点形成其对应的路径轨迹，其中，所述路径轨迹包含行人的时间或地点。
3.根据权利要求1所述的基于路径轨迹数据异常检测方法，其特征在于，所述提取所述行人的路径轨迹所对应的特征点，将其分成不同类型的监控人群的步骤，包括：
根据所述视频图像中行人的路径轨迹在时间、地点、以及所述行人在某时间某地点所出现的密集程度与频率提取所述行人所对应的特征点，按照所述特征点将监控人员分为若干类型存储于特征库。
4.根据权利要求1所述的基于路径轨迹数据异常检测方法，其特征在于，所述基于神经网络采用标定的不同类型的监控人群的路径轨迹作为训练集来拟合参数进行训练得到检测模型的步骤，包括：
基于神经网络架构采用预先标定的不同类型的监控人群的路径轨迹为训练集联合训练wide模型与deep模型，以所述wide模型与deep模型的加权和为预测结果。
5.根据权利要求1所述的基于路径轨迹数据异常检测方法，其特征在于，所述调用所述检测模型检测所述视频图像中行人的路径轨迹，检测其为是否为正常人员的步骤，包括：
当检测到所述视频图像中行人集合于某地时，根据所述视频图像中行人的路径轨迹的出现频率高于第一预设值时，则将该行人视为维稳人员；
当检测到所述视频图像中行人的路径轨迹以群体出现在稳定且分散的地点时，且其出现频率低于第二预设值时，则将该行人视为涉毒嫌疑人员；
当检测到所述视频图像中行人的路径轨迹范围广且在非正常时间段内出现于某地点时，结合人脸识别方式判断该行人是否为惯犯，如果是，则将该行人视为盗窃嫌疑人员。
6.一种基于路径轨迹数据异常检测系统，其特征在于，所述系统包括：
轨迹获取模块，用于获取视频图像中行人的路径轨迹；
特征提取模块，用于提取所述行人的路径轨迹所对应的特征点，将其分成不同类型的监控人群；
模型训练模块，用于基于神经网络采用预先标定的不同类型的监控人群的路径轨迹作为训练集来拟合参数进行训练得到检测模型；
检测模块，用于调用所述检测模型检测所述视频图像中行人的路径轨迹，检测其为是否为正常人员。
7.根据权利要求6所述的基于路径轨迹数据异常检测系统，其特征在于，所述轨迹获取模块进一步包括：
人脸获取单元，用于获取所述视频图像中行人各自对应的人脸图像；
人脸识别单元，用于当所述视频图像中人脸图像达到识别标准，则采用人脸识别检测行人；
人体识别单元，用于当所述视频图像中人脸图像未达到识别标准，则采用跨境追踪技术检测行人；
轨迹提取单元，用于以检测的所述行人为依据在所述视频图像中按照该行人的时间与地点形成其对应的路径轨迹，其中，所述路径轨迹包含行人的时间或地点。
8.根据权利要求6所述的基于路径轨迹数据异常检测系统，其特征在于，所述特征提取模块进一步包括：
根据所述视频图像中行人的路径轨迹在时间、地点、以及所述行人在某时间某地点所出现的密集程度与频率提取所述行人所对应的特征点，按照所述特征点将监控人员分为若干类型存储于特征库。
9.根据权利要求6所述的基于路径轨迹数据异常检测系统，其特征在于，所述模型训练模块进一步包括：
基于神经网络架构采用预先标定的不同类型的监控人群的路径轨迹为训练集联合训练wide模型与deep模型，以所述wide模型与deep模型的加权和为预测结果。
10.根据权利要求6所述的基于路径轨迹数据异常检测系统，其特征在于，所述检测模块进一步包括：
第一检测单元，用于当检测到所述视频图像中行人集合于某地时，根据所述视频图像中行人的路径轨迹的出现频率高于第一预设值时，则将该行人视为维稳人员；
第二检测单元，用于当检测到所述视频图像中行人的路径轨迹以群体出现在稳定且分散的地点时，且其出现频率低于第二预设值时，则将该行人视为涉毒嫌疑人员；
第三检测单元，用于当检测到所述视频图像中行人的路径轨迹范围广且在非正常时间段内出现于某地点时，结合人脸识别方式判断该行人是否为惯犯，如果是，则将该行人视为盗窃嫌疑人员。
11.一种计算设备，其特征在于，包括：
一个或多个处理器；和
存储器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-5所述方法中的任一方法的指令。
12.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-5所述的方法中的任一方法。
CN201811348058.XA 2018-11-13 2018-11-13 基于路径轨迹数据异常检测方法、系统、设备及存储介质 Active CN109684916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811348058.XA CN109684916B (zh) 2018-11-13 2018-11-13 基于路径轨迹数据异常检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811348058.XA CN109684916B (zh) 2018-11-13 2018-11-13 基于路径轨迹数据异常检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109684916A true CN109684916A (zh) 2019-04-26
CN109684916B CN109684916B (zh) 2020-01-07

Family

ID=66184707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811348058.XA Active CN109684916B (zh) 2018-11-13 2018-11-13 基于路径轨迹数据异常检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109684916B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263633A (zh) * 2019-05-13 2019-09-20 广州烽火众智数字技术有限公司 基于时空关联的涉毒人员检测预警方法、系统及存储介质
CN110634093A (zh) * 2019-09-26 2019-12-31 四川科瑞软件有限责任公司 针对涉毒人员的出行分析方法
CN110766895A (zh) * 2019-09-17 2020-02-07 重庆特斯联智慧科技股份有限公司 基于目标轨迹分析的智慧社区异常报警系统及方法
CN110830515A (zh) * 2019-12-13 2020-02-21 支付宝(杭州)信息技术有限公司 流量检测方法、装置、电子设备
CN110837783A (zh) * 2019-10-22 2020-02-25 恒大智慧科技有限公司 智慧社区中外来可疑人物自动警告方法、设备及存储介质
CN111062823A (zh) * 2019-09-26 2020-04-24 北京明略软件系统有限公司 一种社交图谱分析方法、装置及存储介质
CN111177714A (zh) * 2019-12-19 2020-05-19 未鲲(上海)科技服务有限公司 异常行为检测方法、装置、计算机设备和存储介质
CN111611894A (zh) * 2020-05-14 2020-09-01 深圳中科慧据科技有限公司 人员轨迹预测方法、装置、计算机设备及存储介质
CN112183170A (zh) * 2019-07-05 2021-01-05 浙江宇视科技有限公司 行人道路网生成方法、装置及系统
CN112418098A (zh) * 2020-11-24 2021-02-26 深圳云天励飞技术股份有限公司 视频结构化模型的训练方法及相关设备
CN112528927A (zh) * 2020-12-22 2021-03-19 北京百度网讯科技有限公司 基于轨迹分析的置信度确定方法、路侧设备及云控平台
CN112541408A (zh) * 2020-11-30 2021-03-23 北京深睿博联科技有限责任公司 可行区域识别方法、装置、设备及计算机可读存储介质
CN113114850A (zh) * 2021-03-18 2021-07-13 电子科技大学 一种基于监控视频和pdr在线融合定位方法
CN113191196A (zh) * 2021-04-01 2021-07-30 北京睿芯高通量科技有限公司 一种新型智能安防系统中的轨迹分析方法及系统
CN113344056A (zh) * 2021-05-31 2021-09-03 北京邮电大学 一种人员移动性预测模型的训练方法及装置
CN115004269A (zh) * 2019-11-13 2022-09-02 株式会社计数技研 监视装置、监视方法及程序

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872418A (zh) * 2010-05-28 2010-10-27 电子科技大学 基于群体环境异常行为的检测方法
CN102663452A (zh) * 2012-04-14 2012-09-12 中国人民解放军国防科学技术大学 基于视频分析的可疑行为检测方法
CN103854027A (zh) * 2013-10-23 2014-06-11 北京邮电大学 一种人群行为识别方法
CN105718857A (zh) * 2016-01-13 2016-06-29 兴唐通信科技有限公司 一种人体异常行为检测方法及系统
CN107958260A (zh) * 2017-10-27 2018-04-24 四川大学 一种基于多特征融合的群体行为分析方法
CN108122246A (zh) * 2017-12-07 2018-06-05 中国石油大学(华东) 视频监控智能识别系统
CN108133172A (zh) * 2017-11-16 2018-06-08 北京华道兴科技有限公司 视频中运动对象分类的方法、车流量的分析方法及装置
CN108280408A (zh) * 2018-01-08 2018-07-13 北京联合大学 一种基于混合跟踪和广义线性模型的人群异常事件检测方法
CN108764209A (zh) * 2018-06-11 2018-11-06 南京邮电大学 一种基于监控视频的人物异常行为自动检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872418A (zh) * 2010-05-28 2010-10-27 电子科技大学 基于群体环境异常行为的检测方法
CN102663452A (zh) * 2012-04-14 2012-09-12 中国人民解放军国防科学技术大学 基于视频分析的可疑行为检测方法
CN103854027A (zh) * 2013-10-23 2014-06-11 北京邮电大学 一种人群行为识别方法
CN105718857A (zh) * 2016-01-13 2016-06-29 兴唐通信科技有限公司 一种人体异常行为检测方法及系统
CN107958260A (zh) * 2017-10-27 2018-04-24 四川大学 一种基于多特征融合的群体行为分析方法
CN108133172A (zh) * 2017-11-16 2018-06-08 北京华道兴科技有限公司 视频中运动对象分类的方法、车流量的分析方法及装置
CN108122246A (zh) * 2017-12-07 2018-06-05 中国石油大学(华东) 视频监控智能识别系统
CN108280408A (zh) * 2018-01-08 2018-07-13 北京联合大学 一种基于混合跟踪和广义线性模型的人群异常事件检测方法
CN108764209A (zh) * 2018-06-11 2018-11-06 南京邮电大学 一种基于监控视频的人物异常行为自动检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
慢新闻: "无需"刷脸"也能识人 云从科技在跨境追踪技术上刷新3项世界纪录", 《百度》 *
胡卫明等: "轨迹分布模式学习的层次自组织神经网络方法", 《计算机学报》 *
黄凯奇等: "智能视频监控技术综述", 《计算机学报》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263633A (zh) * 2019-05-13 2019-09-20 广州烽火众智数字技术有限公司 基于时空关联的涉毒人员检测预警方法、系统及存储介质
CN110263633B (zh) * 2019-05-13 2023-08-04 广州烽火众智数字技术有限公司 基于时空关联的涉毒人员检测预警方法、系统及存储介质
CN112183170B (zh) * 2019-07-05 2024-04-09 浙江宇视科技有限公司 行人道路网生成方法、装置及系统
CN112183170A (zh) * 2019-07-05 2021-01-05 浙江宇视科技有限公司 行人道路网生成方法、装置及系统
CN110766895A (zh) * 2019-09-17 2020-02-07 重庆特斯联智慧科技股份有限公司 基于目标轨迹分析的智慧社区异常报警系统及方法
CN110634093A (zh) * 2019-09-26 2019-12-31 四川科瑞软件有限责任公司 针对涉毒人员的出行分析方法
CN111062823A (zh) * 2019-09-26 2020-04-24 北京明略软件系统有限公司 一种社交图谱分析方法、装置及存储介质
CN110837783A (zh) * 2019-10-22 2020-02-25 恒大智慧科技有限公司 智慧社区中外来可疑人物自动警告方法、设备及存储介质
CN115004269A (zh) * 2019-11-13 2022-09-02 株式会社计数技研 监视装置、监视方法及程序
CN115004269B (zh) * 2019-11-13 2024-04-16 株式会社计数技研 监视装置、监视方法及程序
CN110830515A (zh) * 2019-12-13 2020-02-21 支付宝(杭州)信息技术有限公司 流量检测方法、装置、电子设备
CN111177714A (zh) * 2019-12-19 2020-05-19 未鲲(上海)科技服务有限公司 异常行为检测方法、装置、计算机设备和存储介质
CN111177714B (zh) * 2019-12-19 2022-07-08 未鲲(上海)科技服务有限公司 异常行为检测方法、装置、计算机设备和存储介质
CN111611894A (zh) * 2020-05-14 2020-09-01 深圳中科慧据科技有限公司 人员轨迹预测方法、装置、计算机设备及存储介质
CN112418098A (zh) * 2020-11-24 2021-02-26 深圳云天励飞技术股份有限公司 视频结构化模型的训练方法及相关设备
CN112541408B (zh) * 2020-11-30 2022-02-25 北京深睿博联科技有限责任公司 可行区域识别方法、装置、设备及计算机可读存储介质
CN112541408A (zh) * 2020-11-30 2021-03-23 北京深睿博联科技有限责任公司 可行区域识别方法、装置、设备及计算机可读存储介质
CN112528927A (zh) * 2020-12-22 2021-03-19 北京百度网讯科技有限公司 基于轨迹分析的置信度确定方法、路侧设备及云控平台
CN112528927B (zh) * 2020-12-22 2024-05-10 阿波罗智联(北京)科技有限公司 基于轨迹分析的置信度确定方法、路侧设备及云控平台
CN113114850A (zh) * 2021-03-18 2021-07-13 电子科技大学 一种基于监控视频和pdr在线融合定位方法
CN113191196A (zh) * 2021-04-01 2021-07-30 北京睿芯高通量科技有限公司 一种新型智能安防系统中的轨迹分析方法及系统
CN113344056A (zh) * 2021-05-31 2021-09-03 北京邮电大学 一种人员移动性预测模型的训练方法及装置
CN113344056B (zh) * 2021-05-31 2022-11-22 北京邮电大学 一种人员移动性预测模型的训练方法及装置

Also Published As

Publication number Publication date
CN109684916B (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN109684916A (zh) 基于路径轨迹数据异常检测方法、系统、设备及存储介质
CN108216252B (zh) 一种地铁司机车载驾驶行为分析方法、车载终端及系统
Sharma et al. A review on technological advancements in crowd management
Zhang et al. Physics inspired methods for crowd video surveillance and analysis: a survey
CN110428522A (zh) 一种智慧新城的智能安防系统
Moore et al. Visual crowd surveillance through a hydrodynamics lens
Zaki et al. Automated analysis of pedestrian group behavior in urban settings
CN101221621B (zh) 警告监督用户受监视用户的行为的方法和系统
CN109002744A (zh) 图像识别方法、装置和视频监控设备
EP2219379A2 (en) Social network construction based on data association
Karim et al. A dynamic spatial-temporal attention network for early anticipation of traffic accidents
US20210134146A1 (en) Tracking and alerting traffic management system using iot for smart city
CN111126153B (zh) 基于深度学习的安全监测方法、系统、服务器及存储介质
CN111291589A (zh) 信息的关联分析方法及装置、储存介质、电子装置
Avanzi et al. Design and assessment of an intelligent activity monitoring platform
CN111008993A (zh) 一种行人跨镜追踪的方法及装置
CN109214324A (zh) 基于多相机阵列的最正脸图像输出方法及输出系统
CN109934074A (zh) 行动轨迹确定方法及装置
Burney et al. Crowd video classification using convolutional neural networks
CN106412507A (zh) 人员流量的智能监控方法和系统
Pouyan et al. Propounding first artificial intelligence approach for predicting robbery behavior potential in an indoor security camera
CN111767880B (zh) 一种基于脸部特征的活体身份识别方法、装置和存储介质
Alsalat et al. Detection of mass panic using Internet of Things and machine learning
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法
Zhao et al. Abnormal behavior detection based on dynamic pedestrian centroid model: Case study on U-turn and fall-down

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant