CN105678247B - 徘徊事件时空大数据分析的异常行为预警方法及系统 - Google Patents
徘徊事件时空大数据分析的异常行为预警方法及系统 Download PDFInfo
- Publication number
- CN105678247B CN105678247B CN201511027949.1A CN201511027949A CN105678247B CN 105678247 B CN105678247 B CN 105678247B CN 201511027949 A CN201511027949 A CN 201511027949A CN 105678247 B CN105678247 B CN 105678247B
- Authority
- CN
- China
- Prior art keywords
- loitering
- pedestrian
- data
- event
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 18
- 238000007405 data analysis Methods 0.000 title claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 38
- 238000012098 association analyses Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 63
- 230000006399 behavior Effects 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 40
- 238000005070 sampling Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000010219 correlation analysis Methods 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000007547 defect Effects 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 23
- 238000004458 analytical method Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供一种徘徊事件时空大数据分析的异常行为预警方法及系统，根据监控点部署的智能监控摄像头发出的徘徊行为报警信息，建立报警大数据事件库，进而开展单点报警事件实时和历史大数据的关联分析、多监控点报警事件间的时空大数据关联分析，深度挖掘报警事件所隐含的盗抢犯罪行为的风险等级。为便于准确识别不同次徘徊踩点行为是否是同一个或同一伙人所为，本发明特别给出一种徘徊行人重检算法。本发明在不额外增加监控系统硬件成本的前提下，克服了单个智能摄像头单次报警信息不足以作为预警依据的缺陷，有效提升了智能监控系统的效能。
Description
技术领域
本发明属于时空大数据分析技术领域，具体涉及基于徘徊事件时空大数据关联分析的异常行为预警技术方案。
背景技术
以银行及其营业网点、ATM机等金融场所或取款人为犯罪目标的暴力抢劫案件，如轰动全国的周克华案、2011年在湖北省武汉市制造“12·1”建行爆炸案的王海剑案。这类盗抢犯罪有一个共同的特征，犯罪分子在作案之前一般要实施现场侦察，也即所谓的踩点，例如周克华案中，每次抢劫前均要进行周密的踩点来规划犯罪时机和逃逸路线，最长的一次踩点过程历时3小时。犯罪分子踩点的行为特征是，在目标场所外做一些看似无目的的徘徊、逗留，或者反复进出营业场所内部而不办理任何业务。
为了遏制和打击犯罪、减少金融风险，银行等重要地点和营业场都安装了视频监控系统，实现监控音、视频资料的录像保存，便于异常事件发生时的案件侦破。部分银行还安装了智能监控摄像头，现有的主流智能监控摄像头产品大多具有针对银行这类特殊场所徘徊行为的警示功能。然而，智能摄像头只能就单个徘徊事件进行检测和告警，不能建立多个徘徊事件间的时空关联关系。单凭一次检测结果就做出可疑行为的判断非常不可信，例如，银行外偶尔的徘徊可能是正常的等人行为，将多次、重复的或长时徘徊动作判别为可疑行为才符合逻辑。对犯罪分子这种规律性踩点行为的发现，涉及到单点监控报警事件的时域大数据关联分析以及多点事件间的时空大数据关联分析。
因此，有必要对前端智能摄像头检测的报警事件作进一步的深度分析，挖掘事件发生的规律性模式，如反复出现的频繁模式、间隔性出现的周期模式、同时出现的同位模式，排除个别误检事件的干扰，形成真正有价值的预警信息。但目前尚未有相关适合实用的解决方案出现。
发明内容
针对现有技术不足，本发明提供一种基于徘徊事件时空大数据关联分析的异常行为预警方法及系统。
本发明的技术方案提供一种徘徊事件时空大数据分析的异常行为预警方法，包括建立报警大数据事件库，基于报警大数据事件库进行单点历史大数据关联分析和多点时空大数据关联分析，
所述报警大数据事件库，用于记录已经筛选出的徘徊事件；
所述单点历史大数据关联分析，包括当某监控点检测到徘徊行为发生时，立刻启动与报警大数据事件库中相应历史记录的关联分析，当同一场所先后监视到的徘徊行为呈现出如下特点之一，判断为高作案风险事件，
一、短期内反复出现徘徊；
二、单次徘徊时间过长；
三、前后徘徊中存在相同人，相同身份的确认通过徘徊行人重检过程实现；
所述多点时空大数据关联分析，包括基于报警大数据事件库，发现出现在多处监控点的徘徊行为的时空重现规律，当不同场所分别监视到的徘徊行为呈现出如下特点之一，判断为高作案风险事件，
一、多处同时出现徘徊；
二、短期内多处出现徘徊；
三、短期内多处频发徘徊；
四、多处徘徊中出现相同人，相同身份的确认通过徘徊行人重检过程实现；
所述徘徊行人重检过程分为训练过程和测试过程，
在训练过程中，首先对训练数据进行基于块的特征提取，并通过K-means方式进行聚类，然后对每类数据进行基于随机采样的尺度学习，得到每类数据对应的马氏距离函数；所述基于随机采样的尺度学习的实现如下，
设训练数据集为DTraining，其中包括多个行人样本对，每个行人样本对包括一个行人在两个摄像头下的样本，通过聚类，训练数据集DTraining中数据被分成了K类，记为
其中，指第k类数据，K为类别数目；
对于寻找其类中心xk相邻的数据构成的邻域数据集且
在中进行N次随机采样，综合N次的采样结果得到数据集
其中，表示第n次采样结果；
在数据集上进行Mahal尺度学习，实现如下，
给定行人样本对x＝(xa,xb)，xa和xb分别是来自不同摄像头下的行人图像，设S表示事件“xa和xb是同一行人”，记为xa,xb∈S，D表示“事件xa和xb是不同行人”，记为xa,xb∈D，尺度学习过程采用下式
其中，表示马氏距离的平方；
上述过程学习得到马氏距离函数的半正定矩阵参数，记为M(k′)；在使用上式对第k类数据进行尺度学习时，设其半正定矩阵参数M(k)的初始值为M(k′)，每学习一个行人数据，更新之前的M值如下，
M(k)←M(k′)+M(k)
最终得到马氏距离函数的半正定矩阵参数M(k)，k＝1,...,K；
在测试过程中，首先根据马氏距离函数的半正定矩阵参数M(k)在训练数据中查找查询行人的近邻行人，然后根据这些近邻行人所属类别进行类别投票，选择多数近邻行人所在类别对应的马氏距离函数进行距离度量。
而且，在训练数据中查找查询行人的近邻行人，实现方式如下，
设每类数据学习得到马氏距离函数的半正定矩阵参数M(k)，k＝1,...,K，
训练数据中每个行人xi在两个摄像头下的样本对为xi＝(xi,1,xi,2)，该行人的特征值表达如下，
计算查询行人p与xi的距离如下，
把距离最近的n个行人作为查询行人p的近邻行人。
而且，所述徘徊行人重检过程，基于记录的快照视频而非完整录像视频执行。
本发明提供一种徘徊事件时空大数据分析的异常行为预警系统，包括报警大数据事件库模块、单点历史大数据关联分析模块和多点时空大数据关联分析模块，
所述报警大数据事件库模块，用于记录已经筛选出的徘徊事件；
所述单点历史大数据关联分析模块，用于当某监控点检测到徘徊行为发生时，立刻启动与报警大数据事件库中相应历史记录的关联分析，当同一场所先后监视到的徘徊行为呈现出如下特点之一，判断为高作案风险事件，
一、短期内反复出现徘徊；
二、单次徘徊时间过长；
三、前后徘徊中存在相同人，相同身份的确认通过徘徊行人重检过程实现；
所述多点时空大数据关联分析模块，用于基于报警大数据事件库，发现出现在多处监控点的徘徊行为的时空重现规律，当不同场所分别监视到的徘徊行为呈现出如下特点之一，判断为高作案风险事件，
一、多处同时出现徘徊；
二、短期内多处出现徘徊；
三、短期内多处频发徘徊；
四、多处徘徊中出现相同人，相同身份的确认通过徘徊行人重检过程实现；
所述徘徊行人重检过程分为训练过程和测试过程，
在训练过程中，首先对训练数据进行基于块的特征提取，并通过K-means方式进行聚类，然后对每类数据进行基于随机采样的尺度学习，得到每类数据对应的马氏距离函数；所述基于随机采样的尺度学习的实现如下，
设训练数据集为DTraining，其中包括多个行人样本对，每个行人样本对包括一个行人在两个摄像头下的样本，通过聚类，训练数据集DTraining中数据被分成了K类，记为
其中，指第k类数据，K为类别数目；
对于寻找其类中心xk相邻的数据构成的邻域数据集且
在中进行N次随机采样，综合N次的采样结果得到数据集
其中，表示第n次采样结果；
在数据集上进行Mahal尺度学习，实现如下，
给定行人样本对xa和xb分别是来自不同摄像头下的行人图像，设S表示事件“xa和xb是同一行人”，记为xa,xb∈S，D表示“事件xa和xb是不同行人”，记为xa,xb∈D，尺度学习过程采用下式
其中，表示马氏距离的平方；
上述过程学习得到马氏距离函数的半正定矩阵参数，记为M(k′)；在使用上式对第k类数据进行尺度学习时，设其半正定矩阵参数M(k)的初始值为M(k′)，每学习一个行人数据，更新之前的M值如下，
M(k)←M(k′)+M(k)
最终得到马氏距离函数的半正定矩阵参数M(k)，k＝1,...,K；
在测试过程中，首先根据马氏距离函数的半正定矩阵参数M(k)在训练数据中查找查询行人的近邻行人，然后根据这些近邻行人所属类别进行类别投票，选择多数近邻行人所在类别对应的马氏距离函数进行距离度量。
而且，训练数据中查找查询行人的近邻行人，实现方式如下，
设每类数据学习得到马氏距离函数的半正定矩阵参数M(k)，k＝1,...,K，
训练数据中每个行人xi在两个摄像头下的样本对为xi＝(xi,1,xi,2)，该行人的特征值表达如下，
计算查询行人p与xi的距离如下，
把距离最近的n个行人作为查询行人p的近邻行人。
而且，所述徘徊行人重检过程，基于记录的快照视频而非完整录像视频执行。
与单个智能监控摄像头的智能视频分析功能相比，本发明方法具有以下优点和积极效果：
1)本发明通过对单点报警事件的历史记录分析和多点间的时空关联分析，克服了单个智能摄像头单次报警信息不足以作为预警依据的缺陷，有效提升了智能监控系统的效能；
2)本发明方法可以方便地扩充进后台处理软件中，与前端智能摄像头联动处理，充分利用了智能摄像头徘徊报警事件信息，提高了前端报警信息的利用范围和价值；
3)本发明对提出方法所涉及到的徘徊行人重出现问题给出了一种基于多尺度学习的解决方案，充分利用了徘徊人员外貌类型及其在多摄像头下的视觉差异的相关性，提升了徘徊行人的身份识别精度，提高了本方法实现上的可操作性。
附图说明
图1是本发明实施例的流程图。
具体实施方式
以下结合附图和实施例对本发明技术方案进行具体描述。
本发明的核心思想是，辨别出与偶尔的正常徘徊行为有显著性差异的事件，根据公安干警案情分析经验和大数据揭示的犯罪分子行为特征，可自动从徘徊行为发生的频次、时长、目标身份等同性、周边出现范围等几个维度进行甄别。为方便分析，具体又进一步区分为单点大数据时段分析和多点大数据协作分析两种情况。
发生在不同时间或不同地点的徘徊行为中出现相同的人员，是构成可疑异常行为判别的最有力证据。这一过程涉及到行人重检技术，行人重检是最近几年安防监控业务催生的一门新技术，即在摄录区域无重叠的多摄像头画面下，自动匹配同一行人对象的技术，用以辅助视频侦查员快速、准确地发现嫌疑人在多摄像头下的活动画面和轨迹。由于受到光照、视角变化以及拍摄距离远造成的图像辨识度低的影响，监控环境下的行人重检问题极具挑战性。本发明从徘徊人员外貌类型及其在多摄像头下的视觉差异的相关性出发，提出一种徘徊行人重检算法，根据行人在多摄像头下的视觉差异进行外貌分类并分别进行尺度学习，进而通过K近邻投票选择与查询行人外貌类型对应的马氏距离函数，提升了徘徊行人的身份识别精度。
参见图1，本发明实施例提供的基于徘徊事件时空大数据关联分析的异常行为预警方法，包括以下部分：
(1)建立报警大数据事件库
接收前端智能摄像头的报警事件数据，自动筛选出徘徊事件，并写入报警事件库。具体实施时，可以根据智能前端摄像头异常事件的类别信息，只抽取类别是“徘徊”的事件，实现筛选。事件库记录条目为事件信息及发生时的关联快照，为不失一般性，对于徘徊事件，应保存监控点名称、监控探头编号、出现时间、逗留时长、嫌疑目标数目、监控录像文件索引、图片或视频片段等数据。
事件库的组织结构和信息获取方式进一步详细描述：
①监控点名称、监控探头编号共同给出了徘徊行为发生的具体的地理位置信息，安装在不同位置的监控探头一定程度上反映了监视部位的敏感程度；
②徘徊行为的出现时间和逗留时长是最具价值的可疑行为辨识信息，可从报警事件消息起始、结束的时间中直接获取；
③嫌疑目标数目的提取具有比较高的技术难度，并非所有智能摄像头都能做到，因此，该字段据实记录；
④监控录像文件索引是为了便于事后分析时能快捷地定位和追溯到完整的监控录像；
⑤与监控录像文件不同，图片或视频片段只保存事件发生时的即时画面，可视为原始录像剔除了无关画面的一种浓缩结果，是后续步骤中辨识徘徊目标是否具有同一身份的信息来源，也是供人工进一步确认可疑特征的依据(如四处张望、神情紧张等)；
⑥快照图像或视频片段的提取有两种方式：如果前端摄像头提供了快照传递功能，直接接收保存；否则，需要后台程序抓拍，通过时间对齐法，在事件消息与视频流间进行物理时间的配准，标记接收视频中覆盖事件发生时段的前后码流，抽取视频片段保存。
(2)单点历史大数据关联分析
当某监控点检测到徘徊行为发生时，立刻启动与报警大数据事件库中相应历史记录的关联分析，通过综合分析，给出是否为孤立行为还是有预谋的踩点行为的判断。同一场所先后监视到的徘徊行为如果呈现出如下特点之一，可自动判断为高作案风险事件：
①短期内反复出现徘徊：统计短期内徘徊事件发生的频度，作出嫌疑等级的预判，具体实施时本领域技术人员可自行设定统计时间长度，例如，如果一周出现多次，超出正常频度，可判为嫌疑等级高；
②单次徘徊时间过长：统计徘徊行为持续的时长，时间越长，超出一般正常停留时间的范围，越可疑；
③前后徘徊中存在相同人：发生在不同时段的徘徊行为同一人所为或出现身份相同的人，极有可能是可疑异常行为，且重复程度越高，越可疑，例如，不同时间段监视到的3次徘徊都是同一人所为，基本上可以认为有作案动机。相同身份的确认通过行人重检技术实现。
(3)多点时空大数据关联分析
处于反侦查的需要，以金融系统为作案目标的犯罪嫌疑人踩点场所往往不限于一处，而是可能同时盯住几个目标，从中选取防范最脆弱、最便于作案后逃逸的目标伺机下手。因此，有必要将单点历史记录的关联分析拓展到多点记录的时空关联分析，发现出现在多处监控点的徘徊行为的时空重现规律，进而作出科学合理的预警。本发明给出了给出不同场所分别监视到的徘徊行为是否异常的判断规则，不同场所分别监视到的徘徊行为如果呈现出如下特点，可自动判断为高作案风险事件：
①多处同时出现徘徊：当某个监控点检测到人员徘徊行为时，迅速查找周边区域监控点的监控事件报警记录，统计同时或相近出现的徘徊行为的次数，如果多个徘徊事件被分布在不同位置的摄像头监视到，则将这些监控点出现的徘徊行为判为高度可疑行为；
②短期内多处出现徘徊：对区域范围内多点的徘徊事件报警信息进行汇总分析，分析时间尺度为天、周、月，如果分析周期内的徘徊频次高于无案件发生时的正常历史数据，则判为可疑行为，涉及到的监控点列入高风险保护等级。汇总分析启动的时机为定时或当某个监控点监视到徘徊行为发生时；
③短期内多处频发徘徊：对区域范围内多点的徘徊事件报警信息进行汇总分析，分析时间尺度为天、周、月，如果分析周期内的徘徊频次远高于无案件发生时的正常历史数据，则判为高度可疑行为，相关监控点列入超高风险保护等级。汇总分析启动的时机为定时或当某个监控点监视到徘徊行为发生时；
④多处徘徊中出现相同人：识别发生在不同时间和地点的徘徊行为中是否出现相同人员，相同人出现的频次越高越可疑。如果发现徘徊行为是同一两个人所为，则属于高度可疑的异常行为。相同徘徊人员的身份认定通过行人重检技术实现。
本发明提出的徘徊行人重检算法分为训练过程和测试过程。训练过程：首先，对训练数据进行基于块的特征提取，并通过K-means进行聚类；然后对每类数据进行基于随机采样的尺度学习，得到每类数据对应的马氏距离函数。测试过程：首先，在训练数据中查找查询行人的近邻行人；其次，根据这些近邻行人所属类别进行类别投票，选择多数近邻行人所在类别对应的距离函数进行距离度量。所述的徘徊行人重检算法基于记录的快照视频而非完整录像视频执行，效率高，同时不失准确性。
实施例的徘徊行人重检过程具体实现如下：
对训练数据和查询数据的图像都采用基于块的多特征提取方式处理：
在行人图像分块的基础上进行特征提取与融合。首先，采用一个正方形框以一定的步长在水平方向和垂直方向在图像上移动，从而将图像分割成多个有重叠的块区域；其次，对每个块分别进行颜色特征提取和纹理特征提取，例如基于颜色直方图的颜色特征提取和基于灰度共生矩阵的纹理特征提取；最后，对每个块进行特征融合，并将所有块的特征拼接成长向量，通过PCA(Principal Component Analysis)进行特征降维后用于表示行人图像。
为了基于行人外貌类型的差异分别进行尺度学习，本发明对总体样本数据进行聚类，聚类算法借鉴K-means。具体实施时，本领域技术人员可以自行预设类别数目K。设训练数据集为DTraining，其中包括多个行人样本对，设每个行人xi在两个摄像头下的样本对为xi＝(xi,1,xi,2)，其中xi,1为摄像头1下的样本，即将摄像头1下的行人图像采用基于块的多特征提取所得结果表示，xi,2为摄像头2下的样本，即将摄像头2下的行人图像采用基于块的多特征提取所得结果表示。
具体实现如下：
步骤a，首先从DTraining中随机选取K个行人，分别作为K个类的中心；
步骤b，设当前K个类中心中，xk表示第k个类中心，则类中心集合C表示为：
C＝{xk|k＝1,...,K} (1)
步骤c，提取行人xi的视觉特征，包括该行人不同样本的均值与差值，并表示成二元组的形式：
计算每个行人与第k个类中心的距离：
其中，是xi与xk的欧式距离。将每个行人划分至距离最近的类中，从而得到聚类结果。
步骤d，计算每类样本的平均值，把与上述平均值最近的行人作为新的聚类中心。返回步骤b迭代上述过程，直至聚类结果不再变化。
在聚类后进行基于随机采样的尺度学习：
通过上述聚类过程，训练数据集DTraining中数据被分成了K类：
其中，指第k类数据，K为类别数目。
得到训练数据的分类结果后，就可以对每类数据分别进行尺度学习。然而相对于未分类训练数据，每类数据的数量较少，直接进行尺度学习可能导致得到的马氏距离函数的判别性较弱。为此，本发明进一步提出一种基于随机采样的子类尺度学习方法。
对于寻找其类中心xk相邻的数据构成的邻域数据集且
在中进行N次随机采样，综合N次的采样结果得到数据集
其中，表示第n次采样结果。在上进行Mahal尺度学习，其过程如下。具体实施时，本领域技术人员可以自行预设采样次数N。
给定行人样本对x＝(xa,xb)，xa,xb∈Rd，即行人图像用Rd维特征表达，xa和xb分别是来自不同摄像头下的行人图像。设S表示事件“xa和xb是同一行人”，即xa,xb∈S。D表示“事件xa和xb是不同行人”，即xa,xb∈D。尺度学习过程即：
其中，表示马氏距离的平方。
上述过程学习得到马氏距离函数的半正定矩阵参数，记为M(k′)。在使用公式(7)对每k类数据进行尺度学习时，设其半正定矩阵参数M(k)的初始值为M(k′)。每学习一个行人数据，更新之前的M值：
M(k)←M(k′)+M(k) (8)
例如：
第一次使用公式(7)求得M(k)后，记为M(k)1
第二次使用公式(7)求得的M(k)记为M(k)2，令M(k)＝M(k)2+M(k)1
第三次使用公式(7)求得的M(k)记为M(k)3，令M(k)＝M(k)3+M(k)2+M(k)1
不断迭代更新。
最后，每类数据学习得到马氏距离函数的半正定矩阵参数M(k)，k＝1,...,K。
基于学习结果可进行K近邻投票：
多尺度学习过程可以得到K类数据对应的马氏距离函数的的半正定矩阵参数集合，表示为{M(k)|k＝1,...,K}。在测试过程中，给定一个查询行人p，从训练数据中查找它的n个近邻。具体实施时，本领域技术人员可自行设定n的取值，例如取10。查找实现方式如下：
训练数据中每个行人xi在两个摄像头下的样本对为xi＝(xi,1,xi,2)，该行人的特征值为xi,1,xi,2的均值，计算如下，
计算查询行人p与xi的距离：
把距离最近的n个行人作为查询行人p的近邻行人。然后根据这些近邻行人所属类别进行类别投票，选择多数近邻行人所在类别对应的马氏距离函数进行距离度量，根据距离度量结果完成徘徊行人重检，实现相同身份的确认。
这样利用徘徊人员外貌类型及其在多摄像头下的视觉差异的相关性，根据行人在多摄像头下的视觉差异进行外貌分类并分别进行尺度学习，进而通过K近邻投票选择与查询行人外貌类型对应的马氏距离函数，实现多样化外貌行人的精确匹配。
具体实施时，以上流程可采用计算机软件技术实现自动运行流程，也可采用软件模块化技术实现相应系统。本发明实施例还提供一种徘徊事件时空大数据分析的异常行为预警系统，包括报警大数据事件库模块、单点历史大数据关联分析模块和多点时空大数据关联分析模块，
所述报警大数据事件库模块，用于记录已经筛选出的徘徊事件；
所述单点历史大数据关联分析模块，用于当某监控点检测到徘徊行为发生时，立刻启动与报警大数据事件库中相应历史记录的关联分析，当同一场所先后监视到的徘徊行为呈现出如下特点之一，判断为高作案风险事件，
一、短期内反复出现徘徊；
二、单次徘徊时间过长；
三、前后徘徊中存在相同人，相同身份的确认通过徘徊行人重检过程实现；
所述多点时空大数据关联分析模块，用于基于报警大数据事件库，发现出现在多处监控点的徘徊行为的时空重现规律，当不同场所分别监视到的徘徊行为呈现出如下特点之一，判断为高作案风险事件，
一、多处同时出现徘徊；
二、短期内多处出现徘徊；
三、短期内多处频发徘徊；
四、多处徘徊中出现相同人，相同身份的确认通过徘徊行人重检过程实现；
所述徘徊行人重检过程分为训练过程和测试过程，
在训练过程中，首先对训练数据进行基于块的特征提取，并通过K-means方式进行聚类，然后对每类数据进行基于随机采样的尺度学习，得到每类数据对应的马氏距离函数；所述基于随机采样的尺度学习的实现如下，
设训练数据集为DTraining，其中包括多个行人样本对，每个行人样本对包括一个行人在两个摄像头下的样本，通过聚类，训练数据集DTraining中数据被分成了K类，记为
其中，指第k类数据，K为类别数目；
对于寻找其类中心xk相邻的数据构成的邻域数据集且
在中进行N次随机采样，综合N次的采样结果得到数据集
其中，表示第n次采样结果；
在数据集上进行Mahal尺度学习，实现如下，
给定行人样本对xa和xb分别是来自不同摄像头下的行人图像，设S表示事件“xa和xb是同一行人”，记为xa,xb∈S，D表示“事件xa和xb是不同行人”，记为xa,xb∈D，尺度学习过程采用下式
其中，表示马氏距离的平方；
上述过程学习得到马氏距离函数的半正定矩阵参数，记为M(k′)；在使用上式对第k类数据进行尺度学习时，设其半正定矩阵参数M(k)的初始值为M(k′)，每学习一个行人数据，更新之前的M值如下，
M(k)←M(k′)+M(k)
最终得到马氏距离函数的半正定矩阵参数M(k)，k＝1,...,K；
在测试过程中，首先根据马氏距离函数的半正定矩阵参数M(k)在训练数据中查找查询行人的近邻行人，然后根据这些近邻行人所属类别进行类别投票，选择多数近邻行人所在类别对应的马氏距离函数进行距离度量。
各模块实现可参见方法相应说明，本发明不予赘述。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种徘徊事件时空大数据分析的异常行为预警方法，其特征在于：包括建立报警大数据事件库，基于报警大数据事件库进行单点历史大数据关联分析和多点时空大数据关联分析，
所述报警大数据事件库，用于记录已经筛选出的徘徊事件；
所述单点历史大数据关联分析，包括当某监控点检测到徘徊行为发生时，立刻启动与报警大数据事件库中相应历史记录的关联分析，当同一场所先后监视到的徘徊行为呈现出如下特点之一，判断为高作案风险事件，
一、短期内反复出现徘徊；
二、单次徘徊时间过长；
三、前后徘徊中存在相同人，相同身份的确认通过徘徊行人重检过程实现；
所述多点时空大数据关联分析，包括基于报警大数据事件库，发现出现在多处监控点的徘徊行为的时空重现规律，当不同场所分别监视到的徘徊行为呈现出如下特点之一，判断为高作案风险事件，
一、多处同时出现徘徊；
二、短期内多处出现徘徊；
三、短期内多处频发徘徊；
四、多处徘徊中出现相同人，相同身份的确认通过徘徊行人重检过程实现；
所述徘徊行人重检过程分为训练过程和测试过程，
在训练过程中，首先对训练数据进行基于块的特征提取，并通过K-means方式进行聚类，然后对每类数据进行基于随机采样的尺度学习，得到每类数据对应的马氏距离函数；所述基于随机采样的尺度学习的实现如下，
设训练数据集为DTraining，其中包括多个行人样本对，每个行人样本对包括一个行人在两个摄像头下的样本，通过聚类，训练数据集DTraining中数据被分成了K类，记为
其中，指第k类数据，K为类别数目；
对于寻找其类中心xk相邻的数据构成的邻域数据集且
在中进行N次随机采样，综合N次的采样结果得到数据集
其中，表示第n次采样结果；
在数据集上进行Mahal尺度学习，实现如下，
给定行人样本对x＝(xa,xb)，xa和xb分别是来自不同摄像头下的行人图像，设S表示事件“xa和xb是同一行人”，记为xa,xb∈S，D表示“事件xa和xb是不同行人”，记为xa,xb∈D，尺度学习过程采用下式
其中，表示马氏距离的平方；
上述过程学习得到马氏距离函数的半正定矩阵参数，记为M(k′)；在使用上式对第k类数据进行尺度学习时，设其半正定矩阵参数M(k)的初始值为M(k′)，每学习一个行人数据，更新之前的M值如下，
M(k)←M(k′)+M(k)
最终得到马氏距离函数的半正定矩阵参数M(k)，k＝1,...,K；
在测试过程中，首先根据马氏距离函数的半正定矩阵参数M(k)在训练数据中查找查询行人的近邻行人，然后根据这些近邻行人所属类别进行类别投票，选择多数近邻行人所在类别对应的马氏距离函数进行距离度量。
2.根据权利要求1所述徘徊事件时空大数据分析的异常行为预警方法，其特征在于：在训练数据中查找查询行人的近邻行人，实现方式如下，
设每类数据学习得到马氏距离函数的半正定矩阵参数M(k)，k＝1,...,K，
训练数据中每个行人xi在两个摄像头下的样本对为xi＝(xi,1,xi,2)，该行人的特征值表达如下，
计算查询行人p与xi的距离如下，
把距离最近的n个行人作为查询行人p的近邻行人。
3.根据权利要求1或2所述徘徊事件时空大数据分析的异常行为预警方法，其特征在于：所述徘徊行人重检过程，基于记录的快照视频而非完整录像视频执行。
4.一种徘徊事件时空大数据分析的异常行为预警系统，其特征在于：包括报警大数据事件库模块、单点历史大数据关联分析模块和多点时空大数据关联分析模块，
所述报警大数据事件库模块，用于记录已经筛选出的徘徊事件；
所述单点历史大数据关联分析模块，用于当某监控点检测到徘徊行为发生时，立刻启动与报警大数据事件库中相应历史记录的关联分析，当同一场所先后监视到的徘徊行为呈现出如下特点之一，判断为高作案风险事件，
一、短期内反复出现徘徊；
二、单次徘徊时间过长；
三、前后徘徊中存在相同人，相同身份的确认通过徘徊行人重检过程实现；
所述多点时空大数据关联分析模块，用于基于报警大数据事件库，发现出现在多处监控点的徘徊行为的时空重现规律，当不同场所分别监视到的徘徊行为呈现出如下特点之一，判断为高作案风险事件，
一、多处同时出现徘徊；
二、短期内多处出现徘徊；
三、短期内多处频发徘徊；
四、多处徘徊中出现相同人，相同身份的确认通过徘徊行人重检过程实现；
所述徘徊行人重检过程分为训练过程和测试过程，
在训练过程中，首先对训练数据进行基于块的特征提取，并通过K-means方式进行聚类，然后对每类数据进行基于随机采样的尺度学习，得到每类数据对应的马氏距离函数；所述基于随机采样的尺度学习的实现如下，
设训练数据集为DTraining，其中包括多个行人样本对，每个行人样本对包括一个行人在两个摄像头下的样本，通过聚类，训练数据集DTraining中数据被分成了K类，记为
其中，指第k类数据，K为类别数目；
对于寻找其类中心xk相邻的数据构成的邻域数据集且
在中进行N次随机采样，综合N次的采样结果得到数据集
其中，表示第n次采样结果；
在数据集上进行Mahal尺度学习，实现如下，
给定行人样本对x＝(xa,xb)，xa和xb分别是来自不同摄像头下的行人图像，设S表示事件“xa和xb是同一行人”，记为xa,xb∈S，D表示“事件xa和xb是不同行人”，记为xa,xb∈D，尺度学习过程采用下式
其中，表示马氏距离的平方；
上述过程学习得到马氏距离函数的半正定矩阵参数，记为M(k′)；在使用上式对第k类数据进行尺度学习时，设其半正定矩阵参数M(k)的初始值为M(k′)，每学习一个行人数据，更新之前的M值如下，
M(k)←M(k′)+M(k)
最终得到马氏距离函数的半正定矩阵参数M(k)，k＝1,...,K；
在测试过程中，首先根据马氏距离函数的半正定矩阵参数M(k)在训练数据中查找查询行人的近邻行人，然后根据这些近邻行人所属类别进行类别投票，选择多数近邻行人所在类别对应的马氏距离函数进行距离度量。
5.根据权利要求4所述徘徊事件时空大数据分析的异常行为预警系统，其特征在于：在训练数据中查找查询行人的近邻行人，实现方式如下，
设每类数据学习得到马氏距离函数的半正定矩阵参数M(k)，k＝1,...,K，
训练数据中每个行人xi在两个摄像头下的样本对为xi＝(xi,1,xi,2)，该行人的特征值表达如下，
计算查询行人p与xi的距离如下，
把距离最近的n个行人作为查询行人p的近邻行人。
6.根据权利要求4或5所述徘徊事件时空大数据分析的异常行为预警系统，其特征在于：所述徘徊行人重检过程，基于记录的快照视频而非完整录像视频执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511027949.1A CN105678247B (zh) | 2015-12-30 | 2015-12-30 | 徘徊事件时空大数据分析的异常行为预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511027949.1A CN105678247B (zh) | 2015-12-30 | 2015-12-30 | 徘徊事件时空大数据分析的异常行为预警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105678247A CN105678247A (zh) | 2016-06-15 |
| CN105678247B true CN105678247B (zh) | 2019-01-29 |
Family
ID=56298261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201511027949.1A Active CN105678247B (zh) | 2015-12-30 | 2015-12-30 | 徘徊事件时空大数据分析的异常行为预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105678247B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784769B (zh) * | 2016-08-26 | 2020-07-31 | 杭州海康威视系统技术有限公司 | 一种报警方法、装置及系统 |
| CN106355056B (zh) * | 2016-08-31 | 2019-05-14 | 厦门市杜若科技有限公司 | 一种进行时空唯一性与连续性判断的身份鉴别方法与系统 |
| CN106503618B (zh) * | 2016-09-22 | 2019-09-17 | 天津大学 | 基于视频监控平台的人员游荡行为检测方法 |
| CN106454253A (zh) * | 2016-11-02 | 2017-02-22 | 北京弘恒科技有限公司 | 区域徘徊的检测方法及系统 |
| CN108197140A (zh) * | 2017-11-24 | 2018-06-22 | 中国电子科技集团公司电子科学研究院 | 时空同现的挖掘方法、服务器及计算机可读存储介质 |
| TWI653893B (zh) | 2017-12-13 | 2019-03-11 | 瑞昱半導體股份有限公司 | 影像梯度提升方法與影像梯度提升電路 |
| CN108092816A (zh) * | 2017-12-22 | 2018-05-29 | 上海数聚软件系统股份有限公司 | 一种设备运行质量实时监控方法 |
| CN108052924B (zh) * | 2017-12-28 | 2020-10-27 | 武汉大学深圳研究院 | 空间运动行为语义模式的辨识方法 |
| CN109217357A (zh) * | 2018-07-20 | 2019-01-15 | 河海大学 | 一种基于马尔可夫模型的光伏并网发电系统mppt方法 |
| CN110895668A (zh) * | 2018-09-12 | 2020-03-20 | 深圳云天励飞技术有限公司 | 异常徘徊监测方法、装置、设备及计算机可读存储介质 |
| CN109389175A (zh) * | 2018-10-24 | 2019-02-26 | 广东工业大学 | 一种图片分类方法及装置 |
| CN109614948B (zh) * | 2018-12-19 | 2020-11-03 | 北京锐安科技有限公司 | 异常行为的检测方法、装置、设备和存储介质 |
| CN109711344B (zh) * | 2018-12-27 | 2023-05-26 | 东北大学 | 一种前端智能化的特定异常行为检测方法 |
| CN109712289A (zh) * | 2018-12-27 | 2019-05-03 | 杭州启迪万华科技产业发展有限公司 | 一种基于智能管理平台的园区安全信息处理方法及装置 |
| CN109729315A (zh) * | 2018-12-27 | 2019-05-07 | 杭州启迪万华科技产业发展有限公司 | 一种园区安全信息管理方法及装置 |
| CN109872482A (zh) * | 2019-01-21 | 2019-06-11 | 广东鑫诺安保安服务有限公司 | 智慧安防监管方法、系统以及存储介质 |
| CN109919194A (zh) * | 2019-01-31 | 2019-06-21 | 北京明略软件系统有限公司 | 一种事件中人物身份识别方法、系统、终端和存储介质 |
| CN111768582A (zh) * | 2019-04-01 | 2020-10-13 | 北京奇虎科技有限公司 | 智能门铃、报警方法、报警装置及可读存储介质 |
| CN112653586B (zh) * | 2019-10-12 | 2022-04-19 | 苏州工业园区测绘地理信息有限公司 | 基于全链路监控的时空大数据平台应用性能管理方法 |
| CN110874355B (zh) * | 2019-11-28 | 2022-08-23 | 以萨技术股份有限公司 | 车辆徘徊绕圈异常行为的检测方法、系统、终端及介质 |
| CN113128274B (zh) * | 2019-12-31 | 2024-05-07 | 深圳云天励飞技术有限公司 | 一种数据分析方法、装置、电子设备及存储介质 |
| WO2022165685A1 (zh) * | 2021-02-03 | 2022-08-11 | 京东方科技集团股份有限公司 | 一种确定人员危险性的方法、装置、系统及存储介质 |
| CN113345192A (zh) * | 2021-05-20 | 2021-09-03 | 重庆惠统智慧科技有限公司 | 一种校园安防视频的分布式处理方法及系统 |
| CN115204269B (zh) * | 2022-06-15 | 2024-03-12 | 南通市测绘院有限公司 | 一种基于时空基准的城市治理数据融合方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872418A (zh) * | 2010-05-28 | 2010-10-27 | 电子科技大学 | 基于群体环境异常行为的检测方法 |
| CN105138689A (zh) * | 2015-09-17 | 2015-12-09 | 上海交通大学 | 一种带有徘徊异常提示的分层视频摘要方法 |
| CN105138998A (zh) * | 2015-09-07 | 2015-12-09 | 上海交通大学 | 基于视角自适应子空间学习算法的行人重识别方法及系统 |
-
2015
- 2015-12-30 CN CN201511027949.1A patent/CN105678247B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872418A (zh) * | 2010-05-28 | 2010-10-27 | 电子科技大学 | 基于群体环境异常行为的检测方法 |
| CN105138998A (zh) * | 2015-09-07 | 2015-12-09 | 上海交通大学 | 基于视角自适应子空间学习算法的行人重识别方法及系统 |
| CN105138689A (zh) * | 2015-09-17 | 2015-12-09 | 上海交通大学 | 一种带有徘徊异常提示的分层视频摘要方法 |
Non-Patent Citations (1)
| Title |
|---|
| 智慧城市中的大数据;李德仁等;《武汉大学学报 信息科学版》;20140630;全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105678247A (zh) | 2016-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105678247B (zh) | 徘徊事件时空大数据分析的异常行为预警方法及系统 | |
| US8266174B2 (en) | Behavior history retrieval apparatus and behavior history retrieval method | |
| CN110781798B (zh) | 一种基于树莓派和人脸识别的车载嫌疑犯锁定系统 | |
| CN110414441B (zh) | 一种行人行踪分析方法及系统 | |
| US20110087677A1 (en) | Apparatus for displaying result of analogous image retrieval and method for displaying result of analogous image retrieval | |
| CN110674236A (zh) | 基于时空轨迹匹配的移动目标关联方法、装置、设备及存储介质 | |
| CN106874951B (zh) | 一种旅客关注度评级方法及装置 | |
| Lim et al. | Gun detection in surveillance videos using deep neural networks | |
| CN112183162A (zh) | 一种监控场景下人脸自动注册识别系统及方法 | |
| CN111814635A (zh) | 基于深度学习的烟火识别模型建立方法和烟火识别方法 | |
| CN111090777B (zh) | 一种视频数据的管理方法、管理设备及计算机存储介质 | |
| CN113963399A (zh) | 基于多算法融合应用的人员轨迹检索方法及装置 | |
| US20230073717A1 (en) | Systems And Methods For Electronic Surveillance | |
| CN112668377A (zh) | 信息识别系统及其方法 | |
| Martínez-Mascorro et al. | Suspicious behavior detection on shoplifting cases for crime prevention by using 3D convolutional neural networks | |
| Hnoohom et al. | Weapon Detection Using Faster R-CNN Inception-V2 for a CCTV Surveillance System | |
| KU et al. | Subduing Crime and Threat in Real-Time by Detecting Weapons Using Yolov8 | |
| Zhang et al. | A Multiple Instance Learning and Relevance Feedback Framework for Retrieving Abnormal Incidents in Surveillance Videos. | |
| Hashi et al. | Deep Learning Models for Crime Intention Detection Using Object Detection | |
| Pavithra et al. | Real-Time Handgun Detection in Surveillance Videos based on Deep Learning Approach | |
| Marsiano et al. | Deep Learning-Based Anomaly Detection on Surveillance Videos: Recent Advances | |
| Ramon et al. | Detection of weapons using Efficient Net and Yolo v3 | |
| CN103324618B (zh) | 一种基于电子印迹的视频检测方法及系统 | |
| Pavithra et al. | DL Based Automatic Robbery Detection using Video Surveillance in Residential Areas | |
| US20230196780A1 (en) | Systems and methods for electronic surveillance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |