CN105760484A - 一种人群踩踏预警方法、系统、及具有该系统的服务器 - Google Patents
一种人群踩踏预警方法、系统、及具有该系统的服务器 Download PDFInfo
- Publication number
- CN105760484A CN105760484A CN201610089139.7A CN201610089139A CN105760484A CN 105760484 A CN105760484 A CN 105760484A CN 201610089139 A CN201610089139 A CN 201610089139A CN 105760484 A CN105760484 A CN 105760484A
- Authority
- CN
- China
- Prior art keywords
- data
- crowd
- cluster
- point
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000010223 real-time analysis Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Educational Administration (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Remote Sensing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供一种人群踩踏预警方法,所述人群踩踏预警方法包括以下步骤:步骤一,通过指定数据获取方式获取人群移动位置数据;步骤二,对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域;步骤三,将所述人群踩踏预警区域显示及预警。本发明所述的人群踩踏预警方法可以在一定程度上解决了大量或海量人群移动信息实时或准实时数据处理与分析时出现的性能瓶颈,满足对海量数据进行准实时分析处理,提高数据处理效率和吞吐量。
Description
技术领域
本发明属于计算机技术领域和安全预警技术领域,涉及一种预警方法和系统,特别是涉及一种人群踩踏预警方法、系统、及具有该系统的服务器。
背景技术
近年来群众聚集性的大型活动大都或多或少存在人员流动导致的拥挤践踏、长时间排队等候、疏密不均等等危险、混乱的社会现象。严重的人员流动事故一般会造成大量的人员伤亡和恶劣的社会影响。同时随着计算机技术的发展,日常处理的数据已经达到了TB、PB级别。数据量的增长,使得实时处理或准实时处理成为当前需要面对的首要挑战。而对大量或海量人群移动信息的实时或准实时数据处理与分析,提供预警显得尤为重要。
目前会采用计算机集群或高性能计算服务器对海量流式数据进行计算分析,其中计算机集群的数据处理主要以MapReduce(编程模型)为主,通过调用Map方法和Reduce方法对数据进行处理,MapReduce对数据进行处理时的实时性较差。高性能计算服务器,虽然计算性能较高,但遇到大量或海量人群移动信息实时或准实时数据处理与分析时也会出现一些性能瓶颈:例如,计算时间较长,复杂度较高、处理效率低等。
因此,如何提供一种人群踩踏预警方法、系统、及具有该系统的服务器,以解决现有技术中在遇到大量或海量人群移动信息实时或准实时数据处理与分析时就会出现性能瓶颈等问题,实已成为本领域从业者亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种人群踩踏预警方法、系统、及具有该系统的服务器,用于解决现有技术中遇到大量或海量人群移动信息实时或准实时数据处理与分析时就会出现性能瓶颈的问题。
为实现上述目的及其他相关目的,本发明一方面提供一种人群踩踏预警方法,所述人群踩踏预警方法包括以下步骤:步骤一,通过指定数据获取方式获取人群移动位置数据;步骤二,对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域;步骤三,将所述人群踩踏预警区域显示及预警。
于本发明的一实施例中,所述指定数据获取方式包括:通过Web服务数据获取方式、通过数据库数据获取方式、和/或通过消息中间件数据获取方式。
于本发明的一实施例中,通过数据库数据获取方式包括Mongodb数据库、HDFS文件系统中获取人群移动位置数据;通过消息中间件数据获取方式包括通过TCPsocket接口,Kafka、Flume、RocketMQ消息中间件获取人群移动位置数据。
于本发明的一实施例中,所述步骤二具体包括以下几个步骤:将步骤一中获取的人群移动位置数据生成人群分布式数据集;按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集;其中,n为大于等于2的正整数;将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇;从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点;对从n个人群分布式数据子集中选出的局部代表点再次执行所述密度聚类以获取多个全局聚类的全局簇,将获取的多个全局聚类的全局簇标识为人群踩踏预警区域。
于本发明的一实施例中,所述步骤二还包括:计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离,根据簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。
于本发明的一实施例中,所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较,若小于等于所述预设距离阈值,则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇。
于本发明的一实施例中,计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。
于本发明的一实施例中,所述从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点的步骤具体包括以下几个步骤:定义n个放置特殊核心点的核心点集合;计算n个人群分布式数据子集中每一数据点的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序;选取与最大的第一统计量对应的数据点,并将其放于与其对应的核心点集合中;循环执行以上两个步骤,直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时,返回计算n个人群分布式数据子集中每一数据点的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序的步骤。
于本发明的一实施例中,所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值用于表示放置特殊核心点的核心点集合对人群分布式数据子集的代表能力。
于本发明的一实施例中,所述给定计算聚类参数包括给定的区域半径,以该区域半径的邻域,及在该领域内数据点的最小数目。
本发明另一方面还提供一种人群踩踏预警系统,所述人群踩踏预警系统包括:数据获取模块,用于通过指定数据获取方式获取人群移动位置数据;处理模块,与所数据获取模块连接,用于对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域;前端展示模块,用于将所述人群踩踏预警区域显示及预警。
于本发明的一实施例中,所述处理模块包括:数据集生成单元,用于将所述数据获取模块中获取的人群移动位置数据生成人群分布式数据集;划分单元,与所述数据集生成单元连接,用于按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集;其中,n为大于等于2的正整数;第一处理单元,与所述划分单元连接,用于将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇;
选择单元,与所述第一处理单元连接,用于从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点;第二处理单元,与所述第一处理单元和选择单元连接,用于对从n个人群分布式数据子集中选出的局部代表点再次执行所述密度聚类以获取多个全局聚类的全局簇,将获取的多个全局聚类的全局簇标识为人群踩踏预警区域。
于本发明的一实施例中,所述人群踩踏预警系统还包括与所述第二处理单元连接的第三处理单元,所述第三处理单元用于计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离,根据簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。
于本发明的一实施例中,所述簇归属规则预存在所述第三处理单元中,所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较,若小于等于所述预设距离阈值,则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇。
于本发明的一实施例中,若大于所述预设距离阈值,所述第三处理单元将大于所述预设距离阈值的个人群分布式数据子集中数据点标识为噪声点。
于本发明的一实施例中,所述第三处理单元计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。
于本发明的一实施例中,所述选择单元具体用于:定义n个放置特殊核心点的核心点集合;计算n个人群分布式数据子集中每一数据点的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序;选取与最大的第一统计量对应的数据点,并将其放于与其对应的核心点集合中;循环执行计算和选取功能,直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时,返回执行计算n个人群分布式数据子集中每一数据点的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序。
本发明又一方面提供一种服务器,包括所述的人群踩踏预警系统。
如上所述,本发明的人群踩踏预警方法、系统、及具有该系统的服务器,具有以下有益效果:
本发明所述的人群踩踏预警方法、系统、及具有该系统的服务器可以在一定程度上解决了大量或海量人群移动信息实时或准实时数据处理与分析时出现的性能瓶颈,满足对海量数据进行准实时分析处理,提高数据处理效率和吞吐量。
附图说明
图1显示为本发明的人群踩踏预警方法于一实施例中的流程示意图。
图2显示为本发明的步骤S3的具体流程示意图。
图3显示为本发明的人群移动位置数据于一实施例中按照人群位置网格划分结构示意图。
图4显示为本发明的经过局部聚类形成各个簇的结构示意图。
图5显示为本发明的步骤S34的流程示意图。
图6显示为本发明的显示为从局部聚类到全局聚类的过程示意图。
图7显示为本发明的人群踩踏预警系统于一实施例中的原理结构示意图。
图8显示为本发明的人群踩踏预警系统中处理模块的原理结构示意图。
图9显示为本发明的服务器于一实施例中的原理结构示意图。
图10显示为本发明的服务器于一实施例中的硬件架构示意图。
元件标号说明
1人群踩踏预警系统
11数据源
12数据获取模块
13处理模块
14前端展示模块
131数据生成单元
132划分单元
133第一处理单元
134选择单元
135第二处理单元
2服务器
21外部存储器
22内存
23网络接口
24处理器
S1~S4步骤
S31~S36步骤
S341~S344步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种人群踩踏预警方法,所述人群踩踏预警方法包括以下步骤:
步骤一,通过指定数据获取方式获取人群移动位置数据;
步骤二,对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域;
步骤三,将所述人群踩踏预警区域显示及预警。
以下将结合图示对本实施例提供的人群踩踏预警方法进行详细阐述。本实施例所述的人群踩踏预警方法可应用于可能会出现大量或海量人流量的场景,例如,长时间排队等候区、体育馆、博物馆、火车站等等。请参阅图1,显示为人群踩踏预警方法于一实施例中的流程示意图。如图1所示,所述人群踩踏预警方法具体包括以下几个步骤:
S1,通过多种方式提供包括人群移动位置数据的数据源,例如,人群的GPS人群移动位置数据或基于电信基站定位的人群移动位置数据等。
S2,通过指定数据获取方式从所述数据源中获取人群移动位置数据。所述指定数据获取方式包括:通过Web服务数据获取方式、通过数据库数据获取方式、和/或通过消息中间件数据获取方式。其中,通过数据库数据获取方式包括Mongodb数据库、HDFS文件系统等中获取人群移动位置数据。通过消息中间件数据获取方式包括通过TCPsocket接口,Kafka、Flume、RocketMQ等消息中间件获取人群移动位置数据。在本实施例中,通过TCPsocket接口从数据源中获取人群移动位置数据。
S3,对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域。在本实施例中,采用Sparksteaming流式计算、GPU框架对人群移动位置数据进行分布式并行计算人群踩踏预警区域。请参阅图2,显示为步骤S3的具体流程示意图。如图2所示,所述步骤S3具体包括以下几个步骤:
S31,将从所述步骤S2获取的人群移动位置数据生成人群分布式数据集RDD((ResilientDistributedDatasets),即并行运算框架Spark的弹性分布式数据集RDD。通常采用并行运算框架是Spark,其采用统一的RDD数据结构进行数据处理,RDD是一个不可变的、容错的、分布式对象集合,我们可以并行的操作这个集合。RDD可以包含任何类型的对象,它在加载外部数据集或者从驱动应用程序分发集合时创建。
S32,按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集,即形成若干个局部的人群分布式数据子集RDD1、RDD2、RDD3...RDDn;其中,n为大于等于2的正整数。请参阅图3,显示为人群移动位置数据于一实施例中按照人群位置网格划分结构示意图。如图3所示,在本实施例中,按照人群位置将所述人群分布式数据集网格划分为4个子集,即。RDD1、RDD2、RDD3、RDD4。
S33,将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇。在本实施例中,所述给定计算聚类参数包括给定的区域半径,以该区域半径的邻域,及在该领域内数据点的最小数目。给定的区域半径用Eps表示,该区域半径的邻域即Eps邻域表示以具体某一个人的位置数据为圆心以Eps为半径的领域,在该领域内数据点的最小数目用MinPts表示。在本实施例中,所述密度聚类采用普通的密度聚类算法。普通的密度聚类算法具体内容包括以下几个步骤:
步骤一:从数据集中RDDi取出一个未处理的点p,给定参数值Eps和最少点数MinPts;其中,i大于1小于n。
步骤二:如果取出的点p是核心点,则找出所有从该点p密度可达的点,形成一个簇;如果取出的点p是非核心点,则将点p标记为孤立点;
步骤三:重复步骤一,直到RDDi中所有的点都被处理以形成得到局部聚类的各个局部簇,请参阅图4,显示为经过局部聚类形成各个簇的结构示意图。如图4中以C11、C12、C21、C31、C41为示例。C11、C12、C21、C31、C41簇便是人群密度高于MinPts的人群区域。
S34,从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点。请参阅图5,显示为步骤S34的流程示意图。如图5所示,所述步骤S34具体包括:
S341,定义n个放置特殊核心点的核心点集合。在本实施例中,如果某点的Eps邻域内包含的点数大于等于参数MinPts值(MinPts表示在Eps邻域内的最少点数),则称该点为“核心点”。
在本实施例中,第i个放置特殊核心点的核心点集合记为Repi。该集合初始时为空。
在本实施例中,将RDDi中减掉放置特殊核心点的核心点集合Repi的剩余数据点记为rdd∈RDDi-Repi。并将剩余数据点在给定的查询半径ε下返回到记为的剩余数据点集合Simrange(rdd,ε)={rddi∈RDDi-Repi|距离distance(rddi,rdd)<ε}剩余数据点集合。
S342,计算n个人群分布式数据子集中每一数据点,即各个rdd∈RDDi-Repi的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序。在本实施例中,将第一统计量表示为StatRpQ(rdd,ε)。
在本实施例中,第一统计量的值越高,表明剩余数据点集合Simrange(rdd,ε)中的数据点与rdd∈RDDi-Repi数据点越近,数据点rdd∈RDDi-Repi的代表性越好。
其中,
S343,选取与最大的第一统计量对应的数据点,并将其放于与其对应的核心点集合Repi中。
S344,循环执行以上两个步骤,即步骤S342和S342,直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时,返回步骤S342,即返回计算n个人群分布式数据子集中每一数据点的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序的步骤。在本实施例中,所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值用于表示放置特殊核心点的核心点集合对人群分布式数据子集的代表能力。所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值表示为||RDDi||/||Repi||,预定比值为1/0.6。其中,||Repi||表示Repi中数据点的数量,||RDDi||表示RDDi中数据点的数量。
S35,对从n个人群分布式数据子集中选出的局部代表点,即Rep1、Rep2、Rep3...Repn,再次执行所述密度聚类以获取多个全局聚类的全局簇,将获取的多个全局聚类的全局簇标识为人群踩踏预警区域。请参阅图6,显示为从局部聚类到全局聚类的过程示意图。如图6所示,经过局部聚类后簇C11、C12、C21、C31、C41再次执行普通的密度聚类算法后得到全局聚类的簇,也就是得到局部代表掉及其对应的全局簇C1,C2。并将全局簇C1,C2标识为人群踩踏预警区域。
S36,计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离,根据簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。在本实施例中,所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较,若小于等于所述预设距离阈值,则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇;反之,则将人群分布式数据子集中的数据点标识为噪声点。计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。在本实施例中,所述步骤S36实际为调整步骤。
S4,将所述人群踩踏预警区域显示及预警。在本实施例中,结合GIS服务或可视化服务对人群的方向、人群高密度区域进行显示及预警。
本实施例所述的人群踩踏预警方法可以在一定程度上解决了大量或海量人群移动信息实时或准实时数据处理与分析时出现的性能瓶颈,满足对海量数据进行准实时分析处理,提高数据处理效率和吞吐量。
实施例二
本实施例提供一种人群踩踏预警系统,所述人群踩踏预警系统包括:
数据获取模块,用于通过指定数据获取方式获取人群移动位置数据;
处理模块,与所数据获取模块连接,用于对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域;
前端展示模块,用于将所述人群踩踏预警区域显示及预警。
以下将结合图示对本实施例所述的人群踩踏预警系统1进行详细阐述。请参阅图7,显示为人群踩踏预警系统于一实施例中的原理结构示意图。如图7所示,所述人群踩踏预警系统1包括数据源11、数据获取模块12、处理模块13、及前端展示模块14。
所述数据源11是指通过多种方式提供包括人群移动位置数据的数据源,例如,人群的GPS人群移动位置数据或基于电信基站定位的人群移动位置数据等。
与所述数据源11连接的所述数据获取模块12用于通过指定数据获取方式从所述数据源中获取人群移动位置数据。所述指定数据获取方式包括:通过Web服务数据获取方式、通过数据库数据获取方式、和/或通过消息中间件数据获取方式。其中,通过数据库数据获取方式包括Mongodb数据库、HDFS文件系统等中获取人群移动位置数据。通过消息中间件数据获取方式包括通过TCPsocket接口,Kafka、Flume、RocketMQ等消息中间件获取人群移动位置数据。在本实施例中,所述数据获取模块12通过TCPsocket接口从数据源中获取人群移动位置数据。
与所述数据源11和所述数据获取模块12连接的处理模块13用于对人群移动位置数据进行分布式并行计算人群踩踏预警区域。
在本实施例中,采用Sparksteaming流式计算、GPU框架对人群移动位置数据进行分布式并行计算人群踩踏预警区域。请参阅图8,显示为处理模块的原理结构示意图。如图8所示,所述处理模块13具体包括:数据生成单元131、划分单元132、第一处理单元133、选择单元134、及第二处理单元135。
数据生成单元131用于将从所述数据获取模块12中获取的人群移动位置数据生成人群分布式数据集RDD((ResilientDistributedDatasets),即并行运算框架Spark的弹性分布式数据集RDD。通常采用并行运算框架是Spark,其采用统一的RDD数据结构进行数据处理,RDD是一个不可变的、容错的、分布式对象集合,我们可以并行的操作这个集合。RDD可以包含任何类型的对象,它在加载外部数据集或者从驱动应用程序分发集合时创建。
与所述数据生成单元131连接的划分单元132用于按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集,即形成若干个局部的人群分布式数据子集RDD1、RDD2、RDD3...RDDn;其中,n为大于等于2的正整数。在本实施例中,所述划分单元132按照人群位置将所述人群分布式数据集网格划分为4个子集,如图3所示,RDD1、RDD2、RDD3、RDD4。
与所述划分单元132连接的第一处理单元133用于将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇。在本实施例中,所述给定计算聚类参数包括给定的区域半径,以该区域半径的邻域,及在该领域内数据点的最小数目。给定的区域半径用Eps表示,该区域半径的邻域即Eps邻域表示以具体某一个人的位置数据为圆心以Eps为半径的领域,在该领域内数据点的最小数目用MinPts表示。在本实施例中,所述密度聚类采用预存在第一处理单元133中的普通的密度聚类算法。普通的密度聚类算法具体内容包括以下几个步骤:
步骤一:从数据集中RDDi取出一个未处理的点p,给定参数值Eps和最少点数MinPts;其中,i大于1小于n。
步骤二:如果取出的点p是核心点,则找出所有从该点p密度可达的点,形成一个簇;如果取出的点p是非核心点,则将点p标记为孤立点;
步骤三:重复步骤一,直到RDDi中所有的点都被处理以形成得到局部聚类的各个局部簇,请参阅图4,显示为经过局部聚类形成各个簇的结构示意图。如图4中以C11、C12、C21、C31、C41为示例。C11、C12、C21、C31、C41簇便是人群密度高于MinPts的人群区域。
与所述第一处理单元133从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点。所述第一处理单元133具体用于:
定义n个放置特殊核心点的核心点集合。在本实施例中,如果某点的Eps邻域内包含的点数大于等于参数MinPts值(MinPts表示在Eps邻域内的最少点数),则称该点为“核心点”。
在本实施例中,第i个放置特殊核心点的核心点集合记为Repi。该集合初始时为空。
在本实施例中,将RDDi中减掉放置特殊核心点的核心点集合Repi的剩余数据点记为rdd∈RDDi-Repi。并将剩余数据点在给定的查询半径ε下返回到记为的剩余数据点集合Simrange(rdd,ε)={rddi∈RDDi-Repi|距离distance(rddi,rdd)<ε}剩余数据点集合。
计算n个人群分布式数据子集中每一数据点,即各个rdd∈RDDi-Repi的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序。在本实施例中,将第一统计量表示为StatRpQ(rdd,ε)。
在本实施例中,第一统计量的值越高,表明剩余数据点集合Simrange(rdd,ε)中的数据点与rdd∈RDDi-Repi数据点越近,数据点rdd∈RDDi-Repi的代表性越好。
其中,
选取与最大的第一统计量对应的数据点,并将其放于与其对应的核心点集合Repi中。
循环执行计算和选取功能,直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时,返回执行计算功能,即计算n个人群分布式数据子集中每一数据点的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序的步骤。在本实施例中,所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值用于表示放置特殊核心点的核心点集合对人群分布式数据子集的代表能力。所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值表示为||RDDi||/||Repi||,预定比值为1/0.6。其中,||Repi||表示Repi中数据点的数量,||RDDi||表示RDDi中数据点的数量。
与所述第一处理单元133连接的选择单元134用于对从n个人群分布式数据子集中选出的局部代表点,即Rep1、Rep2、Rep3...Repn,再次执行所述密度聚类以获取多个全局聚类的全局簇,将获取的多个全局聚类的全局簇标识为人群踩踏预警区域。如图6所示,经过局部聚类后簇C11、C12、C21、C31、C41再次执行预存在所述选择单元134中的普通的密度聚类算法后得到全局聚类的簇,也就是得到局部代表掉及其对应的全局簇C1,C2。并将全局簇C1,C2标识为人群踩踏预警区域。
与所述第一处理单元133和选择单元134连接的第二处理单元135用于计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离,根据预存在所述第二处理单元135中的簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。在本实施例中,所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较,若小于等于所述预设距离阈值,则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇;反之,则将人群分布式数据子集中的数据点标识为噪声点。计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。在本实施例中,所述第二处理单元135实际为调整单元。
与所述处理模块13连接的前端展示模块14用于将所述人群踩踏预警区域显示及预警。在本实施例中,所述预警模块14结合GIS服务或可视化服务对人群的方向、人群高密度区域进行显示及预警。
本实施例还提供一种服务器2,请参阅图9,显示为服务器于一实施例中的原理结构示意图。如图9所示,所述服务器2包括上述人群踩踏预警系统1。请参阅图10,显示为服务器于一实施例中的硬件架构示意图。如图10所示,所述服务器2包括外部存储器21,内存22,网络接口23,及通过内部总线将外部存储器21,内存22,网络接口23连接的处理器24。所述人群踩踏预警系统1位于在所述内存22中。
综上所述,本发明所述的人群踩踏预警方法、系统、及具有该系统的服务器可以在一定程度上解决了大量或海量人群移动信息实时或准实时数据处理与分析时出现的性能瓶颈,满足对海量数据进行准实时分析处理,提高数据处理效率和吞吐量。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (18)
1.一种人群踩踏预警方法,其特征在于,所述人群踩踏预警方法包括以下步骤:
步骤一,通过指定数据获取方式获取人群移动位置数据;
步骤二,对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域;
步骤三,将所述人群踩踏预警区域显示及预警。
2.根据权利要求1所述的人群踩踏预警方法,其特征在于:所述指定数据获取方式包括:通过Web服务数据获取方式、通过数据库数据获取方式、和/或通过消息中间件数据获取方式。
3.根据权利要求2所述的人群踩踏预警方法,其特征在于:
通过数据库数据获取方式包括Mongodb数据库、HDFS文件系统中获取人群移动位置数据;
通过消息中间件数据获取方式包括通过TCPsocket接口,Kafka、Flume、RocketMQ消息中间件获取人群移动位置数据。
4.根据权利要求1所述的人群踩踏预警方法,其特征在于:所述步骤二具体包括以下几个步骤:
将步骤一中获取的人群移动位置数据生成人群分布式数据集;
按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集;其中,n为大于等于2的正整数;
将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇;
从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点;
对从n个人群分布式数据子集中选出的局部代表点再次执行所述密度聚类以获取多个全局聚类的全局簇,将获取的多个全局聚类的全局簇标识为人群踩踏预警区域。
5.根据权利要求4所述的人群踩踏预警方法,其特征在于:所述步骤二还包括:
计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离,根据簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。
6.根据权利要求5所述的人群踩踏预警方法,其特征在于:所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较,若小于等于所述预设距离阈值,则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇。
7.根据权利要求6所述的人群踩踏预警方法,其特征在于:计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。
8.根据权利要求4所述的人群踩踏预警方法,其特征在于:所述从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点的步骤具体包括以下几个步骤:
定义n个放置特殊核心点的核心点集合;
计算n个人群分布式数据子集中每一数据点的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序;
选取与最大的第一统计量对应的数据点,并将其放于与其对应的核心点集合中;
循环执行以上两个步骤,直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时,返回计算n个人群分布式数据子集中每一数据点的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序的步骤。
9.根据权利要求8所述的人群踩踏预警方法,其特征在于:所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值用于表示放置特殊核心点的核心点集合对人群分布式数据子集的代表能力。
10.根据权利要求4所述的人群踩踏预警方法,其特征在于:所述给定计算聚类参数包括给定的区域半径,以该区域半径的邻域,及在该领域内数据点的最小数目。
11.一种人群踩踏预警系统,其特征在于,所述人群踩踏预警系统包括:
数据获取模块,用于通过指定数据获取方式获取人群移动位置数据;
处理模块,与所数据获取模块连接,用于对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域;
前端展示模块,用于将所述人群踩踏预警区域显示及预警。
12.根据权利要求11所述的人群踩踏预警系统,其特征在于:所述处理模块包括:
数据集生成单元,用于将所述数据获取模块中获取的人群移动位置数据生成人群分布式数据集;
划分单元,与所述数据集生成单元连接,用于按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集;其中,n为大于等于2的正整数;
第一处理单元,与所述划分单元连接,用于将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇;
选择单元,与所述第一处理单元连接,用于从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点;
第二处理单元,与所述第一处理单元和选择单元连接,用于对从n个人群分布式数据子集中选出的局部代表点再次执行所述密度聚类以获取多个全局聚类的全局簇,将获取的多个全局聚类的全局簇标识为人群踩踏预警区域。
13.根据权利要求12所述的人群踩踏预警系统,其特征在于:所述人群踩踏预警系统还包括与所述第二处理单元连接的第三处理单元,所述第三处理单元用于计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离,根据簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。
14.根据权利要求12所述的人群踩踏预警系统,其特征在于:所述簇归属规则预存在所述第三处理单元中,所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较,若小于等于所述预设距离阈值,则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇。
15.根据权利要求14所述的人群踩踏预警系统,其特征在于:若大于所述预设距离阈值,所述第三处理单元将大于所述预设距离阈值的个人群分布式数据子集中数据点标识为噪声点。
16.根据权利要求14所述的人群踩踏预警系统,其特征在于:所述第三处理单元计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。
17.根据权利要求12所述的人群踩踏预警系统,其特征在于:所述选择单元具体用于:
定义n个放置特殊核心点的核心点集合;
计算n个人群分布式数据子集中每一数据点的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序;
选取与最大的第一统计量对应的数据点,并将其放于与其对应的核心点集合中;
循环执行计算和选取功能,直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时,返回执行计算n个人群分布式数据子集中每一数据点的第一统计量,将计算的各个数据点的第一统计量按递减的方式排序。
18.一种服务器,其特征在于,包括如权利要求11-17中任一项所述的人群踩踏预警系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610089139.7A CN105760484B (zh) | 2016-02-17 | 2016-02-17 | 一种人群踩踏预警方法、系统、及具有该系统的服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610089139.7A CN105760484B (zh) | 2016-02-17 | 2016-02-17 | 一种人群踩踏预警方法、系统、及具有该系统的服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105760484A true CN105760484A (zh) | 2016-07-13 |
CN105760484B CN105760484B (zh) | 2019-10-25 |
Family
ID=56330836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610089139.7A Expired - Fee Related CN105760484B (zh) | 2016-02-17 | 2016-02-17 | 一种人群踩踏预警方法、系统、及具有该系统的服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105760484B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485327A (zh) * | 2016-09-08 | 2017-03-08 | 同济大学 | 一种灾害条件下人群踩踏行为演化的知识发现方法 |
CN106846228A (zh) * | 2017-02-13 | 2017-06-13 | 浪潮通信信息系统有限公司 | 一种基于位置信息及社交关系的公共安全预警方法及系统 |
CN107086929A (zh) * | 2017-04-16 | 2017-08-22 | 北京工业大学 | 一种基于排队建模的批量流式计算系统性能保障方法 |
CN111274340A (zh) * | 2020-01-15 | 2020-06-12 | 中国联合网络通信集团有限公司 | 人流密度的监控处理方法、设备及存储介质 |
CN111885490A (zh) * | 2020-07-24 | 2020-11-03 | 深圳市元征科技股份有限公司 | 一种社交距离提醒的方法、系统、设备及可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101325690A (zh) * | 2007-06-12 | 2008-12-17 | 上海正电科技发展有限公司 | 监控视频流中人流分析与人群聚集过程的检测方法及系统 |
US20110063439A1 (en) * | 2008-05-29 | 2011-03-17 | Wolfram Klein | Method for identifying anomalies in object streams using the phenomenon of group speed |
CN103839065A (zh) * | 2014-02-14 | 2014-06-04 | 南京航空航天大学 | 人群动态聚集特征提取方法 |
CN104680712A (zh) * | 2015-01-28 | 2015-06-03 | 华南农业大学 | 人群密集区域防踩踏预警系统及其实现方法 |
CN104809743A (zh) * | 2015-04-23 | 2015-07-29 | 清华大学 | 高密度人群踩踏事故风险计算与预警方法 |
CN104850843A (zh) * | 2015-05-26 | 2015-08-19 | 中科院成都信息技术股份有限公司 | 一种高精度定位系统中快速检测人员过度聚集的方法 |
CN105117683A (zh) * | 2015-07-22 | 2015-12-02 | 北方工业大学 | 一种公共场所密集人群检测及预警方法 |
-
2016
- 2016-02-17 CN CN201610089139.7A patent/CN105760484B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101325690A (zh) * | 2007-06-12 | 2008-12-17 | 上海正电科技发展有限公司 | 监控视频流中人流分析与人群聚集过程的检测方法及系统 |
US20110063439A1 (en) * | 2008-05-29 | 2011-03-17 | Wolfram Klein | Method for identifying anomalies in object streams using the phenomenon of group speed |
CN103839065A (zh) * | 2014-02-14 | 2014-06-04 | 南京航空航天大学 | 人群动态聚集特征提取方法 |
CN104680712A (zh) * | 2015-01-28 | 2015-06-03 | 华南农业大学 | 人群密集区域防踩踏预警系统及其实现方法 |
CN104809743A (zh) * | 2015-04-23 | 2015-07-29 | 清华大学 | 高密度人群踩踏事故风险计算与预警方法 |
CN104850843A (zh) * | 2015-05-26 | 2015-08-19 | 中科院成都信息技术股份有限公司 | 一种高精度定位系统中快速检测人员过度聚集的方法 |
CN105117683A (zh) * | 2015-07-22 | 2015-12-02 | 北方工业大学 | 一种公共场所密集人群检测及预警方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485327A (zh) * | 2016-09-08 | 2017-03-08 | 同济大学 | 一种灾害条件下人群踩踏行为演化的知识发现方法 |
CN106485327B (zh) * | 2016-09-08 | 2019-04-02 | 同济大学 | 一种灾害条件下人群踩踏行为演化的知识发现方法 |
CN106846228A (zh) * | 2017-02-13 | 2017-06-13 | 浪潮通信信息系统有限公司 | 一种基于位置信息及社交关系的公共安全预警方法及系统 |
CN107086929A (zh) * | 2017-04-16 | 2017-08-22 | 北京工业大学 | 一种基于排队建模的批量流式计算系统性能保障方法 |
CN111274340A (zh) * | 2020-01-15 | 2020-06-12 | 中国联合网络通信集团有限公司 | 人流密度的监控处理方法、设备及存储介质 |
CN111885490A (zh) * | 2020-07-24 | 2020-11-03 | 深圳市元征科技股份有限公司 | 一种社交距离提醒的方法、系统、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105760484B (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105760484B (zh) | 一种人群踩踏预警方法、系统、及具有该系统的服务器 | |
Xu et al. | Human mobility and socioeconomic status: Analysis of Singapore and Boston | |
CN109992633B (zh) | 基于用户位置的地理围栏确定方法、装置、电子设备 | |
CN110019568B (zh) | 基于空间聚类的选址方法、装置、计算机设备及存储介质 | |
Grubesic | On the application of fuzzy clustering for crime hot spot detection | |
CN106506705B (zh) | 基于位置服务的人群分类方法及装置 | |
CN108133185B (zh) | 基于轨迹数据判断行人关系的方法和系统 | |
KR101721114B1 (ko) | 위치정보가 포함된 포인트 데이터를 다축척의 웹 지도상에 클러스터링하기 위하여 격자의 크기를 결정하는 방법 | |
CN111403048A (zh) | 一种未知传染病预警及追溯方法 | |
CN108322363B (zh) | 推送数据异常监控方法、装置、计算机设备和存储介质 | |
JP2019091445A5 (zh) | ||
CN112287913B (zh) | 一种鱼类视频识别的智能监管系统 | |
CN109522923A (zh) | 客户地址聚合方法、装置及计算机可读存储介质 | |
Zhao et al. | A network distance and graph-partitioning-based clustering method for improving the accuracy of urban hotspot detection | |
US20220058391A1 (en) | Systems and methods for dynamic image category determination | |
CN111833224A (zh) | 一种基于人口栅格数据的城市主副中心边界识别方法 | |
CN115545103A (zh) | 异常数据识别、标签识别方法和异常数据识别装置 | |
CN108770002A (zh) | 基站流量分析方法、装置、设备及存储介质 | |
CN111738164A (zh) | 一种基于深度学习的行人检测方法 | |
CN118093962A (zh) | 数据检索方法、装置、系统、电子设备及可读存储介质 | |
CN110619090B (zh) | 一种区域吸引力评估方法及设备 | |
CN116151600B (zh) | 共享车辆的维护方法、装置、计算机设备和存储介质 | |
Chen | 11 Multilevel and Hierarchical Model s for Disease Mapping | |
CN111144612B (zh) | 一种加油站位置点预测方法、装置、存储介质及终端 | |
CN114331485A (zh) | 用户身份识别方法、装置、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191025 Termination date: 20220217 |
|
CF01 | Termination of patent right due to non-payment of annual fee |