CN105760484B - 一种人群踩踏预警方法、系统、及具有该系统的服务器 - Google Patents

一种人群踩踏预警方法、系统、及具有该系统的服务器 Download PDF

Info

Publication number
CN105760484B
CN105760484B CN201610089139.7A CN201610089139A CN105760484B CN 105760484 B CN105760484 B CN 105760484B CN 201610089139 A CN201610089139 A CN 201610089139A CN 105760484 B CN105760484 B CN 105760484B
Authority
CN
China
Prior art keywords
data
crowd
point
global
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610089139.7A
Other languages
English (en)
Other versions
CN105760484A (zh
Inventor
沈建
孙德山
宁德军
萧海东
胡江泽
狄东杰
郭小武
陈方杰
曾志平
王阳阳
黄俊里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Advanced Research Institute of CAS
Original Assignee
Shanghai Advanced Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Advanced Research Institute of CAS filed Critical Shanghai Advanced Research Institute of CAS
Priority to CN201610089139.7A priority Critical patent/CN105760484B/zh
Publication of CN105760484A publication Critical patent/CN105760484A/zh
Application granted granted Critical
Publication of CN105760484B publication Critical patent/CN105760484B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种人群踩踏预警方法，所述人群踩踏预警方法包括以下步骤：步骤一，通过指定数据获取方式获取人群移动位置数据；步骤二，对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域；步骤三，将所述人群踩踏预警区域显示及预警。本发明所述的人群踩踏预警方法可以在一定程度上解决了大量或海量人群移动信息实时或准实时数据处理与分析时出现的性能瓶颈，满足对海量数据进行准实时分析处理，提高数据处理效率和吞吐量。

Description

一种人群踩踏预警方法、系统、及具有该系统的服务器
技术领域
本发明属于计算机技术领域和安全预警技术领域，涉及一种预警方法和系统，特别是涉及一种人群踩踏预警方法、系统、及具有该系统的服务器。
背景技术
近年来群众聚集性的大型活动大都或多或少存在人员流动导致的拥挤践踏、长时间排队等候、疏密不均等等危险、混乱的社会现象。严重的人员流动事故一般会造成大量的人员伤亡和恶劣的社会影响。同时随着计算机技术的发展，日常处理的数据已经达到了TB、PB级别。数据量的增长，使得实时处理或准实时处理成为当前需要面对的首要挑战。而对大量或海量人群移动信息的实时或准实时数据处理与分析，提供预警显得尤为重要。
目前会采用计算机集群或高性能计算服务器对海量流式数据进行计算分析，其中计算机集群的数据处理主要以MapReduce(编程模型)为主，通过调用Map方法和Reduce方法对数据进行处理，MapReduce对数据进行处理时的实时性较差。高性能计算服务器，虽然计算性能较高，但遇到大量或海量人群移动信息实时或准实时数据处理与分析时也会出现一些性能瓶颈：例如，计算时间较长，复杂度较高、处理效率低等。
因此，如何提供一种人群踩踏预警方法、系统、及具有该系统的服务器，以解决现有技术中在遇到大量或海量人群移动信息实时或准实时数据处理与分析时就会出现性能瓶颈等问题，实已成为本领域从业者亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人群踩踏预警方法、系统、及具有该系统的服务器，用于解决现有技术中遇到大量或海量人群移动信息实时或准实时数据处理与分析时就会出现性能瓶颈的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种人群踩踏预警方法，所述人群踩踏预警方法包括以下步骤：步骤一，通过指定数据获取方式获取人群移动位置数据；步骤二，对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域；步骤三，将所述人群踩踏预警区域显示及预警。
于本发明的一实施例中，所述指定数据获取方式包括：通过Web服务数据获取方式、通过数据库数据获取方式、和/或通过消息中间件数据获取方式。
于本发明的一实施例中，通过数据库数据获取方式包括Mongodb数据库、HDFS文件系统中获取人群移动位置数据；通过消息中间件数据获取方式包括通过TCP socket接口，Kafka、Flume、RocketMQ消息中间件获取人群移动位置数据。
于本发明的一实施例中，所述步骤二具体包括以下几个步骤：将步骤一中获取的人群移动位置数据生成人群分布式数据集；按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集；其中，n为大于等于2的正整数；将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇；从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点；对从n个人群分布式数据子集中选出的局部代表点再次执行所述密度聚类以获取多个全局聚类的全局簇，将获取的多个全局聚类的全局簇标识为人群踩踏预警区域。
于本发明的一实施例中，所述步骤二还包括：计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离，根据簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。
于本发明的一实施例中，所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较，若小于等于所述预设距离阈值，则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇。
于本发明的一实施例中，计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。
于本发明的一实施例中，所述从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点的步骤具体包括以下几个步骤：定义n个放置特殊核心点的核心点集合；计算n个人群分布式数据子集中每一数据点的第一统计量，将计算的各个数据点的第一统计量按递减的方式排序；选取与最大的第一统计量对应的数据点，并将其放于与其对应的核心点集合中；循环执行以上两个步骤，直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时，返回计算n个人群分布式数据子集中每一数据点的第一统计量，将计算的各个数据点的第一统计量按递减的方式排序的步骤。
于本发明的一实施例中，所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值用于表示放置特殊核心点的核心点集合对人群分布式数据子集的代表能力。
于本发明的一实施例中，所述给定计算聚类参数包括给定的区域半径，以该区域半径的邻域，及在该领域内数据点的最小数目。
本发明另一方面还提供一种人群踩踏预警系统，所述人群踩踏预警系统包括：数据获取模块，用于通过指定数据获取方式获取人群移动位置数据；处理模块，与所数据获取模块连接，用于对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域；前端展示模块，用于将所述人群踩踏预警区域显示及预警。
于本发明的一实施例中，所述处理模块包括：数据集生成单元，用于将所述数据获取模块中获取的人群移动位置数据生成人群分布式数据集；划分单元，与所述数据集生成单元连接，用于按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集；其中，n为大于等于2的正整数；第一处理单元，与所述划分单元连接，用于将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇；
选择单元，与所述第一处理单元连接，用于从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点；第二处理单元，与所述第一处理单元和选择单元连接，用于对从n个人群分布式数据子集中选出的局部代表点再次执行所述密度聚类以获取多个全局聚类的全局簇，将获取的多个全局聚类的全局簇标识为人群踩踏预警区域。
于本发明的一实施例中，所述人群踩踏预警系统还包括与所述第二处理单元连接的第三处理单元，所述第三处理单元用于计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离，根据簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。
于本发明的一实施例中，所述簇归属规则预存在所述第三处理单元中，所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较，若小于等于所述预设距离阈值，则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇。
于本发明的一实施例中，若大于所述预设距离阈值，所述第三处理单元将大于所述预设距离阈值的个人群分布式数据子集中数据点标识为噪声点。
于本发明的一实施例中，所述第三处理单元计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。
于本发明的一实施例中，所述选择单元具体用于：定义n个放置特殊核心点的核心点集合；计算n个人群分布式数据子集中每一数据点的第一统计量，将计算的各个数据点的第一统计量按递减的方式排序；选取与最大的第一统计量对应的数据点，并将其放于与其对应的核心点集合中；循环执行计算和选取功能，直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时，返回执行计算n个人群分布式数据子集中每一数据点的第一统计量，将计算的各个数据点的第一统计量按递减的方式排序。
本发明又一方面提供一种服务器，包括所述的人群踩踏预警系统。
如上所述，本发明的人群踩踏预警方法、系统、及具有该系统的服务器，具有以下有益效果：
本发明所述的人群踩踏预警方法、系统、及具有该系统的服务器可以在一定程度上解决了大量或海量人群移动信息实时或准实时数据处理与分析时出现的性能瓶颈，满足对海量数据进行准实时分析处理，提高数据处理效率和吞吐量。
附图说明
图1显示为本发明的人群踩踏预警方法于一实施例中的流程示意图。
图2显示为本发明的步骤S3的具体流程示意图。
图3显示为本发明的人群移动位置数据于一实施例中按照人群位置网格划分结构示意图。
图4显示为本发明的经过局部聚类形成各个簇的结构示意图。
图5显示为本发明的步骤S34的流程示意图。
图6显示为本发明的显示为从局部聚类到全局聚类的过程示意图。
图7显示为本发明的人群踩踏预警系统于一实施例中的原理结构示意图。
图8显示为本发明的人群踩踏预警系统中处理模块的原理结构示意图。
图9显示为本发明的服务器于一实施例中的原理结构示意图。
图10显示为本发明的服务器于一实施例中的硬件架构示意图。
元件标号说明
1 人群踩踏预警系统
11 数据源
12 数据获取模块
13 处理模块
14 前端展示模块
131 数据生成单元
132 划分单元
133 第一处理单元
134 选择单元
135 第二处理单元
2 服务器
21 外部存储器
22 内存
23 网络接口
24 处理器
S1～S4 步骤
S31～S36 步骤
S341～S344 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种人群踩踏预警方法，所述人群踩踏预警方法包括以下步骤：
步骤一，通过指定数据获取方式获取人群移动位置数据；
步骤二，对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域；
步骤三，将所述人群踩踏预警区域显示及预警。
以下将结合图示对本实施例提供的人群踩踏预警方法进行详细阐述。本实施例所述的人群踩踏预警方法可应用于可能会出现大量或海量人流量的场景，例如，长时间排队等候区、体育馆、博物馆、火车站等等。请参阅图1，显示为人群踩踏预警方法于一实施例中的流程示意图。如图1所示，所述人群踩踏预警方法具体包括以下几个步骤：
S1，通过多种方式提供包括人群移动位置数据的数据源，例如，人群的GPS人群移动位置数据或基于电信基站定位的人群移动位置数据等。
S2，通过指定数据获取方式从所述数据源中获取人群移动位置数据。所述指定数据获取方式包括：通过Web服务数据获取方式、通过数据库数据获取方式、和/或通过消息中间件数据获取方式。其中，通过数据库数据获取方式包括Mongodb数据库、HDFS文件系统等中获取人群移动位置数据。通过消息中间件数据获取方式包括通过TCP socket接口，Kafka、Flume、RocketMQ等消息中间件获取人群移动位置数据。在本实施例中，通过TCPsocket接口从数据源中获取人群移动位置数据。
S3，对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域。在本实施例中，采用Spark steaming流式计算、GPU框架对人群移动位置数据进行分布式并行计算人群踩踏预警区域。请参阅图2，显示为步骤S3的具体流程示意图。如图2所示，所述步骤S3具体包括以下几个步骤：
S31，将从所述步骤S2获取的人群移动位置数据生成人群分布式数据集RDD((Resilient Distributed Datasets)，即并行运算框架Spark的弹性分布式数据集RDD。通常采用并行运算框架是Spark，其采用统一的RDD数据结构进行数据处理，RDD是一个不可变的、容错的、分布式对象集合，我们可以并行的操作这个集合。RDD可以包含任何类型的对象，它在加载外部数据集或者从驱动应用程序分发集合时创建。
S32，按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集，即形成若干个局部的人群分布式数据子集RDD1、RDD2、RDD3...RDDn；其中，n为大于等于2的正整数。请参阅图3，显示为人群移动位置数据于一实施例中按照人群位置网格划分结构示意图。如图3所示，在本实施例中，按照人群位置将所述人群分布式数据集网格划分为4个子集，即。RDD1、RDD2、RDD3、RDD4。
S33，将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇。在本实施例中，所述给定计算聚类参数包括给定的区域半径，以该区域半径的邻域，及在该领域内数据点的最小数目。给定的区域半径用Eps表示，该区域半径的邻域即Eps邻域表示以具体某一个人的位置数据为圆心以Eps为半径的领域，在该领域内数据点的最小数目用MinPts表示。在本实施例中，所述密度聚类采用普通的密度聚类算法。普通的密度聚类算法具体内容包括以下几个步骤：
步骤一：从数据集中RDDi取出一个未处理的点p，给定参数值Eps和最少点数MinPts；其中，i大于1小于n。
步骤二：如果取出的点p是核心点，则找出所有从该点p密度可达的点，形成一个簇；如果取出的点p是非核心点，则将点p标记为孤立点；
步骤三：重复步骤一，直到RDDi中所有的点都被处理以形成得到局部聚类的各个局部簇，请参阅图4，显示为经过局部聚类形成各个簇的结构示意图。如图4中以C11、C12、C21、C31、C41为示例。C11、C12、C21、C31、C41簇便是人群密度高于MinPts的人群区域。
S34，从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点。请参阅图5，显示为步骤S34的流程示意图。如图5所示，所述步骤S34具体包括：
S341，定义n个放置特殊核心点的核心点集合。在本实施例中，如果某点的Eps邻域内包含的点数大于等于参数MinPts值(MinPts表示在Eps邻域内的最少点数)，则称该点为“核心点”。
在本实施例中，第i个放置特殊核心点的核心点集合记为Repi。该集合初始时为空。
在本实施例中，将RDDi中减掉放置特殊核心点的核心点集合Repi的剩余数据点记为rdd∈RDDi-Repi。并将剩余数据点在给定的查询半径ε下返回到记为的剩余数据点集合Simrange(rdd,ε)＝{rddi∈RDDi-Repi|距离distance(rddi,rdd)＜ε}剩余数据点集合。
S342，计算n个人群分布式数据子集中每一数据点，即各个rdd∈RDDi-Repi的第一统计量，将计算的各个数据点的第一统计量按递减的方式排序。在本实施例中，将第一统计量表示为StatRpQ(rdd,ε)。
在本实施例中，第一统计量的值越高，表明剩余数据点集合Simrange(rdd,ε)中的数据点与rdd∈RDDi-Repi数据点越近，数据点rdd∈RDDi-Repi的代表性越好。
其中，
S343，选取与最大的第一统计量对应的数据点，并将其放于与其对应的核心点集合Repi中。
S344，循环执行以上两个步骤，即步骤S342和S342，直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时，返回步骤S342，即返回计算n个人群分布式数据子集中每一数据点的第一统计量，将计算的各个数据点的第一统计量按递减的方式排序的步骤。在本实施例中，所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值用于表示放置特殊核心点的核心点集合对人群分布式数据子集的代表能力。所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值表示为||RDDi||/||Re pi||，预定比值为1/0.6。其中，||Re pi||表示Repi中数据点的数量，||RDDi||表示RDDi中数据点的数量。
S35，对从n个人群分布式数据子集中选出的局部代表点，即Rep1、Rep2、Rep3...Repn，再次执行所述密度聚类以获取多个全局聚类的全局簇，将获取的多个全局聚类的全局簇标识为人群踩踏预警区域。请参阅图6，显示为从局部聚类到全局聚类的过程示意图。如图6所示，经过局部聚类后簇C11、C12、C21、C31、C41再次执行普通的密度聚类算法后得到全局聚类的簇，也就是得到局部代表掉及其对应的全局簇C1，C2。并将全局簇C1，C2标识为人群踩踏预警区域。
S36，计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离，根据簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。在本实施例中，所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较，若小于等于所述预设距离阈值，则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇；反之，则将人群分布式数据子集中的数据点标识为噪声点。计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。在本实施例中，所述步骤S36实际为调整步骤。
S4，将所述人群踩踏预警区域显示及预警。在本实施例中，结合GIS服务或可视化服务对人群的方向、人群高密度区域进行显示及预警。
本实施例所述的人群踩踏预警方法可以在一定程度上解决了大量或海量人群移动信息实时或准实时数据处理与分析时出现的性能瓶颈，满足对海量数据进行准实时分析处理，提高数据处理效率和吞吐量。
实施例二
本实施例提供一种人群踩踏预警系统，所述人群踩踏预警系统包括：
数据获取模块，用于通过指定数据获取方式获取人群移动位置数据；
处理模块，与所数据获取模块连接，用于对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域；
前端展示模块，用于将所述人群踩踏预警区域显示及预警。
以下将结合图示对本实施例所述的人群踩踏预警系统1进行详细阐述。请参阅图7，显示为人群踩踏预警系统于一实施例中的原理结构示意图。如图7所示，所述人群踩踏预警系统1包括数据源11、数据获取模块12、处理模块13、及前端展示模块14。
所述数据源11是指通过多种方式提供包括人群移动位置数据的数据源，例如，人群的GPS人群移动位置数据或基于电信基站定位的人群移动位置数据等。
与所述数据源11连接的所述数据获取模块12用于通过指定数据获取方式从所述数据源中获取人群移动位置数据。所述指定数据获取方式包括：通过Web服务数据获取方式、通过数据库数据获取方式、和/或通过消息中间件数据获取方式。其中，通过数据库数据获取方式包括Mongodb数据库、HDFS文件系统等中获取人群移动位置数据。通过消息中间件数据获取方式包括通过TCP socket接口，Kafka、Flume、RocketMQ等消息中间件获取人群移动位置数据。在本实施例中，所述数据获取模块12通过TCP socket接口从数据源中获取人群移动位置数据。
与所述数据源11和所述数据获取模块12连接的处理模块13用于对人群移动位置数据进行分布式并行计算人群踩踏预警区域。
在本实施例中，采用Spark steaming流式计算、GPU框架对人群移动位置数据进行分布式并行计算人群踩踏预警区域。请参阅图8，显示为处理模块的原理结构示意图。如图8所示，所述处理模块13具体包括：数据生成单元131、划分单元132、第一处理单元133、选择单元134、及第二处理单元135。
数据生成单元131用于将从所述数据获取模块12中获取的人群移动位置数据生成人群分布式数据集RDD((Resilient Distributed Datasets)，即并行运算框架Spark的弹性分布式数据集RDD。通常采用并行运算框架是Spark，其采用统一的RDD数据结构进行数据处理，RDD是一个不可变的、容错的、分布式对象集合，我们可以并行的操作这个集合。RDD可以包含任何类型的对象，它在加载外部数据集或者从驱动应用程序分发集合时创建。
与所述数据生成单元131连接的划分单元132用于按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集，即形成若干个局部的人群分布式数据子集RDD1、RDD2、RDD3...RDDn；其中，n为大于等于2的正整数。在本实施例中，所述划分单元132按照人群位置将所述人群分布式数据集网格划分为4个子集，如图3所示，RDD1、RDD2、RDD3、RDD4。
与所述划分单元132连接的第一处理单元133用于将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇。在本实施例中，所述给定计算聚类参数包括给定的区域半径，以该区域半径的邻域，及在该领域内数据点的最小数目。给定的区域半径用Eps表示，该区域半径的邻域即Eps邻域表示以具体某一个人的位置数据为圆心以Eps为半径的领域，在该领域内数据点的最小数目用MinPts表示。在本实施例中，所述密度聚类采用预存在第一处理单元133中的普通的密度聚类算法。普通的密度聚类算法具体内容包括以下几个步骤：
步骤一：从数据集中RDDi取出一个未处理的点p，给定参数值Eps和最少点数MinPts；其中，i大于1小于n。
步骤二：如果取出的点p是核心点，则找出所有从该点p密度可达的点，形成一个簇；如果取出的点p是非核心点，则将点p标记为孤立点；
步骤三：重复步骤一，直到RDDi中所有的点都被处理以形成得到局部聚类的各个局部簇，请参阅图4，显示为经过局部聚类形成各个簇的结构示意图。如图4中以C11、C12、C21、C31、C41为示例。C11、C12、C21、C31、C41簇便是人群密度高于MinPts的人群区域。
与所述第一处理单元133从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点。所述第一处理单元133具体用于：
定义n个放置特殊核心点的核心点集合。在本实施例中，如果某点的Eps邻域内包含的点数大于等于参数MinPts值(MinPts表示在Eps邻域内的最少点数)，则称该点为“核心点”。
在本实施例中，第i个放置特殊核心点的核心点集合记为Repi。该集合初始时为空。
在本实施例中，将RDDi中减掉放置特殊核心点的核心点集合Repi的剩余数据点记为rdd∈RDDi-Repi。并将剩余数据点在给定的查询半径ε下返回到记为的剩余数据点集合Simrange(rdd,ε)＝{rddi∈RDDi-Repi|距离distance(rddi,rdd)＜ε}剩余数据点集合。
计算n个人群分布式数据子集中每一数据点，即各个rdd∈RDDi-Repi的第一统计量，将计算的各个数据点的第一统计量按递减的方式排序。在本实施例中，将第一统计量表示为StatRpQ(rdd,ε)。
在本实施例中，第一统计量的值越高，表明剩余数据点集合Simrange(rdd,ε)中的数据点与rdd∈RDDi-Repi数据点越近，数据点rdd∈RDDi-Repi的代表性越好。
其中，
选取与最大的第一统计量对应的数据点，并将其放于与其对应的核心点集合Repi中。
循环执行计算和选取功能，直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时，返回执行计算功能，即计算n个人群分布式数据子集中每一数据点的第一统计量，将计算的各个数据点的第一统计量按递减的方式排序的步骤。在本实施例中，所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值用于表示放置特殊核心点的核心点集合对人群分布式数据子集的代表能力。所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值表示为||RDDi||/||Re pi||，预定比值为1/0.6。其中，||Re pi||表示Repi中数据点的数量，||RDDi||表示RDDi中数据点的数量。
与所述第一处理单元133连接的选择单元134用于对从n个人群分布式数据子集中选出的局部代表点，即Rep1、Rep2、Rep3...Repn，再次执行所述密度聚类以获取多个全局聚类的全局簇，将获取的多个全局聚类的全局簇标识为人群踩踏预警区域。如图6所示，经过局部聚类后簇C11、C12、C21、C31、C41再次执行预存在所述选择单元134中的普通的密度聚类算法后得到全局聚类的簇，也就是得到局部代表掉及其对应的全局簇C1，C2。并将全局簇C1，C2标识为人群踩踏预警区域。
与所述第一处理单元133和选择单元134连接的第二处理单元135用于计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离，根据预存在所述第二处理单元135中的簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。在本实施例中，所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较，若小于等于所述预设距离阈值，则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇；反之，则将人群分布式数据子集中的数据点标识为噪声点。计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。在本实施例中，所述第二处理单元135实际为调整单元。
与所述处理模块13连接的前端展示模块14用于将所述人群踩踏预警区域显示及预警。在本实施例中，所述预警模块14结合GIS服务或可视化服务对人群的方向、人群高密度区域进行显示及预警。
本实施例还提供一种服务器2，请参阅图9，显示为服务器于一实施例中的原理结构示意图。如图9所示，所述服务器2包括上述人群踩踏预警系统1。请参阅图10，显示为服务器于一实施例中的硬件架构示意图。如图10所示，所述服务器2包括外部存储器21，内存22，网络接口23，及通过内部总线将外部存储器21，内存22，网络接口23连接的处理器24。所述人群踩踏预警系统1位于在所述内存22中。
综上所述，本发明所述的人群踩踏预警方法、系统、及具有该系统的服务器可以在一定程度上解决了大量或海量人群移动信息实时或准实时数据处理与分析时出现的性能瓶颈，满足对海量数据进行准实时分析处理，提高数据处理效率和吞吐量。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种人群踩踏预警方法，其特征在于，所述人群踩踏预警方法包括以下步骤：
步骤一，通过指定数据获取方式获取人群移动位置数据；
步骤二，对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域；所述步骤二包括：将步骤一中获取的人群移动位置数据生成人群分布式数据集；
按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集；其中，n为大于等于2的正整数；
将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇；
从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点；所述从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点的步骤包括：
定义n个放置特殊核心点的核心点集合；
计算n个人群分布式数据子集中每一数据点，将计算的各个数据点的第一统计量按递减的方式排序；
选取与最大的第一统计量对应的数据点，并将其放于与其对应的核心点集合中；
循环执行以上两个步骤，直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时，返回计算n个人群分布式数据子集中每一数据点，将计算的各个数据点的第一统计量按递减的方式排序的步骤；
对从n个人群分布式数据子集中选出的局部代表点再次执行所述密度聚类以获取多个全局聚类的全局簇，将获取的多个全局聚类的全局簇标识为人群踩踏预警区域；
步骤三，将所述人群踩踏预警区域显示及预警。
2.根据权利要求1所述的人群踩踏预警方法，其特征在于：所述指定数据获取方式包括：通过Web服务数据获取方式、通过数据库数据获取方式、和/或通过消息中间件数据获取方式。
3.根据权利要求2所述的人群踩踏预警方法，其特征在于：
通过数据库数据获取方式包括Mongodb数据库、HDFS文件系统中获取人群移动位置数据；
通过消息中间件数据获取方式包括通过TCP socket接口，Kafka、Flume、RocketMQ消息中间件获取人群移动位置数据。
4.根据权利要求1所述的人群踩踏预警方法，其特征在于：所述步骤二还包括：
计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离，根据簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。
5.根据权利要求4所述的人群踩踏预警方法，其特征在于：所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较，若小于等于所述预设距离阈值，则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇。
6.根据权利要求5所述的人群踩踏预警方法，其特征在于：计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。
7.根据权利要求1所述的人群踩踏预警方法，其特征在于：所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值用于表示放置特殊核心点的核心点集合对人群分布式数据子集的代表能力。
8.根据权利要求1所述的人群踩踏预警方法，其特征在于：所述给定计算聚类参数包括给定的区域半径，以该区域半径的邻域，及在该邻域内数据点的最小数目。
9.一种人群踩踏预警系统，其特征在于，所述人群踩踏预警系统包括：
数据获取模块，用于通过指定数据获取方式获取人群移动位置数据；
处理模块，与所数据获取模块连接，用于对人群移动位置数据进行分布式并行计算以得到人群踩踏预警区域；所述处理模块包括：
数据集生成单元，用于将所述数据获取模块中获取的人群移动位置数据生成人群分布式数据集；
划分单元，与所述数据集生成单元连接，用于按照人群位置对所述人群分布式数据集进行网格划分以获取n个人群分布式数据子集；其中，n为大于等于2的正整数；
第一处理单元，与所述划分单元连接，用于将划分后的n个人群分布式数据子集结合给定计算聚类参数执行密度聚类以获取多个局部聚类的局部簇；
选择单元，与所述第一处理单元连接，用于从每一个局部聚类的局部簇中选择具有数据分布特征的特殊核心点集作为局部代表点；所述选择单元定义n个放置特殊核心点的核心点集合；计算n个人群分布式数据子集中每一数据点，将计算的各个数据点的第一统计量按递减的方式排序；选取与最大的第一统计量对应的数据点，并将其放于与其对应的核心点集合中；循环运行计算n个人群分布式数据子集中每一数据点，将计算的各个数据点的第一统计量按递减的方式排序；选取与最大的第一统计量对应的数据点，并将其放于与其对应的核心点集合中，直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时，返回运行计算n个人群分布式数据子集中每一数据点，将计算的各个数据点的第一统计量按递减的方式排序；
第二处理单元，与所述第一处理单元和选择单元连接，用于对从n个人群分布式数据子集中选出的局部代表点再次执行所述密度聚类以获取多个全局聚类的全局簇，将获取的多个全局聚类的全局簇标识为人群踩踏预警区域；
前端展示模块，用于将所述人群踩踏预警区域显示及预警。
10.根据权利要求9所述的人群踩踏预警系统，其特征在于：所述人群踩踏预警系统还包括与所述第二处理单元连接的第三处理单元，所述第三处理单元用于计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离，根据簇归属规则确定人群分布式数据子集中的数据点属于多个全局聚类的全局簇中的哪一个簇。
11.根据权利要求10所述的人群踩踏预警系统，其特征在于：所述簇归属规则预存在所述第三处理单元中，所述簇归属规则为将计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离与预设距离阈值进行比较，若小于等于所述预设距离阈值，则确定人群分布式数据子集中的数据点属于与其之间的距离小于等于所述预设距离阈值的全局聚类的全局簇中的数据点所在全局簇。
12.根据权利要求11所述的人群踩踏预警系统，其特征在于：若大于所述预设距离阈值，所述第三处理单元将大于所述预设距离阈值的个人群分布式数据子集中数据点标识为噪声点。
13.根据权利要求11所述的人群踩踏预警系统，其特征在于：所述第三处理单元计算的n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的距离为计算n个人群分布式数据子集中每一数据点与全局聚类的全局簇中的数据点之间的欧几里得距离。
14.根据权利要求9所述的人群踩踏预警系统，其特征在于：所述选择单元具体用于：
定义n个放置特殊核心点的核心点集合；
计算n个人群分布式数据子集中每一数据点的第一统计量，将计算的各个数据点的第一统计量按递减的方式排序；
选取与最大的第一统计量对应的数据点，并将其放于与其对应的核心点集合中；
循环执行计算和选取功能，直至所述核心点集合中数据点的数量与其对应的人群分布式数据子集中数据点的数量的比值大于等于预定比值时，返回执行计算n个人群分布式数据子集中每一数据点的第一统计量，将计算的各个数据点的第一统计量按递减的方式排序。
15.一种服务器，其特征在于，包括如权利要求9-14中任一项所述的人群踩踏预警系统。
CN201610089139.7A 2016-02-17 2016-02-17 一种人群踩踏预警方法、系统、及具有该系统的服务器 Expired - Fee Related CN105760484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610089139.7A CN105760484B (zh) 2016-02-17 2016-02-17 一种人群踩踏预警方法、系统、及具有该系统的服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610089139.7A CN105760484B (zh) 2016-02-17 2016-02-17 一种人群踩踏预警方法、系统、及具有该系统的服务器

Publications (2)

Publication Number Publication Date
CN105760484A CN105760484A (zh) 2016-07-13
CN105760484B true CN105760484B (zh) 2019-10-25

Family

ID=56330836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610089139.7A Expired - Fee Related CN105760484B (zh) 2016-02-17 2016-02-17 一种人群踩踏预警方法、系统、及具有该系统的服务器

Country Status (1)

Country Link
CN (1) CN105760484B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485327B (zh) * 2016-09-08 2019-04-02 同济大学 一种灾害条件下人群踩踏行为演化的知识发现方法
CN106846228A (zh) * 2017-02-13 2017-06-13 浪潮通信信息系统有限公司 一种基于位置信息及社交关系的公共安全预警方法及系统
CN107086929B (zh) * 2017-04-16 2019-12-13 北京工业大学 一种基于排队建模的批量流式计算系统性能保障方法
CN111274340B (zh) * 2020-01-15 2023-06-30 中国联合网络通信集团有限公司 人流密度的监控处理方法、设备及存储介质
CN111885490A (zh) * 2020-07-24 2020-11-03 深圳市元征科技股份有限公司 一种社交距离提醒的方法、系统、设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
US20110063439A1 (en) * 2008-05-29 2011-03-17 Wolfram Klein Method for identifying anomalies in object streams using the phenomenon of group speed
CN103839065A (zh) * 2014-02-14 2014-06-04 南京航空航天大学 人群动态聚集特征提取方法
CN104680712A (zh) * 2015-01-28 2015-06-03 华南农业大学 人群密集区域防踩踏预警系统及其实现方法
CN104809743A (zh) * 2015-04-23 2015-07-29 清华大学 高密度人群踩踏事故风险计算与预警方法
CN104850843A (zh) * 2015-05-26 2015-08-19 中科院成都信息技术股份有限公司 一种高精度定位系统中快速检测人员过度聚集的方法
CN105117683A (zh) * 2015-07-22 2015-12-02 北方工业大学 一种公共场所密集人群检测及预警方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
US20110063439A1 (en) * 2008-05-29 2011-03-17 Wolfram Klein Method for identifying anomalies in object streams using the phenomenon of group speed
CN103839065A (zh) * 2014-02-14 2014-06-04 南京航空航天大学 人群动态聚集特征提取方法
CN104680712A (zh) * 2015-01-28 2015-06-03 华南农业大学 人群密集区域防踩踏预警系统及其实现方法
CN104809743A (zh) * 2015-04-23 2015-07-29 清华大学 高密度人群踩踏事故风险计算与预警方法
CN104850843A (zh) * 2015-05-26 2015-08-19 中科院成都信息技术股份有限公司 一种高精度定位系统中快速检测人员过度聚集的方法
CN105117683A (zh) * 2015-07-22 2015-12-02 北方工业大学 一种公共场所密集人群检测及预警方法

Also Published As

Publication number Publication date
CN105760484A (zh) 2016-07-13

Similar Documents

Publication Publication Date Title
CN105760484B (zh) 一种人群踩踏预警方法、系统、及具有该系统的服务器
US11888702B2 (en) Intelligent analytic cloud provisioning
CN103678520B (zh) 一种基于云计算的多维区间查询方法及其系统
CN109815283B (zh) 一种异构数据源可视化查询方法
CN104408179A (zh) 数据表中数据处理方法和装置
CN110222029A (zh) 一种大数据多维分析计算效率提升方法及系统
CN104462222A (zh) 一种卡口车辆通行数据的分布式存储方法及系统
Rocha-Junior et al. Efficient execution plans for distributed skyline query processing
Kchaou et al. Towards an offloading framework based on big data analytics in mobile cloud computing environments
CN106682001A (zh) 基于格网的多比例尺海量数据空间渲染方法
US20150293971A1 (en) Distributed queries over geometric objects
Lin et al. Efficient subgraph matching using gpus
US11106676B2 (en) Fast OLAP query execution in main memory on large data in a cluster
WO2015143985A1 (zh) 一种确定结果向量的方法和装置
CN107273413B (zh) 中间表的创建方法、查询方法及相关装置
CN108319604B (zh) 一种hive中大小表关联的优化方法
CN106990913B (zh) 一种大规模流式集合数据的分布式处理方法
Lettich et al. Processing streams of spatial k-NN queries and position updates on manycore GPUs
Liu et al. Scalable interest management for multidimensional routing space
Kim et al. Multi-GPU efficient indexing for maximizing parallelism of high dimensional range query services
CN108205579A (zh) 基于海量数据的大数据挖掘系统
CN107832451A (zh) 一种简化的大数据清洗方式
CN103793745B (zh) 一种分布式粒子群优化方法
CN108875786B (zh) 基于Storm的食品数据并行计算一致性问题的优化方法
CN107529638B (zh) 线性求解器的加速方法、存储数据库及gpu系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191025

Termination date: 20220217