CN109388663A - 一种面向社会安全领域的大数据智能分析平台 - Google Patents
一种面向社会安全领域的大数据智能分析平台 Download PDFInfo
- Publication number
- CN109388663A CN109388663A CN201810973467.2A CN201810973467A CN109388663A CN 109388663 A CN109388663 A CN 109388663A CN 201810973467 A CN201810973467 A CN 201810973467A CN 109388663 A CN109388663 A CN 109388663A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- pedestrian
- track
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 84
- 230000005021 gait Effects 0.000 claims abstract description 13
- 230000003542 behavioural effect Effects 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000003012 network analysis Methods 0.000 claims abstract description 7
- 238000009412 basement excavation Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 11
- 238000005065 mining Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 238000011524 similarity measure Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims description 2
- 238000013467 fragmentation Methods 0.000 claims description 2
- 238000006062 fragmentation reaction Methods 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims 1
- 230000004044 response Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001622623 Coeliadinae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000004454 trace mineral analysis Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Computer Security & Cryptography (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向社会安全领域的大数据智能分析平台，包括：关系网络分析模块，用于根据多源数据，构建一种或多种专题库，基于专题库，构造网络拓扑结构，并获取所述网络拓扑结构中各节点的标签，以及根据设定的场景任务，在网络拓扑结构中进行关键节点和/或社区结构的挖掘；轨迹行为分析模块，用于获取不同类型的轨迹数据，根据轨迹数据，生成不同类型的轨迹模型，并基于各类轨迹模型，进行轨迹分析；视频智能分析模块，用于根据设定的行人检测和追踪算法，得到行人的多尺度特征，根据多尺度特征，提取行人的语义特征、步态特征和视觉特征，以对行人进行识别搜索。本发明能够有效提高事前预警能力、预警水平，为应急响应提供有力技术支撑。
Description
技术领域
本发明涉及大数据领域，尤其涉及一种面向社会安全领域的大数据智能分析平台。
背景技术
近几十年，公安机关紧密围绕实战需求，积极推动系统整合与业务融合，目前已完成多种基础性平台的建设工作，初步满足了各级公安机关以及基层民警对数据以及服务的基础应用需求，然而，对标新时代公安工作的新目标、新工作、新要求，现阶段的系统平台仍有很多不足，主要是关系网络团伙发现和分析、人车轨迹等分析以及视频分析技术还不能达到实际应用的需求，有待进一步提高。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种解决上述问题的面向社会安全领域的大数据智能分析平台。
具体的，本发明实施例提供的一种面向社会安全领域的大数据智能分析平台，包括：关系网络分析模块、轨迹行为分析模块和视频智能分析模块；
所述关系网络分析模块，包括：
多数据源接入单元，用于采集多源数据；
专题库构建单元，用于根据所述多源数据，构建一种或多种专题库；
网络拓扑构建单元，用于基于所述专题库，构造网络拓扑结构，并获取所述网络拓扑结构中各节点的标签；
网络挖掘与分析单元，用于根据设定的场景任务，在所述网络拓扑结构中进行关键节点和/或社区结构的挖掘；
所述轨迹行为分析模块，用于获取不同类型的轨迹数据，根据所述轨迹数据，生成不同类型的轨迹模型，并基于所述各类轨迹模型，进行轨迹分析；
所述视频智能分析模块，用于根据设定的行人检测和追踪算法，得到行人的多尺度特征，根据所述多尺度特征，提取行人的语义特征、步态特征和视觉特征，以对行人进行识别搜索。
利用本发明实施例提供的面向社会安全领域的大数据智能分析平台(实际产品名“研立方“)将能够有效提高事前预警能力、预警水平，为应急响应提供有力技术支撑，使得精准应急成为可能，提升国家应对突发社会安全风险时应急指挥决策的科学性、合理性和有效性，保障了人民的生命财产安全以及社会稳定。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的面向社会安全领域的大数据智能分析平台的结构示意图；
图2为本发明实施例提供的面向社会安全领域的大数据智能分析平台的总体设计示意图；
图3为本发明实施例提供的社会安全大数据智能分析算法总体架构图；
图4为本发明实施例中社会安全大数据智能分析平台研立方智能应用体系示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种面向社会安全领域的大数据智能分析平台，如图1所示，所述大数据智能分析平台包括：关系网络分析模块110、轨迹行为分析模块120和视频智能分析模块130，其中：
关系网络分析模块110，包括：
多数据源接入单元111，用于采集多源数据；
专题库构建单元112，用于根据所述多源数据，构建一种或多种专题库；
网络拓扑构建单元113，用于基于所述专题库，构造网络拓扑结构，并获取所述网络拓扑结构中各节点的标签；
网络挖掘与分析单元114，用于根据设定的场景任务，在所述网络拓扑结构中进行关键节点和/或社区结构的挖掘；
轨迹行为分析模块120，用于获取不同类型的轨迹数据，根据所述轨迹数据，生成不同类型的轨迹模型，并基于所述各类轨迹模型，进行轨迹分析；
视频智能分析模块130，用于根据设定的行人检测和追踪算法，得到行人的多尺度特征，根据所述多尺度特征，提取行人的语义特征、步态特征和视觉特征，以对行人进行识别搜索。
基于上述模块功能及系统架构，下面对上述单元、模块的具体实施例过程进行阐述，具体的：
可选地，本发明实施例中，所述多数据源接入单元111，具体用于在空间上将网络进行分区，采用分布式并行处理方式，对各分区块的数据进行采集，并将分布式采集的数据进行整合，得到采集的多源数据。
可选地，本发明实施例中，所述专题库构建单元112，具体用于在分布式数据采集系统中，针对分散在各服务器的数据源临时数据，在各服务器上直接进行专题库构建；针对主服务器上的汇集数据，进行数据分片后分散到所述各服务器上，并在所述各服务器构建专题库后，在所述主服务器进行整合。
可选地，本发明实施例中，所述网络拓扑构建单元113，具体用于对于不需要进行多网络融合的场景，利用网络中节点的相似度或者直接链接，构造网络的拓扑结构；对于需要多网络融合的场景，利用加权相似度算法构造融合的网络拓扑结构。
可选地，本发明实施例中，所述网络挖掘与分析单元114，具体用于判断所述设定的场景任务在业务逻辑上是否可拆分，若可拆分，则将所述场景任务进行分片，并将分片的任务分配到不同的服务器上进行分布式挖掘处理，并将各服务器的挖掘结果进行整合，得到挖掘的关键节点和/或社区结构；若不可拆分，则根据所述场景任务所需资源，选取处理能力与所需资源匹配的服务器或者采用磁盘交换技术进行单任务处理。
进一步地，本发明实施例，所述不同类型的轨迹模型包括如下轨迹模型中的一个或多个：站点分布模型、人车访问热点模型、卡口流量预测模型、僵尸车预警模型、轨迹检索模型、车辆驻留点分析模型、人车关联模型、人人伴随模型、轨迹相似性模型。
可选地，本发明实施例中，基于所述轨迹检索模型，进行轨迹分析，包括：通过针对车辆、行人的轨迹点信息进行聚合，建立轨迹索引；
通过对于车辆/人员ID的输入查询，检索到相应的轨迹信息。
可选地，本发明实施例中，基于所述轨迹相似性模型，进行轨迹分析，包括：通过对于数据的整合接入，对人车数据进行融合抽取，通过大数据多表关联查询，得到人车全方位关联后的轨迹数据信息，通过数据查询得到待查询人员的轨迹集合，通过数据聚合得到全量人员轨迹数据集合，最后通过相似性计算，人员ID检索结果按照轨迹结合的相似度从高到低排序。
进一步地，本发明实施例，所述视频智能分析模块130，具体用于利用全卷积网络，得到行人的多尺度特征；基于所述多尺度特征，利用循环神经网络，获得行人的属性信息和步态信息；以及基于所述多尺度特征，利用注意力机制捕捉行人的局部信息，得到行人的视觉特征。
进一步地，本发明实施例，还包括：
结果可视化展示模块140，用于为用户提供交互接口，以及对所述关系网络分析模块、轨迹行为分析模块和视频智能分析模块的分析结果进行展示。
总之，本发明实施例所述方案能够有效提高事前预警能力、预警水平，为应急响应提供有力技术支撑，使得精准应急成为可能，提升国家应对突发社会安全风险时应急指挥决策的科学性、合理性和有效性，保障了人民的生命财产安全以及社会稳定。
下面通过一个具体实施例，对本发明的实施过程进行更详尽的阐述。
本发明实施例提供一种面向社会安全领域的大数据智能分析平台，满足社会安全风险防控工作实际情况和迫切需求，最终支持研搜、研微、研图、研轨、研视五类智能应用方法。其中，研搜提供全息档案搜索功能，研微提供异常线索发现服务，研图、研轨、研视为智能研判工具，分别提供知识图谱、轨迹行为与视频智能分析功能。
一种面向社会安全领域的大数据智能分析平台——研立方总体设计如附图2所示，主要包括以下内容：将不同来源、不同格式数据源进行集成转化的数据采集集成过程；对标准集成数据进行特征展示与特征探索的数据探索过程；进行数据业务处理的数据预处理过程；进行特征抽象和特征交叉融合的特征工程过程；进行基本算法选择与模型调优的过程；进行大规模数据分布式学习的模型训练过程；进行智能模型评估与自动化调参的过程；进行服务发布与服务交互的过程；进行智能应用结果传输与结果展现的过程。为保证发布服务的稳定与完备性，智能应用服务中的应用构建工作应当按照以上过程完成。
根据以上智能应用构建思路，设计社会安全大数据智能分析算法总体架构，如附图3所示。其中，算法模型体系位于整个服务引擎的最底层，主要为智能应用服务，其他部分的功能体系供基础的算法模型支持，由专业的机器学习算法工程师、大数据分析师、业务专家运维管理，并进行智能算法模型的构建包装与优化工作。
社会安全大数据智能分析平台研立方智能应用体系如附图4所示，最终支持研搜、研微、研图、研轨、研视五类智能应用。其中，研搜提供全息档案搜索功能，研微提供异常线索发现服务，研图、研轨、研视为智能研判工具，分别提供知识图谱、轨迹行为与视频智能分析功能。
根据实战需求，研立方集成了关系网络、轨迹行为、视频分析三大类算法模型。具体如下：
一，关系网络类模型算法
关系网络类模型实现流程：
(1)多数据源接入
针对数据来源多样、数据量较大等特点，采用分布式并行处理方法，在空间上将大规模网络进行分区，各个分区块对应不同的任务，分散在不同的服务器上并行化处理并整合。同时对数据进行清洗工作和特征提取，创建成可以复用的数据源接入模板。
(2)网络专题库的构建；
对分散在各个服务器的数据源临时数据以及主服务器上的汇集数据进行专题库的构建。具体的，对于除主服务器外的其他服务器，根据本数据库内的临时数据信息直接进行专题库构建，而主服务器可以将主服务器上的汇集数据进行分片分散到各个服务器上进行专题库构建，以实现并行化构建各个专题库，最后对并行构建的结果进行整合。
具体的，主服务器在先进行逻辑拆分，把任务进行拆分，数据分发到各服务器。各服务器运算完后上报主服务器进行合并。
本发明实施例中，专题库包括但不限于人的专题库，车的专题库、上网专题库、即时通讯专题库等等。具体构建何种专题库可以根据需求灵活构建。
(3)建立网络拓扑、标签信息
a)标签信息的构造：
对于已经存在的标签信息，可直接在图聚类算法中使用标签。对于标签无法直接获取等未知标签情况，通过主动学习、对抗学习技术挖掘复杂网络中隐含的标签信息，如朋友关系网络中可以利用传递关系和阈值条件往往可以进一步挖掘出朋友关系。
b)网络拓扑结构的构造；
对于不需要进行多网络融合的场景，可以利用节点的相似度或者直接链接快速构造网络的拓扑结构；对于需要多网络融合的场景，可以利用加权相似度等技术构造融合的网络拓扑结构。
(4)网络挖掘与分析
复杂网络的挖掘分析涉及到多场景的复杂应用环境，一些简单的场景任务如统计或者并行聚类等可以进行并行化计算，因此，对这一类场景的任务需要进行分片，将任务分配到不同的服务器进行分布式计算并进行结果的整合。但是大多数场景的实际业务在逻辑上不可拆分，对于这一类业务使用资源较为强大的服务器、graphchi磁盘交换等技术进行单任务处理。对于耗费巨大硬件资源的计算任务，采用gpu进行加速，快速挖掘网络的有效信息，如关键节点、社区结构等。
(5)结果可视化展示
对复杂网络的结果信息，结合cytoscape、gephi、echart等组件进行可视化展示，展示结果同时支持用户的互动操作，进一步查找或者详细信息进一步挖掘等。
基于上述关系网络类模型算法，下面给出大规模复杂网络中的部分应用挖掘分析。
(1)网络关键节点检索
在复杂网络中，需要快速检索出网络的关键节点信息以及关键节点的附加信息。针对这一场景，将获得的原始网络数据进行分片，分片信息发送到各个不同的服务器，进而在毫秒级实现快速并行化检索。本发明的研究平台可以实现数百万节点在5毫秒以内快速检索。
(2)多源数据融合
复杂系统的个体节点往往参与到多个实际的网络中，如一个体可以参与家庭关系网、朋友关系网、社会爱好活动网络等，对于这一场景，可以依据各个体在社交过程中的影响力权重，计算个体间的综合加权相似度，进而对各个网络进行融合。在系统实现层面，可以先计算各个体在不同网络的相似度，进行汇聚结果进行最终相似度的计算。
(3)社团挖掘与隐藏节点挖掘
复杂网络中往往存在一些特定的团体，团体内部连接紧密，团体之间连接稀疏。利用复杂网络的非重叠社区挖掘算法(模块度、图聚类、非负矩阵分解算法等)可以挖掘出具有相同特征的团体，如网络爱好者社团、犯罪团伙等。同时，网络中的一些节点隐式地参与到多个社团的活动中，利用重叠社区挖掘算法(重叠模块度、链接社区挖掘算法)，可以发现网络中的隐藏节点。在系统层面，需要依据算法自身是否可以逻辑拆分的特点选择并行化解决方案和单机解决方案。
二、轨迹分析类模型算法
轨迹分析算法模型围绕轨迹数据抽取、特征提取、信息挖掘、知识发现，基于轨迹类大数据进行模型计算，包括站点分布、人车访问热点、卡口流量预测、僵尸车预警、轨迹检索、车辆驻留点分析、人车关联、人人伴随和轨迹相似性计算等九大模块。具体如下：
1)站点分布
站点分布模块通过将站点通行记录等相关数据整合接入，对于大数据进行统计，基于Web/JS网络架构，结合可视化技术，在百度地图上进行可视化呈现，能够让用户一目了然通过地图展现获得站点分布信息，同时增加了交互式的ECharts可视化展示效果。
2)人车访问热点
人车访问热点模块通过对于全疆多源异构轨迹类数据的接入，建立统计模型，对各个地点的通勤信息进行统计，结合排序模型，筛选出高频通行的地理位置并在地图上进行展现，通过ECharts丰富展现信息。
3)卡口流量预测
卡口流量预测模块基于数据融合后的卡口流量信息，对于未来某一时间点上感兴趣卡口位置的通行流量进行预测预估，通过机器学习方法与相关分析等技术手段得到预测结果，最后结果通过二维图表进行展示。
4)僵尸车预警
僵尸车预警模块通过对于小区、商场、停车场等公共停车信息的融合抽取，得到车辆活动信息。根据结合业务得到的时间窗口，计算同一辆车相邻出行活动之间和最近一次活动至今的时间间隔，当时间间隔出现超过时间窗口的情况时，推送出僵尸车预警。
5)轨迹检索
轨迹检索模块目前是通过针对车辆、行人的轨迹点信息进行聚合，建立轨迹索引，从而达到快速轨迹检索的目的。通过对于车辆/人员ID的输入查询，检索到相应的轨迹信息。
6)车辆驻留点分析
车辆驻留点分析模块由GPS数据接入、地图展示、驻留时间计算模块构成。通过对连续生产的GPS数据进行分析，对于相邻GPS数据产生时间差的计算，当车辆行驶或工作过程中在某一位置长时间驻留时则进行高亮显示。
7)人车关联
人车关联模块通过对于数据的整合接入，对人车数据进行抽取，通过大数据多表关联查询，得到人车关联数据信息，实现输入人员ID返回相关车辆信息和输入车辆ID返回相关人员信息的功能。
8)人人伴随
人人伴随模块通过对于数据的整合接入，对多源数据进行汇聚，通过对于位置节点的通行分析，在间隔约束的基础上，分析出伴随人员之间的伴随模式，根据建立好的索引实现快速人人伴随的查询。
9)轨迹相似性
轨迹相似性模块通过对于数据的整合接入，对人车数据进行融合抽取，通过大数据多表关联查询，得到人车全方位关联后的轨迹数据信息，通过数据查询得到待查询人员的轨迹集合，通过数据聚合得到全量人员轨迹数据集合，最后通过相似性计算，人员ID检索结果按照轨迹结合的相似度从高到低排序。
三、视频分析类模型算法
视频分析模型算法使用多维人体特征对行人进行识别搜索，并使用云服务平台来提供本系统包含的技术服务。多维特征包括行人的视觉特征、语义特征和步态特征，使用多维特征可以从多个层面全方位的对行人进行表征和描述，提高识别和检索的精度。该模型包括行人的检测、跟踪、属性识别、步态识别、检索。
首先，构建速度快同时精度高的行人检测和追踪算法，利用全卷积网络输出多尺度的特征(例如，眼睛，脸部等特征)，为加快速度和提高精度提供了保证。在流行的追踪benchmark OTB上达到AUC 65％和Precision 75％的精度。
其次，提取行人的语义特征和步态特征，利用循环神经网络获得行人的属性信息和步态信息，为行人检索提供语义特征。行人属性识别的评价指标ma和F1在主流数据集上平均能达到80％,行人步态识别在主流数据集上的平均精度能达到rank-1 70％。
第三，提取行人的视觉特征，利用注意力机制捕捉行人重要的局部信息，为行人检索提供深度特征。行人检索的精度在主流数据集上能达到平均83％的精度。
基于上述处理过程，设计监控场景下多维人体特征识别系统，在云计算平台中提供对监控场景下的行人进行检索的功能，并在真实的监控场景中进行测试，推动了多维人体特征识别在国家重大需求中的应用。
综上，本发明实施例提供的一种面向社会安全领域的大数据智能分析平台——研立方，可实现关系网络类、轨迹分析类、视频分析类模型算法功能，其中，关系网络类模型算法包括基于关系人检索的重点人员预警模型、团伙挖掘与隐藏人发现模型，前者围绕大数据环境下海量人员关系网络构建和重点人员识别技术展开，针对异质网络中存在的异质信息分散、原路径复杂化等问题，研究异质网络的重叠社区挖掘技术，通过异质网络的特征表达方法、异质网络的同质化分析方法，利用多源数据更准确的划分网络结构，及时准确的发现“涉恐”成员所属社区结构。后者主要目的是对所构建的多源异构时空大数据关系网络，深入挖掘出各类组织团伙，并对团伙成员进行各方面多维度的影响力分析和角色定位；进而根据节点拓扑指标、节点影响力指数、团伙标签属性等构建关系网络节点的综合排序指标，发现在社交行为和关系方面具有高度隐藏特性但是起到桥接多个可疑团伙作用的隐藏关键人。轨迹分析类模型算法围绕轨迹数据抽取、特征提取、信息挖掘、知识发现，基于轨迹类大数据进行模型计算，包括站点分布、人车访问热点、卡口流量预测、僵尸车预警、轨迹检索、车辆驻留点分析、人车关联、人人伴随和轨迹相似性计算等功能。视频分析类模型算法使用多维人体特征对行人进行识别搜索，并使用云服务平台来提供本系统包含的技术服务。多维特征包括行人的视觉特征、语义特征和步态特征，使用多维特征可以从多个层面全方位的对行人进行表征和描述，提高识别和检索的精度。该模型包括行人的检测、跟踪、属性识别、步态识别、检索。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种面向社会安全领域的大数据智能分析平台，其特征在于，包括：关系网络分析模块、轨迹行为分析模块和视频智能分析模块；
所述关系网络分析模块，包括：
多数据源接入单元，用于采集多源数据；
专题库构建单元，用于根据所述多源数据，构建一种或多种专题库；
网络拓扑构建单元，用于基于所述专题库，构造网络拓扑结构，并获取所述网络拓扑结构中各节点的标签；
网络挖掘与分析单元，用于根据设定的场景任务，在所述网络拓扑结构中进行关键节点和/或社区结构的挖掘；
所述轨迹行为分析模块，用于获取不同类型的轨迹数据，根据所述轨迹数据，生成不同类型的轨迹模型，并基于所述各类轨迹模型，进行轨迹分析；
所述视频智能分析模块，用于根据设定的行人检测和追踪算法，得到行人的多尺度特征，根据所述多尺度特征，提取行人的语义特征、步态特征和视觉特征，以对行人进行识别搜索。
2.如权利要求1所述的平台，其特征在于，所述多数据源接入单元，具体用于在空间上将网络进行分区，采用分布式并行处理方式，对各分区块的数据进行采集，并将分布式采集的数据进行整合，得到采集的多源数据。
3.如权利要求1或2所述的平台，其特征在于，所述专题库构建单元，具体用于在分布式数据采集系统中，针对分散在各服务器的数据源临时数据，在各服务器上直接进行专题库构建；针对主服务器上的汇集数据，进行数据分片后分散到所述各服务器上，并在所述各服务器构建专题库后，在所述主服务器进行整合。
4.如权利要求1所述的平台，其特征在于，所述网络拓扑构建单元，具体用于对于不需要进行多网络融合的场景，利用网络中节点的相似度或者直接链接，构造网络的拓扑结构；对于需要多网络融合的场景，利用加权相似度算法构造融合的网络拓扑结构。
5.如权利要求1所述的平台，其特征在于，所述网络挖掘与分析单元，具体用于判断所述设定的场景任务在业务逻辑上是否可拆分，若可拆分，则将所述场景任务进行分片，并将分片的任务分配到不同的服务器上进行分布式挖掘处理，并将各服务器的挖掘结果进行整合，得到挖掘的关键节点和/或社区结构；若不可拆分，则根据所述场景任务所需资源，选取处理能力与所需资源匹配的服务器或者采用磁盘交换技术进行单任务处理。
6.如权利要求1所述的平台，其特征在于，所述不同类型的轨迹模型包括如下轨迹模型中的一个或多个：站点分布模型、人车访问热点模型、卡口流量预测模型、僵尸车预警模型、轨迹检索模型、车辆驻留点分析模型、人车关联模型、人人伴随模型、轨迹相似性模型。
7.如权利要求6所述的平台，其特征在于，基于所述轨迹检索模型，进行轨迹分析，包括：
通过针对车辆、行人的轨迹点信息进行聚合，建立轨迹索引；
通过对于车辆/人员ID的输入查询，检索到相应的轨迹信息。
8.如权利要求6所述的平台，其特征在于，基于所述轨迹相似性模型，进行轨迹分析，包括：
通过对于数据的整合接入，对人车数据进行融合抽取，通过大数据多表关联查询，得到人车全方位关联后的轨迹数据信息，通过数据查询得到待查询人员的轨迹集合，通过数据聚合得到全量人员轨迹数据集合，最后通过相似性计算，人员ID检索结果按照轨迹结合的相似度从高到低排序。
9.如权利要求6所述的平台，其特征在于，所述视频智能分析模块，具体用于利用全卷积网络，得到行人的多尺度特征；基于所述多尺度特征，利用循环神经网络，获得行人的属性信息和步态信息；以及基于所述多尺度特征，利用注意力机制捕捉行人的局部信息，得到行人的视觉特征。
10.如权利要求1所述的平台，其特征在于，还包括：
结果可视化展示模块，用于为用户提供交互接口，以及对所述关系网络分析模块、轨迹行为分析模块和视频智能分析模块的分析结果进行展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810973467.2A CN109388663A (zh) | 2018-08-24 | 2018-08-24 | 一种面向社会安全领域的大数据智能分析平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810973467.2A CN109388663A (zh) | 2018-08-24 | 2018-08-24 | 一种面向社会安全领域的大数据智能分析平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109388663A true CN109388663A (zh) | 2019-02-26 |
Family
ID=65418334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810973467.2A Pending CN109388663A (zh) | 2018-08-24 | 2018-08-24 | 一种面向社会安全领域的大数据智能分析平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109388663A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472068A (zh) * | 2019-08-20 | 2019-11-19 | 星环信息科技（上海）有限公司 | 基于异构分布式知识图谱的大数据处理方法、设备及介质 |
| CN110825749A (zh) * | 2019-11-05 | 2020-02-21 | 泰康保险集团股份有限公司 | 行为轨迹分析展示方法、装置、电子设备、存储介质 |
| CN110908573A (zh) * | 2019-12-03 | 2020-03-24 | 北京明略软件系统有限公司 | 算法模型训练方法、装置、设备及存储介质 |
| CN111260526A (zh) * | 2020-01-20 | 2020-06-09 | 北京明略软件系统有限公司 | 人物轨迹行为分析预估方法和装置 |
| CN111651591A (zh) * | 2019-03-04 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 一种网络安全分析方法和装置 |
| CN112269844A (zh) * | 2020-09-24 | 2021-01-26 | 桂林电子科技大学 | 基于大规模轨迹数据的通用伴随模式分布式挖掘方法 |
| CN112307286A (zh) * | 2020-11-09 | 2021-02-02 | 西南大学 | 一种基于并行st-agnes算法的车辆轨迹聚类方法 |
| CN113010578A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 社区数据分析方法、装置、社区智能交互平台及存储介质 |
| CN113342913A (zh) * | 2021-06-02 | 2021-09-03 | 合肥泰瑞数创科技有限公司 | 一种基于社区信息模型的防疫管控方法、系统及存储介质 |
| CN113342991A (zh) * | 2021-06-08 | 2021-09-03 | 南京智云兴禾信息科技有限公司 | 一种基于人工智能的知识图谱融合系统及其方法 |
| WO2021185113A1 (zh) * | 2020-03-17 | 2021-09-23 | 华为技术有限公司 | 基于多分析任务的数据分析方法及电子设备 |
| CN113449158A (zh) * | 2021-06-22 | 2021-09-28 | 中国电子进出口有限公司 | 一种多源数据间的伴随分析方法和系统 |
| CN116304280A (zh) * | 2023-05-15 | 2023-06-23 | 石家庄学院 | 一种基于交互可视化的多维数据分析方法 |
| CN116416795A (zh) * | 2023-04-06 | 2023-07-11 | 广东云钜网络科技有限公司 | 基于交通大数据的僵尸车监察方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090153661A1 (en) * | 2007-12-14 | 2009-06-18 | Hui Cheng | Method for building and extracting entity networks from video |
| CN101916256A (zh) * | 2010-07-13 | 2010-12-15 | 北京大学 | 综合行动者兴趣与网络拓扑的社区发现方法 |
| CN101923549A (zh) * | 2009-07-29 | 2010-12-22 | 北京航天理想科技有限公司 | 自定义可视化智能轨迹线索分析系统及建立方法 |
| CN106570564A (zh) * | 2016-11-03 | 2017-04-19 | 天津大学 | 基于深度网络的多尺度行人检测方法 |
-
2018
- 2018-08-24 CN CN201810973467.2A patent/CN109388663A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090153661A1 (en) * | 2007-12-14 | 2009-06-18 | Hui Cheng | Method for building and extracting entity networks from video |
| CN101923549A (zh) * | 2009-07-29 | 2010-12-22 | 北京航天理想科技有限公司 | 自定义可视化智能轨迹线索分析系统及建立方法 |
| CN101916256A (zh) * | 2010-07-13 | 2010-12-15 | 北京大学 | 综合行动者兴趣与网络拓扑的社区发现方法 |
| CN106570564A (zh) * | 2016-11-03 | 2017-04-19 | 天津大学 | 基于深度网络的多尺度行人检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘宇廷;毕海滨;郭强;倪颖杰;: "基于网络拓扑与节点元数据的社团检测算法" * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651591A (zh) * | 2019-03-04 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 一种网络安全分析方法和装置 |
| CN111651591B (zh) * | 2019-03-04 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 一种网络安全分析方法和装置 |
| CN110472068A (zh) * | 2019-08-20 | 2019-11-19 | 星环信息科技（上海）有限公司 | 基于异构分布式知识图谱的大数据处理方法、设备及介质 |
| CN110472068B (zh) * | 2019-08-20 | 2020-04-24 | 星环信息科技（上海）有限公司 | 基于异构分布式知识图谱的大数据处理方法、设备及介质 |
| CN110825749B (zh) * | 2019-11-05 | 2022-12-23 | 泰康保险集团股份有限公司 | 行为轨迹分析展示方法、装置、电子设备、存储介质 |
| CN110825749A (zh) * | 2019-11-05 | 2020-02-21 | 泰康保险集团股份有限公司 | 行为轨迹分析展示方法、装置、电子设备、存储介质 |
| CN110908573A (zh) * | 2019-12-03 | 2020-03-24 | 北京明略软件系统有限公司 | 算法模型训练方法、装置、设备及存储介质 |
| CN111260526A (zh) * | 2020-01-20 | 2020-06-09 | 北京明略软件系统有限公司 | 人物轨迹行为分析预估方法和装置 |
| WO2021185113A1 (zh) * | 2020-03-17 | 2021-09-23 | 华为技术有限公司 | 基于多分析任务的数据分析方法及电子设备 |
| CN112269844B (zh) * | 2020-09-24 | 2021-08-06 | 桂林电子科技大学 | 基于大规模轨迹数据的通用伴随模式分布式挖掘方法 |
| CN112269844A (zh) * | 2020-09-24 | 2021-01-26 | 桂林电子科技大学 | 基于大规模轨迹数据的通用伴随模式分布式挖掘方法 |
| CN112307286A (zh) * | 2020-11-09 | 2021-02-02 | 西南大学 | 一种基于并行st-agnes算法的车辆轨迹聚类方法 |
| CN112307286B (zh) * | 2020-11-09 | 2023-03-14 | 西南大学 | 一种基于并行st-agnes算法的车辆轨迹聚类方法 |
| CN113010578B (zh) * | 2021-03-22 | 2024-03-15 | 华南理工大学 | 社区数据分析方法、装置、社区智能交互平台及存储介质 |
| CN113010578A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 社区数据分析方法、装置、社区智能交互平台及存储介质 |
| CN113342913A (zh) * | 2021-06-02 | 2021-09-03 | 合肥泰瑞数创科技有限公司 | 一种基于社区信息模型的防疫管控方法、系统及存储介质 |
| CN113342991A (zh) * | 2021-06-08 | 2021-09-03 | 南京智云兴禾信息科技有限公司 | 一种基于人工智能的知识图谱融合系统及其方法 |
| CN113342991B (zh) * | 2021-06-08 | 2021-12-21 | 南京智云兴禾信息科技有限公司 | 一种基于人工智能的知识图谱融合系统及其方法 |
| CN113449158A (zh) * | 2021-06-22 | 2021-09-28 | 中国电子进出口有限公司 | 一种多源数据间的伴随分析方法和系统 |
| CN116416795A (zh) * | 2023-04-06 | 2023-07-11 | 广东云钜网络科技有限公司 | 基于交通大数据的僵尸车监察方法及系统 |
| CN116416795B (zh) * | 2023-04-06 | 2023-11-10 | 广东云钜网络科技有限公司 | 基于交通大数据的僵尸车监察方法及系统 |
| CN116304280B (zh) * | 2023-05-15 | 2023-08-04 | 石家庄学院 | 一种基于交互可视化的多维数据分析方法 |
| CN116304280A (zh) * | 2023-05-15 | 2023-06-23 | 石家庄学院 | 一种基于交互可视化的多维数据分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109388663A (zh) | 一种面向社会安全领域的大数据智能分析平台 | |
| Zhang et al. | Physics inspired methods for crowd video surveillance and analysis: a survey | |
| Ronchi et al. | New approaches to evacuation modelling for fire safety engineering applications | |
| CN110874362A (zh) | 一种数据关联分析方法及装置 | |
| CN112116263B (zh) | 一种交通路口风险级别评估方法、装置、电子设备及存储介质 | |
| CN108182218A (zh) | 一种基于地理信息系统的视频人物识别方法、系统及电子设备 | |
| CN114519302A (zh) | 基于数字孪生的公路交通态势仿真方法 | |
| Du et al. | Detecting pickpocket suspects from large-scale public transit records | |
| Marasinghe et al. | Computer vision applications for urban planning: A systematic review of opportunities and constraints | |
| Li et al. | A top–bottom clustering algorithm based on crowd trajectories for small group classification | |
| Shukla et al. | A survey on image mining, its techniques and application | |
| Cai et al. | The mining of urban hotspots based on multi-source location data fusion | |
| CN114418360A (zh) | 一种智慧城市运行体征大数据分析方法及装置 | |
| CN106454233A (zh) | 人群聚集的智能监控方法和系统 | |
| CN116403286A (zh) | 一种面向大场景视频的社交分组方法 | |
| Mamidipalli et al. | A review of analysis techniques and data collection methods for modeling pedestrian crossing behaviors | |
| CN115796331A (zh) | 基于多模态城市知识图谱的城市资源预测方法及系统 | |
| da Costa Albuquerque et al. | A proactive application to monitor truck fleets | |
| CN113836993A (zh) | 定位识别方法、装置、设备及计算机可读存储介质 | |
| Li et al. | Evaluation of Urban Perception Using Only Image Segmentation Features | |
| Oliver | Spatial network data: concepts and techniques for summarization | |
| Zhang et al. | Computer Applications: 38th CCF Conference of Computer Applications, CCF NCCA 2023, Suzhou, China, July 16–20, 2023, Proceedings, Part I | |
| Chai et al. | A framework of situation awareness based on event extraction and correlation for military decision support | |
| Qian | Visualization of Traffic Data: A Survey of Methods and Datasets | |
| Wu et al. | Caption Generation from Road Images for Traffic Scene Construction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190226 |