CN112312345B - 基于容器云平台和大数据提升轨道交通运营能力的方法 - Google Patents
基于容器云平台和大数据提升轨道交通运营能力的方法 Download PDFInfo
- Publication number
- CN112312345B CN112312345B CN202011186329.3A CN202011186329A CN112312345B CN 112312345 B CN112312345 B CN 112312345B CN 202011186329 A CN202011186329 A CN 202011186329A CN 112312345 B CN112312345 B CN 112312345B
- Authority
- CN
- China
- Prior art keywords
- data
- passenger flow
- cloud platform
- resource
- rail transit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于容器云平台和大数据提升轨道交通运营能力的方法,包括以下步骤:基于轨道交通站点搭建的数据采集器,获取客流流量数据;根据基础设施、容器云平台及大数据,搭建机器集群;获取机器集群对应客流流量数据的资源使用情况;根据客流流量数据和资源使用情况,对容器云平台上的弹性伸缩资源进行动态调整;本发明通过容器技术和大数据的结合应用在轨道交通中,实现了帮助用户专注于业务,提高了开发运维效率,极大地提升了轨道交通站点运营的科学性,为帮助轨道交通运营提供了数据支持,有助于统筹规划建设运营,将安全和服务的要求贯穿于规划、建设和运营的全过程,从而准确的把握城市轨道交通的发展规模和发展速度。
Description
技术领域
本发明涉及物理领域,尤其涉及利用计算机进行的数据分析技术,特别是一种基于容器云平台和大数据提升轨道交通运营能力的方法。
背景技术
随着城镇化进程不断加快,人口大量涌入城镇,城市的轨道交通建设进入高速发展期,公开数据显示,至2020年全国轨道交通总里程预计将达到6000KM以上,面对我国的轨道交通里程迅速增长,线网规模不断增大,批复建设轨道交通的城市越来越多,城市轨道交通的安全运行压力也日趋增大,轨道交通站点的数据监控、安全预防以及数据分析的建设就显得尤为重要,现有技术中对海量轨道交通大数据的分析技术不理想,轨道交通站点的运营能力难以提升。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于容器云平台和大数据提升轨道交通运营能力的方法,用于解决现有技术中由于对海量轨道交通数据分析困难,造成轨道交通站点运营能力下降的问题。
为实现上述目的及其他相关目的,本发明提供一种基于容器云平台和大数据提升轨道交通运营能力的方法,包括以下步骤:基于轨道交通站点搭建的数据采集器,获取客流流量数据;在基础设施之上搭建容器云平台,所述的基础设施包括服务器;在所述容器云平台的PAAS服务中部署大数据所需的依赖组件、数据库及数据采集与分析应用服务,以搭建一用于存储、传输及分析所述客流流量数据的机器集群,且将所述基础设施提供的基础设置作为所述机器集群的底层设施;获取所述机器集群对应所述客流流量数据的资源使用情况;根据所述客流流量数据和所述资源使用情况,对所述容器云平台上的弹性伸缩资源进行动态调整,以实现提升所述轨道交通站点的运营能力;其中,对所述弹性伸缩资源的动态调整包括:对所述弹性伸缩资源进行粗调和对所述弹性伸缩资源进行细调;
所述数据采集与分析应用服务支持即时实时获取所述客流流量数据,以生成任意时间段的客流信息报表,及对所述客流流量数据进行数据分析,以生成数据分析报告;
所述机器集群分析所述客流流量数据包括以下步骤:扫描所述客流流量数据中对应每一乘客的wifi移动终端,获取所述wifi移动终端的标识信息;根据所述wifi移动终端的信号强度对所述乘客进行定位,获取对应所述乘客的定位信息,以最终基于所述标识信息和所述定位信息,实现了解客流动向和方位;对所述乘客进行人脸检测、人脸识别及人脸跟踪,以实现预测所述乘客的行为动作。
于本发明的一实施例中,对所述弹性伸缩资源进行粗调包括以下步骤:根据所述客流流量数据和所述资源使用情况,建立客流流量和资源使用关系对比图;根据所述客流流量和资源使用关系对比图进行所述弹性伸缩资源的粗调;对所述弹性伸缩资源进行细调包括以下步骤:根据所述客流流量数据进行所述容器云平台服务副本数的调试,获取所述轨道交通站点的历史峰值客流流量;根据所述历史峰值客流流量进行所述弹性伸缩资源的细调。
于本发明的一实施例中,对所述弹性伸缩资源进行粗调的粗调对象包括所述大数据所需的依赖组件、数据库及数据采集与分析应用服务;对所述弹性伸缩资源进行粗调的粗调内容包括:根据对应所述大数据的资源请求使用量,对所述容器云平台副本进行横向的伸缩。
于本发明的一实施例中,还包括以下步骤:判断所述弹性伸缩资源的伸缩率是否能满足历史峰值客流流量的需求;在所述弹性伸缩资源的伸缩率不能满足所述历史峰值客流流量的需求时,在所述容器云平台上创建新的实例副本;判断所述容器云平台上实例副本的资源是否大于预设资源阈值;当所述容器云平台上一第一实例副本的资源大于所述预设资源阈值时,在所述容器云平台上创建一与所述第一实例副本相同的实例副本;当所述容器云平台上一第二实例副本的资源小于所述预设资源阈值时,则释放所述第二实例副本。
于本发明的一实施例中,所述资源使用情况包括以下任意一种或几种组合的使用情况:CPU、内存、网络、磁盘。
如上所述,本发明所述的基于容器云平台和大数据提升轨道交通运营能力的方法,具有以下有益效果:
与现有技术相比,本发明通过容器技术和大数据的结合应用在轨道交通中,容器云平台可以帮助用户专注于业务,提高开发运维效率,大数据应用对其采集的海量数据进行数据分析,极大地提升了轨道交通站点运营的科学性,为帮助轨道交通运营提供了数据支持,有助于统筹规划建设运营,将安全和服务的要求贯穿于规划、建设和运营的全过程,从而准确的把握城市轨道交通的发展规模和发展速度。
附图说明
图1显示为本发明的基于容器云平台和大数据提升轨道交通运营能力的方法于一实施例中的流程图。
图2显示为本发明的搭建机器集群于一实施例中的流程图。
图3显示为本发明的机器集群分析客流流量数据于一实施例中的流程图。
图4显示为本发明的对弹性伸缩资源进行粗调于一实施例中的流程图。
图5显示为本发明的对弹性伸缩资源进行细调于一实施例中的流程图。
图6显示为本发明的大数据于一实施例中的实现原理图。
图7显示为本发明的信息采集的传递过程于一实施例中的工作原理图。
图8显示为本发明的数据运算过程于一实施例中的工作原理图。
标号说明
S1~S4 步骤;
S21~S23 步骤;
S24~S26 步骤;
S41~S42 步骤;
S43~S44 步骤。
具体实施方式
以下通过特定的具体实施例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本发明的基于容器云平台和大数据提升轨道交通运营能力的方法,与现有技术相比,本发明通过容器技术和大数据的结合应用在轨道交通中,容器云平台可以帮助用户专注于业务,提高开发运维效率,大数据应用对其采集的海量数据进行数据分析,极大地提升了轨道交通站点运营的科学性,为帮助轨道交通运营提供了数据支持,有助于统筹规划建设运营,将安全和服务的要求贯穿于规划、建设和运营的全过程,从而准确的把握城市轨道交通的发展规模和发展速度。
如图1所示,于一实施例中,本发明的基于容器云平台和大数据提升轨道交通运营能力的方法包括以下步骤:
步骤S1、基于轨道交通站点搭建的数据采集器,获取客流流量数据。
具体地,预先在轨道交通站点搭建好数据采集器,以通过该数据采集器实时采集该轨道交通站点内的客流流量情况,最终获取该客流流量数据。
需要说明的是,该数据采集器包括但不限于高清监控探头、无线wifi、无线wifi信号探测器等硬件层的数据采集器件,这些器件的覆盖范围包括该轨道交通站点的绝大部分公共场合;具体地,包括基于视频探头的人脸识别和客流监控,基于无线wifi智能感知的客流分析等方式采集客流流量数据。
步骤S2、根据基础设施、容器云平台及大数据,搭建一用于存储、传输及分析所述客流流量数据的机器集群。
需要说明的是,容器云平台是云计算的一种服务提供方式,容器云平台以Docker为底层的容器引擎,以kubernetes作为容器的编排工具而构建的容器云平台,容器云平台以容器作为资源分割和调度的单位,容器通过镜像进行运行,用户可以在构建的镜像中封装应用运行时所需的依赖环境,容器的运行是跨平台的,这意味着容器可以实现一次构建,随处运行,这使用户免去了很多的兼容性烦恼,在容器之上,容器云平台还采用了kubernetes作为容器的编排工具,实现应用的部署,服务高可用以及容器的弹性伸缩等功能。
需要说明的是,大数据是指规模巨大的数据,大数据常常意味着有海量的数据存储,在采集到数据(客流流量数据)后,会对存储在数据库的海量数据进行基于大量数据的数据分析,在这过程中会通过特定的方式进行数据采集,将采集的数据进行数据存储,对采集的数据进行数据管理,以及对采集的数据进行数据分析和数据挖掘,最终形成用户所需的数据报表。
如图2所示,于一实施例中,根据基础设施、容器云平台及大数据,搭建所述机器集群包括以下步骤:
步骤S21、将所述基础设施提供的基础设置作为所述机器集群的底层设施。
具体地,由基础设施即服务的IAAS层提供包括CPU、内存、网络等基础设施,搭建一套满足部署需求的机器集群,IAAS层提供的基础设置作为PAAS层的底层设施。
步骤S22、在所述基础设施之上搭建所述容器云平台。
具体地,在IAAS层的基础设施之上搭建容器云平台,容器云平台提供PAAS服务,作为应用服务(包含大数据服务的组件,各种软件层的依赖环境以及大数据所需的数据库)的容器化运行环境,由容器云平台提供云弹性伸缩能力以满足轨道交通站点的不同峰值客流情况。
步骤S23、在所述容器云平台的PAAS服务部署所述大数据所需的依赖组件、数据库及数据采集与分析应用服务,以完成所述机器集群的搭建。
具体地,在容器云平台的PAAS服务提供大数据所需的数据库、依赖组件及数据库及数据采集与分析应用服务作为大数据数据采集服务的必须依赖。
需要说明的是,容器云平台是以Docker为引擎,因此可以为服务设定容器的资源大小,限定容器的最大可使用资源量,为数据库以及其他的依赖服务组件设定最大可使用的cpu和内存,避免资源浪费。
进一步地,进行数据采集与分析的前提是数据采集器搭建完成并正常工作,大数据数据库以及依赖组件搭建完成并且正常运行,满足数据采集分析的前提后,数据采集工作才能正常运行,在此前提下再进行容器云平台数据采集和分析的应用服务的部署。
需要说明的是,完成以上步骤,包括完成数据采集的数据采集器、IAAS提供底层基础设施、在IAAS提供的的基础设施上搭建容器云平台提供PAAS服务、在容器云平台提供的PAAS服务部署大数据依赖组件、大数据依赖数据库、在此基础上搭建大数据服务的数据采集与分析应用服务,之后,通过联调测试各个步骤的安装正确性、网络互通性及数据采集的正确性,保证在轨道交通的数据采集与分析可以正常工作。
于一实施例中,所述数据采集与分析应用服务支持即时实时获取所述客流流量数据,以生成任意时间段的客流信息报表,及对所述客流流量数据进行数据分析,以生成数据分析报告。
需要说明的是,数据采集与分析应用服务支持导出任意时间段的数据分析报告,报告内容包括对轨道交通客流的分析报表、轨道交通客流行人运动轨迹分析及轨道交通客流大数据客流信息分析等。
如图3所示,于一实施例中,所述机器集群分析所述客流流量数据包括以下步骤:
步骤S24、扫描所述客流流量数据中对应每一乘客的wifi移动终端,获取所述wifi移动终端的标识信息。
步骤S25、根据所述wifi移动终端的信号强度对所述乘客进行定位,获取对应所述乘客的定位信息,以最终基于所述标识信息和所述定位信息,实现了解客流动向和方位。
步骤S26、对所述乘客进行人脸检测、人脸识别及人脸跟踪,以实现预测所述乘客的行为动作。
步骤S3、获取所述机器集群对应所述客流流量数据的资源使用情况。
于一实施例中,所述资源使用情况包括以下任意一种或几种组合的使用情况:CPU、内存、网络、磁盘。
具体地,完成以上工作并通过联调测试后,轨道交通的大数据服务采集与分析工作即可正常运行,通过观察轨道交通站点在不同客流量下的客流情况,监控客流流量数据对大数据数据库、依赖组件以及数据采集与分析应用服务的CPU、内存、网络、磁盘等的资源使用情况。
需要说明的是,一般情况下,轨道交通站点的客流量直接影响数据库、依赖组件以及数据采集与分析应用服务的计算能力,客流量越大,需存储、传输、分析的数据也就越多,服务所需的计算能力也就越高,消耗的资源量也就越大,因此客流量直接影响相关服务的CPU、内存、网络和磁盘的资源的使用。
步骤S4、根据所述客流流量数据和所述资源使用情况,对所述容器云平台上的弹性伸缩资源进行动态调整,以实现提升所述轨道交通站点的运营能力。
于一实施例中,对所述容器云平台上的弹性伸缩资源进行动态调整包括:对所述弹性伸缩资源进行粗调和对所述弹性伸缩资源进行细调。
如图4所示,于一实施例中,对所述弹性伸缩资源进行粗调包括以下步骤:
步骤S41、根据所述客流流量数据和所述资源使用情况,建立客流流量和资源使用关系对比图。
具体地,监测对应不同客流流量数据的资源使用情况,根据不同客流出具客流流量和资源使用关系对比图。
步骤S42、根据所述客流流量和资源使用关系对比图进行所述弹性伸缩资源的粗调。
具体地,根据步骤S41中获取的客流流量和资源使用关系对比图,对比不同客流量对资源使用的影响,并且在此基础上进行性伸缩资源的粗调。
于一实施例中,对所述弹性伸缩资源进行粗调的粗调对象包括所述大数据所需的依赖组件、数据库及数据采集与分析应用服务;对所述弹性伸缩资源进行粗调的粗调内容包括:根据对应所述大数据的资源请求使用量,对所述容器云平台副本进行横向的伸缩。
如图5所示,于一实施例中,对所述弹性伸缩资源进行细调包括以下步骤:
步骤S43、根据所述客流流量数据进行所述容器云平台服务副本数的调试,获取所述轨道交通站点的历史峰值客流流量。
具体地,根据具体的客流流量数据进行容器服务副本数的调试,分析轨道交通站点在历史峰值客流流量的客流情况对现行配置的合理性。
步骤S44、根据所述历史峰值客流流量进行所述弹性伸缩资源的细调。
于一实施例中,还包括以下步骤:
(1)判断所述弹性伸缩资源的伸缩率是否能满足历史峰值客流流量的需求。
具体地,评估资源的伸缩率是否满足最大可能出现的客流情况(历史峰值客流流量)。
(2)在所述弹性伸缩资源的伸缩率不能满足所述历史峰值客流流量的需求时,在所述容器云平台上创建新的实例副本。
具体地,在设定服务的弹性伸缩后,在客流量升高,计算能力要求提高达到了服务的指定量的资源使用率后,即弹性伸缩资源的伸缩率不能满足历史峰值客流流量的需求时,将自动创建新的容器实例副本,以分摊单个容器实例的资源使用压力。
(3)判断所述容器云平台上实例副本的资源是否大于预设资源阈值。
(4)当所述容器云平台上一第一实例副本的资源大于所述预设资源阈值时,在所述容器云平台上创建一与所述第一实例副本相同的实例副本;当所述容器云平台上一第二实例副本的资源小于所述预设资源阈值时,则释放所述第二实例副本。
具体地,当多个副本数的容器实例中的某一实例副本的资源高于预设资源阈值,则会继续创建一个等同的副本;当其中的某一实例副本的资源小于预设资源阈值,则会释放那个容器。
需要说明的是,本发明所述的基于容器云平台和大数据提升轨道交通运营能力的方法,通过将容器云平台和大数据应用到轨道交通中,可实现以特定的方式采集客流数据,通过大数据应用转存数据文件,并通过对数据的提取转储为可视化数据;容器云平台可以帮助用户专注于业务,提高开发运维效率,大数据应用对其采集的海量数据进行数据分析,极大地提升了轨道交通站点运营的科学性,为帮助轨道交通运营提供了数据支持,有助于统筹规划建设运营,将安全和服务的要求贯穿于规划、建设和运营的全过程,从而准确的把握城市轨道交通的发展规模和发展速度。
如图6至图8所示,于一实施例中,该大数据的具体工作原理如下:
针对轨道交通所有应用部署到容器云平台后,利用自身的大数据流处理平台去将所有数据采集到数据平台中,按照类型将数据进行分类,针对不同的分类进行不同的处理。
该大数据采集所有容器的运行过程产生的数据,包括针对容器构建环境下运行的数据采集;具体地,针对客流应用系统系统信息数据采集的步骤如下:
步骤一、信息采集与处理。
具体地,本步骤主要分为两步,运行信息采集以及运行数据处理。
如图7所示,运行数据采集利用在将容器运行数据采集后通过流式kafka通道去做相关处理,后续采用Flink计算引擎框架对流式数据进行实时计算;对于数据采集,是通过对容器中事件监听器实现的,在容器启动中,容器内部自带的监听组件同步启动,并且将监听内容注册到监听总线上。
系统在运行在执行驱动器中的作业调度器中定义了一个执行器信息采集器,并将其注册到监听器总线对象中,监听器总线是负责接收并转发消息的核心组件,任务执行器通过远程过程调用来与之进行通信,执行器信息采集器监听了任务开始、任务完成等事件消息,监听器在具体的对应事件的监听方法中对记录的数据进行管理和操作。
监听器监听到容器中数据上报过后,将数据原样推送到kafka消息队列中,Kafka通道接收到相关数据后设置3个partitions和3个replicas完成备份数据。
如图8所示,对于数据运算,kafka接受到数据过后,flink计算引擎通过流处理模块实时获取到相关的数据,按照预先设定好的算法对数据进行计算,计算过后根据数据类型推送到不同的数据存储当中,随后根据计算过后的数据与容器的业务信息由于处于不同的数据源,采用了presto进行数据拼装,针对大批量数据以及静态数据进行组装,将组装过后的数据推送到结果数据存储当中,此时数据可以给上层应用提供支撑。
步骤二、数据标准。
需要说明的是,在数据标准的计算过程中,存在许多问题,通过数据智能清洗去噪模块,用于标准化数据管理。
具体地,数据标准管理主要实现对数据规范、数据格式、编码规则、数据字典值、采集频度等信息的统一管理,并会由数据标准的定义生成相应的数据清洗程序,以实现数据的人工清洗。
基于元数据,对接入数据、基础指标和业务指标进行数据标准定义,并提供数据标准信息的查看、增加、修改、删除等操作。
需要说明的是,数据标准管理主要提供以下功能:
1、新建数据标准:基于元数据里的数据定义,生成数据标准表格,可对数据中数值和维度设置约束条件,并保持当前数据标准的定义。
2、管理数据标准:对已有数据标准的信息提供查看、搜索、编辑等操作。
3、删除数据标准:可对已定义的数据标准进行逻辑删除,删除后与数据标准相关的数据清洗任务将停止运行。
步骤三、数据清洗。
具体地,在分析数据前,需要对采集的数据进行标准化,清晰化的数据清洗,数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。
需要说明的是,数据清洗的范围包括但并不限于数据指标的转换、合规性检测、去除冗余数据、清除错误数据、补充缺失数据以及数据填充。
进一步地,数据清洗的具体工作包括以下内容:
(1)在数据清洗过程中,对数据指标的转换包括根据元数据管理的基础指标定义,对所有原始数据的同一类数据对象进行规范化处理,统一数据对象的属性描述和维度数据。
其中,将各来源的原始数据转换为大数据平台内统一标准的指标数据,对于数据转换要求有:
(11)数据转换中应保持所有数据信息;
(12)数据转换后仍保存原始数据,便于后续进行数据复查;
(13)合规性检测包括根据元数据定义对所有已转换为指标的数据进行合规检测,包含:
(14)数据格式是否符合数据定义;
(15)数据内容是否符合字典值定义;
(16)去除冗余数据,根据数据标准中的采集要求,去除转换后数据冗余的信息,包括重复数据、无效数据等。重复数据的去除主要是根据采集时间进行判定;无效数据则根据元数据定义进行判定。
(2)错误数据清除则根据元数据中数据定义,识别转换后的指标数据流中错误的数据,并删除错误数据。
(3)补充缺失数据根据元数据中数据定义,识别转换后的指标数据是否存在缺失,根据元数据定义和数据标准对缺失项进行补充,补充规则为:
(31)优先选择元数据的业务信息进行信息补充;
(32)可选择数据定义的默认数值进行补充;
(33)可根据指标的业务定义,设置规则进行缺失项补充;
(34)数据填充根据数据标准定义,对某些特定字段进行数据填充,数据填充方案可自定义,支持两种数据填充方案:固定值填充、动态数据填充:基于某一特定的数据计算方式,动态获取填充数据。
步骤四、在对数据清理去噪过后,即可进行数据分析,即时对采集数据进行设计相关的分析运算,同时将这些分析完成呈现。
需要说明的是,该数据分析的内容包括:采集云主机、云盘、裸金属服务器、IP、物理主机、服务器、存储、网络设备、云资源、监控探头、wifi站点等硬件层数据,通过统计分析从不同维度了解从硬件到软件整体的运行情况,从采集的流数据中摘取分析数据,将原始数据可视化,支持对原始数据的实时数据流的可视化,根据不同的数据对象呈现不同的数据视图,同时支持北向接口,用户可自定义将原始数据提供给外部;基础数据可视化,支持基于基础指标的实时数据流的可视化,根据不同的数据对象呈现不同的数据视图,同时支持北向接口,用户可自定义将基础数据提供给外部;业务数据可视化,支持基于业务指标进行数据可视化,提供业务数据不同维度的分类查询展示,同时支持北向接口,用户可自定义将业务数据提供给外部。
需要说明的是,本发明所述的基于容器云平台和大数据提升轨道交通运营能力的方法的保护范围不限于本实施例列举的步骤执行顺序,凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
综上所述,本发明的基于容器云平台和大数据提升轨道交通运营能力的方法,与现有技术相比,本发明通过容器技术和大数据的结合应用在轨道交通中,容器云平台可以帮助用户专注于业务,提高开发运维效率,大数据应用对其采集的海量数据进行数据分析,极大地提升了轨道交通站点运营的科学性,为帮助轨道交通运营提供了数据支持,有助于统筹规划建设运营,将安全和服务的要求贯穿于规划、建设和运营的全过程,从而准确的把握城市轨道交通的发展规模和发展速度;所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (4)
1.一种基于容器云平台和大数据提升轨道交通运营能力的方法,其特征在于,包括以下步骤:
利用轨道交通站点搭建的数据采集器,获取客流流量数据;
在基础设施之上搭建容器云平台,所述的基础设施包括服务器;
在所述容器云平台的PAAS服务中部署大数据所需的依赖组件、数据库及数据采集与分析应用服务,以搭建一用于存储、传输及分析所述客流流量数据的机器集群,且将所述基础设施提供的基础设置作为所述机器集群的底层设施;
获取所述机器集群对应所述客流流量数据的资源使用情况;
根据所述客流流量数据和所述资源使用情况,对所述容器云平台上的弹性伸缩资源进行动态调整,以实现提升所述轨道交通站点的运营能力;其中,对所述弹性伸缩资源的动态调整包括:对所述弹性伸缩资源进行粗调和对所述弹性伸缩资源进行细调;
所述数据采集与分析应用服务支持即时实时获取所述客流流量数据,以生成任意时间段的客流信息报表,及对所述客流流量数据进行数据分析,以生成数据分析报告;
所述机器集群分析所述客流流量数据包括以下步骤:
扫描所述客流流量数据中对应每一乘客的wifi移动终端,获取所述wifi移动终端的标识信息;
根据所述wifi移动终端的信号强度对所述乘客进行定位,获取对应所述乘客的定位信息,以最终基于所述标识信息和所述定位信息,实现了解客流动向和方位;
对所述乘客进行人脸检测、人脸识别及人脸跟踪,以实现预测所述乘客的行为动作;
还包括以下步骤:
判断所述弹性伸缩资源的伸缩率是否能满足历史峰值客流流量的需求;
在所述弹性伸缩资源的伸缩率不能满足所述历史峰值客流流量的需求时,在所述容器云平台上创建新的实例副本;
判断所述容器云平台上实例副本的资源是否大于预设资源阈值;
当所述容器云平台上一第一实例副本的资源大于所述预设资源阈值时,在所述容器云平台上创建一与所述第一实例副本相同的实例副本;当所述容器云平台上一第二实例副本的资源小于所述预设资源阈值时,则释放所述第二实例副本。
2.根据权利要求1所述的基于容器云平台和大数据提升轨道交通运营能力的方法,其特征在于,
对所述弹性伸缩资源进行粗调包括以下步骤:
根据所述客流流量数据和所述资源使用情况,建立客流流量和资源使用关系对
比图;
根据所述客流流量和资源使用关系对比图进行所述弹性伸缩资源的粗调;
对所述弹性伸缩资源进行细调包括以下步骤:
根据所述客流流量数据进行所述容器云平台服务副本数的调试,获取所述轨道
交通站点的历史峰值客流流量;
根据所述历史峰值客流流量进行所述弹性伸缩资源的细调。
3.根据权利要求2所述的基于容器云平台和大数据提升轨道交通运营能力的方法,其特征在于,对所述弹性伸缩资源进行粗调的粗调对象包括所述大数据所需的依赖组件、数据库及数据采集与分析应用服务;对所述弹性伸缩资源进行粗调的粗调内容包括:根据对应所述大数据的资源请求使用量,对所述容器云平台副本进行横向的伸缩。
4.根据权利要求1所述的基于容器云平台和大数据提升轨道交通运营能力的方法,其特征在于,所述资源使用情况包括以下任意一种或几种组合的使用情况:CPU、内存、网络、磁盘。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011186329.3A CN112312345B (zh) | 2020-10-30 | 2020-10-30 | 基于容器云平台和大数据提升轨道交通运营能力的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011186329.3A CN112312345B (zh) | 2020-10-30 | 2020-10-30 | 基于容器云平台和大数据提升轨道交通运营能力的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112312345A CN112312345A (zh) | 2021-02-02 |
CN112312345B true CN112312345B (zh) | 2022-08-12 |
Family
ID=74332256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011186329.3A Active CN112312345B (zh) | 2020-10-30 | 2020-10-30 | 基于容器云平台和大数据提升轨道交通运营能力的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112312345B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114513522B (zh) * | 2022-01-04 | 2023-05-16 | 武汉烽火技术服务有限公司 | 一种北向接口资源导出系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106529815A (zh) * | 2016-11-15 | 2017-03-22 | 同济大学 | 城市轨道交通网络乘客出行时空轨迹估计方法及其应用 |
AU2018280266B2 (en) * | 2017-06-09 | 2020-09-10 | Equinix, Inc. | Near real-time messaging service for data center infrastructure monitoring data |
CN107426034B (zh) * | 2017-08-18 | 2020-09-01 | 国网山东省电力公司信息通信公司 | 一种基于云平台的大规模容器调度系统及方法 |
CN108388472A (zh) * | 2018-03-01 | 2018-08-10 | 吉林大学 | 一种基于Docker集群的弹性任务调度系统及方法 |
CN110329319B (zh) * | 2019-06-28 | 2021-09-03 | 卡斯柯信号有限公司 | 一种面向智慧城轨的全自动运行系统 |
CN110543537B (zh) * | 2019-08-22 | 2020-05-26 | 广东省城乡规划设计研究院 | 一种基于Docker容器及微服务架构的智慧规划时空云GIS平台 |
CN110705747A (zh) * | 2019-08-27 | 2020-01-17 | 广州交通信息化建设投资营运有限公司 | 一种基于大数据的智慧公共交通云脑体系 |
CN110851523A (zh) * | 2019-10-29 | 2020-02-28 | 交控科技股份有限公司 | 一种线网调度系统 |
-
2020
- 2020-10-30 CN CN202011186329.3A patent/CN112312345B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112312345A (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
CN106708016B (zh) | 故障监控方法和装置 | |
CN112651126B (zh) | 一种基于bim的建筑工程施工优化系统、方法、终端及存储介质 | |
CN111339175B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
CN111866727B (zh) | 司机聚集点的展示方法、装置、电子设备、存储介质 | |
CN113179173B (zh) | 一种用于高速公路系统的运维监控系统 | |
CN111309550A (zh) | 应用程序的数据采集方法、系统、设备和存储介质 | |
CN111382146A (zh) | 数据存储控制方法、装置、设备以及存储介质 | |
CN109189846A (zh) | 一种基于大数据技术的公安交管可视化建模系统及方法 | |
CN111240876B (zh) | 微服务的故障定位方法、装置、存储介质及终端 | |
CN108573029B (zh) | 一种获取网络访问关系数据的方法、装置及存储介质 | |
WO2021058020A1 (zh) | 一种有状态应用的实例创建方法、装置、设备及介质 | |
CN115335821B (zh) | 卸载统计收集 | |
CN112312345B (zh) | 基于容器云平台和大数据提升轨道交通运营能力的方法 | |
CN112865311B (zh) | 一种电力系统消息总线监视方法和装置 | |
CN112148578A (zh) | 基于机器学习的it故障缺陷预测方法 | |
CN112069049A (zh) | 数据监控管理方法、装置、服务器及可读存储介质 | |
CN114037156A (zh) | 基于弹性云的轨交大客流轨迹分析方法、终端及存储介质 | |
CN111581056A (zh) | 基于人工智能的软件工程数据库维护与预警系统 | |
CN105824848A (zh) | 获得消防综合信息的方法和消防信息系统 | |
CN112529525A (zh) | 一种电网突发事件情景要素提取及全域融合方法与系统 | |
CN115439015A (zh) | 基于数据中台的局域电网数据管理方法、装置及设备 | |
CN114900438A (zh) | 通信网络数据建模实现方法、装置、存储介质及设备 | |
CN110955709B (zh) | 一种数据的处理方法、装置及电子设备 | |
de Camargo Magano et al. | Abstracting Big Data Processing Tools for Smart Cities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |