CN117667874A - 感知数据自动汇聚处理方法、系统、装置及电子设备 - Google Patents
感知数据自动汇聚处理方法、系统、装置及电子设备 Download PDFInfo
- Publication number
- CN117667874A CN117667874A CN202311467441.8A CN202311467441A CN117667874A CN 117667874 A CN117667874 A CN 117667874A CN 202311467441 A CN202311467441 A CN 202311467441A CN 117667874 A CN117667874 A CN 117667874A
- Authority
- CN
- China
- Prior art keywords
- analysis
- data
- log
- service
- oss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002776 aggregation Effects 0.000 title claims description 16
- 238000004220 aggregation Methods 0.000 title claims description 16
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 146
- 238000004458 analytical method Methods 0.000 claims abstract description 133
- 238000012545 processing Methods 0.000 claims abstract description 48
- 230000008447 perception Effects 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000007405 data analysis Methods 0.000 claims abstract description 9
- 238000013480 data collection Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000001953 sensory effect Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000010205 computational analysis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种感知数据自动汇聚处理方法、系统、装置及电子设备，该方法包括：定时扫描OSS目录，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件；基于SPI模板模式，根据日志文件的不同类型加载相应的解析实现类，对日志文件进行解析；解析实现类继承实现解析抽象类中的部分或全部子方法，解析抽象类中的子方法包括读取日志文件方法、按行读取文件内容方法、解析普通字段方法和解析二进制字段方法；调用大数据平台，对解析后的格式化数据进行大数据计算分析。本发明不仅提高了轨道交通日志数据分析处理的安全性，更简化了不同日志解析开发的模式，减少了人工干预，提高了数据分析处理效率和准确性。
Description
技术领域
本发明涉及轨道交通技术领域，尤其涉及一种感知数据自动汇聚处理方法、系统、装置及电子设备。
背景技术
轨道交通系统是一个复杂的大系统，涉及到许多不同的技术领域，包括信号系统、车辆控制、乘客信息系统、安全系统等。这些系统会产生大量的感知数据，如车辆位置、速度、乘客数量、设备状态等。
目前为了监测和管理轨道交通系统的运行状态，各种感知设备被广泛部署在轨道交通网络中，以收集相关的数据，对于感知数据，大多是人工收集通过磁盘拷贝，开发程序进行数据清洗再交给大数据平台使用；或采用超文本传输协议(Hypertext TransferProtocol，HTTP)或者用户数据报协议(User Datagram Protocol，UDP)进行上报，后端汇总数据录入大数据存储，再进行大数据计算。这些方法存在诸如不安全、效率低、错误率高等一系列问题。
发明内容
针对现有技术存在的问题，本发明提供一种感知数据自动汇聚处理方法、系统、装置及电子设备。
第一方面，本发明提供一种感知数据自动汇聚处理方法，包括：
定时扫描对象存储服务OSS目录，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件；数据采集服务用于采集轨道列车端不同系统产生的感知数据；
基于服务提供者接口SPI模板模式，根据日志文件的不同类型加载相应的解析实现类，对日志文件进行解析；解析实现类继承实现解析抽象类中的部分或全部子方法，解析抽象类中的子方法包括读取日志文件方法、按行读取文件内容方法、解析普通字段方法和解析二进制字段方法；
调用大数据平台，对解析后的格式化数据进行大数据计算分析。
在一些实施例中，解析二进制字段方法包括：
采用协议动态加载模式，预先将协议描述文件格式化存入数据库中，在服务初始化时将二进制解析协议加载到内存中，在解析日志文件时根据日志文件的协议版本调用相应的二进制解析协议进行按位解析字段值。
在一些实施例中，解析实现类包括列车自动运行系统ATO解析实现类、列车自动防护系统ATP解析实现类和列车控制和管理系统TCMS解析实现类；
其中，ATO解析实现类和ATP解析实现类继承实现解析抽象类中的按行读取文件内容方法和解析普通字段方法；
TCMS解析实现类继承实现解析抽象类中的按行读取文件内容方法、解析普通字段方法和解析二进制字段方法。
在一些实施例中，数据采集服务仅支持将日志文件上传至OSS的功能权限。
在一些实施例中，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件之后，该方法还包括：
基于数据库配置的不同正则表达式或者匹配关键词，对日志文件进行校验。
在一些实施例中，对解析后的格式化数据进行大数据计算分析之后，该方法还包括：
将应用层数据录入Doris，提供给前端访问。
第二方面，本发明还提供一种感知数据自动汇聚处理系统，包括：
部署于轨道列车端的数据采集服务、对象存储服务OSS、日志服务平台和大数据平台；
OSS分别与数据采集服务和日志服务平台通信连接，大数据平台与日志服务平台通信连接；
其中，日志服务平台用于实现第一方面的感知数据自动汇聚处理方法。
第三方面，本发明还提供一种感知数据自动汇聚处理装置，包括：
获取模块，用于定时扫描对象存储服务OSS目录，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件；数据采集服务用于采集轨道列车端不同系统产生的感知数据；
解析模块，用于基于服务提供者接口SPI模板模式，根据日志文件的不同类型加载相应的解析实现类，对日志文件进行解析；解析实现类继承实现解析抽象类中的部分或全部子方法，解析抽象类中的子方法包括读取日志文件方法、按行读取文件内容方法、解析普通字段方法和解析二进制字段方法；
大数据分析模块，用于调用大数据平台，对解析后的格式化数据进行大数据计算分析。
在一些实施例中，解析二进制字段方法包括：
采用协议动态加载模式，预先将协议描述文件格式化存入数据库中，在服务初始化时将二进制解析协议加载到内存中，在解析日志文件时根据日志文件的协议版本调用相应的二进制解析协议进行按位解析字段值。
在一些实施例中，解析实现类包括列车自动运行系统ATO解析实现类、列车自动防护系统ATP解析实现类和列车控制和管理系统TCMS解析实现类；
其中，ATO解析实现类和ATP解析实现类继承实现解析抽象类中的按行读取文件内容方法和解析普通字段方法；
TCMS解析实现类继承实现解析抽象类中的按行读取文件内容方法、解析普通字段方法和解析二进制字段方法。
在一些实施例中，数据采集服务仅支持将日志文件上传至OSS的功能权限。
在一些实施例中，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件之后，该装置还包括：
校验模块，用于基于数据库配置的不同正则表达式或者匹配关键词，对日志文件进行校验。
在一些实施例中，对解析后的格式化数据进行大数据计算分析之后，该装置还包括：
存储模块，用于将应用层数据录入Doris，提供给前端访问。
第四方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述第一方面所述的感知数据自动汇聚处理方法。
第五方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述第一方面所述的感知数据自动汇聚处理方法。
本发明提供的感知数据自动汇聚处理方法、系统、装置及电子设备，通过OSS来获取部署于轨道列车端的数据采集服务上传的日志文件，然后基于SPI模板模式来进行日志文件解析，不仅提高了轨道交通日志数据分析处理的安全性，更简化了不同日志解析开发的模式，减少了人工干预，提高了数据分析处理效率和准确性。
附图说明
为了更清楚地说明本发明或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的感知数据自动汇聚处理方法的流程示意图；
图2为本发明提供的日志解析SPI机制图；
图3为本发明提供的日志解析模板模式类图；
图4为本发明提供的二进制字段解析流程图；
图5为本发明提供的感知数据自动汇聚处理方法的示例流程与传统感知数据采集及大数据计算流程的对比图；
图6为本发明提供的一种感知数据自动汇聚处理系统的结构示意图；
图7为本发明提供的感知数据自动汇聚处理装置的结构示意图；
图8为本发明提供的电子设备的结构示意图。
具体实施方式
本发明中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明中术语“多个”是指两个或两个以上，其它量词与之类似。
本发明中术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的感知数据自动汇聚处理方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤100、定时扫描对象存储服务OSS目录，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件；数据采集服务用于采集轨道列车端不同系统产生的感知数据。
具体地，该方法中各步骤的执行主体可以是感知数据自动汇聚处理装置，该装置可通过软件和/或硬件实现，实际应用中其实现可以是日志服务平台、日志后端服务等，该装置可集成在电子设备中，电子设备可以是终端设备(如智能手机、个人电脑等)，也可以是服务器(如本地服务器或云端服务器，也可以为服务器集群等)，也可以是处理器，也可以是芯片等。
本发明中，事先在轨道列车端部署数据采集服务，数据采集服务收集汇总轨道列车端不同系统产生的各种感知数据，然后将各个系统的日志文件上传至对象存储服务(Object Storage Service，OSS)，感知数据自动汇聚处理装置定时扫描OSS目录，获取OSS中最新存储的日志文件，将日志文件下载解压。
其中，轨道列车端不同系统指的是部署于轨道列车端的各类轨道交通系统，例如可以包括列车自动运行系统(Automatic Train Operation，ATO)、列车自动防护系统(Automatic Train Protection，ATP)、列车控制和管理系统(Train Control andManagement System，TCMS)等。
本发明所指的感知数据包括来自轨道列车端不同系统产生的各种感知数据，如车辆位置、速度、乘客数量、设备状态等。
在一些实施例中，可以根据系统类型部署不同的数据采集服务(或称日志采集服务)，如可以提供Java、C++、Python等语言的数据采集服务软件开发工具包(SoftwareDevelopment Kit，sdk)，该sdk支持加密上传OSS。从而可以支持不同系统不同开发人员接入使用，实现感知数据端(即数据采集服务端)对数据的上报接入，减少开发量。感知数据来自车辆不同控制系统，可以配置不同的日志路径等实现采集服务开发。
由于车辆白天行驶，晚上停泊车场，车辆日志量大。在一些实施例中，可以采取每日凌晨统一处理日志。数据采集服务可以将日志打包归类到日期文件夹中，并做压缩，通过特殊权限控制上传OSS。上传文件时，OSS对收到的文件进行加密，再将得到的加密文件持久化保存；下载文件时，OSS自动将加密文件解密后返回给用户，并在返回的HTTP请求Header中，声明该文件进行了服务器端加密，这样保证了日志传输的安全性。
在一些实施例中，数据采集服务仅支持将日志文件上传至OSS的功能权限。即通过特殊权限控制数据采集服务上传文件至OSS，该数据采集服务端只有上传权限，其他功能权限都不支持，例如可以通过账号授权体系，数据采集服务端账号只可上传，不能下载及更改，保证日志传输的安全性。
在一些实施例中，感知数据自动汇聚处理装置扫描最新OSS目录，将最新的日志下载、解压。扫描过程中，可以对文件进行数据转换，转换为以日期为单位的批次处理数据结构，设置相应属性，将已经下载完成的数据录入数据库中，通过数据库查询比对，找出变更文件，对新变更文件进行下载，下载后的格式可以有zip、rar、7z等。通过递归解压，解压出全部原始日志文件。如果历史日志有更新，程序可以只处理最新日志，做增量更新。还可以将下载解压功能开发为开放接口，提供给其它服务调用。
在一些实施例中，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件之后，该方法还包括：
基于数据库配置的不同正则表达式或者匹配关键词，对日志文件进行校验。
具体地，由于下载解压出的是原始日志，文件命名和内容差异很大，因此可以在得到原始日志后通过数据库配置不同正则表达式，或关键词匹配的方式，实现日志文件(例如：车载日志ATP和ATO及TCMS日志)的校验，从而提高了后续分析处理的准确性。
步骤101、基于服务提供者接口SPI模板模式，根据日志文件的不同类型加载相应的解析实现类，对日志文件进行解析；解析实现类继承实现解析抽象类中的部分或全部子方法，解析抽象类中的子方法包括读取日志文件方法、按行读取文件内容方法、解析普通字段方法和解析二进制字段方法。
具体地，获取到日志文件后，对于日志解析过程，传统方法大多是代码编写解析逻辑，不同日志会写很多解析代码。本发明基于服务提供者接口(Service ProviderInterface，SPI)模板模式来实现解析流程开发通用简便化。
一般来说，对于未知的实现或者对扩展开放的系统，通常会把一些东西抽象出来，抽象的各个模块，往往有很多不同的实现方案，比如日志模块的方案。这个可以通过抽象工厂方法来理解这个含义，实现是可以由开发人员自己实现。由于代码上是处于上层的一个封装者，是不会知道底层怎么去实现，那么只能通过SPI机制，让上层知道应该调用哪个抽象的具体实现。所以这里可以理解为某些jar包里，为其他开发扩展调用使用的一种方式，可以为某个接口或服务，提供一个具体的实现。SPI机制主要用到ServiceLoader这个类，ServiceLoader通过读取resources/META-INF/services/com.xxx.xxx.xxxService文件下的xxxService的SPI实现类，通过反射获取对应类实例，并调用对应方法。本发明通过SPI定义好日志解析主流程，对不同日志，开发不同的Service实现类，然后注册到xml中，在日志解析的时候根据类型加载不同的实现类，实现日志解析，如图2所示。
图3为本发明提供的日志解析模板模式类图，如图3所示，本发明的日志解析主流程采用模板模式，定义解析抽象类，为匹配轨道交通感知数据的数据结构和格式特点，本发明中解析抽象类的主方法analyticMethod()会执行四个子方法：1)读取日志文件方法readFile()；2)按行读取文件内容方法readContent()；3)解析普通字段方法analyticNormal()；4)解析二进制字段方法analyticByte()。每一种解析实现类都要继承实现该解析抽象类，再根据需求实现其中部分或全部方法。
如图3所示，在一些实施例中，解析实现类包括ATO解析实现类、ATP解析实现类和TCMS解析实现类；
其中，ATO解析实现类和ATP解析实现类继承实现解析抽象类中的按行读取文件内容方法readContent()和解析普通字段方法analyticNormal()；
TCMS解析实现类继承实现解析抽象类中的按行读取文件内容方法readContent()、解析普通字段方法analyticNormal()和解析二进制字段方法analyticByte()。
具体地，ATO解析实现类、ATP解析实现类和TCMS解析实现类分别用于实现对ATO日志文件、ATP日志文件和TCMS日志文件的解析，通过根据ATO日志文件、ATP日志文件和TCMS日志文件的特点分别定义不同的解析实现类，用以继承实现解析抽象类中的部分方法，既可以满足各类不同日志文件解析的需要，又可以使解析实现类更加简化，提高程序处理的效率。
在一些实施例中，解析二进制字段方法包括：
采用协议动态加载模式，预先将协议描述文件格式化存入数据库中，在服务初始化时将二进制解析协议加载到内存中，在解析日志文件时根据日志文件的协议版本调用相应的二进制解析协议进行按位解析字段值。
图4为本发明提供的二进制字段解析流程图，如图4所示，传统方法一般是硬编码解析，不同协议必须编写不同的解析代码。而本发明采用协议动态加载模式，将协议描述文件格式化，存入数据库(Doris)中。服务初始化时，将二进制解析协议加载到内存中，解析时根据日志的协议版本调用不同的协议进行按位解析字段值。通过从数据库动态加载数据解析协议，可以实现对不同格式的数据进行动态解析，简化了日志解析模式，提高了日志解析处理的效率。
步骤102、调用大数据平台，对解析后的格式化数据进行大数据计算分析。
具体地，日志解析后，感知数据自动汇聚处理装置可以调用大数据平台，将解析后的格式化数据进行大数据计算分析，得到所需的分析结果。
在一些实施例中，对解析后的格式化数据进行大数据计算分析之后，该方法还包括：将应用层数据录入Doris，提供给前端访问。即大数据分析之后，感知数据自动汇聚处理装置可以将应用层相关的数据存入数据库Doris中，供前端访问使用，从而可以方便用户进行数据查询和分析。
通过日志系统收到的各个系统进度状态，动态分配批次执行计划，实现负载均衡，高效完成多批次任务执行。
感知数据自动汇聚处理的过程中涉及多个服务(平台或系统)，在一些实施例中，对不同服务的进度通知及管控，可以通过日志服务平台开放接口方式实现，提供统一的上报接口、指令操作接口和机器人通知接口，不同服务在处理日志过程中，需要上报自己的处理进度及处理状态。通过收到的各个服务进度状态，动态分配批次执行计划，实现负载均衡，高效完成多批次任务执行。
在一些实施例中，感知数据自动汇聚处理的全过程可以通过企业微信机器人发送流程进度，实时触达用户。还可以动态调度日志批次处理顺序及是否执行，如可以对失败的日志下达指令重新执行，从而避免重走全部流程。
图5为本发明提供的感知数据自动汇聚处理方法的示例流程与传统感知数据采集及大数据计算流程的对比图，如图5所示，相比于传统方案通过人工拷贝到磁盘或者通过http、udp等方式上报感知数据后进行大数据分析，本发明提供的方案在车辆端部署采集服务，采集服务直接将日志文件上传OSS即完成数据采集，日志后端服务负责解析处理，减轻了上报端工作量，实现了自动化处理，减少了人工干预，提高了处理效率和日志采集分析的准确性。
本发明提供的感知数据自动汇聚处理方法，通过OSS来获取部署于轨道列车端的数据采集服务上传的日志文件，然后基于SPI模板模式来进行日志文件解析，不仅提高了轨道交通日志数据分析处理的安全性，更简化了不同日志解析开发的模式，减少了人工干预，提高了数据分析处理效率和准确性。
图6为本发明提供的一种感知数据自动汇聚处理系统的结构示意图，如图6所示，该系统包括：
部署于轨道列车端的数据采集服务600、对象存储服务OSS 610、日志服务平台620和大数据平台630；
OSS 610分别与数据采集服务600和日志服务平台620通信连接，大数据平台630与日志服务平台620通信连接；
其中，日志服务平台620用于实现上述各实施例提供的感知数据自动汇聚处理方法。
具体地，本发明提供的感知数据自动汇聚处理系统中，日志服务平台可作为上述各实施例提供的感知数据自动汇聚处理方法的执行主体，其所执行的步骤可参考上述各实施例提供的感知数据自动汇聚处理方法，此处不再赘述。
例如：日志服务平台可以定时扫描OSS目录，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件；基于SPI模板模式，根据日志文件的不同类型加载相应的解析实现类，对日志文件进行解析；调用大数据平台，对解析后的格式化数据进行大数据计算分析。
在一些实施例中，该系统还可以包括Doris，Doris与日志服务平台之间的交互可参考前文，此处不再赘述。
在此需要说明的是，本发明提供的上述系统，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
下面对本发明提供的感知数据自动汇聚处理装置进行描述，下文描述的感知数据自动汇聚处理装置与上文描述的感知数据自动汇聚处理方法可相互对应参照。
图7为本发明提供的感知数据自动汇聚处理装置的结构示意图，如图7所示，该装置包括：
获取模块700，用于定时扫描对象存储服务OSS目录，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件；数据采集服务用于采集轨道列车端不同系统产生的感知数据；
解析模块710，用于基于服务提供者接口SPI模板模式，根据日志文件的不同类型加载相应的解析实现类，对日志文件进行解析；解析实现类继承实现解析抽象类中的部分或全部子方法，解析抽象类中的子方法包括读取日志文件方法、按行读取文件内容方法、解析普通字段方法和解析二进制字段方法；
大数据分析模块720，用于调用大数据平台，对解析后的格式化数据进行大数据计算分析。
在一些实施例中，解析二进制字段方法包括：
采用协议动态加载模式，预先将协议描述文件格式化存入数据库中，在服务初始化时将二进制解析协议加载到内存中，在解析日志文件时根据日志文件的协议版本调用相应的二进制解析协议进行按位解析字段值。
在一些实施例中，解析实现类包括列车自动运行系统ATO解析实现类、列车自动防护系统ATP解析实现类和列车控制和管理系统TCMS解析实现类；
其中，ATO解析实现类和ATP解析实现类继承实现解析抽象类中的按行读取文件内容方法和解析普通字段方法；
TCMS解析实现类继承实现解析抽象类中的按行读取文件内容方法、解析普通字段方法和解析二进制字段方法。
在一些实施例中，数据采集服务仅支持将日志文件上传至OSS的功能权限。
在一些实施例中，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件之后，该装置还包括：
校验模块，用于基于数据库配置的不同正则表达式或者匹配关键词，对日志文件进行校验。
在一些实施例中，对解析后的格式化数据进行大数据计算分析之后，该装置还包括：
存储模块，用于将应用层数据录入Doris，提供给前端访问。
在此需要说明的是，本发明提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图8为本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各实施例提供的任一所述感知数据自动汇聚处理方法，例如：定时扫描对象存储服务OSS目录，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件；数据采集服务用于采集轨道列车端不同系统产生的感知数据；基于服务提供者接口SPI模板模式，根据日志文件的不同类型加载相应的解析实现类，对日志文件进行解析；解析实现类继承实现解析抽象类中的部分或全部子方法，解析抽象类中的子方法包括读取日志文件方法、按行读取文件内容方法、解析普通字段方法和解析二进制字段方法；调用大数据平台，对解析后的格式化数据进行大数据计算分析。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在此需要说明的是，本发明提供的电子设备，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现上述各实施例提供的任一所述感知数据自动汇聚处理方法，例如：定时扫描对象存储服务OSS目录，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件；数据采集服务用于采集轨道列车端不同系统产生的感知数据；基于服务提供者接口SPI模板模式，根据日志文件的不同类型加载相应的解析实现类，对日志文件进行解析；解析实现类继承实现解析抽象类中的部分或全部子方法，解析抽象类中的子方法包括读取日志文件方法、按行读取文件内容方法、解析普通字段方法和解析二进制字段方法；调用大数据平台，对解析后的格式化数据进行大数据计算分析。
在此需要说明的是，本发明提供的非暂态计算机可读存储介质，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种感知数据自动汇聚处理方法，其特征在于，包括：
定时扫描对象存储服务OSS目录，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件；所述数据采集服务用于采集所述轨道列车端不同系统产生的感知数据；
基于服务提供者接口SPI模板模式，根据所述日志文件的不同类型加载相应的解析实现类，对所述日志文件进行解析；所述解析实现类继承实现解析抽象类中的部分或全部子方法，所述解析抽象类中的子方法包括读取日志文件方法、按行读取文件内容方法、解析普通字段方法和解析二进制字段方法；
调用大数据平台，对解析后的格式化数据进行大数据计算分析。
2.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述解析二进制字段方法包括：
采用协议动态加载模式，预先将协议描述文件格式化存入数据库中，在服务初始化时将二进制解析协议加载到内存中，在解析日志文件时根据日志文件的协议版本调用相应的二进制解析协议进行按位解析字段值。
3.根据权利要求1或2所述的感知数据自动汇聚处理方法，其特征在于，所述解析实现类包括列车自动运行系统ATO解析实现类、列车自动防护系统ATP解析实现类和列车控制和管理系统TCMS解析实现类；
其中，所述ATO解析实现类和所述ATP解析实现类继承实现解析抽象类中的按行读取文件内容方法和解析普通字段方法；
所述TCMS解析实现类继承实现解析抽象类中的按行读取文件内容方法、解析普通字段方法和解析二进制字段方法。
4.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述数据采集服务仅支持将日志文件上传至OSS的功能权限。
5.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述获取部署于轨道列车端的数据采集服务上传至OSS的日志文件之后，所述方法还包括：
基于数据库配置的不同正则表达式或者匹配关键词，对所述日志文件进行校验。
6.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述对解析后的格式化数据进行大数据计算分析之后，所述方法还包括：
将应用层数据录入Doris，提供给前端访问。
7.一种感知数据自动汇聚处理系统，其特征在于，包括：
部署于轨道列车端的数据采集服务、对象存储服务OSS、日志服务平台和大数据平台；
所述OSS分别与所述数据采集服务和所述日志服务平台通信连接，所述大数据平台与所述日志服务平台通信连接；
其中，所述日志服务平台用于实现权利要求1至6任一项所述的感知数据自动汇聚处理方法。
8.一种感知数据自动汇聚处理装置，其特征在于，包括：
获取模块，用于定时扫描对象存储服务OSS目录，获取部署于轨道列车端的数据采集服务上传至OSS的日志文件；所述数据采集服务用于采集所述轨道列车端不同系统产生的感知数据；
解析模块，用于基于服务提供者接口SPI模板模式，根据所述日志文件的不同类型加载相应的解析实现类，对所述日志文件进行解析；所述解析实现类继承实现解析抽象类中的部分或全部子方法，所述解析抽象类中的子方法包括读取日志文件方法、按行读取文件内容方法、解析普通字段方法和解析二进制字段方法；
大数据分析模块，用于调用大数据平台，对解析后的格式化数据进行大数据计算分析。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的感知数据自动汇聚处理方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的感知数据自动汇聚处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311467441.8A CN117667874A (zh) | 2023-11-06 | 2023-11-06 | 感知数据自动汇聚处理方法、系统、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311467441.8A CN117667874A (zh) | 2023-11-06 | 2023-11-06 | 感知数据自动汇聚处理方法、系统、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117667874A true CN117667874A (zh) | 2024-03-08 |
Family
ID=90081619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311467441.8A Pending CN117667874A (zh) | 2023-11-06 | 2023-11-06 | 感知数据自动汇聚处理方法、系统、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117667874A (zh) |
-
2023
- 2023-11-06 CN CN202311467441.8A patent/CN117667874A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111083225B (zh) | 在物联网平台中的数据处理方法、装置及物联网平台 | |
| CN102880503B (zh) | 数据分析系统及数据分析方法 | |
| CN108647265B (zh) | 基于多平台数据交互式系统 | |
| US10552293B2 (en) | Logging as a service | |
| Baresi et al. | Microservices: The evolution and extinction of web services? | |
| CN111897548B (zh) | 前端资源发布方法、装置、电子设备及计算机存储介质 | |
| CN105512044A (zh) | 用于关键字驱动测试的对象库的更新方法及系统 | |
| US10372572B1 (en) | Prediction model testing framework | |
| US20090063395A1 (en) | Mapping log sets between different log analysis tools in a problem determination environment | |
| CN112313627A (zh) | 事件到无服务器函数工作流实例的映射机制 | |
| CN115588244A (zh) | 一种车联网大数据实时分析方法、装置、设备及介质 | |
| US7831955B2 (en) | Development and execution platform | |
| US8694596B2 (en) | Systems and methods for information brokering in software management | |
| CN117667874A (zh) | 感知数据自动汇聚处理方法、系统、装置及电子设备 | |
| US20190109886A1 (en) | Selected data exchange | |
| CN115567526A (zh) | 数据监控方法、装置、设备及介质 | |
| CN1932760B (zh) | 用于运行应用程序的系统和方法 | |
| CN115878121A (zh) | 终端代码增量编译方法、系统、装置、服务器和存储介质 | |
| CN108694046B (zh) | 容器装配方法和装置 | |
| CN111813754A (zh) | 一种文件处理方法、文件处理装置、诊断设备及电子设备 | |
| CN110750563A (zh) | 多模型数据处理方法、系统、装置、电子设备及存储介质 | |
| CN117539605B (zh) | 一种数据处理程序组装方法、装置、设备及存储介质 | |
| CN117435177B (zh) | 应用程序接口构建方法、系统、设备及存储介质 | |
| US11113038B1 (en) | Grand unified processor with adaptive processing features | |
| Data | User's Guide |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |