CN111444276A

CN111444276A - 数据处理方法、装置和设备

Info

Publication number: CN111444276A
Application number: CN202010238696.7A
Authority: CN
Inventors: 贾利民; 李晓雷; 夏志成
Original assignee: Beijing Jinhong Xi Dian Information Technology Co ltd
Current assignee: Beijing Jinhong Xi Dian Information Technology Co ltd
Priority date: 2020-03-30
Filing date: 2020-03-30
Publication date: 2020-07-24

Abstract

本发明实施例提供数据处理方法、装置和设备，通过获取各业务系统的数据和各业务系统的业务关联关系，将各业务系统的数据以及业务关联关系存储于大数据服务系统中，由于将数据和数据的关联关系都存储到大数据服务系统中，当用户需要使用这些数据时，可以直接在大数据服务系统中获取，并直观地了解到数据的关联关系，从而能够对数据进行综合利用，提高了数据使用效率。

Description

数据处理方法、装置和设备

技术领域

本发明实施例涉及轨道交通领域，尤其涉及一种数据处理方法、装置和设备。

背景技术

城市轨道交通包括多个业务系统，如电扶梯监测系统、城轨信号系统主动维保子系统、轨道交通恶劣天气监测系统等。在轨道交通运载工具(如地铁、火车等)运行过程中，各业务系统均会产生大量数据，通常，将这些数据进行清洗、转换、存储后供各业务系统使用。

现有技术中，各业务系统的数据多用于各业务系统自身，当用户需要对各业务系统的数据综合使用时，往往需要获取全部数据，并且需要从各个业务系统分别获取数据，由于各业务系统的数据种类多、规模大，这样，数据的使用效率不高。

发明内容

本发明实施例提供一种数据处理方法、装置和设备，解决了现有技术中数据的使用效率不高的问题。

第一方面，本发明实施例提供一种数据处理方法，应用于大数据服务系统，所述方法包括：

获取运载工具各业务系统的数据，其中，每个业务系统包含至少一个业务；

获取所述各业务系统的业务关联关系，其中，业务关联关系包含不同业务系统的业务之间的关联关系；

将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中。

在一种可能的实施方式中，所述将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中，包括：

在所述大数据服务系统中，在每个业务系统对应的存储区中，存储所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据。

在所述大数据服务系统中，独立存储所述业务系统的数据和所述业务关联关系。

在一种可能的实施方式中，所述业务系统的原始数据包括结构化数据和非结构化数据；

在所述存储所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据之前，还包括：

利用预设的数据关联工具，将所述业务系统的原始数据中的结构化数据和非结构化数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的原始数据中的结构化数据和非结构化数据进行关联，得到所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据；所述数据关联工具包括结构化数据关联工具和非结构化数据关联工具。

在一种可能的实施方式中，在所述存储所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据之前，还包括：

利用预设的数据解析工具，解析所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据中的非结构化数据，得到结构化数据；

存储所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据，包括：

存储所述业务系统的结构化数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的结构化数据。

在一种可能的实施方式中，在获取运载工具各业务系统的数据之前，还包括：

根据预设的标准化规则，将所述各业务系统的原始数据标准化，得到标准数据，作为所述各业务系统的数据。

在一种可能的实施方式中，在根据预设的标准化规则，将所述各业务系统的原始数据标准化之前，还包括：

确定所述原始数据中的有效数据；

根据所述有效数据的类型，将所述有效数据分类存储；

根据预设的标准化规则，将所述各业务系统的原始数据标准化，包括：

根据预设的标准化规则，将所述有效数据标准化。

在一种可能的实施方式中，在将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中之前，还包括：

确定所述各业务系统的数据中的问题数据；所述问题数据为不符合预设要求的数据；

将所述问题数据存储到异议数据库中，返回各业务系统，以使所述各业务系统对所述问题数据修正，将修正后的数据合并到各业务系统的数据中，所述大数据服务系统获取运载工具各业务系统的数据；所述异议数据库为存储所述问题数据的数据库。

在一种可能的实施方式中，所述大数据服务系统的数据存储区包括主业务数据库和备用业务数据库；

将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中，包括：

将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中的主业务系统数据库和备用业务系统数据库。

第二方面，本发明实施例提供一种数据处理装置，应用于大数据服务系统，所述装置包括：

第一获取模块，用于获取运载工具各业务系统的数据，其中，每个业务系统包含至少一个业务；

第二获取模块，用于获取所述各业务系统的业务关联关系，其中，业务关联关系包含不同业务系统的业务之间的关联关系；

存储模块，用于将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中。

在一种可能的实施方式中，所述存储模块，具体用于：

在一种可能的实施方式中，所述业务系统的原始数据包括结构化数据和非结构化数据；所述装置还包括：关联模块；

所述关联模块，用于在所述存储所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据之前，利用预设的数据关联工具，将所述业务系统的原始数据中的结构化数据和非结构化数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的原始数据中的结构化数据和非结构化数据进行关联，得到所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据；所述数据关联工具包括结构化数据关联工具和非结构化数据关联工具。

在一种可能的实施方式中，所述装置还包括：解析模块；

所述解析模块，用于在所述存储所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据之前，利用预设的数据解析工具，解析所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据中的非结构化数据，得到结构化数据；

所述存储模块，具体用于存储所述业务系统的结构化数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的结构化数据。

在一种可能的实施方式中，所述装置还包括：标准化模块；

所述标准化模块，用于在获取运载工具各业务系统的数据之前，根据预设的标准化规则，将所述各业务系统的原始数据标准化，得到标准数据，作为所述各业务系统的数据。

在一种可能的实施方式中，所述装置还包括：确定模块；

所述确定模块，用于在根据预设的标准化规则，将所述各业务系统的原始数据标准化之前，确定所述原始数据中的有效数据；根据所述有效数据的类型，将所述有效数据分类存储；

所述标准化模块，具体用于根据预设的标准化规则，将所述有效数据标准化。

在一种可能的实施方式中，所述装置还包括：返回模块；

所述返回模块，用于在将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中之前，确定所述各业务系统的数据中的问题数据；所述问题数据为不符合预设要求的数据；将所述问题数据存储到异议数据库中，返回各业务系统，以使所述各业务系统对所述问题数据修正，将修正后的数据合并到各业务系统的数据中，所述大数据服务系统获取运载工具各业务系统的数据；所述异议数据库为存储所述问题数据的数据库。

在一种可能的实施方式中，所述大数据服务系统的数据存储区包括主业务数据库和备用业务数据库；所述存储模块，具体用于将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中的主业务系统数据库和备用业务系统数据库。

第三方面，本发明实施例提供一种数据处理装置，包括：至少一个处理器和存储器；

所述存储器用于存储计算机执行指令；

所述至少一个处理器用于执行所述存储器中存储的计算机执行指令，使得所述至少一个处理器执行上述第一方面任一项所述的数据处理方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上述第一方面任意一项所述的数据处理方法。

本发明实施例提供的数据处理方法、装置和设备，通过获取各业务系统的数据和各业务系统的业务关联关系，将各业务系统的数据以及业务关联关系存储于大数据服务系统中，由于将数据和数据的关联关系都存储到大数据服务系统中，当用户需要使用这些数据时，可以直接在大数据服务系统中获取，并直观地了解到数据的关联关系，从而能够对数据进行综合利用，提高了数据使用效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明实施例提供的大数据服务系统的系统架构示意图；

图3为本发明实施例提供的大数据服务系统的数据架构图；

图4为本发明实施例提供的大数据服务系统的数据接口的消息流程图；

图5为本发明实施例提供的另一种数据处理方法的流程示意图；

图6为本发明实施例提供的一种数据处理装置的结构示意图；

图7为本发明实施例提供的另一种数据处理装置的结构示意图；

图8为本发明实施例提供的一种数据处理装置的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例应用于轨道交通，轨道交通包括多个业务系统，如城轨受电弓接触网动态监测预警与评估系统、城轨线路基础设施缺陷信息监测与预警系统、隧道安全服役状态全息化监测设备声屏障螺栓监测系统、轨道结构及下部基础结构系统、电扶梯监测系统、城轨信号系统主动维保子系统、轨道交通恶劣天气监测系统、站台门状态监测与故障诊断试验系统、站台门状态监测与故障诊断试验系统、异物入侵物感知评估及预警系统、地铁客流智慧监测与管控系统、地铁无线定位客流系统和列车车辆在途监测系统。在日常作业中，每个业务系统都会产生大量数据，这些数据种类多，没有统一的标准，当用户需要使用各业务系统的数据时，往往不知道各数据间的关联关系，不能准确的获取到需要的数据，并且，往往需要在各业务系统分别获取数据。

本申请中通过对各业务系统的数据标准化，并将有业务关联关系的数据存储到大数据服务系统，以使用户能够快速地获取数据到所需的数据，提高了数据使用效率，同时，可以对各业务系统的数据进行综合分析，提高了城市轨道交通的安全性。

下面，通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，下面几个具体实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行重复说明。

图1为本发明实施例提供的一种数据处理方法的流程示意图，请参见图1，该方法应用于大数据服务系统，可以包括：

S101：获取运载工具各业务系统的数据。

可选的，本发明实施例的执行主体可以为大数据服务系统，也可以为设置在大数据服务系统中的数据处理装置。可选的，数据处理装置可以通过软件实现，也可以通过软件和硬件的结合实现。

运载工具可以是轨道交通的运载工具，如火车、动车等；业务系统可以为轨道交通的业务系统，如电扶梯监测系统、列车车辆在途监测系统等。每个业务系统包含至少一个业务。获取的各业务的数据可以是将各业务系统的原始数据预处理后得到的数据。该数据可以是车辆号、轨道号等。这些数据包括有业务关联关系的数据和没有业务关联关系的数据。

可选的，各业务系统的原始数据可以包括结构化数据和非结构化数据；可以利用预设的数据关联工具，将业务系统的原始数据中的结构化数据和与业务系统的各业务具有业务关联关系的其他业务系统的原始数据中的结构化数据进行关联，且将业务系统的原始数据中的非结构化数据和与业务系统的各业务具有业务关联关系的其他业务系统的原始数据中的非结构化数据进行关联，得到业务系统的数据和与业务系统的各业务具有业务关联关系的其他业务系统的业务的数据；数据关联工具包括结构化数据关联工具(如ETL(Extract-Transform-Load，抽取转换加载)工具)和非结构化数据关联工具(FTP(FileTransfer Protocol，文件传输协议)客户端)。

可选的，在获取运载工具各业务系统的数据之前，还可以根据预设的标准化规则，将各业务系统的原始数据标准化，得到标准化数据作为各业务系统的数据。

S102：获取各业务系统的业务关联关系。

业务关联关系包含不同业务系统的业务之间的关联关系和同一业务系统内部的业务之间的关联关系；其中，不同业务系统的业务之间的关联关系可以按不同的方式划分，比如按照线路名称划分、按照弓网名称划分、按照车辆编号划分、按照车站名称及设备编号划分等。通过不同业务系统的业务之间的关联关系，可以将不同业务系统的业务数据进行数据关系的关联。

S103：将各业务系统的数据以及业务关联关系存储于大数据服务系统中。

大数据服务系统包括用户层、应用层、应用支撑层、数据资源层和基础资源层五个部分。该大数据服务系统用于对各业务系统的原始数据进行加工处理，将处理后的数据存储到对应的区域中。

可选的，在大数据服务系统中，在每个业务系统对应的存储区中，存储业务系统的数据和与业务系统的各业务具有业务关联关系的其他业务系统的业务的数据。

具体的，可以选取多个业务中的一个业务，将该业务和与该业务有业务关联关系的其他业务数据以预设形式存储。举例来说，以线路名称为选取的业务，将线路名称和与线路名称有业务关联关系的车辆编号、车站名称等汇总到一起，以表格形式存储。

可选的，在大数据服务系统中，独立存储业务系统的数据和业务关联关系。

具体的，可以将各业务系统的数据和各业务系统之间的业务关联关系分别存储到大数据服务系统中。举例来说，线路名称、车辆编号、车站名称等数据存储到一起，且将线路名称、车辆编号和车站名称之间的业务关联关系存储到一起，与数据分开存储。

可选的，大数据服务系统的数据存储区包括主业务数据库和备用业务数据库；则可以将各业务系统的数据以及业务关联关系存储于大数据服务系统中的主业务数据库和备用业务数据库，这样，当主业务数据库出现异常情况时，可以调用备用业务数据库中的数据，从而，提高了数据的安全性。

实际应用中，在将数据存储到主业务数据库的同时，将同样的数据存储到备用业务数据库中，这样，保证主业务数据库中的数据与备用业务数据库中的数据一致。

可选的，在存储业务系统的数据和与业务系统的各业务具有业务关联关系的其他业务系统的业务的数据之前，可以利用预设的数据解析工具，解析业务系统的数据和与业务系统的各业务具有业务关联关系的其他业务系统的业务的数据中的非结构化数据，得到结构化数据；将该结构化数据以及业务关联关系存储于大数据服务系统中。其中，非结构化数据为与结构化数据有业务关联关系的数据，将这些非结构化数据解析成结构化数据，以使解析得到的结构化数据可以和与非结构化数据有业务关联关系的结构化数据进行数据关系的关联。对于与结构化数据没有业务关联关系的数据，解析后，直接存储到大数据服务系统中。

可选的，将各业务系统的数据以及业务关联关系存储于大数据服务系统中之前，还可以确定各业务系统的数据中的问题数据；将问题数据存储到异议数据库中，返回各业务系统，以使各业务系统对问题数据修正，将修正后的数据合并到各业务系统的数据中，大数据服务系统获取运载工具各业务系统的数据；其中，问题数据为不符合预设要求的数据，比如预设要求的数据包括线路号和车号，某个数据中只有线路号，没有车号，则可以确定该数据为问题数据；异议数据库为存储问题数据的数据库。

下面对大数据服务系统作详细说明。

大数据服务系统架构如图2所示，图2为本发明实施例提供的大数据服务系统架构示意图。其中，用户层包括内部用户(如一般用户、管理员用户)和外部用户(如可以在系统内注册或者通过数据共享权限进行数据获取的用户)；应用层用于为内部用户提供网页可视化系统使用，和/或对外部用户提供数据服务接口使用；应用支撑层用于为上层的应用系统提供各种运行平台和服务组件，具体的可以用于数据采集、数据清洗、数据解析、数据管理、数据共享、用户权限管理等；数据资源层用于存储各类系统数据(如基础数据、专业基础数据、监测数据、告警数据、风险数据等)；基础资源层是系统运行的基本支撑，可以包括Web(World Wide Web，万维网)应用资源、计算资源、存储资源等。

大数据服务系统的数据架构如图3所示，图3为本发明实施例提供的大数据服务系统的数据架构图。该数据架构包括数据源、数据分类和数据汇总。其中数据源包括受电弓接触网数据源、信号专业数据源、灾害环境数据源、异物入侵数据源、站内外客流数据源、无线定位客流数据源、轨道表面数据源、盾构隧道声屏障数据源、轨道结构下部基础结构数据源、电扶梯数据源、屏蔽门数据源等。大数据服务系统通过对数据源数据进行数据采集、数据解析、数据清洗、数据转换等处理，将数据区域按照业务分类、数据种类、数据用途等划分，将处理后的数据存储到对应的区域中。划分的数据区域的数据库可以包括原始数据存储区ODS(Operational Data Store，操作数据存储)库、数据转换区转换数据库和异议数据库、数据基础区基础数据库和日志库、数据主存储区专业数据库以及数据共享区共享库。

其中，ODS库用于存放各业务系统提供的各类原始数据；转换数据库用于存放对ODS原始库数据进行解析、清洗、转换后的符合数据标准的业务数据，按数据类型、数据业务类别等进行分类存储，同时将在转换过程中出现异议的数据存储在异议数据库中返回给各业务系统，修正后重新作为原始数据获取；专业数据库用于存放转换数据库进行数据处理后的业务数据；共享库用于存储通过业务主数据库及共享需求，按业务、按权限、按共享范围选取的数据，共享库数据可通过数据交换、数据接口按实时或定时进行数据共享；日志库用于存储大数据服务系统的系统运行、操作等日志，通过这些日志可以统计和跟踪系统使用情况及系统运行时状态；基础数据库用于支撑大数据服务系统系统运行的基础数据，支撑各业务数据的基础信息(如车辆基本信息、线路基本信息、设备基本信息等)，支撑各常用字典数据的存储及使用。

大数据服务系统的系统接口规范包括接口通讯方式规范、接口安全规范、传输控制规范和接口开发规范。

其中，接口通讯方式规范如下：

采用了同步请求/应答方式、异步请求/应答方式、可靠消息传输方式等通讯方式：

同步请求/应答方式：各业务系统向大数据服务系统发送服务请求，各业务系统阻塞等待大数据服务系统返回处理结果。

异步请求/应答方式：各业务系统向大数据服务系统发送服务请求，与同步方式不同的是，在此方式下，大数据服务系统处理请求时，各业务系统继续运行；当大数据服务系统处理结束时返回处理结果。

接口安全规范如下：

通过数据共享模块中的接口管理实现接口使用的安全控制，同时提供接口调用黑名单管理，这样，通过两方面同时保护接口安全，从而保证了整个系统的安全。接口的安全也可通过口令认证、防恶意代码、加密等内容来保证。

传输控制规范如下：

大数据服务系统利用数据通道技术实现把前端的大数据量并发请求分发到后端，从而保证大数据服务系统在大量用户同时请求服务时，能够保持快速、稳定的工作状态。

各外部系统调用大数据服务系统接口时应采用短连接，不允许使用长连接一直占用接口服务资源，同时大数据服务系统也会根据连接占用时长来断开接口调用方的访问请求，保证其它传输能够得到及时的响应。同时大数据服务系统也通过多种方式提高接口服务能力，包括：

负载均衡：确保接口服务吞吐量最大，接口应自动地在系统中完成动态负载均衡调度；

伸缩性与动态配置管理：由系统自动伸缩管理方式或动态配置管理方式实现队列管理、存取资源管理，以及接口应用的恢复处理等。

接口开发规范如下：

大数据服务系统对外提供以Web Service(万维网服务)技术开发的系统接口，各外部系统需要通过http(HyperText Transfer Protocol，超文本传输协议)请求进行系统接口的访问和调用。

Web Service是跨平台的web服务接口，各外部系统无需限定接口调用端系统的开发语言。

Web Service需满足以下三部分组成：传输协议、服务描述和服务发现，由一系列标准组成，主要有：XML、SOAP等。

数据接口规范包括：URI(Uniform Resource Identifier，统一资源标识符)规范、Request(请求)规范。

其中，URI规范如下：

URI表示资源，资源一般对应服务器端领域模型中的实体类。URI表示资源的两种方式包括资源集合和单个资源。

URI规范包括：不用大写；用中杠“-”不用下杠“_”；URI中的名词表示资源集合，使用复数形式；避免层级过深的URI，如GET/categories/1/areas/3/products/4，尽量使用查询参数代替路径中的实体导航，如GET/products？category＝1&area＝3。

URI的高级别的模式包括：

http(s)://server.com/app-name/{version}/{domain}/{rest-convention}

其中，{version}代表api(Application Programming Interface，应用程序接口)的版本信息；{domain}是可以用来定义任何技术的区域(如：安全-允许指定的用户可以访问该区域)或者业务上的原因(如：同样的功能在同一个前缀之下)。

Request规范如下：

通过标准http方法对资源进行如下操作：GET(查询)、POST(创建单个资源，POST一般向“资源集合”型uri发起)、DELETE(删除)。

安全性和幂等性：1)安全性指不会改变资源状态，一般为只读；2)幂等性指执行1次和执行N次对资源状态改变的效果是等价的。在上述操作类型中，GET具有安全性和幂等性；POST不具有安全性和幂等性；DETETE不具有安全性，具有幂等性。安全性和幂等性均不保证反复请求能收到相同的响应。以DELETE为例，第一次DELETE返回200表示删除成功，第二次返回404提示资源不存在，这样，两次请求收到的响应不相同。

在请求中，复杂查询包括过滤条件(如？type＝1&age＝16)、排序(如？sort＝age,desc)、投影(如？whitelist＝id,name,email)和分页(？limit＝10&offset＝3)。

大数据服务系统的数据接口的消息流程如图4所示，图4为本发明实施例提供的大数据服务系统的数据接口的消息流程图。从数据源层获取各业务系统的数据，通过采集层对这些数据进行采集，传输到数据处理层，分别利用不同的工具对采集的数据进行处理，然后存储到数据存储层，当需要展示存储的数据时，将存储的数据通过网页(如HTML5)或接口(如API)进行展示。

大数据服务系统与运载工具各业务系统之间的消息传输采用HTTP的协议承载方式。在传输过程中，大数据服务系统的每个接口中各参数与参数值封装为Json格式传输。

请求响应规范包括请求格式规范、响应格式规范和汉字编码规范。

其中，请求格式规范如下：

URL:接口的HTTP地址，格式为http://IP:PORT/BIZ/ACTION。

参数值格式：JSON格式，根据具体业务内容不同，KEY需要加引号，VALUE为字符类型时加引号，为数值类型时不加引号。[]表示数组，允许包含多个对象。{}表示对象，允许Key:Value形式出现多对，以逗号隔开，最大长度不超过1K。

通范示例格式：

[

{

“参数1”:”参数值”，

“参数2”:”参数值”，

......

“参数n”：”参数值”

},

{},

{}

]

说明：参数1...参数n具体参见接口定义章节各接口字段名称，各参数对应的参数值的类型参见接口定义章节各接口类型。

分页功能支持

PAGE：页码，从1开始

PSIZE：每页数据条数

响应格式规范如下：

格式：{CODE:XXX,TOTAL:1,RST:[]}

CODE:响应码，具体响应码的说明如下表1所示，表1为响应码列表；

TOTAL:条数；

RST:结果集，格式[]，数组中包含一个或多个{}对象数据。具体内容根据业务场景不同。如不需要返回结果集，如删除、修改、新增动作可省略RST字段。

表1响应码列表

响应码	说明
		200	请求处理成功
301	请求参数格式错误
		302	请求必填参数为空
500	请求处理失败

汉字编码规范应用于所有请求响应消息中，汉字编码均采用UTF-8。

本实施例，通过获取各业务系统的数据和各业务系统的业务关联关系，将各业务系统的数据以及业务关联关系存储于大数据服务系统中，由于将数据和数据的关联关系都存储到大数据服务系统中，当用户需要使用这些数据时，可以直接在大数据服务系统中获取，并直观地了解到数据的关联关系，从而能够对数据进行综合利用，提高了数据使用效率。

在上面实施例的基础上，下面对数据处理方法进行详细说明。

图5为本发明实施例提供的另一种数据处理方法的流程示意图。请参见图5，该实施例中，将各业务系统的数据进行标准化后，对不同业务系统的业务数据产生关联关系并存储到大数据服务系统中，该方法可以包括：

S501：获取运载工具各业务系统的原始数据；

各业务系统的原始数据包括结构化数据和非结构化数据，在获取到原始数据后，可以根据原始数据的类型，分别使用不同的工具对原始数据进行标准化。

可选的，在对原始数据进行标准化之前，还可以确定原始数据中的有效数据；根据有效数据的类型，将有效数据分类存储。其中，有效数据可以是能够被大数据服务系统处理的有用数据。

具体的，在确定出有效数据后，可以将无效数据清除，只针对有效数据进行处理，这样，可以减少数据处理量，提高数据处理效率。有效数据的类型可以包括结构化和非结构化，将有效数据按照是否结构化分类存储，以便对不同类型的数据使用不同的工具进行处理。

S502：根据预设的标准化规则，将各业务系统的原始数据标准化，得到标准数据；

预设的标准可以是数据标准、存储标准等，举例来说，原始数据的格式为“6号车”，而标准格式为“第数字号车”，则将原始数据标准化之后的标准数据为“第6号车”。

具体的，数据库表标准包括：

基础标准：必须使用InnoDB存储引擎；必须使用UTF8字符集；数据表、数据字段必须加入中文注释；禁止使用存储过程、视图、触发器、Event；禁止存储大文件或者大照片；

(1)命名标准：只允许使用内网域名，而不是IP连接数据库；线上环境、开发环境、测试环境数据库内网域名遵循命名规范(如业务名称：xxx、线上环境：dj.xxx.db、开发环境：dj.xxx.rdb、测试环境：dj.xxx.tdb、从库在名称后加-s标识，备库在名称后加-ss标识、线上从库：dj.xxx-s.db、线上备库：dj.xxx-sss.db等)；库名、表名、字段名：小写，下划线，不超过32个字符，必须见名知意，禁止拼音英文混用；表名t_xxx，非唯一索引名idx_xxx，唯一索引名uniq_xxx；

(2)表设计标准：单实例表数目必须小于500；单表列数目必须小于30；表必须有主键，例如自增主键；禁止使用外键，如果有外键完整性约束，需要应用程序控制；

(3)字段设计标准：必须把字段定义为NOT NULL并且提供默认值；禁止使用TEXT、BLOB类型；禁止使用小数存储货币；必须使用varchar(20)存储手机号；禁止使用ENUM，可使用TINYINT代替；

(4)索引设计标准：单表索引建议控制在5个以内；单索引字段数不允许超过5个；禁止在更新十分频繁、区分度不高的属性上建立索引；建立组合索引，必须把区分度高的字段放在前面；

(5)业务系统的基础数据库表表名与各业务系统的业务数据库表名的标准如下：

业务系统的基础数据库表表名的标准如表2所示：

表2基础信息表

序号	表名	描述
			1	GXL_BI_LINENET	线路信息
2	GXL_BI_S	车站信息
			3	GXL_BI_I	线路站间信息

城轨受电弓及接触网动态监测预警与评估系统数据库表名的标准如表3所示：

表3受电弓与接触网数据表

序号	表名	描述
			1	Trigger_single	触发单次数据表
2	Sensor	传感器数据表

城轨线路基础设施缺陷信息监测与预警系统数据库表名的标准如表4所示：

表4轨道表面数据表

序号	表名	描述
			1	FaultInfo	故障信息
2	PicInfo	故障图片位置信息

隧道安全服役状态全息化监测设备、声屏障螺栓监测系统数据库表名的标准如表5所示：

表5盾构隧道与声屏障接触网数据表

序号	表名	描述
			1	ultra_result	监测结果数据

轨道结构及下部基础结构系统数据库表名的标准如表6所示：

表6轨道结构数据表

序号	表名	描述
			1	SensorInfo	传感器信息
2	SensorCat	传感器类别
			3	SensorRaw	传感器原始数据
4	SensorAlarm	传感器报警数据
			5	SensorValue	传感器阈值

电扶梯监测系统数据库表名的标准如表7所示：

表7电扶梯数据表

序号	表名	描述
			1	BaseInfo	基本信息
2	PartsInfo	部件信息
			3	AlarmInfo	报警信息
4	StatusInfo	状态信息

城轨信号系统主动维保子系统数据库表名的标准如表8所示：

表8信号数据表

序号	表名	描述
			1	AlarmInfo	报警信息
2	SonSys	子系统字典表
			3	Station	车站字典表
4	AlarmDevice	报警设备类型字典表
			5	AlarmDeviceStatus	报警设备类型状态字典表
6	StationNo	车站号与报文序列号对应字典表
			7	Device	设备字典表
8	Addr	通信地址配置表
			9	Cycle	通信周期配置表
10	ConfFile	解析文件配置表
			11	Param	系统配置表

轨道交通恶劣天气监测系统数据库表名的标准如表9所示：

表9灾害环境数据表

序号	表名	描述
			1	RawInfo	风雨雪雾原始数据
2	AlarmInfo	风雨雪雾报警信息
			3	SensorValue	传感器阈值

站台门状态监测与故障诊断试验系统数据库表名的标准如表10所示：

表10屏蔽门数据表

序号	表名	描述
			1	RawInfo	原始数据采集表
2	Event	事件表

异物入侵物感知、评估及预警系统数据库表名的标准如表11所示：

表11异物入侵数据表

序号	表名	描述
			1	Foreign	异物入侵周期信息记录
2	ForeignDetect	异物侵限检测
			3	Level	等级划分表
4	AlarmInfo	告警信息

地铁客流智慧监测与管控系统数据库表名的标准如表12所示：

表12站内客流与站外客流数据表

序号	表名	描述
			1	Traffic	区域(摄像头)客流
2	Station	车站客流
			3	Density	客流密度等级划分

地铁无线定位客流系统数据库表名的标准如表13所示：

表13无线定位客流数据表

列车车辆在途监测系统数据库表名的标准如表14所示：

表14列车数据表

序号	表名	描述
			1	GCL_BASE	车辆基本信息
2	Temp	车厢内单个设备温度数据
			3	Battery	蓄电池
4	RailCorr	轨道波磨
			5	Bearing	轴承、电机待处理
6	Brakingstate	制动状态
			7	Brakingresult	制动结果
8	Tractionstate	牵引状态
			9	Tractionresult	牵引结果
10	Auxiliarystate	辅助状态
			11	Auxiliaryresults	辅助结果

S503：获取各业务系统的业务关联关系；

S504：将标准数据和业务关联关系存储到大数据服务系统中。

可选的，可以将标准数据和业务关联关系存储到大数据服务系统中的同一存储区，也可以将标准数据和业务关联关系分开存储到大数据服务系统中的不同存储区。

本实施例，通过将各业务系统的原始数据标准化，将各业务系统的标准数据以及业务关联关系存储于大数据服务系统中，由于存储的数据为标准数据，且将这些标准数据的关联关系一并存储，这样，各业务系统之间可以交叉使用不同业务系统中的数据，方便用户对各业务系统之间的数据进行综合分析，同时，当用户需要使用这些数据时，可以直接在大数据服务系统中获取，直观地了解到数据的关联关系，进一步提高了数据使用效率。

本发明实施例还提供了一种数据处理装置，下面，对该数据处理装置进行说明。

图6为本发明实施例提供的一种数据处理装置的结构示意图。请参见图6，该数据处理装置10可以包括第一获取模块11、第二获取模块12、存储模块13，其中，

所述第一获取模块11，用于获取运载工具各业务系统的数据，其中，每个业务系统包含至少一个业务；

所述第二获取模块12，用于获取各业务系统的业务关联关系，其中，业务关联关系包含不同业务系统的业务之间的关联关系；

所述存储模块13，用于将各业务系统的数据以及业务关联关系存储于大数据服务系统中。

本发明实施例提供的数据处理装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

在一种可能的实施方式中，所述存储模块13，具体用于：

在大数据服务系统中，在每个业务系统对应的存储区中，存储业务系统的数据和与业务系统的各业务具有业务关联关系的其他业务系统的业务的数据。

在一种可能的实施方式中，所述存储模块13，具体用于：

在所述大数据服务系统中，独立存储业务系统的数据和业务关联关系。

图7为本发明实施例提供的另一种数据处理装置的结构示意图。在图6所示实施例的基础上，请参见图7，所述数据处理装置10还包括：关联模块14；

所述关联模块14，用于在存储所述业务系统的数据和与业务系统的各业务具有业务关联关系的其他业务系统的业务的数据之前，利用预设的数据关联工具，将业务系统的原始数据中的结构化数据和非结构化数据和与业务系统的各业务具有业务关联关系的其他业务系统的原始数据中的结构化数据和非结构化数据进行关联，得到业务系统的数据和与业务系统的各业务具有业务关联关系的其他业务系统的业务的数据；数据关联工具包括结构化数据关联工具和非结构化数据关联工具。

在一种可能的实施方式中，所述装置还包括：解析模块15；

所述解析模块15，用于在存储所述业务系统的数据和与业务系统的各业务具有业务关联关系的其他业务系统的业务的数据之前，利用预设的数据解析工具，解析业务系统的数据和与业务系统的各业务具有业务关联关系的其他业务系统的业务的数据中的非结构化数据，得到结构化数据；

所述存储模块13，具体用于存储业务系统的结构化数据和与业务系统的各业务具有业务关联关系的其他业务系统的业务的结构化数据。

在一种可能的实施方式中，所述装置还包括：标准化模块16；

所述标准化模块16，用于在获取运载工具各业务系统的数据之前，根据预设的标准化规则，将各业务系统的原始数据标准化，得到标准数据，作为各业务系统的数据。

在一种可能的实施方式中，所述装置还包括：确定模块17；

所述确定模块17，用于在根据预设的标准化规则，将各业务系统的原始数据标准化之前，确定原始数据中的有效数据；根据有效数据的类型，将有效数据分类存储；

所述标准化模块16，具体用于根据预设的标准化规则，将有效数据标准化。

在一种可能的实施方式中，所述装置还包括：返回模块18；

所述返回模块，用于在将各业务系统的数据以及业务关联关系存储于大数据服务系统中之前，确定各业务系统的数据中的问题数据；问题数据为不符合预设要求的数据；将问题数据存储到异议数据库中，返回各业务系统，以使各业务系统对问题数据修正，将修正后的数据合并到各业务系统的数据中，大数据服务系统获取运载工具各业务系统的数据；异议数据库为存储问题数据的数据库。

在一种可能的实施方式中，所述大数据服务系统的数据存储区包括主业务数据库和备用业务数据库；所述存储模块13，具体用于将各业务系统的数据以及业务关联关系存储于大数据服务系统中的主业务系统数据库和备用业务系统数据库。

本发明实施例还提供了数据处理装置的硬件结构示意图，请参见图8。该数据处理装置20包括：至少一个处理器21和存储器22。其中，处理器21和存储器22通过总线23连接。

在具体实现过程中，至少一个处理器21执行所述存储器22存储的计算机执行指令，使得至少一个处理器21执行如上的数据处理方法。

处理器21的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

图8示出的数据处理装置仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上述任意方法实施例所述的数据处理方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例方案的范围。

Claims

1.一种数据处理方法，其特征在于，应用于大数据服务系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中，包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，所述业务系统的原始数据包括结构化数据和非结构化数据；

5.根据权利要求4所述的方法，其特征在于，在所述存储所述业务系统的数据和与所述业务系统的各业务具有业务关联关系的其他业务系统的业务的数据之前，还包括：

6.根据权利要求1所述的方法，其特征在于，在获取运载工具各业务系统的数据之前，还包括：

7.根据权利要求6所述的方法，其特征在于，在根据预设的标准化规则，将所述各业务系统的原始数据标准化之前，还包括：

确定所述原始数据中的有效数据；

根据所述有效数据的类型，将所述有效数据分类存储；

根据预设的标准化规则，将所述有效数据标准化。

8.根据权利要求1所述的方法，其特征在于，在将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中之前，还包括：

9.根据权利要求1所述的方法，其特征在于，所述大数据服务系统的数据存储区包括主业务数据库和备用业务数据库；

10.一种数据处理装置，其特征在于，应用于大数据服务系统，所述装置包括：

11.根据权利要求10所述的装置，其特征在于，所述存储模块，具体用于：

12.根据权利要求10所述的装置，其特征在于，所述存储模块，具体用于：

13.根据权利要求10-12任一项所述的装置，其特征在于，所述业务系统的原始数据包括结构化数据和非结构化数据；所述装置还包括：关联模块；

14.根据权利要求13所述的装置，其特征在于，所述装置还包括：解析模块；

15.根据权利要求10所述的装置，其特征在于，所述装置还包括：标准化模块；

16.根据权利要求15所述的装置，其特征在于，所述装置还包括：确定模块；

17.根据权利要求10所述的装置，其特征在于，所述装置还包括：返回模块；

18.根据权利要求10所述的装置，其特征在于，所述大数据服务系统的数据存储区包括主业务数据库和备用业务数据库；所述存储模块，具体用于将所述各业务系统的数据以及所述业务关联关系存储于大数据服务系统中的主业务系统数据库和备用业务系统数据库。

19.一种数据处理装置，其特征在于，包括：至少一个处理器和存储器；

所述存储器用于存储计算机执行指令；

所述至少一个处理器用于执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-9任一项所述的数据处理方法。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-9任一项所述的数据处理方法。