CN109522349A - 跨类型数据计算及共享方法、系统、设备 - Google Patents

Abstract

本发明实施例提供一种跨类型数据计算及共享方法、系统、设备，计算及共享方法包括：从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据；定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。本发明实施例能够规划统一的数据最小单元，能够提高数据的同步性、业务适用性、实效性和可靠性。通过预设的表达式计算共享数据，能够以业务需求为出发点处理数据，降低系统的负载。

Description

跨类型数据计算及共享方法、系统、设备

技术领域

本发明实施例涉及大数据共享领域，更具体地，涉及一种跨类型数据计算及共享方法、系统、设备。

背景技术

在整个城市轨道交通系统中，包括多个系统，如线路各专业的监控系统、线路的信号系统、线路的自动售检票系统和清分系统、专项业务系统、办公系统、资产系统和外部机构交互系统等。这些系统会提供不同种类型的数据。

具体来说，线路各专业的监控系统主要提供轨道交通内各专业机电设备的运行状态、运行模式、故障报警信息等，具有实时性高、专业性强、数据量大等特点，是监控对象简单而直观地反映，业务系统调用时需根据业务特点和需求组合计算后使用。实时信息的类型主要包括开关量、模拟量、内部量、参数等各类信息。

线路的信号系统主要提供列车运行过程中的位置、到站和发车时刻、信号相关设备运行状态等，原始数据用于监控列车运行状态。作为基础数据，为业务系统所需的运营指标，如准点率、运行图兑现率等指标计算所调用。

线路的自动售检票系统和清分系统主要提供城市轨道交通各线路、车站的客流量数据，包括进站客流、出站客流、区间客流和换乘客流的计算值等。该数据具有准实时性，为客运各类统计分析、列车开行计划、运营指标计算提供基础数据。

专项业务系统，如应急管理系统、维修管理系统等，主要提供为特定业务需求进行统计分析、深度业务研判、数据挖掘等应用的基础数据，具有非实时性，通常由外部因素触发形成的一系列专项业务的基础数据，如突发事件信息、信息发布信息、设备故障维修工单信息等。

办公系统、资产系统和外部机构交互系统主要提供统一的系统用户类信息、基础设施、组织机构、资产物资编码、公文、预警等，属于非实时性的静态信息，且常态稳定，数据变化频率较低。为业务系统调用提供基础字典类数据，作为索引和表关联、统一认证的基础信息。

从上述系统中获取到的数据类型包括基于数据表交换的监控数据静态点、状态点、监测点、控制点、报文、客流等文件类数据及视频等多媒体数据在内的多种数据结构类型。

传统的数据共享方式，经过数据采集后直接存储，为业务系统提供数据时呈现出松散、繁杂的原始特征。由于城市轨道交通专业众多，数据内容和类型多样，数据经采集后处理的方式对数据分发的时效性、根据时间片存储数据的同步性和一致性等都会产生影响。数据接口采集的数据一般都是现场设备状态及系统运行数据，实际业务需要呈现的数据和状态，往往需要根据多种设备状态及系统数据进行数学运算和逻辑判断。未经过以业务需求为出发点处理的数据，使用的效率低，为了某项业务需求涉及多个数据表的访问和关联，对系统的负载和数据读取的效率均会产生不利影响。业务系统在数据综合展示、分析、利用方面存在严重不便，同时，随着新建线路接入后数据规模不断提升，后续系统扩容后在复杂性、稳定性存在很大隐患。

发明内容

针对现有技术存在的问题，本发明实施例提供一种跨类型数据计算及共享方法、系统、设备。

本发明实施例提供一种跨类型数据计算及共享方法，包括：从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，其中，所述第一数据为所述数据采集平台采集的未归一化的实时设备数据，所述第二数据为所述数据采集平台采集的归一化的实时设备数据，任一第一数据的类型和任一第二数据的类型相同或者不同；定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。

本发明实施例提供一种跨类型数据计算及共享系统，包括：归一化模块，用于从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，其中，所述第一数据为所述数据采集平台采集的未归一化的实时设备数据，所述第二数据为所述数据采集平台采集的归一化的实时设备数据，任一第一数据的类型和任一第二数据的类型相同或者不同；定义模块，用于定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；计算模块，用于基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。

本发明实施例提供一种跨类型数据计算及共享设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述计算及共享方法。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述计算及共享方法。

本发明实施例提供的跨类型数据计算及共享方法、系统、设备，通过设置从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，能够规划统一的、便捷的、可直接应用的数据最小单元，即能够使得数据统一类型，使其具备转化为统一模板可识别的数据形式，最终实现跨类型数据共享，能够提高数据的同步性、业务适用性、实效性和可靠性。通过预设的表达式计算获得若干个共享数据，能够以业务需求为出发点处理数据，降低系统的负载和复杂度，提升稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明跨类型数据计算及共享方法实施例的流程图；

图2为本发明跨类型数据计算及共享系统实施例的模块图；

图3为本发明实施例中的跨类型数据计算及共享设备的框架示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明跨类型数据计算及共享方法实施例的流程图，如图1所示，包括：S101、从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，其中，所述第一数据为所述数据采集平台采集的未归一化的实时设备数据，所述第二数据为所述数据采集平台采集的归一化的实时设备数据，任一第一数据的类型和任一第二数据的类型相同或者不同；S102、定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；S103、基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。

需要说明的是，归一化是指对数据类型的处理，包括时间类型数据、状态类型数据、事件类型数据统一用数值类型数据进行标识。

具体地，所述未归一化的实时设备数据优选为未归一化的轨道交通实时设备数据。所述归一化的实时设备数据优选为归一化的轨道交通实时设备数据。

具体地，数据采集平台用于获取分布在轨道交通各线上的采集单元直接采集的轨道交通实时设备数据，这些实时设备数据中的一部分是可以直接用于后续计算的归一化的实时设备数据，被称为第二数据。还有一部分是不可以直接用于后续计算的未归一化的实时设备数据，被称为第一数据。

进一步地，数据采集平台将各业务系统的专业的海量监控数据通过约定的协议和通讯方式统一采集，包括运行状态、故障信息，同时可获取大规模的历史报警数据。数据采集平台的物理接口主要是通过在接口系统的分界处，设置接口服务器，与各业务系统及其他外部系统进行接口，接口服务器一方面作为接口设备进行信息的通信与采集，另一方面通过分区实现各外部系统所在网络之间的隔离。数据采集的接口方式主要是通过专用的接口协议，如Modbus TCP/IP协议，消息队列(MessageQueue)方式、FTP文件传输、报文通讯、Webservice组件，实现不同类型的接口数据采集，如数据表交换和文件传输。

进一步地，步骤S103中通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据可以用于轨道交通的各项应用，预设的表达式计算出的结果为轨道交通的各项应用中所需的参数，轨道交通的各项应用包括但不限于报警应用、设备管理应用等。

进一步地，本发明实施例中的对第一数据、第二数据和时间数据进行处理都是属于大数据技术的范畴。大数据技术指的是需要处理的资料量规模巨大，无法在合理时间内，通过当前主流的软件工具获取、管理、处理并整理的资料，它成为帮助企业经营决策的资讯。大数据一般会涉及两种或两种以上的数据形式。它要收集超过100TB的数据，并且是高速、实时的数据流，或者是从小数据开始，但数据量每年会增长60％以上。大数据的特征：4V特性，Volume规模大；Variety、种类多；Velocity、处理速度快；Value价值密度低。大数据的数据类型包括：结构化数据：凡是可以用二维表结构逻辑表达实现的，如关系型数据库(Oracle，DB2，SQL server等)，目前一般常用的地铁业务类数据都在内；半结构化数据：纯文本数据，如日志数据、采用XML、JSON等格式；非结构化数据：非纯文本类型数据，如网页、文本文档的预案、图纸、多媒体(语音、图像、视频)等。大数据的工具包括：数据仓库，一般不支持非结构化数据，是一个面向主题的、集成的、稳定的和包含历史数据的数据集合，它用于支持管理决策过程；大数据Hadoop平台，对射频数据、传感器、摄像头的实时/非实时数据，社交网络交互及移动互联网数据等结构化/半结构化/非结构化海量数据的采集、存储、处理、分析挖掘等，全部用文件系统方式管理。

需要说明的是，本发明实施例中的若干个指代一个或者多个。

基于上述实施例，任一归一化的第一数据的类型、所述任一第二数据的类型和任一时间数据的类型相同。

进一步地，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据即完成了跨类型数据计算及共享。

本发明实施例提供的跨类型数据计算及共享方法，通过设置从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，能够规划统一的、便捷的、可直接应用的数据最小单元，即能够使得数据统一类型，使其具备转化为统一模板可识别的数据形式，最终实现跨类型数据共享，能够提高数据的同步性、业务适用性、实效性和可靠性。通过预设的表达式计算获得若干个共享数据，能够以业务需求为出发点处理数据，降低系统的负载和复杂度，提升稳定性。

进一步地，本发明实施例还涉及监控技术，关于本发明实施例中的监控技术：城市轨道交通的每条线路均设有机电设备监控系统，这些系统主要采集轨道交通内各专业机电设备的运行状态、运行模式、故障报警信息等，从而及时掌握设备系统的运行状况，有效预防故障和事故的发生，及时发现设备故障后快速修复和排除，将因此而引起的损失降至最小。轨道交通设有各类机电设备的监控系统，通过设置传感器探测点，按照车站系统、中心系统的层级，逐级采集信息，获取实时运行状态、设备的故障告警信息和控制设备动作。仅机电设备就包含电力监控系统(SCADA)、环境与设备监控系统(BAS)、防灾报警系统(FAS)、列车自动监控系统(ATS)、乘客信息系统(PIS)、自动售检票系统(AFC)、屏蔽门系统(PSD)等。例如供电系统杂散电流实时监测系统、环控设备运行状态和模式监测、车辆走行部轴承温度检测等。采集方式包括各类离线的、手持式的设备状态监测设备，如车辆轮对磨损检测。

进一步地，本发明实施例还涉及故障报警技术，关于本发明实施例中的故障报警技术：经过采集的设备监控数据，一般从业务角度出发，需要针对不同专业系统的设备、事件、操作等进行报警监控，具体需求包括：报警管理、报警展示、报警统计、报警联动等功能。报警模块是监视管理类系统的核心功能模块之一，是在应急指挥情况下系统运转的关键环节。该模块具备报警点的新增、修改、删除、查看等功能，同时具备报警信息查看、报警统计、确认消警、删除误报警、报警联动操作等功能。

基于上述实施例，从数据采集平台获取若干个第一数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，具体包括：初始化若干个数据提取任务，并为每一数据提取任务定义对应的数据点表，其中，任一数据提取任务用于从所述数据采集平台提取一个或者多个同一类型的第一数据；通过所述任一数据提取任务，提取对应类型的一个或者多个第一数据并将所述一个或者多个同一类型的第一数据保存在所述任一数据提取任务对应的数据点表中；基于所有数据点表中的若干个第一数据，获取若干个归一化的第一数据。

需要说明的是，同一类型的第一数据只能通过一个数据提取任务获取，每一类型的第一数据为一个或者多个。

将所述初始化若干个数据提取任务，并为每一数据提取任务定义对应的数据点表，其中，任一数据提取任务用于从所述数据采集平台提取一个或者多个同一类型的第一数据；通过所述任一数据提取任务，提取对应类型的一个或者多个第一数据并将所述一个或者多个同一类型的第一数据保存在所述任一数据提取任务对应的数据点表中；基于所有数据点表中的若干个第一数据，获取若干个归一化的第一数据称为数据提取服务。

举例来说，将数据提取服务设置为边缘计算层，本发明实施例中所述数据提取服务包括：

1)将数据提取服务注册为系统服务，同时实现随系统自动启动。

2)定义数据提取服务的启动、停止方法，并在启动方法中初始化数据源连接、初始化消息中间件连接、初始化若干个数据提取任务并为每一数据提取任务定义对应的数据点表。

3)通过所述任一数据提取任务，提取对应类型的一个或者多个第一数据并将所述一个或者多个同一类型的第一数据保存在所述任一数据提取任务对应的数据点表中。

本发明实施例提供的跨类型数据计算及共享方法，通过设置数据提取服务在边缘计算层，将部分数据处理过程前置，以便提升处理效率，减轻后续计算的负荷，从而为各类应用系统的请求提供更快地响应。

基于上述实施例，所述通过所述任一数据提取任务，提取对应类型的一个或者多个第一数据并将所述一个或者多个同一类型的第一数据保存在所述任一数据提取任务对应的数据点表中，具体包括：所述通过所述任一数据提取任务，提取对应类型的一个或者多个第一数据；将提取的一个或者多个第一数据与所述任一数据提取任务对应的数据点表中已保存的对应的一个或者多个第一数据进行一一对比；若任一提取的第一数据与已保存的与所述任一提取的第一数据对应的第一数据的差值的绝对值大于预设阈值，则将所述已保存的与所述任一提取的第一数据对应的第一数据替换为所述任一提取的第一数据。

具体地，内存中存有每一数据提取任务的数据点表中的每一第一数据对应的预设阈值，当接收到了新的第一数据，将新的第一数据与对应的已保存的第一数据进行对比，若二者的差值的绝对值大于对应的预设阈值，则用新的第一数据替换已保存的第一数据。

基于上述实施例，所述从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，以及，定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式，之间还包括：将所述若干个归一化的第一数据、所述若干个第二数据和所述若干个时间数据发送至消息中间件。

对应地，所述基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据，具体包括：基于从所述消息中间件获取的所述若干个归一化的第一数据、所述若干个第二数据和所述若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。

具体地，本发明涉及OPC，OPC为工业标准，即Object Linking and Embedding(OLE)for Process Control。OLE控件(现在称为ActiveX控件)，全称Object Linking andEmbedding(对象链接与嵌入)。OPC解决了现场总线系统中异构网段之间数据交换的问题。OPC作为异构网段集成的中间件，只要每个总线段提供各自的OPC服务器，任一OPC客户端软件都可以通过一致的OPC接口访问这些OPC服务器，从而获取各个总线段的数据，并可以很好地实现异构总线段之间的数据交互。OPC可作为访问专有数据库的中间件。许多控制软件都采用专有的实时数据库或历史数据库，这些数据库由控制软件的开发商自主开发，在提供数据库的同时也能提供一个访问该数据库的OPC服务器，那么当用户要访问时只需按照OPC规范的要求编写OPC客户端程序而无需了解该专有数据库特定的接口要求。在监视系统中将OPC Server是组态软件的数据源，接口数据处理成统一格式发到OPC，组态软件从OPCServer中获取最新的数据进行画面展示。

需要说明的是，本发明实施例中所述的消息中间件为多个消息中间件的集群。

基于上述实施例，将所述若干个时间数据发送至消息中间件，具体包括：定义时间数据点表，并通过所述时间数据点表，提取每一类型的时间数据并将每一类型的时间数据保存在所述时间数据点表中；将所述时间数据点表中的所述若干个时间数据发送至所述消息中间件。

具体地，所述时间数据点表中保存了所有类型的时间数据，所述所有类型的时间数据即前述实施例中的所述若干个时间数据。

所述所有类型的时间数据包括但不限于长整型的当前时间、以年月日时分秒记录的当前时间、当日运营时间。

需要说明的是，本发明实施例中的所有类型的时间数据均为系统生成的时间数据，不需要数据采集平台采集。

进一步地，将定义时间数据点表，并通过所述时间数据点表，提取每一类型的时间数据并将每一类型的时间数据保存在所述时间数据点表中；将所述时间数据点表中的所述若干个时间数据发送至所述消息中间件称为时间数据提取服务。

举例来说，本发明实施例中所述时间数据提取服务包括：

1)初始化数据源连接、初始化消息中间件连接，将时间数据提取服务添加到服务容器。

2)启动定时服务，执行时间数据提取任务。

3)加载所述时间数据点表。表1为本发明实施例中的时间数据点样例表，时间数据点样例表请参考表1。

表1本发明实施例中的时间数据点样例表

TagID	TagValue	UpdateRate
			11001000000030	1527038989	veryfast
11001000000010	2018-05-23 09:29:49	veryfast

4)提取每一类型的时间数据。

5)将所述时间数据点表中的所述若干个时间数据发送至所述消息中间件。

具体地，所述通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据，之后还包括：将所述若干个共享数据发送至所述消息中间件。

进一步地，将所述若干个共享数据发送至所述消息中间件，具体包括：

将所述若干个共享数据与已保存的对应的若干个共享数据进行一一对比；

若任一共享数据与已保存的与所述任一共享数据对应的共享数据的差值的绝对值大于共享数据预设阈值，则将所述已保存的与所述任一共享数据对应的共享数据替换为所述任一共享数据；

将已保存的若干个共享数据发送至所述消息中间件。

表2为本发明实施例中的表达式数据点表，本发明实施例中的表达式数据点表请参考表2。

表2本发明实施例中的表达式数据点表

将所述定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据称为数据计算服务。

举例来说，本发明实施例中所述数据计算服务包括：

1)将数据计算服务添加到服务容器内。

2)启动数据计算服务。

3)服务初始化，进行配置文件、数据源连接、消息中间件连接、数据点表加载、表达式加载、实时库数据加载等初始化工作。

表3为本发明实施例中的预设的表达式样例表，本发明实施例中的预设的表达式可参考表3。

表3本发明实施例中的预设的表达式样例表

4)从消息中间件接收若干个归一化的第一数据、若干个第二数据和若干个时间数据。

5)检查数据，过滤不属于数据点表范围的无用数据。

6)计算需要所有相关的表达式，比较最新表达式结果与已保存数值，如果发生变化并且变化量超过阈值，将最新数值发送至消息中间件，同时更新内存中的数值。

7)循环，监听消息中间件获取下一批数据，直至全部采集到的数据处理完毕。

本发明实施例提供的跨类型数据计算及共享方法，通过设置定义表达式数据点表，并通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据，能够大幅减轻在大规模数据接入后处理过程的繁杂性，提高了数据的应用效率。

进一步地，在现有技术中，线路不同专业、不同业务系统在报警定义、报警信息采集、报警级别划分、报警处理流程等环节均存在较大差异，为保证各专业调度人员在业务上保持一致，目前针对不同专业系统的报警信息管理，以各专业系统的处理方式为原则采用定制化开发方案，会带来不便，针对这一现状，基于上述实施例，所述基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据，之后还包括：基于所述若干个共享数据，获取报警信息，并将所述报警信息分发给注册客户端，以实现轨道交通的报警处理。

具体地，本实施例具体包括：基于从所述消息中间件中获取的所述若干个共享数据中的一个或者多个，获取报警信息，并将所述报警信息分发给注册客户端，以实现轨道交通的报警处理。

需要说明的是，在本发明的实施例中，还包括接收任一注册客户端发送的报警确认操作，基于所述报警确认操作更新内存(实时库)，基于更新后的内存，将新的报警信息分发给所有注册客户端。

在本发明的实施例中，还包括接收任一注册客户端发送的报警联动操作信息，将所述报警联动操作信息发送至业务系统。

进一步地，本发明实施例还包括：基于所述若干个共享数据中的一个或者多个，获取客流监察信息，实现轨道交通的客流监察。

本发明实施例还包括：基于所述若干个共享数据中的一个或者多个，获取电力线网图。

进一步地，在本发明实施例中，还包括基于任一注册客户端发送的初始化信息，为所述任一注册客户端分发报警信息。

本发明实施例提供的跨类型数据计算及共享方法，定义了统一的报警处理方法，将不同专业系统的报警点信息制定统一格式整理，屏蔽了各种专业特征对数据形式、格式、表达式的专有性，编译为标准识别的数据编码，划分出是否报警的标准。

进一步地，将本发明实施例中提出的跨类型数据计算及共享方法设计为系统功能，面向各类业务的数据调取需求的输入项设置为系统前端面向用户，将数据源管理、数据提取服务、数据计算服务、数据结果输出、过程监控、数据质量管理功能设置为后端模块，实现前后端的数据交互，从而在满足各类业务系统数据调取需求的基础上，保证了数据的质量和时效性。

上述实施例中已对数据提取服务单元、数据计算服务单元、数据结果输出单元的作用做出描述，在此不再赘述。

具体包括：数据源管理单元：包括对行车信号系统、供电系统、机电设备监控系统、售检票系统等各系统原始数据源的数据抽取，通过数据治理和清洗，保障输入计算服务系统的数据质量。

过程监控、数据质量管理单元：用于管理数据提取服务、数据计算服务、数据结果输出的过程中的通讯、协议、连接、计算节点等是否正确、及时地响应，并发出报警，例如同时设置通讯中断条件下的默认自动重连接等容错机制。

质量管理单元：主要针对脏数据处理、数据质量情况的统计、数据输出的结果记录，数据修复的补救措施如数据发送过程出错时的回滚和补录等。

本发明实施例利用缓存机制，将数据提取服务获得的归一化的第一数据，根据时间戳，通过数据变化形式的对比逻辑，将最终需求的数据进行过滤和提炼。

基于上述实施例，图2为本发明跨类型数据计算及共享系统实施例的模块图，如图2所示，包括：归一化模块201，用于从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，其中，所述第一数据为所述数据采集平台采集的未归一化的实时设备数据，所述第二数据为所述数据采集平台采集的归一化的实时设备数据，任一第一数据的类型和任一第二数据的类型相同或者不同；定义模块202，用于定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；计算模块203，用于基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。

本发明实施例的计算及共享系统，可用于执行图1所示的跨类型数据计算及共享方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

基于上述实施例，图3为本发明实施例中的跨类型数据计算及共享设备的框架示意图。请参考图3，本发明实施例提供一种跨类型数据共享设备，包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和总线340，其中，处理器310，通信接口320，存储器330通过总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法，包括：从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，其中，所述第一数据为所述数据采集平台采集的未归一化的实时设备数据，所述第二数据为所述数据采集平台采集的归一化的实时设备数据，任一第一数据的类型和任一第二数据的类型相同或者不同；定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的计算及共享方法，例如包括：从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，其中，所述第一数据为所述数据采集平台采集的未归一化的实时设备数据，所述第二数据为所述数据采集平台采集的归一化的实时设备数据，任一第一数据的类型和任一第二数据的类型相同或者不同；定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。

基于上述实施例，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的计算及共享方法，例如包括：从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，其中，所述第一数据为所述数据采集平台采集的未归一化的实时设备数据，所述第二数据为所述数据采集平台采集的归一化的实时设备数据，任一第一数据的类型和任一第二数据的类型相同或者不同；定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。

本领域普通技术人员可以理解：实现上述设备实施例或方法实施例仅仅是示意性的，其中所述处理器和所述存储器可以是物理上分离的部件也可以不是物理上分离的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

本发明实施例提供的跨类型数据计算及共享方法、系统、设备，通过设置从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，能够规划统一的、便捷的、可直接应用的数据最小单元，即能够使得数据统一类型，使其具备转化为统一模板可识别的数据形式，最终实现跨类型数据共享，能够提高数据的同步性、业务适用性、实效性和可靠性。通过预设的表达式计算获得若干个共享数据，能够以业务需求为出发点处理数据，降低系统的负载。

本发明实施例对数据的变化按照阈值评判方法作出取舍，保障了目标数据内容的控制和筛选。本发明实施例实现了海量跨类型数据以业务需求为出发点的归一化共享、标准化配置及快速提取，提供了一个数据处理的快捷、自动化的编辑器工具，提高共享数据应用的效率和便捷性。本发明实施例引入大数据的处理模式解决报警数据存储、综合报警分析等方面的扩展性和稳定性问题。本发明实施例将大规模数据提取、计算变化、提取与监控，及数据服务模块化的技术，集成到大数据平台的处理系统中，形成独立、可配置、灵活定义、高实时管理的系统功能，使共享的大规模实时或非实时数据处理全过程高效、可控制与可视化。在本发明实施例中，用户可以根据自身业务需要，自定义相关的数学运算(预设的表达式)和逻辑判断，很方便地实现大量复杂业务的实时计算和呈现。大幅提升大数据接入后的处理效率。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种跨类型数据计算及共享方法，其特征在于，包括：

从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，其中，所述第一数据为所述数据采集平台采集的未归一化的实时设备数据，所述第二数据为所述数据采集平台采集的归一化的实时设备数据，任一第一数据的类型和任一第二数据的类型相同或者不同；

定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；

基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。

2.根据权利要求1所述的计算及共享方法，其特征在于，任一归一化的第一数据的类型、所述任一第二数据的类型和任一时间数据的类型相同。

3.根据权利要求1所述的计算及共享方法，其特征在于，从数据采集平台获取若干个第一数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，具体包括：

初始化若干个数据提取任务，并为每一数据提取任务定义对应的数据点表，其中，任一数据提取任务用于从所述数据采集平台提取一个或者多个同一类型的第一数据；

通过所述任一数据提取任务，提取对应类型的一个或者多个第一数据并将所述一个或者多个同一类型的第一数据保存在所述任一数据提取任务对应的数据点表中；

基于所有数据点表中的若干个第一数据，获取若干个归一化的第一数据。

4.根据权利要求3所述的计算及共享方法，其特征在于，所述通过所述任一数据提取任务，提取对应类型的一个或者多个第一数据并将所述一个或者多个同一类型的第一数据保存在所述任一数据提取任务对应的数据点表中，具体包括：

所述通过所述任一数据提取任务，提取对应类型的一个或者多个第一数据；

将提取的一个或者多个第一数据与所述任一数据提取任务对应的数据点表中已保存的对应的一个或者多个第一数据进行一一对比；

若任一提取的第一数据与已保存的与所述任一提取的第一数据对应的第一数据的差值的绝对值大于预设阈值，则将所述已保存的与所述任一提取的第一数据对应的第一数据替换为所述任一提取的第一数据。

5.根据权利要求1所述的计算及共享方法，其特征在于，所述从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，以及，定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式，之间还包括：

将所述若干个归一化的第一数据、所述若干个第二数据和所述若干个时间数据发送至消息中间件。

6.根据权利要求5所述的计算及共享方法，其特征在于，将所述若干个时间数据发送至消息中间件，具体包括：

定义时间数据点表，并通过所述时间数据点表，提取每一类型的时间数据并将每一类型的时间数据保存在所述时间数据点表中；

将所述时间数据点表中的所述若干个时间数据发送至所述消息中间件。

7.根据权利要求1所述的计算及共享方法，其特征在于，所述基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据，之后还包括：

基于所述若干个共享数据，获取报警信息，并将所述报警信息分发给注册客户端，以实现报警处理。

8.一种跨类型数据计算及共享系统，其特征在于，包括：

归一化模块，用于从数据采集平台提取若干个第一数据和若干个第二数据，对每一第一数据进行数据类型归一化，获取若干个归一化的第一数据，其中，所述第一数据为所述数据采集平台采集的未归一化的实时设备数据，所述第二数据为所述数据采集平台采集的归一化的实时设备数据，任一第一数据的类型和任一第二数据的类型相同或者不同；

定义模块，用于定义表达式数据点表，所述表达式数据点表中包括一个或者多个预设的表达式；

计算模块，用于基于所述若干个归一化的第一数据、所述若干个第二数据和若干个时间数据，通过所述表达式数据点表中的一个或者多个预设的表达式计算获得若干个共享数据。

9.一种跨类型数据计算及共享设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的计算及共享方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的计算及共享方法。