CN115914345A - 适用于工业大数据的数据处理系统与方法、设备、介质 - Google Patents

Abstract

本发明提供了一种适用于工业大数据的数据处理系统，包括注册中心模块记录系统内各个模块的服务的启动状态以及服务对应的服务类型以及服务标识；语言转译模块将接口描述语言对应的接口文件转换为各种编程语言的接口代码；系统配置模块配置画面的渲染以及数据源和数据项的各项功能。数据融合模块对数据项数据的收集，根据触发条件来匹配数据项清单，缓存执行接口供其他的模块查询。数据处理流程配置模块用于数据处理流程的查询和配置以及数据处理流程历史版本切换，数据处理流程状态修改。质量管理模块监控具体数据处理流程的执行情况，根据数据处理流程执行中的指标因素来计算数据处理流程的质量分数。本发明提高了系统处理能力瓶颈，整合数据源。

Description

适用于工业大数据的数据处理系统与方法、设备、介质

技术领域

本发明涉及计算机信息技术领域，具体地，涉及一种适用于工业大数据的数据处理系统与方法、设备、介质。

背景技术

当下国家大力发展智慧制造，智慧制造本质上是信息技术与制造技术不断融合发展的产物。信息技术的介入伴随着的是对工业大数据的处理方法的需求。工业大数据的特征便是实时性，闭环性。每分每秒都有大量的传感器在产生数据，又有数个的系统在对这些数据进行统计和分析来创造出新的数据。如此庞大的数据量原先单机架构的系统往往难以负荷。

数据来源工业场景之下，对于整个产品的生命周期中，往往会经过许多的系统。实际生成过程中，厂区的各个系统都有着各自负责的工作人员，各个区域的工作人员所使用的相关的计算机技能一般各不相同，很难有一个统一的数据处理方法。

经过检索，专利文献CN107632842B公开了一种规则配置和发布方法、系统、设备及存储介质，包括规则引擎提供规则配置界面并获取规则的配置数据；规则引擎提供插件上传界面并获取分流策略插件和执行策略插件；规则引擎提供规则集配置界面并获取用户在预设场景下配置的规则集数据；规则引擎生成待文件包；规则引擎将待发布文件包编译成可执行文件，并发布至目标对象。该现有技术是以Drools为基础的规则引擎系统，其侧重点在于将基于Drools生成的java的class文件发布至各个服务器中并应用，其依赖于开源的规则引擎Drools来配置其相关的业务逻辑，学习成本高，对数据处理的能力也相对较弱，不适用于处理智慧制造中工业场景下业务复杂，计算复杂，频繁迭代更新的数据处理逻辑。

专利文献CN105467953A公开了一种面向工业大数据的知识表示及其自动化应用方法，通过1)对工业企业中的每一类知识资源创建一对应类别的智能对象，得到一智能对象库；2)针对每一设定业务问题定义相应的各种判定条件和计算模型，建立该业务问题的知识自动化规则；3)根据该业务问题的知识自动化规则和业务逻辑，创建该业务问题的业务流程；4)根据该业务流程开始节点的配置从该工业企业实时信息数据中确定出要处理的事件数据，然后根据该事件数据生成事件语句发送给事件引擎；5)事件引擎根据收到的事件语句从该业务流程中查找匹配的节点或智能对象进行处理，并保存处理结果。该现有技术涉及的知识自动化规则和业务逻辑的业务流程配置主要是对于流程的配置，其中关键的数据处理方式依赖于系统自身提供的数据处理方式，数据处理的相关能力受到系统的限制。

专利文献CN106199421A公开了一种基于工业大数据的预警方法和系统，包括：步骤S1，对实时信号进行特征点检测，选取实时信号中跨越预设报警阈值最高值的总时长为n的信号作为采样信号；步骤S2，将采样信号分别与N段历史报警信号进行相似度计算，得到N个相似度计算结果；步骤S3，对N个相似度计算结果分别进行归一化处理，得到归一化处理后的相似度计算结果；步骤S4，根据归一化处理后的相似度计算结果预测采样信号的未来变化趋势。该现有技术涉及的预警方法是一种较为详细但是单一的数据处理的方式，不足之处在于作为一个系统功能较为单一。

因此，亟需研发设计一种能整合数据源，提高数据处理系统处理能力的适用于工业大数据的数据处理系统与方法、设备、介质。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种适用于工业大数据的数据处理系统与方法、设备、介质，目的是克服上述的一般的数据处理系统在处理工业大数据方面，单机架构处理能力有限，数据源单一，业务逻辑与系统耦合可扩展性差等缺点，以实现提高系统处理能力瓶颈，整合数据源，并且能够支持分布式扩展和多种编程语言开发合作，优化并固化业务领域的知识资产。

根据本发明提供的一种适用于工业大数据的数据处理系统，包括：

注册中心模块：为其他模块的服务提供注册服务，以供其他模块的服务根据服务类型来获取服务的代理，并且能够将各个服务的启停和变更推送给订阅了服务信息变化的服务；

系统配置模块：配置和查询系统所需要的各个数据源和各个数据项，每个数据项可以有对应的数据源配置、数据项名称、数据项描、数据项获取触发条件、数据项结构类型以及数据项值的类型；

数据融合模块：根据系统配置模块所配置的数据源和相应的触发配置的不同触发方式来获取并缓存数据；

数据处理流程配置模块：用于配置和查询数据处理流程，每个数据处理流程则有对应的数据处理服务种类配置，对于使用不同种类的数据处理服务的数据处理流程，并针对各种不同种类的数据处理服务的自定义配置；

数据处理调度模块：通过注册中心模块监控数据处理模块中数据处理服务的启停，对适用于工业大数据的数据处理系统的处理能力进行水平扩展；

数据处理模块：分为不同的种类数据处理服务，各个数据处理服务部署在同一网络下的任意计算机中，其种类根据其实现的接口的方式来区分；

质量管理模块：监控具体数据处理流程的执行情况，根据数据处理流程执行中的指标因素来计算数据处理流程的质量分数。

优选地，还包括：

语言转译模块：将预先约定的接口交互式数据语言所描述的数据处理服务接口转换成所支持的各种编程语言；

结果展示模块：用于展示数据融合模块的历史查询结果以及数据处理调度模块所调度的数据处理流程的历史执行过程中的输入参数和输出参数。

优选地，系统配置模块包括针对数据源查询、数据源新增、数据项查询、新增数据项、修改数据项以及删改数据项。

优选地，数据融合模块中触发配置的触发方式包括定时触发和事件触发，所述定时触发是根据配置的定时触发条件去主动的获取相应的数据；所述事件触发则是监听相应的事件，当接受到事件信息后再去获取数据。

优选地，数据处理流程配置模块包括查询数据处理流程、新增数据处理流程、修改数据处理流程、数据处理流程版本配置、数据处理流程激活/失效配置以及删除数据处理流程。

优选地，数据处理调度模块当满足数据处理流程配置的触发条件时，从数据融合模块中去收集相应的数据，并根据相应的负载均衡策略来调用对应的数据处理流程执行服务，当得到执行结果后，将执行结果进行存储并推送出去，以便其他系统根据处理结果进行相应的操作。

优选地，数据处理模块包括多个数据处理服务，数据处理服务分布在同一网络的任意机器上，根据对数据处理服务接口的不同的实现方式分为不同的数据处理服务，包括java数据处理服务和python数据处理服务。

根据本发明提供的一种适用于工业大数据的数据处理方法，采用上述的适用于工业大数据的数据处理系统进行数据处理，包括如下步骤：

配置流程步骤：在系统配置模块和数据处理流程配置模块中，先后配置数据源，数据项和数据处理流程；

数据融合步骤：当数据项触发条件满足时，获取满足触发条件的数据项清单，并进行数据获取，将获取结果转换为相应的数据结构，并进行缓存；

数据处理流程执行步骤：当满足数据处理流程触发条件时，获取满足触发条件的数据处理流程清单，整合出数据处理流程清单中的数据处理流程所需的数据项清单，然后从数据融合模块中获取数据清单的数据结果集合，后续根据负载均衡策略为每个数据处理流程选择特定的数据处理服务去执行数据处理流程，当数据处理流程执行结果返回后，将结果存储并推送到数据处理流程所配置的消息通道中；

质量管理步骤：每隔一个周期时间，质量管理会统计查询数据处理流程的历史执行记录和数据处理流程本身的内容，然后统计校验相关因素，计算出数据处理流程质量分数，若分数不合格则通过数据处理流程配置模块将数据处理流程状态修改为失效。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述的方法的步骤。

根据本发明提供的一种数据处理设备，包括上述的适用于工业大数据的数据处理系统或者上述的存储有计算机程序的计算机可读存储介质。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过将工业现场的多个数据源，多个类型的数据进行了封装，在获取数据和数据处理方法都能很好的进行水平扩展，提高了整个系统的负载能力。

2、本发明针对多种编程语言提供了对应编程语言的执行服务，能够充分的利用原有人员的开发能力。

3、本发明通过设置系统配置模块、数据融合模块、数据处理流程配置模块、数据处理调度模块以及数据处理模块，能够很好的接入生产事件的消息队列中，并实时获取数据并返回结果。

4、本发明通过设置质量管理模块，完善了质量管理功能，从而能够更好地维护系统中的业务逻辑。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明中适用于工业大数据的数据处理系统的框架图；

图2为本发明中适用于工业大数据的数据处理方法的步骤流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本发明提供了一种适用于工业大数据的数据处理系统，包括：

注册中心模块：为其他模块的服务提供注册服务，以供其他模块的服务根据服务类型来获取服务的代理，并且能够将各个服务的启停和变更推送给订阅了服务信息变化的服务。注册中心模块包含了服务的注册和查询功能。整个系统注册中心模块是唯一的，当其他模块的服务启动时，会向注册中心模块发送自己的注册信息，例如服务类型以及唯一的服务标识，注册中心模块记录这些信息，以提供其他的服务进行查询。并且注册中心模块与其他的所有服务保持心跳连接，当服务停止时，注册中心能够发现并对服务记录进行相应的修改。

系统配置模块：配置和查询系统所需要的各个数据源和各个数据项，每个数据项可以有对应的数据源配置、数据项名称、数据项描、数据项获取触发条件、数据项结构类型以及数据项值的类型；包括针对数据源查询、数据源新增、数据项查询、新增数据项、修改数据项以及删改数据项。数据源查询是查询和展示数据源列表；数据源新增是在数据源列表中新增一个数据源，需要配置数据源名称数据源描述、数据源接口实现类名称以及数据源所需参数；数据项查询是根据数据项的分组查询分组下所有的数据项；新增数据项是在数据项的分组中新增一个数据项并配置其名称，描述所对应的数据源与数据项相关参数配置，数据结构以及触发条件；修改数据项是在数据项查询结果中选择一个数据项进行修改，可以修改其数据源，数据结构以及采集条件，修改确认的时候将会提示修改数据项可能会影响的具体数据处理流程；删除数据项是在数据查询结果中选择一个数据项进行删除，删除数据项需要进行确认，并且会提示删除数据项可能会影响的具体数据处理流程。

数据融合模块：根据系统配置模块所配置的数据源和相应的触发配置的不同触发方式来获取并缓存数据；数据融合模块中触发配置的触发方式包括定时触发和事件触发，所述定时触发是根据配置的定时触发条件去主动的获取相应的数据；所述事件触发则是监听相应的事件，当接受到事件信息后再去获取数据。数据融合模块可以一致性哈希策略分配，得到自身负责的数据项，以实现数据融合模块的分布式部署。

具体地，数据融合模块主要负责根据系统配模块所配置的数据项进行数据的获取，数据获取以触发条件，依赖关系，数据源为基础，当触发条件满足时，收集满足触发条件的数据项，并将其按照依赖关系进行分组，后续组内根据数据源进行分类，同一数据源的数据项会在一个线程中进行数据获取并将结果按照数据项进行缓存，所以一次数据获取可能会涉及到多个数据项，这样可以很好的减少重复的获取，减少系统负担。数据项之间可能存在依赖关系，数据融合模块触发的时候自动计算各个数据项的依赖关系以确保依赖数据项与被依赖数据项在获取先后顺序上有正确的分割。并且不是所有的数据项都会被获取，只有被生效的数据处理流程所引用的或者被其他数据项所依赖的数据项才会进入任务触发时的数据获取清单中。

数据处理流程配置模块：用于配置和查询数据处理流程，每个数据处理流程则有对应的数据处理服务种类配置，对于使用不同种类的数据处理服务的数据处理流程，并针对各种不同种类的数据处理服务的自定义配置；包括查询数据处理流程、新增数据处理流程、修改数据处理流程、数据处理流程版本配置、数据处理流程激活/失效配置以及删除数据处理流程。

具体地将上述流程分别是：

查询数据处理流程是可以在数据处理流程分组下查询分组下所有的数据处理流程。

新增数据处理流程是在数据处理流程分组中新增一个数据处理流程并配置其数据处理流程名称，数据处理流程描述，触发条件，数据处理服务种类，数据处理服务所需的数据项，以及特定的数据处理服务所需的配置项,数据处理流程执行后所推送的消息通道。同样地，在新增数据处理流程中，可以将特定的数据处理服务所需的配置项和数据处理服务的种类封装成模版，若是在数据处理流程中使用数据处理流程模版的配置则无需进行特定的数据处理服务所需的额外业务逻辑的相关配置，只需配置数据处理流程名称，数据处理流程描述，触发条件，以及数据处理流程所需的数据项即可，以便于同一种业务逻辑在应用上的快速部署和调整。

修改数据处理流程是在数据处理流程查询中，选中一个数据处理流程进行修改，当数据处理流程修改的时候若修改的是与业务逻辑无关的内容，如数据处理流程名称，数据处理流程描述，触发条件，执行后所推送的消息通道等数据处理流程会直接进行修改。但是当数据处理流程修改涉及到数据处理服务种类，数据处理服务所需的数据项，以及特定的数据处理服务所需的配置项时，系统会根据这些涉及到业务逻辑的配置项去匹配历史的修改结果，若是历史中存在相应的数据处理流程版本，则会提示工作人员去切换版本而非进行业务逻辑的修改，否则会新增一个该数据处理流程的数据处理流程版本，以便后续业务逻辑的切换。

数据处理流程版本配置是在数据处理流程查询中，选中一个数据处理流程进行版本切换，将进入该数据处理流程的历史版本的查询中，选中其中一个历史版本可以将其设置为当前数据处理流程的应用版本。

数据处理流程激活/失效配置,在数据处理流程查询中，选中一个数据处理流程并对其进行激活和失效状态的修改，若是数据处理流程处于激活状态那么该数据处理流程可以被数据处理调度模块所调度，否则若处于失效状态，则数据处理调度模块会忽略该数据处理流程，该数据处理流程将不会被触发。

删除数据处理流程，在数据处理流程查询中，选中一个数据处理流程进行删除，会弹出提示，需要进行确认后方可进行删除操作。

数据处理调度模块：通过注册中心模块监控数据处理模块中数据处理服务的启停，对适用于工业大数据的数据处理系统的处理能力进行水平扩展；当满足数据处理流程配置的触发条件时，从数据融合模块中去收集相应的数据，并根据相应的负载均衡策略来调用对应的数据处理流程执行服务，当得到执行结果后，将执行结果进行存储并推送出去，以便其他系统根据处理结果进行相应的操作。

具体地，数据处理调度模块包含数据处理模块中数据处理服务的监控和维护。

先向注册中心模块获取当前各个服务的信息和状态以及订阅服务的变更。当监听到系统中出现新的数据处理服务时，将数据处理服务的信息维护起来，并且取得与该数据处理服务的链接对象，并且根据数据处理服务的种类，将其所需要的数据处理流程发送给数据处理服务，由其数据处理服务本身维护数据处理流程的处理逻辑；当监听到系统中某个数据处理服务失去响应或者数据处理服务程序注销后，将相应的数据处理服务从维护表中移除。

数据处理调度模块亦包含数据处理流程调度功能，当监听到数据处理流程触发的事件时，将满足条件的数据处理流程取出，对他们所需要的数据项进行整合，统一到数据融合模块中去批量的获取数据，后续依照各个数据处理流程的数据处理服务种类根据负载均衡策略选择对应的数据处理服务，以异步回调的方式调用数据处理服务的链接对象的数据处理流程执行方法，当数据处理服务执行完成数据处理流程后会触发数据处理调度模块的回调函数，将记录该数据处理流程的执行状态和执行结果，并且根据数据处理流程的配置将数据处理流程推送到不同的消息通道中由第三方系统消费。

数据处理模块：分为不同的种类数据处理服务，各个数据处理服务部署在同一网络下的任意计算机中，其种类根据其实现的接口的方式来区分；包括多个数据处理服务，数据处理服务分布在同一网络的任意机器上，根据对数据处理服务接口的不同的实现方式分为不同的数据处理服务，包括java数据处理服务和python数据处理服务。该模块维护数据处理流程的具体实现框架，当数据处理模块的接口被调用是，根据调用时传入的数据处理流程标识和输入参数，执行相应的数据处理流程内容并返回结果。

具体地，对于java数据处理服务，是以Java语言和数据处理流程引擎技术实现了数据处理服务，数据处理流程解析语法采用类java的语法，支持中文，使用门槛低，可扩展性高，易于封装。

对于python数据处理服务，是以python语言来实现的数据处理服务，通过动态的生成python脚本和导入环境依赖库，可以很方便的使用python在数据分析所需要的依赖包。

质量管理模块：监控具体数据处理流程的执行情况，根据数据处理流程执行中的指标因素来计算数据处理流程的质量分数；质量管理模块主要负责具体数据处理流程的闭环管理，每隔一个周期，该模块会统计和分析当前生效的数据处理流程所应用的数据处理流程版本的运行记录，运行状况，根据数据处理流程执行的成功率，数据处理流程执行所占用的系统资源，数据处理流程执行所消耗时间与预期的偏差量，以及数据处理流程本身的完整性等因素来统计数据处理流程的质量分数，统计方法并非线形的，各个因素有着各自的阈值，在某个因素超过阈值时，整体上的质量分数会是不合格，当所有的相关因素都在阈值范围内的情况下，数据处理流程的质量分数在会在合格的范围内根据加权平均算法记性分数统计。对于不合格的数据处理流程，质量管理模块会让数据处理流程进入失效状态，并通知工作人员。

语言转译模块：将预先约定的接口交互式数据语言所描述的数据处理服务接口转换成所支持的各种编程语言，其中能够支持的编程语言种类有C++、C-Sharp、Java、JavaScript、Objective-C、PHP、Python、Ruby以及Swift。相应的语言对生成的接口代码进行具体的实现，然后进行部署即可实现一门编程语言对应的数据处理服务的扩展。通过语言转译模块的支持，数据处理模块所支持的语言种类得以扩展，跳出了单一编程语言的限制，更好的兼容现场开发人员所用的编程技能，减少了语言的学习成本。

结果展示模块：用于展示数据融合模块的历史查询结果以及数据处理调度模块所调度的数据处理流程的历史执行过程中的输入参数和输出参数。主要负责展示数据项的历史数据请求的请求结果和状态，同样的可以查看数据处理流程调度过程中各个数据处理流程每次调度的输入量和输出量以及执行时间，执行状态，执行消耗资源。针对不同的数据结构有不同的展示形式，曲线类型的数据以折线图做展示，表格类型的数据以表格做展示，单值类型的数据则直接显示对应的值。

如图2所示，本发明提供了一种适用于工业大数据的数据处理方法，采用上述的适用于工业大数据的数据处理系统进行数据处理，包括如下步骤：

配置流程步骤：在系统配置模块和数据处理流程配置模块中，先后配置数据源，数据项和数据处理流程。配置流程中，对数据源的配置包含了数据源名称，数据源描述，数据源接口实现类名称，数据源配置所需的参数。对数据项的配置中包含了数据项名称，数据项描述，数据源配置，数据项数据结构，数据项参数，数据项触发条件。对数据处理流程的配置中，需要配置数据处理流程名称，数据处理流程描述，数据处理流程触发条件，数据处理服务种类，数据处理服务所需的数据项，以及特定的数据处理服务所需的配置项，数据处理流程执行后推送的消息通道。

数据融合步骤：当数据项触发条件满足时，获取满足触发条件的数据项清单，并进行数据获取，将获取结果转换为相应的数据结构，并进行缓存。在数据融合流程中，当满足触发条件后，提取出满足触发条件的数据项清单，其中没有被数据处理流程或其他数据项引用的数据项会被过滤，然后先后根据数据项的依赖关系和数据源配置进行分组，后续再根据分组结果，依次分配线程，线程中去进行数据获取，根据获取的结果，根据数据项参数将结果中的内容分配给各个数据项，其中会根据数据项结构将内容转换为对应的数据项结构，目前已有的结构类型有单点结构，曲线结构，表格结构。后续再将数据项的值缓存下来。

数据处理流程执行步骤：当满足数据处理流程触发条件时，获取满足触发条件的数据处理流程清单，整合出数据处理流程清单中的数据处理流程所需的数据项清单，然后从数据融合模块中获取数据清单的数据结果集合，后续根据负载均衡策略为每个数据处理流程选择特定的数据处理服务去执行数据处理流程，当数据处理流程执行结果返回后，将结果存储并推送到数据处理流程所配置的消息通道中。在数据处理流程执行流程中，当满足触发条件后，取出满足触发条件的数据处理流程，其中失效的数据处理流程会被过滤，将其整理成一份数据处理流程清单，收集数据处理流程清单上的所涉及到的数据项，到数据融合模块中去获取数据，取得数据后，根据数据处理调度模块的负载均衡策略为各个数据处理流程选择各自的数据处理服务，然后将数据处理流程的名称和触发参数传递给对应的数据处理服务去执行数据处理流程，当数据处理流程执行完成后，数据处理调度模块得到数据处理流程结果，将数据处理流程结果进行存储并推送到数据处理流程所配置的推送消息通道中。

质量管理步骤：每隔一个周期时间，质量管理会统计查询数据处理流程的历史执行记录和数据处理流程本身的内容，然后统计校验相关因素，计算出数据处理流程质量分数，若分数不合格则通过数据处理流程配置模块将数据处理流程状态修改为失效。在质量管理流程中，每一个周期时间，都会查询激活状态的数据处理流程的流程历史记录，根据其在周期时间内的数据处理流程执行的成功率，数据处理流程执行所占用的系统资源，数据处理流程执行所消耗的时间与预期时间的差异，数据处理流程本身的完整性等因素进行质量分数计算。其中各个因素都有其阈值，当相应的因素超过阈值的情况下，质量分数为不合格，当所有因素都在阈值范围内的情况下，再根据加权平均法得出对应的质量分数，若质量分数为不合格，则自动进入配置流程，在数据处理流程配置模块中将相应的数据处理流程修改为失效，并通知工作人员。

结果展示步骤：当数据融合模块查询了相关的数据项之后，可以通过结果展示模块查看相关的历史记录并进行展示，当数据处理调度模块和数据处理模块完成了数据处理流程执行流程后，可以通过结果展示莫看查看相关的历史记录并进行展示。在结果展示流程中，可以根据数据项查询数据项的历史查询记录，然后通过一个历史记录查看数据查询的结果以及结果映射到数据项后的结果，或者根据数据处理流程查询数据处理流程的查询结果，然后通过一个历史记录查看，当次数据处理流程执行时数据处理流程执行的输入量，输出量，执行时间，执行状态，执行消耗资源。其中对输入量，输出量以及数据项结果的展示根据数据结构类型分别有不同的展示方式，单点结构直接展示数据，曲线结构则根据数据展示成折线图，表格结构则根据数据展示成表格形式。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种适用于工业大数据的数据处理系统，其特征在于，包括：

注册中心模块：为其他模块的服务提供注册服务，以供其他模块的服务根据服务类型来获取服务的代理，并且能够将各个服务的启停和变更推送给订阅了服务信息变化的服务；

系统配置模块：配置和查询系统所需要的各个数据源和各个数据项，每个数据项可以有对应的数据源配置、数据项名称、数据项描、数据项获取触发条件、数据项结构类型以及数据项值的类型；

数据融合模块：根据系统配置模块所配置的数据源和相应的触发配置的不同触发方式来获取并缓存数据；

数据处理流程配置模块：用于配置和查询数据处理流程，每个数据处理流程则有对应的数据处理服务种类配置，对于使用不同种类的数据处理服务的数据处理流程，并针对各种不同种类的数据处理服务的自定义配置；

数据处理调度模块：通过注册中心模块监控数据处理模块中数据处理服务的启停，对适用于工业大数据的数据处理系统的处理能力进行水平扩展；

数据处理模块：分为不同的种类数据处理服务，各个数据处理服务部署在同一网络下的任意计算机中，其种类根据其实现的接口的方式来区分；

质量管理模块：监控具体数据处理流程的执行情况，根据数据处理流程执行中的指标因素来计算数据处理流程的质量分数。

2.根据权利要求1所述的适用于工业大数据的数据处理系统，其特征在于，还包括：

语言转译模块：将预先约定的接口交互式数据语言所描述的数据处理服务接口转换成所支持的各种编程语言；

结果展示模块：用于展示数据融合模块的历史查询结果以及数据处理调度模块所调度的数据处理流程的历史执行过程中的输入参数和输出参数。

3.根据权利要求1所述的适用于工业大数据的数据处理系统，其特征在于，所述系统配置模块包括针对数据源查询、数据源新增、数据项查询、新增数据项、修改数据项以及删改数据项。

4.根据权利要求1所述的适用于工业大数据的数据处理系统，其特征在于，所述数据融合模块中触发配置的触发方式包括定时触发和事件触发，所述定时触发是根据配置的定时触发条件去主动的获取相应的数据；所述事件触发则是监听相应的事件，当接受到事件信息后再去获取数据。

5.根据权利要求1所述的适用于工业大数据的数据处理系统，其特征在于，所述数据处理流程配置模块包括查询数据处理流程、新增数据处理流程、修改数据处理流程、数据处理流程版本配置、数据处理流程激活/失效配置以及删除数据处理流程。

6.根据权利要求1所述的适用于工业大数据的数据处理系统，其特征在于，所述数据处理调度模块当满足数据处理流程配置的触发条件时，从数据融合模块中去收集相应的数据，并根据相应的负载均衡策略来调用对应的数据处理流程执行服务，当得到执行结果后，将执行结果进行存储并推送出去，以便其他系统根据处理结果进行相应的操作。

7.根据权利要求1所述的适用于工业大数据的数据处理系统，其特征在于，所述数据处理模块包括多个数据处理服务，数据处理服务分布在同一网络的任意机器上，根据对数据处理服务接口的不同的实现方式分为不同的数据处理服务，包括java数据处理服务和python数据处理服务。

8.一种适用于工业大数据的数据处理方法，其特征在于，采用权利要求1至7中任一项所述的适用于工业大数据的数据处理系统进行数据处理，包括如下步骤：

配置流程步骤：在系统配置模块和数据处理流程配置模块中，先后配置数据源，数据项和数据处理流程；

数据融合步骤：当数据项触发条件满足时，获取满足触发条件的数据项清单，并进行数据获取，将获取结果转换为相应的数据结构，并进行缓存；

数据处理流程执行步骤：当满足数据处理流程触发条件时，获取满足触发条件的数据处理流程清单，整合出数据处理流程清单中的数据处理流程所需的数据项清单，然后从数据融合模块中获取数据清单的数据结果集合，后续根据负载均衡策略为每个数据处理流程选择特定的数据处理服务去执行数据处理流程，当数据处理流程执行结果返回后，将结果存储并推送到数据处理流程所配置的消息通道中；

质量管理步骤：每隔一个周期时间，质量管理会统计查询数据处理流程的历史执行记录和数据处理流程本身的内容，然后统计校验相关因素，计算出数据处理流程质量分数，若分数不合格则通过数据处理流程配置模块将数据处理流程状态修改为失效。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求8所述的方法的步骤。

10.一种数据处理设备，其特征在于，包括权利要求1至7中任一项所述的适用于工业大数据的数据处理系统或者权利要求9所述的存储有计算机程序的计算机可读存储介质。

Images