CN108829803A - 一种基于数据采集的数据分发和处理方法 - Google Patents

Abstract

本发明公开了互联网技术领域的基于数据采集的数据分发和处理方法，包括查询入口、管理验证、指令转换、数据采集管理和注册中心管理，所述查询入口电性连接管理验证，所述管理验证电性连接指令转换，所述指令转换分别电性连接数据采集管理和注册中心管理，本发明对上下层数据的分发和处理较为清晰明确，层次分明，减少因为检索时的混乱而造成检索效率较低的问题，同时方便企业对客户检索信息掌握和及时的反馈，方便企业后期对生产的管理。

Description

一种基于数据采集的数据分发和处理方法

技术领域

本发明涉及互联网技术领域，具体为基于数据采集的数据分发和处理方法。

背景技术

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。通过对大数据进行分析，可以获得很多智能的、深入的且有价值的信息，对于企业的发展、社会的管理具有重要意义，随着互联网技术不断的开发和完善，通过构建基础云平台可以满足日益增长的网络服务需求，例如：提供计算资源、存储资源、网络资源等必须的基础互联网技术架构服务，随着服务需求的增长，基础云平台需要管控的服务器规模也不断扩大。

数据采集，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析，处理，数据采集系统是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统，数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口，数据采集技术广泛应用在各个领域。比如摄像头，麦克风，都是数据采集工具。

但是目前在数据采集的分发与处理的方式较为繁琐，特别是上下层的数据分发和处理较为混乱，进而影响客户的检索效率，同时影响企业的对客户检索信息的反馈以及后期的生产管理。

基于此，本发明设计了基于数据采集的数据分发和处理方法，以解决上述问题。

发明内容

本发明的目的在于提供基于数据采集的数据分发和处理方法，以解决上述背景技术中提出的但是目前在数据采集的分发与处理的方式较为繁琐，特别是上下层的数据分发和处理较为混乱，进而影响客户的检索效率，同时影响企业的对客户检索信息的反馈以及后期的生产管理的问题。

为实现上述目的，本发明提供如下技术方案：基于数据采集的数据分发和处理方法，包括查询入口、管理验证、指令转换、数据采集管理和注册中心管理，所述查询入口电性连接管理验证，所述管理验证电性连接指令转换，所述指令转换分别电性连接数据采集管理和注册中心管理。

优选的，所述指令转换采用穿墙机别，既所有的操作只能通过指令转换中心，不能直接访问其他服务器，确保服务器安全。

优选的，所述数据采集管理包括数据源管理、采集规则管理和采集模型管理。

优选的，所述数据采集管理采用的是常用采集方法。

优选的，所述注册管理中心包括S1 CA、S2 CA、S3 CA、S4 CA、DB1 CA、DB2 CA、文件N CA、语音 CA、和其他数据 CA，所述S1 CA、S2 CA、S3 CA和S4 CA均与指令转换电性连接，所述S1 CA分别与DB1 CA和DB2 CA电性连接，所述S2 CA与文件N CA电性连接，所述S3 CA与语音 CA电性连接，所述S4 CA与其他数据 CA电性连接。

优选的，所述注册中心管理统一对S1 CA、S2 CA、S3 CA、S4 CA、DB1 CA、DB2 CA、文件N CA、语音 CA、和其他数据 CA这些服务器进行管理，外部不可访问。

优选的，该基于数据采集的数据分发和处理方法，具体步骤如下：

F1：会员通过查询入口发送查询请求，查询请求经过管理验证后发送到指令转换；

F2：通过指令转换对步骤F1中传递过来的指令进行指令的解析，分解成各个节点可以识别的指令，验证验证会员是否有操作指令的权限，验证通过后，如果查询的数据已采集，则直接从相应的数据库、文件或其他设备等读出数据，逐级上报，如果未采集，则根据规则，读取数据源管理和采集规则管理，进行数据的采集，采集的数据转化成格式化数据存入相应的数据库、文件或其他设备等中；

F3：新的节点的加入，必须通注册中心管理进行注册，同时相应的数据源管理，采集规则管理、指令解析等验证通过后并加入进来。

与现有技术相比，本发明的有益效果是：本发明在使用时通过查询入口发送查询请求，查询请求经过管理验证后发送到指令转换，指令转换对传递过来的指令进行指令的解析，分解成各个节点可以识别的指令，验证验证会员是否有操作指令的权限，验证通过后，如果查询的数据已采集，则直接从相应的数据库、文件或其他设备等读出数据，逐级上报，如果未采集，则根据规则，读取数据源管理和采集规则管理，进行数据的采集，采集的数据转化成格式化数据存入相应的数据库、文件或其他设备等中，新的节点的加入，必须通注册中心管理进行注册，同时相应的数据源管理，采集规则管理、指令解析等验证通过后并加入进来，本发明对上下层数据的分发和处理较为清晰明确，层次分明，减少因为检索时的混乱而造成检索效率较低的问题，同时方便企业对客户检索信息掌握和及时的反馈，方便企业后期对生产的管理。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明结构示意图；

图2为本发明实施例结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：基于数据采集的数据分发和处理方法，包括查询入口、管理验证、指令转换、数据采集管理和注册中心管理，其特征在于：查询入口电性连接管理验证，通过查询入口输入查询指令，管理验证电性连接指令转换，通过管理验证进行输入指令的验证和发送，指令转换分别电性连接数据采集管理和注册中心管理，通过指令转换将接收的指令进行解析成数据采集管理和注册中心管理能够识别的指令信息。

其中，指令转换采用穿墙机别，既所有的操作只能通过指令转换中心，不能直接访问其他服务器，确保服务器安全，数据采集管理包括数据源管理、采集规则管理和采集模型管理，数据采集管理采用的是常用采集方法，注册管理中心包括S1 CA、S2 CA、S3 CA、S4CA、DB1 CA、DB2 CA、文件N CA、语音 CA、和其他数据 CA，S1 CA、S2 CA、S3 CA和S4 CA均与指令转换电性连接，S1 CA分别与DB1 CA和DB2 CA电性连接，S2 CA与文件N CA电性连接，S3CA与语音 CA电性连接，S4 CA与其他数据 CA电性连接，注册中心管理统一对S1 CA、S2 CA、S3 CA、S4 CA、DB1 CA、DB2 CA、文件N CA、语音 CA、和其他数据 CA这些服务器进行管理，外部不可访问。

本发明还提供基于数据采集的数据分发和处理方法，具体步骤如下：

F1：会员通过查询入口发送查询请求，查询请求经过管理验证后发送到指令转换；

F2：通过指令转换对步骤F1中传递过来的指令进行指令的解析，分解成各个节点可以识别的指令，验证会员是否有操作指令的权限，验证通过后，如果查询的数据已采集，则直接从相应的数据库、文件或其他设备等读出数据，逐级上报，如果未采集，则根据规则，读取数据源管理和采集规则管理，进行数据的采集，并将采集的数据转化成格式化数据存入相应的数据库、文件或其他设备等；

F3：新的节点的加入，必须通注册中心管理进行注册，同时相应的数据源管理，采集规则管理、指令解析等验证通过后，合并进来统一管理。

请参阅图2，本实施例的一个具体应用为：本发明在物流中的应用，首先定义好省的统计指标，比如水运、陆运、空运的情况，市根据省的统计指标进行细化分解，将市的数据上报到省，县根据市的指标细化，分解成县的具体指标，采集后上报到市，区根据县里的指标，细化成具体的指标，采集数据后上报到县里。其中统计的指标包括水运、陆运空余的订单数、价格、网点分布、利润、物流运输、保单数、赔付数等，同样该模型也支持空气指标的统计和分析。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.基于数据采集的数据分发和处理方法，包括查询入口、管理验证、指令转换、数据采集管理和注册中心管理，其特征在于：所述查询入口电性连接管理验证，所述管理验证电性连接指令转换，所述指令转换分别电性连接数据采集管理和注册中心管理。

2.根据权利要求1所述的基于数据采集的数据分发和处理方法，其特征在于：所述指令转换采用穿墙机别，既所有的操作只能通过指令转换中心，不能直接访问其他服务器，确保服务器安全。

3.根据权利要求1所述的基于数据采集的数据分发和处理方法，其特征在于：所述数据采集管理包括数据源管理、采集规则管理和采集模型管理。

4.根据权利要求1所述的基于数据采集的数据分发和处理方法，其特征在于：所述数据采集管理采用的是常用采集方法。

5.根据权利要求1所述的基于数据采集的数据分发和处理方法，其特征在于：所述注册管理中心包括S1 CA、S2 CA、S3 CA、S4 CA、DB1 CA、DB2 CA、文件N CA、语音 CA、和其他数据CA，所述S1 CA、S2 CA、S3 CA和S4 CA均与指令转换电性连接，所述S1 CA分别与DB1 CA和DB2 CA电性连接，所述S2 CA与文件N CA电性连接，所述S3 CA与语音 CA电性连接，所述S4CA与其他数据 CA电性连接。

6.根据权利要求1所述的基于数据采集的数据分发和处理方法，其特征在于：所述注册中心管理统一对S1 CA、S2 CA、S3 CA、S4 CA、DB1 CA、DB2 CA、文件N CA、语音 CA、和其他数据 CA这些服务器进行管理，外部不可访问。

7.根据权利要求1所述的基于数据采集的数据分发和处理方法，其特征在于：该基于数据采集的数据分发和处理方法，具体步骤如下：

F1：会员通过查询入口发送查询请求，查询请求经过管理验证后发送到指令转换；

F2：通过指令转换对步骤F1中传递过来的指令进行指令的解析，分解成各个节点可以识别的指令，验证验证会员是否有操作指令的权限，验证通过后，如果查询的数据已采集，则直接从相应的数据库、文件或其他设备等读出数据，逐级上报，如果未采集，则根据规则，读取数据源管理和采集规则管理，进行数据的采集，采集的数据转化成格式化数据存入相应的数据库、文件或其他设备等中；

F3：新的节点的加入，必须通注册中心管理进行注册，同时相应的数据源管理，采集规则管理、指令解析等验证通过后并加入进来。