CN115794839A - 基于Php+Mysql体系的数据归集方法、计算机设备及存储介质 - Google Patents

Abstract

本申请提供了基于Php+Mysql体系的数据归集方法、计算机设备及存储介质，运用于数据归集技术领域，其方法包括：获取各级部门系统发送到数据归集平台的共享数据，对共享数据进行校验、转换、整合后导入数据资源中心；判断数据资源中心的共享数据类型，并以可视化的图形方式显示数据资源中心的共享数据及任务之间的依赖关系；根据共享数据类型确定相对应的存储位置，由数据归集平台自动生成任务参数；对调度中心进行监控，以得到当前共享数据归集任务的数据流量、输入数据、异常数据、及输出数据；根据监控中心对数据归集平台的存储容量进行及时扩容或删除冗余数据；实现共享数据的统计和实时监控，自动执行数据归集任务。

Description

基于Php+Mysql体系的数据归集方法、计算机设备及存储介质

技术领域

本申请涉及数据归集技术领域，特别涉及基于Php+Mysql体系的数据归集方法、计算机设备及存储介质。

背景技术

随着信息化建设的不断完善，相关部门在面向公众的信息服务方面取得了巨大进步，各领域的信息服务已经覆盖公众日常生活中的诸多项目中，其中大量的信息以网络的方式进行提交和处理，且随着信息量的增大，各个项目中的信息数据也在提高，因此产生了海量的信息数据，然而在对信息数据进行特征要素的管理和归集中存在以下问题：

（1）不同类型的数据对应不同的存储方式，当新增加不同的数据时需要创建新的窗口进行存储，导致对数据的归集不够灵活、通用性不强；

（2）大量的数据存储在数据库中，在查询数据的过程进程较慢，且数据存在泄露的风险，无法体现数据归集提供的及时性和安全性。

参考专利申请号CN202011620902.7-一种数据归集方法、装置、计算机设备和可读存储介质公开了在检测到数据归集指令时，获取目标业务数据；从目标业务数据中筛选出目标业务节点对应的业务数据，其中，所述目标业务节点对应的业务数据包括询价数据、保单数据和/或发票数据；获取目标业务节点的业务规则配置；根据目标业务节点的业务规则配置从对应的业务数据中提取具有从属关系的目标业务元素；将提取的目标业务元素进行归集。

此现有技术优化了数据归集的准确性，通过针对不同节点预置不同业务规则配置提高了业务元素提取速度，从而提高数据归集的速度，但从其方案来说，当产生不同的数据则需建立不同的业务规则配置，会导致数据归集的通用性不强，不够灵活，且没有对数据进行归集时实施数据安全的保护，因此提出基于Php+Mysql体系的数据归集方法、计算机设备及存储介质，在基于计算机编程语言和数据库体系有效提升了数据归集的性能，保障了数据的安全性。

发明内容

本申请的目的是提供基于Php+Mysql体系的数据归集方法、计算机设备及存储介质，旨在解决数据的归集不够灵活、通用性不强且数据存在泄露风险的问题。

为实现上述目的，本申请提供如下技术方案：

本申请提供基于Php+Mysql体系的数据归集方法，包括：

S1：获取各级部门系统发送到数据归集平台的共享数据，对所述共享数据进行校验、转换、整合后导入数据资源中心；

S2：判断所述数据资源中心的共享数据类型，若为结构化数据则配置数据库采集工具，若为非结构化数据则配置文件采集工具，若为单机数据则配置手工接入工具，判断完成后作为SQL模板进行保存，并以可视化的图形方式显示所述数据资源中心的共享数据及任务之间的依赖关系；

S3：根据共享数据类型确定相对应的存储位置，由数据归集平台自动生成任务参数，将所述任务参数通过消息队列发送给调度中心，所述调度中心对任务参数进行解析，提取任务周期的相关参数，执行共享数据归集任务；

S4：对调度中心进行监控，以得到当前所述共享数据归集任务的数据流量、输入数据、异常数据、及输出数据，并将其传输至监控中心；

S5：根据监控中心对所述数据归集平台的存储容量进行及时扩容或删除冗余数据，并对数据归集平台设置角色管理，实施相对应的角色进行功能模块授权，切换成角色的启用状态。

进一步的，所述获取各级部门系统发送到数据归集平台的共享数据，对所述共享数据进行校验、转换、整合后导入数据资源中心的步骤中，包括：

所述校验是通过正则表达式检验共享数据是否符合条件，验证共享数据的长度范围、取值范围，在所述数据资源中心选取与被校验的共享数据具有关联的数据作为基准，进行相互比对；

所述转换是所述共享数据中的多个字段合并成一个字段，并设置合并中字段间的连接字符；

所述整合是建立数据资源目录，通过对目录的增删改查进行数据资源目录的变更。

进一步的，所述根据共享数据类型确定相对应的存储位置，由数据归集平台自动生成任务参数，将所述任务参数通过消息队列发送给调度中心，所述调度中心对任务参数进行解析，提取任务周期的相关参数，执行共享数据归集任务的步骤中，包括：

数据交换引擎基于开源kettle组件进行二次封装，调度中心按照kettle任务文件ktr的要求动态生成了ktr文件，并将ktr文件传递给kettle引擎，执行共享数据归集任务，所述数据交换引擎在执行共享数据交换任务时，首先引入kettle核心库，并初始化kettle执行环境。

进一步的，所述对调度中心进行监控，以得到当前所述共享数据归集任务的数据流量、输入数据、异常数据、及输出数据，并将其传输至监控中心的步骤中，包括：

所述调度中心还监控数据归集平台的共享接口和任务执行器的异常记录，当存储达到阈值时进行记录，并解除临界状态；所述任务执行器用于任务的调度，任务执行器分为手动注册和自动注册，当后台任务执行器的地址发生改变，则按照名称进行匹配，自动更新任务执行器的地址。

进一步的，所述SQL模板包括：

根据配置完成 SQL模板中的任务参数进行SQL语句的运行，针对已配置的任务进行实时调度或周期性调度，并通过列表查询SQL任务处理的结果，所述结果包含任务日志、启动备注、运行时间。

进一步的，所述数据归集平台的共享数据需要进行管理，其中包括数据源管理、元数据管理、表类别管理，所述数据源管理为对数据源的类型、名称、连接信息和规则进行管理和维护；所述元数据管理通过目录和数据源关联进行增删改查，并对所述数据源中的表进行统计，新创建或复制的表注册到相应的数据源中；所述表类别管理根据名称进行表类别检索和不限层次的类别维护。

进一步的，所述数据资源中心还包括：

定时在FTP服务器中更新共享数据，配置FTP服务器的地址、文件路径、账号和密码，针对用户还需配置接口任务的共享数据目标，选择相对应的数据源中的数据表，并指定表中的相关字段作为目标字段。

本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述的基于Php+Mysql体系的数据归集方法的步骤。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于Php+Mysql体系的数据归集方法的步骤。

本申请提供了基于Php+Mysql体系的数据归集方法、计算机设备及存储介质，具有以下有益效果：

（1）通过获取各级部门系统发送到数据归集平台的共享数据，判断共享数据的类型，确定相对应的存储位置，自动生成任务参数，由调度中心对任务参数进行解析，提取任务周期的相关参数，执行共享数据归集任务，实现了自动执行数据归集任务；

（2）对共享数据的进行校验，筛选出不符合标准共享数据，可以通过正则表达式检验共享数据是否符合条件，验证共享数据的长度范围、取值范围，保证共享数据不会超出既定范围；

（3）对数据归集平台的存储容量进行管理，设置物理存储的容量、阈值，便于平台统计后及时知晓存储情况，方便阈值告警，并根据实际删除冗余数据或及时扩容。

附图说明

图1为本申请一实施例的基于Php+Mysql体系的数据归集方法的流程示意图；

图2为本申请一实施例的计算机设备的结构示意框图。

本申请为目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考附图1，为本申请提出的基于Php+Mysql体系的数据归集方法的流程示意图；

本申请所提供的基于Php+Mysql体系的数据归集方法，步骤包括：

S1：获取各级部门系统发送到数据归集平台的共享数据，对所述共享数据进行校验、转换、整合后导入数据资源中心；所述校验是通过正则表达式检验共享数据是否符合条件，验证共享数据的长度范围、取值范围，在所述数据资源中心选取与被校验的共享数据具有关联的数据作为基准，进行相互比对；所述转换是所述共享数据中的多个字段合并成一个字段，并设置合并中字段间的连接字符；所述整合是建立数据资源目录，通过对目录的增删改查进行数据资源目录的变更。

在此步骤中，在数据资源中心中对任务的配置中包括：选择制备输入端的数据库，查看数据库清单，配置输入端的来源表、源表字段名称、源表字段类型，选择准备同步的数据库，支持以数据库类型筛选，支持查看数据库所述单位、连接名称、IP、端口、用户等属性，配置输出端的目标表、目标表字段名称、目标表字段类型，对任务配置实现数据资源中心内的数据源的数据同步及数据资源中心对外的数据加载。

对共享数据的进行校验是将来源不同的共享数据按照各自的规则标准建立校验规则图形化配置，筛选出不符合标准共享数据，可以通过正则表达式检验共享数据是否符合条件，验证共享数据的长度范围、取值范围，保证共享数据不会超出既定范围，验证数据类型，包含数据整数、小数、日期、字符串等类型，并限值共享数据是否为空或是否可重复，根据基准值匹配规则可以为所需要验证的共享数据添加基准值，检验共享数据是否与基准值匹配，根据数据域匹配规则可以检验数据是否与数据收集平台现有的数据域中的内容相匹配，根据在字段比对规则在数据源中选取与被检验的共享数据具有业务关联性的共享数据作为基准，进行相互比对；对共享数据的转换是将比对出不一致的共享数据进行针对性转换处理的过程，转换规则配置是根据实际业务情况，针对比对不一致的共享数据配置转换规则，不同数据源数据的转换规则配置通过模板、标识进行管理，其中包括代码翻译，将原有的共享数据替换成标准内容，如：M、F替换成男、女，对共享数据的合并，将多个字段合并成一个字段，并可设置合并中字段间的连接字符，也可以根据实际的需要，将一个字段值的部分内容拆分成单独的字段，对字段转换是采用函数对共享数据进行处理后形成新的字段，以满足后续的数据分析需要，转换完成后对形成的新数据进行查询结果，包括：转换时间、转换数据条数、转换前数据值和转换后数据值等。

S2：判断所述数据资源中心的共享数据类型，若为结构化数据则配置数据库采集工具，若为非结构化数据则配置文件采集工具，若为单机数据则配置手工接入工具，判断完成后作为SQL模板进行保存，并以可视化的图形方式显示所述数据资源中心的共享数据及任务之间的依赖关系；所述SQL模板包括：根据配置完成 SQL模板中的任务参数进行SQL语句的运行，针对已配置的任务进行实时调度或周期性调度，并通过列表查询SQL任务处理的结果，所述结果包含任务日志、启动备注、运行时间。

在此步骤中，通过编写SQL语句，对相应的数据源进行操作，当无法通过配置的方式完成共享数据开发，就需要通过SQL语句来进行数据库的操作，SQL目标便于在SQL语句任务中引用，并进行调整，针对已配置的任务进行实时调度或周期性调度，包括任务的启动、停止、重启等调度方式，最后查看SQL任务处理的结果，包含任务日志、启动备注、运行时间等信息。

S3：根据共享数据类型确定相对应的存储位置，由数据归集平台自动生成任务参数，将所述任务参数通过消息队列发送给调度中心，所述调度中心对任务参数进行解析，提取任务周期的相关参数，执行共享数据归集任务；数据交换引擎基于开源kettle组件进行二次封装，调度中心按照kettle任务文件ktr的要求动态生成了ktr文件，并将ktr文件传递给kettle引擎，执行共享数据归集任务，所述数据交换引擎在执行共享数据交换任务时，首先引入kettle核心库，并初始化kettle执行环境。

在此步骤中，数据交换引擎调用kettle核心库，创建ktr对象，并使用上一步中解析的参数，动态生成源数据库对象、数据仓库对象、源数据表对象、重命名对象和表输出对象，从源数据采集信息资源时，分为全量采集和增量采集两种方式，在动态生成表输入对象时，会依据上一步中解析的数据采集方式，将数据过滤的SQL语句动态填充进，创建数据流转对象，将表输入、重命名、表输出对象依次连接组成数据流转回路，并使用完整的数据回路配置信息填充ktr对象的配置信息，最后将完整的ktr对象提交给kettle执行引擎，执行数据归集。

S4：对调度中心进行监控，以得到当前所述共享数据归集任务的数据流量、输入数据、异常数据、及输出数据，并将其传输至监控中心；所述调度中心还监控数据归集平台的共享接口和任务执行器的异常记录，当存储达到阈值时进行记录，并解除临界状态；所述任务执行器用于任务的调度，任务执行器分为手动注册和自动注册，当后台任务执行器的地址发生改变，则按照名称进行匹配，自动更新任务执行器的地址。

在此步骤中，可以查看数据归集平台生成的共享接口、任务执行器的异常记录和处理情况，并对存储达到阈值时进行记录，查看是否解除临界状态，当异常发生则触发告警，对应的管理人员可查看告警类型、触发对象、告警详情，便于进行及时处理。

S5：根据监控中心对所述数据归集平台的存储容量进行及时扩容或删除冗余数据，并对数据归集平台设置角色管理，实施相对应的角色进行功能模块授权，切换成角色的启用状态。

在此步骤中，对数据归集平台的存储容量进行管理，可以设置物理存储的容量、阈值，便于平台统计后及时知晓存储情况，方便阈值告警，并根据实际删除冗余数据或及时扩容；并设置角色管理，设置相关信息，如：用户名、用户角色、登录名称、邮箱等信息，对相应的角色进行功能模块的授权，并能切换角色的启用状态，便于角色管理，授权之后用户选择相应的角色，登录后可以查看到不同的授权功能。

在一实施例中，所述数据归集平台的共享数据需要进行管理，其中包括数据源管理、元数据管理、表类别管理，所述数据源管理为对数据源的类型、名称、连接信息和规则进行管理和维护；所述元数据管理通过目录和数据源关联进行增删改查，并对所述数据源中的表进行统计，新创建或复制的表注册到相应的数据源中；所述表类别管理根据名称进行表类别检索和不限层次的类别维护。

数据源管理实现对不同数据源的管理和维护，包括关系型数据库、大数据存储系统等，数据源添加后还可以测试数据源的连接情况；元数据管理是对不同来源的共享数据进行统一的元数据处理，通过目录和数据源关联，实现数据源分类管理，包括增删改查和调整分类上级，可针对目录中的表单独或批量建表，并根据相应条件对表进行筛选；类别管理根据名称进行表类别检索和不限层次的类别维护，表类别的区分便于数据开发任务，从众多表中进行自主归类，增加数据开发效率。

在一实施例中，所述数据资源中心还包括：定时在FTP服务器中更新共享数据，配置FTP服务器的地址、文件路径、账号和密码，针对用户还需配置接口任务的共享数据目标，选择相对应的数据源中的数据表，并指定表中的相关字段作为目标字段。

参照图2，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图2所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储共享数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于Php+Mysql体系的数据归集方法。

本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。

本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于Php+Mysql体系的数据归集方法的步骤，具体为：

S1：获取各级部门系统发送到数据归集平台的共享数据，对所述共享数据进行校验、转换、整合后导入数据资源中心；

S2：判断所述数据资源中心的共享数据类型，若为结构化数据则配置数据库采集工具，若为非结构化数据则配置文件采集工具，若为单机数据则配置手工接入工具，判断完成后作为SQL模板进行保存，并以可视化的图形方式显示所述数据资源中心的共享数据及任务之间的依赖关系；

S3：根据共享数据类型确定相对应的存储位置，由数据归集平台自动生成任务参数，将所述任务参数通过消息队列发送给调度中心，所述调度中心对任务参数进行解析，提取任务周期的相关参数，执行共享数据归集任务；

S4：对调度中心进行监控，以得到当前所述共享数据归集任务的数据流量、输入数据、异常数据、及输出数据，并将其传输至监控中心；

S5：根据监控中心对所述数据归集平台的存储容量进行及时扩容或删除冗余数据，并对数据归集平台设置角色管理，实施相对应的角色进行功能模块授权，切换成角色的启用状态。

综上所述，本申请通过获取各级部门系统发送到数据归集平台的共享数据，判断共享数据的类型，确定相对应的存储位置，自动生成任务参数，由调度中心对任务参数进行解析，提取任务周期的相关参数，执行共享数据归集任务，实现了共享数据的统计和实时监控，自动执行数据归集任务。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

尽管已经示出和描述了本申请的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本申请的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由所附权利要求及其等同物限定。

Claims (9)

1.基于Php+Mysql体系的数据归集方法，其特征在于，包括：

S1：获取各级部门系统发送到数据归集平台的共享数据，对所述共享数据进行校验、转换、整合后导入数据资源中心；

S2：判断所述数据资源中心的共享数据类型，若为结构化数据则配置数据库采集工具，若为非结构化数据则配置文件采集工具，若为单机数据则配置手工接入工具，判断完成后作为SQL模板进行保存，并以可视化的图形方式显示所述数据资源中心的共享数据及任务之间的依赖关系；

S3：根据共享数据类型确定相对应的存储位置，由数据归集平台自动生成任务参数，将所述任务参数通过消息队列发送给调度中心，所述调度中心对任务参数进行解析，提取任务周期的相关参数，执行共享数据归集任务；

S4：对调度中心进行监控，以得到当前所述共享数据归集任务的数据流量、输入数据、异常数据、及输出数据，并将其传输至监控中心；

S5：根据监控中心对所述数据归集平台的存储容量进行及时扩容或删除冗余数据，并对数据归集平台设置角色管理，实施相对应的角色进行功能模块授权，切换成角色的启用状态。

2.根据权利要求1所述的基于Php+Mysql体系的数据归集方法，其特征在于，所述获取各级部门系统发送到数据归集平台的共享数据，对所述共享数据进行校验、转换、整合后导入数据资源中心的步骤中，包括：

所述校验是通过正则表达式检验共享数据是否符合条件，验证共享数据的长度范围、取值范围，在所述数据资源中心选取与被校验的共享数据具有关联的数据作为基准，进行相互比对；

所述转换是所述共享数据中的多个字段合并成一个字段，并设置合并中字段间的连接字符；

所述整合是建立数据资源目录，通过对目录的增删改查进行数据资源目录的变更。

3.根据权利要求1所述的基于Php+Mysql体系的数据归集方法，其特征在于，所述根据共享数据类型确定相对应的存储位置，由数据归集平台自动生成任务参数，将所述任务参数通过消息队列发送给调度中心，所述调度中心对任务参数进行解析，提取任务周期的相关参数，执行共享数据归集任务的步骤中，包括：

数据交换引擎基于开源kettle组件进行二次封装，调度中心按照kettle任务文件ktr的要求动态生成了ktr文件，并将ktr文件传递给kettle引擎，执行共享数据归集任务，所述数据交换引擎在执行共享数据交换任务时，首先引入kettle核心库，并初始化kettle执行环境。

4.根据权利要求1所述的基于Php+Mysql体系的数据归集方法，其特征在于，所述对调度中心进行监控，以得到当前所述共享数据归集任务的数据流量、输入数据、异常数据、及输出数据，并将其传输至监控中心的步骤中，包括：

所述调度中心还监控数据归集平台的共享接口和任务执行器的异常记录，当存储达到阈值时进行记录，并解除临界状态；所述任务执行器用于任务的调度，任务执行器分为手动注册和自动注册，当后台任务执行器的地址发生改变，则按照名称进行匹配，自动更新任务执行器的地址。

5.根据权利要求1所述的基于Php+Mysql体系的数据归集方法，其特征在于，所述SQL模板包括：

根据配置完成 SQL模板中的任务参数进行SQL语句的运行，针对已配置的任务进行实时调度或周期性调度，并通过列表查询SQL任务处理的结果，所述结果包含任务日志、启动备注、运行时间。

6.根据权利要求1所述的基于Php+Mysql体系的数据归集方法，其特征在于，所述数据归集平台的共享数据需要进行管理，其中包括数据源管理、元数据管理、表类别管理，所述数据源管理为对数据源的类型、名称、连接信息和规则进行管理和维护；所述元数据管理通过目录和数据源关联进行增删改查，并对所述数据源中的表进行统计，新创建或复制的表注册到相应的数据源中；所述表类别管理根据名称进行表类别检索和不限层次的类别维护。

7.根据权利要求1所述的基于Php+Mysql体系的数据归集方法，其特征在于，所述数据资源中心还包括：

定时在FTP服务器中更新共享数据，配置FTP服务器的地址、文件路径、账号和密码，针对用户还需配置接口任务的共享数据目标，选择相对应的数据源中的数据表，并指定表中的相关字段作为目标字段。

8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于Php+Mysql体系的数据归集方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于Php+Mysql体系的数据归集方法的步骤。

Images