CN110866007B - 大数据应用和表的信息管理方法、系统和计算机设备 - Google Patents

大数据应用和表的信息管理方法、系统和计算机设备 Download PDF

Info

Publication number
CN110866007B
CN110866007B CN201910968968.6A CN201910968968A CN110866007B CN 110866007 B CN110866007 B CN 110866007B CN 201910968968 A CN201910968968 A CN 201910968968A CN 110866007 B CN110866007 B CN 110866007B
Authority
CN
China
Prior art keywords
information
application
keywords
data
upstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910968968.6A
Other languages
English (en)
Other versions
CN110866007A (zh
Inventor
程克喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN201910968968.6A priority Critical patent/CN110866007B/zh
Publication of CN110866007A publication Critical patent/CN110866007A/zh
Application granted granted Critical
Publication of CN110866007B publication Critical patent/CN110866007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种大数据应用和表的信息管理方法，所述方法包括：获取各个应用和/或各个表的关联信息，所述关联信息包括对应的应用或表的功能信息、上下游依赖信息、数据字典信息和需求目的信息；将所述关联信息加载到信息平台上；提取所述关联信息中的多个关键词，并将所述多个关键词及与所述多个关键词与所述关联信息的关联关系保存到所述信息平台的数据库中；及根据数据库中的多个关键词配置信息平台的查询入口，所述查询入口用于接收查询请求指令，并根据所述查询请求指令从所述数据库中查询所述应用与表的关联信息。本发明实施例通过对大数据应用和表的信息进行管理以提升查询效率。

Description

大数据应用和表的信息管理方法、系统和计算机设备
技术领域
本发明实施例涉及信息管理领域，尤其涉及一种大数据应用和表的信息管理方法、系统、计算机设备及计算机可读存储介质。
背景技术
目前关于如何从庞大存储信息中检索出需要的数据，如何使检索的过程更有效率、检索方式更适合用户的检索习惯、检索到的数据是信息管理平台发展的方向；大数据的应用与应用，表与表，应用与表之间都存在非常多且复杂的关联关系。开发人员在开发过程是无法全局把握整套体系中的应用与表的功能、作用、上下游关系等的。开发人员会耗费大量的时间去向同事请教或者手动查阅代码逻辑才能了解相关的应用或者表，而往往这样的了解是耗时且不全面的。因此需要一个平台将应用与表的信息进行集中管理。
因此，如何高效地管理应用与表的功能信息以及上下游关系信息，从而进一步节约查询者的查询时间，成为了当前要解决的技术问题之一。
发明内容
有鉴于此，有必要提供一种大数据应用和表的信息管理方法、系统、计算机设备及计算机可读存储介质，以解决当前应用与表的功能信息以及上下游关系信息管理不当，以及应用与表的功能信息和上下游关系信息查询困难的问题。
为实现上述目的，本发明实施例提供了大数据应用和表的信息管理方法，所述方法步骤包括：
获取各个应用和/或各个表的关联信息，所述关联信息包括对应的应用或表的功能信息、上下游依赖信息、数据字典信息和需求目的信息；
将所述关联信息加载到信息平台上；
提取所述关联信息中的多个关键词，并将所述多个关键词及与所述多个关键词与所述关联信息的关联关系保存到所述信息平台的数据库中；及
根据数据库中的多个关键词配置信息平台的查询入口，所述查询入口用于接收查询请求指令，并根据所述查询请求指令从所述数据库中查询所述应用与表的关联信息。
示例性的，所述应用或表的功能信息，包括对相应应用中的各个脚本文件的脚本实现逻辑的描述信息，以及相应表的功能说明的描述信息；
所述应用的上下游依赖信息，包括各个应用之间的依赖关系的描述信息，其中，各个应用之间的依赖关系包括各个应用之间的直接依附关系和间接依赖关系；
所述表的上下游依赖信息，包括各个表之间的数据链路关系的描述信息；
所述数据字典信息，包括对应用或表中数据的数据项、数据结构、数据流、数据存储以及数据处理逻辑的描述信息；
所述需求目的信息，包括相应应用或表的目的描述信息。
示例性的，所述将所述关联信息加载到信息平台上的步骤，包括：
判断所述关联信息的信息类型；
如果所述关联信息的信息类型为功能信息、数据字典信息或需求目的信息时，则通过第三方接口将所述功能信息、数据字典信息或需求目加载至所述信息平台中；
如果所述关联信息的信息类型为上下游依赖信息时：
通过dom4j解析应用svn位置上的xml文件，获得应用上下游依赖关系信息；并通过第三方接口将所述应用上下游依赖关系信息加载信息平台中；或
通过IO流解析sql语句，获得表的上下游依赖关系信息；并通过第三方接口将所述表的上下游依赖关系信息加载至所述信息平台中。
示例性的，提取所述关联信息中的多个关键词的步骤，包括：
提取所述应用或表的功能信息中的一个或多个关键词：从相应应用中的各个脚本文件的脚本实现逻辑的描述信息以及相应表中的功能说明的描述信息中，提取一个或多个关键词；
提取所述应用上下游依赖关系信息中的一个或多个关键词：从各个应用之间的依赖关系的描述信息中，提取一个或多个关键词；
提取所述表的上下游依赖关系信息中的一个或多个关键词：从各个表之间的数据链路关系的描述信息中，提取一个或多个关键词；
提取所述数据字典信息或需求目加载信息中的一个或多个关键词：从相应应用或表中数据的数据项、数据结构、数据流、数据存储以及数据处理逻辑的描述信息中，分别提取一个或多个关键词；
提取所述需求目的信息中的一个或多个关键词：从相应应用或表的目的描述信息中，提取一个或多个关键词。
示例性的，所述配置信息平台的查询入口的步骤，包括：
从所述数据库中获取关联信息以及所述关联信息对应的多个关键字；
确定所述关联信息与所述关联信息对应的关键字之间的映射关系；
根据所述关联信息与所述关联信息对应的关键字之间的映射关系，配置信息平台的查询入口。
为实现上述目的，本发明实施例还提供了一种大数据应用和表的信息管理系统，包括：
获取模块，用于获取各个应用和/或各个表的关联信息，所述关联信息包括对应的应用或表的功能信息、上下游依赖信息、数据字典信息和需求目的信息；
加载模块，用于将所述关联信息加载到信息平台上；
提取模块，用于提取所述关联信息中的多个关键词，并将所述多个关键词及与所述多个关键词与所述关联信息的关联关系保存到所述信息平台的数据库中；
配置模块，用于根据数据库中的多个关键词配置信息平台的查询入口，所述查询入口用于接收查询请求指令，并根据所述查询请求指令从所述数据库中查询所述应用与表的关联信息。
示例性的，在所述获取模块中，所述应用或表的功能信息，包括对相应应用中的各个脚本文件的脚本实现逻辑的描述信息，以及相应表的功能说明的描述信息；
所述应用的上下游依赖信息，包括各个应用之间的依赖关系的描述信息，其中，各个应用之间的依赖关系包括各个应用之间的直接依附关系和间接依赖关系；
所述表的上下游依赖信息，包括各个表之间的数据链路关系的描述信息；
所述数据字典信息，包括对应用或表中数据的数据项、数据结构、数据流、数据存储以及数据处理逻辑的描述信息；
所述需求目的信息，包括相应应用或表的目的描述信息。
示例性的，所述加载模块，还用于：
判断所述关联信息的信息类型；
如果所述关联信息的信息类型为功能信息、数据字典信息或需求目的信息时，则通过第三方接口将所述功能信息、数据字典信息或需求目加载至所述信息平台中；
如果所述关联信息的信息类型为上下游依赖信息时：
通过dom4j解析应用svn位置上的xml文件，获得应用上下游依赖关系信息；并通过第三方接口将所述应用上下游依赖关系信息加载信息平台中；或
通过IO流解析sql语句，获得表的上下游依赖关系信息；并通过第三方接口将所述表的上下游依赖关系信息加载至所述信息平台中。
为实现上述目的，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如上述的大数据应用和表的信息管理方法的步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上述的大数据应用和表的信息管理方法的步骤。
本发明实施例提供的大数据应用和表的信息管理方法、系统、计算机设备及计算机可读存储介质，为开发人员以及相关查询者提供了高效的大数据应用和表的信息管理方法；通过对大数据应用和表的信息进行管理，可以提高开发人员以及相关查询者对大数据应用和表的信息的查询效率，从而进一步节约查询者的查询时间。
附图说明
图1为本发明实施例大数据应用和表的信息管理方法的流程示意图。
图2为本发明大数据应用和表的信息管理系统实施例二的程序模块示意图。
图3为本发明计算机设备实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
以下实施例中，将以计算机设备为执行主体进行示例性描述。
实施例一
参阅图1，示出了本发明实施例之大数据应用和表的信息管理方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。
步骤S100，获取各个应用和/或各个表的关联信息，所述关联信息包括对应的应用或表的功能信息、上下游依赖信息、数据字典信息和需求目的信息。
示例性的，预先确定需要获取关联信息的目标应用或目标表，通过爬虫网络从所述目标应用或目标表中获取关联信息，或从已有的数据库中获取目标应用或目标表的对应的关联信息。
示例性的，所述步骤S100可以进一步包括：所述应用或表的功能信息，包括对相应应用中的各个脚本文件的脚本实现逻辑的描述信息，以及相应表的功能说明的描述信息。
所述应用的上下游依赖信息，包括各个应用之间的依赖关系的描述信息，其中，各个应用之间的依赖关系包括各个应用之间的直接依附关系和间接依赖关系。
所述表的上下游依赖信息，包括各个表之间的数据链路关系的描述信息。
所述数据字典信息，包括对应用或表中数据的数据项、数据结构、数据流、数据存储以及数据处理逻辑的描述信息。
所述需求目的信息，包括相应应用或表的目的描述信息。
步骤S102，将所述关联信息加载到信息平台上。
示例性的，所述步骤S102可以进一步包括：
判断所述关联信息的信息类型。
示例性的，通过预先配置信息类型分析模板，自动判断所述关联信息的信息类型，所述配置信息类型分析模板的步骤，包括：
获取多个关联信息，并标记每个关联信息的类别；
根据标记好类别的多个关联信息得到分类器训练集；及
通过所述训练集对预训练模型进行训练，得到信息类型分析模板。
当所述关联信息的信息类型为功能信息、数据字典信息或需求目的信息时，则通过第三方接口将所述功能信息、数据字典信息或需求目加载至所述信息平台中。
当所述关联信息的信息类型为上下游依赖信息时：
通过dom4j解析应用svn位置上的xml文件，获得应用上下游依赖关系信息；并通过第三方接口将所述应用上下游依赖关系信息加载信息平台中；或
通过IO流解析sql语句，获得表的上下游依赖关系信息；并通过第三方接口将所述表的上下游依赖关系信息加载至所述信息平台中。
步骤S104，提取所述关联信息中的多个关键词，并将所述多个关键词及与所述多个关键词与所述关联信息的关联关系保存到所述信息平台的数据库中。
示例性的，提取所述关联信息中的多个关键词，确定多个关键词与所述多个关键词与所述关联信息的关联关系，并将所述多个关键词及与所述多个关键词与所述关联信息的关联关系保存到所述信息平台的数据库中。
示例性的，所述步骤S104可以进一步包括：
提取所述应用或表的功能信息中的一个或多个关键词：从相应应用中的各个脚本文件的脚本实现逻辑的描述信息以及相应表中的功能说明的描述信息中，提取一个或多个关键词。
示例性的，所述应用是由其包含的一个或多个脚本组合形成的，描述应用的具体实现逻辑即是在描述每个脚本的实现逻辑，例如该脚本内的其中一个表是通过多个表的关联主键做条件判断，被加工成临时表，再被关联另一个表生成其他表，则抽象化是指：对每个脚本，仅指出入口表，出口表，仅用语言描述入口表的哪几个表得到了哪一个出口表；例如，表AAA与表BBB全连接得到表CCC。对于整个应用的关键词：例如，脚本一得到的表CCC与脚本二得到的表FFF并行执行到脚本三作为入口表。
提取所述应用上下游依赖关系信息中的一个或多个关键词：从各个应用之间的依赖关系的描述信息中，提取一个或多个关键词。
示例性的，应用的上下游依赖形成链路中的一节链节，即应用与应用的直接依附关系；所述多个应用与应用的直接依附关系形成依赖的链路传递关系，即应用到应用的间接依赖关系。例如：应用A生成应用B、应用B生成应用C、应用C生成应用D；提取的关键字为：应用A到应用C、应用A到应用D、应用B到应用D。
提取所述表的上下游依赖关系信息中的一个或多个关键词：从各个表之间的数据链路关系的描述信息中，提取一个或多个关键词。
示例性的，表的上下游依赖形成链路中的一节链节，即表与表的直接依附关系；所述多个表与表的直接依附关系形成依赖的链路传递关系，即表到表的间接依赖关系。例如：表A生成表B、表B生成表C、表C生成表D；提取的关键字：表A到表C、表A到表D、表B到表D。
提取所述数据字典信息或需求目加载信息中的一个或多个关键词：从相应应用或表中数据的数据项、数据结构、数据流、数据存储以及数据处理逻辑的描述信息中，分别提取一个或多个关键词。提取所述需求目的信息中的一个或多个关键词：从相应应用或表的目的描述信息中，提取一个或多个关键词。
示例性的，通过预先配置的关键词提取器对描述信息进行关键词提取，所述描述信息的提取的步骤，包括：
获取描述信息；
在关联的关键词库中进行搜索，匹配出所述描述信息中的关键词；
根据所述描述信息、匹配出的所述描述信息中的关键词，确定出所有的文本句式及对应的一个或多个关键词；
根据关键词概率网络模型，分析确定各所述描述信息句式及对应的关键词组合成立的概率；
将分析确定的概率中值最大的概率对应的一个或多个关键词确定为从所述描述信息中提取的一个或多个关键词。
步骤S106，根据数据库中的多个关键词配置信息平台的查询入口，所述查询入口用于接收查询请求指令，并根据所述查询请求指令从所述数据库中查询所述应用与表的关联信息。
示例性的，所述配置信息平台的查询入口的步骤，包括：
从所述数据库中获取关联信息以及所述关联信息对应的多个关键字。
确定所述关联信息与所述关联信息对应的关键字之间的映射关系。
根据所述关联信息与所述关联信息对应的关键字之间的映射关系，配置信息平台的查询入口。
示例性的，对所述关联信息进行分级，对查询者的账号也进行分级，所述查询者只能查询低于该查询者账号级别的所述应用或表对应的关联信息；设有查询权限向下授权，即所述查询者只能查询低于该查询者账号级别的所述大数据平台应用与表的信息；
示例性的，所述应用或表对应的关联信息都由相应的角色所拥有的权限向下授权；为保证信息平台的信息安全，避免信息平台的信息跨域风险，信息平台还设置有管理权限；所述管理权限包括：设有应用赋权管理员，所述应用赋权管理员负责给应用赋权，增删改查中的某一个或几个；应用中某角色所获得的权限赋权给其他角色其权限范围内的权限，增删改查中的某一个或几个，权限的作用域可切分为更小的粒度。确保了每一个角色的权限之间维系成了级联与收敛的趋势，形成权限的树形图。
实施例二
图2为本发明大数据应用和表的信息管理系统实施例二的程序模块示意图。信息管理系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述大数据应用和表的信息管理方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述信息管理系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
获取模块200，获取各个应用和/或各个表的关联信息，所述关联信息包括对应的应用或表的功能信息、上下游依赖信息、数据字典信息和需求目的信息。
示例性的，所述获取模块200还用于：所述应用或表的功能信息，包括对相应应用中的各个脚本文件的脚本实现逻辑的描述信息，以及相应表的功能说明的描述信息。
所述应用的上下游依赖信息，包括各个应用之间的依赖关系的描述信息，其中，各个应用之间的依赖关系包括各个应用之间的直接依附关系和间接依赖关系。
所述表的上下游依赖信息，包括各个表之间的数据链路关系的描述信息。
所述数据字典信息，包括对应用或表中数据的数据项、数据结构、数据流、数据存储以及数据处理逻辑的描述信息。
所述需求目的信息，包括相应应用或表的目的描述信息。
加载模块202，将所述关联信息加载到信息平台上。
示例性的，所述获取模块202还用于：判断所述关联信息的信息类型。
如果所述关联信息的信息类型为功能信息、数据字典信息或需求目的信息时，则通过第三方接口将所述功能信息、数据字典信息或需求目加载至所述信息平台中。
如果所述关联信息的信息类型为上下游依赖信息时：
通过dom4j解析应用svn位置上的xml文件，获得应用上下游依赖关系信息；并通过第三方接口将所述应用上下游依赖关系信息加载信息平台中；或
通过IO流解析sql语句，获得表的上下游依赖关系信息；并通过第三方接口将所述表的上下游依赖关系信息加载至所述信息平台中。
提取模块204，提取所述关联信息中的多个关键词，并将所述多个关键词及与所述多个关键词与所述关联信息的关联关系保存到所述信息平台的数据库中。
示例性的，所述提取模块204还用于：提取所述应用或表的功能信息中的一个或多个关键词：从相应应用中的各个脚本文件的脚本实现逻辑的描述信息以及相应表中的功能说明的描述信息中，提取一个或多个关键词；
示例性的，所述应用是由其包含的一个或多个脚本组合形成的，描述应用的具体实现逻辑即是在描述每个脚本的实现逻辑，例如该脚本内的其中一个表是通过多个表的关联主键做条件判断，被加工成临时表，再被关联另一个表生成其他表，则抽象化是指：对每个脚本，仅指出入口表，出口表，仅用语言描述入口表的哪几个表得到了哪一个出口表；例如，表AAA与表BBB全连接得到表CCC。对于整个应用的关键词：例如，脚本一得到的表CCC与脚本二得到的表FFF并行执行到脚本三作为入口表。
提取所述应用上下游依赖关系信息中的一个或多个关键词：从各个应用之间的依赖关系的描述信息中，提取一个或多个关键词；
示例性的，应用的上下游依赖形成链路中的一节链节，即应用与应用的直接依附关系；所述多个应用与应用的直接依附关系形成依赖的链路传递关系，即应用到应用的间接依赖关系。例如：应用A生成应用B、应用B生成应用C、应用C生成应用D；提取的关键字为：应用A到应用C、应用A到应用D、应用B到应用D。
提取所述表的上下游依赖关系信息中的一个或多个关键词：从各个表之间的数据链路关系的描述信息中，提取一个或多个关键词；
示例性的，表的上下游依赖形成链路中的一节链节，即表与表的直接依附关系；所述多个表与表的直接依附关系形成依赖的链路传递关系，即表到表的间接依赖关系。例如：表A生成表B、表B生成表C、表C生成表D；提取的关键字：表A到表C、表A到表D、表B到表D。
提取所述数据字典信息或需求目加载信息中的一个或多个关键词：从相应应用或表中数据的数据项、数据结构、数据流、数据存储以及数据处理逻辑的描述信息中，分别提取一个或多个关键词；
提取所述需求目的信息中的一个或多个关键词：从相应应用或表的目的描述信息中，提取一个或多个关键词。
配置模块206，根据数据库中的多个关键词配置信息平台的查询入口，所述查询入口用于接收查询请求指令，并根据所述查询请求指令从所述数据库中查询所述应用与表的关联信息。
示例性的，所述配置模块206还用于：
从所述数据库中获取关联信息以及所述关联信息对应的多个关键字。
确定所述关联信息与所述关联信息对应的关键字之间的映射关系。
根据所述关联信息与所述关联信息对应的关键字之间的映射关系，配置信息平台的查询入口。
实施例三
参阅图3，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及信息管理系统20。
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例二的大数据应用和表的信息管理系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行大数据应用和表的信息管理系统20，以实现实施例一的大数据应用和表的信息管理方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图3仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的大数据应用和表的信息管理系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图2示出了本发明实施例二之所述实现大数据应用和表的信息管理系统的程序模块示意图，该实施例中，所述大数据应用和表的信息管理系统20可以被划分为获取模块200、加载模块202、提取模块204和配置模块206。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述大数据应用和表的信息管理系统20在所述计算机设备2中的执行过程。所述程序模块200-206的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于大数据应用和表的信息管理系统20，被处理器执行时实现实施例一的大数据应用和表的信息管理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种大数据应用和表的信息管理方法，其特征在于，所述方法包括：
获取各个应用和/或各个表的关联信息，所述关联信息包括对应的应用或表的功能信息、上下游依赖信息、数据字典信息和需求目的信息；
将所述关联信息加载到信息平台上；
提取所述关联信息中的多个关键词，并将所述多个关键词及与所述多个关键词与所述关联信息的关联关系保存到所述信息平台的数据库中；及
根据数据库中的多个关键词配置信息平台的查询入口，所述查询入口用于接收查询请求指令，并根据所述查询请求指令从所述数据库中查询所述应用与表的关联信息；
其中，所述应用或表的功能信息，包括对相应应用的各个脚本文件的脚本实现逻辑的描述信息，以及相应表的功能说明的描述信息；
所述应用的上下游依赖信息，包括各个应用之间的依赖关系的描述信息，其中，各个应用之间的依赖关系包括各个应用之间的直接依附关系和间接依赖关系；
所述表的上下游依赖信息，包括各个表之间的数据链路关系的描述信息；
所述数据字典信息，包括对应用或表中数据的数据项、数据结构、数据流、数据存储以及数据处理逻辑的描述信息；
所述需求目的信息，包括相应应用或表的目的描述信息；
其中，所述将所述关联信息加载到信息平台上的步骤，包括：
判断所述关联信息的信息类型；
如果所述关联信息的信息类型为功能信息、数据字典信息或需求目的信息时，则通过第三方接口将所述功能信息、数据字典信息或需求目加载至所述信息平台中；
如果所述关联信息的信息类型为上下游依赖信息时：
通过dom4j解析应用svn位置上的xml文件，获得应用上下游依赖关系信息；并通过第三方接口将所述应用上下游依赖关系信息加载信息平台中；或
通过IO流解析sql语句，获得表的上下游依赖关系信息；并通过第三方接口将所述表的上下游依赖关系信息加载至所述信息平台中。
2.如权利要求1所述的大数据应用和表的信息管理方法，其特征在于，提取所述关联信息中的多个关键词的步骤，包括：
提取所述应用或表的功能信息中的一个或多个关键词：从相应应用中的各个脚本文件的脚本实现逻辑的描述信息以及相应表中的功能说明的描述信息中，提取一个或多个关键词；
提取所述应用上下游依赖关系信息中的一个或多个关键词：从各个应用之间的依赖关系的描述信息中，提取一个或多个关键词；
提取所述表的上下游依赖关系信息中的一个或多个关键词：从各个表之间的数据链路关系的描述信息中，提取一个或多个关键词；
提取所述数据字典信息或需求目加载信息中的一个或多个关键词：从相应应用或表中数据的数据项、数据结构、数据流、数据存储以及数据处理逻辑的描述信息中，分别提取一个或多个关键词；
提取所述需求目的信息中的一个或多个关键词：从相应应用或表的目的描述信息中，提取一个或多个关键词。
3.如权利要求1所述的大数据应用和表的信息管理方法，其特征在于，所述配置信息平台的查询入口的步骤，包括：
从所述数据库中获取关联信息以及所述关联信息对应的多个关键字；
确定所述关联信息与所述关联信息对应的关键字之间的映射关系；
根据所述关联信息与所述关联信息对应的关键字之间的映射关系，配置信息平台的查询入口。
4.一种大数据应用和表的信息管理系统，其特征在于，包括：
获取模块，用于获取各个应用和/或各个表的关联信息，所述关联信息包括对应的应用或表的功能信息、上下游依赖信息、数据字典信息和需求目的信息；在所述获取模块中，所述应用或表的功能信息，包括对相应应用中的各个脚本文件的脚本实现逻辑的描述信息，以及相应表的功能说明的描述信息；所述应用的上下游依赖信息，包括各个应用之间的依赖关系的描述信息，其中，各个应用之间的依赖关系包括各个应用之间的直接依附关系和间接依赖关系；所述表的上下游依赖信息，包括各个表之间的数据链路关系的描述信息；所述数据字典信息，包括对应用或表中数据的数据项、数据结构、数据流、数据存储以及数据处理逻辑的描述信息；所述需求目的信息，包括相应应用或表的目的描述信息；
加载模块，用于将所述关联信息加载到信息平台上；所述加载模块还用于：
判断所述关联信息的信息类型；如果所述关联信息的信息类型为功能信息、数据字典信息或需求目的信息时，则通过第三方接口将所述功能信息、数据字典信息或需求目加载至所述信息平台中；如果所述关联信息的信息类型为上下游依赖信息时：通过dom4j解析应用svn位置上的xml文件，获得应用上下游依赖关系信息；并通过第三方接口将所述应用上下游依赖关系信息加载信息平台中；或通过IO流解析sql语句，获得表的上下游依赖关系信息；并通过第三方接口将所述表的上下游依赖关系信息加载至所述信息平台中；
提取模块，用于提取所述关联信息中的多个关键词，并将所述多个关键词及与所述多个关键词与所述关联信息的关联关系保存到所述信息平台的数据库中；
配置模块，用于根据数据库中的多个关键词配置信息平台的查询入口，所述查询入口用于接收查询请求指令，并根据所述查询请求指令从所述数据库中查询所述应用与表的关联信息。
5.一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的大数据应用和表的信息管理方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至3中任一项所述的大数据应用和表的信息管理方法的步骤。
CN201910968968.6A 2019-10-12 2019-10-12 大数据应用和表的信息管理方法、系统和计算机设备 Active CN110866007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910968968.6A CN110866007B (zh) 2019-10-12 2019-10-12 大数据应用和表的信息管理方法、系统和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910968968.6A CN110866007B (zh) 2019-10-12 2019-10-12 大数据应用和表的信息管理方法、系统和计算机设备

Publications (2)

Publication Number Publication Date
CN110866007A CN110866007A (zh) 2020-03-06
CN110866007B true CN110866007B (zh) 2023-08-22

Family

ID=69652722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910968968.6A Active CN110866007B (zh) 2019-10-12 2019-10-12 大数据应用和表的信息管理方法、系统和计算机设备

Country Status (1)

Country Link
CN (1) CN110866007B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163131A (zh) * 2020-11-10 2021-01-01 平安普惠企业管理有限公司 业务数据查询平台的配置方法、装置、计算机设备及介质
CN114238469B (zh) * 2021-12-07 2022-07-12 杭州天均数聚科技有限公司 数据提取接口开放方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196900A (zh) * 2007-12-27 2008-06-11 中国移动通信集团湖北有限公司 一种基于元数据的信息检索方法
CN104216888A (zh) * 2013-05-30 2014-12-17 中国电信股份有限公司 数据处理任务关系设置方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196900A (zh) * 2007-12-27 2008-06-11 中国移动通信集团湖北有限公司 一种基于元数据的信息检索方法
CN104216888A (zh) * 2013-05-30 2014-12-17 中国电信股份有限公司 数据处理任务关系设置方法及系统

Also Published As

Publication number Publication date
CN110866007A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN108427705B (zh) 电子装置、分布式系统日志查询方法及存储介质
CN110795455B (zh) 依赖关系解析方法、电子装置、计算机设备及可读存储介质
CN110427368B (zh) 数据处理方法、装置、电子设备及存储介质
CN111061833B (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN110704521A (zh) 接口数据接入方法及系统
CN110457346B (zh) 数据查询方法、装置及计算机可读存储介质
CN111737227B (zh) 数据修改方法及系统
CN111563051A (zh) 基于爬虫的数据核验方法、装置、计算机设备及存储介质
CN112559354A (zh) 前端代码规范检测方法、装置、计算机设备及存储介质
CN109657177A (zh) 升级后页面的生成方法、装置、存储介质及计算机设备
CN110175157B (zh) 一种列存储文件的查询方法及查询装置
CN110866258A (zh) 快速定位漏洞方法、电子装置及存储介质
CN110866007B (zh) 大数据应用和表的信息管理方法、系统和计算机设备
CN113448862B (zh) 软件版本测试方法、装置及计算机设备
CN108415998B (zh) 应用依赖关系更新方法、终端、设备及存储介质
CN112328805A (zh) 基于nlp的漏洞描述信息与数据库表的实体映射方法
CN112416957A (zh) 基于数据模型层的数据增量更新方法、装置及计算机设备
CN112000692B (zh) 页面查询反馈方法、装置、计算机设备及可读存储介质
CN111984659B (zh) 数据更新方法、装置、计算机设备和存储介质
CN112363814A (zh) 任务调度方法、装置、计算机设备及存储介质
CN111967437A (zh) 文本识别方法、装置、设备及存储介质
CN112416648A (zh) 数据校验方法及装置
CN115310011A (zh) 页面展示方法、系统以及可读存储介质
CN114817152A (zh) 切片文件的查询方法与系统
CN112583761B (zh) 安全实体的管理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant