CN113535677B - 数据分析查询管理方法、装置、计算机设备及存储介质 - Google Patents

数据分析查询管理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113535677B
CN113535677B CN202110724031.1A CN202110724031A CN113535677B CN 113535677 B CN113535677 B CN 113535677B CN 202110724031 A CN202110724031 A CN 202110724031A CN 113535677 B CN113535677 B CN 113535677B
Authority
CN
China
Prior art keywords
data
analysis
authority
query
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110724031.1A
Other languages
English (en)
Other versions
CN113535677A (zh
Inventor
陈鹏
付成龙
高金星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Financial Leasing Co Ltd
Original Assignee
Ping An International Financial Leasing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Financial Leasing Co Ltd filed Critical Ping An International Financial Leasing Co Ltd
Priority to CN202110724031.1A priority Critical patent/CN113535677B/zh
Publication of CN113535677A publication Critical patent/CN113535677A/zh
Application granted granted Critical
Publication of CN113535677B publication Critical patent/CN113535677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据技术领域，公开了一种数据分析查询管理方法、装置、计算机设备及存储介质，包括：将至少一个权限注册表整合成权限库；根据分析请求在数据库中确定目标库，以及获取用户端在目标库的权限信息；基于权限信息，根据分析请求从目标库中获取目标数据，并对目标数据进行分析运算得到分析结果；根据数据查询请求确定目标库和用户端在目标库的权限信息；基于权限信息，根据数据查询请求从目标库中获取查询数据。本发明还涉及区块链技术，信息可存储于区块链节点中。本发明避免了需要频繁访问多个数据库，导致业务数据获取速率缓慢，效率低下的问题，并实现了自动的对多数据源的业务数据进行提取和分析的技术效果，提高了数据分析效率。

Description

数据分析查询管理方法、装置、计算机设备及存储介质
技术领域
本发明涉及大数据的数据处理技术领域，尤其涉及一种数据分析查询管理方法、装置、计算机设备及存储介质。
背景技术
用户端在分析和查询数据时，通常需要访问多个数据库方可获得完整准确的数据，并对其进行分析；然而各数据库的规则和类型不同，导致用户端需要从多个数据库中获取业务数据时，需要频繁访问所述多个数据库，并需要调用不同的数据提取方法从所述数据库中提取业务数据，导致业务数据获取速率缓慢，效率低下。又由于，当前的多数据源数据分析通常需要人工介入对数据进行提取和加工，不仅效率缓慢，而且分析的准确度低下。
发明内容
本发明的目的是提供一种数据分析查询管理方法、装置、计算机设备及存储介质，用于解决现有技术存在的因各数据库的规则和类型不同，导致用户端需要频繁访问所述多个数据库，并需要调用不同的数据提取方法提取业务数据，导致业务数据获取速率缓慢，效率低下，以及当前的多数据源数据分析因人工提取和加工，不仅效率缓慢，而且分析的准确度低下的问题。
为实现上述目的，本发明提供一种数据分析查询管理方法，包括：
获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库；其中，所述权限注册表定义了获取所述业务数据的权限等级，及记载了反映用户端权限等级的权限信息；
接收用户端发送的分析请求，根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述分析请求从所述目标库中获取目标数据，并对所述目标数据进行分析运算得到分析结果，将所述分析结果发送至所述用户端；
接收用户端发送的数据查询请求，根据所述数据查询请求确定目标库和所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端。
上述方案中，所述获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库的步骤，包括：
构建采集组件，将所述采集组件与至少一个数据库构建通信连接；
通过所述采集组件从至少一个数据库中获取业务数据和权限注册表；
提取所述权限注册表的来源名称和类型名称，根据所述来源名称和类型名称构建权限索引，将所述权限索引与至少一个所述权限注册表关联形成权限库；其中，所述来源名称为所述权限注册表所属数据库的名称，所述类型名称为所述权限注册表所述数据库中业务数据的类型的名称。
上述方案中，所述基于所述权限信息，根据所述分析请求从所述目标库中获取目标数据的步骤，包括：
识别所述目标库中与所述权限信息对应的业务数据并将其设为比较数据，提取所述分析请求中的取数信息，判断所有所述取数信息是否均为所述比较数据；
若所有所述取数信息均为所述比较数据，则根据所述取数信息从所述目标库中获取目标数据；
若部分所述取数信息为所述比较数据，则将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述目标库中获取目标数据；
若所有所述取数信息均不为所述比较数据，向所述用户端发送无权分析信息。
上述方案中，所述对所述目标数据进行分析运算得到分析结果，将所述分析结果发送至所述用户端的步骤，包括：
提取所述分析请求中的运算规则，并调用预置的输入缓存组件缓存所述目标数据；
调用预置的分析引擎运行所述运算规则，用以对所述目标数据进行分析运算得到请求分析结果；
将所述请求分析结果录入预置的输出队列组件，通过所述输出队列组件将所述请求分析结果发送至所述用户端。
上述方案中，所述将至少一个所述权限注册表整合成权限库之后，所述方法还包括：
对所述数据库中的业务数据进行批处理得到分析结果，通过所述权限库确定所述分析结果的权限信息，并将所述分析结果保存至预置的数据中心中。
上述方案中，所述基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端的步骤，包括：
识别所述目标库中与所述权限信息对应的业务数据并将其设为比较数据；提取所述查询请求中的取数信息，判断所有所述取数信息是否均为所述比较数据；
若所有所述取数信息均为所述比较数据，则根据所述取数信息从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端；
若部分所述取数信息为所述比较数据，则将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端；
若所有所述取数信息均不为所述比较数据，向所述用户端发送无权查询信息。
上述方案中，所述将所述分析结果保存至预置的数据中心中之后，所述方法还包括：
接收用户端发送的结果查询请求，并通过所述权限库确定所述用户端的权限信息；基于所述权限信息，根据所述结果查询请求从所述数据中心中获取分析结果，并将所述分析结果发送至所述用户端；
所述将所述分析结果发送至所述用户端之后，所述方法还包括：
将所述分析结果上传至区块链中。
为实现上述目的，本发明还提供一种数据分析查询管理装置，包括：
权限整合模块，用于获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库；其中，所述权限注册表定义了获取所述业务数据的权限等级，及记载了反映用户端权限等级的权限信息；
数据分析模块，用于接收用户端发送的分析请求，根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述分析请求从所述目标库中获取目标数据，并对所述目标数据进行分析运算得到分析结果，将所述分析结果发送至所述用户端；
数据查询模块，用于接收用户端发送的数据查询请求，根据所述数据查询请求确定目标库和所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端。
为实现上述目的，本发明还提供一种计算机设备，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机设备的处理器执行所述计算机程序时实现上述数据分析查询管理方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述可读存储介质存储的所述计算机程序被处理器执行时实现上述数据分析查询管理方法的步骤。
本发明提供的数据分析查询管理方法、装置、计算机设备及存储介质，通过获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库，确保了用户端仅需通过一个权限库，即可基于权限访问多个数据库，整合了多个数据库使用户端仅需进行统一的访问，即可从多个数据库中获取业务数据，避免了当前因各数据库的规则和类型不同，导致用户端需要从多个数据库中获取业务数据时，需要频繁访问所述多个数据库，并需要调用不同的数据提取方法从所述数据库中提取业务数据，导致业务数据获取速率缓慢，效率低下的问题发生。
通过根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息，以确保用户端的分析请求对业务数据的获取权限和分析权限，避免数据泄露；通过所述分析请求从所述目标库中获取目标数据，并对所述目标数据进行分析运算得到分析结果，实现自动的对多数据源的业务数据进行提取和分析的技术效果，而无需人工介入对数据进行提取和加工，提高了数据分析效率，以及数据分析的准确度和全面性。通过基于权限信息，根据所述数据查询请求从所述目标库中获取查询数据的方式，确保了各数据库的业务数据的安全性。
附图说明
图1为本发明数据分析查询管理方法实施例一的流程图；
图2为本发明数据分析查询管理方法实施例二中数据分析查询管理方法的环境应用示意图；
图3是本发明数据分析查询管理方法实施例二中数据分析查询管理方法的具体方法流程图；
图4为本发明数据分析查询管理装置实施例三的程序模块示意图；
图5为本发明计算机设备实施例四中计算机设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的数据分析查询管理方法、装置、计算机设备及存储介质，适用于大数据的数据处理技术领域，为提供一种基于权限整合模块、数据分析模块、数据查询模块的数据分析查询管理方法。本发明通过获取至少一个具有业务数据的数据库的权限注册表，将至少一个权限注册表整合成权限库；接收用户端发送的分析请求，根据分析请求在数据库中确定目标库，以及获取用户端在目标库的权限信息；基于权限信息，根据分析请求从目标库中获取目标数据，并对目标数据进行分析运算得到分析结果；接收用户端发送的数据查询请求，根据数据查询请求确定目标库和用户端在目标库的权限信息；基于权限信息，根据数据查询请求从目标库中获取查询数据。
实施例一：
请参阅图1，本实施例的一种数据分析查询管理方法，包括：
S101：获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库；其中，所述权限注册表定义了获取所述业务数据的权限等级，及记载了反映用户端权限等级的权限信息。
S102：接收用户端发送的分析请求，根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述分析请求从所述目标库中获取目标数据，并对所述目标数据进行分析运算得到分析结果，将所述分析结果发送至所述用户端。
S104：接收用户端发送的数据查询请求，根据所述数据查询请求确定目标库和所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端。
在示例性的实施例中，通过获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库，确保了用户端仅需通过一个权限库，即可基于权限访问多个数据库，整合了多个数据库使用户端仅需进行统一的访问，即可从多个数据库中获取业务数据，避免了当前因各数据库的规则和类型不同，导致用户端需要从多个数据库中获取业务数据时，需要频繁访问所述多个数据库，并需要调用不同的数据提取方法从所述数据库中提取业务数据，导致业务数据获取速率缓慢，效率低下的问题发生。
通过根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息，以确保用户端的分析请求对业务数据的获取权限和分析权限，避免数据泄露；通过所述分析请求从所述目标库中获取目标数据，并对所述目标数据进行分析运算得到分析结果，实现自动的对多数据源的业务数据进行提取和分析的技术效果，而无需人工介入对数据进行提取和加工，提高了数据分析效率，以及数据分析的准确度和全面性。
通过根据所述数据查询请求确定目标库和所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据的方式，确保了各数据库的业务数据的安全性。
实施例二：
本实施例为上述实施例一的一种具体应用场景，通过本实施例，能够更加清楚、具体地阐述本发明所提供的方法。
下面，以在运行有数据分析查询管理方法的服务器中，对其中的缓存器和数据库进行信息同步及返回口令识别基于权限信息根据分析请求从目标库中获取目标数据，并对目标数据进行分析运算得到分析结果，以及根据数据查询请求从目标库中获取查询数据为例，来对本实施例提供的方法进行具体说明。需要说明的是，本实施例只是示例性的，并不限制本发明实施例所保护的范围。
图2示意性示出了根据本申请实施例二的数据分析查询管理方法的环境应用示意图。
在示例性的实施例中，数据分析查询管理方法所在的服务器2通过网络分别连接数据库3和用户端4；所述服务器2可以通过一个或多个网络提供服务，网络可以包括各种网络设备，例如路由器，交换机，多路复用器，集线器，调制解调器，网桥，中继器，防火墙，代理设备和/或等等。网络可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，它们的组合和/或类似物。网络可以包括无线链路，例如蜂窝链路，卫星链路，Wi-Fi链路和/或类似物；所述用户端4可为智能手机、平板电脑、笔记本电脑、台式电脑等计算机设备。
图3是本发明一个实施例提供的一种数据分析查询管理方法的具体方法流程图，该方法具体包括步骤S201至S205。
S201：获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库；其中，所述权限注册表定义了获取所述业务数据的权限等级，及记载了反映用户端权限等级的权限信息。
为整合多个数据库使用户端仅需进行统一的访问，即可从多个数据库中获取业务数据，避免了当前因各数据库的规则和类型不同，导致用户端需要从多个数据库中获取业务数据时，需要频繁访问所述多个数据库，并需要调用不同的数据提取方法从所述数据库中提取业务数据，导致业务数据获取速率缓慢，效率低下的问题发生。
在一个优选的实施例中，所述获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库的步骤，包括：
S11：构建采集组件，将所述采集组件与至少一个数据库构建通信连接；
本步骤中，所述采集组件包括：
离线同步工具，用于使运行有数据采集分析管理方法的服务器与所述数据库之间实现数据同步，进而实现异构数据源之间稳定高效的数据同步。其中，所述离线同步工具为DataX，DataX是一种异构数据源离线同步工具，用于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX本身作为离线数据同步框架，采用Framework+plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。
ETL工具，用于实现对数据库中的业务数据进行抽取和转换处理、并将处理后的业务数据加载至运行有数据采集分析管理方法的服务器中的技术效果，其中，ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。所述ETL工具为Kettle，所述Kettle是一种开源的ETL工具，全称为KDEExtraction,Transportation,Transformation and Loading Environment。
数据传递工具，用于将关系型数据库中的业务数据传导进运行有数据采集分析管理方法的服务器，其中，所述数据传递工具为Sqoop，所述Sqoop是一种用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如：MySQL,Oracle,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中的工具。
数据收集工具，用于收集数据库中的业务数据并将其加载到运行有数据采集分析管理方法的服务器，并且还用于对数据库中的业务数据进行定制化收集和处理。其中，所述数据收集工具为Flume，所述Flume是一种高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。
S12：通过所述采集组件从至少一个数据库中获取业务数据和权限注册表；
本步骤中，所述权限注册表中定义了获取所述业务数据的权限等级，并且记载了反映用户端权限等级的权限信息。
S13：提取所述权限注册表的来源名称和类型名称，根据所述来源名称和类型名称构建权限索引，将所述权限索引与至少一个所述权限注册表关联形成权限库；其中，所述来源名称为所述权限注册表所属数据库的名称，所述类型名称为所述权限注册表所述数据库中业务数据的类型的名称。
本步骤中，构建以类型名称为一级索引，以来源名称为二级索引构建权限索引，通过将类型名称作为一级索引并将来源名称作为二级索引，以便于根据分析请求和查询请求所需业务数据的类型，获得保存有所述类型对应的业务数据的数据库的权限注册表，以便于分析请求和查询请求的权限识别操作。
将所述二级索引中的来源名称与数据库通过超链接进行关联，使运行有数据采集分析管理方法的服务器，仅通过调用所述二级索引即可访问相应的权限注册表，提高了权限注册表的获取和使用的效率。
S202：接收用户端发送的分析请求，根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述分析请求从所述目标库中获取目标数据，并对所述目标数据进行分析运算得到分析结果，将所述分析结果发送至所述用户端。
为避免无权获取业务数据并对其进行分析的用户端，获取并分析所述业务数据导致数据泄露，本步骤通过根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息，以确保用户端的分析请求对业务数据的获取权限和分析权限，避免数据泄露。
为实现能够从至少一个数据库中获取业务数据并综合分析，得到基于多数据源的数据分析技术效果，本步骤通过根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息，以确保用户端的分析请求对业务数据的获取权限和分析权限，避免数据泄露；通过所述分析请求从所述目标库中获取目标数据，并对所述目标数据进行分析运算得到分析结果，实现自动的对多数据源的业务数据进行提取和分析的技术效果，而无需人工介入对数据进行提取和加工，提高了数据分析效率，以及数据分析的准确度和全面性。
在一个优选的实施例中，所述根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息的步骤，包括：
S21：提取所述分析请求中的取数信息，从所述权限库中识别与所述取数信息对应的权限注册表，并将与所述权限注册表对应的数据库设为目标库；
本步骤中，所述分析请求包括取数信息，所述取数信息是所述分析请求所需的业务数据的描述信息，其包括取数名称和取数类型，所述取数类型用于表征所述取数名称对应业务数据的类型。
具体地，所述从所述权限库中识别具有所述取数信息的权限注册表的步骤，包括：提取所述取数信息的数据类型；从所述权限库中获取权限索引，识别与所述数据类型对应的一级索引并将所述一级索引设为一级目标索引，并将所述一级目标索引下的二级索引设为二级目标索引；将与所述二级目标索引关联的权限注册表设为与所述取数信息对应的权限注册表，并将所述权限注册表所属的数据库设为所述目标库。
S22：提取所述分析请求中的身份信息，识别所述权限注册表中与所述身份信息对应的权限信息，并将其设为所述用户端在所述目标库的权限信息。
本步骤中，所述目标库的权限注册表中记载有身份信息和与所述身份信息对应的权限信息，根据所述分析请求的身份信息从所述权限注册表中获取与所述身份信息对应的权限信息，该权限信息反映了所述身份信息的权限等级，所述权限等级表征了所述身份信息对应的用户端在所述目标库获取业务数据的权限，进而避免了无权获取业务数据的用户端获取越权的业务数据，保证了数据库的数据安全，避免了数据泄露。
在一个优选的实施例中，所述基于所述权限信息，根据所述分析请求从所述目标库中获取目标数据的步骤，包括：
S23：识别所述目标库中与所述权限信息对应的业务数据并将其设为比较数据，提取所述分析请求中的取数信息，判断所有所述取数信息是否均为所述比较数据。
本步骤中，为确保获取的目标数据符合用户端的权限的，通过与权限信息对应的权限等级获取与所述权限等级对应的业务数据，并将该业务数据设为比较数据，实现锁定与权限信息对应的业务数据的技术效果，使后续获取目标数据的操作不会超出比较数据的范围，实现数据锁定的技术效果。所述取数信息是指所述查询请求需要获取的业务数据的名称。
S24：若所有所述取数信息均为所述比较数据，则根据所述取数信息从所述目标库中获取目标数据；
本步骤中，对于分析请求所需的业务数据均为比较数据的情况，这说明分析请求的需求均符合用户端的权限等级的，此时，仅需通过取数信息获取目标数据，并通过所述运算规则运算所述目标数据得到分析结果即可。
S25：若部分所述取数信息为所述比较数据，则将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述目标库中获取目标数据。
本步骤中，对于分析请求中所需的业务数据部分为比较数据，部分不为比较数据的情况，为兼顾数据安全以及用户端请求返回的可靠性，通过将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述目标库中获取目标数据，并通过所述运算规则对所述目标数据进行分析运算得到分析结果，并将所述分析结果发送至所述用户端。
S26：若所有所述取数信息均不为所述比较数据，向所述用户端发送无权分析信息。
本步骤中，对于分析请求中所需的业务数据均不为比较数据的情况，通过向用户端发送无权分析信息，以保证数据安全。
在一个优选的实施例中，所述对所述目标数据进行分析运算得到分析结果，将所述分析结果发送至所述用户端的步骤，包括：
S27：提取所述分析请求中的运算规则，并调用预置的输入缓存组件缓存所述目标数据。
本步骤中，所述运算规则是预置在分析请求中用于对取数信息进行分析运算的计算机规则；所述输入缓存组件可为kafka、或kudu、或redis；
所述kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据，其通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
所述Kudu是一种新型列式存储系统，用于对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺，其在更新更及时的基础上实现更快的数据分析；
所述redis是一中高性能的key-value数据库，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。
S28：调用预置的分析引擎运行所述运算规则，用以对所述目标数据进行分析运算得到请求分析结果。
本步骤中，所述分析引擎包括Apache Flink组件、SparkStreaming组件和Impala组件；
通过Apache Flink组件实现对输入缓存组件中的目标数据实现批处理，进而提高目标数据的分析运算效率；
如果运算规则是计算目标数据得到指定的运算结果，则调用Apache Flink组件和SparkStreaming组件，对目标数据进行批量实时处理，用以得到所述分析结果。
如果运算规则是查询目标数据中的指定数据并汇总得到指定的汇总结果，则调用Apache Flink组件和Impala组件，对目标数据中的指定数据进行查询处理得到指定数据，汇总所述指定数据得到所述分析结果。
需要说明的是，Apache Flink是一种开源流处理框架，核心是用Java和Scala编写的分布式流数据流引擎，其以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。
SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的，具备容错机制的实时流数据处理，支持多种数据源获取数据，其通过接收Kafka、Flume、HDFS等各种来源的实时输入数据，进行处理后，处理结构保存在HDFS、DataBase等各种地方。
Impala是一种新型查询系统，其提供SQL语义，用于查询存储在Hadoop的HDFS和HBase中的PB级大数据。
S29：将所述请求分析结果录入预置的输出队列组件，通过所述输出队列组件将所述请求分析结果发送至所述用户端。
本步骤中，采用MQ作为输出队列组件，其中，所述MQ是消息队列，其为是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。
S203：对所述数据库中的业务数据进行批处理得到分析结果，通过所述权限库确定所述分析结果的权限信息，并将所述分析结果保存至预置的数据中心中。
为深度挖掘数据库中的业务数据，并最终得到经深度分析的分析结果，以扩展获得业务数据的深度含义，本步骤通过对所述数据库中的业务数据进行批处理得到分析结果，用以实现对业务数据的深度挖掘。
为避免深度挖掘的分析结果被不具备访问权限的用户端获得，导致数据泄露，本步骤通过所述权限库确定所述分析结果的权限信息，并将所述分析结果保存至所述数据中心中。
在一个优选的实施例中，所述对所述数据库中的业务数据进行批处理得到分析结果，通过所述权限库确定所述分析结果的权限信息，并将所述分析结果保存至预置的数据中心中的步骤，包括：
S31：通过预置的调度系统安装离线分析引擎。
本步骤中，所述调度系统是用于构建计算机运算引擎以及基于所述运算引擎构建作业流的数据调度模型，于本实施例中，采用Control-M作为所述调度系统，Control-M是一个跨平台的批量作业调度管理软件，采用C/S模式，在服务器上安装Enterprise Manager和服务器，在被控主机上安装agent(代理程序，于本申请中即为所述离线分析引擎),agent可以在主机上提交由Control-M定义好的作业流，并返回运行结果。在Enterprise Manager上面则可以全面监视所有批量作业的运行情况，可以有多种方式控制job的运行条件和过程干预。
进一步地，安装的离线分析引擎是由hive组件、Apache Spark组件和Kylin组件组合形成的计算机模块作为所述离线分析引擎；其中，Hive组件是一种基于Hadoop的一个数据仓库工具，用于通过对数据提取、转化、加载处理，实现数据的存储、查询和分析的数据处理机制。所述Hive组件还用于将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
Apache Spark组件是针对大规模数据处理所设计的快速通用的计算引擎，其为类Hadoop MapReduce的通用并行框架，广泛应用于数据挖掘与机器学习。
Kylin组件用于解决大数据系统中TB级别数据的数据分析需求，它提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据，它能在亚秒内查询巨大的Hive表。其核心是预计算，计算结果存在HBase中。
S32：通过预置的离线规则定义所述离线分析引擎的作业流。
本步骤中，所述作业流是描述根据所述离线规则制定的作业集合的启动、终止条件，以及其中每个作业的具体操作内容的计算机流程。
所述离线规则包括：数据血缘规则、数据标签规则和元数据管理规则，
其中，所述数据血缘规则是用于梳理业务数据之间数据血缘关系的计算机规则，所述数据血缘关系是指数据在产生、处理、流转到消亡过程中，数据之间形成的一种类似于人类社会血缘关系的关系。
所述数据标签规则是用于对业务数据所属类别进行分类标注的计算机规则，所述分类标注，一般是从既定的标签中选择业务数据对应的标签。例如：一个描述自然人的业务数据的可以有很多分类/标签：成人、女、黄种人、长发。
所述元数据管理规则是用于提取业务数据中的元数据，并对其进行汇总的计算机规则；其中，所述元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(dataabout data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
S33：通过所述离线分析引擎根据所述作业流获取所述数据库中的业务数据，并对所述业务数据进行分析运算得到分析结果。
本步骤中，通过离线分析引擎的hive组件从数据库中获取业务数据，通过ApacheSpark组件执行所述数据血缘规则所对应的作业流，用以对所述业务数据进行数据血缘挖掘运算并得到分析结果。Kylin组件执行数据标签规则和元数据管理规则对应的作业流，用以对所述业务数据进行分类标注处理和元数据提取及汇总处理得到分析结果。
S34：获取所述业务数据的权限等级，将所述权限等级对应的权限信息与所述分析结果关联，并将所述分析结果保存在预置的数据中心中。
本步骤中，通过权限注册表获取业务数据的权限等级，并根据所述权限等级获取反映用户端权限等级的权限信息，构建所述权限信息和所述分析结果之间的权限映射表，实现所述权限信息和所述分析结果的关联。
S204：接收用户端发送的数据查询请求，根据所述数据查询请求确定目标库和所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端。
为确保数据库的业务数据安全性，本步骤通过根据所述数据查询请求确定目标库和所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据的方式，确保了各数据库的业务数据的安全性。
在一个优选的实施例中，所述根据所述数据查询请求确定目标库和所述用户端在所述目标库的权限信息的步骤，包括：
S41：提取所述查询请求中的取数信息，从所述权限库中识别具有所述取数信息的权限注册表，并将与所述权限注册表对应的数据库设为目标库；
本步骤中，所述查询请求包括取数信息，所述取数信息是所述查询请求所需的业务数据的描述信息，其包括取数名称和取数类型，所述取数类型用于表征所述取数名称对应业务数据的类型。
具体地，所述从所述权限库中识别具有所述取数信息的权限注册表的步骤，包括：提取所述取数信息的数据类型；从所述权限库中获取权限索引，识别与所述数据类型对应的一级索引并将所述一级索引设为一级目标索引，并将所述一级目标索引下的二级索引设为二级目标索引；将与所述二级目标索引关联的权限注册表设为与所述取数信息对应的权限注册表，并将所述权限注册表所属的数据库设为所述目标库。
S42：提取所述查询请求中的身份信息，识别所述权限注册表中与所述身份信息对应的权限信息，并将其设为所述用户端在所述目标库的权限信息。
本步骤中，所述目标库的权限注册表中记载有身份信息和与所述身份信息对应的权限信息，根据所述查询请求的身份信息从所述权限注册表中获取与所述身份信息对应的权限信息，该权限信息反映了所述身份信息的权限等级，所述权限等级表征了所述身份信息对应的用户端在所述目标库获取业务数据的权限，进而避免了无权获取业务数据的用户端获取越权的业务数据，保证了数据库的数据安全，避免了数据泄露。
在一个优选的实施例中，所述基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端的步骤，包括：
S43：识别所述目标库中与所述权限信息对应的业务数据并将其设为比较数据；提取所述查询请求中的取数信息，判断所有所述取数信息是否均为所述比较数据。
本步骤中，为确保获取的查询数据符合用户端的权限的，通过与权限信息对应的权限等级获取与所述权限等级对应的业务数据，并将该业务数据设为比较数据，实现锁定与权限信息对应的业务数据的技术效果，使后续获取查询数据的操作不会超出比较数据的范围，实现数据锁定的技术效果。所述取数信息是指所述查询请求需要获取的业务数据的名称。
S44：若所有所述取数信息均为所述比较数据，则根据所述取数信息从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端。
本步骤中，对于查询请求所需的业务数据均为比较数据的情况，这说明查询请求的需求均符合用户端的权限等级的，此时，仅需通过取数信息获取目标数据，并通过所述运算规则运算所述目标数据得到查询结果即可。
S45：若部分所述取数信息为所述比较数据，则将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端。
本步骤中，对于查询请求中所需的业务数据部分为比较数据，部分不为比较数据的情况，为兼顾数据安全以及用户端请求返回的可靠性，通过将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述目标库中获取目标数据，并通过所述运算规则对所述目标数据进行查询运算得到查询结果，并将所述查询结果发送至所述用户端。
S46：若所有所述取数信息均不为所述比较数据，向所述用户端发送无权查询信息。
本步骤中，对于查询请求中所需的业务数据均不为比较数据的情况，通过向用户端发送无权查询信息，以保证数据安全。
S205：接收用户端发送的结果查询请求，并通过所述权限库确定所述用户端的权限信息；基于所述权限信息，根据所述结果查询请求从所述数据中心中获取分析结果，并将所述分析结果发送至所述用户端。
为确保数据中心的分析结果安全性，本步骤通过根据所述数据查询请求确定目标中心和所述用户端在所述目标中心的权限信息；基于所述权限信息，根据所述数据查询请求从所述目标中心中获取查询结果的方式，确保了各数据中心的分析结果的安全性。
在一个优选的实施例中，所述根据所述数据查询请求确定目标中心和所述用户端在所述目标中心的权限信息的步骤，包括：
S51：提取所述查询请求中的取数信息，并获取具有所述取数信息的权限注册表。
本步骤中，所述查询请求包括取数信息，所述取数信息是所述查询请求所需的分析结果的描述信息，其包括取数名称和取数类型，所述取数类型用于表征所述取数名称对应分析结果的类型。
具体地，所述从所述权限库中识别具有所述取数信息的权限注册表的步骤，包括：提取所述取数信息的数据类型；从所述权限库中获取权限索引，识别与所述数据类型对应的一级索引并将所述一级索引设为一级目标索引，并将所述一级目标索引下的二级索引设为二级目标索引；将与所述二级目标索引关联的权限注册表设为与所述取数信息对应的权限注册表，并将所述权限注册表所属的数据中心设为所述数据中心。
S52：提取所述查询请求中的身份信息，识别所述权限注册表中与所述身份信息对应的权限信息，并将其设为所述用户端在所述数据中心的权限信息。
本步骤中，所述数据中心的权限注册表中记载有身份信息和与所述身份信息对应的权限信息，根据所述查询请求的身份信息从所述权限注册表中获取与所述身份信息对应的权限信息，该权限信息反映了所述身份信息的权限等级，所述权限等级表征了所述身份信息对应的用户端在所述数据中心获取分析结果的权限，进而避免了无权获取分析结果的用户端获取越权的分析结果，保证了数据中心的数据安全，避免了数据泄露。
在一个优选的实施例中，所述基于所述权限信息，根据所述数据查询请求从所述数据中心中获取查询结果，并将所述查询结果发送至所述用户端的步骤，包括：
S53：识别所述数据中心中与所述权限信息对应的分析结果并将其设为比较数据；提取所述查询请求中的取数信息，判断所有所述取数信息是否均为所述比较数据。
本步骤中，为确保获取的查询结果符合用户端的权限的，通过与权限信息对应的权限等级获取与所述权限等级对应的分析结果，并将该分析结果设为比较数据，实现锁定与权限信息对应的分析结果的技术效果，使后续获取查询结果的操作不会超出比较数据的范围，实现数据锁定的技术效果。所述取数信息是指所述查询请求需要获取的分析结果的名称。
S54：若所有所述取数信息均为所述比较数据，则根据所述取数信息从所述数据中心中获取查询结果，并将所述查询结果发送至所述用户端。
本步骤中，对于查询请求所需的分析结果均为比较数据的情况，这说明查询请求的需求均符合用户端的权限等级的，此时，仅需通过取数信息获取目标数据，并通过所述运算规则运算所述目标数据得到查询结果即可。
S55：若部分所述取数信息为所述比较数据，则将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述数据中心中获取查询结果，并将所述查询结果发送至所述用户端。
本步骤中，对于查询请求中所需的分析结果部分为比较数据，部分不为比较数据的情况，为兼顾数据安全以及用户端请求返回的可靠性，通过将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述数据中心中获取目标数据，并通过所述运算规则对所述目标数据进行查询运算得到查询结果，并将所述查询结果发送至所述用户端。
S56：若所有所述取数信息均不为所述比较数据，向所述用户端发送无权查询信息。
本步骤中，对于查询请求中所需的分析结果均不为比较数据的情况，通过向用户端发送无权查询信息，以保证数据安全。
优选的，所述将所述分析结果发送至所述用户端之后，所述方法还包括：
将所述分析结果上传至区块链中。
基于分析结果得到对应的摘要信息，具体来说，摘要信息由分析结果进行散列处理得到，比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息，以便查证分析结果是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
实施例三：
请参阅图4，本实施例的一种数据分析查询管理装置1，包括：
权限整合模块11，用于获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库；其中，所述权限注册表定义了获取所述业务数据的权限等级，及记载了反映用户端权限等级的权限信息；
数据分析模块12，用于接收用户端发送的分析请求，根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述分析请求从所述目标库中获取目标数据，并对所述目标数据进行分析运算得到分析结果，将所述分析结果发送至所述用户端；
数据查询模块14，用于接收用户端发送的数据查询请求，根据所述数据查询请求确定目标库和所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端。
可选的，所述权限整合模块11还包括：
组件连接单元111，用于构建采集组件，将所述采集组件与至少一个数据库构建通信连接；
信息获取单元112，用于通过所述采集组件从至少一个数据库中获取业务数据和权限注册表；
权限库构建单元113，用于提取所述权限注册表的来源名称和类型名称，根据所述来源名称和类型名称构建权限索引，将所述权限索引与至少一个所述权限注册表关联形成权限库；其中，所述来源名称为所述权限注册表所属数据库的名称，所述类型名称为所述权限注册表所述数据库中业务数据的类型的名称。
可选的，所述数据分析模块12还包括：
分析目标识别单元121，用于提取所述分析请求中的取数信息，从所述权限库中识别与所述取数信息对应的权限注册表，并将与所述权限注册表对应的数据库设为目标库；
分析权限识别单元122，用于提取所述分析请求中的身份信息，识别所述权限注册表中与所述身份信息对应的权限信息，并将其设为所述用户端在所述目标库的权限信息。
分析比较单元123，用于识别所述目标库中与所述权限信息对应的业务数据并将其设为比较数据，提取所述分析请求中的取数信息，判断所有所述取数信息是否均为所述比较数据；
全面分析输出单元124，用于在所有所述取数信息均为所述比较数据时，根据所述取数信息从所述目标库中获取目标数据；
部分分析输出单元125，用于在部分所述取数信息为所述比较数据时，将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述目标库中获取目标数据；
无权分析输出单元126，用于在所有所述取数信息均不为所述比较数据时，向所述用户端发送无权分析信息；
规则及数据处理单元127，用于提取所述分析请求中的运算规则，并调用预置的输入缓存组件缓存所述目标数据；
在线数据运算单元128，用于调用预置的分析引擎运行所述运算规则，用以对所述目标数据进行分析运算得到请求分析结果；
数据输出单元129，用于将所述请求分析结果录入预置的输出队列组件，通过所述输出队列组件将所述请求分析结果发送至所述用户端。
可选的，所述数据分析查询管理装置1还包括：
批处理模块13，用于对所述数据库中的业务数据进行批处理得到分析结果，通过所述权限库确定所述分析结果的权限信息，并将所述分析结果保存至预置的数据中心中。
可选的，所述批处理模块13还包括：
引擎安装单元131，用于通过预置的调度系统安装离线分析引擎；
作业流定义单元132，用于通过预置的离线规则定义所述离线分析引擎的作业流；
离线数据运算单元133，用于通过所述离线分析引擎根据所述作业流获取所述数据库中的业务数据，并对所述业务数据进行分析运算得到分析结果；
结果权限关联单元134，用于获取所述业务数据的权限等级，将所述权限等级对应的权限信息与所述分析结果关联，并将所述分析结果保存在预置的数据中心中。
可选的，所述数据查询模块14还包括：
查询目标识别单元141，用于提取所述查询请求中的取数信息，从所述权限库中识别具有所述取数信息的权限注册表，并将与所述权限注册表对应的数据库设为目标库；
查询权限识别单元142，用于提取所述查询请求中的身份信息，识别所述权限注册表中与所述身份信息对应的权限信息，并将其设为所述用户端在所述目标库的权限信息；
查询比较单元143，用于识别所述目标库中与所述权限信息对应的业务数据并将其设为比较数据；提取所述查询请求中的取数信息，判断所有所述取数信息是否均为所述比较数据；
全面查询输出单元144，用于在所有所述取数信息均为所述比较数据时，根据所述取数信息从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端；
部分查询输出单元145，用于在部分所述取数信息为所述比较数据时，将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端。
无权查询输出单元146，用于在所有所述取数信息均不为所述比较数据时，向所述用户端发送无权查询信息。
可选的，所述数据分析查询管理装置1还包括：
结果查询模块15，用于接收用户端发送的结果查询请求，并通过所述权限库确定所述用户端的权限信息；基于所述权限信息，根据所述结果查询请求从所述数据中心中获取分析结果，并将所述分析结果发送至所述用户端。
可选的，所述结果查询模块15还包括：
结果权限获取单元151，用于提取所述查询请求中的取数信息，并获取具有所述取数信息的权限注册表；
结果权限识别单元152，用于提取所述查询请求中的身份信息，识别所述权限注册表中与所述身份信息对应的权限信息，并将其设为所述用户端在所述数据中心的权限信息；
结果比较单元153，用于识别所述数据中心中与所述权限信息对应的分析结果并将其设为比较数据；提取所述查询请求中的取数信息，判断所有所述取数信息是否均为所述比较数据；
全面结果输出单元154，用于在所有所述取数信息均为所述比较数据时，根据所述取数信息从所述数据中心中获取查询结果，并将所述查询结果发送至所述用户端。
部分结果输出单元155，用于在部分所述取数信息为所述比较数据时，将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述数据中心中获取查询结果，并将所述查询结果发送至所述用户端。
无权结果输出单元156，用于在所有所述取数信息均不为所述比较数据时，向所述用户端发送无权查询信息。
本技术方案应用于大数据的数据处理领域，通过获取至少一个具有业务数据的数据库的权限注册表，将至少一个权限注册表整合成权限库；接收用户端发送的分析请求，根据分析请求在数据库中确定目标库，以及获取用户端在目标库的权限信息；基于权限信息，根据分析请求从目标库中获取目标数据，并对目标数据进行分析运算得到分析结果；接收用户端发送的数据查询请求，根据数据查询请求确定目标库和用户端在目标库的权限信息；基于权限信息，根据数据查询请求对所述目标库中的业务数据进行遍历查询得到查询数据。
实施例四：
为实现上述目的，本发明还提供一种计算机设备5，实施例三的数据分析查询管理装置的组成部分可分散于不同的计算机设备中，计算机设备5可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个应用服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器51、处理器52，如图5所示。需要指出的是，图5仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器51(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器51可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器51也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器51还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器51通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例三的数据分析查询管理装置的程序代码等。此外，存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器52在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器52通常用于控制计算机设备的总体操作。本实施例中，处理器52用于运行存储器51中存储的程序代码或者处理数据，例如运行数据分析查询管理装置，以实现实施例一和实施例二的数据分析查询管理方法。
实施例五：
为实现上述目的，本发明还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器52执行时实现相应功能。本实施例的计算机可读存储介质用于存储实现所述数据分析查询管理方法的计算机程序，被处理器52执行时实现实施例一和实施例二的数据分析查询管理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种数据分析查询管理方法，其特征在于，包括：
获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库；其中，所述权限注册表定义了获取所述业务数据的权限等级，及记载了反映用户端权限等级的权限信息；
接收用户端发送的分析请求，根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述分析请求从所述目标库中获取目标数据，并对所述目标数据进行分析运算得到分析结果，将所述分析结果发送至所述用户端；
接收用户端发送的数据查询请求，根据所述数据查询请求确定目标库和所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端；
通过预置的调度系统安装离线分析引擎，其中，所述调度系统是用于构建计算机运算引擎以及基于所述运算引擎构建作业流的数据调度模型；离线分析引擎用于对数据提取、转化、加载处理，实现数据的存储、查询和分析，并用于数据挖掘与机器学习，所述离线分析引擎还用于提供SQL查询接口及多维分析能力；
通过预置的离线规则定义所述离线分析引擎的作业流；其中，所述作业流是描述根据所述离线规则制定的作业集合的启动、终止条件，以及其中每个作业的具体操作内容的计算机流程；所述离线规则包括：数据血缘规则、数据标签规则和元数据管理规则；
通过所述离线分析引擎根据所述作业流获取所述数据库中的业务数据，并对所述业务数据进行分析运算得到分析结果；
获取所述业务数据的权限等级，将所述权限等级对应的权限信息与所述分析结果关联，并将所述分析结果保存在预置的数据中心中。
2.根据权利要求1所述的数据分析查询管理方法，其特征在于，所述获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库的步骤，包括：
构建采集组件，将所述采集组件与至少一个数据库构建通信连接；
通过所述采集组件从至少一个数据库中获取业务数据和权限注册表；
提取所述权限注册表的来源名称和类型名称，根据所述来源名称和类型名称构建权限索引，将所述权限索引与至少一个所述权限注册表关联形成权限库；其中，所述来源名称为所述权限注册表所属数据库的名称，所述类型名称为所述权限注册表所述数据库中业务数据的类型的名称。
3.根据权利要求1所述的数据分析查询管理方法，其特征在于，所述基于所述权限信息，根据所述分析请求从所述目标库中获取目标数据的步骤，包括：
识别所述目标库中与所述权限信息对应的业务数据并将其设为比较数据，提取所述分析请求中的取数信息，判断所有所述取数信息是否均为所述比较数据；
若所有所述取数信息均为所述比较数据，则根据所述取数信息从所述目标库中获取目标数据；
若部分所述取数信息为所述比较数据，则将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述目标库中获取目标数据；
若所有所述取数信息均不为所述比较数据，向所述用户端发送无权分析信息。
4.根据权利要求1所述的数据分析查询管理方法，其特征在于，所述对所述目标数据进行分析运算得到分析结果，将所述分析结果发送至所述用户端的步骤，包括：
提取所述分析请求中的运算规则，并调用预置的输入缓存组件缓存所述目标数据；
调用预置的分析引擎运行所述运算规则，用以对所述目标数据进行分析运算得到请求分析结果；
将所述请求分析结果录入预置的输出队列组件，通过所述输出队列组件将所述请求分析结果发送至所述用户端。
5.根据权利要求1所述的数据分析查询管理方法，其特征在于，所述基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端的步骤，包括：
识别所述目标库中与所述权限信息对应的业务数据并将其设为比较数据；提取所述查询请求中的取数信息，判断所有所述取数信息是否均为所述比较数据；
若所有所述取数信息均为所述比较数据，则根据所述取数信息从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端；
若部分所述取数信息为所述比较数据，则将属于所述比较数据的取数信息设为取数目标，根据所述取数目标从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端；
若所有所述取数信息均不为所述比较数据，向所述用户端发送无权查询信息。
6.根据权利要求1所述的数据分析查询管理方法，其特征在于，所述将所述分析结果保存至预置的数据中心中之后，所述方法还包括：
接收用户端发送的结果查询请求，并通过所述权限库确定所述用户端的权限信息；基于所述权限信息，根据所述结果查询请求从所述数据中心中获取分析结果，并将所述分析结果发送至所述用户端；
所述将所述分析结果发送至所述用户端之后，所述方法还包括：
将所述分析结果上传至区块链中。
7.一种数据分析查询管理装置，其特征在于，包括：
权限整合模块，用于获取至少一个具有业务数据的数据库的权限注册表，将至少一个所述权限注册表整合成权限库；其中，所述权限注册表定义了获取所述业务数据的权限等级，及记载了反映用户端权限等级的权限信息；
数据分析模块，用于接收用户端发送的分析请求，根据所述分析请求在所述数据库中确定目标库，以及获取所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述分析请求从所述目标库中获取目标数据，并对所述目标数据进行分析运算得到分析结果，将所述分析结果发送至所述用户端；
数据查询模块，用于接收用户端发送的数据查询请求，根据所述数据查询请求确定目标库和所述用户端在所述目标库的权限信息；基于所述权限信息，根据所述数据查询请求从所述目标库中获取查询数据，并将所述查询数据发送至所述用户端；
批处理模块，所述批处理模块包括：
引擎安装单元，用于通过预置的调度系统安装离线分析引擎；其中，所述调度系统是用于构建计算机运算引擎以及基于所述运算引擎构建作业流的数据调度模型；离线分析引擎用于对数据提取、转化、加载处理，实现数据的存储、查询和分析，并用于数据挖掘与机器学习，所述离线分析引擎还用于提供SQL查询接口及多维分析能力；
作业流定义单元，用于通过预置的离线规则定义所述离线分析引擎的作业流；其中，所述作业流是描述根据所述离线规则制定的作业集合的启动、终止条件，以及其中每个作业的具体操作内容的计算机流程；所述离线规则包括：数据血缘规则、数据标签规则和元数据管理规则；
离线数据运算单元，用于通过所述离线分析引擎根据所述作业流获取所述数据库中的业务数据，并对所述业务数据进行分析运算得到分析结果；
结果权限关联单元，用于获取所述业务数据的权限等级，将所述权限等级对应的权限信息与所述分析结果关联，并将所述分析结果保存在预置的数据中心中。
8.一种计算机设备，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机设备的处理器执行所述计算机程序时实现权利要求1至6任一项所述数据分析查询管理方法的步骤。
9.一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，其特征在于，所述可读存储介质存储的所述计算机程序被处理器执行时实现权利要求1至6任一项所述数据分析查询管理方法的步骤。
CN202110724031.1A 2021-06-29 2021-06-29 数据分析查询管理方法、装置、计算机设备及存储介质 Active CN113535677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110724031.1A CN113535677B (zh) 2021-06-29 2021-06-29 数据分析查询管理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110724031.1A CN113535677B (zh) 2021-06-29 2021-06-29 数据分析查询管理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113535677A CN113535677A (zh) 2021-10-22
CN113535677B true CN113535677B (zh) 2024-04-02

Family

ID=78126097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110724031.1A Active CN113535677B (zh) 2021-06-29 2021-06-29 数据分析查询管理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113535677B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114064662B (zh) * 2022-01-13 2022-05-03 北京中交兴路信息科技有限公司 查询数据的方法、装置、电子设备及介质
CN114281849B (zh) * 2022-03-02 2022-06-03 北京新唐思创教育科技有限公司 数据查询方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091099A (ja) * 2003-09-16 2005-04-07 Shimadzu Corp 機器分析用データ管理システム
KR20080035144A (ko) * 2006-10-18 2008-04-23 주식회사 케이티프리텔 데이터베이스 접속 통제 방법 및 시스템
CN111427972A (zh) * 2020-03-25 2020-07-17 广东电网有限责任公司广州供电局 搜索业务数据的方法、装置、业务搜索系统和存储介质
WO2021000671A1 (zh) * 2019-07-03 2021-01-07 平安科技（深圳）有限公司 数据库的查询方法、装置、服务器及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177862B2 (en) * 2002-03-28 2007-02-13 International Business Machines Corporation Method and structure for federated web service discovery search over multiple registries with result aggregation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091099A (ja) * 2003-09-16 2005-04-07 Shimadzu Corp 機器分析用データ管理システム
KR20080035144A (ko) * 2006-10-18 2008-04-23 주식회사 케이티프리텔 데이터베이스 접속 통제 방법 및 시스템
WO2021000671A1 (zh) * 2019-07-03 2021-01-07 平安科技（深圳）有限公司 数据库的查询方法、装置、服务器及介质
CN111427972A (zh) * 2020-03-25 2020-07-17 广东电网有限责任公司广州供电局 搜索业务数据的方法、装置、业务搜索系统和存储介质

Also Published As

Publication number Publication date
CN113535677A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
US11544623B2 (en) Consistent filtering of machine learning data
US10560465B2 (en) Real time anomaly detection for data streams
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
CN112162965B (zh) 一种日志数据处理的方法、装置、计算机设备及存储介质
CN113535677B (zh) 数据分析查询管理方法、装置、计算机设备及存储介质
CN113326247B (zh) 云端数据的迁移方法、装置及电子设备
US20180341695A1 (en) Method to estimate the deletability of data objects
CN113791586A (zh) 一种新型的工业app与标识注册解析集成方法
CN115329381A (zh) 基于敏感数据的分析预警方法、装置、计算机设备及介质
US11182386B2 (en) Offloading statistics collection
US20120310918A1 (en) Unique join data caching method
CN114035748A (zh) 一种数据文件的存取方法与系统
CN117171108B (zh) 一种虚拟模型映射方法和系统
CN113010542B (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN108768742B (zh) 网络构建方法及装置、电子设备、存储介质
CN114925044A (zh) 基于云存储的数据同步方法、装置、设备及存储介质
CN112416875B (zh) 日志管理方法、装置、计算机设备及存储介质
CN111585897B (zh) 请求路由管理方法、系统、计算机系统及可读存储介质
CN113656812A (zh) 一种基于大数据技术的数据管理系统和方法
CN113420050A (zh) 数据查询管理方法、装置、计算机设备及可读存储介质
CN114765599A (zh) 子域名采集方法、装置
US11003688B2 (en) Systems and methods for comparing data across data sources and platforms
CN115033187B (zh) 一种基于大数据的分析管理方法
CN116629816A (zh) 基于大数据的人力资源管理和辅助决策系统、方法、电子设备及存储介质
CN114238270A (zh) 数据库操作方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant