CN107491463B - 数据查询的优化方法和系统 - Google Patents

数据查询的优化方法和系统 Download PDF

Info

Publication number
CN107491463B
CN107491463B CN201610578608.1A CN201610578608A CN107491463B CN 107491463 B CN107491463 B CN 107491463B CN 201610578608 A CN201610578608 A CN 201610578608A CN 107491463 B CN107491463 B CN 107491463B
Authority
CN
China
Prior art keywords
query
query request
authority
terminal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610578608.1A
Other languages
English (en)
Other versions
CN107491463A (zh
Inventor
陆源
张川
龚名威
席旭亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201610578608.1A priority Critical patent/CN107491463B/zh
Publication of CN107491463A publication Critical patent/CN107491463A/zh
Application granted granted Critical
Publication of CN107491463B publication Critical patent/CN107491463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据查询的优化方法和系统，所述方法包括：接收终端发送的查询请求，将所述查询请求发送至JDBC接口；通过JDBC接口判断所述查询请求中是否包括权限关键字；若是，则将所述查询请求导入关系型数据库，在所述关系型数据库中检索与权限关键字匹配的用户权限标识，根据所述用户权限标识和所述查询请求在大数据平台中查询；否则，直接根据所述查询请求在大数据平台中查询；将查询结果返回至终端。采用本方法能够有效提高数据查询效率。

Description

数据查询的优化方法和系统
技术领域
本发明涉及计算机技术领域，特别是涉及一种数据查询的优化方法和系统。
背景技术
在大数据分析应用中，业务数据报表通常只连接一个后台数据源。如果对业务数据报表增加了权限控制，当遇到海量数据查询与携带权限信息的小量数据查询并存的状况时，由于后台需要根据权限信息进行逐条查询，会导致业务数据报表的访问性能变差，数据查询效率降低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够有效提高数据查询效率的数据查询的优化方法和系统。
一种数据查询的优化方法，所述方法包括：
接收终端发送的查询请求，将所述查询请求发送至JDBC接口；
通过JDBC接口判断所述查询请求中是否包括权限关键字；
若是，则将所述查询请求导入关系型数据库，在所述关系型数据库中检索与权限关键字匹配的用户权限标识，根据所述用户权限标识和所述查询请求在大数据平台中查询；
否则，直接根据所述查询请求在大数据平台中查询；
将查询结果返回至终端。
在其中一个实施例中，在所述将所述数据查询请求导入关系型数据库之后，还包括：
将所述查询请求导入关系型数据库，所述关系型数据库中包括权限表；
根据所述查询请求中的权限关键字在所述权限表进行检索，得到与所述权限关键字匹配的用户权限。
在其中一个实施例中，在所将所述查询请求发送至JDBC接口之前，还包括：
通过负载均衡设备接收多个终端发送的查询请求；
通过负载均衡设备将多个查询请求分配至对应的节点。
在其中一个实施例中，在所述将查询结果返回至终端之后，还包括：
获取更新后的权限表；
利用更新后的权限表对关系型数据库中的权限表进行更新。
在其中一个实施例中，所述方法还包括：
接收终端发送的数据分析指令；
根据所述数据分析指令获取关系型数据库中的客户数据，并将所述客户数据同步至大数据平台中；
获取数据分析的主题模型；
通过所述主题模型对大数据平台中的客户数据进行分析，并且对分析后的客户数据进行可视化处理；
将进行可视化处理后的客户数据返回终端，以使得在所述终端对分析后的客户数据进行可视化展示。
一种数据查询的优化系统，所述系统包括：
终端，用于发送查询请求；
负载均衡设备，用于接收查询请求，并将所述查询请求分配至对应的节点；
节点，用于接收负载均衡设备分配的查询请求，并将查询请求发送至JDBC接口；若通过所述JDBC接口判定所述查询请求中包括权限关键字，则在所述关系型数据库中检索与权限关键字匹配的用户权限标识，根据所述用户权限标识和所述查询请求在大数据平台中查询；否则，直接根据所述查询请求在大数据平台中查询；
所述节点还用于将查询结果返回至终端。
在其中一个实施例中，所述节点还用于将所述查询请求导入关系型数据库，所述关系型数据库中包括权限表；根据所述查询请求中的权限关键字在所述权限表进行检索，得到与所述权限关键字匹配的用户权限。
在其中一个实施例中，所述负载均衡设备还用于获取多个节点已分配的查询请求的数量，根据多个节点中已分配的查询请求的数量分配新的查询请求。
在其中一个实施例中，所述节点还用于缓存查询结果；所述负载均衡设备还用于接收终端发送的查询请求，根据终端标识获取该终端访问过的节点，将该查询请求分配至该终端已访问过的节点，所述节点还用于根据所述查询请求获取已缓存的查询结果，并将所述已缓存的查询结果返回至终端。
在其中一个实施例中，所述负载均衡设备还用于接收终端发送的数据分析指令，并将所述数据分析指令分配至对应的节点；所述节点还用于获取数据分析的主题模型，通过所述主题模型对大数据平台中的客户数据进行分析，并且对分析后的客户数据进行可视化处理，将进行可视化处理后的客户数据返回终端；所述终端还用于对分析后的客户数据进行可视化展示。
上述数据查询的优化方法和系统，在接收终端发送的查询请求之后，将查询请求发送至JDBC接口。如果JDBC接口判定查询请求中包括权限关键字；则将查询请求导入关系型数据库，由于关系型数据适用于小量数据的查询，因此在关系型数据库中能够快速检索到与权限关键字匹配的用户权限标识。根据用户权限标识和查询请求在大数据平台中查询，能够快速得到相应的查询结果。如果JDBC接口判定查询请求中不包括权限关键字，则可以直接根据查询请求在大数据平台中查询，由此快速得到相应的查询结果。当海量数据查询时与携带权限信息的小量数据查询并从时，不需要在大数据平台来查询与权限关键字匹配的用户权限标识，而是通过关系型数据库中来检索与权限关键字匹配的用户权限标识，从而有效提高了在大数据平台的查询效率。
附图说明
图1为一个实施例中数据查询的优化方法的流程图；
图2为一个实施例中数据查询的优化方法的拓扑图；
图3为一个实施例中数据查询的优化系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在一个实施例中，如图1所示，提供了一种数据查询的优化方法，以该方法应用于后台为例进行说明，具体包括：
102，接收终端发送的查询请求，将查询请求发送至JDBC接口。
后台搭建了集群架构以及大数据平台，其中，集群架构可以是Pentaho集群架构。集群架构中包括负载均衡设备和多个节点。节点可以采用物理服务器。每个节点上安装了软件工具，包括报表工具、分析工具和制图工具等。集群架构与大数据平台之间通过JDBC(Java DataBase Connectivity，Java数据库连接，由一组用Java语言编写的类和接口组成)接口相连。大数据平台还可以与关系型数据库相连。其中，大数据平台可以采用Hadoop(一个开源的可运行于大规模集群上的分布式文件系统和运行处理基础框架)架构。大数据平台中存储了业务数据，可以供用户进行查询。集群架构与大数据平台之间还可以接入分布式缓存服务器，分布式缓存服务器用于对大数据平台中的查询结果进行缓存。拓扑图如图2所示。终端202通过防火墙204与负载均衡设备206连接。负载均衡设备206与集群架构中的多个节点208连接。节点208与分布式缓存服务器210连接。在分布式缓存服务器210与大数据平台212之间通过JDBC接口连接。分布式缓存服务器210分别与大数据平台212和关系型数据库214连接。
终端通过浏览器向后台发送查询请求。查询请求通过防火墙验证之后，后台的负载均衡设备接收查询请求。负载均衡设备将查询请求分配至节点。节点将查询请求发送至JDBC接口。
104，通过JDBC接口判断查询请求中是否包括权限关键字；若是，则执行106，否则，则执行108。
JDBC接口中配置了脚本程序，通过该脚本程序能够使得JDBC接口来判断查询请求中是否包括权限关键字。权限关键字是指报表查询权限的关键字，包括地域、机构和职务级别等。
106，将查询请求导入关系型数据库，在关系型数据库中检索与权限关键字匹配的用户权限标识，根据用户权限标识和查询请求在大数据平台中查询。
如果查询请求中包括权限关键字，则节点将查询请求导入关系型数据库。关系型数据库中存储了权限表。
在一个实施例中，在通过JDBC接口将数据查询请求导入关系型数据库之后，还包括：通过JDBC接口将查询请求导入关系型数据库，关系型数据库中包括权限表；根据查询请求中的权限关键字在权限表进行检索，得到与权限关键字匹配的用户权限。
权限表中包括用户权限标识与对应的权限关键字。权限表是以行和列的形式组织起来的权限数据集合。在关系型数据库中，一个表就是一个关系，一个关系型数据库中可以包括多个关系。权限表也就是其中的一个关系。在关系型数据库中，根据查询请求中的权限关键字利用SQL(Structured Query Language，一种结构化查询语言)查询的方式，在权限表中检索到与之相匹配的用户权限标识。
进一步的，多个终端可以向后台发送查询请求，如果多个查询请求中包括权限关键字，则将多个查询请求导入关系型数据库。根据多个查询请求在关系型数据库中逐一进行检索，分别得到与权限关键字匹配的用户权限标识。
由于关系型数据库是二维表格模型，关系型数据库中存储的权限表是以行和列的形式进行组织的，关系型数据库适用于小量数据的查询。因此，当后台接收到多个终端高频率发送的查询请求时，能够通过SQL查询的方式在关系型数据库中快速检索到与权限关键字匹配的用户权限标识。
关系型数据库将查询到的用户权限标识返回至节点。节点根据用户权限标识在大数据平台中标识进行查询，得到相应的查询结果。例如，查询请求中包括权限关键字“上海”，查询时间为2016年1月1日至2016年3月31日，查询项目为团体险投保人数量。节点将该查询请求发送至JDBC接口，JDBC接口将该查询请求导入关系型数据库，在关系型数据库中检索到与“上海”对应的用户权限标识，将用户权限标识返回节点。节点根据用户权限标识和查询请求中包括的查询项目在大数据平台中进行查询，得到相应的查询结果。
108，直接根据查询请求在大数据平台中查询。
如果查询请求中不包括权限关键字，节点直接根据查询请求在大数据平台中进行查询，得到相应的查询结果。例如，查询请求中包括查询时间为2016年1月1日至2016年3月31日，查询项目为团体险投保人数量。节点将该查询请求发送至JDBC接口，JDBC接口判定查询请求中不包括权限关键字，则节点直接根据查询请求在大数据平台中进行查询，得到相应的查询结果。
110，将查询结果返回至终端。
节点将查询结果返回至终端。终端通过浏览器将查询结果进行展示。
本实施例中，在接收终端发送的查询请求之后，将所述查询请求发送至JDBC接口。如果JDBC接口判定查询请求中包括权限关键字；则将查询请求导入关系型数据库，由于关系型数据适用于小量数据的查询，因此在关系型数据库中能够快速检索到与权限关键字匹配的用户权限标识。根据用户权限标识和查询请求在大数据平台中查询，能够快速得到相应的查询结果。如果JDBC接口判定查询请求中不包括权限关键字，则可以直接根据查询请求在大数据平台中查询，由此快速得到相应的查询结果。当海量数据查询时与携带权限信息的小量数据查询并从时，不需要在大数据平台来查询与权限关键字匹配的用户权限标识，而是通过关系型数据库中来检索与权限关键字匹配的用户权限标识，从而有效提高了在大数据平台的查询效率。
在一个实施例中，在将查询请求发送至JDBC接口之前，还包括：通过负载均衡设备接收多个终端发送的查询请求；通过负载均衡设备将多个查询请求分配至对应的节点。
本实施例中，后台可以通过负载均衡设备接收多个终端发送的查询请求。负载均衡设备根据配置的策略将查询请求分配至对应的节点。
在其中一个实施例中，负载均衡设备获取多个节点已分配的查询请求的数量，根据多个节点中已分配的查询请求的数量分配新的查询请求。
负载均衡设备获取每个节点已分配的查询请求的数量，当接收到新的查询请求时，负载均衡设备将新的查询请求分配至已分配查询请求的数量最少的节点。从而能够相对每个节点相对均衡的来分配查询请求。节点可以根据新的查询请求在分布式缓存服务器中缓存的查询结果进行查询。以此提高查询效率。
每个节点可以将查询结果进行缓存。在其中一个实施例中，负载均衡设备接收终端发送的查询请求，根据终端标识获取该终端访问过的节点，将该查询请求分配至该终端已访问过的节点。
由于节点将查询结果进行了缓存，因此在此接收到该终端发送的新的查询请求后，若该节点在最近一段时间内被该终端访问过，例如，在一周内访问过，节点可以根据该终端的访问记录，通过缓存的内容快速获取相应的查询结果。从而提高了查询效率。
在其中一个实施例中，当节点发生故障时，负载均衡设备还会将查询请求切换至其他正常工作的节点。
具体的，负载均衡设备实时检测与节点之间的连接，当某个或某些节点发生故障时，负载均衡设备将接收到的查询请求切换至其他正常工作的节点。由此确保用户能够正常进行查询。
在一个实施例中，在将查询结果返回至终端之后，还包括：获取更新后的权限表；利用更新后的权限表对关系型数据库中的权限表进行更新。
本实施例中，在权限变更之后，为了确保携带权限信息的小量数据查询能够顺利进行，需要对权限表进行更新。节点获取更新后的权限表，对关系型数据库中的权限表进行更新。具体的，节点通过报表工具利用更新后的权限表对关系型数据库中的权限表进行更新。
在一个实施例中，方法还包括：接收终端发送的数据分析指令；根据数据分析指令获取关系型数据库中的客户数据，并将客户数据同步至大数据平台中；获取数据分析的主题模型；通过主题模型对大数据平台中的客户数据进行分析，并且对分析后的客户数据进行可视化处理；将进行可视化处理后的客户数据返回终端，以使得在终端对分析后的客户数据进行可视化展示。
本实施例中，后台还可以通过负载均衡设备接收终端发送的数据分析指令。负载均衡设备将数据分析指令分配至对应的节点。关系型数据库中还存储了客户数据。节点根据数据分析指令获取关系型数据库中的客户数据，并客户数据同步至大数据平台中。节点根据数据分析指令获取用于数据分析的主题模型，其中，主题模型包括客户主题、保单主题和银行主题等。主题模型可以是节点预先建立的。
节点通过主题模型在大数据平台中对客户数据进行分析，并且对分析后的客户数据进行可视化处理。节点将进行可视化处理后的客户数据返回终端。由此使得，终端接到可视化处理后的数据后，通过浏览器进行可视化展示。
由于通过主题模型对客户数据进行了分析，并且对分析后的客户数据进行了可视化处理，从而使得分析后的客户数据能够在终端进行可视化展示。为用户提供了方便。
在一个实施例中，如图3所示，提供了一种数据查询的优化系统，包括：终端302、负载均衡设备304和节点306，其中：
终端302，用于发送查询请求。
负载均衡设备304，用于接收查询请求，并将查询请求分配至对应的节点。
节点306，用于接收负载均衡设备分配的查询请求，并将查询请求发送至JDBC接口；若通过JDBC接口判定查询请求中包括权限关键字，则在关系型数据库中检索与权限关键字匹配的用户权限标识，根据用户权限标识和查询请求在大数据平台中查询；否则，直接根据查询请求在大数据平台中查询。
节点306还用于将查询结果返回至终端302。
本实施例中，终端302通过浏览器发送查询请求。查询请求通过防火墙验证之后，负载均衡设备304接收查询请求。负载均衡设备304将查询请求分配至节点306。节点306将查询请求发送至JDBC接口。JDBC接口中配置了脚本程序。通过脚本程序，JDBC接口判断查询请求中是否包括权限关键字。权限关键字是指报表查询权限的关键字，包括地域、机构和职务级别等。如果查询请求中包括权限关键字，则节点将查询请求导入关系型数据库。关系型数据库中存储了权限表。
在一个实施例中，节点306还用于将查询请求导入关系型数据库，关系型数据库中包括权限表；根据查询请求中的权限关键字在权限表进行检索，得到与权限关键字匹配的用户权限。
权限表中包括用户权限标识与对应的权限关键字。权限表是以行和列的形式组织起来的权限数据集合。在关系型数据库中，一个表就是一个关系，一个关系型数据库中可以包括多个关系。权限表也就是其中的一个关系。在关系型数据库中，根据查询请求中的权限关键字利用SQL(Structured Query Language，一种结构化查询语言)查询的方式，在权限表中检索到与之相匹配的用户权限标识。
进一步的，多个终端可以向负载均衡设备发送查询请求，如果多个查询请求中包括权限关键字，则将多个查询请求导入关系型数据库。根据多个查询请求在关系型数据库中逐一进行检索，分别得到与权限关键字匹配的用户权限标识。
由于关系型数据库是二维表格模型，关系型数据库中存储的权限表是以行和列的形式进行组织的，关系型数据库适用于小量数据的查询。因此，当后台接收到多个终端高频率发送的查询请求时，能够通过SQL查询的方式在关系型数据库中快速检索到与权限关键字匹配的用户权限标识。
关系型数据库将查询到的用户权限标识返回至节点。节点306根据用户权限标识在大数据平台中标识进行查询，得到相应的查询结果。例如，查询请求中包括权限关键字“上海”，查询时间为2016年1月1日至2016年3月31日，查询项目为团体险投保人数量。节点306将该查询请求发送至JDBC接口，JDBC接口将该查询请求导入关系型数据库，在关系型数据库中检索到与“上海”对应的用户权限标识，将用户权限标识返回节点306。节点306根据用户权限标识和查询请求中包括的查询项目在大数据平台中进行查询，得到相应的查询结果。节点306将查询结果返回至终端302。终端302通过浏览器将查询结果进行展示。
如果查询请求中不包括权限关键字，节点306直接根据查询请求在大数据平台中进行查询，得到相应的查询结果。例如，查询请求中包括查询时间为2016年1月1日至2016年3月31日，查询项目为团体险投保人数量。节点306将该查询请求发送至JDBC接口，JDBC接口判定查询请求中不包括权限关键字，则节点306直接根据查询请求在大数据平台中进行查询，得到相应的查询结果。节点306将查询结果返回至终端302。终端302通过浏览器将查询结果进行展示。
本实施例中，负载均衡设备在接收终端发送的查询请求之后，将查询请求分配至节点，节点将查询请求发送至JDBC接口。如果JDBC接口判定查询请求中包括权限关键字，则将查询请求导入关系型数据库，由于关系型数据适用于小量数据的查询，因此在关系型数据库中能够快速检索到与权限关键字匹配的用户权限标识。节点根据用户权限标识和查询请求在大数据平台中查询，能够快速得到相应的查询结果。如果JDBC接口判定查询请求中不包括权限关键字，则可以直接根据查询请求在大数据平台中查询，由此快速得到相应的查询结果。当海量数据查询时与携带权限信息的小量数据查询并从时，不需要在大数据平台来查询与权限关键字匹配的用户权限标识，而是通过关系型数据库中来检索与权限关键字匹配的用户权限标识，从而有效提高了在大数据平台的查询效率。
一个实施例中，负载均衡设备304还用于获取多个节点306已分配的查询请求的数量，根据多个节点306中已分配的查询请求的数量分配新的查询请求。
本实施例中，负载均衡设备304接收多个终端302发送的查询请求。负载均衡设备304根据配置的策略将查询请求分配至对应的节点。
负载均衡设备304获取每个节点306已分配的查询请求的数量，当接收到新的查询请求时，负载均衡设备304将新的查询请求分配至已分配查询请求的数量最少的节点306。从而能够相对每个节点相对均衡的来分配查询请求。节点可以根据新的查询请求在分布式缓存服务器中缓存的查询结果进行查询。以此提高查询效率。
由于节点306将查询结果进行了缓存，因此在此接收到该终端302发送的新的查询请求后，若该节点306在最近一段时间内被该终端302访问过，例如，在一周内访问过，节点306可以根据该终端302的访问记录，通过缓存的内容快速获取相应的查询结果。从而提高了查询效率。
在其中一个实施例中，当节点306发生故障时，负载均衡设备304还会将查询请求切换至其他正常工作的节点。
具体的，负载均衡设备304实时检测与节点306之间的连接，当某个或某些节点发生故障时，负载均衡设备304将接收到的查询请求切换至其他正常工作的节点。由此确保用户能够正常进行查询。
在一个实施例中，节点306还用于缓存查询结果；负载均衡设备304还用于接收终端302发送的查询请求，根据终端标识获取该终端304访问过的节点306，将该查询请求分配至该终端已访问过的节点306，节点306还用于根据查询请求获取已缓存的查询结果，并将已缓存的查询结果返回至终端302。
在一个实施例中，负载均衡设备304还用于接收终端发送的数据分析指令，并将数据分析指令分配至对应的节点306；节点306还用于获取数据分析的主题模型，通过主题模型对大数据平台中的客户数据进行分析，并且对分析后的客户数据进行可视化处理，将进行可视化处理后的客户数据返回终端302；终端302还用于对分析后的客户数据进行可视化展示。
本实施例中，负载均衡设备304接收终端302发送的数据分析指令。负载均衡设备304将数据分析指令分配至对应的节点306。关系型数据库中还存储了客户数据。节点306根据数据分析指令获取关系型数据库中的客户数据，并客户数据同步至大数据平台中。节点306根据数据分析指令获取用于数据分析的主题模型，其中，主题模型包括客户主题、保单主题和银行主题等。主题模型可以是节点306预先建立的。
节点306通过主题模型在大数据平台中对客户数据进行分析，并且对分析后的客户数据进行可视化处理。节点306将进行可视化处理后的客户数据返回终端302。由此使得，终端接到可视化处理后的数据后，通过浏览器进行可视化展示。
由于通过主题模型对客户数据进行了分析，并且对分析后的客户数据进行了可视化处理，从而使得分析后的客户数据能够在终端进行可视化展示。为用户提供了方便。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种数据查询的优化方法，所述方法包括：
通过负载均衡设备接收终端发送的查询请求，将所述查询请求分配至节点，所述节点将所述查询请求发送至JDBC接口；
通过JDBC接口判断所述查询请求中是否包括权限关键字；
若是，则将所述查询请求导入关系型数据库，在所述关系型数据库中检索与权限关键字匹配的用户权限标识，根据所述用户权限标识和所述查询请求在大数据平台中查询；
否则，直接根据所述查询请求在大数据平台中查询；
将查询结果返回至终端；
接收终端发送的数据分析指令，根据数据分析指令获取关系型数据库中的客户数据，并将客户数据同步至大数据平台中；根据数据分析指令获取用于数据分析的主题模型，所述主题模型包括客户主题、保单主题和银行主题；
通过主题模型在大数据平台中对客户数据进行客户主题、保单主题和银行主题分析，并且对分析后的客户数据进行可视化处理；
将进行可视化处理后的客户数据返回终端。
2.根据权利要求1所述的方法，其特征在于，在所述将所述数据查询请求导入关系型数据库之后，还包括：
将所述查询请求导入关系型数据库，所述关系型数据库中包括权限表；
根据所述查询请求中的权限关键字在所述权限表进行检索，得到与所述权限关键字匹配的用户权限。
3.根据权利要求2所述的方法，其特征在于，在所述将查询结果返回至终端之后，还包括：
获取更新后的权限表；
利用更新后的权限表对关系型数据库中的权限表进行更新。
4.一种数据查询的优化系统，其特征在于，所述系统包括：
终端，用于发送查询请求；
负载均衡设备，用于接收查询请求，并将所述查询请求分配至对应的节点；
节点，用于接收负载均衡设备分配的查询请求，并将查询请求发送至JDBC接口；若通过所述JDBC接口判定所述查询请求中包括权限关键字，则在关系型数据库中检索与权限关键字匹配的用户权限标识，根据所述用户权限标识和所述查询请求在大数据平台中查询；否则，直接根据所述查询请求在大数据平台中查询；
所述节点还用于将查询结果返回至终端；
所述节点还用于获取数据分析的主题模型，通过所述主题模型对大数据平台中的客户数据进行分析，并且对分析后的客户数据进行可视化处理，将进行可视化处理后的客户数据返回终端；
所述终端还用于对分析后的客户数据进行可视化展示。
5.根据权利要求4所述的系统，其特征在于，所述节点还用于将所述查询请求导入关系型数据库，所述关系型数据库中包括权限表；根据所述查询请求中的权限关键字在所述权限表进行检索，得到与所述权限关键字匹配的用户权限。
6.根据权利要求4所述的系统，其特征在于，所述负载均衡设备还用于获取多个节点已分配的查询请求的数量，根据多个节点中已分配的查询请求的数量分配新的查询请求。
7.根据权利要求4所述的系统，其特征在于，所述节点还用于缓存查询结果；所述负载均衡设备还用于接收终端发送的查询请求，根据终端标识获取该终端访问过的节点，将该查询请求分配至该终端已访问过的节点，所述节点还用于根据所述查询请求获取已缓存的查询结果，并将所述已缓存的查询结果返回至终端。
CN201610578608.1A 2016-07-21 2016-07-21 数据查询的优化方法和系统 Active CN107491463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610578608.1A CN107491463B (zh) 2016-07-21 2016-07-21 数据查询的优化方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610578608.1A CN107491463B (zh) 2016-07-21 2016-07-21 数据查询的优化方法和系统

Publications (2)

Publication Number Publication Date
CN107491463A CN107491463A (zh) 2017-12-19
CN107491463B true CN107491463B (zh) 2020-02-18

Family

ID=60642823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610578608.1A Active CN107491463B (zh) 2016-07-21 2016-07-21 数据查询的优化方法和系统

Country Status (1)

Country Link
CN (1) CN107491463B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595190B (zh) * 2018-04-23 2020-06-19 平安科技（深圳）有限公司 报表工具搭建方法、装置、计算机装置及存储介质
CN109033139B (zh) * 2018-06-06 2023-06-27 中国平安人寿保险股份有限公司 客户信息查询方法、装置、计算机设备和存储介质
CN109540332A (zh) * 2018-11-13 2019-03-29 中广核核电运营有限公司 容器内液体的参数监测方法、装置、设备和存储介质
CN109739873A (zh) * 2018-12-27 2019-05-10 广州市玄武无线科技股份有限公司 一种业务数据查询方法、装置、设备及可读存储介质
CN113535687B (zh) * 2021-07-29 2024-01-26 北京互金新融科技有限公司 数据变量管理方法、装置、计算机可读存储介质及处理器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430706A (zh) * 2008-11-03 2009-05-13 金蝶软件（中国）有限公司 一种复杂对象的子对象验权方法、系统及设备
CN101859306A (zh) * 2009-04-07 2010-10-13 日电（中国）有限公司 盲化索引表产生方法和设备、联合关键字搜索方法和设备
CN102402548A (zh) * 2010-09-17 2012-04-04 金蝶软件（中国）有限公司 一种应用系统的数据查询控制方法及系统
CN104050297A (zh) * 2014-07-03 2014-09-17 中国工商银行股份有限公司 一种查询事务分配方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127463B2 (en) * 2002-04-18 2006-10-24 International Business Machines Corporation Optimization of database network traffic based upon data-use analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430706A (zh) * 2008-11-03 2009-05-13 金蝶软件（中国）有限公司 一种复杂对象的子对象验权方法、系统及设备
CN101859306A (zh) * 2009-04-07 2010-10-13 日电（中国）有限公司 盲化索引表产生方法和设备、联合关键字搜索方法和设备
CN102402548A (zh) * 2010-09-17 2012-04-04 金蝶软件（中国）有限公司 一种应用系统的数据查询控制方法及系统
CN104050297A (zh) * 2014-07-03 2014-09-17 中国工商银行股份有限公司 一种查询事务分配方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
商业银行个人信用评估模型研究;钟余;《中国优秀硕士学位论文全文数据库 经济与管理科学辑》;20150115(第01期);J159-62 *
数据库集群服务器的设计和管理;谢怡 等;《微电子学与计算机》;20030131(第1期);1-4 *

Also Published As

Publication number Publication date
CN107491463A (zh) 2017-12-19

Similar Documents

Publication Publication Date Title
CN107491463B (zh) 数据查询的优化方法和系统
CN104903894B (zh) 用于分布式数据库查询引擎的系统和方法
US10248674B2 (en) Method and apparatus for data quality management and control
CN107515878B (zh) 一种数据索引的管理方法及装置
US20200372007A1 (en) Trace and span sampling and analysis for instrumented software
CN103034735A (zh) 一种大数据分布式文件导出方法
US11500783B1 (en) Evicting data associated with a data intake and query system from a local storage
CN101901242A (zh) 联合的配置数据管理
CN105468720A (zh) 集成分布式数据处理系统的方法、相应系统及其数据处理方法
CN102918534A (zh) 查询管道
US10496645B1 (en) System and method for analysis of a database proxy
CN100378731C (zh) 自动数据合并
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
CN111737364B (zh) 安全多方数据融合与联邦共享方法、装置、设备及介质
CN107992350B (zh) 一种生成配置概览页面的方法及装置
CN113282599A (zh) 数据同步方法及系统
CN111177481B (zh) 用户标识映射方法及装置
CN116701330A (zh) 物流信息共享方法、装置、设备及存储介质
CN111047434A (zh) 一种操作记录生成方法、装置、计算机设备和存储介质
CN104503983A (zh) 为搜索引擎提供网站认证数据的方法及装置
CN105574010B (zh) 数据查询方法及装置
CN110515979B (zh) 数据查询方法、装置、设备和存储介质
CN117389830A (zh) 集群日志采集方法、装置、计算机设备及存储介质
KR20100132752A (ko) 데이터베이스 분산을 통한 서비스 성능 향상을 위한 질의 데이터 분산 처리시스템
US10003492B2 (en) Systems and methods for managing data related to network elements from multiple sources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant