CN116303680A - 数据处理方法、装置、设备及计算机存储介质 - Google Patents
数据处理方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN116303680A CN116303680A CN202310303228.7A CN202310303228A CN116303680A CN 116303680 A CN116303680 A CN 116303680A CN 202310303228 A CN202310303228 A CN 202310303228A CN 116303680 A CN116303680 A CN 116303680A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- index
- search engine
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000009877 rendering Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 238000013480 data collection Methods 0.000 claims description 13
- 238000012800 visualization Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000013079 data visualisation Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 241001481833 Coryphaena hippurus Species 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 241001125840 Coryphaenidae Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 239000000806 elastomer Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置、设备及计算机存储介质，涉及大数据技术领域。该方法包括：响应于用户的数据查询请求，数据查询请求中至少包括用户的数据查询条件；调用服务接口，向分布式搜索引擎发送数据查询请求；并利用分布式搜索引擎中的索引进行索引查询，得到满足数据查询条件的目标业务数据；对目标业务数据进行渲染，并在前端页面进行渲染结果的展示，其中，索引中存储的数据是从多个数据库中获取的。根据本申请实施例，通过调用服务接口，利用分布式搜索引擎中的索引进行数据的索引查询，只需要在索引中找到符合数据查询条件的索引字段值便能快速找到目标业务数据，不需要遍历整个数据表进行查询，从而有效提高了数据查询效率。
Description
技术领域
本申请属于大数据技术领域，尤其涉及一种数据处理方法、装置、设备及计算机存储介质。
背景技术
目前，为了满足用户差异化的数据可视化需求，各服务平台通常通过数据大屏将用户所要查询的业务数据直观的展示出来，为用户查看业务数据提供便利。而面对庞大的数据量，如何快速查询满足用户需求的业务数据是进行数据可视化的前提。现有数据可视化处理方法中，通常需要依赖多个中间件从多个数据源中获取业务数据并存放到数据库结构表中，然后利用应用程序阅历全表，从数据库结构表中进行查询，但面对庞大的数据量，数据库结构表的表记录太大、检索太慢，从而导致数据查询效率较低。
发明内容
本申请实施例提供了一种数据处理方法、装置、设备及计算机存储介质，能够提高数据查询的效率。
第一方面，本申请实施例提供了一种数据处理方法，该方法包括：
响应于用户的数据查询请求，数据查询请求中至少包括用户的数据查询条件；
调用服务接口，向分布式搜索引擎发送数据查询请求；
基于数据查询请求，利用分布式搜索引擎中的索引进行索引查询，得到满足数据查询条件的目标业务数据；
对目标业务数据进行渲染，并在前端页面进行渲染结果的展示；
其中，索引中存储的数据是从多个数据库中获取得到的。
在第一方面的一些可实现方式中，响应于用户的数据查询请求之前，该方法还包括：
根据用户的业务需求信息，从多个数据库中获取初始业务数据；
通过结构化查询语言对初始业务数据进行处理，得到目标存储数据；
利用数据收集引擎，将目标存储数据发送到分布式搜索引擎中的索引中进行存储。
在第一方面的一些可实现方式中，利用数据收集引擎，将目标存储数据发送到分布式搜索引擎中的索引中进行存储，包括：
分别在多个数据库对应的源集群和分布式搜索引擎中索引对应的目标集群中创建定时同步任务；
根据定时同步任务，利用数据收集引擎将目标存储数据从源集群发送到目标集群中进行存储。
在第一方面的一些可实现方式中，根据用户的业务需求信息，从多个数据库中获取初始业务数据之前，该方法还包括：
通过配置每个数据库对应的多个配置项，创建数据库连接，配置项至少包括数据库连接串；
根据数据库连接串，对数据库进行连接校验，判断数据库连接是否正常。
在第一方面的一些可实现方式中，数据查询条件中至少包括数据查询周期，基于数据查询请求，利用分布式搜索引擎中的索引进行索引查询，得到满足数据查询条件的目标业务数据，包括：
若分布式搜索引擎中的索引中包括满足数据查询周期的指标数据，则将指标数据确定为目标业务数据；
若分布式搜索引擎中的索引中不包括满足数据查询周期的指标数据，则将历史索引查询数据确定为目标业务数据，历史索引查询数据为历史查询期次中数据查询周期最长的查询数据。
在第一方面的一些可实现方式中，目标业务数据的数据类型包括以下至少一项：类别型数据、有序型数据、区间型数据、比值型数据，对目标业务数据进行渲染，并在前端页面进行渲染结果的展示，包括：
基于目标业务数据的数据类型，利用可视化工具对目标业务数据进行渲染，并在前端页面进行渲染结果的展示。
第二方面，本申请实施例提供了一种数据处理装置，该装置包括：
响应模块，用于响应于用户的数据查询请求，数据查询请求中至少包括用户的数据查询条件；
调用模块，用于调用服务接口，向分布式搜索引擎发送数据查询请求；
查询模块，用于基于数据查询请求，利用分布式搜索引擎中的索引进行索引查询，得到满足数据查询条件的目标业务数据；
渲染模块，用于对目标业务数据进行渲染，并在前端页面进行渲染结果的展示；
其中，索引中存储的数据是从多个数据库中获取得到的。
第三方面，本申请实施例提供了一种电子设备，该设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现如第一方面任意一项所述的数据处理方法。
第四方面，本申请实施例提供了一种计算机存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面任意一项所述的数据处理方法。
第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品中的指令由电子设备的处理器执行时，电子设备能够执行第一方面任意一项所述的数据处理方法。
本申请实施例的数据处理方法、装置、设备及计算机存储介质，响应于用户的数据查询请求，数据查询请求中至少包括用户的数据查询条件，调用服务接口，向分布式搜索引擎发送数据查询请求，并利用分布式搜索引擎中的索引进行索引查询，得到满足数据查询条件的目标业务数据，以对目标业务数据进行渲染，并在前端页面进行渲染结果的展示。根据本申请实施例，索引中存储的数据是从多个数据库中获取得到的，通过调用服务接口，利用分布式搜索引擎中的索引进行数据的索引查询，由于索引查询只需要在索引中找到符合数据查询条件的索引字段值便能快速找到目标业务数据，不需要遍历整个数据表进行查询，从而有效提高了数据查询效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理方法的流程示意图；
图2是本申请实施例提供的另一种数据处理方法的流程示意图；
图3是本申请实施例提供的一种数据库连接方法的流程示意图；
图4是本申请实施例提供的一种数据存储方法的流程示意图；
图5是本申请实施例提供的一种渲染结果示意图；
图6是本申请实施例提供的一种数据处理装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
目前，为了满足用户差异化的数据可视化需求，各服务平台通常通过数据大屏将用户所要查询的业务数据直观的展示出来，为用户查看业务数据提供便利。例如公积金监管平台通过数据大屏为用户提供差异化、个性化的可视化服务，以便用户更直观的进行数据查看。
但面对庞大的数据量，如何快速查询满足用户需求的业务数据是进行数据可视化的前提。现有数据可视化处理方法中，通常需要依赖多个中间件从多个数据源中获取业务数据并存放到数据库结构表中，然后利用应用程序阅历全表，从数据库结构表中进行查询，但面对庞大的数据量，数据库结构表的表记录太大、检索太慢，从而导致数据查询效率较低。
为了解决现有技术问题，本申请实施例提供了一种数据处理方法、装置、设备及计算机存储介质。下面首先对本申请实施例所提供的数据处理方法进行介绍。
图1示出了本申请实施例提供的一种数据处理方法的流程示意图。如图1所示，该方法具体包括如下步骤：
S101、响应于用户的数据查询请求，数据查询请求中至少包括用户的数据查询条件；
S102、调用服务接口，向分布式搜索引擎发送数据查询请求；
S103、基于数据查询请求，利用分布式搜索引擎中的索引进行索引查询，得到满足数据查询条件的目标业务数据；
S104、对目标业务数据进行渲染，并在前端页面进行渲染结果的展示。
由此，根据本申请实施例的数据处理方法，响应于用户的数据查询请求，数据查询请求中至少包括用户的数据查询条件，调用服务接口，向分布式搜索引擎发送数据查询请求，并利用分布式搜索引擎中的索引进行索引查询，得到满足数据查询条件的目标业务数据，以对目标业务数据进行渲染，并在前端页面进行渲染结果的展示。根据本申请实施例，索引中存储的数据是从多个数据库中获取得到的，通过调用服务接口，利用分布式搜索引擎中的索引进行数据的索引查询，由于索引查询只需要在索引中找到符合数据查询条件的索引字段值便能快速找到目标业务数据，不需要遍历整个数据表进行查询，从而有效提高了数据查询效率。
在一些实施例中，在S101中，用户的数据查询请求中至少包括用户的数据查询条件，示例性的，若用户想要获取自身公积金各年、各月的汇总记录，或缴存、贷款等数据信息，则数据查询条件可以包括数据查询周期、数据查询业务等，其中，数据查询周期可以是一天、一个月、一年等，数据查询业务可以是缴存额、缴存单位、贷款发放笔数等。
在一些实施例中，如图2所示，在S101之前，该方法还包括：
S201、根据用户的业务需求信息，从多个数据库中获取初始业务数据；
S202、通过结构化查询语言对初始业务数据进行处理，得到目标存储数据；
S203、利用数据收集引擎，将目标存储数据发送到分布式搜索引擎中的索引中进行存储。
在一些实施例中，在S201中，用户的业务需求信息可以包括用户想要获取的数据对象、业务对象、存储时间等，示例性的，如用户想要获取本年度公积金的缴存额，从而从多个数据库中获取满足用户业务需求信息的初始业务数据。
在一些实施例中，为了保证能从多个数据库中获取初始业务数据，如图3所示，在S201之前，该方法还可以包括如下步骤：
S301、通过配置每个数据库对应的多个配置项，创建数据库连接，配置项至少包括数据库连接串；
S302、根据数据库连接串，对数据库进行连接校验，判断数据库连接是否正常。
作为一种示例，在S301中，配置项可以包括数据连接名、驱动器、数据库连接串、字符集编码、用户名、密码等，其中，数据连接名为区别不同数据库对应中心的唯一标识符，通过配置每个数据库对应的多个配置项，创建各个数据库之间的数据连接，以保证能够获取到数据。
作为一种示例，在S302中，数据库包括关系型数据库和非关系型数据库，数据库连接串即指统一资源定位符(Uniform Resource Locator，UR L)，利用数据库连接串URL对数据库进行连接校验，从而确定数据库连接是否正常，以便于在数据库连接正常的情况下获取数据。
由此，通过测试数据库连接串URL的连接功能，从而确认数据库之间的连通性，从而保证能够从各个数据库中获取到用户所需要查询的数据。
在一些实施例中，在S202中，利用结构化查询语言(Structured Query Language，SQL)得到目标存储数据，即通过SQL查询语句获取目标存储数据。作为一种示例，从多个数据库中获取初始业务数据之后，用户可根据自身需求选取相应的字段，并进行过滤、分组汇总、排序、合并等处理，示例性的，可以按性别、年龄、年月、季度等维护进行升序或降序排序，从而得到目标存储数据。
由此，在获取初始业务数据之后，根据用户需求选取字段，并进行过滤、分组汇总、排序、合并等操作，得到满足用户自身需求的目标存储数据，并利用结构化查询语言即SQL查询语句获取目标存储数据，以便将目标存储数据存储到分布式搜索引擎中。
在一些实施例中，在S203中，数据收集引擎可以是Logstash，分布式搜索引擎可以是Elasticsearch，如图4所示，上述S203具体可以包括如下步骤：
S2031、分别在多个数据库对应的源集群和分布式搜索引擎中索引对应的目标集群中创建定时同步任务；
S2032、根据定时同步任务，利用数据收集引擎将目标存储数据从源集群发送到目标集群中进行存储。
作为一种示例，在S2031中，编写数据库连接池的地址、分布式搜索引擎Elasticsearch的连接和字段描述等，制作Datax脚本，从而利用Datax脚本分别在多个数据库对应的源集群和分布式搜索引擎中索引对应的目标集群中创建定时同步任务。
作为一种示例，在S2032中，源集群指目标存储数据所在数据库对应的数据集群，目标集群指分布式搜索引擎中索引对应的数据集群，基于调度系统DolphinScheduler的特性以及定时同步任务，利用数据收集引擎Lo gstash将目标存储数据从源集群发送到目标集群中进行存储，其中，Dolph inScheduler是一个分布式去中心化、易扩展的可视化数据库可用性组(Data base Availability Group，DAG)工作流任务调度系统。
由于调度系统DolphinScheduler具有高可靠性、高扩展性等特点，且简单易用、具有丰富的使用场景、在数据处理流程中开箱即用，以此可以应对大数据的复杂使用场景，支持更多的任务类型。由此，通过DolphinS cheduler的集群搭建进行任务调度，将目标存储数据调度到分布式搜索引擎中的索引中进行存储，解决了数据处理流程中错综复杂的依赖关系，以便后续进行索引查询，得到满足用户数据查询条件的目标业务数据。
在一些实施例中，在S102中，服务接口即API接口，当接收到用户的数据查询请求时，调用API接口，向分布式搜索引擎Elasticsearch发送数据查询请求，以根据数据查询请求进行索引查询。
在一些实施例中，在S103中，在进行索引查询之前，已先从多个数据库中获取数据并存入分布式搜索引擎的索引中，当接收到数据查询请求时，直接利用分布式搜索引擎中的索引进行索引查询，从而得到满足数据查询条件的目标业务数据。其中，数据查询条件中至少包括数据查询周期，数据查询周期可以设置为一天、一周或一个月等。
作为一种示例，若分布式搜索引擎中的索引中包括满足数据查询周期的指标数据，则将指标数据确定为目标业务数据；若分布式搜索引擎中的索引中不包括满足数据查询周期的指标数据，则将历史索引查询数据确定为目标业务数据，其中，历史索引查询数据为历史查询期次中数据查询周期最长的查询数据。
由此，通过分布式搜索引擎、数据收集引擎和任务调度系统的相互协调配合，将目标存储数据存储到分布式搜索引擎中，通过索引提供数据检索和数据分析，从而提高了系统接口数据的响应速度以及数据的查询效率。
在一些实施例中，在S104中，目标业务数据的数据类型包括以下至少一项：类别型数据、有序型数据、区间型数据、比值型数据，上述S104具体包括：基于目标业务数据的数据类型，利用可视化工具对目标业务数据进行渲染，并在前端页面进行渲染结果的展示。
作为一种示例，前端界面为Web可视化界面，可视化工具可以为Kib ana，是一种基于Apache开源协议，并使用JavaJcript语言编写，为分布式搜索引擎Elasticsearch提供分析和可视化的Web平台。类别型数据指可以按类别进行对象区分的数据，例如数值型、列表型、日期型等数据；有序型数据指用来表示对象间的顺序关系的数据，例如指标数据的排名、日期的排序等；区间型数据指用于对象间定量比较的数据，例如今年和去年进行比较的数据，今天和昨天进行比较的数据；比值型数据指比较数值间的比例关系的数据，例如某一列类别中某一分类的占比。
示例性的，根据目标业务数据的数据类型，利用可视化工具Kibana对目标业务数据进行渲染，以在Web可视化界面进行渲染结果的展示。如图5所示，根据目标业务数据的数据类型，可以选择表格、条形图、饼图、柱状图等方式进行数据展示。此外，Web可视化页面上还支持玫瑰花图、太阳辐射图、地图等组件，支持可视化设置图表的属性以及高级属性修改模式，自由扩展图表的展现形式的同时还可以自定义主题颜色，基于此，可以给用户提供不一样的可视化页面观感。
由此，根据本申请实施例的数据处理方法，支持配置多种数据同步，以及关系型数据库和非关系型数据库进行数据同步，在面对庞大的数据量时，使用图标图形可视化大量的复杂数据，并基于可视化页面的格式多元化，满足用户的扩展需求，从而使用户更容易消化数据，提升用户的感知体验。
需要说明的是，上述本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。本领域技术人员可知，随着新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题同样适用。
基于相同的发明构思，本申请提供了一种数据处理装置，具体结合图6进行详细说明。
图6示出了本申请实施例提供的一种数据处理装置，如图6所示，该数据处理装置600可以包括：
响应模块601，用于响应于用户的数据查询请求，数据查询请求中至少包括用户的数据查询条件；
调用模块602，用于调用服务接口，向分布式搜索引擎发送数据查询请求；
查询模块603，用于基于数据查询请求，利用分布式搜索引擎中的索引进行索引查询，得到满足数据查询条件的目标业务数据；
渲染模块604，用于对目标业务数据进行渲染，并在前端页面进行渲染结果的展示；
其中，索引中存储的数据是从多个数据库中获取得到的。
由此，根据本申请实施例提供的一种数据处理装置，响应于用户的数据查询请求，数据查询请求中至少包括用户的数据查询条件，调用服务接口，向分布式搜索引擎发送数据查询请求，并利用分布式搜索引擎中的索引进行索引查询，得到满足数据查询条件的目标业务数据，以对目标业务数据进行渲染，并在前端页面进行渲染结果的展示。根据本申请实施例，索引中存储的数据是从多个数据库中获取得到的，通过调用服务接口，利用分布式搜索引擎中的索引进行数据的索引查询，由于索引查询只需要在索引中找到符合数据查询条件的索引字段值便能快速找到目标业务数据，不需要遍历整个数据表进行查询，从而有效提高了数据查询效率。
在一些实施例中，上述数据处理装置600还包括以下子模块：
获取子模块，用于根据用户的业务需求信息，从多个数据库中获取初始业务数据；
处理子模块，用于通过结构化查询语言对初始业务数据进行处理，得到目标存储数据；
存储子模块，用于利用数据收集引擎，将目标存储数据发送到分布式搜索引擎中的索引中进行存储。
在一些实施例中，上述存储子模块可以包括以下单元：
创建单元，用于分别在多个数据库对应的源集群和分布式搜索引擎中索引对应的目标集群中创建定时同步任务；
发送单元，用于根据定时同步任务，利用数据收集引擎将目标存储数据从源集群发送到目标集群中进行存储。
在一些实施例中，上述数据处理装置600还包括以下子模块：
配置子模块，用于通过配置每个数据库对应的多个配置项，创建数据库连接，配置项至少包括数据库连接串；
校验子模块，用于根据数据库连接串，对数据库进行连接校验，判断数据库连接是否正常。
在一些实施例中，数据查询条件中至少包括数据查询周期，上述查询模块603可以包括以下单元：
第一确定单元，用于若分布式搜索引擎中的索引中包括满足数据查询周期的指标数据，则将指标数据确定为目标业务数据；
第二确定单元，用于若分布式搜索引擎中的索引中不包括满足数据查询周期的指标数据，则将历史索引查询数据确定为目标业务数据，历史索引查询数据为历史查询期次中数据查询周期最长的查询数据。
在一些实施例中，目标业务数据的数据类型包括以下至少一项：类别型数据、有序型数据、区间型数据、比值型数据，上述渲染模块604可以包括以下单元：
渲染单元，用于基于目标业务数据的数据类型，利用可视化工具对目标业务数据进行渲染，并在前端页面进行渲染结果的展示。
图6所示的数据处理装置中的各个单元，具有实现图1至图4所示的数据处理方法的功能，并达到相应的技术效果，为简洁描述，在此不再赘述。
图7示出了本申请实施例提供的一种电子设备的硬件结构示意图。
该电子设备700可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地，上述处理器701可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在综合网关容灾设备的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。
存储器702可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器702包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请的第一方面的数据处理方法所描述的操作。
处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现上述实施例中的任意一种数据处理方法。
在一个示例中，电子设备700还可包括通信接口703和总线704。其中，如图7所示，处理器701、存储器702、通信接口703通过总线704连接并完成相互间的通信。
通信接口703，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线704包括硬件、软件或两者，将电子设备700的部件彼此耦接在一起。举例来说而非限制，总线704可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线704可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备700可以实现结合图1和图6描述的数据处理方法和装置。
另外，结合上述实施例中的数据处理方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据处理方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
响应于用户的数据查询请求，所述数据查询请求中至少包括所述用户的数据查询条件；
调用服务接口，向分布式搜索引擎发送所述数据查询请求；
基于所述数据查询请求，利用所述分布式搜索引擎中的索引进行索引查询，得到满足所述数据查询条件的目标业务数据；
对所述目标业务数据进行渲染，并在前端页面进行渲染结果的展示；
其中，所述索引中存储的数据是从多个数据库中获取得到的。
2.根据权利要求1所述的方法，其特征在于，所述响应于用户的数据查询请求之前，所述方法还包括：
根据所述用户的业务需求信息，从多个数据库中获取初始业务数据；
通过结构化查询语言对所述初始业务数据进行处理，得到目标存储数据；
利用数据收集引擎，将所述目标存储数据发送到所述分布式搜索引擎中的所述索引中进行存储。
3.根据权利要求2所述的方法，其特征在于，所述利用数据收集引擎，将所述目标存储数据发送到所述分布式搜索引擎中的所述索引中进行存储，包括：
分别在多个所述数据库对应的源集群和所述分布式搜索引擎中所述索引对应的目标集群中创建定时同步任务；
根据所述定时同步任务，利用所述数据收集引擎将所述目标存储数据从所述源集群发送到所述目标集群中进行存储。
4.根据权利要求2所述的方法，其特征在于，所述根据所述用户的业务需求信息，从多个数据库中获取初始业务数据之前，所述方法还包括：
通过配置每个所述数据库对应的多个配置项，创建数据库连接，所述配置项至少包括数据库连接串；
根据所述数据库连接串，对所述数据库进行连接校验，判断所述数据库连接是否正常。
5.根据权利要求1所述的方法，其特征在于，所述数据查询条件中至少包括数据查询周期，所述基于所述数据查询请求，利用所述分布式搜索引擎中的索引进行索引查询，得到满足所述数据查询条件的目标业务数据，包括：
若所述分布式搜索引擎中的所述索引中包括满足所述数据查询周期的指标数据，则将所述指标数据确定为所述目标业务数据；
若所述分布式搜索引擎中的所述索引中不包括满足所述数据查询周期的指标数据，则将历史索引查询数据确定为所述目标业务数据，所述历史索引查询数据为历史查询期次中数据查询周期最长的查询数据。
6.根据权利要求1所述的方法，其特征在于，所述目标业务数据的数据类型包括以下至少一项：类别型数据、有序型数据、区间型数据、比值型数据，所述对所述目标业务数据进行渲染，并在前端页面进行渲染结果的展示，包括：
基于所述目标业务数据的数据类型，利用可视化工具对所述目标业务数据进行渲染，并在所述前端页面进行渲染结果的展示。
7.一种数据处理装置，其特征在于，包括：
响应模块，用于响应于用户的数据查询请求，所述数据查询请求中至少包括所述用户的数据查询条件；
调用模块，用于调用服务接口，向分布式搜索引擎发送所述数据查询请求；
查询模块，用于基于所述数据查询请求，利用所述分布式搜索引擎中的索引进行索引查询，得到满足所述数据查询条件的目标业务数据；
渲染模块，用于对所述目标业务数据进行渲染，并在前端页面进行渲染结果的展示；
其中，所述索引中存储的数据是从多个数据库中获取得到的。
8.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的数据处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的数据处理方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-6任意一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310303228.7A CN116303680A (zh) | 2023-03-23 | 2023-03-23 | 数据处理方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310303228.7A CN116303680A (zh) | 2023-03-23 | 2023-03-23 | 数据处理方法、装置、设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116303680A true CN116303680A (zh) | 2023-06-23 |
Family
ID=86813074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310303228.7A Pending CN116303680A (zh) | 2023-03-23 | 2023-03-23 | 数据处理方法、装置、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116303680A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117555541A (zh) * | 2024-01-11 | 2024-02-13 | 南京研利科技有限公司 | 数据页面展示方法、装置、设备及存储介质 |
-
2023
- 2023-03-23 CN CN202310303228.7A patent/CN116303680A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117555541A (zh) * | 2024-01-11 | 2024-02-13 | 南京研利科技有限公司 | 数据页面展示方法、装置、设备及存储介质 |
| CN117555541B (zh) * | 2024-01-11 | 2024-04-09 | 南京研利科技有限公司 | 数据页面展示方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102253936B (zh) | 记录用户访问商品信息的方法及搜索方法和服务器 | |
| CN110019397B (zh) | 用于进行数据处理的方法及装置 | |
| CN105335511A (zh) | 网页的访问方法及装置 | |
| CN107015987B (zh) | 一种更新和搜索数据库的方法及设备 | |
| CN112115143B (zh) | 数据自动更新及同步方法、装置、电子设备及存储介质 | |
| CN108427772B (zh) | 在线报表生成方法、系统、设备及存储介质 | |
| CN106326243B (zh) | 一种数据处理方法及装置 | |
| CN116303680A (zh) | 数据处理方法、装置、设备及计算机存储介质 | |
| CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN111008865A (zh) | 优惠券同步展示方法、装置、服务器及存储介质 | |
| CN106919607B (zh) | 一种数据访问方法、装置及系统 | |
| CN110716955A (zh) | 一种快速响应数据查询请求的方法和系统 | |
| CN110704486A (zh) | 数据处理方法、装置、系统、存储介质和服务器 | |
| CN110134721A (zh) | 基于位图的数据统计方法、装置及电子设备 | |
| CN105912723A (zh) | 一种自定义字段的存储方法 | |
| CN113077321A (zh) | 物品推荐方法、装置、电子设备和存储介质 | |
| CN113535966A (zh) | 知识图谱的创建方法、信息获取的方法、装置和设备 | |
| CN112634004A (zh) | 征信数据的血缘图谱分析方法与系统 | |
| CN109189810B (zh) | 查询方法、装置、电子设备及计算机可读存储介质 | |
| CN115905371A (zh) | 数据趋势分析方法、装置、设备及计算机可读存储介质 | |
| CN115062023A (zh) | 宽表优化方法、装置、电子设备及计算机可读存储介质 | |
| CN115033592A (zh) | 基于数据库的sql语句处理方法、装置、设备及存储介质 | |
| CN112184370A (zh) | 一种推送产品的方法和装置 | |
| CN113448820B (zh) | 网页测试方法及装置 | |
| CN112667755B (zh) | 基于Kudu的数据分析装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |