CN115438056A - 一种数据获取方法、装置、设备以及存储介质 - Google Patents

Abstract

本发明公开了一种数据获取方法、装置、设备以及存储介质。该方法包括：响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求；根据所述备选数据获取请求，并发控制至少两个工作线程基于对应HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据；根据所述至少两个备选数据，确定目标获取数据。本发明提供的方案，可以根据数据的获取方式，确定对应的数据获取策略，同时利用多线程并发，实现目标数据的快速有效获取。

Description

一种数据获取方法、装置、设备以及存储介质

技术领域

本发明涉及大数据领域，尤其涉及一种数据获取方法、装置、设备以及存储介质。

背景技术

随着大数据技术的不断发展，大数据平台从各种数据库获取数据便于后续分析、生成日志等操作是较为广泛的应用场景。例如，基于ELK框架构建的日志大数据平台。

由于大数据平台需要获取的数据存具有数据类型复杂、数据量大等特点，如何更有效的从数据库获取数据，提高数据处理平台的工作效率，是目前亟待解决的问题。

发明内容

本发明提供了一种数据获取方法、装置、设备以及存储介质，可以根据数据的获取方式，确定对应的数据获取策略，同时利用多线程并发，实现目标数据的快速有效获取。

根据本发明的一方面，提供了一种数据获取方法，包括：

响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求；

根据所述备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据；

根据所述至少两个备选数据，确定目标获取数据。

根据本发明的另一方面，提供了一种数据获取装置，包括：

生成模块，用于响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求；

第一获取模块，用于根据所述备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据；

第一数据确定模块，用于根据所述至少两个备选数据，确定目标获取数据。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据获取方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据获取方法。

本发明实施例的技术方案，响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求，根据备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据，根据至少两个备选数据，确定目标获取数据。通过根据数据获取请求确定数据获取方式，进一步根据数据的获取方式，确定对应的数据获取策略，利用多线程并发，进行目标数据的获取，实现了从数据库中快速有效获取目标数据的方案，可以提高数据处理平台的工作效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种数据获取方法的流程图；

图2是本发明实施例二提供的一种数据获取方法的流程图；

图3是本发明实施例三提供的一种数据获取方法的流程图；

图4A是本发明实施例四提供的一种数据获取方法的流程图；

图4B是本发明实施例四提供的一种数据获取方法的流程图；

图5是本发明实施例五提供的一种数据获取装置的结构图；

图6是本发明实施例六提供的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“备选”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是本发明实施例一提供的一种数据获取方法的流程图，本实施例适用于大数据平台从数据库获取数据的情况，尤其适用于大数据平台基于数据获取方式，采用不同的获取策略获取数据的情况，该方法可以由数据获取装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于具有数据获取功能的电子设备中，如基于ELK(ElasticsearchLogstash Kibana)框架构建的日志大数据平台，其中，大数据处理平台是指数据流处理组件平台和数据存储平台。如图1所示，该方法包括：

S101、响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求。

其中，目标数据是指目标从数据库获取的数据，例如可以是日志大数据平台目标获取的运营指标类数据。具体的，本发明实施例所述的目标数据为无需实时获取的数据，即批量指标类数据，批量指标类数据主要是数据量大且实时性要求不高的数据。指标类数据是指大数据平台基于索引对大数据进行统计之后得到的二次数据。目标数据获取请求是指获取目标数据的请求。数据获取方式包括非实时获取方式和实时获取方式。备选数据获取请求是指各子任务对应的数据获取请求，即每个子任务对应一个备选数据获取请求。

可选的，大数据处理平台可以在预设时间段，如凌晨等平台负载较轻的时间段，自动生成批量获取数据的数据获取请求；也可以在检测到用户输入的数据获取指令，生成相应的数据获取请求。

可选的，大数据平台检测到数据获取请求之后，可以对数据获取请求进行分析，从数据获取请求中提取出目标获取数据的相关信息，如目标获取数据的时间段、数据类型等，例如可以获取前一天产生的历史指标类数据，根据目标获取数据的相关信息，确定待获取数据以及待获取数据预设的数据获取方式。

可选的，若待获取数据的数据获取方式为非实时获取方式，则可以先根据目标数据获取请求中目标获取数据的相关信息，生成目标数据获取任务，进一步根据预设的规则，如根据目标获取的各数据的数据类型或预设的索引指标，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务；也可以直接将目标数据获取任务输入预先训练好的模型，输出至少两个子任务。并根据各子任务目标获取的数据以及目标获取数据所在的数据库集群，为每个子任务生成对应的备选数据获取请求。

示例性的，若目标数据获取任务为获取前一天的视频数据，且视频数据的类型包括MP4类型和WMV(Windows Media Video)类型，则可以将该目标数据获取任务划分为两个子任务，分别为获取前一天的MP4类型的视频数据，以及获取前一天的WMV类型的视频数据。

S102、根据备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据。

其中，工作线程(Thread)是指用于向数据库集群发送数据获取请求并获取反馈数据的线程。HashMap内锁是指类型为HashMap的内锁，具体的，可以在线程池中设置一个HashMap类型的锁池，即设置HashMap保护锁，一个HashMap保护锁可以包括至少两个HashMap内锁。HashMap内锁与数据库集群一一对应。数据库集群是指常用的数据库的集群，每种数据库可以包括至少一个数据库集群。对于ES(Elastic search)数据库，其可以根据预设的划分规则分为至少两个ES集群，如按照各集群所存储数据的记录时间所处的时间段，将数据库划分为至少两个集群。

可选的，可以设置一个线程池，其中包含的核心线程数和最大线程数与ES集群个数相同。

可选的，可以根据各子任务对应的备选数据获取请求，确定各待获取备选数据所处的ES集群以及ES集群对应的HashMap内锁，进一步根据各待获取备选数据所处的ES集群，在线程池建立与ES集群个数相同的工作线程，并发控制各工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据。

可选的，可以基于ES集群和HashMap内锁的标识信息，来区分各ES集群和HashMap内锁，例如，可以基于ES集群和HashMap内锁的编号进行区分，相应的，根据备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据，包括：根据备选数据获取请求，确定各子任务对应的ES集群编号和HashMap内锁编号，根据子任务的数量，确定需要调用的工作线程数量，根据ES集群编号和HashMap内锁编号，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取备选数据。

需要说明的是，在线程池中设置一个HashMap类型的锁池，是控制单个ES集群串行数据获取的关键，只有获取了ES集群对应的锁，工作线程Thread才能将访问请求发送至ES集群进而获取查询或者聚合结果。

S103、根据至少两个备选数据，确定目标获取数据。

其中，目标获取数据是指目标数据获取请求中请求获取的目标数。

可选的，确定至少两个备选数据之后，可以直接将备选数据输入预先训练好的模型，输出目标获取数据；也可以根据预设的规则，对备选数据进行处理，确定目标获取数据，具体的，根据至少两个备选数据，确定目标获取数据，包括：对至少两个备选数据执行处理操作，生成目标获取数据；其中，处理操作包括合并和/或筛选操作。

可选的，若至少两个备选数据中存在异常数据，则可以将异常数据剔除，即对备选数据执行筛选操作，并将筛选之后的备选数据进行合并，生成目标获取数据；也可以根据预设的规则，对至少两个备选数据进行筛选，将筛选之后的备选数据作为目标获取数据，即生成目标获取数据；若至少两个备选数据中不存在异常数据，则还可以直接将至少两个备选数据进行合并，生成目标获取数据。

本发明实施例的技术方案，响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求，根据备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据，根据至少两个备选数据，确定目标获取数据。通过根据数据获取请求确定数据获取方式，进一步根据数据获取方式，确定对应的数据获取策略，利用多线程并发，进行目标数据的获取，实现了从数据库中快速有效获取目标数据的方案，可以提高数据处理平台的工作效率。

实施例二

图2是本发明实施例二提供的一种数据获取方法的流程图，本实施例在上述实施例的基础上，进一步对“响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求”进行详细的解释说明，如图2所示，该方法包括：

S201、响应于目标数据获取请求，确定待获取数据的数据获取方式。

其中，数据获取方式包括：非实时获取方式和实时获取方式。

可选的，可以对目标数据获取请求进行分析，确定待获取数据的类型，若待获取数据的类型为历史数据，即记录时间处于历史时间段，则可以确定待获取数据的数据获取方式为非实时获取方式，若待获取数据的类型为台账页面数据等需要实时获取的数据，则可以确定待获取数据的数据获取方式为实时获取方式。

S202、若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，确定目标数据获取任务和至少两个指标。

其中，指标是指数据的索引指标。指标包括如下至少一项：数据接入方式、索引日志发送分区网段以及索引所属系统。数据接入方式是指基于不同数据传送工具接入数据的方式。数据接入方式可以包括嵌入式框架接入方式、外挂式采集组件接入方式以及UDP(User Datagram Protocol，用户数据报协议)报文发送方式接入方式等。数据传送工具可以包括Filebeat(日志文件(收集文件数据))、Flume(日志收集系统)、Logback(开源日志组件)、Log4j(日志软件)、Log4net(帮助程序员将日志信息输出到各种目标(控制台、文件、数据库等)的工具)以及UDP等。

可选的，可以根据数据获取请求中目标获取数据的相关信息，生成目标数据获取任务，根据目标数据获取任务，基于预设的规则，确定至少两个指标，具体的，可以根据目标数据获取任务目标获取数据的不同维度，确定至少两个指标。

示例性的，若目标数据获取任务为获取A班级学生的学号和姓名，则可以根据学号和姓名这两个维度，确定两个指标为学号和姓名。

S203、根据指标的数量，将目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求。

其中，子任务的数量与指标的数量相同。

示例性的，若目标数据获取任务为获取A班级学生的学号和姓名，且两个指标为学号和姓名，则可以根据这两个指标，将目标数据获取任务划分为两个子任务，子任务1为按照学号索引，获取A班级学生的学号数据，子任务2为按照姓名索引，获取A班级学生的姓名数据。

可选的，划分各子任务之后，可以根据各子任务的内容，以及各子任务目标获取数据所在的数据库集群，为每个子任务生成对应的备选数据获取请求。

S204、根据备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据。

S205、根据至少两个备选数据，确定目标获取数据。

本发明实施例的技术方案，响应于目标数据获取请求，先确定待获取数据的数据获取方式，在数据获取方式为非实时获取的情况下，根据目标数据获取请求，确定目标数据获取任务和至少两个指标，根据指标的数量，将目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求，最后利用至少两个工作线程从对应的ES集群获取备选数据并确定目标获取数据。通过这样的方式，给出了数据获取方式为非实时获取时，如何生成至少两个备选数据获取请求的一种可实施方式，可以更好的对目标数据获取任务进行划分，确定出准确的备选数据获取请求，便于后续生成准确的目标获取数据，提高大数据处理平台的工作效率。

实施例三

图3是本发明实施例三提供的一种数据获取方法的流程图，本实施例在上述实施例的基础上，进一步对待获取数据的数据获取方式为实时获取时，如何进行数据的获取的过程进行详细的解释说明，如图3所示，该方法包括：

S301、响应于目标数据获取请求，若待获取数据的数据获取方式为实时获取，则确定待获取数据关联的至少两个数据源。

其中，数据源是指数据来源的数据库集群。数据源可以包括ES集群和DB(database)集群。DB集群是DB数据库中的数据库集群。

可选的，当大数据平台接收到浏览器端发送的台账页面加载请求时，可以自动生成实时的目标数据获取请求，此时由于页面数据是需要实时性的从不同的数据源获取的，因此待获取数据的数据获取方式为实时获取。

可选的，若待获取数据的数据获取方式为实时获取，则可以根据目标数据获取请求中的目标获取数据的相关信息，在预设的数据与存储对应数据的数据库集群一一对应的表中进行查询，确定目标获取数据对应的至少数据库集群，根据数据库集群的类型，确定至少两个数据源。

S302、针对每个数据源，确定至少两个工作线程。

可选的，确定待获取数据关联的至少两个数据源之后，可以在线程池中为每个数据源建立至少两个工作线程，即针对每个数据源，均利用至少两个工作线程来从该数据源的数据库集群中获取数据。

S303、控制至少两个工作线程并发执行聚合、查询或选择操作，并获取各工作线程反馈的至少两个备选数据。

其中，聚合是指sql语句的方式进行字段值聚合的操作，即aggs语句。查询是指sql语句查询的方式对字段值进行的操作，即query语句。选择是指sql语句筛选的方式对字段值进行的操作，即select语句。

可选的，控制至少两个工作线程并发执行聚合、查询或选择操作，并获取各工作线程反馈的至少两个备选数据，包括：利用CountDownLatch计数器，在检测到至少两个工作线程并发执行聚合、查询或选择操作完毕的情况下，获取各工作线程反馈的至少两个备选数据。其中，CountDownLatch是指用于计数N个线程中完成任务的线程个数的计数器。

可选的，针对每个数据源，确定至少两个工作线程之后，可以确定出需要并发执行的工作线程的数量，根据各工作线程需要执行的操作，控制至少两个工作线程并发执行相应的操作，虽然各个工作线程同时开始执行操作，但不同的操作，所需的执行时间不同，因此可以利用CountDownLatch计数器，在每个工作线程执行完毕时，令CountDownLatch计数器加1，直至计数器记录的数量与需要并发执行的工作线程的数量相同，此时认为检测到至少两个工作线程并发执行聚合、查询或选择操作完毕，获取每个工作线程执行完毕是得到的反馈数据，即获取各工作线程反馈的至少两个备选数据。

S304、根据至少两个备选数据，确定目标获取数据。

可选的，可以对至少两个备选数据执行处理操作，生成目标获取数据，即确定目标获取数据。其中，处理操作包括合并和/或筛选操作。具体的，对至少两个备选数据执行合并和/或筛选操作，生成目标获取数据的过程在上述实施例已进行详细解释，在此不进行赘述。

本发明实施例的技术方案，响应于目标数据获取请求，若待获取数据的数据获取方式为实时获取，则确定待获取数据关联的至少两个数据源，针对每个数据源，确定至少两个工作线程，控制至少两个工作线程并发执行聚合、查询或选择操作，并获取各工作线程反馈的至少两个备选数据，最后根据至少两个备选数据，确定目标获取数据。通过这样的方式，给出了在数据获取方式为实时获取时，从不同的数据源获取备选数据从而确定目标获取数据的一种可实施方式，可以更好的确定出准确的备选数据，从而生成准确的目标获取数据，提高大数据处理平台的工作效率。

实施例四

图4A是本发明实施例四提供的一种数据获取方法的流程图，图4B是本发明实施例四提供的一种数据获取方法的流程图。本实施例在上述实施例的基础上，分别给出了数据获取方式为实时获取和非实时获取时，大数据平台如何利用多线程并发，进行数据获取的优选实例。

示例性的，如图4A所示，对于需要非实时获取的数据，进行数据获取的方法包括如下过程：大数据平台使可以用java和ES提供的restful API进行数据采集和处理。

具体的，可以先创建一个主线程，进行目标数据获取任务的生成，然后针对每个索引的数据(即根据指标)，将目标数据获取任务封装成至少两个Runnable(即子任务)，如子任务1、子任务2和子任务3，可以根据索引数据所属的ES集群设置一个递增的任务编号，具体可以针对每个ES集群的索引在每个任务Runnable中设置一个递增且不重复的值。同时启动一个固定大小的线程池，其中核心线程数和最大线程数都设置为ES集群的个数。线程池开始运行前，先将count为1、2和3的子任务(即子任务1、子任务2和子任务3)提交到对应的工作线程Thread中。然后在根据索引名称(指标)向对应的ES集群发送备选数据获取请求之前，需要先获取各ES集群对应的锁。

可选的，设置锁的方式为：在线程池中设置一个HashMap类型的锁池，这是控制单个ES集群串行数据获取的关键。只有获取了ES集群对应的锁，工作线程Thread才能将访问请求发送至ES集群进而获取查询或者聚合结果。例如，ES集群1对应的锁为HashMap内锁1，ES集群2对应的锁为HashMap内锁2，ES集群3对应的锁为HashMap内锁3。将各工作线程获取的子任务数据即备选数据进行处理，即可确定目标获取数据。

示例性的，如图4B所示，对于浏览器端向大数据平台的各服务器发送台账页面加载请求，实时获取数据的情况，具体进行数据获取的方法包括如下过程：大数据平台可以接收浏览器端发送的台账页面加载请求(即请求获取页面数据的数据获取请求)，根据请求的内容，确定关联的数据源个数，调用相应个数的服务器，如服务器1和服务器2，分别用于从不同的数据源获取备选数据，对于ES集群数据源，服务器1可以在线程池同时调用工作线程1和工作线程2，分别执行查询和聚合操作，即向ES集群发送查询请求和聚合请求，并根据对应的查询反馈和聚合反馈，确定备选数据1和备选数据2。对于DB集群数据源，服务器2可以在线程池同时调用工作线程3和工作线程4，分别执行选择(select)操作，即向DB集群发送对应的选择请求，并根据对应的选择反馈，确定备选数据3和备选数据4。将各工作线程获取的备选数据进行处理，即可确定目标获取数据。

本发明实施例的技术方案，通过根据数据获取请求确定数据获取方式，进一步根据数据不同的获取方式，确定对应的数据获取策略，利用多线程并发，进行目标数据的获取，实现了从数据库中快速有效获取目标数据的方案，提高了数据获取方式分丰富性，提升了数据处理平台的工作效率。

实施例五

图5是本发明实施例五提供的一种数据获取装置的结构图，本发明实施例所提供的一种数据获取装置可执行本发明任一实施例所提供的一种数据获取方法，具备执行方法相应的功能模块和有益效果。

如图5所示，该装置包括：

生成模块501，用于响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求；

第一获取模块502，用于根据所述备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据；

第一数据确定模块503，用于根据所述至少两个备选数据，确定目标获取数据。

本发明实施例的技术方案，响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求，根据备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据，根据至少两个备选数据，确定目标获取数据。通过根据数据获取请求确定数据获取方式，进一步根据数据的获取方式，确定对应的数据获取策略，利用多线程并发，进行目标数据的获取，实现了从数据库中快速有效获取目标数据的方案，可以提高数据处理平台的工作效率。

进一步的，生成模块501具体用于：

响应于目标数据获取请求，确定待获取数据的数据获取方式；所述数据获取方式包括：非实时获取方式和实时获取方式；

若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，确定目标数据获取任务和至少两个指标；

根据所述指标的数量，将所述目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求。

进一步的，指标包括如下至少一项：数据接入方式、索引日志发送分区网段以及索引所属系统。

进一步的，第一获取模块502具体用于：

根据所述备选数据获取请求，确定各子任务对应的ES集群编号和HashMap内锁编号；

根据所述子任务的数量，确定需要调用的工作线程数量；

根据所述ES集群编号和所述HashMap内锁编号，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取备选数据。

进一步的，上述装置还包括：

数据源确定模块，用于响应于目标数据获取请求，若待获取数据的数据获取方式为实时获取，则确定待获取数据关联的至少两个数据源；

线程确定模块，用于针对每个数据源，确定至少两个工作线程；

第二获取模块，用于控制至少两个工作线程并发执行聚合、查询或选择操作，并获取各工作线程反馈的至少两个备选数据；

第二数据确定模块，用于根据所述至少两个备选数据，确定目标获取数据。

进一步的，第二获取模块具体用于：

利用CountDownLatch计数器，在检测到至少两个工作线程并发执行聚合、查询或选择操作完毕的情况下，获取各工作线程反馈的至少两个备选数据。

进一步的，第一数据确定模块503具体用于：

对所述至少两个备选数据执行处理操作，生成目标获取数据；所述处理操作包括合并和/或筛选操作。

实施例六

图6是本发明实施例六提供的电子设备的结构示意图。图6示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据获取方法。

在一些实施例中，数据获取方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据获取方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据获取方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据获取方法，其特征在于，包括：

响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求；

根据所述备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据；

根据所述至少两个备选数据，确定目标获取数据。

2.根据权利要求1所述的方法，其特征在于，响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求，包括：

响应于目标数据获取请求，确定待获取数据的数据获取方式；所述数据获取方式包括：非实时获取方式和实时获取方式；

若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，确定目标数据获取任务和至少两个指标；

根据所述指标的数量，将所述目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求。

3.根据权利要求2所述的方法，其特征在于，其中，指标包括如下至少一项：数据接入方式、索引日志发送分区网段以及索引所属系统。

4.根据权利要求1所述的方法，其特征在于，根据所述备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据，包括：

根据所述备选数据获取请求，确定各子任务对应的ES集群编号和HashMap内锁编号；

根据所述子任务的数量，确定需要调用的工作线程数量；

根据所述ES集群编号和所述HashMap内锁编号，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取备选数据。

5.根据权利要求1所述的方法，其特征在于，还包括：

响应于目标数据获取请求，若待获取数据的数据获取方式为实时获取，则确定待获取数据关联的至少两个数据源；

针对每个数据源，确定至少两个工作线程；

控制至少两个工作线程并发执行聚合、查询或选择操作，并获取各工作线程反馈的至少两个备选数据；

根据所述至少两个备选数据，确定目标获取数据。

6.根据权利要求5所述的方法，其特征在于，控制至少两个工作线程并发执行聚合、查询或选择操作，并获取各工作线程反馈的至少两个备选数据，包括：

利用CountDownLatch计数器，在检测到至少两个工作线程并发执行聚合、查询或选择操作完毕的情况下，获取各工作线程反馈的至少两个备选数据。

7.根据权利要求1所述的方法，其特征在于，根据所述至少两个备选数据，确定目标获取数据，包括：

对所述至少两个备选数据执行处理操作，生成目标获取数据；所述处理操作包括合并和/或筛选操作。

8.一种数据获取装置，其特征在于，包括：

生成模块，用于响应于目标数据获取请求，若待获取数据的数据获取方式为非实时获取方式，则根据目标数据获取请求，将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务，并为每个子任务生成对应的备选数据获取请求；

第一获取模块，用于根据所述备选数据获取请求，并发控制至少两个工作线程基于对应的HashMap内锁，将各子任务对应的备选数据获取请求发送至对应的ES集群，获取至少两个备选数据；

第一数据确定模块，用于根据所述至少两个备选数据，确定目标获取数据。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据获取方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据获取方法。

Images