CN118245507A - 数据读取方法、装置、计算机设备、存储介质 - Google Patents

Abstract

本公开涉及一种数据读取方法、装置、计算机设备、存储介质和计算机程序产品，涉及大数据数据读取技术领域。所述方法包括：响应于业务数据处理请求，基于业务数据处理请求从预先配置好的缓存库的缓存集中读取业务数据；响应于缓存集中未存在与业务数据处理请求相匹配的业务数据，基于业务数据处理请求，从预先配置好的缓存库中的第一缓存数据库中读取业务数据，第一缓存数据库为列式数据库；响应于第一缓存数据库中未存在与业务数据处理请求相匹配的业务数据，从预先配置好的缓存库中的第二缓存数据库中读取业务数据。采用本方法能够提高业务处理效率。

Description

数据读取方法、装置、计算机设备、存储介质

技术领域

本公开涉及大数据数据读取技术领域，特别是涉及一种数据读取方法、装置、计算机设备、存储介质。

背景技术

随着数据的发展，获取第三方的外部数据能够满足不同业务的需求，从而来保证各类业务的稳定运行。在获取外部数据后，需要对外部数据进行缓存。目前传统技术中会通过Redis或者Elasticsearch来进行数据缓存；来达到数据缓存的目的。

传统技术中，会直接请求第三方，将所需的外部数据获取，然后响应获取外部数据的结果，根据响应结果将外部数据缓存。然而，传统技术中当某些第三方处理效率过慢，会导致响应时间过长，从而影响实时的业务处理。对于相同的数据请求，会重复调用第三方，产生多余的资源消耗，若第三方此时处理其他业务数据，则可能会导致重复调用的请求延迟处理，从而降低实时的业务处理效率。

发明内容

基于此，有必要针对上述技术问题，提供一种不会导致重复调用的请求延迟处理，从而提高实时的业务处理效率的数据读取方法、装置、计算机设备、存储介质。

第一方面，本公开提供了一种数据读取方法。所述方法包括：

响应于业务数据处理请求，基于所述业务数据处理请求从预先配置好的缓存库的缓存集中读取业务数据；其中，所述缓存库包括采用下述方式得到：按照预设的缓存规则将外部数据存储在第一缓存数据库中，并将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；针对于所述第一缓存数据库中满足预设条件的外部数据，将所述满足预设条件的外部数据存储在第二缓存数据库中；基于第一缓存数据库、第二缓存数据库和缓存集得到缓存库；

响应于所述缓存集中未存在与所述业务数据处理请求相匹配的业务数据，基于所述业务数据处理请求，从预先配置好的缓存库中的第一缓存数据库中读取业务数据；

响应于所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，从预先配置好的缓存库中的第二缓存数据库中读取业务数据。

在其中一个实施例中，所述将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中，包括：

在所述第一缓存数据库中的外部数据的数据量小于预设数据量阈值的情况下，将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；

在所述第一缓存数据库中的外部数据的数据量大于预设数据量阈值的情况下，筛选所述第一缓存数据库中的外部数据，得到与业务处理需求相关联的外部数据；

将所述与业务处理需求相关联的外部数据按照缓存规则存储到缓存集中。

在其中一个实施例中，所述方法还包括：

在所述与业务处理需求相关联的外部数据的数据量仍大于预设数据量阈值的情况下，按照业务处理场景，将与所述业务处理需求相关联的外部数据存储到多个缓存集中。

在其中一个实施例中，所述按照预设的缓存规则将外部数据存储在第一缓存数据库中之后，所述方法还包括：

记录所述外部数据存储第一缓存数据库中的失败数据；

经预设的第一时间后，将所述失败数据重新存储至第一缓存数据库中，直至将所述失败数据成功存储到第一缓存数据库中；

在不存在失败数据的情况下，重新将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中以及将所述满足预设条件的外部数据存储在第二缓存数据库中。

在其中一个实施例中，所述将所述满足预设条件的外部数据存储在第二缓存数据库中，包括：

将满足预设条件的外部数据进行数据库落库，存储在第二缓存数据库中，其中，所述第二缓存数据库与所述第一缓存数据库为不相同的数据库。

在其中一个实施例中，所述方法还包括：

响应于第二次接收到所述业务数据处理请求，确定第一次与所述业务数据处理请求相匹配的业务数据在所述缓存库中的存储位置；

基于所述存储位置，获取所述业务数据。

在其中一个实施例中，所述方法还包括：

经预设的第二时间后，清理所述缓存集中的外部数据，重新生成所述缓存库；或者，响应于所述第一缓存数据库、缓存集、所述第二缓存数据库中至少一个存储数据的数据容量达到容量阈值，清理达到容量阈值的第一缓存数据库、缓存集或所述第二缓存数据库，重新生成所述缓存库。

第二方面，本公开还提供了一种数据读取装置。所述装置包括：

第一读取模块，用于响应于业务数据处理请求，基于所述业务数据处理请求从预先配置好的缓存库的缓存集中读取业务数据；其中，所述缓存库包括采用下述方式得到：按照预设的缓存规则将外部数据存储在第一缓存数据库中，并将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；针对于所述第一缓存数据库中满足预设条件的外部数据，将所述满足预设条件的外部数据存储在第二缓存数据库中；基于第一缓存数据库、第二缓存数据库和缓存集得到缓存库；

第二读取模块，用于响应于所述缓存集中未存在与所述业务数据处理请求相匹配的业务数据，基于所述业务数据处理请求，从预先配置好的缓存库中的第一缓存数据库中读取业务数据；

第三读取模块，用于响应于所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，从预先配置好的缓存库中的第二缓存数据库中读取业务数据。

在其中一个实施例中，所述第一读取模块包括：缓存集数据存储模块，用于在所述第一缓存数据库中的外部数据的数据量小于预设数据量阈值的情况下，将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；在所述第一缓存数据库中的外部数据的数据量大于预设数据量阈值的情况下，筛选所述第一缓存数据库中的外部数据，得到与业务处理需求相关联的外部数据；将所述与业务处理需求相关联的外部数据按照缓存规则存储到缓存集中。

在其中一个实施例中，所述缓存集数据存储模块，还用于在所述与业务处理需求相关联的外部数据的数据量仍大于预设数据量阈值的情况下，按照业务处理场景，将与所述业务处理需求相关联的外部数据存储到多个缓存集中。

在其中一个实施例中，所述装置还包括：失败数据记录模块，用于记录所述外部数据存储第一缓存数据库中的失败数据；

失败数据存储模块，用于经预设的第一时间后，将所述失败数据重新存储至第一缓存数据库中，直至将所述失败数据成功存储到第一缓存数据库中；

缓存库处理模块，用于在不存在失败数据的情况下，重新将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中以及将所述满足预设条件的外部数据存储在第二缓存数据库中。

在其中一个实施例中，所述第一读取模块包括：第二缓存数据库存储模块，用于将满足预设条件的外部数据进行数据库落库，存储在第二缓存数据库中，其中，所述第二缓存数据库与所述第一缓存数据库为不相同的数据库。

在其中一个实施例中，所述装置还包括：请求二次处理模块，用于响应于第二次接收到所述业务数据处理请求，确定第一次与所述业务数据处理请求相匹配的业务数据在所述缓存库中的存储位置；基于所述存储位置，获取所述业务数据。

在其中一个实施例中，所述装置包括：数据清理模块，用于经预设的第二时间后，清理所述缓存集中的外部数据，重新生成所述缓存库；或者，响应于所述第一缓存数据库、缓存集、所述第二缓存数据库中至少一个存储数据的数据容量达到容量阈值，清理达到容量阈值的第一缓存数据库、缓存集或所述第二缓存数据库，重新生成所述缓存库。

第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法实施例中的步骤。

第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例中的步骤。

第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法实施例中的步骤。

上述各实施例中，基于业务数据处理请求先从缓存库的缓存集中读取业务数据。从缓存集中读取数据的速度通常比从数据库中读取数据的速度要快，因此，先从缓存集中读取能够提高业务数据的读取速度，从而提高效率。另外，按照预设的缓存规则将外部数据存储在第一缓存数据库中，并将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中，以及将所述满足预设条件的外部数据存储在第二缓存数据库中。最终基于第一缓存数据库、第二缓存数据库和缓存集得到缓存库。由于缓存集中的数据和第二缓存数据库中的数据是第一缓存数据库中的，因此能够保证外部数据的一致性，从而保证业务处理的准确性。当缓存集中未存在与所述业务数据处理请求相匹配的业务数据从第一缓存数据库中读取业务数据，由于第一缓存数据库为列式数据库，因此，相较于其他数据库读取业务数据的速度更快。而所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，从预先配置好的缓存库中的第二缓存数据库中读取业务数据。在第一缓存数据库和缓存集中不存在匹配的外部数据时，可以利用第二缓存数据库中存储满足预设条件的外部数据进行兜底，从而来提高业务数据处理的成功率。由于使用缓存库进行处理，因此，在存在重复调用的请求时，不会重复请求第三方，从而提高业务的处理效率。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中数据读取方法的应用环境示意图；

图2为一个实施例中数据读取方法的流程示意图；

图3为一个实施例中外部数据存储到缓存集的步骤的流程示意图；

图4为一个实施例中将外部数据存储在第一缓存数据库中之后的流程示意图；

图5为一个实施例中缓存库构建过程的流程示意图；

图6为一个实施例中数据读取过程的流程示意图；

图7为一个实施例中数据读取装置的结构框示意图；

图8为一个实施例中计算机设备的内部结构示意图。

具体实施方式

为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。

需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

正如背景技术所述，在业务处理中，需要获取第三方机构、私人企业或者各种机关单位中提供的数据，给各种业务项目或者业务方提供数据支持，以便在数据可靠的前提下能够办理更多元化的业务。例如，楼盘数据能够帮助业务知晓各地房价波动，租售比，出租屋价格等，能够帮助金融机构了解地区房地产价格，进而对贷款额度进行调整。因而外部数据服务接入的稳定、安全、高效就显得越发重要。对于一些拥有大需求量访问的应用场景有一些第三方难以满足该应用场景，会导致整体响应时间过长。因此，可以将第三方的数据进行缓存，从而来保证更加高效、安全、稳定的维持各类业务的运行。

外部数据接入的过程为：业务方提出业务需求，根据业务需求寻找对应的数据的第三方供应商。与第三方供应商签订合同。然后根据第三方提供的接口文档确定第三方数据的接入模式。接入模式包括：实时连接获取；大批量数据获取，进行ETL数据处理；交易带附件文件异步下载，上传清单；异步数据获取推送。其中，实时连接获取外部是较为重要的一部分。然而，在实时连接获取外部数据的过程中，由于部分第三方提供的接口可能会出现时效性差、或者重复调用第三方接口来获取相同的数据，导致获取数据的速度过慢，会降低业务处理的效率。

因此，为解决上述问题，本公开实施例提供了一种数据读取方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与缓存服务器104进行通信。缓存服务器104与外部数据服务器106进行通信。响应于业务数据处理请求，终端102可以基于业务数据处理请求从预先配置好的缓存服务器104的缓存库的缓存集中读取业务数据。缓存库可以是缓存服务器104采用下述方法得到的：按照预设的缓存规则将外部数据服务器106中的外部数据存储在第一缓存数据库中，并将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；针对于所述第一缓存数据库中满足预设条件的外部数据，将所述满足预设条件的外部数据存储在第二缓存数据库中；基于第一缓存数据库、第二缓存数据库和缓存集得到缓存库。响应于所述缓存集中未存在与业务数据处理请求相匹配的业务数据，终端102基于所述业务数据处理请求，从预先配置好的缓存服务器104的缓存库中的第一缓存数据库中读取业务数据。响应于所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，终端102从预先配置好的缓存服务器104的缓存库中的第二缓存数据库中读取业务数据。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。缓存服务器104和外部服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

作为另一种应用场景，可以理解的是，该方法也可以应用于缓存服务器，并通过缓存服务器104和外部数据服务器106的交互实现。响应于业务数据处理请求，缓存服务器104基于所述业务数据处理请求从预先配置好的缓存库的缓存集中读取业务数据。响应于所述缓存集中未存在与所述业务数据处理请求相匹配的业务数据，缓存服务器104基于所述业务数据处理请求，从预先配置好的缓存库中的第一缓存数据库中读取业务数据。响应于所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，缓存服务器104从预先配置好的缓存库中的第二缓存数据库中读取业务数据。

在一个实施例中，如图2所示，提供了一种数据读取方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：

S202，响应于业务数据处理请求，基于所述业务数据处理请求从预先配置好的缓存库的缓存集中读取业务数据；其中，所述缓存库包括采用下述方式得到：按照预设的缓存规则将外部数据存储在第一缓存数据库中，并将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；针对于所述第一缓存数据库中满足预设条件的外部数据，将所述满足预设条件的外部数据存储在第二缓存数据库中；基于第一缓存数据库、第二缓存数据库和缓存集得到缓存库。

其中，业务数据处理请求是指根据业务需求，发送的请求以执行特定的业务数据处理操作的请求。这些请求可以包括读取、修改、添加或删除业务数据等操作。业务数据可以是业务相关的数据，根据业务需求不同，业务数据也不同。例如，对于存款业务，业务数据可以包括客户信息、存款信息、存款时间等等。对于购买理财产品业务，业务数据可以包括：理财产品的类型、理财产品的收益率、持有理财产品的时间等等。第一缓存数据库可以是Hbase数据库。HBase是一个开源的分布式、可扩展、面向列的NoSQL数据库系统，即列式数据库。HBase适用于需要存储超大规模数据并具备快速随机读写能力的场景。缓存集可以是redis。第二缓存数据库可以是结构化数据库。该第二缓存数据库可以是兜底数据库。兜底数据库指在缓存失效或缓存未命中时，作为备用方案从中获取数据的数据库。兜底数据库通常用于保证系统的可靠性和数据的一致性，当缓存中的数据不可用时，可以从兜底数据库中获取数据，避免系统出现数据不一致或错误的情况。兜底数据库通常是一个备用的、可靠的数据库，数据一致性和完整性得到保障。在实际应用中，可以根据业务需求选择合适的兜底数据库，例如主数据库、备份数据库、镜像数据库等。当缓存中的数据失效或不可用时，系统会自动从兜底数据库中获取数据，确保系统正常运行并提供正确的数据。兜底数据库的引入可以提高系统的可靠性和容错性，避免因缓存失效或未命中导致的数据异常情况。同时，兜底数据库也可以作为数据的备份和恢复方案，在系统出现异常或故障时提供数据的备用方案。结构化数据库是一种使用表格（也称为关系）来组织和存储数据的数据库。它是基于关系模型的数据库管理系统（DBMS）的一种实现。在结构化数据库中，数据被组织为多个表格，每个表格包含多个行和列。每个表格都有一个唯一的名称，每一列都有一个名称和数据类型，而每一行则代表一个记录或实例。表格之间可以通过共享的列值建立关系，从而实现数据之间的关联性。缓存规则可以是用于确定何时缓存数据、如何存储缓存数据的策略。这些规则通常由服务器或应用程序开发人员在处理网络请求时定义，以提高性能和减少网络流量。缓存规则可以包括：从外部数据服务器中读取最新外部数据并更新缓存的时间、每次缓存外部数据的数据量等等。根据不同的应用场景，本领域技术人员可以灵活的设置缓存规则，在本公开的一些实施例中不对缓存规则进行限制。预设条件通常可以是筛选外部数据中较为重要数据的条件。例如，外部数据中包括时间信息、地点信息，还有一些其他类型的信息，则时间信息、地点信息可以认为是重要数据满足预设条件。需要说明的是，根据不同的应用场景，本领域技术人员可以设置不同的预设条件来筛选重要数据。

具体地，响应于业务数据处理请求。终端可以根据业务数据请求先在预先配置好的缓存库的缓存集中读取业务数据。先从缓存集中读取数据通常比从数据库中读取数据速度更快，因为缓存通常位于内存中，数据的读取速度更快，而数据库中的数据需要通过磁盘IO等操作，速度相对较慢。因此，在接收到业务数据处理请求时，为了提高处理速度，可以先从缓存集中读取数据。

S204，响应于所述缓存集中未存在与所述业务数据处理请求相匹配的业务数据，基于所述业务数据处理请求，从预先配置好的缓存库中的第一缓存数据库中读取业务数据。

具体地，当根据业务数据处理请求未在缓存集中找到相匹配的业务数据时，此时可能出现两种情况，第一种情况，缓存集中缓存的数据丢失。第二种情况，缓存集中由于缓存容量的限制，并未缓存业务数据。上述两种情况下均可能会出现未存在业务数据处理请求相匹配的业务数据的情况。当缓存集中未存在与业务数据处理请求相匹配的业务数据时，可以基于业务数据处理请求在第一缓存数据库中读取业务数据。由于第一缓存数据库为Hbase数据库，因此相较于第二缓存数据库，从第一缓存数据库读取数据的速度更快。

S206，响应于所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，从预先配置好的缓存库中的第二缓存数据库中读取业务数据。

具体地，当第一缓存数据库中仍未存在与业务数据处理请求相匹配的业务数据时，可能是由于第一缓存数据库出现了故障，导致存储的数据丢失。由于第二缓存数据库是兜底数据库，此时可以从第二缓存数据库中读取业务数据。

上述数据读取方法中，基于业务数据处理请求先从缓存库的缓存集中读取业务数据。从缓存集中读取数据的速度通常比从数据库中读取数据的速度要快，因此，先从缓存集中读取能够提高业务数据的读取速度，从而提高效率。另外，按照预设的缓存规则将外部数据存储在第一缓存数据库中，并将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中，以及将所述满足预设条件的外部数据存储在第二缓存数据库中。最终基于第一缓存数据库、第二缓存数据库和缓存集得到缓存库。由于缓存集中的数据和第二缓存数据库中的数据是第一缓存数据库中的，因此能够保证外部数据的一致性，从而保证业务处理的准确性。当缓存集中未存在与所述业务数据处理请求相匹配的业务数据从第一缓存数据库中读取业务数据，由于第一缓存数据库为列式数据库，因此，相较于其他数据库读取业务数据的速度更快。而所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，从预先配置好的缓存库中的第二缓存数据库中读取业务数据。在第一缓存数据库和缓存集中不存在匹配的外部数据时，可以利用第二缓存数据库中存储满足预设条件的外部数据进行兜底，从而来提高业务数据处理的成功率。由于使用缓存库进行处理，因此，在存在重复调用的请求时，不会重复请求第三方，从而提高业务的处理效率。

在一个实施例中，如图3所示，所述将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中，包括：

S302，在所述第一缓存数据库中的外部数据的数据量小于预设数据量阈值的情况下，将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中。

具体地，在外部数据缓存在缓存库的过程中。为了保证数据的一致性，可以先将第一缓存数据库中的外部数据按照缓存规则存储到缓存集中。然而，通常情况下，缓存集中可缓存的数据的容量是有限的，因此在第一缓存数据库中的外部数据的数据量小于预设数据量阈值的情况下，由于外部数据的数据量较小，因此可以将第一缓存数据库中的外部数据按照缓存规则全都存储到缓存集中。

S304，在所述第一缓存数据库中的外部数据的数据量大于预设数据量阈值的情况下，筛选所述第一缓存数据库中的外部数据，得到与业务处理需求相关联的外部数据。

其中，根据不同的应用场景，业务处理需求也不同。例如在统计某个地区内贷款人口的数量，则业务处理需求相关联的外部数据可以包括如下几个内容：地区信息、贷款信息、人口信息。又例如，统计某个时间段内贷款的金额，则业务处理需求相关联的外部数据可以包括如下几个内容：时间信息、贷款金额。

具体地，在第一缓存数据库中的外部数据的数据量大于预设数据量阈值的情况下，由于缓存集中存储的数据容量有限，因此，在外部数据的数据量过大的情况下，可以对第一缓存数据库中的外部数据进行筛选，保留与业务处理需求相关联的外部数据。

S306，将所述与业务处理需求相关联的外部数据按照缓存规则存储到缓存集中。

具体地，可以将与业务处理需求相关联的外部数据按照缓存规则存储到缓存集中。

本实施例中，按照第一缓存数据库中的外部数据的数据量进行处理，在数据量大于预设数据量阈值的情况下，对外部数据进行筛选，能够保留与业务处理需求相关联的外部数据，从而提高业务数据处理的成功率，降低无用的外部数据的存储空间。

在一个实施例中，所述方法还包括：在所述与业务处理需求相关联的外部数据的数据量仍大于预设数据量阈值的情况下，按照业务处理场景，将与所述业务处理需求相关联的外部数据存储到多个缓存集中。

其中，业务处理场景可以包括：对贷款金额进行处理的场景，对贷款人信息进行处理的场景，对订单、人员信息等进行处理场景，对不同时间下处理的场景。

具体地，对第一缓存数据库中的外部数据进行筛选后，若筛选后得到的与业务处理需求相关联的外部数据的数据量仍大于预设数据量阈值，则需要进一步的对与业务处理需求相关联的外部数据进行处理。可以按照业务处理场景，将与业务处理需求相关联的外部数据进行分类，从而将分类后的每类与业务处理需求相关联的外部数据存储到缓存集中。

在一些示例性的实施例中，例如业务处理场景包括：对不同时间下的信息处理的场景，对不同人员处理的场景。可以提取与业务处理需求相关联的外部数据中含有时间信息的外部数据，将含有时间信息的外部数据存储到A缓存集中。提取与业务处理需求相关联的外部数据中含有人员信息的外部数据，将含有人员信息的外部数据存储到B缓存集中。可以理解的是，上述仅用于举例说明。

在本实施例中，按照业务处理场景对外部数据进行分类，能够减少每个缓存集中存储的外部数据的数据量，也能够在提取业务数据时，根据业务处理场景选择合适的缓存集，从而提高业务数据的处理速度。

在一个实施例中，如图4所示，所述按照预设的缓存规则将外部数据存储在第一缓存数据库中之后，所述方法还包括：

S402，记录所述外部数据存储第一缓存数据库中的失败数据。

S404，经预设的第一时间后，将所述失败数据重新存储至第一缓存数据库中，直至将所述失败数据成功存储到第一缓存数据库中。

S406，在不存在失败数据的情况下，重新将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中以及将所述满足预设条件的外部数据存储在第二缓存数据库中。

具体地，在按照预设的缓存规则将外部数据存储到第一缓存数据库的过程中，若存储过程中存在存储失败的外部数据（例如网络波动，资源不足等情况导致的数据存储失败），则可以记录该存储失败的失败数据。间隔一段时间后，例如经过预设的第一时间后，重新将失败数据存储到第一缓存数据库中，直至将该失败数据成功存储到第一缓存数据中。在将失败数据全部成功存储到第一缓存数据库中之后，不存在失败数据的情况下，可以确定第一缓存数据库已经将当前外部数据全部存储了。此时可以重新将第一缓存数据库中的外部数据按照缓存规则存储到缓存集中，以及将满足预设条件的外部数据存储在第二缓存数据库中。需要说明的是，在此之外，为了避免数据的重复存储，可以将缓存集中的数据和第二缓存数据库中的外部数据清空。

在一些示例性的实施例中，例如将外部数据存储到第一缓存数据库的过程中外部数据A存储失败，此时A确定为失败数据。经过1小时后，将失败数据A重新存储到第一缓存数据库中，若此时失败数据A中还存在A1存储失败，则由于还存在失败数据。可以再次经过1小时后，重新将A1失败数据存储到第一缓存数据库中，直至不存在失败数据。不存在失败数据后，先清空缓存集和第二缓存数据库中的数据，然后重新将第一缓存数据库中的外部数据存储到缓存集中，以及将第一缓存数据库中满足条件的外部数据存储到第二缓存数据库中。

在本实施例中，通过对失败数据进行重试，能够保证外部数据均成功存储，从而保证业务数据处理的成功率。

在一个实施例中，所述将所述满足预设条件的外部数据存储在第二缓存数据库中，包括：

将满足预设条件的外部数据进行数据库落库，存储在第二缓存数据库中，其中，所述第二缓存数据库与所述第一缓存数据库为不相同的数据库。

其中，数据库落库通常指的是将数据导入到第二缓存数据库中的过程。这个过程包括将数据从源系统提取、转换和加载到目标数据库中的过程，通常用于数据迁移、数据整合或数据备份等目的。由于第二缓存数据库为兜底数据库，因此通常第二缓存数据库是存储较为重要的数据。

具体地，在本公开的一些实施例中，第一缓存数据库主要存储的是热点的外部数据，即经常被访问和修改的外部数据。这样可以避免频繁地访问底层数据库，提高数据访问速度。而第二缓存数据库则用于存储满足预设条件的外部数据，即作为兜底数据库，存储较为重要的数据。这两者之间具有不同的数据存储特点和应用场景。在外部数据存储的过程中，当外部数据满足预设条件时，需要将这些满足预设条件的数据存储到第二缓存数据库中。这个过程称为数据库落库。数据库落库的目的是为了在需要时能够快速地访问和处理这些数据，从而提高数据处理效率。

在本实施例中，数据库落库适用于需要对数据进行预处理和转换的场景，由于第二缓存数据库为兜底数据库，因此区别于数据直接存储到数据库中可以提高第二缓存数据库中外部数据的质量和准确性。

在一个实施例中，所述方法还包括：

响应于第二次接收到所述业务数据处理请求，确定第一次与所述业务数据处理请求相匹配的业务数据在所述缓存库中的存储位置；

基于所述存储位置，获取所述业务数据。

具体地，由于第一次已经确定与业务处理数据请求相匹配的业务数据所在的位置（缓存集、第一缓存数据库或者第二缓存数据库中）。因此，当第二次接收到该业务数据处理请求时，可以根据第一次确定的业务数据所在的存储位置，直接来获取业务数据，从而无需进行匹配。

例如，A业务数据处理请求在第一次获取业务数据时是从第一缓存数据库中获取的。当第二次接收到A业务数据处理请求时，可以直接从第一缓存数据中获取该A业务数据处理请求对应的业务数据。

在本实施例中，当相同的业务数据处理请求出现第二次时，可以先获取处理第一次业务数据处理请求时获取业务数据的位置，然后第二次可以直接根据该位置获取业务数据，从而无需匹配，能够提高处理效率。

在一个实施例中，所述方法还包括：

经预设的第二时间后，清理所述缓存集中的外部数据，重新生成所述缓存库；或者，响应于所述第一缓存数据库、缓存集、所述第二缓存数据库中至少一个存储数据的数据容量达到容量阈值，清理达到容量阈值的第一缓存数据库、缓存集或所述第二缓存数据库，重新生成所述缓存库。

具体地，在经过第二时间后，由于缓存集中的无法存储较多的外部数据，为了释放缓存集中存储空间，也为了保证缓存集中的外部数据为最新的外部数据，因此可以先清理缓存集中的外部数据。然后按照上述实施例中提及的方式重新生成缓存库。或者，当第一缓存数据库、缓存集、第二缓存数据库有至少一个存储数据的数据容量达到容量阈值，则清理达到容量阈值的第一缓存数据库、缓存集或所述第二缓存数据库，然后重新生成缓存库。

更进一步的，当第一缓存数据库达到存储数据的数据容量达到容量阈值时，由于缓存集中无法存储较多的外部数据，因此同时也需要清理缓存集中的数据。

在本实施例中，通过清理第一缓存数据库、缓存集、第二缓存数据库中的数据，重新生成缓存库，能够保证缓存库中的外部数据为最新的数据，从而提高处理业务的准确性。

在一个实施例中，本公开实施例还提供了另一种数据读取方法，包括：缓存库构建过程和数据读取过程。

如图5所示，缓存库构建过程包括：

S502，向外部数据服务器输出数据获取请求，数据获取请求用于指示外部数据服务器输出外部数据。

S504，获取外部服务器输出的外部数据，按照预设的缓存规则将外部数据存储在第一缓存数据库中。

S506，记录所述外部数据存储第一缓存数据库中的失败数据。

S508，经预设的第一时间后，将所述失败数据重新存储至第一缓存数据库中，直至将所述失败数据成功存储到第一缓存数据库中。

S510，在不存在失败数据的情况下，以及在所述第一缓存数据库中的外部数据的数据量小于预设数据量阈值的情况下，将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中。

S512，在不存在失败数据的情况下，以及在所述第一缓存数据库中的外部数据的数据量大于预设数据量阈值的情况下，筛选所述第一缓存数据库中的外部数据，得到与业务处理需求相关联的外部数据。

S514，将所述与业务处理需求相关联的外部数据按照缓存规则存储到缓存集中。

S516，在所述与业务处理需求相关联的外部数据的数据量仍大于预设数据量阈值的情况下，按照业务处理场景，将与所述业务处理需求相关联的外部数据存储到多个缓存集中。

S518，针对于所述第一缓存数据库中满足预设条件的外部数据，将满足预设条件的外部数据进行数据库落库，存储在第二缓存数据库中，其中，所述第二缓存数据库与所述第一缓存数据库为不相同的数据库。

S520，基于第一缓存数据库、第二缓存数据库和缓存集得到缓存库。

如图6所示，数据读取过程包括：

S602，响应于业务数据处理请求，基于所述业务数据处理请求从预先配置好的缓存库的缓存集中读取业务数据。

S604，响应于所述缓存集中未存在与所述业务数据处理请求相匹配的业务数据，基于所述业务数据处理请求，从预先配置好的缓存库中的第一缓存数据库中读取业务数据。

S606，响应于所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，从预先配置好的缓存库中的第二缓存数据库中读取业务数据。

S608，响应于所述第二缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，输出错误提示，所述错误提示用于指示重新生成缓存库。

关于本实施例中的具体实施方式和限定可参见上述实施例，在此不进行重复赘述。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的数据读取方法的数据读取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据读取装置实施例中的具体限定可以参见上文中对于数据读取方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种数据读取装置700，包括：第一读取模块702、第二读取模块704和第三读取模块706，其中：

第一读取模块702，用于响应于业务数据处理请求，基于所述业务数据处理请求从预先配置好的缓存库的缓存集中读取业务数据；其中，所述缓存库包括采用下述方式得到：按照预设的缓存规则将外部数据存储在第一缓存数据库中，并将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；针对于所述第一缓存数据库中满足预设条件的外部数据，将所述满足预设条件的外部数据存储在第二缓存数据库中；基于第一缓存数据库、第二缓存数据库和缓存集得到缓存库。

第二读取模块704，用于响应于所述缓存集中未存在与所述业务数据处理请求相匹配的业务数据，基于所述业务数据处理请求，从预先配置好的缓存库中的第一缓存数据库中读取业务数据。

第三读取模块706，用于响应于所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，从预先配置好的缓存库中的第二缓存数据库中读取业务数据。

在所述装置的一个实施例中，所述第一读取模块702包括：缓存集数据存储模块，用于在所述第一缓存数据库中的外部数据的数据量小于预设数据量阈值的情况下，将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；在所述第一缓存数据库中的外部数据的数据量大于预设数据量阈值的情况下，筛选所述第一缓存数据库中的外部数据，得到与业务处理需求相关联的外部数据；将所述与业务处理需求相关联的外部数据按照缓存规则存储到缓存集中。

在所述装置的一个实施例中，所述缓存集数据存储模块，还用于在所述与业务处理需求相关联的外部数据的数据量仍大于预设数据量阈值的情况下，按照业务处理场景，将与所述业务处理需求相关联的外部数据存储到多个缓存集中。

在所述装置的一个实施例中，所述装置还包括：失败数据记录模块，用于记录所述外部数据存储第一缓存数据库中的失败数据；

失败数据存储模块，用于经预设的第一时间后，将所述失败数据重新存储至第一缓存数据库中，直至将所述失败数据成功存储到第一缓存数据库中；

缓存库处理模块，用于在不存在失败数据的情况下，重新将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中以及将所述满足预设条件的外部数据存储在第二缓存数据库中。

在所述装置的一个实施例中，所述第一读取模块702包括：第二缓存数据库存储模块，用于将满足预设条件的外部数据进行数据库落库，存储在第二缓存数据库中，其中，所述第二缓存数据库与所述第一缓存数据库为不相同的数据库。

在所述装置的一个实施例中，所述装置还包括：请求二次处理模块，用于响应于第二次接收到所述业务数据处理请求，确定第一次与所述业务数据处理请求相匹配的业务数据在所述缓存库中的存储位置；基于所述存储位置，获取所述业务数据。

在所述装置的一个实施例中，所述装置包括：数据清理模块，用于经预设的第二时间后，清理所述缓存集中的外部数据，重新生成所述缓存库；或者，响应于所述第一缓存数据库、缓存集、所述第二缓存数据库中至少一个存储数据的数据容量达到容量阈值，清理达到容量阈值的第一缓存数据库、缓存集或所述第二缓存数据库，重新生成所述缓存库。

上述数据读取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储业务数据、外部数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据读取方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的业务数据、外部数据等，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本公开专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开的保护范围应以所附权利要求为准。

Claims (17)

1.一种数据读取方法，其特征在于，所述方法包括：

响应于业务数据处理请求，基于所述业务数据处理请求从预先配置好的缓存库的缓存集中读取业务数据；其中，所述缓存库包括采用下述方式得到：按照预设的缓存规则将外部数据存储在第一缓存数据库中，并将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；针对于所述第一缓存数据库中满足预设条件的外部数据，将所述满足预设条件的外部数据存储在第二缓存数据库中；基于第一缓存数据库、第二缓存数据库和缓存集得到缓存库；

响应于所述缓存集中未存在与所述业务数据处理请求相匹配的业务数据，基于所述业务数据处理请求，从预先配置好的缓存库中的第一缓存数据库中读取业务数据，所述第一缓存数据库为列式数据库；

响应于所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，从预先配置好的缓存库中的第二缓存数据库中读取业务数据。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中，包括：

在所述第一缓存数据库中的外部数据的数据量小于预设数据量阈值的情况下，将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；

在所述第一缓存数据库中的外部数据的数据量大于预设数据量阈值的情况下，筛选所述第一缓存数据库中的外部数据，得到与业务处理需求相关联的外部数据；

将所述与业务处理需求相关联的外部数据按照缓存规则存储到缓存集中。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述与业务处理需求相关联的外部数据的数据量仍大于预设数据量阈值的情况下，按照业务处理场景，将与所述业务处理需求相关联的外部数据存储到多个缓存集中。

4.根据权利要求1所述的方法，其特征在于，所述按照预设的缓存规则将外部数据存储在第一缓存数据库中之后，所述方法还包括：

记录所述外部数据存储第一缓存数据库中的失败数据；

经预设的第一时间后，将所述失败数据重新存储至第一缓存数据库中，直至将所述失败数据成功存储到第一缓存数据库中；

在不存在失败数据的情况下，重新将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中以及将所述满足预设条件的外部数据存储在第二缓存数据库中。

5.根据权利要求1所述的方法，其特征在于，所述将所述满足预设条件的外部数据存储在第二缓存数据库中，包括：

将满足预设条件的外部数据进行数据库落库，存储在第二缓存数据库中，其中，所述第二缓存数据库与所述第一缓存数据库为不相同的数据库。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

响应于第二次接收到所述业务数据处理请求，确定第一次与所述业务数据处理请求相匹配的业务数据在所述缓存库中的存储位置；

基于所述存储位置，获取所述业务数据。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

经预设的第二时间后，清理所述缓存集中的外部数据，重新生成所述缓存库；或者，响应于所述第一缓存数据库、缓存集、所述第二缓存数据库中至少一个存储数据的数据容量达到容量阈值，清理达到容量阈值的第一缓存数据库、缓存集或所述第二缓存数据库，重新生成所述缓存库。

8.一种数据读取装置，其特征在于，所述装置包括：

第一读取模块，用于响应于业务数据处理请求，基于所述业务数据处理请求从预先配置好的缓存库的缓存集中读取业务数据；其中，所述缓存库包括采用下述方式得到：按照预设的缓存规则将外部数据存储在第一缓存数据库中，并将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；针对于所述第一缓存数据库中满足预设条件的外部数据，将所述满足预设条件的外部数据存储在第二缓存数据库中；基于第一缓存数据库、第二缓存数据库和缓存集得到缓存库；

第二读取模块，用于响应于所述缓存集中未存在与所述业务数据处理请求相匹配的业务数据，基于所述业务数据处理请求，从预先配置好的缓存库中的第一缓存数据库中读取业务数据；

第三读取模块，用于响应于所述第一缓存数据库中未存在与所述业务数据处理请求相匹配的业务数据，从预先配置好的缓存库中的第二缓存数据库中读取业务数据。

9.根据权利要求8所述的装置，其特征在于，所述第一读取模块包括：缓存集数据存储模块，用于在所述第一缓存数据库中的外部数据的数据量小于预设数据量阈值的情况下，将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中；在所述第一缓存数据库中的外部数据的数据量大于预设数据量阈值的情况下，筛选所述第一缓存数据库中的外部数据，得到与业务处理需求相关联的外部数据；将所述与业务处理需求相关联的外部数据按照缓存规则存储到缓存集中。

10.根据权利要求9所述的装置，其特征在于，所述缓存集数据存储模块，还用于在所述与业务处理需求相关联的外部数据的数据量仍大于预设数据量阈值的情况下，按照业务处理场景，将与所述业务处理需求相关联的外部数据存储到多个缓存集中。

11.根据权利要求8所述的装置，其特征在于，所述装置还包括：失败数据记录模块，用于记录所述外部数据存储第一缓存数据库中的失败数据；

失败数据存储模块，用于经预设的第一时间后，将所述失败数据重新存储至第一缓存数据库中，直至将所述失败数据成功存储到第一缓存数据库中；

缓存库处理模块，用于在不存在失败数据的情况下，重新将所述第一缓存数据库中的外部数据按照所述缓存规则存储到缓存集中以及将所述满足预设条件的外部数据存储在第二缓存数据库中。

12.根据权利要求8所述的装置，其特征在于，所述第一读取模块包括：第二缓存数据库存储模块，用于将满足预设条件的外部数据进行数据库落库，存储在第二缓存数据库中，其中，所述第二缓存数据库与所述第一缓存数据库为不相同的数据库。

13.根据权利要求8至12任一项所述的装置，其特征在于，所述装置还包括：请求二次处理模块，用于响应于第二次接收到所述业务数据处理请求，确定第一次与所述业务数据处理请求相匹配的业务数据在所述缓存库中的存储位置；基于所述存储位置，获取所述业务数据。

14.根据权利要求8至12任一项所述的装置，其特征在于，所述装置包括：数据清理模块，用于经预设的第二时间后，清理所述缓存集中的外部数据，重新生成所述缓存库；或者，响应于所述第一缓存数据库、缓存集、所述第二缓存数据库中至少一个存储数据的数据容量达到容量阈值，清理达到容量阈值的第一缓存数据库、缓存集或所述第二缓存数据库，重新生成所述缓存库。

15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

17.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。