CN116009949B - 一种数值获取方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种数值获取方法、装置、设备及存储介质，涉及数据处理技术领域，用于解决目前数据配置工作量大的缺点，包括：获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。本申请通过对基于用户的页面配置操作形成的配置信息表进行加工，无需进行穷举即可得到加工结果表，在接收到用户发送的请求时，直接从所述加工结果表中的数据进行过滤，从而得到目标数据信息，满足高频高并发的取数性能场景，提高了取数效率。

Description

一种数值获取方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种数值获取方法、装置、设备及存储介质。

背景技术

现有的数据加工取数需要先穷举所有取数条件的组合，然后通过加工处理存储到目标存储介质，使用时直接连接目标存储介质进行取数。这种方式存在加工数据过多，维护工作量太大，占用硬件资源较大以及取数性能较差的缺点。

发明内容

有鉴于此，本发明的目的在于提供一种数值获取方法、装置、设备和存储介质，能够满足高频高并发的取数性能场景，提高了取数效率。其具体方案如下：

第一方面，本申请公开了一种数值获取方法，包括：

获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；

通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；

当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。

可选的，所述获取用户通过页面配置操作生成的配置信息，包括：

获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息；

获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息；

获取用户设置的函数信息，以得到函数配置信息；

基于所述用户设置的条件字段获取对应的优先级取数配置信息；

基于所述数据源配置信息、所述数据加工配置信息、所述函数配置信息以及所述优先级取数配置信息确定所述配置信息。

可选的，所述获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息之后，还包括：

当所述数据源信息发生变更时，向数据加工/取数引擎发送数据源缓存刷新信息；

当监测到所述数据源配置表中的目标按钮被点击时，对所述数据源信息进行校验；

当校验通过时，基于所述数据源缓存刷新信息缓存对应的更新后数据源信息并初始化数据连接池。

可选的，所述获取用户设置的函数信息，以得到函数配置信息之前，还包括：

将满足预设函数抽象规则的逻辑处理抽象成对应的函数，以得到函数库；

将所述函数库以jar的形式打包，以得到jar包，并将所述jar包导入页面；

通过预设加载方式将所述jar包加载至虚拟处理器，以便通过所述数据加工/取数引擎调用所述虚拟处理器执行目标函数。

可选的，所述获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息之后，还包括：

调用定时任务组件的定时任务执行接口将定时配置信息任务存储至定时任务表；

当到达所述定时配置信息任务的执行时间时，通过所述定时任务组件中的触发器触发所述获取预先配置好的数据加工配置信息的步骤。

可选的，所述通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表，包括：

获取当前任务ID，并基于所述任务ID获取所述数据加工配置信息；

执行所述数据加工配置信息中的加工口径，以得到所述数据源配置表；

获取所述加工口径对应的条件参数值，以得到副key；

判断所述数据源配置表中的信息数量是否大于预设阈值；

若所述信息数量大于所述预设阈值，则基于所述当前任务ID、版本号以及当前模数构建主key；

若所述信息数量不大于所述预设阈值，则基于所述当前任务ID、所述版本号构建所述主key；

组装所述主key以及对应的所述副key，以得到加工值；

通过json数组存储所述加工值，以得到所述加工结果表。

可选的，所述当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息，包括：

判断所述用户是否设置所述优先级取数配置信息；

若所述用户未设置所述优先级取数配置信息，则判断本地缓存中是否存在目标值；

若所述本地缓存中存在所述目标值，则基于所述当前任务ID以及所述加工值从所述本地缓存中获取所述目标值，并执行后置函数进行过滤，将过滤后取值返回；

若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值；

将所述目标值存储至所述本地缓存，并执行所述后置函数进行过滤，将所述过滤后取值返回；

若所述用户设置所述优先级取数配置信息，则通过预设优先级筛选操作获取当前优先级对应的输入参数；

基于所述输入参数与所述加工值判断所述本地缓存中是否存在所述目标值；

若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值，并执行前置函数进行过滤，以得到过滤后结果集；

判断所述过滤后结果集是否为空，若所述过滤后结果集不为空，则执行所述后置函数进行过滤，并将所述过滤后取值返回。

第二方面，本申请公开了一种数值获取装置，包括：

第一表获取模块，用于获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；

第二表获取模块，用于通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；

信息获取模块，用于当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如前述公开的数值获取方法的步骤。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如前述公开的数值获取方法。

可见，本申请提供了一种数值获取方法，包括：获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。由此可见，本申请通过对基于用户的页面配置操作形成的配置信息表进行加工，无需进行穷举即可得到加工结果表，在接收到用户发送的请求时，直接从所述加工结果表中的数据进行过滤，从而得到目标数据信息，满足高频高并发的取数性能场景，提高了取数效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种数值获取方法流程图；

图2为本申请公开的数据加工与数据取数总体流程示意图；

图3为本申请公开的穷举取数示意图；

图4为本申请公开的数据加工配置示意图；

图5为本申请公开的数据取数引擎工作示意图；

图6为本申请公开的一种具体的数值获取方法流程图；

图7为本申请公开的数据源配置流程示意图；

图8为本申请公开的动态函数组件操作流程示意图；

图9为本申请公开的数据加工流程示意图；

图10为本申请公开的优先级取数界面示意图；

图11为本申请提供的数值获取装置结构示意图；

图12为本申请提供的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，现有的数据加工取数需要先穷举所有取数条件的组合，然后通过加工处理存储到目标存储介质，使用时直接连接目标存储介质进行取数。这种方式存在加工数据过多，维护工作量太大，占用硬件资源较大以及取数性能较差的缺点。为此，本申请提供了一种数值获取方法，能够满足高频高并发的取数性能场景，提高了取数效率。

本发明实施例公开了一种数值获取方法，参见图1所示，该方法包括：

步骤S11：获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表。

本实施例中，获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表。可以理解的是，如图2所示，本方案共提供四个配置界面用于完成数据从加工到取数的全过程，分别是数据源配置界面、数据加工配置界面、优先级配置界面与动态函数配置界面。用户根据业务要求在界面配置好这四部分后，系统会将配置信息存入配置表（即配置信息表）里，同时生成一条定时任务到定时任务表。定时任务组件按照配置的定时频率定时触发数据加工引擎对配置表中的数据进行数据加工处理，处理结束后会按照配置的目标存储数据源，写到加工结果表里。取数引擎初始化时会获取配置表的信息写入本地缓存，当外部系统进行取数请求时，取数引擎根据请求数据到本地缓存获取所有配置信息，然后连接到加工结果表进行优先级循环取数，每次的取数结果根据优先级配置与函数配置进行过滤，过滤后有结果值则返回并退出循环，没有取到值则继续下一轮循环，直至最后返回。

可以理解的是，数据加工指基于性能或业务处理考虑，将一种数据类型的数据通过设定的数据模型口径及加工算法，转换成另一种数据类型的数据，方便业务系统或应用使用。数据加工是数据处理领域非常关键的一个环节，涉及加工来源设置、数据口径设置、数据加工频率、数据加工提交批次、目标存储设置等因素。优先级取数主要指参数配置表中存在通配配置的一种置空取数逻辑，比如参数配置表的条件字段有A、B、C，取值字段为D，假设配置表记录有A与B为通配（即为空），C与D有值的一条记录，当外部输入的A、B、C三个字段都不为空时，按照输入的数据条件无法匹配到数据，需要先置空条件A查一次，查询不到对应值，继续置空B查询，此时能与配置记录匹配，将查询到的值返回。现有的数据加工取数方法主要是来源于原始数据源的数据通过加工处理后存储到目标存储介质，然后需要使用该数据的业务系统或应用直接配置数据源连接到该存储介质并设置输入条件进行取数，不论取出来的数据是否为空，都直接返回并结束，这种方式存在加工数据过多，维护工作量太大，占用硬件资源较大的缺点，取数性能也不太好。

在现有技术中如图3所示，配置数据通配推导流程的具体流程如下：穷举所有条件组合；统计值比例，将最多的值作为兜底，全部置空；按照比例顺序，依次分析其他值，逐步置空。这样一来，穷举的过程较为复杂，在穷举的过程中容易出现遗漏的情况，维护工作量太大，占用硬件资源较大以及取数性能较差。具体的，设置3个条件，分别为条件A，条件B，条件C，在第一个表格中将上述三个条件（A1A2A3、B1B2B3、C1C2C3）进行排列组合，穷举出所有的条件情况，并设置每一行条件下可以获取到的值，例如当满足条件A1B1C1时取值为8，当满足条件A2B1C3时取值为9；将最多的值对应的条件行合并，得到第二个表格，例如表格一中值最多的为8，即将全部值为8的条件行合并，此时条件A、条件B、条件C均为空，表明无论是什么条件下都会获得值8；第三个表格在第二个表格的基础上再次合并，在值为9的条件行中，可以将A2B1C3与A2B3C3合并，即得到A2空C3的条件行，表明满足条件A2、C3时，无论条件B为什么信息都可以得到值9；第四个表格在第三个表格的基础上再次合并，在值为10的条件行中，可以将A3B2C3与A2B2C3合并，即得到空B2C3的条件行，表明满足条件B2、C3时，无论条件A为什么信息都可以得到值10。

本方案是一种基于通配与优先级检索的取数方法，适配复杂的大批量的数据高并发检索场景，解决数据量大及高并发场景下占用资源过大及取数性能不友好的问题。通过对配置数据的抽象与共性分析，通过通配推导的方式，大量减少数据量及配置工作量；针对通配的配置数据，进行数据加工处理与分布式缓存存储，在此基础上，提供优先级检索能力，最大限度的提升数据取数效率，满足高频高并发的取数性能场景；将取数规则简化表达，避免穷举又避免遗漏；优化搜索的设置，提高了基于搜索条件命中正确数据的速度。

步骤S12：通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表。

本实施例中，获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表之后，通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表。可以理解的是，如图4所示，数据加工/取数引擎的执行需要预先配置数据加工信息（即数据加工配置信息），所述数据加工信息主要包含数据加工任务名称、加工时间、加工方式、加工数据源、目标数据源、存储结构、加工描述、加工口径、提交数量、保留时间、目标表结构等；并且在数据加工信息配置完成后得到支持应用数据源。另外，将配置好的数据加工信息保存到加工配置表时会调用定时任务组件的API，将定时配置信息任务保存到定时任务表中，以便通过所述定时任务表对全部定时任务进行统一管理。需要指出的是，定时任务会在设置的特定时间自动执行任务，定时任务管理包含调度器、任务和触发器三部分；其中，调度器负责调度各个任务，到了某个时刻或者过了一定时间，由触发器触动特定任务的启动执行。调度器与触发器可互相独立，通过维持注册心跳进行通信。

步骤S13：当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。

本实施例中，通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表之后，当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。

可以理解的是，数据取数引擎主要考虑配置信息获取、优先级过滤、函数过滤、本地缓存处理等方面，具体数值获取流程如图5所示，用户在界面配置好输出与条件字段后，如果有设置优先级取数，则将条件字段作为优先级取数配置的表头，按照业务需求进行置空逻辑设置（存储优先级设置信息：不置空数值为1，置空为0），如果处理逻辑复杂，还可设置前置函数与后置函数（不论前置函数还是后置函数，都是从动态函数库中获取，实际过程中采用反射的方式执行），前置函数主要在循环优先级时每次都需要执行，后置函数则作为整个取数逻辑最后异步执行，不在循环内。

由于基于穷举方式枚举的配置数据太多，本申请为减少配置数据量及工作量，采用通配推导的方式进行配置，这种方式存在的数据覆盖的问题通过提供通配检索优先级配置工具解决；提供优先级检索引擎，满足高频高并发的数据取数；提供高性能的数据缓存加工引擎，满足通配数据的快速加工处理。本方案通过通配推导的方式解决穷举所有条件组合带来的大数据量配置的问题，也大大减少了配置工作量；通过提供通配检索优先级相关配套工具（即数据源配置、数据加工引擎、定时任务组件、动态函数组件、数据取数引擎）共同完成数据从加工到取数的整个过程，解决通配配置存在的数据覆盖问题；通过采用内置函数的方式解决不同取数需求下的复杂逻辑处理差异，同时结合了本地缓存及无效优先级过滤的方式，大大提升取数性能，满足高频高并发场景。

可见，本申请提供了一种数值获取方法，包括：获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。由此可见，本申请通过对基于用户的页面配置操作形成的配置信息表进行加工，无需进行穷举即可得到加工结果表，在接收到用户发送的请求时，直接从所述加工结果表中的数据进行过滤，从而得到目标数据信息，满足高频高并发的取数性能场景，提高了取数效率。

参见图6所示，本发明实施例公开了一种数值获取方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。

步骤S21：获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息。

本实施例中，获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息。可以理解的是，在得到数据源配置信息之后，当所述数据源信息发生变更时，向数据加工/取数引擎发送数据源缓存刷新信息；当监测到所述数据源配置表中的目标按钮被点击时，对所述数据源信息进行校验；当校验通过时，基于所述数据源缓存刷新信息缓存对应的更新后数据源信息并初始化数据连接池。

可以理解的是，如图7所示，各类数据取数及加工操作需要配置数据源信息，为方便数据源的引用和修改，需要提供数据源配置功能进行数据源的统一管理。用户配置好数据源信息并存入数据源配置表，在配置数据加工及取数信息时会从已有的数据源配置中选择。用户在配置管理对数据源进行新增修改，保存时会进行数据源校验及连接池初始化。数据加工及取数引擎启动时会初始化并缓存数据源信息并同时初始化数据源连接池，在加工及取数时使用数据源信息进行数据查询。需要指出的是，数据源配置功能主要用于对各类数据源配置信息的维护，包含关系型数据库如Oracle、Mysql等、缓存数据库如Redis等各类数据库。

步骤S22：获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息。

本实施例中，获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息之后，获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息。在得到数据加工配置信息之后，调用定时任务组件的定时任务执行接口将定时配置信息任务存储至定时任务表，当到达所述定时配置信息任务的执行时间时，通过所述定时任务组件中的触发器触发所述获取预先配置好的数据加工配置信息的步骤。

步骤S23：获取用户设置的函数信息，以得到函数配置信息，并基于所述用户设置的条件字段获取对应的优先级取数配置信息。

本实施例中，获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息之后，获取用户设置的函数信息，以得到函数配置信息。可以理解的是，得到函数配置信息之前，将满足预设函数抽象规则的逻辑处理抽象成对应的函数，以得到函数库；将所述函数库以jar的形式打包，以得到jar包，并将所述jar包导入页面；通过预设加载方式将所述jar包加载至虚拟处理器，以便通过所述数据加工/取数引擎调用所述虚拟处理器执行目标函数。

可以理解的是，如图8所示，动态函数组件用于对数据取数引擎所需要函数的维护，将函数分类统一管理起来便于数据取数逻辑的功能抽象及动态变更。函数列表中的函数均可以在数据取数引擎中使用，通过将重复常用的逻辑处理抽象成一个个函数，形成丰富的函数库，通过jar包的形式在界面进行导入，动态加载到Java虚拟机里供数据取数执行时使用，大大提升取数逻辑的灵活扩展和使用，同时也和数据取数引擎的工具类彻底进行了解耦合，非常方便运维升级。通过jar包的形式在界面进行导入之后，校验并解析jar，获取所有的class（java中的语言术语， class为类），并在支撑数据源中存储类与方法的基础信息；以字节数组压缩存入jar，向消息队列发送消息通知引擎更新，引擎初始化监听消息队列，当消息队列中的信息更新时，从支撑数据源获取jar信息并将jar加载至JVM（JavaVirtual Machine，Java虚拟机）。

步骤S24：基于所述数据源配置信息、所述数据加工配置信息、所述函数配置信息以及所述优先级取数配置信息确定所述配置信息，并基于所述配置信息获取配置信息表。

步骤S25：通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表。

本实施例中，基于所述配置信息获取配置信息表之后，通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表。具体的，获取当前任务ID，并基于所述任务ID获取所述数据加工配置信息；执行所述数据加工配置信息中的加工口径，以得到所述数据源配置表；获取所述加工口径对应的条件参数值，以得到副key；判断所述数据源配置表中的信息数量是否大于预设阈值；若所述信息数量大于所述预设阈值，则基于所述当前任务ID、版本号以及当前模数构建主key；若所述信息数量不大于所述预设阈值，则基于所述当前任务ID、所述版本号构建所述主key；组装所述主key以及对应的所述副key，以得到加工值；通过json数组存储所述加工值，以得到所述加工结果表。例如，以redis数据库为目标存储库，数据加工引擎的执行加工逻辑就以redis为例：redis本身为key-value型数据库，此处值存储采用全局哈希数据结构，时间复杂度为O(1)，当元素数目少于512（可在redis服务端自行配置，一般不宜超过1024）且低于64字节，会采用压缩列表数据结构。数据加工引擎将配置表数据加工到redis的key规则按照主副key进行设计：主key格式：任务ID_版本号；副key格式：用户的条件参数值组成的，格式比如：“ser_123_reas_null_null”；值的存储统一为json数组，支持多条数据，结构如下：{任务ID_版本号:{条件值:json数组}}。这种设计的好处在于主key大大减少，内存空间预估占用较少，数据展示更清晰，主动删除阻塞时间很短。采用任务ID_版本号遇到大配置表时会存在“大主键”的问题，因此需要考虑“大主键”的处理，目前可采用哈希取模的方式：默认不设置取模参数，如果设置的取模参数>1的话，则需要取模并将对应数据落到模数对应主key上（任务ID_版本号_模数）。例如由用户根据配置表数据进行判断是否需要设置取模，一般大于5000条就属于“大主键”。

可以理解的是，如图9所示，当定时任务触发之后，根据任务ID获取对应的加工配置信息，然后执行加工口径，以获取源数据；根据取模参数设计主key值，具体的是，若存在取模参数，则主key值构成如下：任务ID+版本号+模数；若不存在取模参数，则主key值构成如下：任务ID+版本号；在确定主key之后，将主key与副key组装（将加工口径的条件字段确定为副key），并将最终得到的结果存储至加工结果表。

步骤S26：当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。

本实施例中，通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表之后，当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。具体的，判断所述用户是否设置所述优先级取数配置信息；若所述用户未设置所述优先级取数配置信息，则判断本地缓存中是否存在目标值；若所述本地缓存中存在所述目标值，则基于所述当前任务ID以及所述加工值从所述本地缓存中获取所述目标值，并执行后置函数进行过滤，将过滤后取值返回；若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值；将所述目标值存储至所述本地缓存，并执行所述后置函数进行过滤，将所述过滤后取值返回；若所述用户设置所述优先级取数配置信息，优先级读表按钮为开启状态，在读表中记录对应的读表步骤，并预先选择前置函数以及后置函数，如图10所示的优先级取数界面，优先级取数配置会根据需求或者推导结论得出如上述图10的值读取配置，取数步骤如下：1、输入参数A、B、C都有值的情况下，按顺序优先匹配步骤1取数，如取数结果为空，则匹配步骤2即置空条件A，再次进行取数，如取数结果还为空，则匹配步骤3即置空条件B进行取数，如还是为空，则匹配到最后一个步骤4，返回最终结果。2、输入参数A为空、B、C有值的情况下，过滤掉无效步骤1，优先匹配步骤2取数，如取数结果为空，则匹配步骤3、4，返回最终结果； 3、如果参数A、B都为空、C有值的情况下，按顺序匹配步骤1、2、3、4取数，返回最终结果。4、如果参数A、C都为空、B有值的情况下，按顺序匹配步骤1、2、3、4取数，返回最终结果。5、其他情况同理，即优先判断输入参数A、B、C是否为空，是否可直接匹配到相应的步骤设置，如果可以匹配到，则直接过滤掉前序步骤设置；如果匹配不到，则按照步骤进行取数。具体的，通过预设优先级筛选操作获取当前优先级对应的输入参数；基于所述输入参数与所述加工值判断所述本地缓存中是否存在所述目标值；若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值，并执行前置函数进行过滤，以得到过滤后结果集；判断所述过滤后结果集是否为空，若所述过滤后结果集不为空，则执行所述后置函数进行过滤，并将所述过滤后取值返回。例如，过滤无效的优先级配置逻辑如下：假设实际传参为{jg:640200, xm:102, pm:10210100, zm: }即zm实际传的是空，假设有四个优先级，其顺序依次是：1-[jg:1, xm:1, pm:1, zm:1]、2-[jg:1, xm:1, pm:1, zm:0]、3-[jg:0, xm:1,pm:1, zm:1]、4-[jg:1, xm:0, pm:1, zm:0]。那么优先级级次1和3是必须过滤掉，因为实际传的值是空，优先级1和3是需要把zm赋值，这样的组合肯定查询不到结果，平白消耗性能，所以循环所有设置和实际传参，只要遇到实际传空，又需要赋值的优先级时就把这些优先级剔除。

关于上述步骤S24的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，本申请实施例通过获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息；获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息；获取用户设置的函数信息，以得到函数配置信息，并基于所述用户设置的条件字段获取对应的优先级取数配置信息；基于所述数据源配置信息、所述数据加工配置信息、所述函数配置信息以及所述优先级取数配置信息确定所述配置信息，并基于所述配置信息获取配置信息表；通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息，从而满足高频高并发的取数性能场景，提高了取数效率。

参见图11所示，本申请实施例还相应公开了一种数值获取装置，包括：

第一表获取模块11，用于获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；

第二表获取模块12，用于通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；

信息获取模块13，用于当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。

可见，本申请包括：获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。由此可见，本申请通过对基于用户的页面配置操作形成的配置信息表进行加工，无需进行穷举即可得到加工结果表，在接收到用户发送的请求时，直接从所述加工结果表中的数据进行过滤，从而得到目标数据信息，满足高频高并发的取数性能场景，提高了取数效率。

在一些具体实施例中，所述第一表获取模块11，具体包括：

数据源配置信息获取单元，用于获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息；

数据源缓存刷新信息发送单元，用于当所述数据源信息发生变更时，向数据加工/取数引擎发送数据源缓存刷新信息；

数据源信息校验单元，用于当监测到所述数据源配置表中的目标按钮被点击时，对所述数据源信息进行校验；

更新后数据源信息缓存单元，用于当校验通过时，基于所述数据源缓存刷新信息缓存对应的更新后数据源信息并初始化数据连接池；

数据加工配置信息获取单元，用于获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息；

定时配置信息任务存储单元，用于调用定时任务组件的定时任务执行接口将定时配置信息任务存储至定时任务表；

定时配置信息任务存储触发单元，用于当到达所述定时配置信息任务的执行时间时，通过所述定时任务组件中的触发器触发所述获取预先配置好的数据加工配置信息的步骤；

函数库获取单元，用于将满足预设函数抽象规则的逻辑处理抽象成对应的函数，以得到函数库；

jar包导入单元，用于将所述函数库以jar的形式打包，以得到jar包，并将所述jar包导入页面；

jar包加载单元，用于通过预设加载方式将所述jar包加载至虚拟处理器，以便通过所述数据加工/取数引擎调用所述虚拟处理器执行目标函数；

函数配置信息获取单元，用于获取用户设置的函数信息，以得到函数配置信息；

优先级取数配置信息获取单元，用于基于所述用户设置的条件字段获取对应的优先级取数配置信息；

配置信息确定单元，用于基于所述数据源配置信息、所述数据加工配置信息、所述函数配置信息以及所述优先级取数配置信息确定所述配置信息；

配置信息表获取单元，用于基于所述配置信息获取配置信息表。

在一些具体实施例中，所述第二表获取模块12，具体包括：

当前任务ID获取单元，用于获取当前任务ID，并基于所述任务ID获取所述数据加工配置信息；

所述数据源配置表获取单元，用于执行所述数据加工配置信息中的加工口径，以得到所述数据源配置表；

副key确定单元，用于获取所述加工口径对应的条件参数值，以得到副key；

信息数量判断单元，用于判断所述数据源配置表中的信息数量是否大于预设阈值；

第一主key构建单元，用于若所述信息数量大于所述预设阈值，则基于所述当前任务ID、版本号以及当前模数构建主key；

第二主key构建单元，用于若所述信息数量不大于所述预设阈值，则基于所述当前任务ID、所述版本号构建所述主key；

加工值获取单元，用于组装所述主key以及对应的所述副key，以得到加工值；

加工结果表获取单元，用于通过json数组存储所述加工值，以得到所述加工结果表。

在一些具体实施例中，所述信息获取模块13，具体包括：

用户设置判断单元，用于判断所述用户是否设置所述优先级取数配置信息；

第一本地缓存判断单元，用于若所述用户未设置所述优先级取数配置信息，则判断本地缓存中是否存在目标值；

第一目标值获取单元，用于若所述本地缓存中存在所述目标值，则基于所述当前任务ID以及所述加工值从所述本地缓存中获取所述目标值，并执行后置函数进行过滤，将过滤后取值返回；

第二目标值获取单元，用于若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值；

第一过滤后取值返回单元，用于将所述目标值存储至所述本地缓存，并执行所述后置函数进行过滤，将所述过滤后取值返回；

输入参数获取单元，用于若所述用户设置所述优先级取数配置信息，则通过预设优先级筛选操作获取当前优先级对应的输入参数；

第二本地缓存判断单元，用于基于所述输入参数与所述加工值判断所述本地缓存中是否存在所述目标值；

第三目标值获取单元，用于若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值，并执行前置函数进行过滤，以得到过滤后结果集；

第二过滤后取值返回单元，用于判断所述过滤后结果集是否为空，若所述过滤后结果集不为空，则执行所述后置函数进行过滤，并将所述过滤后取值返回。

进一步的，本申请实施例还提供了一种电子设备。图12是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图12为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的数值获取方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数值获取方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的数值获取方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种数值获取方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种数值获取方法，其特征在于，包括：

获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；

通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；

当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息；

其中，所述获取用户通过页面配置操作生成的配置信息，包括：

获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息；

获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息；

获取用户设置的函数信息，以得到函数配置信息；

基于所述用户设置的条件字段获取对应的优先级取数配置信息；

基于所述数据源配置信息、所述数据加工配置信息、所述函数配置信息以及所述优先级取数配置信息确定所述配置信息；

所述通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表，包括：

获取当前任务ID，并基于所述任务ID获取所述数据加工配置信息；

执行所述数据加工配置信息中的加工口径，以得到所述数据源配置表；

获取所述加工口径对应的条件参数值，以得到副key；

判断所述数据源配置表中的信息数量是否大于预设阈值；

若所述信息数量大于所述预设阈值，则基于所述当前任务ID、版本号以及当前模数构建主key；

若所述信息数量不大于所述预设阈值，则基于所述当前任务ID、所述版本号构建所述主key；

组装所述主key以及对应的所述副key，以得到加工值；

通过json数组存储所述加工值，以得到所述加工结果表；

所述当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息，包括：

判断所述用户是否设置所述优先级取数配置信息；

若所述用户未设置所述优先级取数配置信息，则判断本地缓存中是否存在目标值；

若所述本地缓存中存在所述目标值，则基于所述当前任务ID以及所述加工值从所述本地缓存中获取所述目标值，并执行后置函数进行过滤，将过滤后取值返回；

若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值；

将所述目标值存储至所述本地缓存，并执行所述后置函数进行过滤，将所述过滤后取值返回；

若所述用户设置所述优先级取数配置信息，则通过预设优先级筛选操作获取当前优先级对应的输入参数；

基于所述输入参数与所述加工值判断所述本地缓存中是否存在所述目标值；

若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值，并执行前置函数进行过滤，以得到过滤后结果集；

判断所述过滤后结果集是否为空，若所述过滤后结果集不为空，则执行所述后置函数进行过滤，并将所述过滤后取值返回。

2.根据权利要求1所述的数值获取方法，其特征在于，所述获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息之后，还包括：

当所述数据源信息发生变更时，向数据加工/取数引擎发送数据源缓存刷新信息；

当监测到所述数据源配置表中的目标按钮被点击时，对所述数据源信息进行校验；

当校验通过时，基于所述数据源缓存刷新信息缓存对应的更新后数据源信息并初始化数据连接池。

3.根据权利要求2所述的数值获取方法，其特征在于，所述获取用户设置的函数信息，以得到函数配置信息之前，还包括：

将满足预设函数抽象规则的逻辑处理抽象成对应的函数，以得到函数库；

将所述函数库以jar的形式打包，以得到jar包，并将所述jar包导入页面；

通过预设加载方式将所述jar包加载至虚拟处理器，以便通过所述数据加工/取数引擎调用所述虚拟处理器执行目标函数。

4.根据权利要求1所述的数值获取方法，其特征在于，所述获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息之后，还包括：

调用定时任务组件的定时任务执行接口将定时配置信息任务存储至定时任务表；

当到达所述定时配置信息任务的执行时间时，通过所述定时任务组件中的触发器触发所述获取预先配置好的数据加工配置信息的步骤。

5.一种数值获取装置，其特征在于，包括：

第一表获取模块，用于获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；

第二表获取模块，用于通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；

信息获取模块，用于当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息；

其中，所述装置还用于获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息；获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息；获取用户设置的函数信息，以得到函数配置信息；基于所述用户设置的条件字段获取对应的优先级取数配置信息；基于所述数据源配置信息、所述数据加工配置信息、所述函数配置信息以及所述优先级取数配置信息确定所述配置信息；获取当前任务ID，并基于所述任务ID获取所述数据加工配置信息；执行所述数据加工配置信息中的加工口径，以得到所述数据源配置表；获取所述加工口径对应的条件参数值，以得到副key；判断所述数据源配置表中的信息数量是否大于预设阈值；若所述信息数量大于所述预设阈值，则基于所述当前任务ID、版本号以及当前模数构建主key；若所述信息数量不大于所述预设阈值，则基于所述当前任务ID、所述版本号构建所述主key；组装所述主key以及对应的所述副key，以得到加工值；通过json数组存储所述加工值，以得到所述加工结果表；判断所述用户是否设置所述优先级取数配置信息；若所述用户未设置所述优先级取数配置信息，则判断本地缓存中是否存在目标值；若所述本地缓存中存在所述目标值，则基于所述当前任务ID以及所述加工值从所述本地缓存中获取所述目标值，并执行后置函数进行过滤，将过滤后取值返回；若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值；将所述目标值存储至所述本地缓存，并执行所述后置函数进行过滤，将所述过滤后取值返回；若所述用户设置所述优先级取数配置信息，则通过预设优先级筛选操作获取当前优先级对应的输入参数；基于所述输入参数与所述加工值判断所述本地缓存中是否存在所述目标值；若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值，并执行前置函数进行过滤，以得到过滤后结果集；判断所述过滤后结果集是否为空，若所述过滤后结果集不为空，则执行所述后置函数进行过滤，并将所述过滤后取值返回。

6.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至4任一项所述的数值获取方法的步骤。

7.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的数值获取方法。