CN115934823A - 数据获取方法、装置和计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据获取方法、装置、计算机设备和存储介质。所述方法包括：获取连接请求，连接请求包括第一存储器的连接信息；根据连接信息确定对应的连接器，并通过连接器与第一存储器建立连接，以将预先存储在第二存储器中的数据转存至第一存储器中，其中，从第一存储器中获取数据的速度比从第二存储器中获取数据的速度快；获取用户对数据的获取请求；根据获取请求，通过第一存储器的预设访问接口，将数据发送给用户。采用本方法能够提高获取数据获取的效率。

Description

数据获取方法、装置和计算机设备和存储介质

技术领域

本申请涉及大数据技术领域，特别是涉及一种数据获取方法、装置、计算机设备和存储介质。

背景技术

在人工智能(Artificial Intelligence，AI)场景下，一般通过批处理顺序读取分布式数据库中存储的特征数据，来进行模型训练。

模型的在线服务时，通过随机的方式读取特征数据，以快速返回在线预测的结果。此在线服务的过程对数据源实时性要求较高，需要快速获取特征数据。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据获取效率的数据获取方法、装置、计算机设备和存储介质。

一方面，提供一种数据获取方法，包括：。

获取连接请求，所述连接请求包括第一存储器的连接信息；

根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中，其中，从所述第一存储器中获取所述数据的速度比从所述第二存储器中获取所述数据的速度快；

获取用户对所述数据的获取请求；

根据所述获取请求，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

另一方面，提供了一种数据获取装置，所述装置包括：

连接请求获取模块，用于获取连接请求，所述连接请求包括第一存储器的连接信息；

连接建立模块，用于根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中，其中，从所述第一存储器中获取所述数据的速度比从所述第二存储器中获取所述数据的速度快；

数据获取请求模块，用于获取用户对所述数据的获取请求；

数据发送模块，用于根据所述获取请求，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

在一些实施例中，所述连接建立模块包括：

数据类型获取子模块，用于获取所述连接信息中所述第一存储器存储数据的数据类型；

解析子模块，用于根据所述数据类型，对所述数据进行结构解析，以将所述数据存储至所述第一存储器中。

在一些实施例中，所述数据类型包括哈希表，所述解析子模块用于：

根据所述数据中的主键生成所述哈希表的关键字；

将所述数据中的每列数据依次存储到所述哈希表的哈希值中。

在一些实施例中，所述数据类型包括哈希表，所述解析子模块还用于：

获取前缀标识符；

拼接所述前缀标识符和所述主键对应的值，得到所述关键字。

在一些实施例中，所述连接建立模块包括：

传递子模块，用于将所述数据以行为单位传递至所述连接器；

处理子模块，用于通过所述连接器的数据处理函数对所述数据进行处理，得到处理后的数据；

存储子模块，用于将所述处理后的数据存储至所述第一存储器中。

在一些实施例中，所述数据发送模块包括：

鉴权子模块，用于对所述获取请求进行鉴权；

发送子模块，用于响应于鉴权通过，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

在一些实施例中，所述连接建立模块包括：

地址获取子模块，用于获取所述连接信息中的第一存储器连接地址；

连接建立子模块，用于根据所述第一存储器连接地址与所述第一存储器建立连接。

再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取连接请求，所述连接请求包括第一存储器的连接信息；

根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中，其中，从所述第一存储器中获取所述数据的速度比从所述第二存储器中获取所述数据的速度快；

获取用户对所述数据的获取请求；

根据所述获取请求，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取连接请求，所述连接请求包括第一存储器的连接信息；

根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中，其中，从所述第一存储器中获取所述数据的速度比从所述第二存储器中获取所述数据的速度快；

获取用户对所述数据的获取请求；

根据所述获取请求，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

本申请实施例提供了一种数据获取方法、装置、计算机设备和存储介质，通过连接器，预先将数据转存到数据获取效率更高的第一存储器中，再在用户需要获取数据时，通过预设访问接口将数据快速传送给用户，提高了数据获取的效率。

附图说明

图1为一个实施例中数据获取方法的应用环境图；

图2为一个实施例中数据获取方法的流程示意图；

图3为一个实施例中数据获取装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的数据获取方法，可以应用于如图1所示的应用环境中。其中，终端1通过网络与服务器2通过网络进行通信。服务器2首先获取连接请求，其中，连接请求包括第一存储器的连接信息。然后，服务器2根据连接信息确定对应的连接器，并通过连接器与第一存储器建立连接，以将预先存储在第二存储器中的数据转存至第一存储器中，其中，从第一存储器中获取数据的速度比从第二存储器中获取数据的速度快。接着，获取用户通过终端1发送的对数据的获取请求。最后，服务器2根据获取请求，通过第一存储器的预设访问接口，将数据发送给用户。其中，终端1可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器2可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种数据获取方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S101，获取连接请求，连接请求包括第一存储器的连接信息。

其中，该连接请求用于与第一存储器建立连接块。在一些实施例中，第一存储器可以为具有较快的数据访问速度的内存储器，比如HBase，ElasticSearch，以及Redis等存储器。

在一些实施例中，第一存储器的连接信息包括第一存储器标识，第一存储器连接地址，以及第一存储器存储数据的数据类型等信息。进一步的，第一存储器的连接信息还包括数据表的元数据信息，包含需要存储的数据字段。还包括服务密码，连接模式，命令类型，数据有效期，关键字模板等信息。

步骤S102，根据连接信息确定对应的连接器，并通过连接器与第一存储器建立连接，以将预先存储在第二存储器中的数据转存至第一存储器中，其中，从第一存储器中获取数据的速度比从第二存储器中获取数据的速度快。

当获取到连接信息中的第一存储器标识后，可以进一步获取第一存储器标识匹配的连接器，然后将连接信息发送给连接器，通过连接器对连接信息进行解析，并根据第一存储器的连接地址建立连接。举例来说，当第一存储器标识为Redis存储器标识时，可以通过Redis连接器获取Redis存储器对应的连接地址，通过该连接地址与Redis存储器建立连接。

在一些实施例中，将预先存储在第二存储器中的数据转存至第一存储器中步骤，包括：将数据以行为单位传递至连接器。通过连接器的数据处理函数对数据进行处理，得到处理后的数据。将处理后的数据存储至第一存储器中。

其中，数据为对实时性要求较高的数据，比如特征数据。此类数据一般通过随机方式读取，对数据源实时性具有较高要求。因此，需要预先将数据存储到访问速度较快的存储器中。

第二存储器为数据获取速度低于第一存储器获取速度的存储器，比如hive，mysql等结构化数据存储器，或者HBase，ElasticSearch等Key-Value(关键字-值)存储器。在一些实施例中，当第一存储器为结构化数据存储器时，第二存储器可以为非结构化数据存储器，比如HBase，ElasticSearch以及Redis等存储器。在一些实施例中，当第一存储器为HBase，ElasticSearch等存储器时，第二存储器为Redis存储器。Redis作为内存存储器，其数据获取速度和效率比其他集中Key-Value存储器的数据获取速度快。

具体的，可以通过Flink框架传递以行为单位的数据以及元数据信息，然后通过连接器的数据处理函数对数据和元数据信息进行处理，得到处理后的数据。将处理后的数据和元数据信息存储至第一存储器中。

需要说明的是，如果第一存储器为非结构化数据的存储器，而第二存储器为hive，mysql等结构化存储器时，上述数据转存的过程存在数据结构不一致的问题，会带来安全风险。在一些实施例中，可以获取连接信息中第一存储器存储数据的数据类型。根据数据类型，对数据进行结构解析，以将数据存储至第一存储器中。

当数据类型包括哈希表时，可以根据数据中的主键生成哈希表的关键字，并将数据中的每列数据依次存储到哈希表的哈希值中。其中，根据数据中的主键生成哈希表的关键字步骤，包括：获取前缀标识符。拼接前缀标识符和主键对应的值，得到关键字。

如下表1所示，以第一存储器为Redis存储器为例，根据结构化数据表中的主键userid生成关键字key。具体的，先获取预先设置的前缀标识符“feature:usertable:”，再拼接主键对应的值，得到关键字“feature:usertable:001”，“feature:usertable:002”和“feature:usertable:003”。其中，预先设置的前缀标识符可以防止冲突覆盖第一存储器中已经有的值。然后，进行redis hash(哈希)映射，将数据表中每列数据依次映射到以列名field，实际值value的哈希值中存储。进一步的，还可以设置关键字的过期时间。

表1

通过上述方法实现数据从第二存储器转存到第一存储器后，最后再断开连接。

步骤S103，获取用户对数据的获取请求。

其中，获取请求中可以携带鉴权信息，比如访问令牌token，数据源，表名，主键值等信息。

步骤S104，根据获取请求，通过第一存储器的预设访问接口，将数据发送给用户。

预先的，将第一存储器的数据访问封住成HTTP接口，得到预设访问接口。然后，再接收到对数据的获取请求后，可以直接的根据该预设接口获取数据，而不需要访问底层存储器结构，屏蔽了底层的存储细节，实现了安全管理。

服务器接收到获取请求后，首先对获取请求进行鉴权。响应于鉴权通过，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。具体的，服务器对获取请求中携带的鉴权信息进行鉴权，再拼装第一存储器主键的请求参数，最后通过预设访问接口调用第一存储器对应主键中存储的哈希结构的数据。

本申请实施例的数据获取方法，通过连接器，预先将数据转存到数据获取效率更高的第一存储器中，再在用户需要获取数据时，通过预设访问接口将数据快速传送给用户，提高了数据获取的效率。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了一种数据获取装置30，包括：连接请求获取模块301，连接建立模块302，数据获取请求模块303以及数据发送模块304，以下进行详细说明：

连接请求获取模块301用于获取连接请求，所述连接请求包括第一存储器的连接信息；连接建立模块302用于根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中，其中，从所述第一存储器中获取所述数据的速度比从所述第二存储器中获取所述数据的速度快；数据获取请求模块303用于获取用户对所述数据的获取请求；数据发送模块304用于根据所述获取请求，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

在一些实施例中，所述连接建立模块302包括：数据类型获取子模块和解析子模块。其中，数据类型获取子模块用于获取所述连接信息中所述第一存储器存储数据的数据类型。解析子模块用于根据所述数据类型，对所述数据进行结构解析，以将所述数据存储至所述第一存储器中。

在一些实施例中，所述数据类型包括哈希表，所述解析子模块用于：根据所述数据中的主键生成所述哈希表的关键字；将所述数据中的每列数据依次存储到所述哈希表的哈希值中。

在一些实施例中，所述数据类型包括哈希表，所述解析子模块还用于：获取前缀标识符；拼接所述前缀标识符和所述主键对应的值，得到所述关键字。

在一些实施例中，所述连接建立模块302包括：传递子模块和处理子模块。其中，传递子模块用于将所述数据以行为单位传递至所述连接器；处理子模块用于通过所述连接器的数据处理函数对所述数据进行处理，得到处理后的数据；存储子模块用于将所述处理后的数据存储至所述第一存储器中。

在一些实施例中，所述数据发送模块304包括：鉴权子模块和发送子模块。其中，鉴权子模块用于对所述获取请求进行鉴权；发送子模块用于响应于鉴权通过，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

在一些实施例中，所述连接建立模块302包括：地址获取子模块和连接建立子模块。其中，地址获取子模块用于获取所述连接信息中的第一存储器连接地址；连接建立子模块用于根据所述第一存储器连接地址与所述第一存储器建立连接。

关于数据获取装置的具体限定可以参见上文中对于数据获取方法的限定，在此不再赘述。上述数据获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据获取方法。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取连接请求，所述连接请求包括第一存储器的连接信息；

根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中，其中，从所述第一存储器中获取所述数据的速度比从所述第二存储器中获取所述数据的速度快；

获取用户对所述数据的获取请求；

根据所述获取请求，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取所述连接信息中所述第一存储器存储数据的数据类型；根据所述数据类型，对所述数据进行结构解析，以将所述数据存储至所述第一存储器中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据所述数据中的主键生成所述哈希表的关键字；将所述数据中的每列数据依次存储到所述哈希表的哈希值中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取前缀标识符；拼接所述前缀标识符和所述主键对应的值，得到所述关键字。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将所述数据以行为单位传递至所述连接器；通过所述连接器的数据处理函数对所述数据进行处理，得到处理后的数据；将所述处理后的数据存储至所述第一存储器中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对所述获取请求进行鉴权；响应于鉴权通过，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取所述连接信息中的第一存储器连接地址；根据所述第一存储器连接地址与所述第一存储器建立连接。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取连接请求，所述连接请求包括第一存储器的连接信息；

根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中，其中，从所述第一存储器中获取所述数据的速度比从所述第二存储器中获取所述数据的速度快；

获取用户对所述数据的获取请求；

根据所述获取请求，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取所述连接信息中所述第一存储器存储数据的数据类型；根据所述数据类型，对所述数据进行结构解析，以将所述数据存储至所述第一存储器中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据所述数据中的主键生成所述哈希表的关键字；将所述数据中的每列数据依次存储到所述哈希表的哈希值中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取前缀标识符；拼接所述前缀标识符和所述主键对应的值，得到所述关键字。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将所述数据以行为单位传递至所述连接器；通过所述连接器的数据处理函数对所述数据进行处理，得到处理后的数据；将所述处理后的数据存储至所述第一存储器中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对所述获取请求进行鉴权；响应于鉴权通过，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取所述连接信息中的第一存储器连接地址；根据所述第一存储器连接地址与所述第一存储器建立连接。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据获取方法，其特征在于，包括：

获取连接请求，所述连接请求包括第一存储器的连接信息；

根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中，其中，从所述第一存储器中获取所述数据的速度比从所述第二存储器中获取所述数据的速度快；

获取用户对所述数据的获取请求；

根据所述获取请求，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

2.根据权利要求1所述的数据获取方法，其特征在于，所述根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中步骤，包括：

获取所述连接信息中所述第一存储器存储数据的数据类型；

根据所述数据类型，对所述数据进行结构解析，以将所述数据存储至所述第一存储器中。

3.根据权利要求2所述的数据获取方法，其特征在于，所述数据类型包括哈希表，所述根据所述数据类型，对所述数据进行结构解析，以将所述数据存储至所述第一存储器中步骤，包括：

根据所述数据中的主键生成所述哈希表的关键字；

将所述数据中的每列数据依次存储到所述哈希表的哈希值中。

4.根据权利要求3所述的数据获取方法，其特征在于，所述根据所述数据中的主键生成所述哈希表的关键字步骤，包括：

获取前缀标识符；

拼接所述前缀标识符和所述主键对应的值，得到所述关键字。

5.根据权利要求1所述的数据获取方法，其特征在于，所述根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中步骤，包括：

将所述数据以行为单位传递至所述连接器；

通过所述连接器的数据处理函数对所述数据进行处理，得到处理后的数据；

将所述处理后的数据存储至所述第一存储器中。

6.根据权利要求1所述的数据方法，其特征在于，所述根据所述获取请求，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户骤，包括：

对所述获取请求进行鉴权；

响应于鉴权通过，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

7.根据权利要求1所述的数据获取方法，其特征在于，所述根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中步骤，包括：

获取所述连接信息中的第一存储器连接地址；

根据所述第一存储器连接地址与所述第一存储器建立连接。

8.一种数据获取装置，其特征在于，所述装置包括：

连接请求获取模块，用于获取连接请求，所述连接请求包括第一存储器的连接信息；

连接建立模块，用于根据所述连接信息确定对应的连接器，并通过所述连接器与所述第一存储器建立连接，以将预先存储在第二存储器中的数据转存至所述第一存储器中，其中，从所述第一存储器中获取所述数据的速度比从所述第二存储器中获取所述数据的速度快；

数据获取请求模块，用于获取用户对所述数据的获取请求；

数据发送模块，用于根据所述获取请求，通过所述第一存储器的预设访问接口，将所述数据发送给所述用户。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images