CN117609382A - 数据导出方法、装置、存储介质及设备 - Google Patents

Abstract

本申请提供数据导出方法、装置、存储介质及设备，包括：获取用户登录信息及线上数据登录接口；根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证；通过权限验证后，根据数据拉取动作获取线上数据库的指定数据；将所述指定数据通过预设链路接口拉取至所述用户登录信息对应的线下数据库，并将所述指定数据按预设格式存储至所述线下数据库。上述方法在获取用户登录信息及线上数据登录接口后即可自动完成权限验证，并且根据提前录制的数据拉取动作自动将指定的数据从线上数据库同步至线下数据库，提高了数据导出的效率并且提高了数据导出的准确率。

Description

数据导出方法、装置、存储介质及设备

技术领域

本发明涉及数据同步领域，具体涉及数据导出方法、装置、存储介质及设备。

背景技术

现有电商系统中存在大量的用户访问数据，该用户访问数据对于电商系统的商品推送、商品促销等功能的分析有着重要作用。而该用户访问数据多存储在线上系统，若将该数据从线上系统拉取到线下数据库，需要依赖人工逐个系统验证并导出数据，耗费人力和时间，效率较低并且容易出现错漏信息的情况。

发明内容

基于此，本发明提供数据导入方法、装置、存储介质及设备，自动完成验证，并且导出线上系统数据，提高数据导出效率及正确率。

第一方面，本发明提供一种数据导出方法，包括：

获取用户登录信息及线上数据登录接口；

根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证；

通过权限验证后，根据数据拉取动作获取线上数据库的指定数据；

将所述指定数据通过预设链路接口拉取至所述用户登录信息对应的线下数据库，并将所述指定数据按预设格式存储至所述线下数据库。

进一步的，所述根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证，具体为：

根据录制的登录动作，将所述用户登录信息输入身份验证接口，得到登录凭证；

将所述登录凭证输入各个线上数据登录接口，完成权限验证。

或者，所述根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证，具体为：

根据录制的登录动作，将所述用户登录信息输入至线上数据登录接口，并触发登录元素，完成权限验证。

进一步的，生成所述数据拉取动作，包括：

录制第一数据拉取操作，并将所述第一数据拉取操作存储为第一脚本信息；

更改所述第一脚本信息的凭证信息和时间戳，得到第二脚本信息；

根据所述第二脚本信息生成数据拉取动作。

进一步的，所述预设格式为结构化查询语言格式。

进一步的，所述将所述指定数据按预设格式存储至所述线下数据库，具体为：

根据所述预设格式中的版本需求确定所述指定数据存储的线下数据库及对应的操作表；

对所述指定数据进行解析处理，得到结构化查询语言格式的表字段信息和对应的内容信息，并按结构化查询语言格式存储至所述线下数据库的操作表。

进一步的，所述数据导出方法，还包括：

若所述指定数据包含时间元素信息，判断所述时间元素信息是否需要替换；

若所述时间元素信息需要替换，在将所述指定数据按结构化查询语言格式存储至所述线下数据库的操作表前，将所述指定数据的时间元素信息替换为预设的时间元素信息。

第二方面，本发明提供一种数据导出装置，包括：

信息获取模块，用于获取用户登录信息及线上数据登录接口；

权限生成模块，用于根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证；

数据拉取模块，用于通过权限验证后，根据数据拉取动作获取线上数据库的指定数据；

数据存储模块，用于将所述指定数据通过预设链路接口拉取至所述用户登录信息对应的线下数据库，并将所述指定数据按预设格式存储至所述线下数据库。

第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序备处理器执行时实现第一方面中任一项数据导出方法的步骤。

第四方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，执行第一方面中任一项数据导出方法。

采用上述技术方案的有益效果为：本发明通过提前获取的用户登录信息自动完成线上系统的权限验证，并将线上系统中数据库的指定数据通过预设链路接口同步至线下数据库，提高了数据同步的效率并且提高了数据同步的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本申请一个实施例中数据导出方法的示意图；

图2为本申请一个实施例中数据导出装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。为了更详细说明本发明，下面结合附图对本发明提供的数据导出方法、装置、存储介质及设备，进行具体的描述。

本申请实施例提供了数据导出方法的应用场景，该应用场景包括实施例提供的终端设备，所述终端设备包括但不限于智能手机和计算机设备，其中计算机设备可以是台式计算机、便携式计算机、膝上型计算机、大型计算机、平板电脑等设备中的至少一种。用户对所述终端设备进行操作，得到同步至线下数据库的指定数据，具体过程请参见数据导出方法实施例。

现有电商系统中存在大量的用户访问数据，该用户访问数据对于电商系统的商品推动、商品促销等功能的分析有着重要作用。现有方法中若用户访问电商系统的数据需要通过在设定的登录界面中手动输入用户的账号信息、密码等进行登录，并从线上系统中搜索用户需要的数据信息，将用户需要的数据信息逐条导出至用户账号指定的线下数据库进行存储，上述过程需要大量的用户手动操作，并且逐条数据信息导出重复冗余性较高，容易数据导出错误的情况。

基于此，本发明实施例提供了一种数据导出的方法，以该方法应用于终端设备为例进行说明，结合附图1示出的数据导出方法的示意图。

步骤S101：获取用户登录信息及线上数据登录接口。

其中，所述用户登录信息包括用户登录账号及用户登录密码，提前收集用户的登录账号及用户登录密码并一一对应保存在预设文档中，所述文档可以txt、exce l等。用户的登录账号和登录密码可通过用户初始化注册登录过程中抓取获得。

所述线上数据登录接口为线上电商系统的用户登录接口，可表现为用户账号登录框或用户账号登录认证按钮等。线上电商系统需要通过用户登录信息验证该用户是否具有拉取数据的权限。

步骤S102，根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证。

具体的，本实施例中的登录动作为用户账号登录的动作，根据线上数据登录接口显示的界面不同存在两种方式，分别为将用户登录信息输入身份验证接口得到登录凭证和将用户登录信息输入身份验证接口触发登录元素。上述两种登录动作都可在此前用户手动操作的过程中进行录制，得到登录动作脚本，在后续用户登录时即可根据登录动作脚本执行对应的操作。

用户登录信息输入线上登录接口进行权限验证是为了确定该用户是否可以从线上电商系统中拉取数据以及确定该用户可以拉取线上电商系统的哪些数据。

其中，步骤S102中根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证，有两种方式，包括：

方式一：

步骤S201，根据录制的登录动作，将所述用户登录信息输入身份验证接口，得到登录凭证；

步骤S202，将所述登录凭证输入各个线上数据登录接口，完成权限验证。

在该用户登录方式中，所述线上系统都是采用单点登录的方式，也就是说在该线上系统只需要登录一次，就可以在该系统内的多个子系统完成权限验证，不需要多次重复登录。

方式二：

根据录制的登录动作，将所述用户登录信息输入至线上数据登录接口，并触发登录元素，完成权限验证。

在该用户登录方式中，所述登录元素可为用户登录界面的验证码、登录按钮等触发权限验证的任意元素。

步骤S103，通过权限验证后，根据数据拉取动作获取线上数据库的指定数据。

其中，所述指定数据是根据线下分析、验证需求确定的，包括但不限于所述线上电商系统中品牌的曝光独立访客数量、曝光商品的详细信息、商品加购的独立访客数量、商品结算的独立访客数量、独立访客的位置信息、独立访客访问的设备等。

根据用户此前手动拉取线上系统中数据库的指定数据进行动作录制，得到录制的数据拉取动作。本实施例中，需要对录制的数据拉取动作进行调整，例如根据用户账号需要拉取的指定数据不同，调整数据拉取动作的操作对象。生成所述数据拉取动作，具体包括以下步骤：

步骤S301，录制第一数据拉取操作，并将所述第一数据拉取操作存储为第一脚本信息。

其中，第一数据拉取动作为用户此前手动拉取线上系统中数据库的指定数据的动作，也可为其他系统的数据拉取动作。

步骤S302，更改所述第一脚本信息的凭证信息和时间戳，得到第二脚本信息。

由于第一数据拉取操作中包含了数据拉取操作的时间以及凭证信息的有效期，该操作具有一定的时限性，为保证后续生成的数据拉取动作不受该时限性的影响，需要对凭证信息和时间戳进行更改，生成第二脚本信息。

步骤S303，根据所述第二脚本信息生成数据拉取动作。

步骤S104，将所述指定数据通过预设链路接口拉取至所述用户登录信息对应的线下数据库，并将所述指定数据按预设格式存储至所述线下数据库。

具体的，本实施例中预设格式为结构化查询语言格式。

所述将所述指定数据按预设格式存储至所述线下数据库，具体包括以下步骤：

步骤S401，获取所述指定数据存储的线下数据库及对应的操作表。

根据用户预设的指令“库+操作表名称”确定指定数据存储的线下数据库及对应的操作表，从而将指定数据导出并存储到对应的数据库及操作表。进一步的，若根据用户的预设指令“库+操作表名称”未找到对应的线下数据库或操作表，需要先创建新的线下数据库或新的操作表，才能继续拉取数据。

步骤S402，对所述指定数据进行解析处理，得到结构化查询语言格式的表字段信息和对应的内容信息，并按结构化查询语言格式存储至所述线下数据库的操作表。

例如，指定数据以cvs、txt、xlx或sql的格式存储在线上系统，当所述指定数据通过预设链路接口下载至线下数据库时，为了使线下数据库的信息具有更好的可读性以及更利于大量信息的分析，统一线下数据库的数据信息格式，将所述指定数据统一按照sql格式进行存放。

当拉取的线上数据库的数据为excel格式时，需要将其转换为sql格式再存放至线下数据库，其中表头部分转换为插入数据表字段信息，表内容转换成对应插入value信息；当拉取的线上数据库的数据为cvs格式时，需要将其转换为sql格式再存放至线下数据库，其中文本首行转换成需要插入表字段信息，剩下内容都转换成对应插入的内容；当拉取的线上数据库的数据为txt文本格式时，需要将其转换为sql格式再存放至线下数据库，其中文本首行为插入表字段信息，其他内容转换成对应插入表信息。

为更好描述上述数据导出方法，以导出线上系统的商品A相关数据为例进行说明：

获取用户登录信息表格，所述表格存储有用户登录账号及用户登录密码；

获取线上数据登录接口，线上系统接入单点登录(cas)方式；

根据提前录制的登录动作，将用户登录信息表格中用户B的登录信息输入线上数据登录接口进行权限验证；

其中权限验证包括两种方式：

方式(1)根据录制的登录动作，将用户B的登录信息输入身份验证接口，的登录成功的会话，在将登录成功的会话输入线上数据登录接口，完成权限验证；

方式(2)根据录制的登录动作，将用户B的登录信息输入线上登录接口，并触发登录界面的“登录”按钮，完成权限验证；

通过权限验证后，根据提前录制的数据拉取动作获取线上系统的数据库中商品A的相关数据，包括商品A的曝光独立访客数量、商品A加购的独立访客数量、商品A的加购独立访客的位置和商品A的加购独立访客的设备；

将商品A的相关数据通过下载链路接口的方式以SQL格式存储至线下数据库C的操作表D中。

通过上述数据导出方法，可获取用户的登录信息以及线上的数据登录接口后，自动完成权限验证，并根据提前录制好的数据拉取动作获取指定的数据并同步至线下数据库，相对于人工逐一校验再进行数据导出同步的操作，提高了线上数据同步的效率，而且避免了人工同步数据容易出现错误的问题，提高了数据同步的准确率。

进一步的，针对上述数据导出方法，为提高拉取的数据实时性，还可设置定时执行上述数据导出方法，将线上系统的数据库更新后的数据同步至线下数据库，覆盖之前拉取的数据，使线下数据库的数据与线上系统数据库的数据具有较高的实时同步性。

应该理解的是，虽然附图1的流程图中各个步骤按照箭头额定指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以按其他的顺序执行。而且附图1中的至少一部分步骤可以包括多个子步骤或者子阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

上述本发明公开的实施例中详细描述了数据导出方法，对于本发明公开的上述方法可以采用多种形式的设备实现，因此本发明还公开了对应上述方法的数据导出装置，结合附图2，下面给出具体的实施例进行详细说明。

信息获取模块501，用于获取用户登录信息及线上数据登录接口。

权限生成模块502，用于根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证。

数据拉取模块503，用于通过权限验证后，根据录制的数据拉取动作获取线上数据库的指定数据。

数据存储模块504，用于将所述指定数据通过预设链路接口拉取至所述用户登录信息对应的线下数据库，并将所述指定数据按预设格式存储至所述线下数据库。

关于数据导出装置具体限定可全部参见上文中对于方法的限定，在此不再赘述。上述装置中的各个模块可全部或者部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或者独立于终端设备的处理器中，也可以以软件形式存储于终端设备的存储器中，以便处理器调用执行以上各个模块对应的操作。

在一个实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据导出方法的步骤。

所述计算机可读存储介质可以是诸如闪存、EEPROM(电可擦除可编只读程存储器)、EPROM(可擦除可编只读程存储器)、硬盘或者ROM之类的电子存储器。可选的，计算机可读存储介质包括非瞬时性计算机可读介质(non-transitory computer-readable storagemedium)。计算机可读存储介质具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入这一个或者多个计算机程序产品中，所述程序代码可以以适当形式进行压缩。

在一个实施例中，本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行上述数据导出方法。

所述计算机设备包括存储器、处理器以及一个或多个计算机程序，其中一个或多个计算机程序可以被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行上述数据导出方法。

处理器可以包括一个或多个处理核。处理器利用各种接口和线路连接整个计算机设备内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行计算机设备的各种功能和处理数据。可选地，处理器可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器可集成中央处理器(Central Processing Unit，CPU)、埋点数据的上报验证器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块通信芯片进行实现。

存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储终端设备在使用中所创建的数据等。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据导出方法，其特征在于，包括：

获取用户登录信息及线上数据登录接口；

根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证；

通过权限验证后，根据数据拉取动作获取线上数据库的指定数据；

将所述指定数据通过预设链路接口拉取至所述用户登录信息对应的线下数据库，并将所述指定数据按预设格式存储至所述线下数据库。

2.如权利要求1所述的数据导出方法，其特征在于，所述根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证，具体为：

根据录制的登录动作，将所述用户登录信息输入身份验证接口，得到登录凭证；

将所述登录凭证输入各个线上数据登录接口，完成权限验证。

3.如权利要求1所述的数据导出方法，其特征在于，所述根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证，具体为：

根据录制的登录动作，将所述用户登录信息输入至线上数据登录接口，并触发登录元素，完成权限验证。

4.如权利要求1所述的数据导出方法，其特征在于，生成所述数据拉取动作，包括：

录制第一数据拉取操作，并将所述第一数据拉取操作存储为第一脚本信息；

更改所述第一脚本信息的凭证信息和时间戳，得到第二脚本信息；

根据所述第二脚本信息生成数据拉取动作。

5.如权利要求1所述的数据导出方法，其特征在于，所述预设格式为结构化查询语言格式。

6.如权利要求5所述的数据导出方法，其特征在于，所述将所述指定数据按预设格式存储至所述线下数据库，具体为：

根据所述预设格式中的版本需求确定所述指定数据存储的线下数据库及对应的操作表；

对所述指定数据进行解析处理，得到结构化查询语言格式的表字段信息和对应的内容信息，并按结构化查询语言格式存储至所述线下数据库的操作表。

7.如权利要求6所述的数据导出方法，其特征在于，还包括：

若所述指定数据包含时间元素信息，判断所述时间元素信息是否需要替换；

若所述时间元素信息需要替换，在将所述指定数据按结构化查询语言格式存储至所述线下数据库的操作表前，将所述指定数据的时间元素信息替换为预设的时间元素信息。

8.一种数据导出装置，其特征在于，包括：

信息获取模块，用于获取用户登录信息及线上数据登录接口；

权限生成模块，用于根据录制的登录动作，将所述用户登录信息输入线上数据登录接口进行权限验证；

数据拉取模块，用于通过权限验证后，根据数据拉取动作获取线上数据库的指定数据；

数据存储模块，用于将所述指定数据通过预设链路接口拉取至所述用户登录信息对应的线下数据库，并将所述指定数据按预设格式存储至所述线下数据库。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序备处理器执行时实现权利要求1-7中任一项数据导出方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，执行权利要求1-7中任一项数据导出方法。