CN108563776A - 离线数据获取方法及系统、服务器及存储介质 - Google Patents

Abstract

本发明公开了一种离线数据获取方法及系统、服务端及存储介质，其通过设置一第三方数据库作为共享数据库；在离线计算任务完成时，将数据更新的最新有效时间信息从服务端数据库外置到第三方数据库；并在进行数据请求时，自第三方数据库中获取到数据更新的最新有效时间信息，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。通过将数据离线计算完成的时间戳进行单独提取存储，使客户端和服务端均能够获取到准确的数据更新完成时间，从而减去了客户端或者服务端在数据库中尝试数据的操作，进而减少了时间和资源消耗，使整个系统数据流向更科学，更高效。

Description

离线数据获取方法及系统、服务器及存储介质

技术领域

本发明涉及软件工程领域，尤其涉及一种离线数据获取方法及系统、服务器及存储介质。

背景技术

软件工程领域常有离线计算任务场景和异步数据计算场景，如商城系统需要每天凌晨计算最近昨天或者最近一段时间的消费统计，直播领域需要每天凌晨计算主播昨天或最近一个时间段的直播时长、收益或人气情况。这些计算的数据会显示在客户端页面。这时，便出现了一个问题，即离线计算数据获取的问题。因为离线统计和计算是数据量庞大，耗时的统计任务，任务执行时间和完成时间都不确定，这样会造成数据获取方查询得不到数据，或者服务方无法提供正确可用的数据。

传统的解决方法是客户端请求昨日的数据，如果服务方查询数据库发现昨日的数据还没有计算完成，就返回错误给客户端，然后客户端接着请求前天的数据，直到能获取数据为止(一般离线任务不会跨天，即昨日无数据，请求前天会有数据)；或者是将尝试查找数据的职责放在服务端，即客户端请求最新数据时，服务端查询昨日数据，如果还未产出，则再查询前日数据并返回客户端。这样的方法，无论数据尝试方是客户端还是服务端，其中都会消耗大量的时间和资源在数据尝试上，鉴于离线数据产生的时间不确定，这种方法可以解决业务问题，但是时间开销和资源开销较大，特别是对于实时性要求较高的系统。

发明内容

有鉴于此，本发明实施例提供了一种离线数据获取方法及系统、服务器及存储介质，以解决减去了客户端或者服务端在数据库中尝试数据的操作造成时间和资源消耗的问题。

本发明实施例的第一方面，提供了一种离线数据获取方法，其包括：

设置一第三方数据库作为共享数据库；

将数据更新的最新有效时间信息从服务端数据库外置到第三方数据库；

自第三方数据库中获取到数据更新的最新有效时间信息，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

本发明实施例的第二方面，提供了一种离线数据获取系统，其包括：

第三方设置模块，用于设置一第三方数据库作为共享数据库；

时间外置模块，用于将数据更新的最新有效时间信息从服务端数据库外置到第三方数据库；

数据获取模块，用于自第三方数据库中获取到数据更新的最新有效时间信息，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

本发明实施例的第三方面，提供了一种服务端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述离线数据获取方法的步骤。

本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述离线数据获取方法的步骤。

本发明所述离线数据获取方法及系统、服务器及存储介质，其在基于离线、异步数据计算时间长、完成时间不确定且客户端又频繁请求的场景下，通过将数据离线计算完成的时间戳进行单独提取存储，使客户端和服务端均能够获取到准确的数据更新完成时间，从而减去了客户端或者服务端在数据库中尝试数据的操作，进而减少了时间和资源消耗，使整个系统数据流向更科学，更高效。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的离线数据获取方法的流程框图；

图2为本发明实施例提供的当客户端为数据尝试方时离线数据获取方法的步骤流程图；

图3为本发明实施例提供的当服务端为数据尝试方时离线数据获取方法的步骤流程图；

图4为本发明实施例提供的离线数据获取系统的模块框图；

图5为本发明实施例提供的数据获取模块的单元框图；

图6为本发明实施例提供的服务端的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路、以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和 /或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

如图1所示，本发明实施例提供的离线数据获取方法，其包括：

S1、设置一第三方数据库作为共享数据库；

其中，所述第三方数据库可以选用Redis，因其高吞吐量可以很好的满足性能要求，也可以选用外置到关系型数据库如Mysql。

S2、将数据更新的最新有效时间信息从服务端数据库外置到第三方数据库。

即保持离线、异步数据计算任务逻辑不变，并在离线计算任务完成时，将数据离线计算完成的时间信息存储至第三方数据库，具体为，将数据离线计算完成后得到的时间戳，将数据离线计算完成时的时间戳作为数据更新的最新有效时间信息写入第三方数据库。如今日有一个离线任务计算昨日全部用户的收益，则写入第三方数据库如redis 的最新有效时间信息为：income_data_flag＝20180403，其中，“20180403”既可以是任务完成的时间，也可以是有效数据日，如 20180403号完成了20180402号的数据统计计算，则最新有效时间信息由“income_data_flag＝20180401”更新为： income_data_flag＝20180402。

每天的离线、异步数据任务完成时，都需要更新第三方数据库如 Redis中存储的时间信息为最新有效时间信息，如2018年2月16日时，2月15日的数据还未离线计算完成，则第三方数据库如Redis 中保留的仍是2018年2月14日的时间状态，即第三方数据库如Redis中保存的是最新可用的数据日期。

S3、自第三方数据库中获取到数据更新的最新有效时间信息，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

其中，所述步骤S3还包括如下两种情况：

当客户端为数据尝试方时，则由客户端通过在第三方数据库中获取到数据更新的最新有效时间信息，并携带所述数据更新的最新有效时间信息向服务端数据库请求，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

当服务端为数据尝试方时，则当服务端接受到客户端的请求时，由服务端直接从第三方数据库中获取到数据更新的最新有效时间信息，并将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

具体的，如图2所示，当客户端为数据尝试方时，在向服务端发起获取数据的请求前，首先从第三方数据库如Redis中获取数据更新的最新有效时间信息，然后携带该数据更新的最新有效时间信息去服务端数据库请求，服务端接受请求后，无需任何尝试操作，直接将数据更新的最新有效时间信息当作查询条件从服务端数据库中筛选出可信任的数据，返回客户端即可。

如图3所示，当服务端为数据尝试方时，客户端无需携带时间信息直接请求服务端数据，服务端接受请求后，直接从第三方数据库如 Redis中获取最新可用的数据日期，然后用该日期当作查询条件查询数据库即可，并将筛选出的可信任数据返回客户端即可。即不管是客户端或者服务端的所有查询数据的接口使用方，都以最新可用的数据日期为标准进行数据查询。

本发明所述离线数据获取方法，其在基于离线、异步数据计算时间长、完成时间不确定且客户端又频繁请求的场景下，通过将数据离线计算完成的时间戳进行单独提取存储，使客户端和服务端均能够获取到准确的数据更新完成时间，从而减去了客户端或者服务端在数据库中尝试数据的操作，进而减少了时间和资源消耗，使整个系统数据流向更科学，更高效。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

上面主要描述了一种离线数据获取方法，下面将对一种离线数据获取系统进行详细描述。

图4示出了本发明实施例提供的离线数据获取系统的一个实施例结构图。

第三方设置模块10，用于设置一第三方数据库作为共享数据库，所述第三方数据库为Redis数据库或者Mysql数据库；

时间外置模块20，用于将数据更新的最新有效时间信息从服务端数据库外置到第三方数据库，所述数据更新的最新有效时间信息为数据离线计算完成时的时间戳；

数据获取模块30，用于自第三方数据库中获取到数据更新的最新有效时间信息，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

其中，如图5所示，所述数据获取模块30包括客户端数据获取单元31和服务端数据获取单元32：

客户端数据获取单元31，用于在客户端为数据尝试方时，则由客户端通过在第三方数据库中获取到数据更新的最新有效时间信息，并携带所述数据更新的最新有效时间信息向服务端数据库请求，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

服务端数据获取单元32，用于在服务端为数据尝试方时，则当服务端接受到客户端的请求时，由服务端直接从第三方数据库中获取到数据更新的最新有效时间信息，并将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

图6是本发明一实施例提供的离线数据获取的服务端结构的示意图。所述服务端，为提供计算服务的设备，通常指具有较高计算能力，通过网络提供给多个用户使用的计算机。如图6所示，该实施例的服务端4包括：存储器41、处理器42以及系统总线43，所述存储器41包括存储其上的可运行的程序411，本领域技术人员可以理解，图6中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图6对终端设备的各个构成部件进行具体的介绍：

存储器41可用于存储软件程序以及模块，处理器42通过运行存储在存储器41的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器 41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在存储器41上包含离线数据获取方法的可运行程序411，所述可运行程序411可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器41中，并由处理器42执行，以完成通知的传递并获取通知实现过程，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序411在所述服务端4中的执行过程。例如，所述计算机程序411可以被分割为获取模块、比对模块、拼接模块和发送模块。

处理器42是服务端的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器41内的软件程序和/或模块，以及调用存储在存储器41内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器42可包括一个或多个处理单元；优选的，处理器42可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器42中。

系统总线43是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如PCI总线、ISA总线、 VESA总线等。处理器42的指令通过总线传递至存储器41，存储器 41反馈数据给处理器42，系统总线43负责处理器42与存储器41之间的数据、指令交互。当然系统总线43还可以接入其他设备，例如网络接口、显示设备等。

所述服务端应至少包括CPU、芯片组、内存、磁盘系统等，其他构成部件在此不再赘述。

在本发明实施例中，该终端所包括的处理器52执行的可运行程序具体为：一种离线数据获取方法，其包括：

设置一第三方数据库作为共享数据库；

将数据更新的最新有效时间信息从服务端数据库外置到第三方数据库；

自第三方数据库中获取到数据更新的最新有效时间信息，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

其中，所述自第三方数据库中获取到数据更新的最新有效时间信息，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端包括如下具体步骤：

在客户端为数据尝试方时，则由客户端通过在第三方数据库中获取到数据更新的最新有效时间信息，并携带所述数据更新的最新有效时间信息向服务端数据库请求，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

在服务端为数据尝试方时，则当服务端接受到客户端的请求时，由服务端直接从第三方数据库中获取到数据更新的最新有效时间信息，并将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种离线数据获取方法，其特征在于，包括：

设置一第三方数据库作为共享数据库；

将数据更新的最新有效时间信息从服务端数据库外置到第三方数据库；

自第三方数据库中获取到数据更新的最新有效时间信息，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

2.根据权利要求1所述离线数据获取方法，其特征在于，自第三方数据库中获取到数据更新的最新有效时间信息，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端包括如下两种情况：

在客户端为数据尝试方时，则由客户端通过在第三方数据库中获取到数据更新的最新有效时间信息，并携带所述数据更新的最新有效时间信息向服务端数据库请求，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端；

在服务端为数据尝试方时，则当服务端接受到客户端的请求时，由服务端直接从第三方数据库中获取到数据更新的最新有效时间信息，并将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

3.根据权利要求1所述离线数据获取方法，其特征在于，将数据离线计算完成时的时间戳作为数据更新的最新有效时间信息。

4.根据权利要求1所述离线数据获取方法，其特征在于，所述第三方数据库为Redis数据库或者Mysql数据库。

5.一种离线数据获取系统，其特征在于，包括以下功能模块：

第三方设置模块，用于设置一第三方数据库作为共享数据库；

时间外置模块，用于将数据更新的最新有效时间信息从服务端数据库外置到第三方数据库；

数据获取模块，用于自第三方数据库中获取到数据更新的最新有效时间信息，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

6.根据权利要求1所述离线数据获取系统，其特征在于，所述数据获取模块包括如下功能单元：

客户端数据获取单元，用于在客户端为数据尝试方时，则由客户端通过在第三方数据库中获取到数据更新的最新有效时间信息，并携带所述数据更新的最新有效时间信息向服务端数据库请求，将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端；

服务端数据获取单元，用于在服务端为数据尝试方时，则当服务端接受到客户端的请求时，由服务端直接从第三方数据库中获取到数据更新的最新有效时间信息，并将数据更新的最新有效时间信息当作查询条件自服务端数据库中获取请求数据返回客户端。

7.根据权利要求1所述离线数据获取系统，其特征在于，所述数据更新的最新有效时间信息为数据离线计算完成时的时间戳。

8.根据权利要求1所述离线数据获取系统，其特征在于，所述第三方数据库为Redis数据库或者Mysql数据库。

9.一种服务端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述离线数据获取方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述离线数据获取方法的步骤。