CN110008269B - 一种数据回流方法、装置、设备及系统 - Google Patents
一种数据回流方法、装置、设备及系统 Download PDFInfo
- Publication number
- CN110008269B CN110008269B CN201910232725.6A CN201910232725A CN110008269B CN 110008269 B CN110008269 B CN 110008269B CN 201910232725 A CN201910232725 A CN 201910232725A CN 110008269 B CN110008269 B CN 110008269B
- Authority
- CN
- China
- Prior art keywords
- data
- reflow
- service data
- service
- control data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2372—Updates performed during offline database operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Abstract
本说明书实施例提供一种数据回流方法、装置、设备及系统。离线数据处理平台在将业务数据回流至数据库服务器后，生成与业务数据对应的回流控制数据并回流至数据库服务器，实时在线业务服务器以预设的时间间隔从数据库服务器中获取回流控制数据，并根据回流控制数据判断最新版本的业务数据是否回流完成，以及获取最新版本的业务数据，实时在线业务服务器可以及时地感知最新版本的业务数据回流完成，并且获取的最新版本的数据为同一批次的业务数据。
Description
技术领域
本说明书涉及数据处理技术领域，尤其涉及一种回流方法、装置、设备及系统。
背景技术
互联网行业产生的数据量非常大，这些数据的计算量也非常大，因而无法在实时在线服务器上进行实时地处理，而是要借助于一些大型的分布式离线数据处理平台来处理。比如ODPS（OpenData Processing Service）开放数据处理服务就是一种通用的离线数据处理平台，向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题。通常各种业务数据，比如相关的日志数据、浏览数据、用户数据、交易数据、商品数据等通过离线数据处理平台处理后，需将处理后的业务数据回流到数据库服务器，以便在用户查询这些业务数据时，实时在线服务器可以从数据库服务器中读取处理后的业务数据显示给用户。由于业务数据一直在更新，如何让实时在线服务器在第一时间感知到业务数据回流完成，并获取最新的业务数据给用户十分关键。
发明内容
基于此，本说明书提供了一种数据回流方法、装置、设备及系统。
根据本说明书实施例的第一方面，提供一种数据回流系统，所述数据回流系统包括：离线数据处理平台、数据库服务器以及实时在线业务服务器；
所述离线数据处理平台用于在将业务数据回流到数据库服务器后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括业务数据的类型、业务数据的回流时间以及业务数据的版本标识；将所述回流控制数据回流至所述数据库服务器；
所述实时在线业务服务器用于以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。
根据本说明书实施例的第二方面，提供一种数据回流方法，所述方法用于离线数据处理平台，包括：
在将业务数据回流到数据库服务器后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
将所述回流控制数据回流至所述数据库服务器，以使实时在线业务服务器以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。
根据本说明书实施例的第三方面，提供一种数据回流方法，所述方法用于实时在线业务服务器，包括：
以预设的时间间隔从数据库服务器中获取回流控制数据，其中，所述回流控制数据由离线数据处理平台将业务数据回流到数据库服务器之后，根据所述业务数据生成并回流至所述数据库服务器，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
根据所述回流控制数据获取最新版本的业务数据。
根据本说明书实施例的第四方面，提供一种数据回流装置，包括：
回流控制数据生成模块，用于在将业务数据回流到数据库服务器后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
回流模块，用于将所述回流控制数据回流至所述数据库服务器，以使实时在线业务服务器以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。
根据本说明书实施例的第五方面，提供一种数据回流装置，包括：
回流控制数据获取模块，用于以预设的时间间隔从数据库服务器中获取回流控制数据，其中，所述回流控制数据由离线数据处理平台将业务数据回流到数据库服务器之后，根据所述业务数据生成并回流至所述数据库服务器，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
业务数据获取模块，用于根据所述回流控制数据获取最新版本的业务数据。
根据本说明书实施例的第六方面，提供一种数据回流设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
在将业务数据回流到数据库服务器后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
将所述回流控制数据回流至所述数据库服务器，以使实时在线业务服务器以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。
根据本说明书实施例的第七方面，提供一种计算机数据回流设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
以预设的时间间隔从数据库服务器中获取回流控制数据，其中，所述回流控制数据由离线数据处理平台将业务数据回流到数据库服务器之后，根据所述业务数据生成并回流至所述数据库服务器，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
根据所述回流控制数据获取最新版本的业务数据。
应用本说明书实施例方案，离线数据处理平台在将业务数据回流至数据库服务器后，生成与业务数据对应的回流控制数据并回流至数据库服务器，实时在线业务服务器以预设的时间间隔从数据库服务器中获取回流控制数据，并根据回流控制数据判断最新版本的业务数据是否回流完成，以及获取最新版本的业务数据，实时在线业务服务器可以及时地感知最新版本的业务数据回流完成，并且获取的最新版本的数据为同一批次的业务数据。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1是本说明书一个实施例的一种数据回流系统的示意图；
图2是本说明书一个实施例的一种数据回流方法的流程图；
图3是本说明书一个实施例的一种数据回流方法的流程图；
图4是本说明书一个实施例的一种数据回流系统的示意图；
图5是本说明书一个实施例的一种数据回流装置的示意图；
图6是本说明书一个实施例的一种数据回流装置的示意图；
图7是本说明书一个实施例的回流设备的结构示意图；
图8是本说明书一个实施例的回流设备的结构示意图。
实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着互联网行业的发展，互联网每天都会产生海量的业务数据，单纯地实时在线业务服务器已无法处理这些业务数据，而是需要借助大型地分布式离线数据处理平台去对这些业务数据做一些清洗或加工处理。通常地处理方式是，实时在线业务服务器将产生的各种业务数据，如日志数据、浏览数据、用户数据、交易数据、商品数据发送给离线数据处理平台，离线数据处理平台根据实时在线业务服务器地需求对这些业务数据进行清洗及计算，然后再将处理好的业务数据发送到数据库服务器中，以便实时在线业务服务器在接收到用户地查询请求时可以从数据库服务器中获取这些数据反馈给用户。其中，离线数据处理平台将处理好的数据发送给数据库服务器以供实时在线业务服务器使用的过程称为数据回流。在给离线数据处理平台设定业务数据回流任务后，由于离线数据处理平台的处理资源时刻变化，因而业务数据回流任务地完成地时间也是不确定的。目前是通过经验估计一个业务数据回流任务完成的时间，实时在线业务服务器在预估的完成时间去获取最新的处理好的业务数据。但是，由于离线处理平台处理资源的动态变化，预估的时间往往不准确，造成实时在线业务服务器不能及时的获取最新的业务数据，或者是去获取业务数据时，只有部分业务数据回流完成，以至于得到的最新的业务数据不是同一批次的业务数据。
为了让实时在线业务数据可以及时地感知业务数据已回流完成，并且消费的最新业务数据为同一批次的业务数据，本说明书实施例提供一种数据回流系统，所述数据回流系统的示意图如图1所示，可包括离线数据处理平台11、数据库服务器12以及实时在线业务服务器13；其中，离线数据处理平台11可以是大型的分布式计算系统，比如ODPS（（OpenDataProcessing Service），开放式数据分布服务。离线数据处理平台11在接收到回流任务后，根据任务需求对源数据进行处理，比如对源数据进行清洗、加工或者计算处理，得到实时在线业务服务器需要的一些业务数据14，由于业务处理产生的源数据会不断地更新，因而各类型的待回流业务数据也需要不断的更新，所以回流任务可以按周期进行，每个周期将更新的业务数据14回流至数据库服务器12。将业务数据14回流到数据库服务器12后，可以根据所述业务数据14生成回流控制数据15，其中，所述回流控制数据15包括业务数据的类型、业务数据的回流时间以及业务数据的版本标识。可以为每个任务周期回流的业务数据设置一个版本号，版本号可以根据回流的业务数据的批次逐渐增大，比如第一个任务周期回流的业务数据版本号设置为V001，第二个任务周期回流的业务数据的版本号设置为V002。在依据回流的业务数据生成回流控制数据15后，可以将回流控制数据15回流至数据库服务器12。实时在线业务服务器13可以是实时处理用户请求的在线服务器，为了可以及时地感知最新的业务数据已全部回流至数据库服务器12并及时的获取，实时在线业务服务器13可以以预设的时间间隔从所述数据库服务器12中获取所述回流控制数据15，所述时间间隔可以根据实际需求设置，比如可以每一分钟查询一次数据库服务器中的回流控制数据，根据所述回流控制数据15判断当前的业务数据是否有更新，并根据回流控制数据15从数据库服务器12获取最新版本的业务数据16。
由于离线数据处理平台每次回流完一批业务数据后，都会生成与这批业务数据对应的回流控制数据，并回流到数据库服务器，而实时在线业务服务器又可以每隔一段时间获取一次回流控制数据，根据回流控制数据可以判断最新的业务数据是否回流完成，然后获取。这样便可以保证实时在线业务服务器可以及时感知最新的业务数据已经回流完成，并且获取的最新版本的业务数据为同一批次的业务数据。
另外，本说明书实施例还提供了一种数据回流方法，所述数据回流方法可用于离线数据处理平台，所述离线处理平台可以离线分布式计算系统，所述离线数据处理平台可以用于上述数据回流系统中，所述方法的具体流程如图2所示，包括步骤S202-S204：
S202、在将业务数据回流到数据库服务器后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
S204、将所述回流控制数据回流至所述数据库服务器，以使实时在线业务服务器以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。
离线处理平台根据预设的算法对源数据进行处理后，得到待回流的业务数据，然后将这些业务数据回流到数据库服务器，其中，回流至数据库服务器的业务数据的数据表中可以设置回流时间这一字段，以便实时在线业务服务器根据回流时间查询业务数据。当所有的业务数据都已回流到数据库服务器后，离线处理平台可以根据回流的业务数据生成回流控制数据，其中，回流控制数据包括回流的业务数据的类型、业务数据的时间以及给这批业务数据生成的版本标识。生成回流控制数据后，将回流控制数据也回流至数据库服务器。实时在线业务服务器可以以预设的时间间隔从数据库服务器中获取回流控制数据，然后根据获取的回流控制数据判断回流至数据库服务器的业务数据是否更新，并根据回流控制数据去获取最新版本的业务数据。
由于业务处理产生的源数据一直在更新，因而回流至数据库服务器的业务数据也需要不断地更新，业务数据的回流任务可以按周期进行的，比如每天将处理好的业务数据回流一次，或者每周回流一次。每次回流的业务数据所对应的回流控制数据中，都会生成这批业务数据的版本标识，版本标识随着数据的更新而更新。在某些情况，如果同一个任务周期内，业务数据被更新后重新回流至数据库服务器，则业务数据对一个的版本标识也要更新。比如，在同一个回流任务周期内，一批业务数据回流至数据库服务器，其对应的控制数据中生成的版本号为V001，后面发现离线数据处理平台在处理源数据得到业务数据时的算法逻辑错误，又重新计算并将计算得到的业务数据回流至数据库服务器，这时虽然是同一个任务周期，但还是需要更新业务数据的版本标识，比如版本号更新为V002，以保证实时在线业务服务器感知到业务数据发生更新。
离线数据处理平台在将业务数据全部回流至数据库服务器后，根据回流的业务数据生成回流控制数据并回流至数据库服务器，这样实时在线服务器便可以根据回流控制数据知道最新版本的业务数据是否回流完成并及时获取。
本说明书实施例还提供了一种数据回流方法，所述数据回流方法可用于实时在线业务服务器，所述实时在线业务服务器可用于处理用户的实时请求，所述实时在线业务服务器可以用于上述数据回流系统中，所述方法的具体流程如图3所示，包括步骤S302-S304：
S302、以预设的时间间隔从数据库服务器中获取回流控制数据，其中，所述回流控制数据由离线数据处理平台将业务数据回流到数据库服务器之后，根据所述业务数据生成并回流至所述数据库服务器，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
S304、根据所述回流控制数据获取最新版本的业务数据。
离线数据处理平台在将业务数据回流到数据库服务器后，会根据回流的业务数据生成回流控制数据，回流控制数据包括业务数据的类型、回流时间和版本标识，然后将生成的回流控制数据回流至数据库服务器。为了及时地感知最新版本的业务数据已回流完成，实时在线业务服务器可以以预设的时间间隔从数据库服务器获取回流控制数据，比如可以每个一分钟去获取一次回流控制数据，或者每隔10min钟获取一次回流控制数据。时间间隔可以根据实际需求灵活设置，本说明书不作限制。另外，在获取回流控制数据的时候，可以获取以往的所有的回流控制数据，也根据回流时间获取最新的回流控制数据。然后根据获取的回流控制数据判断最新版本的业务数据是否回流完成，并获取最新版本的业务数据。
实时在线业务服务器在查询所需要的业务数据时，通常是根据业务数据的回流时间去查询的，因而离线数据处理平台在将业务数据回流至数据库服务器时，可以加上回流时间这一字段，以便实时在线业务服务器根据回流时间去检索业务数据。在某些实施例中，实时在线数据处理平台在获取到回流控制数据后，可以根据获取到的回流控制数据确定最新版本的业务数据的版本标识，然后再根据回流控制数据确定与最新版本的业务数据的版本标识对应的回流时间，然后再根据该回流时间作为检索条件去检索最新版本的业务数据。
实时在线业务服务器每次获取到回流控制数据后，可以根据回流控制数据记录的版本标识确定当前回流至数据库服务器的最新业务数据的版本标识，并将最新业务数据的版本标识根据业务数据类型分类存储，比如，日志数据，（最新版本号V004）。所以，在预设时间间隔到达后，实时在线业务服务器再次获取到回流控制数据，可以确定回流控制数据中记录的业务数据的最新版本标识，然后可以将该最新版本标识与存储的版本标识比较，其中，存储的版本标识为依据上一次获取的回流控制数据确定的回流的最新本版本的业务数据对应的版本标识，如果两者一致，说明回流的业务数据还未更新，所述存储的版本标识为当前最新版本业务数据的标识。如果不一致，则说明业务数据已经更新，回流控制数据中的最新版本标识才是当前最新版的业务数据的版本标识。
在某些实施例中，在确定回流控制数据中的最新版本标识是当前最新版本的业务数据的版本标识时，则用回流控制数据中的最新版本标识更新存储的版本标识，以便实时在线业务服务器可以实时的知道当前最新的业务数据的版本。
在某些实施例中，为了更方便更快捷的查询回流控制数据，实时在线业务服务器获取到回流控制数据后，可以将回流控制数据依据业务数据的类型分类存储。以便需要查询回流控制数据的时候，可以快速的查询。当然，实时在线业务服务器也可以不存储回流控制数据，每次需要使用时再到数据库服务器临时获取。
此外，实时在线业务服务器在获取到回流控制数据，发现回流至数据库服务器中的业务数据版本发生更新时，则可以根据回流控制数据获取最新版本的业务数据的版本标识，然后再根据版本标识对应的回流时间从数据库服务器获取业务数据并缓存。当然，实时在线业务服务器也可以在发现回流至数据库服务器中的业务数据版本发生更新时，只存储最新的业务数据的版本标识，不获取最新的业务数据，而是在收到查询请求时，根据存储的最新版本标识去获取最新版本的业务数据并存储，当然，这个查询请求可以是用户从前端发起查询请求，也可以是系统缓存发起的更新缓存内容的查询请求。
实时在线业务服务器每隔一段时间便从数据库服务器中去获取回流控制数据，并根据回流控制数据中的版本标识确定业务数据是否已经更新，以及确定最新的业务数据的版本标识，这样便可以及时的感知业务数据回流完成，并及时的获取同一批次的最新版本业务数据。
为了进一步解释本说明书实施例提供的数据回流系统和数据回流方法，以下结合图4以一个具体的实施例做详细解释。
图4为一个数据回流系统的示意图，数据回流系统包括离线数据处理平台41、数据库服务器42以及实时在线业务服务器43，其中，离线数据处理平台包括离线业务数据处理模块411，用于对源数据进行计算处理，得到待回流的业务数据，还包括业务数据回流模块412，用于将处理好的待回流业务数据44回流至数据库服务器，以及回流控制数据回流模块413，用于在业务数据回流完后，根据回流的业务数据，生成回流控制数据45，然后将回流控制数据45回流至数据库服务器42。数据库服务器42中包含一个存储模块421，用于存储离线数据处理平台41回流的业务数据44和回流控制数据45，以便实时在线业务服务器43中的线上业务处理模块431在接收到查询请求时，从数据库服务器42查询这些数据。实时在线业务服务器43中还包括一个版本号管理模块432，用于记录各个类型的业务数据的最新版本号，以便线上业务处理模块431根据版本号判断新的业务数据是否回流完成，并获取最新版本的业务数据46。
数据回流的具体过程如下：
首先，离线数据处理平台41可以执行以下步骤：
1.1、离线业务数据处理模块411对源数据进行清洗，然后根据预先设置的算法处理清洗后的数据，得到待回流的业务数据，然后把业务数据存储到一个临时的数据表中，称之为源头表，记为algo_output_temp；
1.2、业务数据回流模块412需要将源头表中的业务数据回流至数据库服务器42存储模块421中的目标表，目标表记为realtime_online_business_data，源头表和目标表都需要设置回流时间字段，即biz_dt字段，以方便实时在线业务服务器通过biz_dt索引到最新的业务数据；
1.3、回流控制数据回流模块在检测到源头表中业务数据已经全部回流至目标表后，则根据业务数据生成回流控制数据，回流控制数据存储在回流控制数据表中，记为odps_back_import_control，其中，回流控制数据表包含业务数据的类型data_type、业务数据的回流时间biz_dt、业务数据的版本号data_version等字段，在回流控制数据生成后，回流控制数据回流模块将其回流到数据库服务器42中的存储模块421。
在某些情况，在一个回流任务周期内，如果由于算法逻辑的错误，导致重新对源数据进行处理得到新的业务数据，再将新的业务数据回流至数据库服务器覆盖原来回流的业务数据，则这时需重新生成回流控制数据，且回流控制数据中的版本号也需要更新。这样实时在线业务服务器才能根据版本知道业务数据发生了更新。
实时在线业务服务器43可以执行以下步骤：
2.1、版本号管理模块432启动分钟级定时任务，即每隔一分钟从数据库服务器中查询一次回流控制数据，并将全部的回流控制数据存储到内存中。
2.2、版本号管理模块432将查询到的全部回流控制数据按照业务数据的类型(data_type)分类，形成若干回流控制数据的子集合。
2.3、版本号管理模块432将所有子集合按照业务数据的版本号（data_version）逆序排序，取当前最新的版本号更新缓存中存储的根据上一次回流控制数据确定的最新版本号，取当前最新的版本号对应的回流时间（biz_dt）更新缓存中对应业务数据的回流时间（biz_date）。
2.4、当线上业务实时处理模块431接收到查询请求，需要查询某个类型(data_type)的最新业务数据时，即可从缓存中取出该类型业务数据的最新版本号对应的回流时间（biz_date），并以回流时间（biz_date）作为索引条件，向数据库服务器42查询最新的业务数据。以上实施例中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
如图5所示，是本说明书一个实施例的数据回流装置，所述装置50可包括：
回流控制数据生成模块51，用于在将业务数据回流到数据库服务器后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
回流模块52，用于将所述回流控制数据回流至所述数据库服务器，以使实时在线业务服务器以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。
在一个实施例中，若所述业务数据被更新后重新回流至数据库服务器，则更新所述版本标识。
如图6所示，是本说明书一个实施例的数据回流装置，所述装置60可包括：
回流控制数据获取模块61，用于以预设的时间间隔从数据库服务器中获取回流控制数据，其中，所述回流控制数据由离线数据处理平台将业务数据回流到数据库服务器之后，根据所述业务数据生成并回流至所述数据库服务器，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
业务数据获取模块62，用于根据所述回流控制数据获取最新版本的业务数据。
在一个实施例中，根据所述回流控制数据获取最新版本的业务数据包括：
根据所述回流控制数据确定当前最新版本的业务数据的版本标识以及与所述版本标识对应的回流时间；
根据所述回流时间从所述数据库服务器获取所述当前最新版本的业务数据。
在一个实施例中，根据所述回流控制数据确定当前最新版本的业务数据的版本标识包括：
判断所述回流控制数据中的最新版本标识与存储的版本标识是否一致，所述存储的版本标识为依据上一次获取的回流控制数据确定的最新版本的业务数据的版本标识；
如不一致，则将所述回流控制数据中的最新版本标识确定为当前最新版本的业务数据的版本标识。
在一个实施例中，将所述回流控制数据中的最新版本标识确定为当前最新版本的业务数据的版本标识之后，还包括：
用所述回流控制数据中的最新版本标识更新所述存储的版本标识。
在一个实施例中，根据所述回流控制数据获取最新版本的业务数据的时机包括：
检测到所述回流控制数据中的最新版本标识与所述存储的版本标识不一致时；
或接收到查询所述业务数据的请求时。
在一个实施例中，以预设的时间间隔从数据库服务器中获取回流控制数据之后，还包括：
根据所述业务数据的类型将所述回流控制数据分类存储。
上述装置中各个模块的功能和作用的实现过程具体详情见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本说明书装置的实施例可以应用在计算机设备上，例如服务器或智能终端。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在文件处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本说明书装置所在回流设备的一种硬件结构图，除了图7所示的处理器702、内存704、网络接口706、以及非易失性存储器708之外，实施例中装置所在的服务器或电子设备，通常根据该计算机设备的实际功能，还可以包括其他硬件，对此不再赘述。所述非易失性存储器708存储有计算机指令，处理702执行所述计算机指令可实现以下步骤：
在将业务数据回流到数据库服务器后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
将所述回流控制数据回流至所述数据库服务器，以使实时在线业务服务器以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。
图8为本说明书另一装置所在回流设备的一种硬件结构图，除了图8所示的处理器802、内存804、网络接口806、以及非易失性存储器808之外，实施例中装置所在的服务器或电子设备，通常根据该计算机设备的实际功能，还可以包括其他硬件，对此不再赘述。所述非易失性存储器808存储有计算机指令，处理802执行所述计算机指令可实现以下步骤：
以预设的时间间隔从数据库服务器中获取回流控制数据，其中，所述回流控制数据由离线数据处理平台将业务数据回流到数据库服务器之后，根据所述业务数据生成并回流至所述数据库服务器，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
根据所述回流控制数据获取最新版本的业务数据。
相应地，本说明书实施例还提供一种计算机存储介质，所述存储介质中存储有程序，所述程序被处理器执行时实现上述任一实施例中的方法。
相应地，本说明书实施例还提供一种计算机存储介质，所述存储介质中存储有程序，所述程序被处理器执行时实现上述任一实施例中的方法。
本申请可采用在一个或多个其中包含有程序代码的存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑说明书及实践这里公开的说明书后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。
Claims (13)
1.一种数据回流系统，所述数据回流系统包括：离线数据处理平台、数据库服务器以及实时在线业务服务器；
所述离线数据处理平台用于从所述数据库服务器中获取所述实时在线业务服务器在业务处理过程中产生的原始业务数据，对所述原始业务数据进行处理得到处理好的业务数据，再将所述业务数据回流到数据库服务器，在完成所述业务数据的回流后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括业务数据的类型、业务数据的回流时间以及业务数据的版本标识；将所述回流控制数据回流至所述数据库服务器；
所述实时在线业务服务器用于以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。
2.一种数据回流方法，所述方法用于离线数据处理平台，包括：
从数据库服务器中获取实时在线业务服务器在业务处理过程中产生的原始业务数据，对所述原始业务数据进行处理得到处理好的业务数据，再将所述业务数据回流到数据库服务器，在完成所述业务数据的回流后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
将所述回流控制数据回流至所述数据库服务器，以使实时在线业务服务器以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。
3.根据权利要求2所述的数据回流方法，若所述业务数据被更新后重新回流至数据库服务器，则更新所述版本标识。
4.一种数据回流方法，所述方法应用于实时在线服务器，包括：
以预设的时间间隔从数据库服务器中获取回流控制数据，其中，所述回流控制数据由离线数据处理平台从数据库服务器中获取所述实时在线业务服务器在业务处理过程中产生的原始业务数据，对所述原始业务数据进行处理得到处理好的业务数据，再将所述业务数据回流到数据库服务器，在完成所述业务数据的回流之后，根据所述业务数据生成并回流至所述数据库服务器，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
根据所述回流控制数据获取最新版本的业务数据。
5.根据权利要求4所述的数据回流方法，根据所述回流控制数据获取最新版本的业务数据包括：
根据所述回流控制数据确定当前最新版本的业务数据的版本标识以及与所述版本标识对应的回流时间；
根据所述回流时间从所述数据库服务器获取所述当前最新版本的业务数据。
6.根据权利要求5所述的数据回流方法，根据所述回流控制数据确定当前最新版本的业务数据的版本标识包括：
判断所述回流控制数据中的最新版本标识与存储的版本标识是否一致，所述存储的版本标识为依据上一次获取的回流控制数据确定的最新版本的业务数据的版本标识；
如不一致，则将所述回流控制数据中的最新版本标识确定为当前最新版本的业务数据的版本标识。
7.根据权利要求6所述的数据回流方法，将所述回流控制数据中的最新版本标识确定为当前最新版本的业务数据的版本标识之后，还包括：
用所述回流控制数据中的最新版本标识更新所述存储的版本标识。
8.根据权利要求6所述的数据回流方法，根据所述回流控制数据获取最新版本的业务数据的时机包括：
检测到所述回流控制数据中的最新版本标识与所述存储的版本标识不一致时；
或接收到查询所述业务数据的请求时。
9.根据权利要求4所述的数据回流方法，以预设的时间间隔从数据库服务器中获取回流控制数据之后，还包括：
根据所述业务数据的类型将所述回流控制数据分类存储。
10.一种数据回流装置，包括：
回流控制数据生成模块，用于从数据库服务器中获取实时在线业务服务器在业务处理过程中产生的原始业务数据，对所述原始业务数据进行处理得到处理好的业务数据，再将所述业务数据回流到数据库服务器，在完成所述业务数据的回流后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
回流模块，用于将所述回流控制数据回流至所述数据库服务器，以使实时在线业务服务器以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。
11.一种数据回流装置，包括：
回流控制数据获取模块，用于以预设的时间间隔从数据库服务器中获取回流控制数据，其中，所述回流控制数据由离线数据处理平台从数据库服务器中获取实时在线业务服务器在业务处理过程中产生的原始业务数据，对所述原始业务数据进行处理得到处理好的业务数据，再将所述业务数据回流到数据库服务器，在完成所述业务数据的回流之后，根据所述业务数据生成并回流至所述数据库服务器，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；
业务数据获取模块，用于根据所述回流控制数据获取最新版本的业务数据。
12.一种数据回流设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求2至3任意一项所述的方法。
13.一种数据回流设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求4至9任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910232725.6A CN110008269B (zh) | 2019-03-26 | 2019-03-26 | 一种数据回流方法、装置、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910232725.6A CN110008269B (zh) | 2019-03-26 | 2019-03-26 | 一种数据回流方法、装置、设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110008269A CN110008269A (zh) | 2019-07-12 |
| CN110008269B true CN110008269B (zh) | 2023-08-01 |
Family
ID=67168570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910232725.6A Active CN110008269B (zh) | 2019-03-26 | 2019-03-26 | 一种数据回流方法、装置、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008269B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597123B (zh) * | 2020-11-20 | 2023-01-06 | 贝壳技术有限公司 | 数据多版本动态切换方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426589A (zh) * | 2011-10-31 | 2012-04-25 | 合一网络技术(北京)有限公司 | 一种用于数据库信息检索的中间层系统及信息检索方法 |
| WO2014180207A1 (zh) * | 2013-11-04 | 2014-11-13 | 中兴通讯股份有限公司 | 元数据服务器的迁移处理方法及装置 |
| WO2018219178A1 (zh) * | 2017-05-27 | 2018-12-06 | Oppo广东移动通信有限公司 | 数据同步方法、装置、服务器及存储介质 |
| WO2018227406A1 (en) * | 2017-06-14 | 2018-12-20 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for uploading data |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7606881B2 (en) * | 2002-04-25 | 2009-10-20 | Oracle International Corporation | System and method for synchronization of version annotated objects |
| CN107133234B (zh) * | 2016-02-29 | 2021-04-27 | 创新先进技术有限公司 | 缓存数据更新的方法、装置及系统 |
| US10375211B2 (en) * | 2016-06-03 | 2019-08-06 | Ebay Inc. | Optimization of user interface data transmission for a consistent multi-platform experience service delivery |
| CN109413127B (zh) * | 2017-08-18 | 2022-04-12 | 北京京东尚科信息技术有限公司 | 一种数据同步方法和装置 |
| CN108563776B (zh) * | 2018-04-24 | 2022-06-17 | 武汉斗鱼网络科技有限公司 | 离线数据获取方法及系统、服务器及存储介质 |
| CN109284305A (zh) * | 2018-08-23 | 2019-01-29 | 阿里巴巴集团控股有限公司 | 一种数据的更新方法、装置及系统 |
| CN109284300A (zh) * | 2018-08-31 | 2019-01-29 | 江苏龙虎网信息科技股份有限公司 | 一种客户端海量数据实时更新方法 |
| CN109344162A (zh) * | 2018-09-14 | 2019-02-15 | 北京京东金融科技控股有限公司 | 业务数据处理方法和装置 |
-
2019
- 2019-03-26 CN CN201910232725.6A patent/CN110008269B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426589A (zh) * | 2011-10-31 | 2012-04-25 | 合一网络技术(北京)有限公司 | 一种用于数据库信息检索的中间层系统及信息检索方法 |
| WO2014180207A1 (zh) * | 2013-11-04 | 2014-11-13 | 中兴通讯股份有限公司 | 元数据服务器的迁移处理方法及装置 |
| WO2018219178A1 (zh) * | 2017-05-27 | 2018-12-06 | Oppo广东移动通信有限公司 | 数据同步方法、装置、服务器及存储介质 |
| WO2018227406A1 (en) * | 2017-06-14 | 2018-12-20 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for uploading data |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110008269A (zh) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2021509189A5 (zh) | ||
| CN104281582B (zh) | 分页显示控制方法和装置 | |
| US10474799B2 (en) | Method and system for identifying a unique mobile device based on mobile device attribute changes over time | |
| CN104731816A (zh) | 一种处理异常业务数据的方法和装置 | |
| CN108647357B (zh) | 数据查询的方法及装置 | |
| CN107092637B (zh) | 数据处理方法及装置 | |
| CN110413870A (zh) | 商品推荐方法、装置及服务器 | |
| CN107026892B (zh) | 消息推荐方法和装置 | |
| CN111090705B (zh) | 一种多维数据处理方法、装置及设备、存储介质 | |
| CN108809704B (zh) | 基于动态时间窗的数据去重统计方法及装置 | |
| CN110008269B (zh) | 一种数据回流方法、装置、设备及系统 | |
| CN106878365B (zh) | 一种数据同步方法和设备 | |
| CN112149011A (zh) | 热度排行榜的更新方法、装置、服务器及计算机存储介质 | |
| CN110580265B (zh) | Etl任务的处理方法、装置、设备及存储介质 | |
| CN112527479A (zh) | 任务执行方法、装置、计算机设备和存储介质 | |
| CN112328882B (zh) | 信息推荐方法、装置、终端设备及存储介质 | |
| CN111672128A (zh) | 基于本地保留时长识别的游戏商城游戏推荐方法及系统 | |
| CN108198012A (zh) | 一种目标对象的推送、业务处理方法、设备及系统 | |
| US20220156779A1 (en) | Method, apparatus, and computer device for calculating website user credit point | |
| CN108121733B (zh) | 一种数据的查询方法及装置 | |
| CN111143582B (zh) | 一种双索引实时更新联想词的多媒体资源推荐方法及装置 | |
| CN111401969B (zh) | 用于提高用户留存率的方法、装置、服务器及存储介质 | |
| CN114564501A (zh) | 一种数据库数据存储、查询方法、装置、设备及介质 | |
| CN114022240A (zh) | 一种造价偏离处理方法和系统 | |
| CN113627148A (zh) | 一种知识库中知识的自动关联方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200925 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200925 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |