CN113495895A - 一种更新数据的方法和装置 - Google Patents

Abstract

本发明公开了一种更新数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收业务的原始数据信息，基于预设的配置文件模板将所述原始数据转化为预设格式的第一数据；根据第一数据构建所述业务的中间更新记录，并将所述中间更新记录作为缓存保存至消息队列；将消息队列中的中间更新记录更新至存储集群。该实施方式能够利用预设的配置文件模板进行数据接入，以提升数据接入以及存储的效率；还在数据传输过程中通过设置多个类别模型将接入的数据构建为中间消息记录以进行聚合更新，使得属性字段定义对于离线更新过程透明化，当业务需求有变更时不再需要重写脚本，提高了用户体验。

Description

一种更新数据的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种更新数据的方法和装置。

背景技术

信息服务是各种系统中常用且重要的基础服务，其中数据更新服务是信息服务的基础组成部分；面对频繁且大量的数据更新需求，如何快速稳定地接入并存储数据是必须要考虑的问题。

对于数据更新服务中的离线更新方法，现有技术中通常在离线计算脚本中使用硬编码的方式写明存储路径和属性字段名，通过多表关联的方式形成一张包含所有属性字段的数据宽表存储到分布式文件系统(HDFS)上，然后将数据发送到更新系统中，之后在数据更新系统中，通过解析更新消息的文本，将数据更新到目标存储介质中。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1)由于使用硬编码的方式设置业务相关的字段以接入数据，当业务需求有变更时，需要开发新的脚本，然后重新上线，流程繁琐，费时费力；且过于频繁地上线更新脚本，容易使系统不稳定、造成消息积压或数据丢失，影响用户体验；

2)由于现有更新方式中需要利用包含所有属性字段的数据宽表，当其中存在延迟获得的属性字段数据时，常常会影响其它数据字段的更新，导致数据更新不及时甚至不准确。

发明内容

有鉴于此，本发明实施例提供一种更新数据的方法和装置，能够利用预设的配置文件模板进行数据接入，以提升数据接入以及存储的效率；还在数据传输过程中通过设置多个类别模型将接入的数据构建为中间消息记录以进行聚合更新，使得属性字段定义对于离线更新过程透明化，当业务需求有变更时不再需要重写脚本，提高了用户体验。

为实现上述目的，根据本发明实施例的一个方面，提供了一种更新数据的方法，包括：

接收业务的原始数据信息，基于预设的配置文件模板将所述原始数据转化为预设格式的第一数据；

根据第一数据构建所述业务的中间更新记录，并将所述中间更新记录作为缓存保存至消息队列；

将消息队列中的中间更新记录更新至存储集群。

可选地，所述原始数据包括：业务名称、业务属性标识、与所述业务属性标识对应的业务属性数据；

第一数据包括：业务存储名标识，属性存储标识、与所述属性存储标识对应的属性存储数据；

所述预设的配置文件模板包括：业务名称与业务存储名标识的对应关系、业务属性标识与属性存储标识的对应关系。

可选地，在将所述原始数据转化为预设格式的第一数据之前，还包括：确认所述原始数据校验成功；

所述校验按如下方法进行：判断所述业务是否有更新需求，若有，则校验成功；和，判断所述业务方提供的原始数据信息的数据变化量是否不超过预设阈值，若是，则校验成功；

以及，在所述校验完成后，生成校验报告进行反馈。

可选地，根据第一数据构建所述业务的中间更新记录，包括：

根据所述第一数据信息，创建所述业务的中间消息对象；

将所述业务的中间消息对象利用预设的处理方法处理后存储至消息队列，以作为所述业务的中间更新记录。

可选地，根据所述第一数据信息，创建所述业务的中间消息对象，包括：

将所述业务的属性存储标识按预设的类别模型进行分类；

根据所述业务的第一数据信息中的属性存储标识以及与之对应的属性存储数据，创建所述业务的各个类别模型的存储对象；

将所述业务的所有类别模型的存储对象，作为所述业务的中间消息对象。

可选地，所述中间更新记录中的属性存储数据是以字节码形式存在的。

可选地，将消息队列中的中间更新记录更新至存储集群，包括：

根据所述消息队列中的中间更新记录，确定所述业务的属性存储数据的字节码信息；

在所述存储集群中确定与所述业务对应的目标存储集群；根据所述字节码信息对所述目标存储集群中已有的数据进行更新。

可选地，根据所述字节码信息对所述目标存储集群中已有的数据进行更新，包括：

将所述中间更新记录中的属性存储标识作为待更新属性，读取所述目标存储集群中所述待更新属性的已有的属性存储数据的字节码信息；

用所述中间更新记录中的待更新属性的属性存储数据的字节码信息，替换所述已有的属性存储数据的字节码信息；

将替换完成后的待更新属性的属性存储数据的字节码信息写回所述目标存储集群，以完成更新。

根据本发明实施例的再一个方面，提供了一种更新数据的装置，包括：

接收模块，用于接收业务的原始数据信息，基于预设的配置文件模板将所述原始数据转化为预设格式的第一数据；

缓存模块，用于根据第一数据构建所述业务的中间更新记录，并将所述中间更新记录作为缓存保存至消息队列；

更新模块，用于将消息队列中的中间更新记录更新至存储集群。

可选地，所述原始数据包括：业务名称、业务属性标识、与所述业务属性标识对应的业务属性数据；

第一数据包括：业务存储名标识，属性存储标识、与所述属性存储标识对应的属性存储数据；

所述预设的配置文件模板包括：业务名称与业务存储名标识的对应关系、业务属性标识与属性存储标识的对应关系。

可选地，所述接收模块在将所述原始数据转化为预设格式的第一数据之前，还包括：确认所述原始数据校验成功；

所述校验按如下方法进行：判断所述业务是否有更新需求，若有则校验成功；和，判断所述业务方提供的原始数据信息的数据变化量是否不超过预设阈值，若是则校验成功；

以及，在所述校验完成后，生成校验报告进行反馈。

可选地，根据第一数据构建所述业务的中间更新记录，包括：

所述缓存模块根据所述第一数据信息，创建所述业务的中间消息对象；

将所述业务的中间消息对象利用预设的处理方法处理后存储至消息队列，以作为所述业务的中间更新记录。

可选地，所述缓存模块根据所述第一数据信息，创建所述业务的中间消息对象，包括：

将所述业务的属性存储标识按预设的类别模型进行分类；

根据所述业务的第一数据信息中的属性存储标识以及与之对应的属性存储数据，创建所述业务的各个类别模型的存储对象；

将所述业务的所有类别模型的存储对象，作为所述业务的中间消息对象。

可选地，所述中间更新记录中的属性存储数据是以字节码形式存在的。

可选地，所述更新模块将消息队列中的中间更新记录更新至存储集群，包括：

根据所述消息队列中的中间更新记录，确定所述业务的属性存储数据的字节码信息；

在所述存储集群中确定与所述业务对应的目标存储集群；根据所述字节码信息对所述目标存储集群中已有的数据进行更新。

可选地，所述更新模块根据所述字节码信息对所述目标存储集群中已有的数据进行更新，包括：

将所述中间更新记录中的属性存储标识作为待更新属性，读取所述目标存储集群中所述待更新属性的已有的属性存储数据的字节码信息；

用所述中间更新记录中的待更新属性的属性存储数据的字节码信息，替换所述已有的属性存储数据的字节码信息；

将替换完成后的待更新属性的属性存储数据的字节码信息写回所述目标存储集群，以完成更新。

根据本发明实施例的另一个方面，提供了一种更新数据的电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的更新数据的方法。

根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的更新数据的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为利用预设的配置文件模板进行数据接入、对接入的数据进行校验、在数据传输过程中通过设置多个类别模型将接入的数据构建为中间消息记录以进行聚合更新的技术手段，所以克服了现有技术中接入数据效率低、需要频繁根据业务需求更改脚本导致的系统不稳定、使用了数据宽表导致的数据更新不及时或不准确的技术问题，进而达到简化数据接入流程以提升数据接入以及存储的效率、及时反馈接入的数据的情况、当业务需求有变更时不再需要重写脚本的技术效果，能够及时准确地更新数据，提升用户体验。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种更新数据的方法的主要流程的示意图；

图2是根据本发明实施例的一种更新数据的方法中接收原始数据信息的主要步骤示意图；

图3是根据本发明实施例的一种更新数据的方法中构建中间更新记录的主要步骤示意图；

图4是根据本发明实施例的一种更新数据的方法中将数据更新至存储集群的主要步骤示意图；

图5是根据本发明实施例的一种更新数据的装置的主要模块的示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的一种更新数据的方法的主要流程的示意图，如图1所示，包括：

步骤S101、接收业务的原始数据信息，基于预设的配置文件模板将所述原始数据转化为预设格式的第一数据；

步骤S102、根据第一数据构建所述业务的中间更新记录，并将所述中间更新记录作为缓存保存至消息队列；

步骤S103、将消息队列中的中间更新记录更新至存储集群。

所述业务可以用于描述各种信息，例如商品、订单、促销活动等信息；

所述预设的配置文件模板可以是预设好的格式化或规范化的文件存储形式；基于预设的配置文件模板将原始数据转化为预设格式的第一数据，可以看作是将原始数据预处理为统一的格式，为后续的数据传输、转化等流程提供了方便；

所述消息队列可以是用于存放中间数据结果的存储空间，例如kafka、activemq、rabbitmq、rocketmq等消息队列；使用消息队列能够平滑对下游更新模块的压力，并且在数据传输中可以同时使用多个消息队列，使系统稳定、同时使整个更新流程效率更高；

利用存储集群作为最终存放更新后数据的存储介质，能够为各个类型的业务配置相应的存储集群，互不干扰，使外界查询更新后的数据时效率更高、为外界查询数据带来的便宜。

本发明能够利用预设的配置文件模板进行数据接入，以提升数据接入以及存储的效率；还在数据传输过程中通过设置多个类别模型将接入的数据构建为中间消息记录以进行聚合更新，使得属性字段定义对于离线更新过程透明化，当业务需求有变更时不再需要重写脚本，提高了用户体验；并通过使用消息队列作为中间存储空间以减小更新流程对系统带来的压力。

在一些实施例中，所述原始数据包括：业务名称、业务属性标识、与所述业务属性标识对应的业务属性数据；

第一数据包括：业务存储名标识，属性存储标识、与所述属性存储标识对应的属性存储数据；

所述预设的配置文件模板包括：业务名称与业务存储名标识的对应关系、业务属性标识与属性存储标识的对应关系。

业务属性标识可以是用于描述业务属性信息的名称或序号，业务属性数据可以是用于描述属性值的具体数据；如：对于商品业务，业务属性标识可以是商品价格、商品所属店铺名称、商品大小参数、商品重量参数、商品当前所参与的活动信息、商品的受众人群信息等；对于订单业务，业务属性可以是订单总价格、订单生成日期、订单发货日期、订单序号、订单物流公司信息、订单物流编号信息等信息；

预设的配置文件模板可以看作是提供给业务方的接口；在一些较优的实施例中，预设的配置文件模板可以是原始数据到hive表字段的映射关系，在配置文件中可以是每一行对应一个字段；

所述业务存储名标识与业务属性标识可以是含义相同、存储形式不同的；相应地，业务属性数据与属性存储标识可以是含义相同、存储形式不同的；

所述原始数据信息可以是由业务方提供的；

各业务方提供的原始数据可以是与配置文件模板相适应的、具有着固定格式的数据；原始数据可以包含业务名称、业务属性标识、与所述业务属性标识对应的业务属性数据；例如，可以是业务名称，业务属性字段序号，HIVE表名，HIVE字段名；业务方将自身提供的数据源与配置文件模板中相对应的字段定义进行关联，进而使得在接入数据时可以快速地将原始数据加载至统一格式的中间表中；

以下举例说明：

一原始数据信息为“业务名称：A001，业务属性标识以及相应的业务属性数据：B01→10、B02→20、B03→30”；通过配置文件模板，可以将该原始数据信息转化为以下形式的第一数据：

业务存储名标识	属性存储标识	属性存储数据
			A001	B01	10
A001	B02	20
			A001	B03	30

在一些实施例中，在将所述原始数据转化为预设格式的第一数据之前，还包括：确认所述原始数据校验成功；

所述校验按如下方法进行：判断所述业务是否有更新需求，若有，则校验成功；和，判断所述业务方提供的原始数据信息的数据变化量是否不超过预设阈值，若是，则校验成功；

以及，在所述校验完成后，生成校验报告进行反馈。

在一些较优的实施例中，若业务有更新需求，可以先为将要更新的数据设置分区，用于提供存储空间以进行后续更新流程；若判断出分区不存在，可以看作是对于获取到的数据无更新需求，对于获取到的数据无需进行更新；

所述预设阈值是可调整的；所述数据变化量可以用于校验业务方发来的数据量是否正常；如：若设置预设阈值为30％，若某业务的业务属性数据量通常是1000条，当业务方某次发来的业务属性数据量为1400条时，可以确定数据变化量为增加40％，超过了预设阈值，则对于此次获取到的数据校验不成功；又如，当业务方另一次发来的业务属性数据量为500条时，可以确定数据变化量为减少50％，超过了预设阈值，则对于此次获取到的数据校验不成功；

判断分区是否存在与判断数据变化量是否超过阈值可以先后进行，也可以同时进行；

当校验完成后，无论校验是否成功，都可以生成校验报告，反馈给提供原始数据的业务方；也可以只对校验成功的数据生成校验报告，反馈给提供原始数据的业务方；

及时反馈信息可以及时告知业务方其所提供的数据的情况，以便当存在问题时可以及时修正。

图2是根据本发明实施例的一种更新数据的方法中接收原始数据信息的主要步骤示意图，如图2所示，包括：

步骤S201、加载配置文件模板；

步骤S202、按顺序遍历每一个与业务名称对应的原始数据，对当前数据进行校验；

步骤S203、判断是否存在与原始数据对应的分区，若存在，执行步骤S204；若不存在，执行步骤S210；

步骤S204、判断数据变化量是否超过预设阈值，若不超过，执行步骤S205；若超过，执行步骤S210；

步骤S205、将对当前数据的校验结果更新至校验报告中；

步骤S206、将当前数据标记为可信的；

步骤S207、基于配置文件模板，将当前数据转化为预设格式的第一数据；

步骤S209、判断是否遍历完成，若完成，则执行步骤S209；若未完成，执行步骤S210；

步骤S209、将校验报告反馈给业务方；

步骤S210、遍历下一个业务数据。

在一些实施例中，根据第一数据构建所述业务的中间更新记录，包括：

根据所述第一数据信息，创建所述业务的中间消息对象；

将所述业务的中间消息对象利用预设的处理方法处理后存储至消息队列，以作为所述业务的中间更新记录。

所述消息队列可以是用于存放中间数据结果的存储空间，例如kafka、activemq、rabbitmq、rocketmq等消息队列；使用消息队列能够平滑对下游更新模块的压力，并且在数据传输中可以同时使用多个消息队列，使系统稳定、同时使整个更新流程效率更高；

所述预设的处理方法可以是序列化、编码、压缩等处理方法，以节省带宽和防止数据传输错误。

在一些实施例中，根据所述第一数据信息，创建所述业务的中间消息对象，包括：

将所述业务的属性存储标识按预设的类别模型进行分类；

根据所述业务的第一数据信息中的属性存储标识以及与之对应的属性存储数据，创建所述业务的各个类别模型的存储对象；

将所述业务的所有类别模型的存储对象，作为所述业务的中间消息对象。

将所述业务的属性存储标识按预设的类别模型进行分类，可以看作是对于业务的不同属性，按照属性类别对业务的属性进行分类；

例如，对于商品业务，可以将商品的直接属性分为第一类模型，将间接属性分为第二类模型；

以下举例说明：如，对于商品的商品价格、商品所属店铺名称、商品大小参数、商品重量参数、商品当前所参与的活动信息、商品的受众人群信息等这些属性，可以将商品价格、商品所属店铺名称、商品大小参数、商品重量参数归为第一类模型，将商品当前所参与的活动信息、商品的受众人群信息归为第二类模型；

在数据的传输转化过程中，以业务的属性进行分类存储，可以使业务下的数据分布更有层次，有利于在业务需求发生更改时进行调整、管理；

可以为每一个类别模型创建一个存储对象，该存储对象中存储该类别属性的属性存储标识以及与之对应的属性存储数据；

可以为业务创建存储空间，将该业务下的所有存储对象存入该存储空间，以作为该业务的中间消息对象；

之后对业务的中间消息对象进行序列化、和/或编码和/或压缩的处理，并存入消息队列中，以得到该业务的中间更新记录；

对于每一个业务的第一数据，都可以按上述方法确定该业务的中间更新记录。

较优地，所述中间更新记录中的属性存储数据可以是以字节码形式存在的。

以字节码形式存在，有利于后续流程中的数据覆盖更新。

图3是根据本发明实施例的一种更新数据的方法中构建中间更新记录的主要步骤示意图；如图3所示，对于每一个业务的第一数据，可以按如下步骤确定该业务的中间更新记录，包括：

步骤S301、为当前业务创建存储空间以作为中间消息对象；

步骤S302、将当前业务的属性存储标识按预设的类别模型进行分类；

步骤S303、为当前类别模型创建存储空间以作为该类别模型的存储对象；

步骤S304、利用反射机制，根据当前业务的第一数据中的属性存储标识以及与之对应的属性存储数据，填充至当前类别模型的存储对象中，

步骤S305、将当前存储对象封装至当前业务的中间消息对象中；

步骤S306、判断是否遍历完所有类别模型，若是，执行步骤S307；若否，执行步骤S309；

步骤S307、序列化中间消息对象，以方便数据传输；

步骤S308、将序列化后的中间消息对象编码压缩，得到当前业务的中间更新记录，可以将中间更新记录存入消息队列中；

步骤S309、遍历下一个类别模型。

在一些实施例中，将消息队列中的中间更新记录更新至存储集群，包括：

根据所述消息队列中的中间更新记录，确定所述业务的属性存储数据的字节码信息；

在所述存储集群中确定与所述业务对应的目标存储集群；根据所述字节码信息对所述目标存储集群中已有的数据进行更新。

所述存储集群可以由不止一个Redis集群构成，不同的集群可以用于存储不同的业务，一个业务可以对应于一个存储集群进行存储；如商品业务可以对应存储在一个集群中，订单业务可以对应存储在另一个存储集群中，促销活动业务可以存储在又一个存储集群中。

在一些实施例中，根据所述字节码信息对所述目标存储集群中已有的数据进行更新，包括：

将所述中间更新记录中的属性存储标识作为待更新属性，读取所述目标存储集群中所述待更新属性的已有的属性存储数据的字节码信息；

用所述中间更新记录中的待更新属性的属性存储数据的字节码信息，替换所述已有的属性存储数据的字节码信息；

将替换完成后的待更新属性的属性存储数据的字节码信息写回所述目标存储集群，以完成更新。

数据更新的整个过程都可以是以字节码的形式进行操作的，其中字节码可以看做是数据的二进制存储形式；在数据的读取、覆盖、写回操作中可以不需要反序列化，进而在数据更新时可以对业务数据定义做到无感知，当业务需求有变化时，根据本发明中的方法更新数据，可以无需重新编写接入数据的脚本、无需重新上线数据更新系统，提升了更新效率，降低了频繁上线导致的系统不稳定性。

图4是根据本发明实施例的一种更新数据的方法中将数据更新至存储集群的主要步骤示意图；如图4所示，对于每一个业务的中间更新记录，可以按如下步骤将该业务的数据更新至存储集群中，包括：

步骤S401、解析中间更新记录；

步骤S402、获取中间更新记录中当前存储对象中属性存储数据的字节码信息；

步骤S403、读取目标存储集群中的旧数据；

步骤S404、用当前存储对象中属性存储数据的字节码信息，覆盖旧数据中的相应信息；

步骤S405、将更新后的数据写回目标存储集群；

步骤S406、判断是否遍历完当前业务的所有存储对象；若是，执行步骤S407；若否，执行步骤S408；

步骤S407、确定当前业务数据更新完成；

步骤S408、遍历当前业务的下一个存储对象。

图5是根据本发明实施例的一种更新数据的装置的主要模块的示意图，如图5所示，更新数据的装置500包括：

接收模块501，用于接收业务的原始数据信息，基于预设的配置文件模板将所述原始数据转化为预设格式的第一数据；

缓存模块502，用于根据第一数据构建所述业务的中间更新记录，并将所述中间更新记录作为缓存保存至消息队列；

更新模块503，用于将消息队列中的中间更新记录更新至存储集群。

所述业务可以用于描述各种信息，例如商品、订单、促销活动等信息；

所述预设的配置文件模板可以是预设好的格式化或规范化的文件存储形式；基于预设的配置文件模板将原始数据转化为预设格式的第一数据，可以看作是将原始数据预处理为统一的格式，为后续的数据传输、转化等流程提供了方便；

所述消息队列可以是用于存放中间数据结果的存储空间，例如kafka、activemq、rabbitmq、rocketmq等消息队列；使用消息队列能够平滑对下游更新模块的压力，并且在数据传输中可以同时使用多个消息队列，使系统稳定、同时使整个更新流程效率更高；

利用存储集群作为最终存放更新后数据的存储介质，能够为各个类型的业务配置相应的存储集群，互不干扰，使外界查询更新后的数据时效率更高、为外界查询数据带来的便宜。

本发明能够利用预设的配置文件模板进行数据接入，以提升数据接入以及存储的效率；还在数据传输过程中通过设置多个类别模型将接入的数据构建为中间消息记录以进行聚合更新，使得属性字段定义对于离线更新过程透明化，当业务需求有变更时不再需要重写脚本，提高了用户体验；并通过使用消息队列作为中间存储空间以减小更新流程对系统带来的压力。

在一些实施例中，所述原始数据包括：业务名称、业务属性标识、与所述业务属性标识对应的业务属性数据；

第一数据包括：业务存储名标识，属性存储标识、与所述属性存储标识对应的属性存储数据；

所述预设的配置文件模板包括：业务名称与业务存储名标识的对应关系、业务属性标识与属性存储标识的对应关系。

业务名称可以是用于描述当前种类业务的名称或序号，业务属性标识可以是用于描述业务属性信息的名称或序号，业务属性数据可以是用于描述属性值的具体数据；如：对于商品业务，业务名称可以是1号商品、2号商品等；业务属性标识可以是商品价格、商品所属店铺名称、商品大小参数、商品重量参数、商品当前所参与的活动信息、商品的受众人群信息等；对于订单业务，业务名称可以是1号订单、2号订单等；业务属性可以是订单总价格、订单生成日期、订单发货日期、订单序号、订单物流公司信息、订单物流编号信息等信息；

预设的配置文件模板可以看作是提供给业务方的接口；在一些较优的实施例中，预设的配置文件模板可以是原始数据到hive表字段的映射关系，在配置文件中可以是每一行对应一个字段；

所述业务存储名标识与业务属性标识可以是含义相同、存储形式不同的；相应地，业务属性数据与属性存储标识可以是含义相同、存储形式不同的；

所述原始数据信息可以是由业务方提供的，原始数据可以包含业务名称、业务属性标识、与所述业务属性标识对应的业务属性数据；例如，可以是业务名称，业务属性字段序号，HIVE表名，HIVE字段名；业务方将自身提供的数据源与配置文件模板中相对应的字段定义进行关联，进而使得在接入数据时可以快速地将原始数据加载至统一格式的中间表中。

在一些实施例中，所述接收模块501在将所述原始数据转化为预设格式的第一数据之前，还包括：确认所述原始数据校验成功；

所述校验按如下方法进行：判断所述业务是否有更新需求，若有则校验成功；和，判断所述业务方提供的原始数据信息的数据变化量是否不超过预设阈值，若是则校验成功；

以及，在所述校验完成后，生成校验报告进行反馈。

在一些较优的实施例中，若业务有更新需求，可以先为将要更新的数据设置分区，用于提供存储空间以进行后续更新流程；若判断出分区不存在，可以看作是对于获取到的数据无更新需求，对于获取到的数据无需进行更新；

所述预设阈值是可调整的；所述数据变化量可以用于校验业务方发来的数据量是否正常；如：若设置预设阈值为30％，若某业务的业务属性数据量通常是1000条，当业务方某次发来的业务属性数据量为1400条时，可以确定数据变化量为增加40％，超过了预设阈值，则对于此次获取到的数据校验不成功；又如，当业务方另一次发来的业务属性数据量为500条时，可以确定数据变化量为减少50％，超过了预设阈值，则对于此次获取到的数据校验不成功；

当校验完成后，无论校验是否成功，都可以生成校验报告，反馈给提供原始数据的业务方；也可以只对校验成功的数据生成校验报告，反馈给提供原始数据的业务方；

及时反馈信息可以及时告知业务方其所提供的数据的情况，以便当存在问题时可以及时修正。

在一些实施例中，根据第一数据构建所述业务的中间更新记录，包括：

所述缓存模块502根据所述第一数据信息，创建所述业务的中间消息对象；

将所述业务的中间消息对象利用预设的处理方法处理后存储至消息队列，以作为所述业务的中间更新记录。

所述消息队列可以是用于存放中间数据结果的存储空间，例如kafka、activemq、rabbitmq、rocketmq等消息队列；使用消息队列能够平滑对下游更新模块的压力，并且在数据传输中可以同时使用多个消息队列，使系统稳定、同时使整个更新流程效率更高；

所述预设的处理方法可以是序列化、编码、压缩等处理方法，以节省带宽和防止数据传输错误。

在一些实施例中，所述缓存模块502根据所述第一数据信息，创建所述业务的中间消息对象，包括：

将所述业务的属性存储标识按预设的类别模型进行分类；

根据所述业务的第一数据信息中的属性存储标识以及与之对应的属性存储数据，创建所述业务的各个类别模型的存储对象；

将所述业务的所有类别模型的存储对象，作为所述业务的中间消息对象。

将所述业务的属性存储标识按预设的类别模型进行分类，可以看作是对于业务的不同属性，按照属性类别对业务的属性进行分类；

例如，对于商品业务，可以将商品的直接属性分为第一类模型，将间接属性分为第二类模型；具体地，对于商品的商品价格、商品所属店铺名称、商品大小参数、商品重量参数、商品当前所参与的活动信息、商品的受众人群信息等这些属性，可以将商品价格、商品所属店铺名称、商品大小参数、商品重量参数归为第一类模型，将商品当前所参与的活动信息、商品的受众人群信息归为第二类模型；

为每一个类别模型创建一个存储对象，该存储对象中存储该类别属性的属性存储标识以及与之对应的属性存储数据；

可以为业务创建存储空间，将该业务下的所有存储对象存入该存储空间，以作为该业务的中间消息对象；

之后对业务的中间消息对象进行序列化、和/或编码和/或压缩的处理，并存入消息队列中，以得到该业务的中间更新记录；

对于每一个业务的第一数据，都可以按上述方法确定该业务的中间更新记录。

较优地，所述中间更新记录中的属性存储数据可以是以字节码形式存在的。

以字节码形式存在，有利于后续流程中的数据覆盖更新。

在一些实施例中，所述更新模块503将消息队列中的中间更新记录更新至存储集群，包括：

根据所述消息队列中的中间更新记录，确定所述业务的属性存储数据的字节码信息；

在所述存储集群中确定与所述业务对应的目标存储集群；根据所述字节码信息对所述目标存储集群中已有的数据进行更新。

所述存储集群可以由不止一个Redis集群构成，不同的集群可以用于存储不同的业务，一个业务可以对应于一个存储集群进行存储；如商品业务可以对应存储在一个集群中，订单业务可以对应存储在另一个存储集群中，促销活动业务可以存储在又一个存储集群中。

在一些实施例中，所述更新模块503根据所述字节码信息对所述目标存储集群中已有的数据进行更新，包括：

将所述中间更新记录中的属性存储标识作为待更新属性，读取所述目标存储集群中所述待更新属性的已有的属性存储数据的字节码信息；

用所述中间更新记录中的待更新属性的属性存储数据的字节码信息，替换所述已有的属性存储数据的字节码信息；

将替换完成后的待更新属性的属性存储数据的字节码信息写回所述目标存储集群，以完成更新。

数据更新的整个过程都可以是以字节码的形式进行操作的，其中字节码可以看做是数据的二进制存储形式；在数据的读取、覆盖、写回操作中可以不需要反序列化，进而在数据更新时可以对业务数据定义做到无感知，当业务需求有变化时，根据本发明中的方法更新数据，可以无需重新编写接入数据的脚本、无需重新上线数据更新系统，提升了更新效率，降低了频繁上线导致的系统不稳定性。

图6示出了可以应用本发明实施例的更新数据的方法或更新数据的装置的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。

需要说明的是，本发明实施例所提供的更新数据的方法一般由服务器605执行，相应地，更新数据的装置一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、缓存模块、更新模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，接收模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：步骤S101、接收业务的原始数据信息，基于预设的配置文件模板将所述原始数据转化为预设格式的第一数据；步骤S102、根据第一数据构建所述业务的中间更新记录，并将所述中间更新记录作为缓存保存至消息队列；步骤S103、将消息队列中的中间更新记录更新至存储集群。

根据本发明实施例的技术方案，因为利用预设的配置文件模板进行数据接入、对接入的数据进行校验、在数据传输过程中通过设置多个类别模型将接入的数据构建为中间消息记录以进行聚合更新的技术手段，所以克服了现有技术中接入数据效率低、需要频繁根据业务需求更改脚本导致的系统不稳定、使用了数据宽表导致的数据更新不及时或不准确的技术问题，进而达到简化数据接入流程以提升数据接入以及存储的效率、及时反馈接入的数据的情况、当业务需求有变更时不再需要重写脚本的技术效果，能够及时准确地更新数据，提升用户体验。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种更新数据的方法，其特征在于，包括：

接收业务的原始数据信息，基于预设的配置文件模板将所述原始数据转化为预设格式的第一数据；

根据第一数据构建所述业务的中间更新记录，并将所述中间更新记录作为缓存保存至消息队列；

将消息队列中的中间更新记录更新至存储集群。

2.根据权利要求1所述的方法，其特征在于：

所述原始数据包括：业务名称、业务属性标识、与所述业务属性标识对应的业务属性数据；

所述第一数据包括：业务存储名标识，属性存储标识、与所述属性存储标识对应的属性存储数据；

所述预设的配置文件模板包括：业务名称与业务存储名标识的对应关系、业务属性标识与属性存储标识的对应关系。

3.根据权利要求2所述的方法，其特征在于：

在将所述原始数据转化为预设格式的第一数据之前，还包括：确认所述原始数据校验成功；

所述校验按如下方法进行：判断所述业务是否有更新需求，若有，则校验成功；和，判断所述业务方提供的原始数据信息的数据变化量是否不超过预设阈值，若是，则校验成功；

以及，在所述校验完成后，生成校验报告进行反馈。

4.根据权利要求2所述的方法，其特征在于，根据第一数据构建所述业务的中间更新记录，包括：

根据所述第一数据信息，创建所述业务的中间消息对象；

将所述业务的中间消息对象利用预设的处理方法处理后存储至消息队列，以作为所述业务的中间更新记录。

5.根据权利要求4所述的方法，其特征在于，根据所述第一数据信息，创建所述业务的中间消息对象，包括：

将所述业务的属性存储标识按预设的类别模型进行分类；

根据所述业务的第一数据信息中的属性存储标识以及与之对应的属性存储数据，创建所述业务的各个类别模型的存储对象；

将所述业务的所有类别模型的存储对象，作为所述业务的中间消息对象。

6.根据权利要求5所述的方法，其特征在于，所述中间更新记录中的属性存储数据是以字节码形式存在的。

7.根据权利要求6所述的方法，其特征在于，将消息队列中的中间更新记录更新至存储集群，包括：

根据所述消息队列中的中间更新记录，确定所述业务的属性存储数据的字节码信息；

在所述存储集群中确定与所述业务对应的目标存储集群；根据所述字节码信息对所述目标存储集群中已有的数据进行更新。

8.根据权利要求7所述的方法，其特征在于，根据所述字节码信息对所述目标存储集群中已有的数据进行更新，包括：

将所述中间更新记录中的属性存储标识作为待更新属性，读取所述目标存储集群中所述待更新属性的已有的属性存储数据的字节码信息；

用所述中间更新记录中的待更新属性的属性存储数据的字节码信息，替换所述已有的属性存储数据的字节码信息；

将替换完成后的待更新属性的属性存储数据的字节码信息写回所述目标存储集群，以完成更新。

9.一种更新数据的装置，其特征在于，包括：

接收模块，用于接收业务的原始数据信息，基于预设的配置文件模板将所述原始数据转化为预设格式的第一数据；

缓存模块，用于根据第一数据构建所述业务的中间更新记录，并将所述中间更新记录作为缓存保存至消息队列；

更新模块，用于将消息队列中的中间更新记录更新至存储集群。

10.根据权利要求9所述的装置，其特征在于，所述接收模块在将所述原始数据转化为预设格式的第一数据之前，还用于：确认所述原始数据校验成功；

所述校验按如下方法进行：判断所述业务是否有更新需求，若有则校验成功；和，判断所述业务方提供的原始数据信息的数据变化量是否不超过预设阈值，若是则校验成功；

以及，所述接收模块在所述校验完成后，还用于：生成校验报告进行反馈。

11.根据权利要求9所述的装置，其特征在于，所述更新模块将消息队列中的中间更新记录更新至存储集群，包括：

根据所述消息队列中的中间更新记录，确定所述业务的属性存储数据的字节码信息；

在所述存储集群中确定与所述业务对应的目标存储集群；根据所述字节码信息对所述目标存储集群中已有的数据进行更新。

12.一种更新数据的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images