CN108170561A - 一种容灾备份方法、装置及系统 - Google Patents

Abstract

本发明公开了一种容灾备份方法，包括：接收客户端发送的访问商品列表的请求；按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；判断所述请求是否能够正常响应；若是，则将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端。由此实现了商品列表的在线实时备份，也节约了存储成本。相应地，本发明公开的一种容灾备份装置、系统、设备及计算机可读存储介质，也同样具有上述技术效果。

Description

一种容灾备份方法、装置及系统

技术领域

本发明涉及容灾备份技术领域，更具体地说，涉及一种容灾备份方法、装置、系统、设备及计算机可读存储介质。

背景技术

随着电商行业的不断发展壮大，商品的线上销售呈现出一片繁荣之象。但是，随着线上销售的商品的不断增多和受众面的不断扩大，电商服务面临较大的挑战。

一方面，电商服务的后端存储面临巨大压力；另一方面，服务端的并发处理能力也有待提高；更为重要的是，由于商品种类繁多，一般以商品列表展示需要销售的商品，其中包括普通商品、推荐商品、店铺商品、广告商品等，而每种商品均对应有不同的搜索引擎，当这些引擎提供的服务不可用、或者由于商品列表服务本身应用由于机器故障、网络出现问题导致服务不可用、或者机房网络故障、或者地震、洪水等不可抗拒因素引起的商品列表服务不能稳定提供，商品列表会出现空窗。进而导致商品曝光、成交下跌，扣费出现资损，影响gmv和收益。

目前，为了避免商品列表出现空窗，大都采用异地容灾备份，但是，异地容灾备份不利于数据的及时更新，硬件存储设备也可能由于客观因素损坏，且存储成本较高。

因此，如何使商品列表数据实现在线实时更新，节约存储成本，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种容灾备份方法、装置、系统、设备及计算机可读存储介质，以实现商品列表数据的在线实时更新，节约存储成本。

为实现上述目的，本发明实施例提供了如下技术方案：

一种容灾备份方法，包括：

接收客户端发送的访问商品列表的请求；

按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；

判断所述请求是否能够正常响应；

若是，则将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端。

其中，当所述请求未正常响应时，所述方法还包括：

判断所述策略文件与所述云端存储的对象策略文件是否匹配；

若是，则将所述对象策略文件传输至所述客户端，以使所述客户端对将所述对象策略文件中的店铺信息和商品信息进行相应处理，并将处理后的店铺信息和商品信息进行显示。

其中，还包括：

记录所述请求未正常响应的信息；所述信息至少包括：未正常响应的次数、客户端、服务版本；

分析所述信息并形成相应的容灾数据；

将所述容灾数据进行可视化展示。

其中，所述将所述策略文件存储至预设的云端之前，还包括：

将所述策略文件对应的数据信息收集至kafka。

其中，所述将所述策略文件对应的数据信息收集至kafka，包括：

判断在预设的时间周期内所述策略文件对应的数据信息是否已收集至所述kafka；

若否，则执行所述将所述策略文件对应的数据信息收集至kafka的步骤。

一种容灾备份装置，包括：

接收模块，用于接收客户端发送的访问商品列表的请求；

生成模块，用于按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；

第一判断模块，用于判断所述请求是否能够正常响应；

第一执行模块，用于当所述请求能够正常响应时，将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端。

其中，还包括：

第二判断模块，用于判断所述策略文件与所述云端存储的对象策略文件是否匹配；

第二执行模块，用于当所述策略文件与所述云端存储的对象策略文件匹配时，将所述对象策略文件传输至所述客户端，以使所述客户端对将所述对象策略文件中的店铺信息和商品信息进行相应处理，并将处理后的店铺信息和商品信息进行显示。

一种容灾备份系统，包括：

客户端，用于发送访问商品列表的请求；

服务端，用于接收客户端发送的访问商品列表的请求；按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；判断所述请求是否能够正常响应；若是，则将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端；

所述云端，用于存储所述策略文件。

一种容灾备份设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任意一项所述的容灾备份方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述的容灾备份方法的步骤。

通过以上方案可知，本发明实施例提供的一种容灾备份方法，包括：接收客户端发送的访问商品列表的请求；按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；判断所述请求是否能够正常响应；若是，则将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端。

可见，所述方法通过根据客户端发送的访问商品列表的请求，并按照预设的配置生成与所述请求对应的、包含店铺信息和商品信息的策略文件，进而将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端。如此在用户正常访问商品列表时，同时实现了商品列表的在线实时备份，也节约了存储成本。

相应地，本发明实施例提供的一种容灾备份装置、系统、设备及计算机可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种容灾备份方法流程图；

图2为本发明实施例公开的另一种容灾备份方法流程图；

图3为本发明实施例公开的一种容灾备份装置示意图；

图4为本发明实施例公开的一种容灾备份系统示意图；

图5为本发明实施例公开的一种容灾备份设备示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种容灾备份方法、装置、系统、设备及计算机可读存储介质，以实现商品列表数据的在线实时更新，节约存储成本。

参见图1，本发明实施例提供的一种容灾备份方法，包括：

S101、接收客户端发送的访问商品列表的请求；

具体的，用户可以通过各种类型的客户端访问商品列表，例如：台式计算机、移动电话或平板电脑等；同时，用户还可以通过网页、APP或者插件程序等不同路径访问商品列表。

S102、按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；

需要说明的是，所述策略文件依据所述预设的配置生成，而所述预设的配置综合考虑了不同访问路径，即所述预设的配置适用于通过网页、APP或者插件程序等方式访问商品列表的情况。具体的，所述预设的配置可以将任何访问方式包含的属性信息、店铺信息和商品信息等进行加工处理，生成对应的策略文件。其中，所述策略文件不仅包括：请求对应的商品列表中的店铺信息和商品信息，其中，所述店铺信息包括：店铺名称、主营业务、信誉展示等；所述商品信息包括：商品价格、款式等。

在本实施例中，所述策略文件还包括：当前请求所采用的访问路径，使用的客户端类型，服务版本，显示页码，当前请求的个性化设置信息，当前请求的客户端ID(MAC地址或IP地址等)等；所述当前请求的个性化设置信息具体为：当前用户根据自身需求或喜好采用的关键搜索词，例如：用户选择价格区间为100至500的连衣裙，并选择红色、修身、束腰等。

S103、判断所述请求是否能够正常响应；若是，则执行S104；若否，则执行S105；

S104、将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端；

其中，所述将所述策略文件存储至预设的云端之前，还包括：将所述策略文件对应的数据信息收集至kafka。

所述kafka是具有高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka可以通过Hadoop的并行加载机制来统一线上和离线的消息处理，能够给集群机提供实时消费。

采用上述步骤，在用户正常访问商品列表的同时，完成了商品列表的备份以及上传存储。

S105、判断所述策略文件与所述云端存储的对象策略文件是否匹配；若是，则执行S106；若否，则执行S107；

S106、将所述对象策略文件传输至所述客户端，以使所述客户端对将所述对象策略文件中的店铺信息和商品信息进行相应处理，并将处理后的店铺信息和商品信息进行显示；

具体的，所述将所述对象策略文件中的店铺信息和商品信息进行相应处理，包括：将对象策略文件中的参与广告的店铺和商品进行相应处理，避免广告商品漏收费情况的发生。

S107、将预设的提示信息传输至所述客户端。

具体的，当目标用户遭遇服务故障时，可以根据目标用户的访问请求生成的相应的目标策略文件，在所述云端查找与目标策略文件匹配的对象策略文件，若所述云端存在与目标策略文件匹配的对象策略文件，则将所述对象策略文件传输至所述客户端，以使所述客户端对将所述对象策略文件中的店铺信息和商品信息进行相应处理，并将处理后的店铺信息和商品信息进行显示，以使该用户得到正常的服务。

可见，本实施例提供的一种容灾备份方法，所述方法通过根据客户端发送的访问商品列表的请求，并按照预设的配置生成与所述请求对应的、包含店铺信息和商品信息的策略文件，进而将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端。如此在用户正常访问商品列表时，同时实现了商品列表的在线实时备份，也节约了存储成本。并且，在用户遭遇服务故障时，根据当前用户请求生成的策略文件在云端查找匹配的对象策略文件，从而将对象策略文件包含的信息传输至当前用户的客户端，给用户带来正常服务。本方法集数据备份和故障处理于一身，展现了居安思危的思想内涵，能够给用户提供更周到、更人性化的服务体验。

本发明实施例公开了另一种容灾备份方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。

参见图2，本发明实施例提供的另一种容灾备份方法，包括：

S201、接收客户端发送的访问商品列表的请求；

S202、按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；

S203、判断所述请求是否能够正常响应；若是，则执行S207；若否，则执行S204；

S204、判断所述策略文件与所述云端存储的对象策略文件是否匹配；若是，则执行S205；若否，则执行S206；

S205、将所述对象策略文件传输至所述客户端，以使所述客户端对将所述对象策略文件中的店铺信息和商品信息进行相应处理，并将处理后的店铺信息和商品信息进行显示，并执行S206；

S206、将预设的提示信息传输至所述客户端；

S207、将所述请求对应的商品列表传输至所述客户端，并执行S208；

S208、判断在预设的时间周期内所述策略文件对应的数据信息是否已收集至所述kafka；若是，则执行S211；若否，则执行S209；

S209、将所述策略文件对应的数据信息收集至kafka，并执行S210；

S210、将所述策略文件存储至预设的云端；

S211、无操作。

在本实施例中，为了避免策略文件重复传输和存储，在收集策略文件之前，首先判断kafka在预设的时间周期内是否已收集所述策略文件对应的数据信息，若在预设的时间周期内kafka中已收集过所述策略文件对应的数据信息，便不再收集该策略文件对应的数据信息，若在预设的时间周期内kafka中未收集过所述策略文件对应的数据信息，则将所述策略文件对应的数据信息收集至kafka，并将所述策略文件存储至预设的云端。

可见，本实施例提供的另一种容灾备份方法，所述方法通过根据客户端发送的访问商品列表的请求，并按照预设的配置生成与所述请求对应的、包含店铺信息和商品信息的策略文件，进而将所述请求对应的商品列表传输至所述客户端，若在预设的时间周期内kafka未收集过所述策略文件对应的数据信息，则收集所述策略文件对应的数据信息至kafka，并将所述策略文件存储至预设的云端。如此在用户正常访问商品列表时，同时实现了商品列表的在线实时备份，也节约了存储成本。并且，在用户遭遇服务故障时，根据当前用户请求生成的策略文件在云端查找匹配的对象策略文件，从而将对象策略文件包含的信息传输至当前用户的客户端，给用户带来正常服务。本方法集数据备份和故障处理于一身，展现了居安思危的思想内涵，能够给用户提供更周到、更人性化的服务体验。

基于上述任意实施例，需要说明的是，本发明的提供的容灾备份方法还包括：记录所述请求未正常响应的信息；所述信息至少包括：未正常响应的次数、客户端、服务版本；分析所述信息并形成相应的容灾数据；将所述容灾数据进行可视化展示。

具体的，可以按照预设的周期统计容灾出现的各种信息，即记录请求未正常响应的信息；所述信息至少包括：未正常响应的次数、客户端、服务版本、访问路径和方式等信息，将上述信息进行分析统计，形成容灾数据，并进行可视化展示，可制作报表、窗口化显示等，以使技术人员根据该容灾数据进行相应的运维管理工作，优化服务。

具体的，可以通过hive工具进行容灾数据的统计分析。通过编写hive脚本对容灾数据进行各个维度(平台、服务版本、图墙业务等)分析、趋势统计及展示工作，以便整体监控容灾情况。

基于上述任意实施例，需要说明的是，可以使用logagent将所述策略文件对应的数据信息收集至kafka，并通过独立的容灾应用(内部应用kamaz)配置kafka的消费group和topic，从而实现所述策略文件的传输。其中，所述logagent是一款开源、轻量级的日纸传输工具，通过在每台服务器上部署deamon进程，可以扩展提取、解析、缓冲和传输，能够对外提供http服务，实现日志记录。

基于上述任意实施例，需要说明的是，为了避免相同策略文件的重复传输和存储，以及频繁访问IO，可以设置在预设周期内相同策略文件仅收集一次。例如：定义每20分钟相同策略文件纪录一次，本地缓存一份策略文件的过期时间；当本地没有对应策略文件过期时间才进行策略文件传输记录。

基于上述任意实施例，需要说明的是，将策略文件存储至预设的云端，也可以预设传输和存储周期，以便按照预设的周期传输和存储策略文件。

基于上述任意实施例，需要说明的是，所述预设的云端可以为任意具有CDN服务的云存储。例如：七牛云存储等。当采用七牛云存储时，可以将策略文件的生成策略设置为：

md5({ckey}-{fcid}-{q}-{pid}-{shopid}-{uname}-{shopname}-{promotionId}-{p age}-{version}-)

在遭遇服务故障时，依据上述生成策略生成策略文件，并采用如下格式：https://backup.mogucdn.com/list/fe20fc0a4cada8e01af273278498e46a请求七牛云存储服务文件，以实现用户服务的正常提供。

下面对本发明实施例提供的一种容灾备份装置进行介绍，下文描述的一种容灾备份装置与上文描述的一种容灾备份方法可以相互参照。

参见图3，本发明实施例提供的一种容灾备份装置，包括：

接收模块301，用于接收客户端发送的访问商品列表的请求；

生成模块302，用于按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；

第一判断模块303，用于判断所述请求是否能够正常响应；

第一执行模块304，用于当所述请求能够正常响应时，将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端。

其中，还包括：

第二判断模块，用于判断所述策略文件与所述云端存储的对象策略文件是否匹配；

第二执行模块，用于当所述策略文件与所述云端存储的对象策略文件匹配时，将所述对象策略文件传输至所述客户端，以使所述客户端对将所述对象策略文件中的店铺信息和商品信息进行相应处理，并将处理后的店铺信息和商品信息进行显示。

其中，还包括：

记录模块，用于记录所述请求未正常响应的信息；所述信息至少包括：未正常响应的次数、客户端、服务版本；

分析模块，用于分析所述信息并形成相应的容灾数据；

展示模块，用于将所述容灾数据进行可视化展示。

其中，还包括：

收集模块，用于将所述策略文件对应的数据信息收集至kafka。

其中，所述收集模块包括：

判断单元，用于判断在预设的时间周期内所述策略文件对应的数据信息是否已收集至所述kafka；

执行单元，用于当在预设的时间周期内所述策略文件对应的数据信息未收集至所述kafka时，执行所述将所述策略文件对应的数据信息收集至kafka的步骤。

下面对本发明实施例提供的一种容灾备份系统进行介绍，下文描述的一种容灾备份系统与上文描述的一种容灾备份方法及装置可以相互参照。

参见图4，本发明实施例提供的一种容灾备份系统，包括：

客户端401，用于发送访问商品列表的请求；

服务端402，用于接收客户端发送的访问商品列表的请求；按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；判断所述请求是否能够正常响应；若是，则将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端；

所述云端403，用于存储所述策略文件。

其中，所述服务端还用于：

判断所述策略文件与所述云端存储的对象策略文件是否匹配；

若是，则将所述对象策略文件传输至所述客户端，以使所述客户端对将所述对象策略文件中的店铺信息和商品信息进行相应处理，并将处理后的店铺信息和商品信息进行显示。

其中，所述服务端还用于：

记录所述请求未正常响应的信息；所述信息至少包括：未正常响应的次数、客户端、服务版本；

分析所述信息并形成相应的容灾数据；

将所述容灾数据进行可视化展示。

其中，所述服务端具体用于：

将所述策略文件对应的数据信息收集至kafka。

其中，所述服务端具体用于：

判断在预设的时间周期内所述策略文件对应的数据信息是否已收集至所述kafka；

若否，则执行所述将所述策略文件对应的数据信息收集至kafka的步骤。

下面对本发明实施例提供的一种容灾备份设备进行介绍，下文描述的一种容灾备份设备与上文描述的一种容灾备份方法、装置及系统可以相互参照。

参见图5，本发明实施例提供的一种容灾备份设备，包括：

存储器501，用于存储计算机程序；

处理器502，用于执行所述计算机程序时实现如上述任意实施例所述的容灾备份方法的步骤。

下面对本发明实施例提供的一种计算机可读存储介质进行介绍，下文描述的一种计算机可读存储介质与上文描述的一种容灾备份方法、装置、系统及设备可以相互参照。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的容灾备份方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种容灾备份方法，其特征在于，包括：

接收客户端发送的访问商品列表的请求；

按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；

判断所述请求是否能够正常响应；

若是，则将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端。

2.根据权利要求1所述的容灾备份方法，其特征在于，当所述请求未正常响应时，所述方法还包括：

判断所述策略文件与所述云端存储的对象策略文件是否匹配；

若是，则将所述对象策略文件传输至所述客户端，以使所述客户端对所述对象策略文件中的店铺信息和商品信息进行相应处理，并将处理后的店铺信息和商品信息进行显示。

3.根据权利要求2所述的容灾备份方法，其特征在于，还包括：

记录所述请求未正常响应的信息；所述信息至少包括：未正常响应的次数、客户端、服务版本；

分析所述信息并形成相应的容灾数据；

将所述容灾数据进行可视化展示。

4.根据权利要求1所述的容灾备份方法，其特征在于，所述将所述策略文件存储至预设的云端之前，还包括：

将所述策略文件对应的数据信息收集至kafka。

5.根据权利要求4所述的容灾备份方法，其特征在于，所述将所述策略文件对应的数据信息收集至kafka，包括：

判断在预设的时间周期内所述策略文件对应的数据信息是否已收集至所述kafka；

若否，则执行所述将所述策略文件对应的数据信息收集至kafka的步骤。

6.一种容灾备份装置，其特征在于，包括：

接收模块，用于接收客户端发送的访问商品列表的请求；

生成模块，用于按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；

第一判断模块，用于判断所述请求是否能够正常响应；

第一执行模块，用于当所述请求能够正常响应时，将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端。

7.根据权利要求6所述的容灾备份装置，其特征在于，还包括：

第二判断模块，用于判断所述策略文件与所述云端存储的对象策略文件是否匹配；

第二执行模块，用于当所述策略文件与所述云端存储的对象策略文件匹配时，将所述对象策略文件传输至所述客户端，以使所述客户端对将所述对象策略文件中的店铺信息和商品信息进行相应处理，并将处理后的店铺信息和商品信息进行显示。

8.一种容灾备份系统，其特征在于，包括：

客户端，用于发送访问商品列表的请求；

服务端，用于接收客户端发送的访问商品列表的请求；按照预设的配置生成与所述请求对应的策略文件；所述策略文件包括：所述请求对应的商品列表中的店铺信息和商品信息；判断所述请求是否能够正常响应；若是，则将所述请求对应的商品列表传输至所述客户端，并将所述策略文件存储至预设的云端；

所述云端，用于存储所述策略文件。

9.一种容灾备份设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-5任意一项所述的容灾备份方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的容灾备份方法的步骤。