CN109508251A - 数据存储方法、系统、设备和介质 - Google Patents

Abstract

本发明公开了一种数据存储方法、系统、设备和介质。获取业务流程生成的消息数据，并存储于目标从机；当接收到目标从机反馈的数据存储失败消息时，将消息数据及相关失败信息作为异常信息存储到异常列表中；返回执行数据存储操作，直至达到存储结束条件后，将异常列表包含的全部异常信息写入到目录日志；提取目录日志内的目标异常信息，并处理目标异常信息中的消息数据，基于消息数据的相关失败信息，重新存储处理后的消息数据。本发明实施例提供的方法，实现批量数据存储时监测每条消息数据存储结果，并在消息数据存储失败时，对出错的消息数据再次存储，以在不同从机对相同消息数据进行存储时，确保各从机上所存储消息数据的一致性。

Description

数据存储方法、系统、设备和介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据存储方法、系统、设备和介质。

背景技术

当今流行的大数据处理框架中，Spark的应用最为广泛，Spark应用程序将大数据同时写入redis、elasticsearch、hbase和hdfs等多种存储端时，由于大数据写入错误，会产生大数据存储不一致的问题。

Spark框架下为保证大数据一致性存储，目前常见的处理机制仅有两种，一种是利用卡夫卡的消费(offset)做为记录，确定数据处理到具体哪一条，但在后续写入存储端的过程中，无法确保写入各存储端的数据保持一致；另一种是出错重试(retry)机制，在数据写入存储端发生错误后，采用重试的机制保证写入数据的一致性。

然而，上述两种方法并不能完全保证各存储端数据的一致性，由于各存储端在执行批量写入操作时，如果存储数据中存在一小部分数据处理发生错误并未写入，但批量执行的写入操作执行结果仍是成功，导致存储于各存储端的数据不能保持一致的问题。

发明内容

本发明实施例提供一种数据存储方法、系统、设备和介质，以解决大数据框架下，相同数据存储至不同从机时存在数据存储不一致的问题。

第一方面，本发明实施例提供了一种数据存储方法，该方法包括：

获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机；

当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中；

返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表；

提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

第二方面，本发明实施例还提供了一种数据存储系统，该系统包括：

消息数据存储模块，用于获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机；

异常列表生成模块，用于当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中；

目录日志生成模块，用于返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表；

消息数据重存储模块，用于提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或者多个程序被所述一个或者多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的数据存储方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，该程序被处理器执行时实现如本发明实施例中任一所述的数据存储方法。

本发明实施例通过获取业务流程生成的消息数据，将消息数据存储在目标从机内，消息数据在目标从机存储失败时，将消息数据和失败信息等异常信息存储到预设的异常列表中，继续执行数据存储操作，当数据存储操作完成后，将异常列表内存储的异常信息写入目录日志，并清空异常列表，提取目录日志内存储的异常信息，对其中的消息数据进行处理，然后重新存储处理后的消息数据，实现了批量数据存储时对每条消息数据存储结果的监测，对出错的消息数据再次进行存储，以在不同从机对相同消息数据进行存储时，确保各从机上所存储消息数据的一致性，从而保证了大数据框架下数据存储的一致性。

附图说明

图1是本发明实施例一提供的一种数据存储方法的步骤流程图；

图2是本发明实施例二提供的一种数据存储方法的步骤流程图；

图3是本发明实施例三提供的一种数据存储系统的结构示意图；

图4是本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种数据存储方法的步骤流程图，本实施例可适用于在大数据处理框架下进行数据存储的情况，其中，所述大数据处理框架包括一个主机及至少一个从机，该方法可以由数据存储系统来执行，所述数据存储系统可由软件和/或硬件实现，并一般集成在大数据处理框架的主机上，具体包括如下步骤：

步骤110、获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机。

其中，消息数据可以业务流程中产生的各种数据的集合，可以包括结构化数据、半结构化数据和非结构化数据等，示例性的，消息数据可以包括消费记录、浏览记录、浏览次数和留言等；目标从机可以是包括redis、elasticsearch、hbase和hdfs等存储集群中的一台或者多台从机。

具体的，使用流数据处理平台获取业务流程中生成的各种数据，在大数据框架下新建存储任务，启动存储进程将获取的消息数据存储到存储集群中的目标从机中。

一种可选的实施方式，使用卡夫卡(kafka)流数据处理平台获取业务流程中产生的各种数据，使用spark大数据处理平台，将获取的数据存储到各存储集群相应的从机中。

步骤120、当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中。

其中，存储失败消息可以是从机在执行消息数据存储操作时，发生产生的信息，可以包括出现错误的异常堆栈信息、出错的从机唯一标识号、出错类型和出错时间等；异常列表可以是主机中用于存储异常信息的文件，不同种类的存储集群的异常信息可以存储在同一文件中，也可以每种存储集群对应一个异常列表。

具体的，当接收到目标从机产生的数据存储失败的消息时，可以将获取的消息进行处理，提取其中出现错误的异常堆栈信息、出错的从机唯一标识号、出错类型和出错时间等信息，然后将获取的信息和对应的消息数据作为异常信息存储到预先设置号的异常列表中。

步骤130、返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表。

其中，存储结束条件可以是已获取的所有消息数据的存储操作均被执行，目录日志可以是大数据框架中记录存储的异常信息的文件，便于用户监控存储的处理过程，方便存储错误查找。

具体的，返回步骤110继续执行消息数据的获取及存储操作，直到当已获取到的消息数据的存储操作均被执行后，则已达到存储结束条件，此时，将异常列表中存储的全部异常信息按照出错时间写入目录日志，并将异常列表中存储的内容清空，使异常列表变为空异常列表。

步骤140、提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

其中，设定时间可以根据经验设定的时间，还可以是存储错误的消息数据的出错时间；目标异常信息可以是需要再次存储的消息数据和其对应失败信息；处理可以是对存储错误的消息数据进行格式转换和数据清洗等操作。

具体的，提取设定时间内的目录日志存储的目标异常信息，对目标异常信息中的信息数据等进行格式转换和数据清洗等操作，然后根据消息数据相关的失败信息再次重新存储经过处理后的消息数据，相关的失败信息可以是出现错误的异常堆栈信息、出错的从机唯一标识号、出错类型和出错时间等信息，可以理解的是，在设定时间内所提取的目标异常信息可能为多条，本实施例对提取出的目标异常信息均进行本步骤的操作。

本实施例的技术方案，通过获取业务流程生成的消息数据，并将消息数据存储于至少一个目标从机；当接收到至少一个目标从机反馈的数据存储失败消息时，将消息数据及其对应的失败信息作为异常信息存储到预设的异常列表中，返回继续执行数据存储操作，直到达到存储结束条件，将异常列表中的异常信息全部写入目录日志，并清空异常列表，提取设定时间内的目标异常信息，对其中的消息数据部分进行数据处理操作，然后根据目标异常信息中对应的失败信息，对经过处理后的消息数据重新存储，实现了批量数据存储时对每条消息数据存储结果的监测，并能够在消息数据存储失败时，对出错的消息数据再次进行存储，以在不同从机对相同消息数据进行存储时，确保各从机上所存储消息数据的一致性，从而保证了大数据框架下数据存储的一致性。

实施例二

图2是本发明实施例二提供的数据存储方法的步骤流程图。本实施例是上述实施例的基础上提出的一种可选方案。参见图2，本发明实施例提供的数据存储方法包括：

步骤210、获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机。

步骤220、当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中。

步骤230、返回执行数据存储操作，直至达到存储结束条件后，根据各所述异常信息中消息数据的相关失败信息，确定相应消息数据的出错时间。

其中，失败信息可以是与信息数据相关的信息，包括消息数据的存储出现错误的异常堆栈信息、出错的从机唯一标识号、出错类型和出错时间等。

具体的，继续执行已获取到的消息数据的存储操作，直到当已获取到的消息数据的存储操作均被执行后，则已达到存储结束条件，此时，根据消息数据相关的失败信息，确定其中的出错时间。

步骤240、基于各所述出错时间，顺序将相应异常信息按照预设的日志数据格式写入到目标日志，并清空所述异常列表。

其中，日志数据格式可以是按照顺序排列存储的出错时间、失败信息和消息数据，每条日志数据间使用分隔标记进行分隔。

具体的，将异常列表中每条存储错误的消息数据根据其对应的出错时间，按照出错时间、失败信息和消息数据的顺序存储到目标日志文件中，当异常列表中的全部消息数据存入目标日志文件后，清空异常列表中存储的所有数据。

步骤250、提取所述目录日志设定时间内的目标异常信息。

步骤260、判断所述目标异常信息中的消息数据是否能够转换成目标从机具备的标准存储格式，若是，执行步骤270；若否，执行步骤280。

其中，标准存储格式可以是目标从机存储数据所需要的数据格式，包括符合redis、elasticsearch、hbase和hdfs等存储集群的数据格式要求。

具体的，获取目标从机具备的标准存储格式，将目标异常信息中的消息数据的数据格式与从机具备的标准存储格式进行对比，判断消息数据的数据格式是否能转换成从机标准存储格式。

步骤270、对所述目标异常信息中的消息数据进行存储格式转换，获得处理后消息数据。

具体的，如果消息数据可以转换成符合redis、elasticsearch、hbase和hdfs等存储集群的数据格式要求的数据格式，则将消息数据的存储格式按照其对应的从机的标准存储格式进行转换，将存储格式转换后的消息数据作为处理后消息数据。

步骤280、将所述目标异常信息中的消息数据存储至设定文件，并将所述设定文件的文件路径作为处理后的消息数据。

其中，预设文件可以是存储无法进行格式转换的消息数据的文件，预设文件可以位于需存储对应消息数据的从机中，优选的，发生同一类错误的消息数据可以合并压缩存储于同一个预设文件。

具体的，如果消息数据的数据格式能够转换成符合从机的标准存储格式，则将消息数据的数据格式转换为标准存储格式，如果消息数据的数据格式不能够转换成符合从机的标准存储格式，则需要该消息数据在从机中以设定文件的形式进行存储，并将设定文件的存储路径作为新的消息数据。

一种可选的实施例中，可以采用人工的方式将存储在设定文件中的消息数据下载并处理，通过人工处理后的消息数据再次作为新的消息数据。

步骤290、基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

本实施例的技术方案，通过获取业务流程生成的消息数据，并将消息数据存储于至少一个目标从机；当接收到至少一个目标从机反馈的数据存储失败消息时，将消息数据及其对应的失败信息作为异常信息存储到预设的异常列表中，返回继续执行数据存储操作，直到达到存储结束条件，根据异常信息中的出错时间将异常信息按照预设的日志数据格式将异常信息写入到目标日志，并清空异常列表，提取设定时间内的目标异常信息，对目标异常数据进行判断，若能进行格式转换则使目标异常信息转换为标准存储格式，否则存储在设定文件，将设定文件的存储路径作为新的消息数据，然后根据目标异常信息中对应的失败信息，对经过处理后的消息数据重新存储；实现了批量数据存储时对每条消息数据存储结果的监测，并能够在消息数据存储失败时，将无法正确存储的消息数据以文件的形式存储在从机，并将该文件的存储路径作为新的消息数据的方式，确保每条消息数据都能被正确存储，保证存储相同数据的从机具有存储数据一致性的效果。

在上述实施例的基础上，还可以包括：

确定存储所述消息数据对应的至少一个目标从机，获取各所述目标从机具备的标准存储格式；

根据各所述标准存储格式对所述消息数据进行处理，以使所述消息数据满足各所述目标从机的存储要求。

其中，目标从机可以是消息数据存储的从机；标准存储格式可以是符合包括redis、elasticsearch、hbase和hdfs等存储集群存储格式要求的数据格式。

具体的，获取到业务流程生成的消息数据后，可以根据消息数据的具体内容或实际处理需求，确定应该将消息数据存储到大数据处理框架的哪些从机上，并将确定出的从机作为目标从机，一般的，一条消息数据可同时存储到多个从机上，此时相当于该条消息数据对应了多个目标从机。需要说明的是，不同的从机进行数据存储时所要求的数据格式可能不同，因此，本实施例在进行消息数据存储前先获取各目标从机的标准存储格式，以更好实现消息数据的正确存储。

本实施例对消息数据的处理可以是对消息数据进行数据清洗操作和格式转换等数据操作。具体的，根据获取到的目标从机的标准存储格式，对消息数据进行处理，使得消息数据的格式满足目标从机的标准存储格式要求。

在上述实施例的基础上，还可以包括：

以设定时间间隔检测各所述目标从机的工作状态；

当存在工作状态异常的异常目标从机时，修复所述异常目标从机或等待所述目标从机恢复正常。

其中，设定时间间隔可以确认目标从机工作状态的时间间隔，每隔设定时间间隔确认目标工作状态一次。具体的，每隔设定时间间隔确认一次目标从机的工作状态，以确认目标从机是否正常工作，示例性的，可以根据心跳间隔时间，对目标从机进行心跳检测确认目标从机是否存活。如果目标从机工作状态异常时，可以修复异常目标从机或者等待目标从机工作状态回复正常，示例性的，当目标从机工作状态异常时，可以将目标从机的心跳检测线程设为睡眠状态，当超过设定时间间隔时，唤醒心跳检测线程判断目标从机的工作状态是否回复正常。

上述实施例通过对消息数据预先进行数据处理，并在存储前对存储的目标从机进行工作状态检测，提高了消息数据在存储时的成功率，有利于保持各从机存储数据的一致性。

实施例三

图3是本发明实施例三提供的一种数据存储系统的结构示意图，该系统基于大数据存储的框架，包括一个主机和至少一个从机，本发明实施例所提供的数据存储系统可执行本发明任意实施例所提供的数据存储方法，具备执行方法相应的功能模块和有益效果，如图3所示，该系统的包括：消息数据存储模块310、异常列表生成模块320、目录日志生成模块330和消息数据重存储模块340。

其中，消息数据存储模块310，用于获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机。

异常列表生成模块320，用于当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中。

目录日志生成模块330，用于返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表。

消息数据重存储模块340，用于提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

本实施例的技术方案通过消息数据存储模块，获取业务流程生成的消息数据，并将消息数据存储于至少一个目标从机；异常列表生成模块当接收到至少一个目标从机反馈的数据存储失败消息时，将消息数据及其对应的失败信息作为异常信息存储到预设的异常列表中，目录日志生成模块返回继续执行数据存储操作，直到达到存储结束条件，将异常列表中的异常信息全部写入目录日志，并清空异常列表，消息数据重存储模块提取设定时间内的目标异常信息，对其中的消息数据部分进行数据处理操作，然后根据目标异常信息中对应的失败信息，对经过处理后的消息数据重新存储，解决了如果存储数据一部份存储错误，但批量数据写入操作执行成功而导致的从机存储的数据不一致的问题，实现了存储相同数据的从机具有存储数据一致性的效果。

在上述实施例的基础上，所述系统还包括：存储格式获取模块和数据处理模块。

其中，存储格式获取模块，用于确定存储所述消息数据对应的至少一个目标从机，获取各所述目标从机具备的标准存储格式。

数据处理模块，用于根据各所述标准存储格式对所述消息数据进行处理，以使所述消息数据满足各所述目标从机的存储要求。

在上述实施例的基础上，所述系统还包括：工作状态检测模块和状态异常处理模块。

其中，工作状态检测模块，用于以设定时间间隔检测各所述目标从机的工作状态。

状态异常处理模块，用于当存在工作状态异常的异常目标从机时，修复所述异常目标从机或等待所述目标从机恢复正常。

在上述实施例的基础上，所述目录日志生成模块，包括：出错时间获取单元和日志数据生成单元。

其中，出错时间获取单元，用于根据各所述异常信息中消息数据的相关失败信息，确定相应消息数据的出错时间。

日志数据生成单元，用于基于各所述出错时间，顺序将相应异常信息按照预设的日志数据格式写入到目标日志。

在上述实施例的基础上，所述消息数据重存储模块包括：消息数据判断单元和消息数据处理单元。

其中，消息数据判断单元，用于判断所述目标异常信息中的消息数据是否能够转换成目标从机具备的标准存储格式；

消息数据处理单元，用于根据消息数据判断单元结果进行消息数据处理，若是，则对所述目标异常信息中的消息数据进行存储格式转换，获得处理后消息数据；若否，则将所述目标异常信息中的消息数据存储至设定文件，并将所述设定文件的文件路径作为处理后的消息数据。

上述各实施例所述数据存储系统用于执行上述各实施例所述的数据存储方法，其技术原理和产生的技术效果类似，这里不再赘述。

实施例四

图4是本发明实施例四提供的一种设备的结构示意图，如图4所示，该设备包括处理器70、存储装置71、输入装置72和输出装置73；设备中处理器70的数量可以是一个或多个，图4中以一个处理器70为例；设备中的处理器70、存储装置71、输入装置72和输出装置73可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储装置71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据存储方法对应的程序模块(例如，数据存储方法中的消息数据存储模块310、异常列表生成模块320、目录日志生成模块330和消息数据重存储模块340)。处理器70通过运行存储在存储装置71中的软件模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据存储方法。

存储装置71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置71可进一步包括相对于处理器70远程设置的存储装置，这些远程存储装置可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置72可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据存储方法，该方法包括：

获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机；

当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中；

返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表；

提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据存储方法中的相关操作.

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据存储方法，应用于大数据处理框架，所述大数据处理框架包括一个主机及至少一个从机，其特征在于，包括：

获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机；

当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中；

返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表；

提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

2.根据权利要求1所述的方法，其特征在于，在将所述消息数据存储于至少一个目标从机之前，还包括：

确定存储所述消息数据对应的至少一个目标从机，获取各所述目标从机具备的标准存储格式；

根据各所述标准存储格式对所述消息数据进行处理，以使所述消息数据满足各所述目标从机的存储要求。

3.根据权利要求1所述的方法，其特征在于，在将所述消息数据存储于至少一个目标从机之前之前，还包括：

以设定时间间隔检测各所述目标从机的工作状态；

当存在工作状态异常的异常目标从机时，修复所述异常目标从机或等待所述目标从机恢复正常。

4.根据权利要求1所述的方法，其特征在于，所述将所述异常列表包含的全部异常信息写入到目录日志，包括：

根据各所述异常信息中消息数据的相关失败信息，确定相应消息数据的出错时间；

基于各所述出错时间，顺序将相应异常信息按照预设的日志数据格式写入到目标日志。

5.根据权利要求4所述的方法，其特征在于，所述处理所述目标异常信息中的消息数据，包括：

判断所述目标异常信息中的消息数据是否能够转换成目标从机具备的标准存储格式；

若是，则对所述目标异常信息中的消息数据进行存储格式转换，获得处理后消息数据；

若否，则将所述目标异常信息中的消息数据存储至设定文件，并将所述设定文件的文件路径作为处理后的消息数据。

6.一种数据存储系统，配置于大数据处理框架，所述大数据处理框架包括一个主机及至少一个从机，其特征在于，包括：

消息数据存储模块，用于获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机；

异常列表生成模块，用于当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中；

目录日志生成模块，用于返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表；

消息数据重存储模块，用于提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：

存储格式获取模块，用于确定存储所述消息数据对应的至少一个目标从机，获取各所述目标从机具备的标准存储格式；

数据处理模块，用于根据各所述标准存储格式对所述消息数据进行处理，以使所述消息数据满足各所述目标从机的存储要求。

8.根据权利要求6所述的系统，其特征在于，所述系统还包括：

工作状态检测模块，用于以设定时间间隔检测各所述目标从机的工作状态；

状态异常处理模块，用于当存在工作状态异常的异常目标从机时，修复所述异常目标从机或等待所述目标从机恢复正常。

9.一种设备，其特征在于，所述设备包括：

一个或者多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据存储方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的数据存储方法。