CN116775649A - 一种数据分类存储方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开一种数据分类存储方法、装置、计算机设备及存储介质，涉及大数据技术领域和保险金融领域。通过构建数据综合存储系统，其中，数据综合存储系统包括若干个数据库，对原始数据库中的初始数据进行信息抽取，得到初始数据信息，对初始数据信息进行标签匹配，得到数据存储标签，根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储。此外，本申请还涉及区块链技术领域，初始数据可存储在区块链网络上。本申请通过构建包含多个数据库的数据综合存储系统，并根据标签匹配对初始数据进行分类后，将初始数据迁移至数据综合存储系统对应的数据库进行分类存储，降低数据存储的耦合，使得数据库负载下降，提高数据库稳定性。

Description

一种数据分类存储方法、装置、计算机设备及存储介质

技术领域

本申请涉及大数据技术领域和保险金融领域，具体涉及一种数据分类存储方法、装置、计算机设备及存储介质。

背景技术

在大数据背景下，业务数据规模越来越大，对业务系统数据库的要求也越来越高，例如，保险金融业务系统，业务数据的规模和复杂度不断增加，同时对数据的安全性、可靠性和实时性的要求也越来越高。如何有效地进行业务数据存储，使得业务系统能够满足各种业务场景的需求，成为了备受关注的问题。

目前，为了方便数据调用和管理，大部分业务系统都设置有对应的关系数据库用于存储业务数据，如ORACLE关系数据库，但在目前大多数业务系统的数据库都没有进行数据分类存储，使得不同的业务数据存储在同一个数据库内，且同一种业务核心数据和非核心数据也存储在同一个数据库中，数据存储存在较大耦合，使得数据库负载大，对数据库稳定运行造成极大的威胁。

发明内容

本申请实施例的目的在于提出一种数据分类存储方法、装置、计算机设备及存储介质，以解决现有大多数业务系统的数据库都没有进行数据分类存储，数据存储存在较大耦合，导致数据库负载大，对数据库稳定运行造成极大威胁的技术问题。

为了解决上述技术问题，本申请实施例提供一种数据分类存储，采用了如下所述的技术方案：

一种数据分类存储方法，包括：

接收数据分类存储指令，并根据所述数据分类存储指令构建数据综合存储系统，其中，所述数据综合存储系统包括若干个数据库；

对原始数据库中的初始数据进行信息抽取，得到初始数据信息；

对所述初始数据信息进行标签匹配，得到所述初始数据对应的数据存储标签；

根据所述数据存储标签将所述初始数据迁移至所述数据综合存储系统对应的数据库进行存储。

进一步地，所述数据综合存储系统的每一个数据库均设置有对应的关联标签，所述对所述初始数据信息进行标签匹配，得到所述初始数据对应的数据存储标签，具体包括：

对所述初始数据信息进行特征提取，得到初始数据特征；

将所述初始数据特征导入训练好的数据特征识别模型，输出所述初始数据特征的特征识别结果；

将所述初始数据特征的特征识别结果与所述数据综合存储系统中每一个数据库的关联标签进行匹配，得到所述初始数据对应的数据存储标签。

进一步地，所述关联标签包括数据类型标签、业务类型标签和冗余类型标签，所述初始数据特征的特征识别结果包括数据类型特征识别结果、业务类型特征识别结果和冗余类型特征识别结果，所述将所述初始数据特征的特征识别结果与所述数据综合存储系统中每一个数据库的关联标签进行匹配，得到所述初始数据对应的数据存储标签，具体包括：

将所述数据类型特征识别结果与所述数据综合存储系统中每一个数据库的数据类型标签进行匹配，得到数据类型匹配标签；

将所述业务类型特征识别结果与所述数据综合存储系统中每一个数据库的业务类型标签进行匹配，得到业务类型匹配标签；

将所述冗余类型特征识别结果与所述数据综合存储系统中每一个数据库的冗余类型标签进行匹配，得到冗余类型匹配标签；

组合所述数据类型匹配标签、所述业务类型匹配标签和所述冗余类型匹配标签，构建所述初始数据对应的数据存储标签。

进一步地，所述根据所述数据存储标签将所述初始数据迁移至所述数据综合存储系统对应的数据库进行存储，具体包括：

根据所述数据存储标签确定所述初始数据在所述数据综合存储系统中的存储位置，其中，所述存储位置为所述数据存储标签对应的所述数据综合存储系统中的数据库；

基于预设的流处理框架对所述初始数据进行数据加工处理，得到预处理数据；

对所述预处理数据进行存储快照处理，并将所述预处理数据迁移至所述数据综合存储系统对应的数据库进行存储。

进一步地，所述基于预设的流处理框架对所述初始数据进行数据加工处理，得到预处理数据，具体包括：

基于所述流处理框架对所述初始数据进行反序列化定义操作，得到初始数据序列；

利用预设的匹配规则对所述初始数据序列进行规则匹配，并从所述初始数据序列中截取符合所述匹配规则的数据字段，得到所述预处理数据。

进一步地，所述对所述预处理数据进行存储快照处理，并将所述预处理数据迁移至所述数据综合存储系统对应的数据库进行存储，具体包括：

基于预设的数据切分规则对所述预处理数据进行数据切分，得到初始数据块；

将所述初始数据块以数据存储快照处理的方式写入所述数据综合存储系统对应的数据库。

进一步地，在所述对所述预处理数据进行存储快照处理，并将所述预处理数据迁移至所述数据综合存储系统对应的数据库进行存储之后，还包括：

接收所述初始数据的数据查询请求，调用预设的数据查询引擎；

解析所述数据查询请求，获取初始数据的存储位置信息；

基于所述初始数据的存储位置信息利用所述数据查询引擎对所述数据综合存储系统进行快照查询，输出快照查询结果。

为了解决上述技术问题，本申请实施例还提供一种数据分类存储，采用了如下所述的技术方案：

一种数据分类存储装置，包括：

系统构建模块，用于接收数据分类存储指令，并根据所述数据分类存储指令构建数据综合存储系统，其中，所述数据综合存储系统包括若干个数据库；

信息抽取模块，用于对原始数据库中的初始数据进行信息抽取，得到初始数据信息；

标签匹配模块，用于对所述初始数据信息进行标签匹配，得到所述初始数据对应的数据存储标签；

数据存储模块，用于根据所述数据存储标签将所述初始数据迁移至所述数据综合存储系统对应的数据库进行存储。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，处理器执行计算机可读指令时实现如上述的数据分类存储方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下的技术方案：

一种计算机可读存储介质，计算机可读存储介质上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述的数据分类存储方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请公开一种数据分类存储方法、装置、计算机设备及存储介质，涉及大数据技术领域和保险金融领域。本申请通过接收数据分类存储指令，并根据数据分类存储指令构建数据综合存储系统，其中，数据综合存储系统包括若干个数据库；对原始数据库中的初始数据进行信息抽取，得到初始数据信息；对初始数据信息进行标签匹配，得到初始数据对应的数据存储标签；根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储。本申请通过构建包含多个数据库的数据综合存储系统，例如保险金融业务系统，并根据标签匹配对原始数据库的初始数据进行分类后，将初始数据迁移至数据综合存储系统对应的数据库进行分类存储，降低数据存储的耦合，使得数据库负载下降，提高保险金融业务系统的数据库稳定性。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请可以应用于其中的示例性系统架构图；

图2示出了根据本申请的数据分类存储方法的一个实施例的流程图；

图3示出了根据本申请的数据分类存储装置的一个实施例的结构示意图；

图4示出了根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的数据分类存储方法一般由服务器执行，相应地，数据分类存储装置一般设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

目前大多数业务系统的数据库都没有进行数据分类存储，使得不同的业务数据存储在同一个数据库内，且同一种业务核心数据和非核心数据也存储在同一个数据库中，数据存储存在较大耦合，使得数据库负载大，对数据库稳定运行造成极大的威胁。

为了解决上述技术问题，本申请一种数据分类存储方法、装置、计算机设备及存储介质，通过构建包含多个数据库的数据综合存储系统，并根据标签匹配对原始数据库的初始数据进行分类后，将初始数据迁移至数据综合存储系统对应的数据库进行分类存储，降低数据存储的耦合，使得数据库负载下降，提高数据库稳定性。

参考图2，示出了根据本申请的数据分类存储的方法的一个实施例的流程图。所述的数据分类存储方法，包括以下步骤：

S201，接收数据分类存储指令，并根据数据分类存储指令构建数据综合存储系统，其中，数据综合存储系统包括若干个数据库。

在本实施例中，当服务器接收到数据分类存储指令后，根据数据分类存储指令构建一个新的数据综合存储系统，其中，新的数据综合存储系统包括多个不同类型的数据库。例如，在本申请一种具体的实施例中，数据综合存储系统可以包括关系型数据库、NOSQL类型数据库、高可用型数据库和可降级数据库，其中，结构化数据选择关系型数据库进行存储，非结构化存储选择NOSQL类型数据库进行存储，核心主流程业务数据存储在保证高可用的数据库环境，非核心数据可存储在可降级的数据库环境中。通过新的数据综合存储系统对业务数据进行分类存储，降低数据存储的耦合，使得数据库负载下降，提高数据库稳定性。

在本实施例中，数据分类存储方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式接收数据分类存储指令。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

S202，对原始数据库中的初始数据进行信息抽取，得到初始数据信息。

在本实施例中，当服务器完成数据综合存储系统的构建之后，开始从原始数据库取数，并将数据迁移到数据综合存储系统进行分类存储，通过对原始数据库中的初始数据进行信息抽取，得到初始数据信息。

其中，初始数据信息为初始数据的字段属性信息，至少包括初始数据的数据类型、业务场景和冗余类型。数据类型包括结构化数据和非结构化数据，结构化数据选择关系型数据库进行存储，非结构化存储选择NOSQL类型数据库进行存储。业务场景表征生成初始数据的场景信息，通过业务场景确定初始数据是否为核心主流程业务数据，以及确定初始数据是否为高并发场景数据，如果初始数据为高并发场景数据，则需要支持海量存储和流式计算的时序数据库来存储初始数据。冗余类型包括查询结果类的冗余和查询条件类的冗余，例如，如果属于查询结果类的冗余，则可以使用redis数据库来提升查询速度，如果属于查询条件类的冗余，可以使用es、hbase、mango等数据库来实现数据存储。

S203，对初始数据信息进行标签匹配，得到初始数据对应的数据存储标签。

在本实施例中，服务器将初始数据信息的数据特征与数据综合存储系统中预设的关联标签进行标签匹配，得到初始数据对应的数据存储标签。

进一步地，数据综合存储系统的每一个数据库均设置有对应的关联标签，对初始数据信息进行标签匹配，得到初始数据对应的数据存储标签，具体包括：

对初始数据信息进行特征提取，得到初始数据特征；

将初始数据特征导入训练好的数据特征识别模型，输出初始数据特征的特征识别结果；

将初始数据特征的特征识别结果与数据综合存储系统中每一个数据库的关联标签进行匹配，得到初始数据对应的数据存储标签。

在本实施例中，数据综合存储系统的每一个数据库均设置有对应的关联标签，所有关联标签构成一个标签集合，服务器通过对初始数据信息进行特征提取，得到初始数据特征，将初始数据特征导入训练好的数据特征识别模型，输出初始数据特征的特征识别结果，将初始数据特征的特征识别结果与标签集合中的每一个关联标签进行一一匹配，得到初始数据对应的数据存储标签。

在上述实施例中，本申请通过对初始数据信息进行特征提取和特征识别，并将特征识别结果与预设标签集合中的每一个关联标签进行一一匹配，生成数据存储标签，数据存储标签用于确定初始数据在数据综合存储系统中的存储位置。

进一步地，关联标签包括数据类型标签、业务类型标签和冗余类型标签，初始数据特征的特征识别结果包括数据类型特征识别结果、业务类型特征识别结果和冗余类型特征识别结果，将初始数据特征的特征识别结果与数据综合存储系统中每一个数据库的关联标签进行匹配，得到初始数据对应的数据存储标签，具体包括：

将数据类型特征识别结果与数据综合存储系统中每一个数据库的数据类型标签进行匹配，得到数据类型匹配标签；

将业务类型特征识别结果与数据综合存储系统中每一个数据库的业务类型标签进行匹配，得到业务类型匹配标签；

将冗余类型特征识别结果与数据综合存储系统中每一个数据库的冗余类型标签进行匹配，得到冗余类型匹配标签；

组合数据类型匹配标签、业务类型匹配标签和冗余类型匹配标签，构建初始数据对应的数据存储标签。

在本实施例中，数据特征识别模型包括一个多分类模型和两个二分类模型，多分类模型用于进行业务类型特征识别结果与业务类型标签的匹配，以确定业务数据场景，其中一个二分类模型用于数据类型特征识别结果与数据类型标签的匹配，以确定数据类型，另一个二分类模型用于冗余类型特征识别结果与冗余类型标签的匹配，以确定数据冗余类型。

服务器通过将数据类型特征识别结果与数据综合存储系统中每一个数据库的数据类型标签进行匹配，得到数据类型匹配标签，将业务类型特征识别结果与数据综合存储系统中每一个数据库的业务类型标签进行匹配，得到业务类型匹配标签，将冗余类型特征识别结果与数据综合存储系统中每一个数据库的冗余类型标签进行匹配，得到冗余类型匹配标签，组合数据类型匹配标签、业务类型匹配标签和冗余类型匹配标签，构建初始数据对应的数据存储标签。

在上述实施例中，本申请通过预先训练好的一个多分类模型和两个二分类模型实现数据特征与关联标签的匹配，生成数据存储标签，以便确定初始数据在数据综合存储系统中的存储位置。

S204，根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储。

在本实施例中，服务器根据数据存储标签确定初始数据在数据综合存储系统中的存储位置，并将初始数据迁移至数据综合存储系统对应的数据库进行存储。

进一步地，根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储，具体包括：

根据数据存储标签确定初始数据在数据综合存储系统中的存储位置，其中，存储位置为数据存储标签对应的数据综合存储系统中的数据库；

基于预设的流处理框架对初始数据进行数据加工处理，得到预处理数据；

对预处理数据进行存储快照处理，并将预处理数据迁移至数据综合存储系统对应的数据库进行存储。

在本实施例中，服务器根据数据存储标签确定初始数据在数据综合存储系统中的存储位置，其中，存储位置为数据存储标签对应的数据综合存储系统中的数据库，然后调用预设的流处理框架storm，对初始数据进行反序列化策略定义和规则匹配，得到预处理数据，对预处理数据进行存储快照处理，并将预处理数据迁移至数据综合存储系统对应的数据库进行存储。

进一步地，基于预设的流处理框架对初始数据进行数据加工处理，得到预处理数据，具体包括：

基于流处理框架对初始数据进行反序列化定义操作，得到初始数据序列；

利用预设的匹配规则对初始数据序列进行规则匹配，并从初始数据序列中截取符合匹配规则的数据字段，得到预处理数据。

在本实施例中，服务器基于流处理框架storm对初始数据进行反序列化定义操作，得到初始数据序列，然后利用预设的匹配规则对初始数据序列进行规则匹配，并从初始数据序列中截取符合匹配规则的数据字段，得到预处理数据。

在上述实施例中，本申请通过流处理框架storm对初始数据进行反序列化策略定义和规则匹配，得到预处理数据，提高预处理数据的有序性，便于后续对预处理数据的处理，提高了对初始数据的调用效率。

进一步地，对预处理数据进行存储快照处理，并将预处理数据迁移至数据综合存储系统对应的数据库进行存储，具体包括：

基于预设的数据切分规则对预处理数据进行数据切分，得到初始数据块；

将初始数据块以数据存储快照处理的方式写入数据综合存储系统对应的数据库。

在本实施例中，服务器基于预设的数据切分规则对预处理数据进行数据切分，得到初始数据块，将初始数据块以数据存储快照处理的方式写入数据综合存储系统对应的数据库。例如，当预处理数据的数据量大于或等于第一数值阈值时，对预处理数据进行纵向切分，并将切分出来的初始数据块以数据存储快照处理的方式写入数据综合存储系统对应的数据库。当预处理数据的数据量小于第一数值阈值时，对预处理数据进行横向切分，并将切分出来的初始数据块以数据存储快照处理的方式写入数据综合存储系统对应的数据库。

其中，纵向切分是按照不同的表(或者Schema)来切分到不同的数据库之上，这种切分可以称之为数据的垂直(纵向)切分；横向切分则是根据表中数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库上，这种切分称之为数据的水平(横向)切分。

数据存储快照处理主要解决数据丢失时的数据恢复，这种技术可以保存当前存储设备的状态，比如电脑的文件被误删除了，可以通过存储快照恢复到文件丢失之前的状态。在创建快照时，存储系统会建立源数据指针表的一个副本(元数据拷贝)，作为快照卷的数据指针表，简称快照数据指针表。在创建快照之后，这个快照就相当于一个可供上层应用访问的存储逻辑副本，快照卷与源数据卷通过各自的指针表共享同一份物理数据。当源数据卷中任意数据将要被改写时，COW会在原始数据修改之前进行拷贝到快照卷中，然后将新数据写入到源数据块中覆盖原始数据，并且将原始数据在快照卷中的新地址更新到快照数据指针表记录中，使快照时间点后更新的数据不会出现在快照卷中。

进一步地，在对预处理数据进行存储快照处理，并将预处理数据迁移至数据综合存储系统对应的数据库进行存储之后，还包括：

接收初始数据的数据查询请求，调用预设的数据查询引擎；

解析数据查询请求，获取初始数据的存储位置信息；

基于初始数据的存储位置信息利用数据查询引擎对数据综合存储系统进行快照查询，输出快照查询结果。

在本实施例中，接收初始数据的数据查询请求，调用预设的数据查询引擎，解析数据查询请求，获取初始数据的存储位置信息，基于初始数据的存储位置信息利用数据查询引擎对数据综合存储系统进行快照查询，输出快照查询结果。

在本实施例中，数据分类存储方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式接收初始数据的数据查询请求。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

在上述实施例中，本申请通过对初始数据以数据存储快照处理的方式写入数据综合存储系统对应的数据库，当需要查询该初始数据时，可以调用数据查询引擎实现快照查询，既能保证数据安全，防止数据丢失，又能提高数据查询效率。

在本申请一种具体的实施例中，以保险理赔系统为例，保险理赔系统用于处理各种保险理赔事务，包括对索赔请求的处理、定损和赔付等，保险理赔系统的数据规模非常庞大，包括各种索赔和理赔记录、保单信息、客户资料、赔付金额等等，数据来源包括各种手动输入和自动化采集的数据。可以通过构建一个数据综合存储系统来实现数据分类存储，这个数据综合存储系统由若干个数据库组成，每个数据库存储一类数据。通过对原始数据库中的初始数据进行信息抽取，得到初始数据信息，然后对初始数据信息进行标签匹配，得到数据存储标签，根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储。例如，索赔请求和理赔记录可以存储在一个数据库中，保单信息和客户资料可以存储在另一个数据库中，赔付金额可以存储在第三个数据库中。

在上述实施例中，本申请公开一种数据分类存储方法，涉及大数据技术领域和保险金融领域。本申请通过接收数据分类存储指令，并根据数据分类存储指令构建数据综合存储系统，其中，数据综合存储系统包括若干个数据库；对原始数据库中的初始数据进行信息抽取，得到初始数据信息；对初始数据信息进行标签匹配，得到初始数据对应的数据存储标签；根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储。本申请通过构建包含多个数据库的数据综合存储系统，并根据标签匹配对原始数据库的初始数据进行分类后，将初始数据迁移至数据综合存储系统对应的数据库进行分类存储，降低数据存储的耦合，使得数据库负载下降，提高数据库稳定性。

需要强调的是，为进一步保证上述初始数据的私密和安全性，上述初始数据还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种数据分类存储装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的数据分类存储装置300包括：

系统构建模块301，用于接收数据分类存储指令，并根据数据分类存储指令构建数据综合存储系统，其中，数据综合存储系统包括若干个数据库；

信息抽取模块302，用于对原始数据库中的初始数据进行信息抽取，得到初始数据信息；

标签匹配模块303，用于对初始数据信息进行标签匹配，得到初始数据对应的数据存储标签；

数据存储模块304，用于根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储。

进一步地，数据综合存储系统的每一个数据库均设置有对应的关联标签，标签匹配模块303具体包括：

特征提取单元，用于对初始数据信息进行特征提取，得到初始数据特征；

特征识别单元，用于将初始数据特征导入训练好的数据特征识别模型，输出初始数据特征的特征识别结果；

标签匹配单元，用于将初始数据特征的特征识别结果与数据综合存储系统中每一个数据库的关联标签进行匹配，得到初始数据对应的数据存储标签。

进一步地，关联标签包括数据类型标签、业务类型标签和冗余类型标签，初始数据特征的特征识别结果包括数据类型特征识别结果、业务类型特征识别结果和冗余类型特征识别结果，标签匹配单元具体包括：

第一匹配子单元，用于将数据类型特征识别结果与数据综合存储系统中每一个数据库的数据类型标签进行匹配，得到数据类型匹配标签；

第二匹配子单元，用于将业务类型特征识别结果与数据综合存储系统中每一个数据库的业务类型标签进行匹配，得到业务类型匹配标签；

第三匹配子单元，用于将冗余类型特征识别结果与数据综合存储系统中每一个数据库的冗余类型标签进行匹配，得到冗余类型匹配标签；

标签组合子单元，用于组合数据类型匹配标签、业务类型匹配标签和冗余类型匹配标签，构建初始数据对应的数据存储标签。

进一步地，数据存储模块304具体包括：

位置查询单元，用于根据数据存储标签确定初始数据在数据综合存储系统中的存储位置，其中，存储位置为数据存储标签对应的数据综合存储系统中的数据库；

数据加工单元，用于基于预设的流处理框架对初始数据进行数据加工处理，得到预处理数据；

快照处理单元，用于对预处理数据进行存储快照处理，并将预处理数据迁移至数据综合存储系统对应的数据库进行存储。

进一步地，数据加工单元具体包括：

反序列子单元，用于基于流处理框架对初始数据进行反序列化定义操作，得到初始数据序列；

规则匹配子单元，用于利用预设的匹配规则对初始数据序列进行规则匹配，并从初始数据序列中截取符合匹配规则的数据字段，得到预处理数据。

进一步地，快照处理单元具体包括：

数据切分子单元，用于基于预设的数据切分规则对预处理数据进行数据切分，得到初始数据块；

快照写入子单元，用于将初始数据块以数据存储快照处理的方式写入数据综合存储系统对应的数据库。

进一步地，数据分类存储装置300还包括：

数据查询模块，用于接收初始数据的数据查询请求，调用预设的数据查询引擎；

位置获取模块，用于解析数据查询请求，获取初始数据的存储位置信息；

快照查询模块，用于基于初始数据的存储位置信息利用数据查询引擎对数据综合存储系统进行快照查询，输出快照查询结果。

在上述实施例中，本申请公开一种数据分类存储装置，涉及大数据技术领域和保险金融领域。本申请通过接收数据分类存储指令，并根据数据分类存储指令构建数据综合存储系统，其中，数据综合存储系统包括若干个数据库；对原始数据库中的初始数据进行信息抽取，得到初始数据信息；对初始数据信息进行标签匹配，得到初始数据对应的数据存储标签；根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储。本申请通过构建包含多个数据库的数据综合存储系统，并根据标签匹配对原始数据库的初始数据进行分类后，将初始数据迁移至数据综合存储系统对应的数据库进行分类存储，降低数据存储的耦合，使得数据库负载下降，提高数据库稳定性。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如数据分类存储方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述数据分类存储方法的计算机可读指令。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

在本实施例中，本申请公开一种计算机设备，涉及大数据技术领域和保险金融领域。本申请通过接收数据分类存储指令，并根据数据分类存储指令构建数据综合存储系统，其中，数据综合存储系统包括若干个数据库；对原始数据库中的初始数据进行信息抽取，得到初始数据信息；对初始数据信息进行标签匹配，得到初始数据对应的数据存储标签；根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储。本申请通过构建包含多个数据库的数据综合存储系统，并根据标签匹配对原始数据库的初始数据进行分类后，将初始数据迁移至数据综合存储系统对应的数据库进行分类存储，降低数据存储的耦合，使得数据库负载下降，提高数据库稳定性。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据分类存储方法的步骤。

在本实施例中，本申请公开一种存储介质，涉及大数据技术领域和保险金融领域。本申请通过接收数据分类存储指令，并根据数据分类存储指令构建数据综合存储系统，其中，数据综合存储系统包括若干个数据库；对原始数据库中的初始数据进行信息抽取，得到初始数据信息；对初始数据信息进行标签匹配，得到初始数据对应的数据存储标签；根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储。本申请通过构建包含多个数据库的数据综合存储系统，并根据标签匹配对原始数据库的初始数据进行分类后，将初始数据迁移至数据综合存储系统对应的数据库进行分类存储，降低数据存储的耦合，使得数据库负载下降，提高数据库稳定性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种数据分类存储方法，其特征在于，包括：

接收数据分类存储指令，并根据所述数据分类存储指令构建数据综合存储系统，其中，所述数据综合存储系统包括若干个数据库；

对原始数据库中的初始数据进行信息抽取，得到初始数据信息；

对所述初始数据信息进行标签匹配，得到所述初始数据对应的数据存储标签；

根据所述数据存储标签将所述初始数据迁移至所述数据综合存储系统对应的数据库进行存储。

2.如权利要求1所述的数据分类存储方法，其特征在于，所述数据综合存储系统的每一个数据库均设置有对应的关联标签，所述对所述初始数据信息进行标签匹配，得到所述初始数据对应的数据存储标签，具体包括：

对所述初始数据信息进行特征提取，得到初始数据特征；

将所述初始数据特征导入训练好的数据特征识别模型，输出所述初始数据特征的特征识别结果；

将所述初始数据特征的特征识别结果与所述数据综合存储系统中每一个数据库的关联标签进行匹配，得到所述初始数据对应的数据存储标签。

3.如权利要求2所述的数据分类存储方法，其特征在于，所述关联标签包括数据类型标签、业务类型标签和冗余类型标签，所述初始数据特征的特征识别结果包括数据类型特征识别结果、业务类型特征识别结果和冗余类型特征识别结果，所述将所述初始数据特征的特征识别结果与所述数据综合存储系统中每一个数据库的关联标签进行匹配，得到所述初始数据对应的数据存储标签，具体包括：

将所述数据类型特征识别结果与所述数据综合存储系统中每一个数据库的数据类型标签进行匹配，得到数据类型匹配标签；

将所述业务类型特征识别结果与所述数据综合存储系统中每一个数据库的业务类型标签进行匹配，得到业务类型匹配标签；

将所述冗余类型特征识别结果与所述数据综合存储系统中每一个数据库的冗余类型标签进行匹配，得到冗余类型匹配标签；

组合所述数据类型匹配标签、所述业务类型匹配标签和所述冗余类型匹配标签，构建所述初始数据对应的数据存储标签。

4.如权利要求1至3任意一项所述的数据分类存储方法，其特征在于，所述根据所述数据存储标签将所述初始数据迁移至所述数据综合存储系统对应的数据库进行存储，具体包括：

根据所述数据存储标签确定所述初始数据在所述数据综合存储系统中的存储位置，其中，所述存储位置为所述数据存储标签对应的所述数据综合存储系统中的数据库；

基于预设的流处理框架对所述初始数据进行数据加工处理，得到预处理数据；

对所述预处理数据进行存储快照处理，并将所述预处理数据迁移至所述数据综合存储系统对应的数据库进行存储。

5.如权利要求4所述的数据分类存储方法，其特征在于，所述基于预设的流处理框架对所述初始数据进行数据加工处理，得到预处理数据，具体包括：

基于所述流处理框架对所述初始数据进行反序列化定义操作，得到初始数据序列；

利用预设的匹配规则对所述初始数据序列进行规则匹配，并从所述初始数据序列中截取符合所述匹配规则的数据字段，得到所述预处理数据。

6.如权利要求4所述的数据分类存储方法，其特征在于，所述对所述预处理数据进行存储快照处理，并将所述预处理数据迁移至所述数据综合存储系统对应的数据库进行存储，具体包括：

基于预设的数据切分规则对所述预处理数据进行数据切分，得到初始数据块；

将所述初始数据块以数据存储快照处理的方式写入所述数据综合存储系统对应的数据库。

7.如权利要求4所述的数据分类存储方法，其特征在于，在所述对所述预处理数据进行存储快照处理，并将所述预处理数据迁移至所述数据综合存储系统对应的数据库进行存储之后，还包括：

接收所述初始数据的数据查询请求，调用预设的数据查询引擎；

解析所述数据查询请求，获取初始数据的存储位置信息；

基于所述初始数据的存储位置信息利用所述数据查询引擎对所述数据综合存储系统进行快照查询，输出快照查询结果。

8.一种数据分类存储装置，其特征在于，包括：

系统构建模块，用于接收数据分类存储指令，并根据所述数据分类存储指令构建数据综合存储系统，其中，所述数据综合存储系统包括若干个数据库；

信息抽取模块，用于对原始数据库中的初始数据进行信息抽取，得到初始数据信息；

标签匹配模块，用于对所述初始数据信息进行标签匹配，得到所述初始数据对应的数据存储标签；

数据存储模块，用于根据所述数据存储标签将所述初始数据迁移至所述数据综合存储系统对应的数据库进行存储。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据分类存储方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据分类存储方法的步骤。