CN114925145B - 数据存储方法、装置以及存储介质和电子设备 - Google Patents

Abstract

本发明提供了一种数据存储方法、装置以及存储介质和电子设备，其中方法包括：获取待存储数据；设置统一存储层，并将待存储数据存储至统一存储层中作为原始数据；响应对原始数据进行分类得到的业务数据，将不同的业务数据存储至对应的不同的业务数据库中,本发明提供的数据存储方法、装置以及存储介质和电子设备，能够保证业务数据库中的业务数据与统一存储层中的原始数据的一致性，从而进一步保证业务数据的准确性及正确性。

Description

数据存储方法、装置以及存储介质和电子设备

技术领域

本发明涉及数据存储技术领域，尤其是一种数据存储方法、装置以及存储介质和电子设备。

背景技术

不同的数据存储方式可以满足灵活的应用业务需求，比如mongo数据库能够提供灵活的列存储功能，这种数据存储方式可以便捷地增加或者减少数据的列，从而灵活、便捷地增加或者减少业务所需的维度数据，而mysql数据库则能够为业务提供关系查询和计数等功能。

目前，在不同的业务背景下，对数据的要求会有所不同，因此，应用于不同业务的数据往往会被存储在不同的存储媒介中，然而，复杂的业务往往都会在数据层面有各种关联，当相同的数据由于业务使用不同而被存放在不同的存储媒介中时，分开存储可能会出现数据不一致的情况，并且如果某一存储媒介中的数据出现异常，则其他存储媒介中涉及的数据也会因此出现异常。

以企业数据的存储为例，企业具有多种维度数据，并且企业之间的维度数据不尽相同，有的企业维度多，有的企业维度少，因此其需要具有灵活的列存储功能的存储媒介来存储企业数据；但是企业间又存在着各种关系，特别是需要通过大量的关系数据进行计算以获取企业和老板之间的关系数据，这种关系数据又需要具有关系查询和计数等功能的存储媒介来存储，并且这种存储方式，如果企业的某一存储的数据出现异常，则该企业的其他存储媒介所涉及的数据也会因此出现异常。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种数据存储方法、装置以及存储介质和电子设备，通过统一存储层增加分类分发机制为业务数据库分发业务数据，并在数据更新过程中增加一级和/或两级确认机制、回退机制，这不仅能够保证存储至统一存储层中的原始数据的唯一性，避免原始数据的重复存储，也能够保证后续存储至业务数据库中的业务数据的唯一性，避免重复存储产生的错误，还保证了前后数据的一致性、准确性及正确性。

为达到上述目的，本发明提供一种数据存储方法，所述方法包括：

获取待存储数据；

设置统一存储层，并将所述待存储数据存储至所述统一存储层中作为原始数据；

响应对所述原始数据进行分类得到的业务数据，将不同的所述业务数据存储至对应的不同的业务数据库中。

可选地，所述方法还包括：

响应所述统一存储层接收到的数据更新请求，将所述统一存储层接收到的更新数据与所述原始数据进行比较，若存在不同，则将所述更新数据作为增量数据存储至所述统一存储层中；

响应对所述增量数据进行分类得到的增量业务数据，将不同的所述增量业务数据更新至对应的不同的所述业务数据库中。

可选地，所述方法还包括：

响应所述业务数据库接收到的业务数据更新请求，将所述业务数据库接收到的业务更新数据与所述原始数据进行比较，若所述原始数据中存在与所述业务更新数据相同的数据，则将所述业务更新数据更新至所述业务数据库中。

可选地，所述方法还包括：根据所述原始数据，设置所述统一存储层中的一个或多个字段作为第一主键，和/或根据所述业务数据，设置所述业务数据库中的一个或多个字段作为第二主键；和/或，

对所述原始数据添加版本信息；和/或，对所述业务数据添加版本信息；其中，所述版本信息包括数据标识信息和/或时间戳信息。

可选地，所述方法还包括：

响应所述业务数据库接收到的业务数据更新请求，将所述业务数据库接收到的业务更新数据与所述原始数据进行比较，若所述原始数据中存在与所述业务更新数据相同的数据，生成第一结果；

将所述业务数据库中的待更新数据与所述原始数据进行比较，若所述原始数据中存在与所述待更新数据相同的数据，生成第二结果；

基于所述第一结果和所述第二结果，将所述业务更新数据更新至所述业务数据库中。

可选地，所述方法还包括：

响应所述业务数据库接收到的业务数据更新请求，将所述业务数据库接收到的业务更新数据与所述原始数据进行比较，若所述原始数据中不存在与所述业务更新数据相同的数据，获取所述业务更新数据的来源信息的权重值；

若所述权重值大于或者等于预设权重阈值，则将所述业务更新数据作为增量数据，存储至所述统一存储层；响应对所述增量数据进行分类得到的增量业务数据，将不同的所述增量业务数据存储至对应的不同的业务数据库中；

若所述权重值小于所述预设权重阈值，则将所述业务更新数据作为异常数据，所述统一存储层和所述业务数据库不更新。

可选地，所述方法还包括：

实时或者以预设时间间隔获取所述业务数据库中的业务数据；

将所述业务数据与所述原始数据进行比较，若所述原始数据中不存在与所述业务数据相同的数据，对所述统一存储层中的当前的原始数据进行分类得到当前的业务数据，并将所述当前的业务数据存储至对应的业务数据库中。

为达到上述目的，本发明还提供一种数据存储装置，所述装置包括：

数据获取模块，用于获取待存储数据；

第一数据存储模块，用于设置统一存储层，并将所述待存储数据存储至所述统一存储层中作为原始数据；

第二数据存储模块，用于响应对所述原始数据进行分类得到的业务数据，将不同的所述业务数据存储至对应的不同的业务数据库中。

为达上述目的，本发明还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据存储方法的步骤。

为达上述目的，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述数据存储方法的步骤。

与现有技术相比，本发明提供的数据存储方法、装置以及存储介质和电子设备，通过统一存储层增加分类分发机制为业务数据库分发业务数据，并在数据更新过程中增加一级和/或两级确认机制、回退机制，这不仅能够保证存储至统一存储层中的原始数据的唯一性，避免原始数据的重复存储，也能够保证后续存储至业务数据库中的业务数据的唯一性，避免重复存储产生的错误，还保证了前后数据的一致性、准确性及正确性。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本发明一示例性实施例提供的数据存储方法的流程示意图；

图2是本发明一示例性实施例提供的数据存储装置的结构示意图；

图3是本发明一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本发明实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本发明实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本发明中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本发明中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本发明对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

示例性方法

图1是本发明一示例性实施例提供的数据存储方法的流程示意图。本实施例可应用在电子设备上，如图1所示，该方法包括以下步骤：

步骤101：获取待存储数据。

需要说明的是，本发明实施例不具体限定待存储数据，其可以是来自于其他设备发送的数据，也可以是对通过网络爬虫技术从网络自动抓取的数据进行相应处理后的数据。作为一种示例，待存储数据为对通过网络爬虫技术从网络自动抓取的与企业相关的数据进行关联与唯一性处理后的企业数据。

在本发明实施例中，以通过网络爬虫技术从网络自动抓取与企业相关的数据为例说明待存储数据的获取过程，具体地，步骤101可进一步包括：

步骤1011，获取企业基础数据以及与企业基础数据对应的老板数据，并进行关联，得到关联后的企业数据。

通过网络爬虫技术从网络自动抓取到的与企业相关的数据通常包括企业基础数据以及与企业基础数据对应的老板数据；其中，企业基础数据包括企业基本信息，如企业名称、企业法人、企业高管信息、企业成立时间、企业经营范围、企业注册资金、企业公司类型等；老板为对应企业的主要人员，如董事长、法定代表人、重要股东、董事会成员等，与企业基础数据对应的老板数据包括在职信息和曾任职信息，如老板的姓名、老板的任职岗位、老板的任职时间等。

在本发明实施例中，企业基础数据以及与企业基础数据对应的老板数据可来源于通过网络爬虫技术从网络自动抓取的与企业相关的数据。其中，网络爬虫(又称为网页蜘蛛或网络机器人)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，由于通过网络爬虫技术从网络自动抓取与企业相关的数据已是现有技术，因此，企业基础数据以及与企业基础数据对应的老板数据的具体抓取过程此处不再赘述。

当通过网络爬虫技术从网络自动抓取到与企业相关的数据后，还需对抓取到的与企业相关的数据进行预处理，如数据清洗、实体识别等，以获取到企业基础数据以及与企业基础数据对应的老板数据，并进行关联及调整，得到关联后的企业数据。例如：若抓取到的与企业相关的数据存在无关数据，如标点符号、空格等，则要对其进行数据清洗，从而去除无关数据；若抓取到的与企业相关的数据为长句或段落，则需要对其进行实体识别以获取到相应的企业实体(即企业名称)等；若某企业存在历史的企业名称，老板数据来源于该历史的企业名称，则需要将老板数据关联到最新的企业名称上，即将老板数据与最新的企业基础数据相关联。需要说明的是，本发明实施例中的预处理不限于数据清洗、实体识别，本领域技术人员可以根据实际需要选择其他预处理方式，此处不作限定。

步骤1012，利用图谱技术对关联后的企业数据进行数据唯一性处理，得到待存储数据。

企业数据指经步骤1011关联处理后的企业基础数据以及与企业基础数据对应的老板数据。在经关联处理后的企业数据中，有可能会存在同名的老板数据，因此，不同企业的同名老板数据需要通过可靠的信息进行拆分，这就需要对获取的企业数据中的企业基础数据以及与企业基础数据对应的老板数据进行唯一性处理，即通过企业与企业的关联数据、企业与老板的关联数据以及老板与老板之间的合作数据，构造“企业-老板”关系图谱，并通过对关系图谱分析，确定老板的唯一性，从而确定同名老板所属的不同企业。

举例说明，有两位老板的姓名都是“张三”，一个是A企业的张三，另一个个是B企业的张三，两个老板同名但是不同人，针对A企业的企业数据可以获取与张三相关的任职信息、投资信息、关联的其他企业任职信息、合作伙伴信息，同理，另一个老板张三也可以通过B企业的企业数据获取到与该张三相关的任职信息、投资信息、关联的其他企业任职信息、合作伙伴信息。在本发明实施例中，可通过A企业相关的数据来构造“A企业-张三”的关系图谱，通过B企业的相关数据来构造“B企业-张三”的关系图谱。当新增的一条变动数据是一个叫张三的老板名下新增一个新企业，则需要根据关系图谱中的关联特征关系，来确定该张三是A企业中的张三还是B企业中的张三，因此，通过计算新张三名下公司的股东信息、投资信息、合作伙伴等信息作为重要信息数据，主要工作人员在其他企业中的任职信息为次要信息数据，并结合考虑企业经营范围、注册地区等补充信息，共同来构建该张三老板的特征属性，并分别和A企业的张三老板的特征属性和B企业的张三老板的特征属性进行对比，找出置信度较高的，确定该张三是这两老板之一，还是并无关系的第三人；如果是其中之一，则该新增公司也同步补充到对应老板的关系图谱中，例如这个新企业中的其他法人和A企业中的其他主要人员是相同的，且具有共同的合作伙伴、投资股东等，就会倾向于该张三老板是A企业的老板张三；如果不属于任意一老板，则基于新公司信息数据构建新的第三“企业-张三”关系图谱。

需要说明的是，步骤1011和步骤1012在图1中未示出。

步骤102：设置统一存储层，并将待存储数据存储至统一存储层中作为原始数据。

统一存储层可以用于保障不同类型待存储数据的方便存储。在本发明实施例中，优选采用表格存储(ots)架构作为统一存储层，将获取到的待存储数据存储至统一存储层中作为原始数据，以保障存储的数据是单独、完整。

步骤103，响应对原始数据进行分类得到的业务数据，将不同的业务数据存储至对应的不同的业务数据库中。

在发明实施例中，为了适应不同的业务需求，还需要对统一存储层中的原始数据进行分类，从而得到适应不同业务需求的业务数据，并将得到的业务数据根据不同的业务需求存储至对应的不同的业务数据库中。应当理解的是，步骤103中的对原始数据进行分类并不是改变原始数据，而是根据业务需求对其进行分类，以得到不同的业务数据库所要存储的业务数据。

其中，业务数据库可以为具有灵活的列存储功能mongo数据库，也可以为具有关系查询和计数功能的关系型数据库(如mysql数据库)，本领域技术人员可以根据实际业务需求选择业务数据库的种类，此处不做限定。以上述企业数据为例，对于老板关联的企业的业务数据，由于每个老板名下的企业不尽相同，需要灵活的列存储结构进行存储，因此，可将其存储于mongo数据库中；而对于老板名下的企业个数等具有聚合类型的业务数据，需要储存在关系型数据库进行存储，因此，可以将其存储于mysql数据库中。

本发明实施例提供的数据存储方法，通过对统一存储层中的原始数据进行分类后，统一分发至对应的业务数据库中，不仅能够保证业务数据库中的业务数据与统一存储层中的原始数据的一致性，还能够保证业务数据的准确性及正确性。

本发明还提供了一种数据存储方法，其是在图1所示的数据存储方法的基础上进一步实施的，该方法还包括：

步骤104，响应统一存储层接收到的数据更新请求，将统一存储层接收到的更新数据与原始数据进行比较，若存在不同，则将更新数据作为增量数据存储至统一存储层中；

具体地，当统一存储层接收到数据更新请求以及更新数据需要对统一存储层进行数据更新时，统一存储层没有直接将更新数据存储至统一存储层中，而是将更新数据与原始数据进行比较，判断原始数据中是否已经存在与更新数据相同的数据，若原始数据中已经存在与更新数据相同的数据，则统一存储层保持不变，若原始数据中不存在与更新数据相同的数据，即存在不同，则统一存储层将更新数据作为增量数据存储至统一存储层中。

步骤105：响应对增量数据进行分类得到的增量业务数据，将不同的增量业务数据存储至对应的不同的业务数据库中。

具体地，当统一存储层中的原始数据发生更新后，统一存储层会自动触发增量数据分类分发机制，即对增量数据进行分类得到业务数据，并将不同的增量业务数据存储至对应的不同的业务数据库中，以保证统一存储层中更新后的原始数据与业务数据库中更新后的业务数据的一致性。

以企业数据中的老板“张三”增加了一个新企业“张三零售店”为例，当统一存储层接收到对该老板数据的数据更新请求时，根据接收到的更新数据得到该老板的最新关系簇结果，该最新关系簇结果中增加了“张三零售店”的数据，将最新关系簇结果与统一存储层中的原始数据中的该老板的数据进行对比，得到增量数据，将该增量数据存储至统一存储层中，同时，对增量数据进行分类得到增量业务数据，将增量业务数据存储至对应的业务数据库中，从而保证统一存储层中的原始数据与业务数据库中的业务数据同时更新，确保数据的一致性及准确性。

本发明实施例的数据存储方法，不仅能够保证存储至统一存储层中的原始数据的唯一性，避免原始数据的重复存储，也能够保证后续存储至业务数据库中的业务数据的唯一性，避免重复存储产生的错误，还保证了前后数据的一致性及准确性。

在本发明的一种可选实施方式中，该方法还包括；

步骤106：响应业务数据库接收到的业务数据更新请求，将业务数据库接收到的业务更新数据与原始数据进行比较，若原始数据中存在与业务更新数据相同的数据，则将业务更新数据更新至业务数据库中。

在该可选实施方式中，当业务数据库接收到业务数据更新请求以及业务更新数据时，业务数据库并没有将业务更新数据直接更新至业务数据库中，而是触发了业务数据确认机制，即将业务更新数据与统一存储层中的原始数据进行比较，若原始数据中存在与业务更新数据相同的数据，则将业务更新数据更新至业务数据库中。这种数据存储方法能够确保业务数据库中业务数据与统一存储层中的原始数据的一致性，同时也能够确保业务数据库中的业务数据的准确性。

举例地，当业务数据库接收到老板“张三”新增“张三零售店”的业务数据更新请求后，业务数据库反向查询统一储存层中的原始数据，确认当前统一存储层中的原始数据中的老板“张三”的信息中是否有张三零售店信息，若确认相同，则进行数据更新。

在该种可选实施方式的基础上，若原始数据中不存在与业务更新数据相同的数据，获取业务更新数据的来源信息的权重值，若该权重值大于或者等于预设权重阈值，则将该业务更新数据作为增量数据，存储至统一存储层；响应对增量数据进行分类得到的增量业务数据，将不同的增量业务数据存储至对应的不同的业务数据库中；若该权重值小于预设权重阈值，则将该业务更新数据作为异常数据，统一存储层和业务数据库都不进行更新，保持不变。

其中，更新数据的来源信息的权重值为预先设定的，例如；可以将通过工商信息网站获取到的数据设置为高权重值，而将从浏览量较少的第三方网站获取的数据设置为低权重值，本领域技术人员可以根据实际需要灵活设定，此处不做限定。另外，预设权重阈值本领域技术人员可以根据实际需要灵活设定，此处不做限定。

在本发明的另一种可选实施方式中，该方法还包括；

步骤107：响应业务数据库接收到的业务数据更新请求，将业务数据库接收到的业务更新数据与原始数据进行比较，若原始数据中存在与业务更新数据相同的数据，生成第一结果；

步骤108：将业务数据库中的待更新数据与原始数据进行比较，若原始数据中存在与待更新数据相同的数据，生成第二结果；

步骤109：基于第一结果和第二结果，将业务更新数据更新至业务数据库中。

具体地，当某个业务数据库接收到业务数据更新请求时，不仅会将接收到的业务更新数据与原始数据进行比较，还会根据接收到的业务更新数据获取该业务数据库中对应的待更新数据，并将获取到的待更新数据与统一存储层中的原始数据进行比较，根据两次比较结果判断是否对该业务数据库进行更新。除步骤107至步骤109所述的情况之外，还包括如下五种情况：

第一种情况：原始数据中存在与业务更新数据相同的数据，则生成第一结果，表示统一存储层中对该业务更新数据已经更新，允许进行业务数据库中的业务数据更新；根据接收到的业务更新数据获取该业务数据库中对应的待更新数据，并将待更新数据与原始数据进行比较，若原始数据中不存在待更新数据，表示该业务数据库中的业务数据存在异常，获取对当前的原始数据分类后的业务数据，将业务数据存储至对应的业务数据库中。

第二种情况：原始数据中不存在与业务更新数据相同的数据，获取业务更新数据的来源信息的权重值，若该权重值大于或者等于预设权重阈值，则将该业务更新数据作为增量数据，存储至统一存储层，生成第一结果；根据接收到的业务更新数据获取该业务数据库中对应的待更新数据，并将待更新数据与原始数据进行比较，若原始数据中存在待更新数据，表示该业务数据库中的业务数据为正常数据，生成第二结果；基于第一结果和第二结果，将业务更新数据更新至业务数据库中。

第三种情况：原始数据中不存在与业务更新数据相同的数据，获取业务更新数据的来源信息的权重值，若该权重值小于预设权重阈值，则将该业务更新数据作为异常数据，统一存储层不进行更新；根据接收到的业务更新数据获取该业务数据库中对应的待更新数据，并将待更新数据与原始数据进行比较，若原始数据中存在待更新数据，表示该业务数据库中的业务数据为正常数据，业务数据库也不进行更新。

第四种情况：原始数据中不存在与业务更新数据相同的数据，获取业务更新数据的来源信息的权重值，若该权重值大于或者等于预设权重阈值，则将该业务更新数据作为增量数据，存储至统一存储层，生成第一结果；根据接收到的业务更新数据获取该业务数据库中对应的待更新数据，并将待更新数据与原始数据进行比较，若原始数据中不存在待更新数据，表示该业务数据库中的业务数据为异常数据，获取对当前的原始数据分类后的业务数据，将业务数据存储至对应的业务数据库中。

第五种情况：原始数据中不存在与业务更新数据相同的数据，获取业务更新数据的来源信息的权重值，若该权重值小于预设权重阈值，则将该业务更新数据作为异常数据，统一存储层不进行更新；根据接收到的业务更新数据获取该业务数据库中对应的待更新数据，并将待更新数据与原始数据进行比较，若原始数据中不存在待更新数据，表示该业务数据库中的业务数据为异常数据，获取对当前的原始数据分类后的业务数据，将业务数据存储至对应的业务数据库中，而不使用业务更新数据对该业务数据库中的业务数据进行更新。

该可选实施方式的数据存储方法，必须经过两级确认机制才能确定是否对业务数据库中的业务数据进行更新，以及采用何种数据对业务数据库中的业务数据进行更新，其不仅保证了统一存储层中的原始数据与业务数据库中的业务数据的一致性，还保证了业务数据库中的业务数据的准确性及正确性。

在本发明的又一种可选实施方式中，该方法还包括；

步骤110：实时或者以预设时间间隔获取业务数据库中的业务数据；

步骤111：将业务数据与原始数据进行比较，若原始数据中不存在与业务数据相同的数据，对统一存储层中的当前的原始数据进行分类得到当前的业务数据，并将当前的业务数据更新至对应的业务数据库中。

在该种可选实施方式中，可以实时或者以预设时间间隔获取业务数据库中业务数据，并在获取到业务数据库中的业务数据后，将业务数据与原始数据进行比较，若原始数据中不存在与业务数据相同的数据，则触发回退机制，即对统一存储层中的当前的原始数据进行分类得到当前的业务数据，并将当前的业务数据更新至对应的业务数据库中。这种数据存储方法，可以保证业务数据库中的业务数据与统一存储层中的原始数据的一致性，同时也保证了业务数据库中的业务数据的准确性及正确性。

需要说明的是，步骤104至步骤111在图1中未示出。

本发明实施例的数据存储方法，通过统一存储层增加分类分发机制为业务数据库分发业务数据，并在数据更新过程中增加一级和/或两级确认机制、回退机制，这不仅能够保证存储至统一存储层中的原始数据的唯一性，避免原始数据的重复存储，也能够保证后续存储至业务数据库中的业务数据的唯一性，避免重复存储产生的错误，还保证了前后数据的一致性、准确性及正确性。

在本发明中，为了能够对统一存储层中的原始数据进行快速查询，可以根据原始数据，设置统一存储层中的一个或多个字段作为第一主键；同理，也为了能够对业务数据库中的业务数据进行快速查询，也可以根据业务数据，设置业务数据库中的一个或多个字段作为第二主键。

在本发明中，为了能够快速、准确的查找统一存储层和业务数据库中对应的数据，可以对原始数据添加版本信息；和/或，对业务数据添加版本信息；其中，版本信息包括数据标识信息和/或时间戳信息。

具体地，通过增加版本机制，对统一存储层中存储的原始数据和/或对业务数据库中的业务数据增加版本信息，从而为每次存储的数据，在不同的时间状态进行不同的标识，可以达到多版本同时共存的存储结果。以版本信息为时间戳为例，例如：老板张三在20220312增加一个新企业叫张三零售店，则在统一存储层中，数据时间戳为“张三_20220312”(张三为数据标识信息、20220312为时间戳信息)的原始数据中包含新增的“张三零售店”信息，而时间戳为“张三_20220212”的原始数据中，则没有“张三零售店”信息，同样地，业务数据库中业务数据也可以配置相应的版本信息。

应当理解的是，为统一存储层设置第一主键和为统一存储层中的原始数据增加版本信息，都是为了快速、准确地查询到对应的数据，同理，为业务数据库设置第二主键和为业务数据库中的业务数据增加版本信息，也是为了快速、准确地查询到对应的数据；设置第一主键和/或第二主键的方式与设置版本信息的方式二者可以单独使用，也可以结合使用，此处不做限定。

示例性装置

图2是本发明一示例性实施例提供的数据存储装置的结构示意图。如图2所示，该装置包括：

数据获取模块20，用于获取待存储数据；

第一数据存储模块21，用于设置统一存储层，并将待存储数据存储至所述统一存储层中作为原始数据；

第二数据存储模块22，用于响应对原始数据进行分类得到的业务数据，将不同的业务数据存储至对应的不同的业务数据库中。

可选地，第一数据存储模块21还用于：响应统一存储层接收到的数据更新请求，将统一存储层接收到的更新数据与原始数据进行比较，若存在不同，则将更新数据作为增量数据存储至统一存储层中；此时，第二数据存储模块22还用于：响应对增量数据进行分类得到的增量业务数据，将不同的增量业务数据更新至对应的不同的业务数据库中。

可选地，第二数据存储模块22还用于：响应业务数据库接收到的业务数据更新请求，将业务数据库接收到的业务更新数据与原始数据进行比较，若原始数据中存在与业务更新数据相同的数据，则将业务更新数据更新至业务数据库中。

可选地，第一数据存储模块21还用于：根据原始数据，设置统一存储层中的一个或多个字段作为第一主键，和/或第二数据存储模块22还用于：根据业务数据，设置业务数据库中的一个或多个字段作为第二主键；和/或，

第一数据存储模块21还用于：对原始数据添加版本信息；和/或，第二数据存储模块22还用于：对业务数据添加版本信息；其中，版本信息包括数据标识信息和/或时间戳信息。

可选地，第一数据存储模块21还用于：响应业务数据库接收到的业务数据更新请求，将业务数据库接收到的业务更新数据与原始数据进行比较，若原始数据中存在与业务更新数据相同的数据，生成第一结果；此时，第二数据存储模块22还用于：将业务数据库中的待更新数据与原始数据进行比较，若原始数据中存在与待更新数据相同的数据，生成第二结果；以及基于第一结果和第二结果，将业务更新数据更新至业务数据库中。

可选地，第一数据存储模块21还用于：响应业务数据库接收到的业务数据更新请求，将业务数据库接收到的业务更新数据与原始数据进行比较，若原始数据中不存在与业务更新数据相同的数据，获取业务更新数据的来源信息的权重值；若权重值小于预设权重阈值，则将业务更新数据作为异常数据，统一存储层和业务数据库不更新；若权重值大于或者等于预设权重阈值，则将业务更新数据作为增量数据，存储至统一存储层，此时，第二数据存储模块22还用于：响应对增量数据进行分类得到的增量业务数据，将不同的增量业务数据存储至对应的不同的业务数据库中。

可选地，第二数据存储模块22还用于：实时或者以预设时间间隔获取业务数据库中的业务数据；此时，第一数据存储模块21还用于：将业务数据与原始数据进行比较，若原始数据中不存在与业务数据相同的数据，对统一存储层中的当前的原始数据进行分类得到当前的业务数据，并将当前的业务数据存储至对应的业务数据库中。

需要说明的是，图2所示的数据存储装置与本发明中的数据存储方法相对应，对于其的描述均可参照对于本发明中的数据存储方法的描述，此处不再赘述。

本发明实施例的数据存储装置，通过统一存储层增加分类分发机制为业务数据库分发业务数据，并在数据更新过程中增加一级和/或两级确认机制、回退机制，这不仅能够保证存储至统一存储层中的原始数据的唯一性，避免原始数据的重复存储，也能够保证后续存储至业务数据库中的业务数据的唯一性，避免重复存储产生的错误，还保证了前后数据的一致性、准确性及正确性。

示例性电子设备

图3是本发明一示例性实施例提供的电子设备的结构示意图。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。如图3所示，电子设备30包括一个或多个处理器31和存储器32。

处理器31可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器32可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器31可以运行所述程序指令，以实现上文所述的本公开的各个实施例的软件程序的数据存储方法以及/或者其他期望的功能。在一个示例中，电子设备还可以包括：输入装置33和输出装置34，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置33还可以包括例如键盘、鼠标等等。

该输出装置34可以向外部输出各种信息。该输出装置34可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图3中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的数据存储方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的数据存储方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (7)

1.一种数据存储方法，其特征在于，所述方法包括：

获取待存储数据；

设置统一存储层，并将所述待存储数据存储至所述统一存储层中作为原始数据；

响应对所述原始数据进行分类得到的业务数据，将不同的所述业务数据存储至对应的不同的业务数据库中；

响应所述业务数据库接收到的业务数据更新请求，将所述业务数据库接收到的业务更新数据与所述原始数据进行比较，若所述原始数据中存在与所述业务更新数据相同的数据，生成第一结果；

将所述业务数据库中的待更新数据与所述原始数据进行比较，若所述原始数据中存在与所述待更新数据相同的数据，生成第二结果；

基于所述第一结果和所述第二结果，将所述业务更新数据更新至所述业务数据库中；或者，

响应所述业务数据库接收到的业务数据更新请求，将所述业务数据库接收到的业务更新数据与所述原始数据进行比较，若所述原始数据中不存在与所述业务更新数据相同的数据，获取所述业务更新数据的来源信息的权重值；

若所述权重值大于或者等于预设权重阈值，则将所述业务更新数据作为增量数据，存储至所述统一存储层；响应对所述增量数据进行分类得到的增量业务数据，将不同的所述增量业务数据存储至对应的不同的业务数据库中；

若所述权重值小于所述预设权重阈值，则将所述业务更新数据作为异常数据，所述统一存储层和所述业务数据库不更新；

所述方法还包括：

实时或者以预设时间间隔获取所述业务数据库中的业务数据；

将所述业务数据与所述原始数据进行比较，若所述原始数据中不存在与所述业务数据相同的数据，对所述统一存储层中的当前的原始数据进行分类得到当前的业务数据，并将所述当前的业务数据存储至对应的业务数据库中。

2.如权利要求1所述的数据存储方法，其特征在于，所述方法还包括：

响应所述统一存储层接收到的数据更新请求，将所述统一存储层接收到的更新数据与所述原始数据进行比较，若存在不同，则将所述更新数据作为增量数据存储至所述统一存储层中；

响应对所述增量数据进行分类得到的增量业务数据，将不同的所述增量业务数据更新至对应的不同的所述业务数据库中。

3.如权利要求1所述的数据存储方法，其特征在于，所述方法还包括：

响应所述业务数据库接收到的业务数据更新请求，将所述业务数据库接收到的业务更新数据与所述原始数据进行比较，若所述原始数据中存在与所述业务更新数据相同的数据，则将所述业务更新数据更新至所述业务数据库中。

4.如权利要求1所述的数据存储方法，其特征在于，所述方法还包括：根据所述原始数据，设置所述统一存储层中的一个或多个字段作为第一主键，和/或根据所述业务数据，设置所述业务数据库中的一个或多个字段作为第二主键；和/或，

对所述原始数据添加版本信息，和/或对所述业务数据添加版本信息；其中，所述版本信息包括数据标识信息和/或时间戳信息。

5.一种数据存储装置，其特征在于，所述装置包括：

数据获取模块，用于获取待存储数据；

第一数据存储模块，用于设置统一存储层，并将所述待存储数据存储至所述统一存储层中作为原始数据；

第二数据存储模块，用于响应对所述原始数据进行分类得到的业务数据，将不同的所述业务数据存储至对应的不同的业务数据库中；

第一数据存储模块，还用于响应所述业务数据库接收到的业务数据更新请求，将所述业务数据库接收到的业务更新数据与所述原始数据进行比较，若所述原始数据中存在与所述业务更新数据相同的数据，生成第一结果；

第二数据存储模块，还用于将所述业务数据库中的待更新数据与所述原始数据进行比较，若所述原始数据中存在与所述待更新数据相同的数据，生成第二结果；基于所述第一结果和所述第二结果，将所述业务更新数据更新至所述业务数据库中；或者，

第一数据存储模块，还用于响应所述业务数据库接收到的业务数据更新请求，将所述业务数据库接收到的业务更新数据与所述原始数据进行比较，若所述原始数据中不存在与所述业务更新数据相同的数据，获取所述业务更新数据的来源信息的权重值；若所述权重值大于或者等于预设权重阈值，则将所述业务更新数据作为增量数据，存储至所述统一存储层；若所述权重值小于所述预设权重阈值，则将所述业务更新数据作为异常数据，所述统一存储层和所述业务数据库不更新；

第二数据存储模块，还用于响应对所述增量数据进行分类得到的增量业务数据，将不同的所述增量业务数据存储至对应的不同的业务数据库中；

第二数据存储模块，还用于实时或者以预设时间间隔获取所述业务数据库中的业务数据；

第一数据存储模块，还用于将所述业务数据与所述原始数据进行比较，若所述原始数据中不存在与所述业务数据相同的数据，对所述统一存储层中的当前的原始数据进行分类得到当前的业务数据，并将所述当前的业务数据存储至对应的业务数据库中。

6.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述数据存储方法的步骤。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任意一项所述数据存储方法的步骤。