CN116150280B - 一种拟态redis数据库同步方法、系统、设备和存储介质 - Google Patents

Abstract

本发明涉及一种拟态redis数据库同步方法、系统、设备和存储介质，拟态redis数据库包括代理redis服务端和至少三个动态异构的redis服务器，同步方法包括：获取拟态redis数据库中待同步存储数据；将待同步存储数据封装后输入到训练好的机器学习模型中；根据机器学习模型的输出结果对多个redis服务器执行同步操作；机器学习模型的输入为封装好的多个redis服务器的待同步存储数据，机器学习模型的输出为各个redis服务器的数据可靠性。与现有技术相比，本发明通过机器学习进行数据库存储数据的可靠性评估，进而进行拟态redis数据库中的数据同步，提高了系统的主动防御能力。

Description

一种拟态redis数据库同步方法、系统、设备和存储介质

技术领域

本发明涉及内生安全数据库技术领域，尤其是涉及一种拟态redis数据库同步方法、系统、设备和存储介质。

背景技术

近年来一些交换机网络操作系统如SONiC（Software for Open Networking inthe Cloud，云网操作系统）发展迅速，这些网络操作系统一般使用开源的redis数据库作为存储引擎，来实现数据持久化和多进程间的通信。然而如果数据库的安全性不能得以保证，则整个系统面对外部攻击的风险性将大大上升。鉴于被动防御方案的高昂代价，一些系统采用拟态防御的主动防御思想，基于动态冗余异构的架构，通过多个异构redis执行体的动态切换，打造一个动态、非持续的拟态环境，如中国发明专利CN115408371A公开的一种redis数据库动态冗余部署方法和装置。

在这类系统中，动态性使其安全性得以保障，而冗余异构则是动态性的基础。对于若干个异构redis执行体，其输出结果可能因为不可预知的外部攻击而存在差异，对应需要有同步组件及时识别异常表项，使各redis数据库表项保持一致，方能够对整个系统形成有效防护。但是，现有的拟态系统的异构同步组件以多数一致判决方法为主，在实际应用中缺乏动态性，且当执行体由于共性漏洞被同时攻击时，容易得出多数一致的错误判决。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种拟态redis数据库同步方法、系统、设备和存储介质。

根据本发明的第一方面，提供一种拟态redis数据库同步方法，所述拟态redis数据库包括代理redis服务端和至少三个动态异构的redis服务器，所述同步方法包括以下步骤：

获取拟态redis数据库中待同步存储数据；

将所述待同步存储数据封装后输入到训练好的机器学习模型中；

根据所述机器学习模型的输出结果对多个redis服务器的待同步存储数据执行同步操作；

所述机器学习模型的输入包括封装好的多个redis服务器的待同步存储数据，所述机器学习模型的输出为各个redis服务器的数据可靠性。

优选地，所述机器学习模型的训练过程如下：

获取redis服务器之间的相似度矩阵，所述相似度矩阵中记载各个redis服务器之间的相似度；初始化各个redis服务器的置信度；

记录拟态redis数据库受到一次攻击后其中所有redis服务器间不一致的存储数据作为待同步存储数据并进行封装，根据redis服务器的待同步存储数据是否被篡改为每个redis服务器添加可靠性标签，根据redis服务器的待同步存储数据是否被篡改更新每个redis服务器的置信度，将相似度矩阵、各个redis服务器的置信度、封装后的拟态redis数据库中每组待同步存储数据作一个样本，样本的标签为拟态redis数据库中所有redis服务器的可靠性标签的组合；重复此步骤，得到多个样本，多个样本构成数据集；

构建机器学习模型，使用所述数据集训练机器学习模型，得到训练好的机器学习模型。

优选地，所述redis服务器之间的相似度的定义规则如下：

确定redis服务器的基础镜像和运行的redis版本，基础镜像的linux版本越接近则对应的两个redis服务器越相似，redis版本越接近则对应的两个redis服务器越相似。

优选地，两个redis服务器之间的相似度等于二者基础镜像的linux版本的接近程度与二者redis版本的接近程度的加权相加，其中，任意两个基础镜像的linux版本的接近程度以及任意两个redis版本之间的接近程度是预先定义的，基础镜像的linux版本的接近程度与redis版本的接近程度的权重是预先定义的。

优选地，根据redis服务器的存储数据是否被篡改更新每个redis服务器的置信度具体为：

每当某一redis服务器的存储数据被篡改后，该redis服务器的置信度降低。

优选地，所述拟态redis数据库受到的攻击类型包括差模攻击，差模攻击场景下，拟态redis数据库中的一个redis服务器被植入后门。

优选地，所述拟态redis数据库受到的攻击类型包括N-1模攻击，N为拟态redis数据库中redis服务器的数量，N-1模攻击场景下，拟态redis数据库中N-1个redis服务器被植入相同后门。

优选地，对所述待同步存储数据的封装包括以下操作：

若所述待同步存储数据中有键丢失，则恢复丢失的键，并将所述丢失并恢复的键的值填充为无效；

若所述待同步存储数据中有非数值类型的值，则将所述非数值类型的值转换为数值类型；

若所述待同步存储数据中各个值的维度不同，则将所述维度不同的值进行维度统一；

若所述待同步存储数据中各个值的量级不是[0-1]，则将所述量级不是[0-1]的值进行规范化缩放。

优选地，使用主成分分析对高维数据进行降维，使用维度扩充对低维数据进行升维，将所述待同步存储数据中各值统一至同一个维度。

优选地，使用min-max标准化方法将所述待同步存储数据中各值进行规范化缩放为[0-1]。

优选地，将所述待同步存储数据封装后输入到训练好的机器学习模型中具体为：

获取redis服务器之间的相似度矩阵，获取各个redis服务器的置信度，将相似度矩阵、各个redis服务器的置信度、封装后的待同步存储数据输入到训练好的机器学习模型中。

优选地，当满足预设置的触发策略时执行所述拟态redis数据库同步方法。

优选地，所述预设置的触发策略数量至少为1个，满足任一触发策略时执行所述拟态redis数据库同步方法。

优选地，预设置的触发策略为：

将所述拟态redis数据库的全量数据分为多个子单元，分别设置每个子单元的时间周期；

根据所述时间周期主动对各个子单元进行一致性检查，若一个子单元存在数据不一致，则将所述子单元的存储数据作为待同步存储数据，执行所述拟态redis数据库同步方法，否则，等待下一个时间周期。

优选地，预设置的触发策略为：

当所述拟态redis数据库中的数据被请求且发现多个redis服务器中的被读取数据不一致时，将所述拟态redis数据库中被读取的不一致的存储数据作为待同步存储数据；

或，

当所述拟态redis数据库中的数据被请求且发现多个redis服务器中的被读取数据不一致时，对所述拟态redis数据库进行一致性检查，将不一致的存储数据作为待同步存储数据，执行所述拟态redis数据库同步方法。

根据本发明的第二方面，提供一种拟态redis数据库同步系统，所述拟态redis数据库包括代理redis服务端和至少三个动态异构的redis服务器，所述同步系统包括：

数据输入模块，获取拟态redis数据库中待同步存储数据；

数据封装模块，将所述待同步存储数据封装；

模型预测模块，将封装后的待同步存储数据输入到训练好的机器学习模型中，得到所述机器学习模型的输出结果；

数据输出模块，根据所述机器学习模型的输出结果对多个redis服务器的待同步存储数据执行同步操作；

同步管理模块，连接数据输入模块、数据封装模块、模型预测模块和数据输出模块，控制所述数据输入模块、数据封装模块、模型预测模块和数据输出模块运行；

所述机器学习模型的输入包括封装好的多个redis服务器的待同步存储数据，所述机器学习模型的输出为各个redis服务器的数据可靠性。

优选地，还包括模型训练模块，用于对模型预测模块中的机器学习模型进行训练。

根据本发明的第三方面，提供一种电子设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本发明第一方面所述的拟态redis数据库同步方法。

根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明第一方面所述的拟态redis数据库同步方法。

与现有技术相比，本发明具有以下有益效果：

通过机器学习进行数据库存储数据的可靠性评估，进而进行拟态redis数据库中的数据同步，可解决现有拟态系统中异构组件间同步方法存在的可靠性弱、动态性差、抵御未知攻击能力不足的问题，提高了系统的主动防御能力。

附图说明

图1是本发明实施例提供的一种拟态redis数据库同步方法框架及部署示意图；

图2是本发明实施例提供的一种拟态redis数据库同步方法的流程图；

图3是同步管理模块、数据输入模块、数据封装模块、数据输出模块、模型预测模块间的交互示意图；

图4是同步管理模块中维护的周期性同步策略示意图；

图5是本发明实施例提供的一种拟态redis数据库同步方法所应用的电子设备的结构图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例，本发明的保护范围不限于下述的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本说明书提供了如实施例或流程示意图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)或者调整没有时序限制的步骤的执行顺序。

本申请实施例提供一种拟态redis数据库同步方法。其中，如图1所示，拟态redis数据库包括代理redis服务端和至少三个动态异构的redis服务器，每个redis服务器即是一个redis执行体，也可以称为redis数据库或异构redis数据库，每个redis服务器设有对应的交互客户端，代理redis服务端通过交互客户端完成与redis服务器之间的交互。本申请中，拟态redis数据库中的redis服务器均是异构，异构性体现在redis服务器的基础镜像版本不同和redis版本不同，redis服务器中的存储数据在未受攻击时是一致的，且在输入数据相同时具有相同的、正确的数据存储结果。

在应用时，本申请实施例提供的拟态redis数据库同步方法运行在docker容器中，通过拟态redis数据库的代理redis服务端与异构redis数据库进行交互。本实施例中，拟态redis数据库由三个redis数据库服务端进程组成，三个服务端进程运行在不同基础镜像的docker容器中，且执行的redis代码版本也各有不同。异构redis数据库1是基于Debian11版本的基础镜像构建的，运行Redis6.0版本；异构redis数据库2是基于Ubuntu 18.04版本的基础镜像构建的，运行Redis5.0版本；异构redis数据库3是基于Centos7版本的基础镜像构建的，运行Redis3.8版本。在其他实施方式中，根据业务需要，redis服务器的数量、基础镜像和redis版本均可以根据需要进行调整。

参考图2，本申请实施例提供的一种拟态redis数据库同步方法包括以下步骤：

步骤S1、获取拟态redis数据库中待同步存储数据；

当满足预设置的触发策略时执行拟态redis数据库同步方法。当满足触发策略时执行同步方法，并获取待同步存储数据，将拟态redis数据库中的不一致的数据作为存储数据，如果预设置了多个触发策略，则可以规定，当满足任一触发策略时执行拟态redis数据库同步方法。

本申请实施例中，预设置的触发策略主要有两种，1是根据预设置的时间周期主动执行拟态redis数据库同步方法；2是当拟态redis数据库中的数据被请求且发现多个redis服务器中的被读取数据不一致时执行拟态redis数据库同步方法。此外，还可以结合这两种触发策略，或者引入新的触发机制（如判断某些数据被篡改的风险较高），得到新的触发策略。

步骤S2、将待同步存储数据封装后输入到训练好的机器学习模型中；

数据封装的目的是将异构redis服务器中的原始数据进行格式和/或协议封装，使输入的不同类型redis数据对象的数据格式达成统一。对待同步存储数据的封装包括以下操作：

S201、若待同步存储数据中有键丢失，则恢复丢失的键，并将丢失并恢复的键的值填充为无效；

可以预先创建一个维护全量的键信息结构，该结构存储拟态redis数据库中所有的键信息，从而可以判断存储数据中是否有键丢失。在拟态redis数据库被攻击导致源数据中键被删除的场景下，本申请实施例中，对源数据的键进行补全，缺失的键重新添加，并将值赋为“nil”。

S202、若待同步存储数据中有非数值类型的值，则将非数值类型的值转换为数值类型；

本实施例中，将非数值类型的值，如“down”和“up”，“disabled”和“enabled”，“true”和“false”以及“N/A”、“nil”等，使用Python中pandas库的get_dummies（）函数进行哑变量处理，转换为数值类型；

S203、若待同步存储数据中各个值的维度不同，则将维度不同的值进行维度统一；

值出现的维度不统一主要源于不同的数据类型自身维度不同以及使用哑变量处理进行数值类型转换时产生的高维数据，可以使用主成分分析（Principal ComponentAnalysis，PCA）方法对高维数据进行降低维度以保持模型输入数据的维度一致，也可以使用维度扩充方法对低维数据进行升维以保持模型输入数据的维度一致。

主成分分析的原理是设法将原来变量重新组合成一组新的相互无关的几个综合变量，同时根据实际需要从中可以取出几个较少的总和变量尽可能多地反映原来变量的信息，是一种常用的降维方法。

维度扩充方法可以使用重复法，对于一维数据如[1，2]，如果需要扩展为二维数据，则可将其重复一次得到[[1，2]，[1，2]]。

事实上，具体执行时，可以根据待同步存储数据的维度分布，找出出现频率最高的维度，如待同步数据中70%的维度是一维，则可将所有待同步数据的维度均统一至一维。

也可以根据实施例中存储数据的特性，预先设定好一个维度，然后将所有数据均统一至该维度。本实施例中，拟态redis数据库存储的数据类型均是哈希类型，也就是待同步数据的原始维度都是二维。一个哈希类型是一个或多个键值对的集合，如以“PORT_TABLE:Ethernet1”为键的哈希类型下存储着包括[[“speed”，1000]，[“status”，“down”]]在内的多个键值对。所以只需要将那些使用哑变量处理进行类型转换时产生的高维数据降低至二维就可以完成维度统一。

S204、若待同步存储数据中各个值的量级不是[0-1]，则将量级不是[0-1]的值进行规范化缩放。

本实施例中，对于存在量级差异较大的原始数据，进行标准化处理，以免其扩大数据间的特征差异，进一步影响最终的模型预测结果。具体的，使用min-max标准化方法，根据原始数据的最大值和最小值区间将原始数据转换到[0，1]范围内。

其中，机器学习模型的输入包括封装好的多个redis服务器的待同步存储数据，机器学习模型的输出为各个redis服务器的数据可靠性。机器学习模型的训练过程如下：

步骤（1）、制作数据集，基本思路是制作拟态redis数据库基础模型和拟态redis数据库受攻击模型。

步骤（1.1）、本实施例中，拟态redis数据库的基础模型包括不同异构redis服务器间的相似度矩阵和各redis服务器的置信度。其中，相似度矩阵中记载各个redis服务器之间的相似度，不同redis服务器间的相似度矩阵表征某一redis服务器与其他redis服务器的相似程度，由redis服务器的基础镜像和运行的redis版本定义，在拟态redis数据库同步方法运行过程中保持不变，定义原则为基础镜像的linux版本越接近则对应的两个异构redis数据库越相似，redis版本越接近则对应的两个异构redis数据库越相似。事实上，考虑到相邻版本之间的差异性较小，可以直接利用版本相隔的代数评估相似性，然而，考虑到版本更新并不是均匀变化内容的，版本号接近的版本之间也可能存在较大差异，通过版本号确定版本的相似性不够准确，故而，可以预先获取现行的基础镜像版本和redis版本，事先根据版本内容定义好任意两个基础镜像的linux版本的接近程度以及任意两个redis版本之间的接近程度，而具体取值可以根据实际需要确定。本实施例中，定义两个redis服务器之间的相似度等于二者基础镜像的linux版本的接近程度与二者redis版本的接近程度的加权相加。根据实际经验，基础镜像作为异构redis服务器的运行环境，起到了安全防护外壳的作用，不同的基础镜像其所面临安全威胁的差异性要远大于不同redis版本所面临安全威胁的差异性。异构redis服务器之间，如果基础镜像版本差异较大，即使redis版本较为接近，二者的差异也较大，因此，基础镜像版本接近程度的权重大于redis版本接近程度的权重，具体取值可根据需要定义。在不同的实施方式中，各redis服务器版本异构的表现形式可能不同。本实施例中使用基于C语言编程实现的redis服务器的不同公开发行版本体现redis服务器间异构性，其他实施例中，可以使用不同编程语言实现的redis服务器版本来体现redis服务器间异构性，或者，使用自主研发的类redis服务器来增加异构性，这些异构形式会使各redis服务器间的差异性更大，在进行相似度计算时redis版本接近程度的权重也应增加。

各redis服务器的置信度表征该redis服务器的可信程度，在初始化阶段对进行redis服务器的置信度初始化赋值，可以将各异构的置信度的初始置信度赋值一致，也可以根据经验评估其可靠性，为其赋予不同的置信度。本实施例中，每当某一redis服务器因数据不一致被执行数据同步操作时，则对该redis服务器的置信度进行下调，每次下调的幅度相同。在其他实施方式中，也可以采取其他手段，如某次攻击中，未因数据不一致被执行数据同步操作的redis服务器的置信度可以上调；或者，采取不均匀的下调幅度，每次更新置信度时，统计各个redis服务器上次被执行数据同步操作与当前的时间间隔，根据时间间隔的长短确定下调幅度的大小。此外，为了保证拟态redis数据库的安全性和可靠性，可以会检查redis服务器的置信度，若redis服务器的置信度低于预设置的安全阈值，则可以下线该redis服务器，重新搭建新的redis服务器。

步骤（1.2）、拟态redis数据库受攻击模型需要人工制作。将一台运行SONiC操作系统的交换机设备的拟态redis数据库中数据导出，将其作为各redis服务器未被攻击的初始数据。模拟拟态redis数据库受到攻击的场景，攻击会对各redis服务器中的键值进行修改或删除。

拟态redis数据库受到的攻击类型包括差模攻击，差模攻击场景下，拟态redis数据库中的一个redis服务器被植入后门。可以理解的是，每次差模攻击可能会为不同redis服务器植入不同后门，理论上，植入不同后门后，不同redis服务器在输入数据相同时存储结果不同，且与正确数据不同。如三个异构redis服务器中某条数据在未收到攻击前均为[“mtu”，1500]，在其中2个redis服务器受到差模攻击时，受攻击的redis服务器中对应数据分别被修改为[“mtu”，65535]和[“mtu”，-1]，另一未被攻击的redis服务器中存储数据仍为[“mtu”，1500]。

拟态redis数据库受到的攻击类型包括N-1模攻击，N为拟态redis数据库中redis服务器的数量，N-1模攻击场景下，拟态redis数据库中N-1个redis服务器被植入相同后门，在三个异构redis服务器的情况下，所谓N-1模即为2模攻击，使拟态redis数据库中的2个redis服务器被植入相同后门，导致其在输入数据相同时具有相同的数据存储结果，且与正确的数据不同。如三个异构redis服务器中某条数据在未收到攻击前均为[“mtu”，1500]，在其中2个redis服务器受到N-1攻击时，受攻击的redis服务器中对应数据均被修改为[“mtu”，65535]，另一未被攻击的redis服务器中存储数据仍为[“mtu”，1500]。

具体的，在差模攻击场景下，针对各redis服务器的攻击具有随机性；在N-1模攻击场景下，相似度高的redis服务器有更高概率受到相同类型的攻击。每当某一redis服务器被攻击时，人工下调该redis服务器的置信度。

重复多次攻击，以确保得到足够多的数据样本组成数据集。

在制作数据集时，攻击类型是人为确定的，也可以根据导出的初始数据判断哪个redis服务器的数据被篡改，因此，可以确定每次攻击后各个redis服务器的可靠性标签，可靠性标签表征该redis服务器的数据是否被篡改。

制作数据集时，同样初始化各个redis服务器的置信度，并在每次攻击后根据结果更新redis服务器的置信度，每当某一redis服务器因数据不一致被执行数据同步操作时，则对该redis服务器的置信度进行下调。

步骤（1.3）、对拟态redis数据库基础模型和拟态redis数据库受攻击模型进行处理和整合。

一方面，每次攻击后，导出拟态redis数据库中待同步存储数据，并进行封装，封装操作见上文步骤S2，不再赘述；另一方面，将相似度矩阵、各个redis服务器的置信度、封装后的拟态redis数据库中每组待同步存储数据作一个样本，样本的标签为拟态redis数据库中所有redis服务器的可靠性标签的组合。将从而最终得到多个样本构成的数据集。

本申请实施例中，样本中不仅包含待同步存储数据，还加入了相似度矩阵和各个redis服务器的置信度，主要是考虑到各redis服务器间的相似度矩阵和各redis服务器的置信度可以为机器学习模型提供更多有效的特征。

各redis服务器间的相似度矩阵表征了各redis服务期间的关联，在相似度矩阵被正确定义的前提下，相似度更高的两个redis服务器，其在运行环境、实现手段、部署形态等各方面存在着更多的相似，也就意味着其受到同种攻击后产生相同错误的可能性更高，如果不将相似度矩阵作为样本的一部分，在面临N-1模攻击时，机器学习模型很有可能被出现相同错误的两个redis服务器间的数据一致性所迷惑，反之，加入相似度矩阵，可以使得机器学习模型更有效地甄别出N-1模攻击。

与此同时，置信度则作为各redis服务器的另一特征被包含在样本中，当一个redis服务器因被视作近期受到攻击而被执行同步操作时，由于并未对其做出其他防护举措，根据局部性原则，在未来不久的一段时间内，其被再次攻击遭受数据篡改的风险是超出其他redis服务器的，所以在下次执行同步方法之前，应有一个用于表征其近期受攻击情况的输入特征被进行相应调整，便于下次执行同步方法时，能够更为准确地得出各redis服务器的可靠性标签。

因为输入样本中同时包含了待同步存储数据、各redis服务器相似度矩阵、各redis服务器置信度，相较于传统的大数表决同步方法、 基于异构度的同步方法和基于历史可信度的同步方法，本申请结合了面向拟态redis数据库不同特征方法的优点，提高了准确性。

步骤（2）、构建机器学习模型，使用数据集训练机器学习模型，得到训练好的机器学习模型。

事实上，本申请的技术方案中，可以使用现有的多种机器学习模型架构，根本的，本技术方案中所面临的是一个分类问题，只要选取适用于分类问题的机器学习模型架构即可，如逻辑回归，随机森林，支持向量机，朴素贝叶斯，神经网络等。由于采用了机器学习方法作为对redis服务器可靠性的判决手段，相比较于其他方案，本技术方案具备更好的动态性和不可知性，为系统带来更高的拟态效果。

本实施例中机器学习模型训练采用离线训练的方式，通过构建好的样本预先对机器学习模型进行训练，而后在线利用训练好的模型进行预测。

关于机器学习模型的调参、迭代训练、评估等，本领域技术人员可以采取现有技术中任一方法进行，在此不再一一赘述。

将待同步存储数据封装后输入到训练好的机器学习模型中具体为：

获取redis服务器之间的相似度矩阵，获取各个redis服务器的置信度，将相似度矩阵、各个redis服务器的置信度、封装后的待同步存储数据输入到训练好的机器学习模型中。

步骤S3、根据机器学习模型的输出结果对多个redis服务器执行同步操作；

机器学习模型会输出各个redis服务器的可靠性，认为可靠性最高的redis服务器的数据是可信的，然后以它为依据同步其他redis服务器，更新所有redis服务器的置信度。当然，还可以设置一个基础阈值，当可靠性最高的redis服务器的可靠性大于基础阈值时，才认为它的数据是可信的，以它为依据同步其他redis服务器，更新所有redis服务器的置信度，否则，触发警告，由人工进行干预。

本发明还提供一种拟态redis数据库同步系统，如图1、图3所示，同步系统作为一个独立的组件与拟态redis数据库并行运行，实现上述的实现同步方法，包括多个功能模块，如下：

数据输入模块，获取拟态redis数据库中待同步存储数据；

数据封装模块，将待同步存储数据封装；

模型预测模块，将封装后的待同步存储数据输入到训练好的机器学习模型中，得到机器学习模型的输出结果；

数据输出模块，根据机器学习模型的输出结果对多个redis服务器执行同步操作；

同步管理模块，连接数据输入模块、数据封装模块、模型预测模块和数据输出模块，控制数据输入模块、数据封装模块、模型预测模块和数据输出模块运行；

模型训练模块，用于对模型预测模块中的机器学习模型进行训练。

拟态redis数据库同步系统的数据输入模块、数据封装模块、模型预测模块、数据输出模块和同步管理模块运行在拟态redis数据库同步容器中，其中同步管理模块用于管理整个同步过程；数据输入模块用于在触发同步操作时输入redis服务器中的数据信息；数据封装模块用于将redis服务器中的原始数据进行格式和/或协议封装，使输入的不同类型redis数据对象的数据格式达成统一；模型预测模块通过机器学习算法将输入的redis服务器数据进行预测，得出同步结果；数据输出模块根据模型预测模块得到的同步结果输出执行同步动作。除了上述五个运行在拟态redis数据库同步容器中的模块外，模型训练模块用于对模型预测模块中运行的机器学习模型进行训练，该过程在拟态redis数据库运行前执行，且为保证模型训练模块的性能，其不部署在拟态redis数据库同步容器中。

机器学习模型完成训练后，部署在模型预测模块。具体的，本实施例中的拟态redis同步方法部署在docker容器中，容器镜像通过Dockerfile进行构建，实现同步方法的同步系统中，各模块采用Python编码，整个容器作为一个功能组件集成在SONiC系统中。docker容器中通过supervisord对运行的五个进程进行管理，各进程中分别运行同步管理模块，模型训练模块、数据输入模块，数据封装模块以及数据输出模块的业务程序。

如图3，拟态redis数据库同步容器中的各个进程间，以及数据请求模块、数据输出模块与拟态redis数据库的通信，均使用UNIX domain socket来进行实现。

同步系统作为一个独立的组件与拟态redis数据库并行运行，根据上文记载，本申请实施例中预设置了两种触发策略：

1、根据预设置的时间周期主动执行拟态redis数据库同步方法，此策略下，可以主动地周期性触发同步方法，便于及时地发现redis服务器不一致的情况并进行同步。为了防止单次同步全量的数据对系统性能产生影响，每次触发周期性同步时仅检查并同步一部分数据，并更新对应数据的最近同步时间戳和下次同步时间，通过多次周期性同步完成对拟态redis数据库全量数据的同步，避免同步压力过大。

可以事先将拟态redis数据库的全量数据分为多个子单元，分别设置每个子单元的时间周期，每个子单元的时间周期可以相同也可以不同，为了错峰，可以将各个子单元的起始同步时间错开或者时间周期设置为不同长度；

本申请实施例中，同步管理模块维护全量的键信息结构，该结构存储拟态redis数据库中所有的键信息，将每个键作为一个子单元。本实施例中，设定每10分钟进行一次周期性同步，即每个子单元的时间周期都是10分钟。

如图4所示，具体的，根据拟态redis数据库的数据量的大小，定义一个pos[64]的数组，数组中的每个元素与时间相对应，每个元素中存储该时间点需要被同步的键对象，每两个元素间隔定义为一个时间粒度，本实施例中定义为1min，同时维护一个curpos变量，用于指示当前的时间。由于单位时间粒度会存在多个键需要进行同步操作，所以pos数组中的每个元素均是链表结构，链表的每个元素对应一个待同步的键对象，图4中key代表键，key0、key1、key2…表示键的名称。

具体的，当curpos指向pos[0]时，SONiC业务模块向拟态redis数据库中添加了key0，同步管理模块获取到key0被添加到拟态redis数据库，设定key0应于10分钟后进行第一次周期性同步，则将其信息存储在pos[10]下。在同一分钟内，业务模块又向拟态redis数据库中添加了key1，同步管理模块将key1的信息同样存储到pos[10]下。之后每经过一分钟，curpos指向的位置都前移一个元素。2分钟后，curpos指向pos[2]，此时业务模块向拟态redis数据库中添加key2，key3，key4，同步管理模块将key2，key3，key4的信息存储到pos[12]下。8分钟后curpos指向pos[10]，此时pos[10]下存储了key0和key1的键信息，触发周期性同步策略，先检查拟态redis数据库的多个redis服务器中key0和key1的值是否存在不一致，若存在，则将不一致数据作为待同步存储数据，通过本申请提供的同步方法对key0和key1的值进行同步，同步完成后，将其从pos[10]中删除，添加到pos[20]下，等待下一次同步周期到达。随着时间推移，当curpos指向pos数组尾部时，下一时间粒度到达时会发生翻转重新指向pos数组头部。

2、当拟态redis数据库中的数据被请求且发现多个redis服务器中的被读取数据不一致时执行拟态redis数据库同步方法，此策略下，由SONiC业务模块的行为触发同步方法，发生在业务模块容器作为redis客户端进行数据读取时。此时如果拟态redis数据库中各redis服务器中被读取数据不一致，则说明拟态redis数据库受到了外部的攻击，需要同步方法进行同步，将拟态redis数据库中的数据恢复成一致的状态。

具体的，拟态redis数据库中包含了多个redis服务器，每个redis服务器在不被攻击的情况下存储相同的数据，每个redis服务器实际又由多个子redis数据库组成，如本实施例中，拟态redis数据库包含3个异构redis服务器，每个redis服务器都包含16个子redis数据库（也可以理解为16个数据分组）。

当多个redis服务器中的被读取数据不一致时，可以将被读取的不一致的数据作为待同步存储数据，如读取键“length”的值时，3个redis服务器分别返回[“length”，10]、[“length”，12]和[“length”，12]，键“length”存储在三个redis服务器的子数据库1中，则可以将3个redis服务器的键“length”作为待同步存储数据进行封装，并送入训练好的机器学习模型，以预测各个redis服务器的可靠性，进而将数据恢复为一致。

事实上，当某次数据请求出现各redis服务器中数据不一致现象时，有极大概率已经有多条数据被攻击篡改，因此除了对被读取数据执行同步方法外，也应对其他存储数据进行一致性检查，以期尽早完成对拟态redis数据库中潜在的数据不一致问题的修复。

鉴于一次性对拟态redis数据库全量数据（即所有redis服务器中所有存储数据）统一进行检查和同步会带来一定的性能压力，可以只对已发现不一致存储数据所在的子数据库中的其他数据（即三个redis服务器的子数据库1中的其他数据）进行一致性检查和同步操作，如发现存在不一致时，就将不一致的数据进行封装、送入训练好的机器学习模型并将数据恢复为一致。当然，如果redis服务器中总的数据量规模有限，也可以选择一次性将所有存储数据（即所有redis服务器中所有存储数据）都进行检查和同步。

此外，也可以将触发策略二结合触发策略一，即触发策略一和触发策略二均运行，满足任一触发策略即进行同步。依据触发策略一，拟态redis数据库的全量数据分为多个子单元（可以将每个键作为一个子单元），以10分钟为周期完成一轮同步，同时，若被读取数据存在不一致，则直接将其封装并进行数据同步，当触发策略二对待同步数据执行同步方法时，也应同步更新其在触发策略一中的下一次待同步时间，以避免短时间内的多次同步。此外，可以将已发现不一致存储数据的下一次计划同步时间作为参照点，如该数据在此次被读取前原计划应于6分钟之后进行一次主动同步，则可以推断原计划应于未来6分钟至10分钟同步的数据更大概率已被篡改，因此对这一部分数据优先执行同步方法。

本实施例中，同步方法的两种触发策略是同时配置的，只要其中一种策略满足了触发条件，就会对待同步数据进行同步。由于采取了多种触发策略相结合的方式，提高了拟态redis数据库面临未知风险时的主动防御能力。

对于同步系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可，为描述的方便和简洁，在此不再赘述。以上所描述的同步系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。

本发明还提供一种电子设备，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行可执行代码时，用于实现上述实施例中的拟态redis数据库同步方法。

本发明拟态redis数据库同步方法、系统的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明拟态redis数据库智能同步装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

本发明还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的拟态redis数据库同步方法。

计算机可读存储介质可以是任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序以及任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change RAM，PRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存取存储器(DynamicRandom Access Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-OnlyMemory，CD-ROM)、数字多功能光盘(Digital Versatile Disk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (19)

1.一种拟态redis数据库同步方法，其特征在于，所述拟态redis数据库包括代理redis服务端和至少三个动态异构的redis服务器，所述同步方法包括以下步骤：

获取拟态redis数据库中待同步存储数据；

将所述待同步存储数据封装后输入到训练好的机器学习模型中；

根据所述机器学习模型的输出结果对多个redis服务器的待同步存储数据执行同步操作；

所述机器学习模型的输入包括封装好的多个redis服务器的待同步存储数据，所述机器学习模型的输出为各个redis服务器的数据可靠性。

2.根据权利要求1所述的一种拟态redis数据库同步方法，其特征在于，所述机器学习模型的训练过程如下：

获取redis服务器之间的相似度矩阵，所述相似度矩阵中记载各个redis服务器之间的相似度；初始化各个redis服务器的置信度；

记录拟态redis数据库受到一次攻击后其中所有redis服务器间不一致的存储数据作为待同步存储数据并进行封装，根据redis服务器的待同步存储数据是否被篡改为每个redis服务器添加可靠性标签，根据redis服务器的待同步存储数据是否被篡改更新每个redis服务器的置信度，将相似度矩阵、各个redis服务器的置信度、封装后的拟态redis数据库中每组待同步存储数据作一个样本，样本的标签为拟态redis数据库中所有redis服务器的可靠性标签的组合；重复此步骤，得到多个样本，多个样本构成数据集；

构建机器学习模型，使用所述数据集训练机器学习模型，得到训练好的机器学习模型。

3.根据权利要求2所述的一种拟态redis数据库同步方法，其特征在于，所述redis服务器之间的相似度的定义规则如下：

确定redis服务器的基础镜像和运行的redis版本，基础镜像的linux版本越接近则对应的两个redis服务器越相似，redis版本越接近则对应的两个redis服务器越相似。

4.根据权利要求3所述的一种拟态redis数据库同步方法，其特征在于，两个redis服务器之间的相似度等于二者基础镜像的linux版本的接近程度与二者redis版本的接近程度的加权相加，其中，任意两个基础镜像的linux版本的接近程度以及任意两个redis版本之间的接近程度是预先定义的，基础镜像的linux版本的接近程度与redis版本的接近程度的权重是预先定义的。

5.根据权利要求2所述的一种拟态redis数据库同步方法，其特征在于，根据redis服务器的存储数据是否被篡改更新每个redis服务器的置信度具体为：

每当某一redis服务器的存储数据被篡改后，该redis服务器的置信度降低。

6.根据权利要求2所述的一种拟态redis数据库同步方法，其特征在于，所述拟态redis数据库受到的攻击类型包括差模攻击，差模攻击场景下，拟态redis数据库中的一个redis服务器被植入后门。

7.根据权利要求2所述的一种拟态redis数据库同步方法，其特征在于，所述拟态redis数据库受到的攻击类型包括N-1模攻击，N为拟态redis数据库中redis服务器的数量，N-1模攻击场景下，拟态redis数据库中N-1个redis服务器被植入相同后门。

8.根据权利要求1或2所述的一种拟态redis数据库同步方法，其特征在于，对所述待同步存储数据的封装包括以下操作：

若所述待同步存储数据中有键丢失，则恢复丢失的键，并将所述丢失并恢复的键的值填充为无效；

若所述待同步存储数据中有非数值类型的值，则将所述非数值类型的值转换为数值类型；

若所述待同步存储数据中各个值的维度不同，则将所述维度不同的值进行维度统一；

若所述待同步存储数据中各个值的量级不是[0-1]，则将所述量级不是[0-1]的值进行规范化缩放。

9.根据权利要求8所述的一种拟态redis数据库同步方法，其特征在于，使用主成分分析对高维数据进行降维，使用维度扩充对低维数据进行升维，将所述待同步存储数据中各值统一至同一个维度。

10.根据权利要求8所述的一种拟态redis数据库同步方法，其特征在于，使用min-max标准化方法将所述待同步存储数据中各值进行规范化缩放为[0-1]。

11.根据权利要求2所述的一种拟态redis数据库同步方法，其特征在于，将所述待同步存储数据封装后输入到训练好的机器学习模型中具体为：

获取redis服务器之间的相似度矩阵，获取各个redis服务器的置信度，将相似度矩阵、各个redis服务器的置信度、封装后的待同步存储数据输入到训练好的机器学习模型中。

12.根据权利要求1所述的一种拟态redis数据库同步方法，其特征在于，当满足预设置的触发策略时执行所述拟态redis数据库同步方法。

13.根据权利要求12所述的一种拟态redis数据库同步方法，其特征在于，所述预设置的触发策略数量至少为1个，满足任一触发策略时执行所述拟态redis数据库同步方法。

14.根据权利要求12所述的一种拟态redis数据库同步方法，其特征在于，预设置的触发策略为：

将所述拟态redis数据库的全量数据分为多个子单元，分别设置每个子单元的时间周期；

根据所述时间周期主动对各个子单元进行一致性检查，若一个子单元存在数据不一致，则将所述子单元的存储数据作为待同步存储数据，执行所述拟态redis数据库同步方法，否则，等待下一个时间周期。

15.根据权利要求12所述的一种拟态redis数据库同步方法，其特征在于，预设置的触发策略为：

当所述拟态redis数据库中的数据被请求且发现多个redis服务器中的被读取数据不一致时，将所述拟态redis数据库中被读取的不一致的存储数据作为待同步存储数据；

或，

当所述拟态redis数据库中的数据被请求且发现多个redis服务器中的被读取数据不一致时，对所述拟态redis数据库进行一致性检查，将不一致的存储数据作为待同步存储数据，执行所述拟态redis数据库同步方法。

16.一种拟态redis数据库同步系统，其特征在于，所述拟态redis数据库包括代理redis服务端和至少三个动态异构的redis服务器，所述同步系统包括：

数据输入模块，获取拟态redis数据库中待同步存储数据；

数据封装模块，将所述待同步存储数据封装；

模型预测模块，将封装后的待同步存储数据输入到训练好的机器学习模型中，得到所述机器学习模型的输出结果；

数据输出模块，根据所述机器学习模型的输出结果对多个redis服务器的待同步存储数据执行同步操作；

同步管理模块，连接数据输入模块、数据封装模块、模型预测模块和数据输出模块，控制所述数据输入模块、数据封装模块、模型预测模块和数据输出模块运行；

所述机器学习模型的输入包括封装好的多个redis服务器的待同步存储数据，所述机器学习模型的输出为各个redis服务器的数据可靠性。

17.根据权利要求16所述的一种拟态redis数据库同步系统，其特征在于，还包括模型训练模块，用于对模型预测模块中的机器学习模型进行训练。

18.一种电子设备，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现如权利要求1-15中任一项所述的拟态redis数据库同步方法。

19.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-15中任一项所述的拟态redis数据库同步方法。

Images