CN114780940B - 跨系统数据共享交互的项目运行监控及预警方法、系统 - Google Patents

Abstract

本发明属于项目运行监控及预警领域，具体涉及了一种基于跨系统数据共享交互的项目运行监控及预警方法、系统，旨在解决现有项目运行监控和预警中信息的安全性、及时性和可靠性无法保证，信息处理效率低，从而无法准确实现项目运行监控和预警的问题。本发明包括：对监控端的用户进行多模态身份识别；对识别验证通过的用户发送权限账户，并调取待监控及预警项目的历史数据和实时数据；通过历史数据进行类脑语义层次的时序记忆推理模型的训练，并基于实时数据推理获得项目的实时监控及预测结果。本发明项目监控和预警中数据安全性、及时性和可控性高，信息处理效率高，监控和预警结果准确。

Description

跨系统数据共享交互的项目运行监控及预警方法、系统

技术领域

本发明属于项目运行监控及预警领域，具体涉及了一种基于跨系统数据共享交互的项目运行监控及预警方法、系统。

背景技术

项目运行中，涉及到项目运行的状态，项目运行的节点完成度、完成质量，各部门的协同处理以及各种突发事件的处理等等，需要对项目运行过程进行监控，并在可能出现异常情况时，及时预警，这就需要进行项目管理。

项目管理指在项目活动中运用专门的知识、技能、工具和方法，使项目能够在有限资源限定条件下，实现或超过设定的需求和期望的过程。项目管理是对一些与成功地达成一系列目标相关的活动(譬如任务)的整体监测和管控。这包括策划、进度计划和维护组成项目的活动的进展。

现有项目管理中，由于项目现场人员人员素质和安全意识参差不齐，以及项目的非电子化管理手段，在项目管理过程中难免出现各种问题。例如在项目管理过程中，由于主要通过纸质签单、现场检查以及各种例会来进行项目管理，总体来说管理效率低下，信息传递存在延迟或遗漏，信息的安全性也很难得到保障，此外信息数据中存在大量人为因素的干扰，对项目管理影响极大。

因而，如何安全、及时、可靠地获取项目运行的海量数据，在海量数据中进行有效筛选、分析，准确监控项目运行状态，并对可能存在的风险或异常进行预警，已成为本领域急需解决的问题。

发明内容

为了解决现有技术中的上述问题，即现有项目运行监控和预警中信息的安全性、及时性和可靠性无法保证，信息处理效率低，从而无法准确实现项目运行监控和预警的问题，本发明提供了一种基于跨系统数据共享交互的项目运行监控及预警方法，该方法包括：

监控端获取用户的多模态身份识别数据；所述多模态身份识别数据包括用户的人脸视频数据、语音数据和文本数据；

通过多模态身份识别模型进行监控端用户身份识别，获得监控端用户识别的视频语音识别结果和文本识别结果，并进行身份验证；

若身份验证通过，监控端获得相应的权限账户，并通过所述权限账户调取待监控及预警项目的历史数据和实时数据；所述历史数据存储于系统平台的多个区块链中；

构建类脑语义层次的时序记忆推理模型，并基于待监控及预警项目的历史数据进行模型训练，通过训练好的模型进行实时数据推理，获得项目的实时监控及预测结果。

在一些优选的实施例中所述预设的身份识别方法为：

基于监控端获取的用户的多模态身份识别数据，通过多模态身份识别模型进行监控端用户身份识别，获得监控端用户识别的视频语音识别结果和文本识别结果：

若视频语音识别结果和文本识别结果的置信度值均高于设定阈值，则验证通过，返回身份验证成功信息；

若视频语音识别结果和文本识别结果的置信度值均低于设定阈值，则验证不通过，返回身份验证失败信息；

否则，重新发起置信度值均低于设定阈值的模态数据的采集与识别流程，当重新发起采集与识别流程的次数大于预设值时，验证不通过，返回身份验证失败信息。

在一些优选的实施例中，所述多模态身份识别模型包括视频识别模型、语音识别模型、视频语音匹配模型和文本识别模型；

所述视频语音匹配模型，用于识别当前视频语音数据的来源是否为同一用户，其匹配方法为：

步骤A10，获取监控端采集的用户视频语音数据，并将所述视频语音数据中的语音数据根据视频时间戳划分为对应的语音片断；

步骤A20，通过预定义的口部关键点模板对所述视频语音数据的每一帧进行口型关键点检测，并基于每一帧的口型关键点生成动态口型；

分别计算每个语音片断的MFCC系数，并基于所述MFCC系数结合对应视频的时间戳、动态口型的关键点位置，生成语音数据的语音口型；

步骤A30，计算每一帧视频语音数据的动态口型和语音口型之间的相似度，若相似度大于预设阈值的视频语音数据的帧数在整个视频语音数据的帧数的占比大于预设比值，则当前视频语音数据的来源为同一用户。

在一些优选的实施例中，所述口型关键点包括1个左嘴角点、1个右嘴角点、2个上唇边点、2个下唇边点。

在一些优选的实施例中，所述视频语音数据的动态口型和语音口型之间匹配，还可以通过关键点曲线比对方法进行匹配：

分别提取每一帧对应的动态口型和语音口型的每一个关键点；

以每一帧的帧数作为时间线，分别拟合每个关键点对应的动态口型曲线和语音口型曲线；

针对任一关键点，对比其拟合的动态口型曲线和语音口型曲线，若拟合曲线的重合度大于设定值，则当前关键点比对通过；

遍历每一个关键点，若所有关键点均比对通过，则当前视频语音数据的来源为同一用户。

在一些优选的实施例中，针对关键点中的任一个，所述拟合曲线的重合度，其获取方法为：

分别通过关键点曲线匹配模型，在动态口型的关键点曲线和语音口型的关键点曲线的区域内求解Helmholte方程的本征值，并分别构建曲线描述子；

通过加权欧式距离对曲线描述子进行差异性度量；

若差异性度量值低于设定的阈值，则判定当前关键点的拟合曲线的重合度满足条件，当前关键点比对通过。

在一些优选的实施例中，所述差异性度量，其表示为：

其中，

代表差异性度量值，

，

为动 态口型的关键点曲线的曲线描述子的第

个分量，

为语音口型的关键点曲线的曲线 描述子的第

个分量，

为表示曲线描述子的第

个分量和第

个分量的权重比例，

为 曲线描述子的分量的数量。

在一些优选的实施例中，所述关键点曲线匹配模型，其训练方法为：

步骤B10，获取多个用户对应的视频语音数据作为训练数据集，并为所述训练数据集中每一个训练数据设定软标签；

步骤B20，对于任一训练数据，分别通过关键点曲线匹配模型在动态口型的关键点曲线和语音口型的关键点曲线的区域内求解Helmholte方程的本征值，分别构建曲线描述子；

步骤B30，通过加权欧式距离对曲线描述子进行差异性度量，获得差异性度量值；

步骤B40，计算所述差异性度量值与训练数据对应的软标签之间的概率分布损失；

步骤B50，以概率分布损失值下降方向进行网络参数调整并迭代训练，直至达到设定的训练结束条件，获得训练好的关键点曲线匹配模型。

在一些优选的实施例中，所述软标签为：

将视频语音来自同一用户的训练数据标签记为标签1，将视频语音来自不同用户且视频口型与语音明显不对应的训练数据标签记为标签0，其余训练数据通过步骤A10-步骤A20方法处理后，计算每一帧视频语音数据的动态口型和语音口型之间的相似度，并将相似度值归一化到0-1之间，所述标签1、所述标签0和归一化到0-1之间的相似度值作为训练数据的软标签。

在一些优选的实施例中，所述概率分布损失，其表示为：

其中，

代表模型输出与训练样本软标签之间的损失函数，

为当前训练批次中 训练数据的数量，

为当前训练批次的训练数据的样本软标签的概率分布，

为当 前训练批次的训练数据的模型输出的差异性度量值的概率分布。

在一些优选的实施例中，所述率分布损失值下降的梯度函数，其表示为：

其中，

为概率分布损失值下降的梯度函数，

为当前 参数

下的模型输出的差异性度量值的概率分布

与训练样本软标签的概率分布

之间的损失值，

为预先设定的梯度下降加速函数，

为梯度下降加速因子。

本发明的有益效果：

（1）本发明基于跨系统数据共享交互的项目运行监控及预警方法，只有通过身份验证的用户，才能在获取的权限账户的基础上，调用待监控及预警项目的历史数据和实时数据，有效保障了账户的安全，从而避免项目信息外泄带来的数据安全问题。

（2）本发明基于跨系统数据共享交互的项目运行监控及预警方法，将项目的历史数据存储在系统平台的多个区块链中，以其中一条区块链作为主区块链，其他的区块链作为副区块链，主副区块链只有进行了预设次数的上链行为，并形成区块后，才会进行数据交互和数据同步，有效提升了数据的安全性、可靠性。

（3）本发明基于跨系统数据共享交互的项目运行监控及预警方法，在监控端进行用户身份确认时，首先进行用户视频口型和语音口型的匹配，口型匹配主要用于识别当前视频语音数据的来源是否为同一用户，只有其来源为同一用户，才进一步进行视频身份识别、语音身份识别和文本身份识别，通过双重的身份识别，有效确保用户身份的可靠，进一步避免了数据泄露的可能性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于跨系统数据共享交互的项目运行监控及预警方法的流程示意图；

图2是用于实现本申请方法、系统、设备实施例的服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明的一种基于跨系统数据共享交互的项目运行监控及预警方法，该方法包括：

监控端获取用户的多模态身份识别数据；所述多模态身份识别数据包括用户的人脸视频数据、语音数据和文本数据；

通过多模态身份识别模型进行监控端用户身份识别，获得监控端用户识别的视频语音识别结果和文本识别结果，并进行身份验证；

若身份验证通过，监控端获得相应的权限账户，并通过所述权限账户调取待监控及预警项目的历史数据和实时数据；所述历史数据存储于系统平台的多个区块链中；

构建类脑语义层次的时序记忆推理模型，并基于待监控及预警项目的历史数据进行模型训练，通过训练好的模型进行实时数据推理，获得项目的实时监控及预测结果。

为了更清晰地对本发明基于跨系统数据共享交互的项目运行监控及预警方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。

本发明第一实施例的基于跨系统数据共享交互的项目运行监控及预警方法，包括步骤S10-步骤S40，各步骤详细描述如下：

步骤S10，监控端获取用户的多模态身份识别数据；所述多模态身份识别数据包括用户的人脸视频数据、语音数据和文本数据。

步骤S20，通过预设的身份识别方法进行监控端用户身份识别，获得监控端用户识别的视频语音识别结果和文本识别结果，并进行身份验证。

预设的身份识别方法为：

基于监控端获取的用户的多模态身份识别数据，通过多模态身份识别模型进行监控端用户身份识别，获得监控端用户识别的视频语音识别结果和文本识别结果：

若视频语音识别结果和文本识别结果的置信度值均高于设定阈值，则验证通过，返回身份验证成功信息；

若视频语音识别结果和文本识别结果的置信度值均低于设定阈值，则验证不通过，返回身份验证失败信息；

否则，重新发起置信度值均低于设定阈值的模态数据的采集与识别流程，当重新发起采集与识别流程的次数大于预设值时，验证不通过，返回身份验证失败信息。

所述多模态身份识别模型包括视频识别模型、语音识别模型、视频语音匹配模型和文本识别模型。

视频识别模型、语音识别模型和文本识别模型，均可以选用现有的人脸识别模型，例如DeepFace人脸识别模型、Bruce-Young人脸识别模型、动态时间规划语音识别模型、隐马尔科夫语音识别模型、CRNN文本识别模型等，本发明在此不一一详述。

所述视频语音匹配模型，用于识别当前视频语音数据的来源是否为同一用户，其匹配方法为：

步骤A10，获取监控端采集的用户视频语音数据，并将所述视频语音数据中的语音数据根据视频时间戳划分为对应的语音片断；

步骤A20，通过预定义的口部关键点模板对所述视频语音数据的每一帧进行口型关键点检测，并基于每一帧的口型关键点生成动态口型。

口型关键点包括1个左嘴角点、1个右嘴角点、2个上唇边点、2个下唇边点。

分别计算每个语音片断的MFCC系数，并基于所述MFCC系数结合对应视频的时间戳、动态口型的关键点位置，生成语音数据的语音口型；

步骤A30，计算每一帧视频语音数据的动态口型和语音口型之间的相似度，若相似度大于预设阈值的视频语音数据的帧数在整个视频语音数据的帧数的占比大于预设比值，则当前视频语音数据的来源为同一用户。

本发明一个实施例中，对语音数据以100Hz的采样率进行采样，得到35个离散的样本，分别计算其MFCC系数，生成12*35维的MFCC系数矩阵，矩阵的每列是每个样本的MFCC特征。

生成模型包括3个分支：第一个分支用于提取MFCC矩阵的256维特征，包含顺次连接的第1卷积层（包括64个3*3的卷积核）、第2卷积层（包含128个3*3的卷积核）、第1池化层（包含1个3*3的卷积核，且卷积核移动步长为2）、第3卷积层（包含256个3*3的卷积核）、第4卷积层（包含256个3*3的卷积核）、第5卷积层（包含512个3*3的卷积核）、第2池化层（包含512个3*3的卷积核，且卷积核移动步长为2）、第1全连接层（包含512个卷积核）和第2全连接层（包含512个卷积核），将MFCC特征矩阵输入第一个分支，即可获得对应的256维特征；第二个分支用于提取标准口型的动态口型关键点，包含顺次连接的第6卷积层（包括96个7*7的卷积核，且卷积核移动步长为2）、第3池化层（包含1个3*3的卷积核，且卷积核移动步长为2）、第7卷积层（包含256个5*5的卷积核，且卷积核移动步长为2）、第4池化层（包含1个3*3的卷积核，且卷积核移动步长为2）、第8卷积层（包含512个3*3的卷积核）、第9卷积层（包含512个3*3的卷积核）、第10卷积层（包含512个3*3的卷积核）、第3全连接层（包含512个卷积核）和第4全连接层（包含256个卷积核），将标准口型图像输入第二分支，即可获得对应的256维特征；第三个分支用于将语音和口型对应，包含顺次连接的第5全连接层（包含128个卷积核）、第11卷积层（包含512个6*6的卷积核，且卷积核移动步长为2）、第12卷积层（包含256个5*5的卷积核，且卷积核移动步长为2）、第13卷积层（包含96个5*5的卷积核，且卷积核移动步长为2）、第14卷积层（包含96个5*5的卷积核，且卷积核移动步长为2）、第15卷积层（包含64个5*5的卷积核，且卷积核移动步长为2）和第16卷积层（包含3个5*5的卷积核），将第一分支输出的MFCC特征矩阵对应的256维特征和第二分支输出的标准口型图像对应的256维特征输入到第三分支，即可获得语音数据的语音口型。

步骤A30a，视频语音数据的动态口型和语音口型之间匹配，还可以通过关键点曲线比对方法进行匹配：

步骤A31a，分别提取每一帧对应的动态口型和语音口型的每一个关键点。

步骤A32a，以每一帧的帧数作为时间线，分别拟合每个关键点对应的动态口型曲线和语音口型曲线。

步骤A33a，针对任一关键点，对比其拟合的动态口型曲线和语音口型曲线，若拟合曲线的重合度大于设定值，则当前关键点比对通过。

针对关键点中的任一个，所述拟合曲线的重合度，其获取方法为：

分别通过关键点曲线匹配模型，在动态口型的关键点曲线和语音口型的关键点曲线的区域内求解Helmholte方程的本征值，并分别构建曲线描述子；

通过加权欧式距离对曲线描述子进行差异性度量，如式（1）所示：

其中，

代表差异性度量值，

，

为动 态口型的关键点曲线的曲线描述子的第

个分量，

为语音口型的关键点曲线的曲线 描述子的第

个分量，

为表示曲线描述子的第

个分量和第

个分量的权重比例，

为 曲线描述子的分量的数量；

若差异性度量值低于设定的阈值，则判定当前关键点的拟合曲线的重合度满足条件，当前关键点比对通过。

关键点曲线匹配模型，其训练方法为：

步骤B10，获取多个用户对应的视频语音数据作为训练数据集，并为所述训练数据集中每一个训练数据设定软标签。

所述软标签为：

将视频语音来自同一用户的训练数据标签记为标签1，将视频语音来自不同用户且视频口型与语音明显不对应的训练数据标签记为标签0，其余训练数据通过步骤A10-步骤A20方法处理后，计算每一帧视频语音数据的动态口型和语音口型之间的相似度，并将相似度值归一化到0-1之间，所述标签1、所述标签0和归一化到0-1之间的相似度值作为训练数据的软标签。

步骤B20，对于任一训练数据，分别通过关键点曲线匹配模型在动态口型的关键点曲线和语音口型的关键点曲线的区域内求解Helmholte方程的本征值，分别构建曲线描述子。

步骤B30，通过加权欧式距离对曲线描述子进行差异性度量，获得差异性度量值。

步骤B40，计算所述差异性度量值与训练数据对应的软标签之间的概率分布损失，如式（2）所示：

其中，

代表模型输出与训练样本软标签之间的损失函数，

为当前训练批次中 训练数据的数量，

为当前训练批次的训练样本软标签的概率分布，

为当前训练 批次的训练数据的模型输出的差异性度量值的概率分布。

步骤B50，以概率分布损失值下降方向进行网络参数调整并迭代训练，直至达到设定的训练结束条件，获得训练好的关键点曲线匹配模型。

所述率分布损失值下降的梯度函数，其表示如式（3）所示：

其中，

为概率分布损失值下降的梯度函数，

为当前 参数

下的模型输出的差异性度量值的概率分布

与训练样本软标签的概率分布

之间的损失值，

为预先设定的梯度下降加速函数，

为梯度下降加速因子。

步骤S34a，遍历每一个关键点，若所有关键点均比对通过，则当前视频语音数据的来源为同一用户。

步骤S30，若身份验证通过，监控端获得相应的权限账户，并通过所述权限账户调取待监控及预警项目的历史数据和实时数据；所述历史数据存储于系统平台的多个区块链中。

系统平台的多区块链的构建和数据交互，其方法为：

步骤S31，将三化管理平台的多个区块链中任一个区块链作为其余区块链的主区块链，其余n个区块链作为主区块链的副区块链，在所述主区块链选取n个节点作为操作节点，并将n个副区块链与主区块链连接。

多区块链划分主区块链和副区块链之后，区块链间除了涉及数据交互和数据交互中的验证、身份识别等，还涉及到跨链数据的同步。

当主区块链的数据需要同步到副区块链时，数据同步包括：

步骤S3101，主区块链生成主区块链区块，操作节点通过主区块链对应的第一处理器将主区块链区块的区块头传输到副区块链；

步骤S3102，第一处理器判断主区块链区块的区块头合法后，将主区块链区块的区块头中共识节点的公钥存入到副区块链对应的第二处理器中；

步骤S3103，重复执行步骤S3101至步骤S3102，直至主区块链向副区块链同步的跨链数据不再增加，完成主区块链的数据同步到副区块链的过程。

当副区块链的数据需要同步到主区块链时，数据同步包括：

步骤S3111，副区块链生成副区块链区块，操作节点通过副区块链对应的第二处理器将副区块链区块的区块头传输到主区块链；

步骤S3112，第二处理器判断副区块链区块的区块头合法后，将副区块链区块的区块头中共识节点的公钥存入到主区块链对应的第一处理器中；

步骤S3113，重复执行步骤S3111至步骤S3112，直至副区块链向主区块链同步的跨链数据不再增加，完成副区块链的数据同步到主区块链的过程。

当副区块链的数据需要同步到其他的副区块链时，以第r副区块链的数据需要同步到第s副区块链为例，数据同步包括：

步骤S3121，第r副区块链生成第r副区块链区块，操作节点通过第r副区块链对应的第二处理器将第r副区块链区块的区块头传输到第s区块链；

步骤S3122，第r副区块链对应的第二处理器判断第r副区块链区块的区块头合法后，将第r副区块链区块的区块头中共识节点的公钥存入到第s区块链对应的第二处理器中；

步骤S3123，重复执行步骤S3121至步骤S3122，直至第r副区块链向第s副区块链同步的跨链数据不再增加，完成第r副区块链的数据同步到第s副区块链的过程。

步骤S32，主区块链通过Hash算法处理主区块链获取的原始文件，得到原始文件的文件哈希，并在所述主区块链内上链；副区块链通过Hash算法处理副区块链获取的原始文件，得到原始文件的文件哈希，并在相应的副区块链内上链。

步骤S33，当主区块链的上链行为超过预设次数时，基于上链行为生成区块，提取所述区块中区块头的区块哈希，并生成第一凭证；当副区块链的上链行为超过预设次数时，基于上链行为生成区块，提取所述区块中区块头的区块哈希，并生成第二凭证。

其中，预设次数(即：区块链网络中一个区块Block中包含的主区块链进行上链操作的数量或者副区块链进行上链操作的数量)可以通过设置主区块链或者副区块链的区块大小来设定。

这里主区块链和副区块链在1次上链行为后，均不进行区块链之间的数据交互和同步，而是在进行了预设次数（根据具体的设定或者区块大小调整，一般预设次数设定为2-5次）的上链行为后，基于多次上链行为的信息形成区块，此时，才基于区块进行数据交互和同步。

如此，能够大大减少区块链间数据交互的次数，降低数据同步的频率，提高区块链系统性能。同时，无法通过区块链之间数据交互的次数来判断主区块链和副区块链上链的次数，有效的屏蔽了数据上链（即交易）的细节，避免因区块链上链的次数的暴露而暴露商业秘密。

步骤S34，监控端跨链与其他区块链进行数据交互时，通过预设的身份识别方法进行监控端身份验证，向验证通过的监控端发送权限账户，监控端通过权限账户结合相应的第一凭证或第二凭证进行数据交互。

监控端跨链与其他区块链进行数据交互包括跨链数据查阅和跨链数据调取。

步骤S3411，跨链数据查阅，其方法为：

监控端采集用户身份信息，并通过预设的身份识别方法进行用户身份验证，并执行：

若验证不通过，则返回身份验证失败信息，监控端调取所在区块链的身份验证日志，结合所述身份验证失败信息进行监控端权限锁定；

若验证通过，则向验证通过的监控端发送权限账户，监控端通过权限账户结合相应的第一凭证或第二凭证，提取需要查阅的数据所在区块头的区块哈希，基于所述区块哈希检索数据并查阅。

步骤S3412，跨链数据调取，其方法为：

监控端采集用户身份信息，并通过预设的身份识别方法进行用户身份验证，并执行：

若验证不通过，则返回身份验证失败信息，监控端调取所在区块链的身份验证日志，结合所述身份验证失败信息进行监控端权限锁定；

若验证通过，则向验证通过的监控端发送权限账户，监控端通过权限账户结合相应的第一凭证或第二凭证，提取需要调取的数据所在区块头的区块哈希，区块所在的区块链通过预设的数据加密方法进行加密，并将加密的数据发送至监控端所在区块链。

数据加密方法为非对称式数据加密方法，包括RSA加密方法、Elgamal加密方法、背包加密方法、Rabin加密方法、D-H加密方法或ECC加密方法。

步骤S40，构建类脑语义层次的时序记忆推理模型，并基于待监控及预警项目的历史数据进行模型训练，通过训练好的模型进行实时数据推理，获得项目的实时监控及预测结果。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

本发明第二实施例的基于跨系统数据共享交互的项目运行监控及预警系统，该系统包括以下模块：

区块链网构建模块，配置为将三化管理平台的多个区块链中任一个区块链作为其余区块链的主区块链，其余n个区块链作为主区块链的副区块链，在选取n个节点作为操作节点，并将n个副区块链与主区块链连接；

原始文件哈希提取并上链模块，配置为主区块链通过Hash算法处理主区块链获取的原始文件，得到原始文件的文件哈希，并在所述主区块链内上链；副区块链通过Hash算法处理副区块链获取的原始文件，得到原始文件的文件哈希，并在相应的副区块链内上链；

区块哈希提取及凭证生成模块，配置为当主区块链的上链行为超过预设次数时，基于上链行为生成区块，提取所述区块中区块头的区块哈希，并生成第一凭证；当副区块链的上链行为超过预设次数时，基于上链行为生成区块，提取所述区块中区块头的区块哈希，并生成第二凭证；

身份验证和数据交互模块，配置为监控端跨链调取其他区块链的数据时，通过预设的身份识别方法进行监控端身份验证，向验证通过的监控端发送权限账户，监控端通过权限账户结合相应的第一凭证或第二凭证进行数据交互。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于跨系统数据共享交互的项目运行监控及预警系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于跨系统数据共享交互的项目运行监控及预警方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于跨系统数据共享交互的项目运行监控及预警方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

下面参考图2，其示出了用于实现本申请方法、系统、设备实施例的服务器的计算机系统的结构示意图。图2示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)601，其可以根据存储在只读存储器(ROM，Read Only Memory)602中的程序或者从存储部分608加载到随机访问存储器(RAM，Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O，Input/Output)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于跨系统数据共享交互的项目运行监控及预警方法，其特征在于，该方法包括：

监控端获取用户的多模态身份识别数据；所述多模态身份识别数据包括用户的人脸视频数据、语音数据和文本数据；

通过预设的身份识别方法进行监控端用户身份识别，获得监控端用户识别的视频语音识别结果和文本识别结果，并根据所述视频语音识别结果和文本识别结果进行身份验证；

若身份验证通过，监控端获得相应的权限账户，并通过所述权限账户调取待监控及预警项目的历史数据和实时数据；所述历史数据存储于系统平台的多个区块链中；

构建类脑语义层次的时序记忆推理模型，并基于待监控及预警项目的历史数据进行模型训练，通过训练好的模型进行实时数据推理，获得项目的实时监控及预测结果；

所述预设的身份识别方法为：

基于监控端获取的用户的多模态身份识别数据，通过多模态身份识别模型进行监控端用户身份识别，获得监控端用户识别的视频语音识别结果和文本识别结果；所述多模态身份识别模型包括视频识别模型、语音识别模型、视频语音匹配模型和文本识别模型；

所述视频语音匹配模型，用于识别当前视频语音数据的来源是否为同一用户，其匹配方法为：

步骤A10，获取监控端采集的用户视频语音数据，并将所述视频语音数据中的语音数据根据视频时间戳划分为对应的语音片断；

步骤A20，通过预定义的口部关键点模板对所述视频语音数据的每一帧进行口型关键点检测，并基于每一帧的口型关键点生成动态口型；

分别计算每个语音片断的MFCC系数，并基于所述MFCC系数结合对应视频的时间戳、动态口型的关键点位置，生成语音数据的语音口型；

步骤A30，通过关键点曲线比对方法进行视频语音数据的动态口型和语音口型的匹配：分别提取每一帧对应的动态口型和语音口型的每一个关键点，以每一帧的帧数作为时间线，分别拟合每个关键点对应的动态口型曲线和语音口型曲线，针对任一关键点，对比其拟合的动态口型曲线和语音口型曲线，若拟合曲线的重合度大于设定值，则当前关键点比对通过，遍历每一个关键点，若所有关键点均比对通过，则当前视频语音数据的来源为同一用户。

2.根据权利要求1所述的基于跨系统数据共享交互的项目运行监控及预警方法，其特征在于，所述根据所述视频语音识别结果和文本识别结果进行身份验证，其方法为：

若视频语音识别结果和文本识别结果的置信度值均高于设定阈值，则验证通过，返回身份验证成功信息；

若视频语音识别结果和文本识别结果的置信度值均低于设定阈值，则验证不通过，返回身份验证失败信息；

否则，重新发起置信度值均低于设定阈值的模态数据的采集与识别流程，当重新发起采集与识别流程的次数大于预设值时，验证不通过，返回身份验证失败信息。

3.根据权利要求2所述的基于跨系统数据共享交互的项目运行监控及预警方法，其特征在于，所述视频语音数据的动态口型和语音口型，还可以通过相似度进行匹配：

计算每一帧视频语音数据的动态口型和语音口型之间的相似度，若相似度大于预设阈值的视频语音数据的帧数在整个视频语音数据的帧数的占比大于预设比值，则当前视频语音数据的来源为同一用户。

4.根据权利要求3所述的基于跨系统数据共享交互的项目运行监控及预警方法，其特征在于，所述口型关键点包括1个左嘴角点、1个右嘴角点、2个上唇边点、2个下唇边点。

5.根据权利要求1所述的基于跨系统数据共享交互的项目运行监控及预警方法，其特征在于，针对关键点中的任一个，所述拟合曲线的重合度，其获取方法为：

分别通过关键点曲线匹配模型，在动态口型的关键点曲线和语音口型的关键点曲线的区域内求解Helmholte方程的本征值，并分别构建曲线描述子；

通过加权欧式距离对曲线描述子进行差异性度量；

若差异性度量值低于设定的阈值，则判定当前关键点的拟合曲线的重合度满足条件，当前关键点比对通过。

6.根据权利要求5所述的基于跨系统数据共享交互的项目运行监控及预警方法，其特征在于，所述差异性度量，其表示为：

其中，

代表差异性度量值，

，

为动态口型的关键点曲线的曲线描述子的第

个分量，

为语音口型的关键点曲线的曲线描述子的第

个分量，

为表示曲线描述子的第

个分量和第

个分量的权重比例，

为曲线描述子的分量的数量。

7.根据权利要求5所述的基于跨系统数据共享交互的项目运行监控及预警方法，其特征在于，所述关键点曲线匹配模型，其训练方法为：

步骤B10，获取多个用户对应的视频语音数据作为训练数据集，并为所述训练数据集中每一个训练数据设定软标签；

步骤B20，对于任一训练数据，分别通过关键点曲线匹配模型在动态口型的关键点曲线和语音口型的关键点曲线的区域内求解Helmholte方程的本征值，分别构建曲线描述子；

步骤B30，通过加权欧式距离对曲线描述子进行差异性度量，获得差异性度量值；

步骤B40，计算所述差异性度量值与训练数据对应的标签之间的概率分布损失；

步骤B50，以概率分布损失值下降方向进行网络参数调整并迭代训练，直至达到设定的训练结束条件，获得训练好的关键点曲线匹配模型。

8.根据权利要求7所述的基于跨系统数据共享交互的项目运行监控及预警方法，其特征在于，所述软标签为：

将视频语音来自同一用户的训练数据标签记为标签1，将视频语音来自不同用户且视频口型与语音明显不对应的训练数据标签记为标签0，其余训练数据通过权利要求3步骤A10-步骤A20方法处理后，计算每一帧视频语音数据的动态口型和语音口型之间的相似度，并将相似度值归一化到0-1之间，所述标签1、所述标签0和归一化到0-1之间的相似度值作为训练数据的软标签。

9.根据权利要求7所述的基于跨系统数据共享交互的项目运行监控及预警方法，其特征在于，所述概率分布损失，其表示为：

其中，

代表模型输出与训练样本标签之间的损失函数，

为当前训练批次中训练数据的数量，

为当前训练批次的训练数据的样本标签的概率分布，

为当前训练批次的训练数据的模型输出的差异性度量值的概率分布。

10.根据权利要求7所述的基于跨系统数据共享交互的项目运行监控及预警方法，其特征在于，所述率分布损失值下降的梯度函数，其表示为：

其中，

为概率分布损失值下降的梯度函数，

为当前参数

下的模型输出的差异性度量值的概率分布

与样本标签的概率分布

之间的损失值，

为预先设定的梯度下降加速函数，

为梯度下降加速因子。

Images