CN117975543A - 一种基于光流表情的区块链零知识身份认证凭证交互方法 - Google Patents

Abstract

本发明提供一种基于光流表情的区块链零知识身份认证凭证交互方法，通过构建多维度深度光流估计的卷积神经网络模型，将驱动人脸和源人脸的表情进行融合，融合人脸包含的是源人脸的身份、源人脸和驱动人脸的头部整体及脸部局部重点特征，代替驱动人脸用于身份验证，这样就不会暴露驱动人脸（即用户真实人脸）的任何信息。身份提供商完成身份核验后输出可验证凭证；客户端凭借可验证凭证，向服务提供商获取零知识证明约束条件验证和证明钥匙，并利用零知识证明验证过程生成可验证凭证的零知识证明；客户端向服务提供商提交零知识证明和身份提供商的数字签名，以请求零知识身份认证和获取相应的服务。

Description

一种基于光流表情的区块链零知识身份认证凭证交互方法

技术领域

本发明属于区块链身份安全技术领域，具体涉及一种基于光流表情的区块链零知识身份认证凭证交互方法。

背景技术

在区块链业务系统中, 盗窃用户账户是常见攻击之一. 由于业务机构本身是中心化机构, 存放了大量用户的账户信息, 所以对于攻击者而言, 入侵交易所来获得大量账号、密码、私钥等是一种性价比较高的方式, 其基本攻击流程如下：（1）攻击者黑进业务中心后, 能够获得大量账号和密码；（2）将账户内的交易记录进行更新, 以引起大量虚假业务交易；（3）攻击者因此影响了区块链的梅克尔树结构，导致区块链中的交易混乱。

发明内容

本发明要解决的技术问题是：提供一种基于光流表情的区块链零知识身份认证凭证交互方法，从根本上解决账户盗窃攻击。

本发明为解决上述技术问题所采取的技术方案为：一种多维度深度光流估计的卷积神经网络模型，本模型用于区块链用户身份授信，具体包括：

输入单元，用于输入驱动人脸和源人脸的图片；其中，驱动人脸为区块链用户的真实人脸，从区块链用户的客户端获得；源人脸为用户随机选择的人脸；

头部混合光流估计模块，用于根据驱动人脸和源人脸的图片，获取整体光流域；

脸部混合光流估计模块，用于根据驱动人脸和源人脸的图片，获取局部光流域；

头部扭曲注意力模块，用于根据所述整体光流域和从U-net模型得到的特征编码，识别头部扭曲注意力特征；

脸部扭曲注意力模块，用于根据所述局部光流域和从U-net模型得到的特征编码，识别脸部扭曲注意力特征；

U-net模型，用于利用U-net，得到所述源人脸的特征编码，并融合所述头部扭曲注意力特征和脸部扭曲注意力特征，得到用于身份授信的融合人脸；所述的融合人脸包含源人脸的身份、源人脸和驱动人脸的头部整体及脸部局部重点特征。

按上述模型，所述的头部扭曲注意力模块具体包括：经过双线线性采样所述整体光流域和从U-net模型得到的特征编码，计算头部光流域的扭曲特征，然后计算头部光流域的扭曲特征的注意力，同时与头部光流域的扭曲特征进行矩阵逐元素乘法运算，从而获得头部扭曲注意力特征；

所述脸部扭曲注意力模块的结构与部扭曲注意力模块相同。

所述的多维度深度光流估计的卷积神经网络模型的训练方法，其特征在于：包括：

在卷积神经网络模型输入驱动人脸和源人脸的图片，得到用于身份授信的融合人脸；

将驱动人脸和融合人脸经过表情过滤路径，得到残留表情特征，对残留表情特征进行分类监督；

将源人脸和融合人脸经过光照监督路径，通过扭曲源人脸的图片生成还原人脸，对还原人脸进行照度监督；

提高所述融合人脸的图片质量，然后分别进行头部感知损失监督、脸部感知损失监督、身份损失监督和对抗损失监督；

根据所述分类监督、照度监督头部感知损失监督、脸部感知损失监督、身份损失监督和对抗损失监督的结果，调整U-net模型中的参数；

然后再次在卷积神经网络模型输入其它的驱动人脸和源人脸的图片，如此循环，直至达到模型收敛条件。

按上述训练方法，所述的表情过滤路径具体为：分别估计驱动人脸和融合人脸的表情语义特征，二者进行矩阵逐元素乘法运算，再进行低通滤波，得到残留表情特征。

按上述训练方法，所述的分类监督具体为：

根据残留表情特征和一个表示无表情的常数，通过均值方差估计函数，评估残留表情特征与所述表示无表情的常数的距离，从而确定是否还包含表情；

若为无表情，则说明驱动人脸和融合人脸的表情语义特征一致。

按上述训练方法，所述的光照监督路径具体为：

根据源人脸和融合人脸的图片，获取源人脸融合光流域，通过根据源人脸融合光流域和从U-net模型得到的特征编码，识别源人脸融合的脸部扭曲注意力特征，根据脸部扭曲注意力特征通过扭曲源人脸的图片生成还原人脸。

按上述训练方法，所述的照度监督具体为：

根据U-net的尺度，分别比对还原人脸与源人脸在每个尺度下的画面照度均一致，则说明照度一致。

按上述训练方法，通过光照引导过滤器，调整光圈半径，来提高所述融合人脸的图片质量。

按上述训练方法，根据U-net的尺度和U-net中的groundtruth，

所述的头部感知损失监督具体为：分别对比在每个尺度下提高质量后的融合人脸和groundtruth特征图的高度宽度是否一致；

所述的脸部感知损失监督具体为：分别对比提高质量后的融合人脸和groundtruth的面部表情特征在每个尺度下是否一致；

所述的身份损失监督具体为：分别对比提高质量后的融合人脸与源人脸之间的余弦相似性，以及原融合人脸与源人脸之间的余弦相似性，计算两个余弦相似性之间的距离。

一种利用所述的多维度深度光流估计的卷积神经网络模型实现的基于光流表情的区块链零知识身份认证凭证交互方法，

客户端根据输入的作为驱动人脸的用户真实人脸图片和随机选择的源人脸图片，通过多维度深度光流估计的卷积神经网络模型得到融合人脸，利用融合人脸生成私钥和公钥，将公钥和身份正式信息提交给身份提供商；

身份提供商完成身份核验后，为用户所在客户端输出可验证凭证，可验证凭证中具有身份提供商的数字签名；

客户端凭借所述可验证凭证，向服务提供商获取零知识证明约束条件验证和证明钥匙，并利用零知识证明验证过程生成可验证凭证的零知识证明；

客户端向服务提供商提交所述零知识证明和身份提供商的数字签名，以请求零知识身份认证和获取相应的服务。

本发明的有益效果为：

1、通过构建多维度深度光流估计的卷积神经网络模型，将驱动人脸和源人脸的表情进行了融合，输出的融合人脸包含的是用户随机选择的源人脸的身份、源人脸和驱动人脸的头部整体及脸部局部重点特征，可代替驱动人脸用于身份验证，这样就不会暴露驱动人脸（即用户真实人脸）的任何信息。

2、本发明的区块链身份凭证交互方法，将传统的用户名和密码的保护结构，变化成人脸身份+人脸表情序列验证的模式，结合零知识证明验证过程，使得服务提供商只能获取到源人脸和驱动人脸的头部整体及脸部局部重点特征，不会暴露驱动人脸（即用户真实人脸）的任何信息，从而避免了用户真实信息的泄露，因源人脸是随机生成，进而从根本上解决了账户盗窃攻击。

附图说明

图1为本发明一实施例的多维度深度光流估计的卷积神经网络模型训练原理图。

图2为头部/脸部扭曲注意力模块原理图。

图3为表情过滤路径原理图。

图4为零知识证明验证原理图。

图5为区块链身份凭证交互方法流程图。

具体实施方式

下面结合具体实例和附图对本发明作进一步说明。

本发明提供一种多维度深度光流估计的卷积神经网络模型的训练方法，本模型用于区块链用户身份授信，如图1所示，训练方法具体包括：

S1、输入驱动人脸和源人脸的图片；其中，驱动人脸/>为区块链用户的真实人脸，从区块链用户的客户端获得；源人脸/>为用户随机选择的人脸，可以是用户自己找的他人人脸，也可以系统随机生成；本模型最终目的是根据/>的姿态、表情融合/>的身份生成融合的复合表情。

S2、头部混合光流估计模块根据驱动人脸和源人脸的图片，获取整体光流域；脸部混合光流估计模块根据驱动人脸和源人脸的图片，获取局部光流域/>。

S3、头部扭曲注意力模块根据所述整体光流域和从U-net模型得到的特征编码，识别头部扭曲注意力特征；脸部扭曲注意力模块根据所述局部光流域和从U-net模型得到的特征编码，识别脸部扭曲注意力特征。

头部/脸部扭曲注意力模块原理如图2所示，经过双线线性采样所述整体/局部光流域和从U-net模型得到的特征编码，计算头部/脸部光流域的扭曲特征，然后计算头部/脸部光流域的扭曲特征的注意力，同时与头部/脸部光流域的扭曲特征进行矩阵逐元素乘法运算，从而获得头部/脸部扭曲注意力特征。

S4、U-net模型利用U-net，得到所述源人脸的特征编码，并融合所述头部扭曲注意力特征和脸部扭曲注意力特征，得到用于身份授信的融合人脸；所述的融合人脸/>包含源人脸/>的身份、源人脸和驱动人脸/>的头部整体及脸部局部重点特征。

S5、将驱动人脸和融合人脸经过表情过滤路径，得到残留表情特征，对残留表情特征进行分类监督；将源人脸和融合人脸经过光照监督路径，通过扭曲源人脸的图片生成还原人脸，对还原人脸进行照度监督；提高所述融合人脸的图片质量，然后分别进行头部感知损失监督、脸部感知损失监督、身份损失监督和对抗损失监督。

本实施例中，所述的表情过滤路径具体为：分别估计驱动人脸和融合人脸/>的表情语义特征/>和/>，/>表示/>的表情语义特征，/>表示/>的表情语义特征。（见图3）/>和进行矩阵逐元素乘法运算，强化了语义信号，再输入到低通滤波器，其中残留的语义信号计算softmax(…)，最后获得残留的/>。如下公式：

其中，LP(…)表示低通滤波函数，表示矩阵逐元素乘法运算。

所述的分类监督具体为：根据残留表情特征和一个表示无表情的常数cn，通过均值方差估计函数，评估残留表情特征与所述表示无表情的常数的距离，从而确定是否还包含表情；若为无表情，则说明驱动人脸和融合人脸的表情语义特征一致，否则说明存在差异。

本实施例中，对的监督是通过/>损失函数完成的，其定义如下：

其中，cn是一个常数，表示无表情；MSE(…)表示均值方差估计函数，用于评估信号与cn的距离，从而确定是否包含表情（复合表情）。

所述的光照监督路径具体为：根据源人脸和融合人脸的图片，获取源人脸融合光流域，通过根据源人脸融合光流域和从U-net模型得到的特征编码，识别源人脸融合的脸部扭曲注意力特征，根据脸部扭曲注意力特征通过扭曲源人脸的图片生成还原人脸。

本实施例中，和/>被头部混合光流估计模块估计，输出源人脸融合光流/>，通过第二脸部扭曲注意力模块，通过扭曲图像生成还原人脸/>。

的光照要与/>的照度信息保持一致，通过/>损失函数监督，如下式所示：

其中，S表示表示尺度，本实施例S=3，256 × 256（128通道）、128 × 128（256通道）、和 64 × 64（512通道）下的尺度。也就是说在3种尺度下的特征近似，则两个画面的照度一致。

所述的照度监督具体为：根据U-net的尺度，分别比对还原人脸与源人脸在每个尺度下的画面照度均一致，则说明照度一致。

在一部分实施例中，通过光照引导过滤器，调整光圈半径，来提高所述融合人脸的图片质量，得到提高质量的融合人脸。

根据U-net的尺度和U-net中的groundtruth，所述的头部感知损失监督具体为：分别对比在每个尺度下提高质量后的融合人脸和groundtruth特征图的高度宽度是否一致。表示头部感知损失，如下式所述：

其中，S表示表示尺度，S=3，256 × 256, 128 × 128, 和 64 × 64下的尺度。表示融合人脸在该尺度下的特征图，/>表示groundtruth在该尺度下的特征图，表示在这个尺度下的高/>宽/>。

所述的脸部感知损失监督具体为：分别对比提高质量后的融合人脸和groundtruth的面部表情特征在每个尺度下是否一致。表示脸部感知损失，如下式所述：

其中，表示S尺度下面部表情特征，/>表示groundtruth，/>表示S尺度下特征参数。

所述的身份损失监督具体为：分别对比提高质量后的融合人脸与源人脸之间的余弦相似性，以及原融合人脸与源人脸之间的余弦相似性，计算两个余弦相似性之间的距离。表示身份损失，如下式所述：

其中，分别计算到/>之间余弦相似性和/>到/>之间余弦相似性，然后计算融合图像和生成图像之间距离。

表示对抗损失，如下式所述：

其中，R表示表情重建域，D表示鉴别域，D(…)表示鉴别结果。表示groundtruth的熵，/>表示/>的熵。

S6、根据所述分类监督、照度监督头部感知损失监督、脸部感知损失监督、身份损失监督和对抗损失监督的结果，调整U-net模型中的参数。

本实施例中，上述所有损失函数可以通过超参数联立为下式：

其中-/>表示不同损失函数的权重。

S7、循环S1-S6，直至达到预设的模型收敛条件。

按上述训练方法得到的多维度深度光流估计的卷积神经网络模型具体包括：输入单元，用于输入驱动人脸和源人脸的图片；头部混合光流估计模块，用于根据驱动人脸和源人脸的图片，获取整体光流域；脸部混合光流估计模块，用于根据驱动人脸和源人脸的图片，获取局部光流域；头部扭曲注意力模块，用于根据所述整体光流域和从U-net模型得到的特征编码，识别头部扭曲注意力特征；脸部扭曲注意力模块，用于根据所述局部光流域和从U-net模型得到的特征编码，识别脸部扭曲注意力特征；U-net模型，用于利用U-net，得到所述源人脸的特征编码，并融合所述头部扭曲注意力特征和脸部扭曲注意力特征，得到用于身份授信的融合人脸。

本发明还提供一种利用上述多维度深度光流估计的卷积神经网络模型实现的基于光流表情的区块链零知识身份认证凭证交互方法，如图4和5所示，

M0S1、用户是可验证凭证 VC 的持有者，为获得凭证，其首先需要通过运动生物特征识别技术生成私钥 SK和公钥 PK。本实施例中，用户所在客户端根据输入的作为驱动人脸的用户真实人脸图片和随机选择的源人脸图片，通过多维度深度光流估计的卷积神经网络模型得到融合人脸，利用融合人脸生成私钥和公钥。

M0S2、将公钥和身份正式信息提交给身份提供商IDP。例如用户想要办理营业执照，则向工商局所在服务端提交办理营业执照所需的信息。

M0S3、身份提供商IDP完成身份核验后，为用户所在客户端输出可验证凭证，可验证凭证中具有身份提供商IDP的数字签名。

M0S4、身份提供商IDP同时将可验证凭证发送到智能合约执行器。

M0S5及M0S6、服务提供商SP通过利用零知识证明工具模块从智能合约执行器获得所有可验证凭证。

M0S7及M0S8、客户端凭借所述可验证凭证，向服务提供商SP获取零知识证明约束条件验证和证明钥匙；并利用零知识证明验证过程生成可验证凭证的零知识证明。

M0S9、客户端向服务提供商SP提交所述零知识证明和身份提供商的数字签名，以请求零知识身份认证和获取相应的服务。

M0S10、服务提供商SP对所述的服务进行基于智能合约下的零知识证明有效性验证。

上述步骤中，具体零知识证明的原理验证原理并非本发明的保护重点。本发明仅提供了多维度深度光流估计的卷积神经网络模型在区块链身份凭证交互方法中的应用。应当理解的是，任何将多维度深度光流估计的卷积神经网络模型应用在区块链身份凭证交互方法中的思想均在本发明的保护范围中。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种多维度深度光流估计的卷积神经网络模型，其特征在于：本模型用于区块链用户身份授信，具体包括：

输入单元，用于输入驱动人脸和源人脸的图片；其中，驱动人脸为区块链用户的真实人脸，从区块链用户的客户端获得；源人脸为用户随机选择的人脸；

头部混合光流估计模块，用于根据驱动人脸和源人脸的图片，获取整体光流域；

脸部混合光流估计模块，用于根据驱动人脸和源人脸的图片，获取局部光流域；

头部扭曲注意力模块，用于根据所述整体光流域和从U-net模型得到的特征编码，识别头部扭曲注意力特征；

脸部扭曲注意力模块，用于根据所述局部光流域和从U-net模型得到的特征编码，识别脸部扭曲注意力特征；

U-net模型，用于利用U-net，得到所述源人脸的特征编码，并融合所述头部扭曲注意力特征和脸部扭曲注意力特征，得到用于身份授信的融合人脸；所述的融合人脸包含源人脸的身份、源人脸和驱动人脸的头部整体及脸部局部重点特征。

2.根据权利要求1所述的多维度深度光流估计的卷积神经网络模型，其特征在于：所述的头部扭曲注意力模块具体包括：经过双线线性采样所述整体光流域和从U-net模型得到的特征编码，计算头部光流域的扭曲特征，然后计算头部光流域的扭曲特征的注意力，同时与头部光流域的扭曲特征进行矩阵逐元素乘法运算，从而获得头部扭曲注意力特征；

所述脸部扭曲注意力模块的结构与部扭曲注意力模块相同。

3.根据权利要求1或2所述的多维度深度光流估计的卷积神经网络模型的训练方法，其特征在于：包括：

在卷积神经网络模型输入驱动人脸和源人脸的图片，得到用于身份授信的融合人脸；

将驱动人脸和融合人脸经过表情过滤路径，得到残留表情特征，对残留表情特征进行分类监督；

将源人脸和融合人脸经过光照监督路径，通过扭曲源人脸的图片生成还原人脸，对还原人脸进行照度监督；

提高所述融合人脸的图片质量，然后分别进行头部感知损失监督、脸部感知损失监督、身份损失监督和对抗损失监督；

根据所述分类监督、照度监督头部感知损失监督、脸部感知损失监督、身份损失监督和对抗损失监督的结果，调整U-net模型中的参数；

然后再次在卷积神经网络模型输入其它的驱动人脸和源人脸的图片，如此循环，直至达到模型收敛条件。

4.根据权利要求3所述的多维度深度光流估计的卷积神经网络模型的训练方法，其特征在于：所述的表情过滤路径具体为：分别估计驱动人脸和融合人脸的表情语义特征，二者进行矩阵逐元素乘法运算，再进行低通滤波，得到残留表情特征。

5.根据权利要求3所述的多维度深度光流估计的卷积神经网络模型的训练方法，其特征在于：所述的分类监督具体为：

根据残留表情特征和一个表示无表情的常数，通过均值方差估计函数，评估残留表情特征与所述表示无表情的常数的距离，从而确定是否还包含表情；

若为无表情，则说明驱动人脸和融合人脸的表情语义特征一致。

6.根据权利要求3所述的多维度深度光流估计的卷积神经网络模型的训练方法，其特征在于：所述的光照监督路径具体为：

根据源人脸和融合人脸的图片，获取源人脸融合光流域，通过根据源人脸融合光流域和从U-net模型得到的特征编码，识别源人脸融合的脸部扭曲注意力特征，根据脸部扭曲注意力特征通过扭曲源人脸的图片生成还原人脸。

7.根据权利要求3所述的多维度深度光流估计的卷积神经网络模型的训练方法，其特征在于：所述的照度监督具体为：

根据U-net的尺度，分别比对还原人脸与源人脸在每个尺度下的画面照度均一致，则说明照度一致。

8.根据权利要求3所述的多维度深度光流估计的卷积神经网络模型的训练方法，其特征在于：通过光照引导过滤器，调整光圈半径，来提高所述融合人脸的图片质量。

9.根据权利要求3所述的多维度深度光流估计的卷积神经网络模型的训练方法，其特征在于：根据U-net的尺度和U-net中的groundtruth，

所述的头部感知损失监督具体为：分别对比在每个尺度下提高质量后的融合人脸和groundtruth特征图的高度宽度是否一致；

所述的脸部感知损失监督具体为：分别对比提高质量后的融合人脸和groundtruth的面部表情特征在每个尺度下是否一致；

所述的身份损失监督具体为：分别对比提高质量后的融合人脸与源人脸之间的余弦相似性，以及原融合人脸与源人脸之间的余弦相似性，计算两个余弦相似性之间的距离。

10.一种利用权利要求1或2所述的多维度深度光流估计的卷积神经网络模型实现的基于光流表情的区块链零知识身份认证凭证交互方法，其特征在于：

客户端根据输入的作为驱动人脸的用户真实人脸图片和随机选择的源人脸图片，通过多维度深度光流估计的卷积神经网络模型得到融合人脸，利用融合人脸生成私钥和公钥，将公钥和身份正式信息提交给身份提供商；

身份提供商完成身份核验后，为用户所在客户端输出可验证凭证，可验证凭证中具有身份提供商的数字签名；

客户端凭借所述可验证凭证，向服务提供商获取零知识证明约束条件验证和证明钥匙，并利用零知识证明验证过程生成可验证凭证的零知识证明；

客户端向服务提供商提交所述零知识证明和身份提供商的数字签名，以请求零知识身份认证和获取相应的服务。