CN117292466B - 基于多模态计算机视觉与生物识别物联网解锁方法 - Google Patents

Abstract

本发明公开了基于多模态计算机视觉与生物识别物联网解锁方法，包括：采集人脸、指纹和语音数据，并标注这些数据；对采集的数据进行样本扩充；对采集的数据进行预处理；对预处理后的数据提取数据特征；使用特征提取后的数据训练分类器；使用训练好的模型执行解锁，当识别出权限用户后触发解锁，否则保持锁定；通过整合三种生物识别技术，提供了更多的验证点，增强了解锁的安全性。

Description

基于多模态计算机视觉与生物识别物联网解锁方法

技术领域

本发明属于数据处理技术领域，尤其涉及基于多模态计算机视觉与生物识别物联网解锁方法。

背景技术

在过去的数年中，生物识别技术已经在众多应用领域中起到了关键作用，从智能手机的解锁到安全验证和国家边境控制等。但随着技术的广泛应用，其局限性也逐渐暴露出来。依赖单一模态的生物识别技术，例如仅使用人脸或指纹，常常受到环境变化、伪装等因素的影响，导致准确性和鲁棒性受限。此外，为了提供更加精准的识别，需要大量高质量的数据进行模型训练，但传统的数据扩充方法往往无法满足这一需求，难以生成与真实数据相似的生物识别样本。

与此同时，图像预处理在生物识别中起到了至关重要的作用，但许多传统计算方法在效率和准确性上都存在不足，特别是在将彩色图像转换为灰度图像时。对于神经网络的优化，虽然近年来取得了很多进展，但传统的优化方法仍然面临效率低和收敛速度慢的问题。权重调整作为优化过程中的关键环节，传统方法可能还未能达到理想的精度。

另一个核心问题是，现有的神经网络主要集中于单一核心结构，当面临多模态输入数据时，其表现往往不尽如人意。因此，为了应对这些挑战，一个综合多种模态的生物识别系统、更高效的数据扩充技术、更准确的图像预处理方法以及更加精细和科学的神经网络优化手段显得尤为迫切。

中国发明专利CN202310522837.1提出一种基于系统调用行为的工业物联网设备指纹识别方法，包括以下步骤：通过服务器端向未知设备端发送安全请求；未知设备端在接收安全请求后生成系统调用串；根据系统调用串生成未知设备端的设备指纹；由未知设备端将设备指纹发送至服务器端；服务器端收到设备指纹后，与预存设备指纹进行相关性值计算，并根据计算出来的相关性值判断设备行为是否发生变化。该方法能够有效提高指纹识别的准确性，同时保护设备隐私。

中国发明专利CN202310606279.7提出一种物联网设备识别方法、装置、网关及存储介质，该方法包括：根据预设大小的时间窗口，对来自物联网设备的网络通信数据进行划分，得到每个时间窗口对应的数据包；提取物联网设备在每个数据包上留下的通信指纹，基于通信指纹获取物联网设备的通信指纹集，通信指纹基于物联网设备通过数据包查询过的域名集以及进行通信的目标节点集获得；基于通信指纹集中每个通信指纹和预设的设备指纹库，获取物联网设备关联的疑似设备列表；将疑似设备列表中出现次数最多的身份标签设置为物联网设备的身份标签，从而提高了物联网设备的识别效率。

中国发明专利CN201811308550.4提出一种物联网设备的识别方法及装置，其中方法包括：获取网络设备在预设时间段内多个维度的访问数据的数量；根据各维度的访问数据的数量以及各维度的访问数据的权重，获得所述网络设备的评分结果，根据所述评分结果与预设阈值的大小判断所述网络设备是否为物联网设备。本发明实施例能够对所有来源于移动互联网的物联网设备进行挖掘分析，覆盖性高；同时全程自动化实现，不需要对物联网中的海量多类型交互数据进行建模分析，节省人力和设备成本。

上述技术具有一定创新性，但现有技术仍存在以下需要进一步提升的地方：

1、单一模态生物识别的局限性：依赖于单一的生物特征(如只使用人脸或指纹)可能导致识别的准确性和鲁棒性不足。例如，环境变化、伪装或其他因素可能导致单一生物特征的识别效果不佳；

2、数据扩充技术不足：传统的数据扩充方法可能无法生成高质量的、与真实数据非常相似的生物识别数据，导致训练效果不理想；

3、图像预处理效率和效果不足：传统的计算方法在图像预处理方面可能既不高效又不精确，尤其是在需要将彩色图像转为灰度图像时；

4、神经网络优化不足：传统的神经网络优化方法可能效率不高，收敛速度慢，可能导致训练时间长或模型性能不佳；

5、权重调整精度不足：在优化神经网络时，可能缺乏更为精细和科学的权重调整手段，导致模型难以达到最优状态；

6、单一核心神经网络的局限性：传统的神经网络可能主要依赖于单一的核心结构，这可能导致在处理多模态输入数据时效果不佳。

发明内容

本申请针对上述技术问题提出基于多模态计算机视觉与生物识别物联网解锁方法，具体技术方案如下：

基于多模态计算机视觉与生物识别物联网解锁方法，包括：

采集人脸、指纹和语音数据，并标注这些数据；

对采集的数据进行样本扩充；

对采集的数据进行预处理；

对预处理后的数据提取数据特征；

使用特征提取后的数据训练分类器；

使用训练好的模型执行解锁，当识别出权限用户后触发解锁，否则保持锁定。

进一步的，人脸数据为Ma×Na×Ca的图像矩阵，其中M和N代表图像的高和宽，Ca代表图像的通道数；指纹数据为P×Q×Cb的图像矩阵，其中P和Q代表图像的高和宽，Cb为1的灰度图；语音数据为长度为Lc的一维数组。

进一步的，样本扩充的方法为：

(1)初始化，选择合适的稀疏自表达层的参数，以及介质场正则化的强度，同时初始化字典矩阵D_face和生成器、鉴别器的权重，表示为：

其中，和/>分别表示生成器和鉴别器的初始化权重；

(2)稀疏化，使用L1正则化方法，捕获数据中的关键特征并忽略噪音或不相关的特征，可以表示为：

X_face≈D_faceα_face

其中，D_face是字典矩阵，α_face是稀疏系数矩阵；

最小化以下损失函数找到最优的α_face：

对L_sparse进行微分，得到：

其中，sign(α_face)是元素级的符号函数；

期望α_face的L1范数尽可能小，即：

且限制于

其中，表示Frobenius范数，∈是一个小的常数表示允许的误差；

(3)自表达性学习，可以表示为：

x_face,i＝X_faceβ_i

其中，β_i是系数向量，期望β_i的L2范数尽可能小，但第i项设置为0，即β_i,i＝0；

需最小化以下损失函数学习每一个数据点x_face,i的系数β_i：

对L_self,i进行微分，得到：

得到总的损失函数为：

(4)生成器训练，结合稀疏自表达层，生成新的数据实例；

(5)鉴别器训练，让鉴别器D尽可能区分真实数据和生成的数据，因此损失函数为：

L_D＝-E[logD(X_real；W_D)]-E[log(1-D(G(z；W_G)；W_D))]

其中，X_real是真实数据，G()是生成器生成的数据，z是随机噪声，E[]表示期望函数；

对L_D进行微分，得到鉴别器的梯度更新公式；

将生成器G与鉴别器D结合起来，损失函数为：

L_GAN＝E[logD(X_real)]+L_D]

给定一个随机噪声z，通过以下方式使用生成器G生成新的人脸图像：

基于稀疏自表达的生成对抗网络的目标函数为：

L＝L_GAN+λa₁L_sparse+λa₂L_self

其中，λa₁和λa₂是平衡参数，由人为预设；

(6)迭代优化，重复上述步骤，利用随机梯度下降来迭代更新上述步骤中的所有参数，直到即损失函数的收敛或达到预设的迭代次数。

进一步的，对采集的数据进行预处理的方法为：

对于人脸图像和指纹图像预处理，定义量子位灰度转换函数为：

其中，nk和mk分别为图像的长和宽，Q(x,y)为量子位灰度后的图像像素点值，I(x_i,y_j)为原图像在点(x_i,y_j)的像素值，Q_w(i,j)为量子权重矩阵，与像素位置有关的权重值，为量子叠加操作；

使用生物谱解析公式对灰度图像进行处理：

B(x,y)＝∫Q(x,y)·e^-λf(x,y)dx dy

其中，B(x,y)为生物谱解析后的图像，λ为生物谱系数，由人为预设，f(x,y)为生物谱解析函数，具体为关于x和y的二元函数；

对于语音序列数据预处理，通过以下公式将语音序列数据映射到一个新的频率空间：

其中，S(f)为新的频率空间中的语音数据，s(t)为原始时间序列中时间点t的数据，Nk为语音序列的总时间点数量，f为新的频率变量，i为虚数单位；

在所有的预处理步骤完成后，将预处理后的数据转换为向量格式，可以表示为：

其中，为最终的数据向量，B(x_i,y_i)为生物谱解析后的图像数据，S(f_j)为声学频率映射后的语音数据。

进一步的，对预处理后的数据提取数据特征的方法为：

采用三层前馈神经网络结构如下：

输入层：根据输入数据向量的维度决定输入层神经元的数量；

隐藏层：隐藏层包括第一隐藏层和第二隐藏层，第一隐藏层的神经元数量为150，激活函数为ReLU；第二隐藏层的神经元数量为50，激活函数为ReLU；

输出层：具有与标注数据的类别数量相同的神经元，激活函数为Softmax；

神经网络训练时，参数优化的步骤如下：

(1)初始化，随机选择网络的参数，并设置一个随机初始脉冲相位θ，表示为：

w_i～U(-∈,∈)

b_i～U(-∈,∈)

f_i～U(f_min,f_max)

θ_i～U(0,2π)

其中，U(a,b)表示在[a，b]之间的均匀分布，w_i为第i个神经网络权重，b_i为第i个神经网络偏置，f_i为与第i个参数关联的频率，θ_i为第i个参数的初始脉冲相位，∈为初始权重和偏置的小随机值范围，f_min和f_max为脉冲频率的最小值和最大值；

(2)计算误差，根据当前的权重w和偏置b，前向传播得到网络输出，然后计算误差E，误差E定义为网络输出O与目标输出T之间的差异，表示为：

其中，E为网络的误差，是目标输出和实际输出之间的差值的平方的一半之和，O_k为神经网络的第k个输出，T_k为第k个目标输出；

(3)同步更新，对每个权重和偏置，计算与误差E相关的相位偏移Δθ，每个参数的相位偏移Δθ_i定义为：

其中，αk是学习率，Δθ_i为第i个参数的相位偏移；

如果误差增大，Δθ会使参数的脉冲相位与全局相位偏离，从而减小参数的影响；

如果误差减小，Δθ将尝试同步参数的脉冲相位，从而增强参数的影响；

(4)脉冲生成，根据每个参数的频率f和相位θ，生成一个时间窗内的脉冲序列，对于每个参数，生成一个脉冲序列P_i(t)表示为：

P_i(t)＝sin(2πf_it+θ_i+Δθ_i)；

(5)脉冲集成，将所有参数的脉冲序列合并，得到一个综合的脉冲响应，综合的脉冲响应P_total(t)是所有参数脉冲的加权平均，表示为：

其中，kN是神经网络的参数的数量，P_i(t)为第i个参数在时间t的脉冲序列；

(6)自适应性调整，根据综合的脉冲响应和预期的输出，调整每个参数的频率f：

Δf_i＝kβ(P_total(t)-P_i(t))

f_i＝f_i+Δf_i

其中，P_total(t)为在时间t的综合脉冲响应，kβ为频率调整系数，Δf_i为第i个参数的频率调整；

如果某个参数的脉冲与整体脉冲相位不同步，该参数的频率会适当增加，使其更快地同步；

如果某个参数的脉冲与整体脉冲相位同步，该参数的频率会适当减少，使其保持同步；

(7)更新参数，根据每个参数的脉冲响应和自适应性调整后的频率，更新权重w和偏置b，参数更新的公式为：

w_i(t+1)＝w_i(t)+kγ·P_total(t)

b_i(t+1)＝b_i(t)+kγ·P_total(t)

其中，kγ为参数更新的学习率；

所述参数更新的学习率kγ与频率相依系数相关，对于权重矩阵W中的每一个权重w_i，记录其在连续kT个时间步的变化，构建时间序列X_i(t)，其中t从1到kT，表示为：

X_i(t)＝w_i(t)-w_i(t-1)

对于每一个时间序列X_i(t)，进行傅里叶变换，得到频率分布F_i(f)，傅里叶变换的基本公式为：

计算每一个权重频率分布的能量，并将其标准化：

E_i(f)＝|F_i(f)|²

其中，f_max是考虑的最大频率；

定义频率相依系数FDC_i为：

其中，f_mid是一个中间频率值；

如果FDC_i接近1，则说明权重w_i主要存在低频变化，如果FDC_i接近0，则说明权重w_i主要存在高频变化；

(8)脉冲抵消，对于每一对参数w_i和w_j，计算它们的脉冲差异D_ij：

其中，D_ij为第i和j个参数之间的脉冲差异；

基于差异D_ij，对参数进行抵消：

w_i(t+1)＝w_i(t)-mλ·D_ij·w_j(t)

w_j(t+1)＝w_j(t)-mλ·D_ij·w_i(t)

其中，mλ是抵消系数，为预设值；

(9)适应度函数评估，设mE是网络误差，S是参数稀疏性度量，C是计算复杂度度量，适应度函数表示为：

其中，ω₁,ω₂,ω₃是权重系数，κ是一个正常数，是误差的逆函数，当误差mE较小时，其值趋近于1，e^-κS表示鼓励网络参数的稀疏性，当参数越稀疏值越高，log(C+1)是计算复杂度的度量，当网络有更多非零参数时，计算复杂度增加；

网络误差mE是衡量网络输出与目标输出之间差异的标准，如果有mN个输出值，每个目标输出为T_k，网络输出为O_k，则网络误差mE定义为：

参数稀疏性度量S使用L1范数进行度量，L1范数是权重矩阵所有元素的绝对值之和，设权重矩阵为W且有pM个权重，则L1范数定义为：

设权重矩阵为W，则复杂度度量C的计算方式为：

其中，I()是指示函数：如果w_i不为零，则I(w_i≠0)＝1，否则为零；

(10)迭代，重复步骤(2)～(9)，直到达到预设的迭代次数或适应度函数值达到预设的数值。

进一步的，训练分类器的方法为：

设特征提取后的单个样本为特征向量v，训练步骤如下：

(1)初始化，随机初始化所有权重w_ki；

(2)前向传播，计算每个神经元的核心能量E_k，每个神经元的核心能量E_k的计算方法为：

其中，w_ki为神经元与核心之间的连接权重，v_i为特征向量的第i个元素，n为特征向量的长度，E_k为第k个神经元的核心能量，w_ki为第k个神经元与其核心之间的连接权重，n为特征向量的长度；

使用sigmoid函数计算神经元的输出o_k，神经元的输出o_k由sigmoid函数计算，表示为：

其中，α_k为动态学习率；

(3)损失计算，根据给定的目标输出y_k和神经元的实际输出o_k计算损失mL，损失函数mL表示为：

其中，y_k是目标输出，m是输出神经元的数量，o_k为神经元的输出，mL为损失函数；

(4)反向传播，计算学习率nα_k，学习率nα_k由以下公式计算：

其中，nα₀是初始学习率，nβ是预设的常数值；

根据误差和学习率更新权重Δw_ki，权重的更新Δw_ki表示为：

Δw_ki＝nα_k×(y_k-o_k)×o_k×(1-o_k)×v_i

通过量子连接对权重进行进一步调整ΔQ_ki，权重的量子调整ΔQ_ki表示为：

ΔQ_ki＝nγ×sin(θ_ki)

其中，nγ是一个控制量子连接的影响大小的常数，θ_ki是权重w_ki的量子相位；

更新权重权重/>的更新方式表示为：

(5)核心迁移，设E_k,0是神经元k的初始核心能量，是在第t次迭代后的神经元k的核心能量，设pλ是迁移率，取值在0到1之间，则迁移规则为：

当pλ＝1时，核心不会迁移，而当pλ＝0时，核心会完全返回其初始位置；

(6)核心融合与分裂，计算每对神经元之间的相关性R_kl，当两个神经元k和l的相关性R_kl超过阈值pT时，进行融合，相关性R_kl的计算方式表示为：

其中，R_kl为神经元k和l之间的相关性，pn为神经元的数量，T为阈值，用于判断是否应该融合两个神经元；

如果R_kl>pT，那么神经元k和l融合为一个新的神经元；

如果相关性超过阈值pT，则合并相应的神经元；

(7)重复，重复(2)～(6)，直到达到预定的迭代次数或损失小于某个阈值。

本发明的有益效果为：

(1)、更高的安全性：通过整合三种生物识别技术，提供了更多的验证点，增强了解锁的安全性。

(2)、高质量的数据扩充：使用稀疏自表达的生成对抗网络，生成的数据更接近真实数据，可以有效地解决训练样本不足的问题。

(3)、优化的特征提取：自适应性脉冲同步优化的神经网络算法不仅解决了梯度消失和爆炸问题，还提供了更好的优化效果。

(4)、自适应学习：多核心自适应神经网络能够根据训练数据自动调整其结构，使其更好地匹配输入数据，提高了模型的精度和泛化能力。

(5)、实时的物联网解锁识别：训练好的模型能够实时识别是否为具有权限的用户，确保了物联网设备的安全和便捷性。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明技术方案进行清楚、完整地描述。

本申请提供了一种物联网解锁方法，结合了多模态计算机视觉与生物识别技术，主要涉及以下步骤：

(1)数据采集与标注：采集人脸、指纹和语音数据，并标注这些数据；

(2)样本扩充：为了增加训练样本数量，采用基于稀疏自表达的生成对抗网络进行数据增强；

(3)数据预处理：对采集的多模态数据进行预处理，转换为适合后续处理的向量格式，其中，使用基于量子计算的方法处理图像数据；

(4)特征提取：利用基于自适应性脉冲同步优化的神经网络提取数据特征，提高模型训练效率和稳定性；

(5)训练分类器：特征提取后，使用一种多核心自适应神经网络进行分类学习，该神经网络具有自适应调整结构的能力；

(6)物联网解锁识别：最后，使用训练好的模型进行物联网设备的解锁识别，当识别出有权限的用户时，触发解锁装置，否则保持锁定状态。

对于数据采集与标注：

本申请所采集的数据来源于多模态数据，利用三种生物识别技术(人脸识别、指纹识别和语音识别)，分别产生三种不同的数据格式：

F_face：人脸图像数据，格式为图像矩阵，大小为Ma×Na×Ca，其中M和N代表图像的高和宽，Ca代表图像的通道数，常见的RGB图像Ca＝3。属性包括面部轮廓、眼睛、鼻子和嘴巴的位置和形状，主要特征为特定的面部关键点及其相对位置。

F_fingerprint：指纹图像数据，格式为图像矩阵，大小为P×Q×Cb，其中P和Q代表图像的高和宽，Cb为1，表示灰度图，属性包括脊线、池和bifurcation，特征为指纹的细节模式和局部结构。

S_voice：语音序列数据，格式为一维数组，长度为Lc，其中Lc代表语音信号的长度。属性为声波的频率、振幅和相位，特征为频谱特征和声调模式。

例如某一用户的数据为：

其中，对于其人脸图像，其图像矩阵为：

对于其指纹图像，设其图像矩阵为：

对于其语音数据，设其序列为：

对于样本扩充：

可以理解的是，数据的采集与标注是耗时耗力的，同时若训练样本数量不足，将容易导致模型欠拟合，影响模型精度。本发明提出一种基于稀疏自表达的生成对抗网络，传统的生成对抗网络使用生成器和鉴别器的对抗过程来创建新的数据实例，在本发明中，引入稀疏自表达层利用数据的稀疏表示属性来捕获数据中的主要特征，使生成的数据不仅与真实数据更相似，而且更具代表性。

具体的，本发明所采集的多模态数据包括人脸图像、指纹图像、语音序列数据，分别表示这些数据为X_face，X_finger和X_voice，以人脸图像数据X_face为例，数据扩充的主要步骤如下：

(a)初始化：选择合适的稀疏自表达层的参数，以及介质场正则化的强度。同时，初始化字典矩阵D_face和生成器、鉴别器的权重，初始化可以通过标准正态分布实现，可以表示为：

其中，和/>分别表示生成器和鉴别器的初始化权重。

(b)稀疏化：使用L1正则化方法，确保生成数据的表示具有稀疏性质，捕获数据中的关键特征并忽略噪音或不相关的特征。目的是期望数据可以通过它自身的少量线性组合来表示，对于人脸图像，可以表示为：

X_face≈D_faceα_face

其中，D_face是字典矩阵，α_face是稀疏系数矩阵。

进一步地，为了找到最优的α_face，需要最小化以下损失函数：

对L_sparse进行微分，可以得到：

其中，sign(α_face)是元素级的符号函数。

其中，为了确保稀疏性，期望α_face的L1范数尽可能小，即：

且限制于

其中，表示Frobenius范数，∈是一个小的常数表示允许的误差。

(c)自表达性学习：目标是使数据能够使用自己的稀疏线性组合来表示，确保生成的数据与真实数据集中的数据具有相似的结构和分布特性。对于人脸数据，期望每一个数据点x_face,i可以通过其他数据点线性表示，则：

x_face,i＝X_faceβ_i

其中，β_i是系数向量，为了确保自表达性，期望β_i的L2范数尽可能小，但第i项设置为0，即β_i,i＝0.

进一步地，为了学习每一个数据点x_face,i的系数β_i，需最小化以下损失函数：

对L_self,i进行微分，可以得到：

考虑到所有数据点，得到总的损失函数为：

(d)生成器训练：结合稀疏自表达层，生成新的数据实例。此步骤的目标是最小化鉴别器的预测误差、稀疏自表达误差以及L1正则化项。

(e)鉴别器训练：鉴别器的目标是区分生成的数据和真实数据，更新鉴别器的参数以增强其鉴别能力。目标是让鉴别器D尽可能区分真实数据和生成的数据，因此损失函数为：

L_D＝-E[logD(X_real；W_D)]-E[log(1-D(G(z；W_G)；W_D))]

其中，X_real是真实数据，G()是生成器生成的数据，z是随机噪声，E[]表示期望函数。

进一步地，对L_D进行微分，得到鉴别器的梯度更新公式。

进一步地，为了生成新的数据实例，将生成器G与鉴别器D结合起来，损失函数为：

L_GAN＝E[logD(X_real)]+L_D]

则，给定一个随机噪声z，可以通过以下方式使用生成器G生成新的人脸图像：

进一步地，基于稀疏自表达的生成对抗网络的目标函数为：

L＝L_GAN+λa₁L_sparse+λa₂L_self

其中，λa₁和λa₂是平衡参数，由人为预设。

(f)迭代优化：重复上述步骤，利用随机梯度下降来迭代更新上述步骤中的所有参数，直到满足预设的停止准则，即损失函数的收敛或达到预设的迭代次数。

在一个具体的实施例中，设原始数据集中样本的数量为Nc，通过数据扩充增加原始数据集的p％，其中0≤p≤100。则生成样本的数量N_gen可以表示为：

如果有一个包含1000个样本的数据集，并希望通过数据扩充增加该数据集的50％，则N_gen＝0.5×1000＝500。

进一步地，设X_original为原始数据集的表示，维度为de×Ne，其中de是数据的维度。设X_gen为生成的数据集，维度为de×N_gen。则，扩充后的数据集X_augmented可以表示为两个数据集的列拼接：

X_augmented＝[X_original,X_gen]

即，X_augmented的维度为de×(Ne+N_gen)。

如果有一个原始的人脸图像数据集，其中dh＝3且Nh＝1000，假设希望数据扩充50％，则计算生成的样本数量为：

N_gen＝0.5×1000＝500

设原始数据集为：

生成的数据为：

则扩充后的数据集为：

对三种模态的数据扩充完成后，组成扩充后的训练数据集。

对于数据预处理：

将步骤二中采集的多模态数据(人脸图像、指纹图像和语音序列数据)和扩充得到的数据进行预处理，转换为适合后续处理和分析的向量格式。

具体的，对于人脸图像预处理，使用一种基于量子计算的灰度转换方法将图像转换为灰度格式。定义量子位灰度转换函数为：

其中，nk和mk分别为图像的长和宽，Q(x,y)为量子位灰度后的图像像素点值，I(x_i,y_j)为原图像在点(x_i,y_j)的像素值。Q_w(i,j)为量子权重矩阵，与像素位置有关的权重值。为量子叠加操作。

进一步地，使用生物谱解析公式对灰度图像进行处理：

B(x,y)＝∫Q(x,y)·e^-λf(x,y)dx dy

其中，B(x,y)为生物谱解析后的图像。λ为生物谱系数，由人为预设。f(x,y)为生物谱解析函数，具体为关于x和y的二元函数。

进一步地，对于指纹图像预处理，与人脸图像预处理方式相同，首先进行量子位灰度转换，然后进行生物谱解析。

进一步地，对于语音序列数据预处理，使用基于声学原理的新方法进行处理，通过以下公式将语音序列数据映射到一个新的频率空间：

其中，S(f)为新的频率空间中的语音数据，s(t)为原始时间序列中时间点t的数据，Nk为语音序列的总时间点数量，f为新的频率变量，i为虚数单位。

在所有的预处理步骤完成后，将预处理后的数据转换为向量格式，可以表示为：

其中，为最终的数据向量，B(x_i,y_i)为生物谱解析后的图像数据，S(f_j)为声学频率映射后的语音数据。

对于特征提取：

数据预处理完成后，利用神经网络进行特征提取。传统的神经网络通常采用梯度下降法进行参数优化，但容易产生梯度消失和梯度爆炸现象，同时容易陷入局部最优解。本发明提出一种基于自适应性脉冲同步优化的神经网络算法用于特征提取，受神经科学中的脉冲同步理论启发，在神经系统中，大量神经元的同步放电是对特定输入的响应。这种同步的放电可以增强信号传输，提高信息处理的效率。基于本思路，考虑在神经网络的参数优化中利用脉冲同步的机制达到更好的优化效果。

本发明采用的特征提取神经网络为三层前馈神经网络，结构如下：

1、输入层：

输入层神经元的数量：根据输入数据向量的维度决定。如拉伸为一维向量后的维度为00维的输入数据向量，则输入层有100个神经元。

2、隐藏层：

隐藏层包括第一隐藏层和第二隐藏层。

第一隐藏层：

神经元数量：150。

激活函数：ReLU。

第二隐藏层：

神经元数量：50。

激活函数：ReLU。

3、输出层：(注：此输出层为预设输出层，本步骤特征提取后的输出为第二隐藏层的输出，输出层的作用为对神经网络模型进行有监督训练)

神经元数量：与标注数据的类别数量相同，如，对于一个10分类任务，输出层有10个神经元。

激活函数：Softmax，为了得到每个分类的概率输出。

对于神经网络模型的权重与偏置的初始化，使用小的随机值，如使用正态分布初始化，偏置一般初始化为0。如，第一隐藏层的权重矩阵W₁的尺寸是100×150(输入层神经元数量×第一隐藏层神经元数量)，偏置向量b₁的尺寸是150。

神经网络的初始学习率设置为0.001，并采用动态调节策略进行动态调整(后文介绍具体调整方式)。

神经网络在训练时，输入数据的批量大小为128，即每次训练时会取128个样本进行迭代训练。预设的训练轮数为Nepoc轮，即整个数据集会被网络训练Nepoc次。

神经网络训练时，其参数优化的步骤如下：

1、初始化：随机选择网络的参数(权重w和偏置b)。每个参数与一个频率f关联，并设置一个随机初始脉冲相位θ，可以表示为：

w_i～U(-∈,∈)

b_i～U(-∈,∈)

f_i～U(f_min,f_max)

θ_i～U(0,2π)

其中，U(a,b)表示在[a，b]之间的均匀分布。w_i为第i个神经网络权重，b_i为第i个神经网络偏置，f_i为与第i个参数关联的频率，θ_i为第i个参数的初始脉冲相位，U(a,b)为在[a，b]之间的均匀分布，∈为初始权重和偏置的小随机值范围，f_min和f_max为脉冲频率的最小值和最大值。

2、计算误差：根据当前的权重w和偏置b，前向传播得到网络输出，然后计算误差E。误差E可以定义为网络输出O与目标输出T之间的差异，可以表示为：

其中，E为网络的误差，是目标输出和实际输出之间的差值的平方的一半之和。O_k为神经网络的第k个输出，T_k为第k个目标输出。

3、同步更新：对每个权重和偏置，计算与误差E相关的相位偏移Δθ。这是该步骤的关键，它是根据网络输出与实际输出之间的差异来完成的。每个参数的相位偏移Δθ_i定义为：

其中，αk是学习率，Δθ_i为第i个参数的相位偏移。

如果误差增大，Δθ会使参数的脉冲相位与全局相位偏离，从而减小参数的影响。

如果误差减小，Δθ将尝试同步参数的脉冲相位，从而增强参数的影响。

4、脉冲生成：根据每个参数的频率f和相位θ，生成一个时间窗内的脉冲序列。这些脉冲可以看作是该参数对网络输出的“投票”。对于每个参数，生成一个脉冲序列P_i(t)可以表示为：

P_i(t)＝sin(2πf_it+θ_i+Δθ_i)

5、脉冲集成：将所有参数的脉冲序列合并，得到一个综合的脉冲响应。综合的脉冲响应P_total(t)是所有参数脉冲的加权平均可以表示为：

其中，kN是神经网络的参数的数量，P_i(t)为第i个参数在时间t的脉冲序列。

6、自适应性调整：根据综合的脉冲响应和预期的输出，调整每个参数的频率f。根据综合的脉冲响应，调整每个参数的频率：

Δf_i＝kβ(P_total(t)-P_i(t))

f_i＝f_i+Δf_i

其中，P_total(t)为在时间t的综合脉冲响应，kβ为频率调整系数，Δf_i为第i个参数的频率调整。

如果某个参数的脉冲与整体脉冲相位不同步，该参数的频率会适当增加，使其更快地同步。

如果某个参数的脉冲与整体脉冲相位同步，该参数的频率会适当减少，使其保持同步。

7、更新参数：根据每个参数的脉冲响应和自适应性调整后的频率，更新权重w和偏置b。参数更新的公式为：

w_i(t+1)＝w_i(t)+kγ·P_total(t)

b_i(t+1)＝b_i(t)+kγ·P_total(t)

其中，kγ为参数更新的学习率。

进一步地，所述参数更新的学习率kγ与频率相依系数相关。频率相依系数基于傅里叶变换的原理，衡量了权重变化的频率分布。高频的权重变化可能指示过拟合或网络的不稳定性，而低频变化可能指示网络的学习进程是缓慢的或已经收敛。

具体的，对于权重矩阵W中的每一个权重w_i，记录其在连续kT个时间步的变化，构建时间序列X_i(t)，其中t从1到kT，可以表示为：

X_i(t)＝w_i(t)-w_i(t-1)

进一步地，对于每一个时间序列X_i(t)，进行傅里叶变换，得到频率分布F_i(f)。傅里叶变换的基本公式为：

进一步地，为了得到权重的频率相依系数，计算每一个权重频率分布的能量，并将其标准化：

E_i(f)＝|F_i(f)|²

其中，f_max是考虑的最大频率。

进一步地，定义频率相依系数FDC_i为：

其中，f_mid是一个中间频率值。基于此，如果FDC_i接近1，则说明权重w_i主要存在低频变化，可能是稳定的或收敛的。如果FDC_i接近0，则说明权重w_i主要存在高频变化，可能是不稳定的或过拟合。可以更有针对性地调整神经网络中的权重，如，对于高频率相依系数的权重，则设置更小的学习率进行调整，因为参数可能已经接近最优值。而对于低频率相依系数的权重，则设置更大的学习率，以加速它们的学习进程。

8、脉冲抵消：对于每一对参数(例如权重w_i和w_j)，计算它们的脉冲差异。

如果两个参数的脉冲在一个时间窗内高度同步(即它们的相位非常接近)，那么它们将保持其影响并继续同步。

如果两个参数的脉冲在一个时间窗内不同步(即它们的相位有较大差异)，一个参数的脉冲将部分或全部抵消另一个参数的脉冲。这意味着这些参数对网络输出的“投票”将减弱，从而导致它们的影响减少。

具体的，对于每一对参数w_i和w_j，计算它们的脉冲差异D_ij：

其中，D_ij为第i和j个参数之间的脉冲差异。

进一步地，基于差异D_ij，对参数进行抵消：

w_i(t+1)＝w_i(t)-mλ·D_ij·w_j(t)

w_j(t+1)＝w_j(t)-mλ·D_ij·w_i(t)

其中，mλ是抵消系数，由人为预设。

9、适应度函数评估

每次参数更新后，都会评估当前网络的适应度。本发明的适应度函数F的设计为考虑多种因素的复合函数。设mE是网络误差，S是参数稀疏性度量，C是计算复杂度度量，如网络的非零参数数量，适应度函数可以表示为：

其中，ω₁,ω₂,ω₃是权重系数，可以根据实际问题来进行调整。κ是一个正常数，控制稀疏性的影响。是误差的逆函数，当误差mE较小时，其值趋近于1，表示网络的预测非常接近目标。e^-κS表示鼓励网络参数的稀疏性，当参数越稀疏(即大部分参数趋近于0)时，这个值越高，其对于促使模型压缩和防止过拟合非常有用。log(C+1)是计算复杂度的度量，当网络有更多非零参数时，计算复杂度增加，所以适应度函数会减少这个值，从而鼓励简化模型。

进一步地，网络误差mE是衡量网络输出与目标输出之间差异的标准，如果有mN个输出值，每个目标输出为T_k，网络输出为O_k，则网络误差mE定义为：

进一步地，参数稀疏性度量S使用L1范数进行度量，L1范数是权重矩阵所有元素的绝对值之和。设权重矩阵为W且有pM个权重，则L1范数定义为：

进一步地，计算复杂度度量C与网络的非零参数数量有关。更多的非零参数意味着更多的计算工作，本发明提出的度量方法是计算权重矩阵中非零元素的数量，即，设权重矩阵为W，则复杂度度量C的计算方式为：

/>

其中，I()是指示函数：如果w_i不为零，则I(w_i≠0)＝1，否则为零。

10、迭代：重复步骤2-9，直到达到预设的迭代次数或适应度函数值达到预设的数值。

对于训练分类器：

特征提取完成后，将特征提取后的训练样本输入到分类器中进行分类，所述特征提取后的样本特征为第二隐藏层的输出特征。本发明提出一种多核心自适应神经网络的分类算法，将神经网络的层级结构与物理原理相结合，通过自适应的方式调整神经网络的结构，从而更好地匹配输入数据。

在多核心自适应神经网络中，每个神经元都有一个“核心”结构，该结构模拟了原子核的特性。每个核心都有能量水平，当神经元被激活时，该核心的能量会增加，从而影响它与相邻神经元的连接强度。网络中的每一层都可以根据其在前一轮迭代中的表现自动调整其结构，这种自适应是基于模拟退火算法。当某一层的表现低于预期时，该层的神经元数目会增加，而当它的表现超过预期时，则会减少。此外，为了应对多模态数据的复杂性，多核心自适应神经网络采用一种融合与分裂机制。当两个神经元的活动模式相似时，它们会“融合”为一个更强大的神经元，反之，一个神经元如果接收到多种不同类型的输入，它会“分裂”为两个子神经元。

具体的，设特征提取后的单个样本为特征向量v，多核心自适应神经网络的训练步骤如下：

1、初始化：随机初始化所有权重w_ki。

2、前向传播：

计算每个神经元的核心能量E_k。每个神经元的核心能量E_k的计算方法为：

其中，w_ki为神经元与核心之间的连接权重，v_i为特征向量的第i个元素，n为特征向量的长度，E_k为第k个神经元的核心能量，w_ki为第k个神经元与其核心之间的连接权重，n为特征向量的长度。

使用sigmoid函数计算神经元的输出o_k。神经元的输出o_k由sigmoid函数计算，可以表示为：

其中，α_k为动态学习率。

3、损失计算：根据给定的目标输出y_k和神经元的实际输出o_k计算损失mL。损失函数mL可以表示为：

其中，y_k是目标输出，m是输出神经元的数量。o_k为神经元的输出，mL为损失函数。

4、反向传播：

计算学习率nα_k。学习率nα_k由以下公式计算：

其中，nα₀是初始学习率。nβ是一个常数，由人为预设，用于控制学习率的衰减速度。

根据误差和学习率更新权重Δw_ki。权重的更新Δw_ki可以表示为：

Δw_ki＝nα_k×(y_k-o_k)×o_k×(1-o_k)×v_i

通过量子连接对权重进行进一步调整ΔQ_ki。权重的量子调整ΔQ_ki可以表示为：

ΔQ_ki＝nγ×sin(θ_ki)

其中，nγ是一个常数，控制量子连接的影响大小。θ_ki是权重w_ki的量子相位。

更新权重权重/>的更新方式可以表示为：

5、核心迁移：为了加强模型的泛化能力和提供对噪声数据的鲁棒性，采用自适应核心迁移的策略进行调整。具体的，在神经网络的训练中，随着迭代的进行，权重的更新可能会导致某些神经元的核心E_k被“拉向”某些样本或噪声，这种现象可能导致网络对训练数据过拟合。为了避免这一问题，在每次迭代之后对核心进行微小的迁移，以使其更接近其初始位置。

具体的，设E_k,0是神经元k的初始核心能量，是在第t次迭代后的神经元k的核心能量。设pλ是迁移率，取值在0到1之间。则迁移规则为：

在每次迭代后，都会将神经元的核心能量“迁移”回其初始位置的一小部分。迁移率pλ控制了迁移的速度。当pλ＝1时，核心不会迁移，而当pλ＝0时，核心会完全返回其初始位置。

6、核心融合与分裂：

计算每对神经元之间的相关性R_kl。当两个神经元k和l的相关性R_kl超过阈值pT时，进行融合。相关性R_kl的计算方式可以表示为：

其中，R_kl为神经元k和l之间的相关性，pn为神经元的数量。T为阈值，用于判断是否应该融合两个神经元。

如果R_kl>pT，那么神经元k和l融合为一个新的神经元。

如果相关性超过阈值pT，则合并相应的神经元。

7、重复：重复2到6步骤，直到满足停止条件(如，达到预定的迭代次数或损失小于某个阈值)。

对于物联网解锁识别：

利用训练样本训练模型，模型训练完成后，利用训练好的模型进行物联网解锁识别，当识别为具有权限的用户时，则触发解锁装置，否则，不触发解锁装置。

本发明提出的基于多模态计算机视觉与生物识别物联网解锁方法，主要创新点包括：

1、多模态生物识别技术：这是整个系统的数据输入部分，包括人脸识别、指纹识别和语音识别。多模态识别的优势在于它可以提高识别的准确性和鲁棒性，因为三种生物标志的结合提供了比单一模式更多的信息。

2、基于稀疏自表达的生成对抗网络(GAN)：这个技术用于数据扩充，稀疏自表达层的加入增加了生成数据的质量，使其更接近真实的生物标志数据。

3、基于量子计算的灰度转换方法：为人脸图像预处理提供了一个可能更为高效的方法。量子计算的引入可能为图像处理带来了速度和精度上的提升。

4、自适应性脉冲同步优化的神经网络算法：这是一种受神经科学启发的神经网络优化算法，可能为网络的训练带来了更高的效率和更好的性能。

5、脉冲相位与频率相依系数：这是神经网络权重调整的一个关键因素，它可能为网络的参数优化提供了更为精细的控制手段。

6、多核心自适应神经网络的分类算法：这是模型训练和识别的核心部分，它结合了神经网络的层级结构与物理原理，使模型能够更好地匹配多模态输入数据。

基于以上技术，产生的技术效果包括：

1、更高的安全性：通过整合三种生物识别技术，提供了更多的验证点，增强了解锁的安全性。

2、高质量的数据扩充：使用稀疏自表达的生成对抗网络，生成的数据更接近真实数据，可以有效地解决训练样本不足的问题。

3、优化的特征提取：自适应性脉冲同步优化的神经网络算法不仅解决了梯度消失和爆炸问题，还提供了更好的优化效果。

4、自适应学习：多核心自适应神经网络能够根据训练数据自动调整其结构，使其更好地匹配输入数据，提高了模型的精度和泛化能力。

5、实时的物联网解锁识别：训练好的模型能够实时识别是否为具有权限的用户，确保了物联网设备的安全和便捷性。

以上实施例仅用以说明本发明的技术方案，而非对其限制。

Claims (5)

1.基于多模态计算机视觉与生物识别物联网解锁方法，其特征在于，包括：

采集人脸、指纹和语音数据，并标注这些数据；

对采集的数据进行样本扩充；

对采集的数据进行预处理；

对预处理后的数据提取数据特征；

使用特征提取后的数据训练分类器；

使用训练好的模型执行解锁，当识别出权限用户后触发解锁，否则保持锁定；

样本扩充的方法为：

(1)初始化，选择合适的稀疏自表达层的参数，以及介质场正则化的强度，同时初始化字典矩阵D_face和生成器、鉴别器的权重，表示为：

其中，和/>分别表示生成器和鉴别器的初始化权重；

(2)稀疏化，使用L1正则化方法，捕获数据中的关键特征并忽略噪音或不相关的特征，表示为：

X_face≈D_faceα_face

其中，D_face是字典矩阵，α_face是稀疏系数矩阵；

最小化以下损失函数找到最优的α_face：

对L_sparse进行微分，得到：

其中，sign(α_face)是元素级的符号函数；

期望α_face的L1范数尽可能小，即：

且限制于

其中，表示Frobenius范数，∈是一个小的常数表示允许的误差；

(3)自表达性学习，表示为：

x_face,i＝X_faceβ_i

其中，β_i是系数向量，期望β_i的L2范数尽可能小，但第i项设置为0，即β_i,i＝0；

需最小化以下损失函数学习每一个数据点x_face,i的系数β_i：

对L_self,i进行微分，得到：

得到总的损失函数为：

(4)生成器训练，结合稀疏自表达层，生成新的数据实例；

(5)鉴别器训练，让鉴别器D尽可能区分真实数据和生成的数据，因此损失函数为：

L_D＝-E[logD(X_real；W_D)]-E[log(1-D(G(z；W_G)；W_D))]

其中，X_real是真实数据，G()是生成器生成的数据，z是随机噪声，E[]表示期望函数；

对L_D进行微分，得到鉴别器的梯度更新公式；

将生成器G与鉴别器D结合起来，损失函数为：

L_GAN＝E[logD(X_real)]+L_D]

给定一个随机噪声z，通过以下方式使用生成器G生成新的人脸图像：

基于稀疏自表达的生成对抗网络的目标函数为：

L＝L_GAN+λa₁L_sparse+λa₂L_self

其中，λa₁和λa₂是平衡参数，由人为预设；

(6)迭代优化，重复上述步骤，利用随机梯度下降来迭代更新上述步骤中的所有参数，直到即损失函数的收敛或达到预设的迭代次数。

2.根据权利要求1所述的基于多模态计算机视觉与生物识别物联网解锁方法，其特征在于，人脸数据为Ma×Na×Ca的图像矩阵，其中M和N代表图像的高和宽，Ca代表图像的通道数；指纹数据为P×Q×Cb的图像矩阵，其中P和Q代表图像的高和宽，Cb为1的灰度图；语音数据为长度为Lc的一维数组。

3.根据权利要求1所述的基于多模态计算机视觉与生物识别物联网解锁方法，其特征在于，对采集的数据进行预处理的方法为：

对于人脸图像和指纹图像预处理，定义量子位灰度转换函数为：

其中，nk和mk分别为图像的长和宽，Q(x,y)为量子位灰度后的图像像素点值，I(x_i,y_j)为原图像在点(x_i,y_j)的像素值，Q_w(i,j)为量子权重矩阵，与像素位置有关的权重值，为量子叠加操作；

使用生物谱解析公式对灰度图像进行处理：

B(x,y)＝∫Q(x,y)·e^-λf(x,y)dxdy

其中，B(x,y)为生物谱解析后的图像，λ为生物谱系数，由人为预设，f(x,y)为生物谱解析函数，具体为关于x和y的二元函数；

对于语音序列数据预处理，通过以下公式将语音序列数据映射到一个新的频率空间：

其中，S(f)为新的频率空间中的语音数据，s(t)为原始时间序列中时间点t的数据，Nk为语音序列的总时间点数量，f为新的频率变量，i为虚数单位；

在所有的预处理步骤完成后，将预处理后的数据转换为向量格式，可以表示为：

其中，为最终的数据向量，B(x_i,y_i)为生物谱解析后的图像数据，S(f_j)为声学频率映射后的语音数据。

4.根据权利要求1所述的基于多模态计算机视觉与生物识别物联网解锁方法，其特征在于，对预处理后的数据提取数据特征的方法为：

采用三层前馈神经网络结构如下：

输入层：根据输入数据向量的维度决定输入层神经元的数量；

隐藏层：隐藏层包括第一隐藏层和第二隐藏层，第一隐藏层的神经元数量为150，激活函数为ReLU；第二隐藏层的神经元数量为50，激活函数为ReLU；

输出层：具有与标注数据的类别数量相同的神经元，激活函数为Softmax；

神经网络训练时，参数优化的步骤如下：

(1)初始化，随机选择网络的参数，并设置一个随机初始脉冲相位θ，表示为：

w_i～U(-∈,∈)

b_i～U(-∈,∈)

f_i～U(f_min,f_max)

θ_i～U(0,2π)

其中，U(a,b)表示在[a，b]之间的均匀分布，w_i为第i个神经网络权重，b_i为第i个神经网络偏置，f_i为与第i个参数关联的频率，θ_i为第i个参数的初始脉冲相位，∈为初始权重和偏置的小随机值范围，f_min和f_max为脉冲频率的最小值和最大值；

(2)计算误差，根据当前的权重w和偏置b，前向传播得到网络输出，然后计算误差E，误差E定义为网络输出O与目标输出T之间的差异，表示为：

其中，E为网络的误差，是目标输出和实际输出之间的差值的平方的一半之和，O_k为神经网络的第k个输出，T_k为第k个目标输出；

(3)同步更新，对每个权重和偏置，计算与误差E相关的相位偏移Δθ，每个参数的相位偏移Δθ_i定义为：

其中，αk是同步更新的学习率，Δθ_i为第i个参数的相位偏移；

如果误差增大，Δθ会使参数的脉冲相位与全局相位偏离，从而减小参数的影响；

如果误差减小，Δθ将尝试同步参数的脉冲相位，从而增强参数的影响；

(4)脉冲生成，根据每个参数的频率f和相位θ，生成一个时间窗内的脉冲序列，对于每个参数，生成一个脉冲序列P_i(t)表示为：

P_i(t)＝sin(2πf_it+θ_i+Δθ_i)；

(5)脉冲集成，将所有参数的脉冲序列合并，得到一个综合的脉冲响应，综合的脉冲响应P_total(t)是所有参数脉冲的加权平均，表示为：

其中，kN是神经网络的参数的数量，P_i(t)为第i个参数在时间t的脉冲序列；

(6)自适应性调整，根据综合的脉冲响应和预期的输出，调整每个参数的频率f：

Δf_i＝kβ(P_total(t)-P_i(t))

f_i＝f_i+Δf_i

其中，P_total(t)为在时间t的综合脉冲响应，kβ为频率调整系数，Δf_i为第i个参数的频率调整；

如果某个参数的脉冲与整体脉冲相位不同步，该参数的频率会适当增加，使其更快地同步；

如果某个参数的脉冲与整体脉冲相位同步，该参数的频率会适当减少，使其保持同步；

(7)更新参数，根据每个参数的脉冲响应和自适应性调整后的频率，更新权重w和偏置b，参数更新的公式为：

w_i(t+1)＝w_i(t)+kγ·P_total(t)

b_i(t+1)＝b_i(t)+kγ·P_total(t)

其中，kγ为参数更新的学习率；

所述参数更新的学习率kγ与频率相依系数相关，对于权重矩阵W中的每一个权重w_i，记录其在连续kT个时间步的变化，构建时间序列X_i(t)，其中t从1到kT，表示为：

X_i(t)＝w_i(t)-w_i(t-1)

对于每一个时间序列X_i(t)，进行傅里叶变换，得到频率分布F_i(f)，傅里叶变换的基本公式为：

计算每一个权重频率分布的能量，并将其标准化：

E_i(f)＝|F_i(f)|²

其中，f_max是考虑的最大频率；

定义频率相依系数FDC_i为：

其中，f_mid是一个中间频率值；

如果FDC_i接近1，则说明权重w_i主要存在低频变化，如果FDC_i接近0，则说明权重w_i主要存在高频变化；

(8)脉冲抵消，对于每一对参数w_i和w_j，计算它们的脉冲差异D_ij：

其中，D_ij为第i和j个参数之间的脉冲差异；

基于差异D_ij，对参数进行抵消：

w_i(t+1)＝w_i(t)-mλ·D_ij·w_j(t)

w_j(t+1)＝w_j(t)-mλ·D_ij·w_i(t)

其中，mλ是抵消系数，为预设值；

(9)适应度函数评估，设mE是网络误差，S是参数稀疏性度量，C是计算复杂度度量，适应度函数表示为：

其中，ω₁,ω₂,ω₃是权重系数，κ是一个正常数，是误差的逆函数，当误差mE较小时，其值趋近于1，e^-κS表示鼓励网络参数的稀疏性，当参数越稀疏值越高，log(C+1)是计算复杂度的度量，当网络有更多非零参数时，计算复杂度增加；

网络误差mE是衡量网络输出与目标输出之间差异的标准，如果有mN个输出值，每个目标输出为T_k，网络输出为O_k，则网络误差mE定义为：

参数稀疏性度量S使用L1范数进行度量，L1范数是权重矩阵所有元素的绝对值之和，设权重矩阵为W且有pM个权重，则L1范数定义为：

设权重矩阵为W，则复杂度度量C的计算方式为：

其中，I()是指示函数：如果w_i不为零，则I(w_i≠0)＝1，否则为零；

(10)迭代，重复步骤(2)～(9)，直到达到预设的迭代次数或适应度函数值达到预设的数值。

5.根据权利要求1所述的基于多模态计算机视觉与生物识别物联网解锁方法，其特征在于，训练分类器的方法为：

设特征提取后的单个样本为特征向量v，训练步骤如下：

(1)初始化，随机初始化所有权重w_ki；

(2)前向传播，计算每个神经元的核心能量E_k，每个神经元的核心能量E_k的计算方法为：

其中，w_ki为神经元与核心之间的连接权重，v_i为特征向量的第i个元素，n为特征向量的长度，E_k为第k个神经元的核心能量，w_ki为第k个神经元与其核心之间的连接权重，n为特征向量的长度；

使用sigmoid函数计算神经元的输出o_k，神经元的输出o_k由sigmoid函数计算，表示为：

(3)损失计算，根据给定的目标输出y_k和神经元的实际输出o_k计算损失mL，损失函数mL表示为：

其中，y_k是目标输出，m是输出神经元的数量，o_k为神经元的输出，mL为损失函数；

(4)反向传播，计算反向传播的学习率nα_k，反向传播的学习率nα_k由以下公式计算：

其中，nα₀是初始学习率，nβ是预设的常数值；

根据误差和学习率更新权重Δw_ki，权重的更新Δw_ki表示为：

Δw_ki＝nα_k×(y_k-o_k)×o_k×(1-o_k)×v_i

通过量子连接对权重进行进一步调整ΔQ_ki，权重的量子调整ΔQ_ki表示为：

ΔQ_ki＝nγ×sin(θ_ki)

其中，nγ是一个控制量子连接的影响大小的常数，θ_ki是权重w_ki的量子相位；

更新权重权重/>的更新方式表示为：

(5)核心迁移，设E_k,0是神经元k的初始核心能量，是在第t次迭代后的神经元k的核心能量，设pλ是迁移率，取值在0到1之间，则迁移规则为：

当pλ＝1时，核心不会迁移，而当pλ＝0时，核心会完全返回其初始位置；

(6)核心融合与分裂，计算每对神经元之间的相关性R_kl，当两个神经元k和l的相关性R_kl超过阈值pT时，进行融合，相关性R_kl的计算方式表示为：

其中，R_kl为神经元k和l之间的相关性，pn为神经元的数量，T为阈值，用于判断是否应该融合两个神经元；

如果R_kl>pT，那么神经元k和l融合为一个新的神经元；

如果相关性超过阈值pT，则合并相应的神经元；

(7)重复，重复(2)～(6)，直到达到预定的迭代次数或损失小于某个阈值。