CN111814661A - 基于残差-循环神经网络的人体行为识别方法 - Google Patents

Abstract

本发明提出了一种基于残差‑循环神经网络的人体行为识别方法，其实现步骤为：获取多个人体骨架关键点信息；获取训练集、验证集和测试集；构建残差‑循环神经网络；对残差‑循环神经网络进行训练；获取人体行为识别结果；本发明通过检测提取视频中的单人图像，对其进行骨架关键点检测得到人体骨架关键点，并采用残差‑循环神经网络实现最终的行为识别，在去除视频中冗余信息的基础上融合了空间和时间维度的特征，极大的减少了模型的计算量并使得提取的特征信息更为全面，有效提高了视频中人体行为识别的准确率和速度。

Description

基于残差-循环神经网络的人体行为识别方法

技术领域

本发明属于图像处理技术领域，涉及一种行为识别方法，具体涉及一种基于残差-循环神经网络的人体行为识别方法，可用于智能监控、人机交互等领域。

背景技术

视频人体行为识别任务是利用计算机自动分析处理视频数据，得到人体行为类别的过程，是计算机视觉领域最具挑战的任务之一。主要是理解和研究视频和图像序列中以人体为主要对象的各类动作以及各种交互行为、交互关系。在人机交互、视频标注推荐、运动分析、安防监控等真实场景中有极强的应用性。

传统的人体行为识别算法通常采用人工设计特征的方式提取信息，而这些方法往往工作量较大，算法设计复杂。在面对复杂真实场景时，易受到遮挡、光线、角度变化等的干扰，识别准确率很大程度依赖于算法对视频中特征信息的表达能力。深度学习已经在图像及视频内容理解领域有了很好的发展，基于深度学习的特征提取方法自主的从样本中学习运动对象特征并进行描述，与人类认知的机理类似，相对于传统方法，在复杂背景和实际应用中有着更好的表现能力，为人体行为识别算法设计带来了新的思考，

例如申请公布号为CN 110321833 A，名称为“基于卷积神经网络和循环神经网络的人体行为识别方法”的专利申请，公开了一种基于卷积神经网络和循环神经网络的人体行为识别方法，包含如下步骤：使用传感器跟踪人体行为，收集该时间段内人体关节的三维坐标向量组以及RGB视频。然后使用循环神经网络RNN对人体关节的三维坐标进行训练，得出时间特征向量。使用卷积神经网络CNN对RGB视频训练，得到时空特征向量，最后结合时间特征向量和时空特征向量并归一化，并馈送到线性SVM的分类器，使用验证数据集，找到线性支持向量机SVM的参数C，最终得到一个综合识别模型。该方法的不足之处是：对于较长的视频序列，普通的循环神经网络在训练过程中易出现梯度传递的问题，无法捕获长时间依赖进而影响识别精度；并且人体骨架关键点的三维坐标信息需使用特定相机且在简单场景下才可精确获取，而实际生活中一般获取到的均为原始视频数据，该方法应用性不强。

例如申请公布号为CN 109101876 A，名称为“基于长短时记忆网络的人体行为识别方法”的专利申请，公开了一种基于长短时记忆网络的人体行为识别方法。该方法将所述视频分割成若干视频片段，通过VGG-16Net模型和RNN神经网络进行视频片段预处理，获得时间序列数据，数据归一化处理后，将无量纲数据输入到LSTM网络中，所述LSTM网络输出人体特征向量，将所述人体特征向量输入到softmax分类器中进行分类。该方法使用长短时记忆网络可有效过滤视频中的冗余信息并有效利用视频帧之间的时序信息，但是其直接对视频片段进行处理，计算量较大，且模型缺乏对视频空间信息的捕获，进而影响识别准确率及速度。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于残差-循环神经网络的人体行为识别方法，旨在提高人体行为识别的准确率和速度。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取多个人体骨架关键点信息：

(1a)从数据集中获取n个带类别标签的原始人体视频样本，组成人体视频样本集V＝{V₁,V₂,...,V_i,...,V_n}，V的行为类别数量为R，并以t为帧间隔对每个视频样本V_i进行帧提取，得到V对应的帧图像集P＝{P₁,P₂,...,P_i,...,P_n}，其中，V_i表示第i个人体视频样本，n≥25000，P_i表示V_i对应的帧图像集合，P_i＝{P_i1,P_i2,...,P_ij,...,P_im}，P_ij表示V_i中的第j个帧图像，m表示帧图像的总数，m≥60；

(1b)对P_ij中的人体位置进行检测，并提取检测结果中的单人图像，得到P_i对应的单人图像集合，P_i′＝{P_i1′,P_i2′,...,P_ij′,...,P_im′}，则P对应的单人图像集为P′＝{P₁′,P₂′,...,P_i′,...,P_n′}；

(1c)对P_ij′进行骨架关键点检测，得到P_i′对应的包含18个骨架关键点位置的单人分布热图集合，Q_i′＝{Q_i1′,Q_i2′,...,Q_ij′,...,Q_im′}，则P′对应的单人分布热图集为Q′＝{Q₁′,Q₂′,...,Q_i′,...,Q_n′}，其中18个骨架关键点包括鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、左眼、右眼、左耳、右耳；

(1d)将分布热图Q_ij′中高亮点坐标位置组合，得到单个视频样本V_i对应的带类别标签的骨架关键点集合L_i′＝{L_i1′,L_i2′,...,L_ij′,...,L_im′}，则带类别标签的原始人体视频样本集合V对应的带类别标签的总骨架关键点集合表示为L′＝{L₁′,L₂′,...,L_i′,...,L_n′}，其中，L_ij′表示所述单帧单人图像的骨架关键点集合，

其中，

表示单帧单人图像骨架关键点集合L_ij′中的第k个关键点坐标；

(2)获取训练集、验证集和测试集：

将L′中半数以上带类别标签的骨架关键点集合组成训练集，其余带类别标签的骨架关键点集合一半组成验证集，一半组成测试集；

(3)构建残差-循环神经网络C：

构建包括残差神经网络以及与其级联的循环神经网络的残差-循环神经网络模型C，其中,残差神经网络包括依次连接的卷积层、池化层、多个残差单元和多个全连接层，循环神经网络包括依次连接的长短时间记忆网络、全连接层和softmax输出层；

(4)对残差-循环神经网络C进行训练：

(4a)设迭代次数为t，设迭代每进行10次的标志为b，最大迭代次数为T，T≥60，设定识别准确率阈值为α，并令t＝0，b＝tmod10；

(4b)将从训练集中随机且不放回的选取N₁个L_i′依次输入到C中，输出L_i′对应的预测类别标签，并利用损失值计算公式，计算当前时刻残差-循环神经网络C_t的损失值E_t,其中类别标签及预测类别标签均为行数等于1，列数等于原始人体视频样本集的类别数量R的向量；

(4c)采用反向传播算法，并通过损失值E_t对残差神经网络中卷积层卷积核的参数ω_km、残差神经网络中各全连接层结点之间的连接参数θ_ij、循环神经网络中长短时间记忆网络与全连接层之间的连接参数θ_i，以及残差神经网络与循环神经网络之间的连接参数θ进行更新，得到更新后的残差-循环神经网络C_t；

(4d)判断t＜T是否成立，若是，则进行步骤(4e)，否则，执行步骤(4g)；

(4e)判断b＝0是否成立，若是执行步骤(4f),否则，令t＝t+1，执行步骤(4b)；

(4f)将验证集中所有的单个视频对应的骨架关键点集合及类别标签依次输入到C_t中，输出每个原始人体视频样本对应的预测类别标签，并利用识别准确率计算公式，计算残差-循环神经网络C_t在验证集上的识别准确率α_t′；

(4g)判断α_t′≥α是否成立，若是，得到训练好的残差-循环神经网络C′，否则，令t＝t+1，执行步骤(4b)；

(5)获取人体行为识别结果：

将测试集输入到C′中，得到识别结果。

本发明与现有技术相比，具有以下优点：

第一，本发明构建的残差-循环神经网络，其中残差单元模块的使用提升了网络提取更深层次信息的能力，并且其基于感受野大小不同的卷积核，融合了同一分辨率的信息；长短时间记忆网络的使用有效去除了视频中的冗余信息，并捕获视频帧之间的长距离依赖，模型整体融合了空间及时间维度的特征信息，解决了现有技术缺乏捕获长距离依赖能力及获取视频空间信息能力的问题，有效提高了人体行为识别的准确率。

第二，本发明通过对原始人体视频样本中的人体位置进行检测，提取检测结果中的单人图像，并进行骨架关键点检测得到视频中人体骨架关键点，解决了现有技术中直接对视频片段处理，导致模型参数量过大，进而对视频中人体行为识别速度下降的问题，有效提高了行为识别的速度。克服了现有技术中精确获取人体骨架关键点需使用特定相机且场景简单的限制，从而可对日常相机所采集的人体视频样本进行行为识别，易于推广应用。

附图说明

图1为本发明的实现流程图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：

(1)获取多个人体骨架关键点信息：

(1a)本实施例采用同类中最大、最复杂的跨视角动作数据集NTU RGB+D，从数据集中获取n个带类别标签的原始人体视频样本，组成人体视频样本集V＝{V₁,V₂,...,V_i,...,V_n}，V的行为类别数量为R，并以t为帧间隔对每个视频样本V_i进行帧提取，得到V对应的帧图像集P＝{P₁,P₂,...,P_i,...,P_n}，其中，V_i表示第i个人体视频样本，n≥25000，P_i表示V_i对应的帧图像集合，P_i＝{P_i1,P_i2,...,P_ij,...,P_im}，P_ij表示V_i中的第j个帧图像，m表示帧图像的总数，m≥60；

(1b)本实施例采取现阶段准确率较高的Yolo_V3模型对P_ij中的人体位置进行检测，并提取检测结果中的单人图像，得到P_i对应的单人图像集合，P_i′＝{P_i1′,P_i2′,...,P_ij′,...,P_im′}，则P对应的单人图像集为P′＝{P₁′,P₂′,...,P_i′,...,P_n′}；

(1c)本实施例采取现阶段准确率较高且速率较快的多尺度特征融合的多阶段级联新型网络HRNet模型对P_ij′进行骨架关键点检测，得到P_i′对应的包含18个骨架关键点位置的单人分布热图集合，Q_i′＝{Q_i1′,Q_i2′,...,Q_ij′,...,Q_im′}，则P′对应的单人分布热图集为Q′＝{Q₁′,Q₂′,...,Q_i′,...,Q_n′}，其中18个骨架关键点包括鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、左眼、右眼、左耳、右耳；HRNet模型在网络计算过程中可一直保持输入特征图的高分辨率，特征图为高分辨率的网络做为主干网络，保留最精细的信息，接着把通过下采样得到的各低分辨率子网逐个渐进添加以形成多个网络阶段。主干网络并行连接各个多分辨率子网，以获取更多的全局信息。通过特征融合模块交换高分辨率表征信息和低分辨率表征信息，使得低分辨率表征信息可用来增强高分辨率主干网络的学习，高分辨率表征也可用于增强低分辨率子网的学习。并行连接使得高分辨率表征得以保持，预测结果在空间上更加准确。不同分辨率的图像采样到相同的尺度反复融合，加之网络的学习能力，会使得多次融合后的结果更加趋近于正确的表示；

(1d)将分布热图Q_ij′中高亮点坐标位置组合，得到单个视频样本V_i对应的带类别标签的骨架关键点集合L_i′＝{L_i1′,L_i2′,...,L_ij′,...,L_im′}，则带类别标签的原始人体视频样本集合V对应的带类别标签的总骨架关键点集合表示为L′＝{L₁′,L₂′,...,L_i′,...,L_n′}，其中，L_ij′表示所述单帧单人图像的骨架关键点集合，

其中，

表示单帧单人图像骨架关键点集合L_ij′中的第k个关键点坐标；

(2)获取训练集、验证集和测试集：

将L′中半数以上带标签的骨架关键点集合组成训练集，其余带标签的骨架关键点集合一半组成验证集，一半组成测试集；

(3)构建残差-循环神经网络C：

构建包括残差神经网络以及与其级联的循环神经网络的残差-循环神经网络模型C。其中,残差神经网络包括依次连接的卷积层、池化层、七个残差单元和十三个全连接层，该残差神经网络各层具体参数如下：

卷积层的卷积核大小为7×7，卷积核数量为64，卷积核步长为2；

池化层的池化区域大小设置为3×3，池化步长为2；

第一、二、三个残差单元的卷积步长均为1，第四、五、六、七个残差单元的卷积步长均为2，数据经过残差单元时输入及输出维度相同，达到恒等映射的目的，并且基于感受野大小不同的卷积核，融合同一分辨率的信息，使得所构建的残差神经网络同时融合了空间及时间维度的信息，每个残差单元包含三个依次层叠的卷积层，各层具体参数如下：

第一个卷积层的卷积核大小为1×1，卷积核数量为64；

第二个卷积层的卷积核大小为3×3，卷积核数量为64；

第三个卷积层的卷积核大小为1×1，卷积核数量为256；

全连接层所连接的结点个数为512；

全连接层增加特征向量维度，可根据实际需要自动调节全连接层的长度，保证时间、空间上的权重均衡，以增加模型复杂度；

循环神经网络包括依次连接的长短时间记忆网络、全连接层和softmax输出层，其中所包含的全连接层所连接的结点个数与原始人体视频样本集的类别数量R相等，网络利用长短时间记忆网络输入门的特性有选择的输入，过滤掉多余的特征信息，减少对整体时序的干扰，遗忘门可将之前时刻所得到的特征信息有选择的向后传递，去除了原始数据中的冗余信息，并捕获视频帧图像间的长距离依赖；

(4)对残差-循环神经网络C进行训练：

(4a)设迭代次数为t，设迭代每进行10次的标志为b,最大迭代次数为T，T≥60，设定识别准确率阈值为α，并令t＝0，b＝tmod10；

(4b)将从训练集中随机且不放回的选取N₁个单个视频样本对应的带标签的骨架关键点集合L_i′依次输入到C中，输出L_i′对应的预测类别标签，其中类别标签及预测类别标签均为行数等于1，列数等于原始人体视频样本集的类别数量R的向量。并利用损失值计算公式，计算当前时刻残差-循环神经网络C_t的损失值E_t，其计算方式为：

其中，E_t表示所选取的N₁个单个视频样本对应的带标签的骨架关键点集合L_i′输入到C_t后C_t的损失值，N₁表示每次选取的L_i′数量，即训练样本数量，∑表示求和操作，n₁表示所选的单个训练样本的序号，c₁表示训练集的类别标签总列数，k₁表示单个训练样本类别标签的列数序号，

表示第n₁个训练样本的类别标签中第k₁列的元素，log表示以e为底的对数操作，

表示第n₁个训练样本的预测类别标签中第k₁列的元素；

(4c)采用反向传播算法，得到并通过损失值E_t对残差神经网络中卷积层卷积核的参数ω_km、残差神经网络中各全连接层结点之间的连接参数θ_ij、循环神经网络中长短时间记忆网络与全连接层之间的连接参数θ_i，以及残差神经网络与循环神经网络之间的连接参数θ进行更新，更新后的残差-循环神经网络C_t，其更新操作方式为：

其中，ω_km′表示ω_km的更新结果，θ_ij′表示θ_ij的更新结果，θ_i′表示θ_i的更新结果，θ′表示θ的更新结果，β表示残差-循环神经网络的学习速率，β为0.001，

表示求偏导操作，E_t表示当前损失值；

(4d)判断t＜T是否成立，若是，则进行步骤(4e)，否则，执行步骤(4g)；

(4e)判断b＝0是否成立，若是执行步骤(4f),否则，令t＝t+1，执行步骤(4b)；

(4f)将验证集中所有的单个视频对应的骨架关键点集合及类别标签依次输入到C_t中，输出每个原始人体视频样本对应的预测类别标签，并利用识别准确率计算公式，计算残差-循环神经网络C_t在验证集上的识别准确率α_t′，其计算方式为：

其中，N₂表示验证集样本数量，∑表示求和操作，n₂表示所选的单个验证集样本的序号，c₂表示验证集的类别标签总列数，k₂表示单个验证集样本类别标签的列数序号，⊙表示同或操作，argmax表示取最大值下标操作，

表示第n₂个验证集样本的类别标签中第k₂列的元素，

表示第n₂个验证集样本的预测类别标签中第k₂列的元素；

(4g)判断α_t′≥α是否成立，若是，得到训练好的残差-循环神经网络C′，否则，令t＝t+1，执行步骤(4b)；

(5)获取人体行为识别结果：

将测试集输入到C′中，得到识别结果。

Claims (9)

1.一种基于残差-循环神经网络的人体行为识别方法，其特征在于，包括如下步骤：

(1)获取多个人体骨架关键点信息：

(1a)从数据集中获取n个带类别标签的原始人体视频样本，组成人体视频样本集V＝{V₁,V₂,...,V_i,...,V_n}，V的行为类别数量为R，并以t为帧间隔对每个视频样本V_i进行帧提取，得到V对应的帧图像集P＝{P₁,P₂,...,P_i,...,P_n}，其中，V_i表示第i个人体视频样本，n≥25000，P_i表示V_i对应的帧图像集合，P_i＝{P_i1,P_i2,...,P_ij,...,P_im}，P_ij表示V_i中的第j个帧图像，m表示帧图像的总数，m≥60；

(1b)对P_ij中的人体位置进行检测，并提取检测结果中的单人图像，得到P_i对应的单人图像集合，P_i′＝{P_i1′,P_i2′,...,P_ij′,...,P_im′}，则P对应的单人图像集为P′＝{P₁′,P₂′,...,P_i′,...,P_n′}；

(1c)对P_ij′进行骨架关键点检测，得到P_i′对应的包含18个骨架关键点位置的单人分布热图集合，Q_i′＝{Q_i1′,Q_i2′,...,Q_ij′,...,Q_im′}，则P′对应的单人分布热图集为Q′＝{Q₁′,Q₂′,...,Q_i′,...,Q_n′}，其中18个骨架关键点包括鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、左眼、右眼、左耳、右耳；

(1d)将分布热图Q_ij′中高亮点坐标位置组合，得到单个视频样本V_i对应的带类别标签的骨架关键点集合L_i′＝{L_i1′,L_i2′,...,L_ij′,...,L_im′}，则带类别标签的原始人体视频样本集合V对应的带类别标签的总骨架关键点集合表示为L′＝{L₁′,L₂′,...,L_i′,...,L_n′}，其中，L_ij′表示所述单帧单人图像的骨架关键点集合，

其中，

表示单帧单人图像骨架关键点集合L_ij′中的第k个关键点坐标；

(2)获取训练集、验证集和测试集：

将L′中半数以上带类别标签的骨架关键点集合组成训练集，其余带类别标签的骨架关键点集合一半组成验证集，一半组成测试集；

(3)构建残差-循环神经网络C：

构建包括残差神经网络以及与其级联的循环神经网络的残差-循环神经网络模型C，其中,残差神经网络包括依次连接的卷积层、池化层、多个残差单元和多个全连接层，循环神经网络包括依次连接的长短时间记忆网络、全连接层和softmax输出层；

(4)对残差-循环神经网络C进行训练：

(4a)设迭代次数为t，设迭代每进行10次的标志为b，最大迭代次数为T，T≥60，设定识别准确率阈值为α，并令t＝0，b＝tmod10；

(4b)将从训练集中随机且不放回的选取N₁个L_i′依次输入到C中，输出L_i′对应的预测类别标签，并利用损失值计算公式，计算当前时刻残差-循环神经网络C_t的损失值E_t,其中类别标签及预测类别标签均为行数等于1，列数等于原始人体视频样本集的类别数量R的向量；

(4c)采用反向传播算法，并通过损失值E_t对残差神经网络中卷积层卷积核的参数ω_km、残差神经网络中各全连接层结点之间的连接参数θ_ij、循环神经网络中长短时间记忆网络与全连接层之间的连接参数θ_i，以及残差神经网络与循环神经网络之间的连接参数θ进行更新，得到更新后的残差-循环神经网络C_t；

(4d)判断t＜T是否成立，若是，则进行步骤(4e)，否则，执行步骤(4g)；

(4e)判断b＝0是否成立，若是执行步骤(4f),否则，令t＝t+1，执行步骤(4b)；

(4f)将验证集中所有的单个视频对应的骨架关键点集合及类别标签依次输入到C_t中，输出每个原始人体视频样本对应的预测类别标签，并利用识别准确率计算公式，计算残差-循环神经网络C_t在验证集上的识别准确率α_t′；

(4g)判断α_t′≥α是否成立，若是，得到训练好的残差-循环神经网络C′，否则，令t＝t+1，执行步骤(4b)；

(5)获取人体行为识别结果：

将测试集输入到C′中，得到识别结果。

2.根据权利要求1所述的基于残差-循环神经网络的人体行为识别方法，其特征在于,步骤(1a)中所述的数据集采用NTU RGB+D数据集。

3.根据权利要求1所述的基于残差-循环神经网络的人体行为识别方法，其特征在于，步骤(1b)中所述的对P_ij中的人体位置进行检测，并提取检测结果中的单人图像，所采用的方法为Yolo_V3或Mask RCNN。

4.根据权利要求1所述的基于残差-循环神经网络的人体行为识别方法，其特征在于，步骤(1c)中所述的对P_ij′进行骨架关键点检测，所采用的方法为HRNet或Hourglass。

5.根据权利要求1所述的基于残差-循环神经网络的人体行为识别方法，其特征在于，步骤(3)所述的残差神经网络，其包含七个依次连接的残差单元，每个残差单元包含三个依次层叠的卷积层，全连接层的数量为十三，该残差神经网络各层具体参数如下：

卷积层的卷积核大小为7×7，卷积核数量为64，卷积核步长为2；

池化层的池化区域大小设置为3×3，池化步长为2；

第一、二、三个残差单元的卷积步长均为1，第四、五、六、七个残差单元的卷积步长均为2，每个残差单元各层具体参数如下：

第一个卷积层的卷积核大小为1×1，卷积核数量为64；

第二个卷积层的卷积核大小为3×3，卷积核数量为64；

第三个卷积层的卷积核大小为1×1，卷积核数量为256；

全连接层所连接的结点个数为512。

6.根据权利要求1中所述的基于残差-循环神经网络的人体行为识别方法，其特征在于，步骤(3)所述的循环神经网络，其所包含的全连接层所连接的结点个数与原始人体视频样本的类别数量R相等。

7.根据权利要求1所述的基于残差-循环神经网络的人体行为识别方法，其特征在于，步骤(4b)所述当前时刻残差-循环神经网络C_t的损失值E_t，计算公式如下：

其中，E_t表示所选取的N₁个单个视频样本对应的带标签的骨架关键点集合L_i′输入到C_t后C_t的损失值，N₁表示每次选取的L_i′数量，即训练样本数量，∑表示求和操作，n₁表示所选的单个训练样本的序号，c₁表示训练集的类别标签总列数，k₁表示单个训练样本类别标签的列数序号，

表示第n₁个训练样本的类别标签中第k₁列的元素，log表示以e为底的对数操作，

表示第n₁个训练样本的预测类别标签中第k₁列的元素。

8.根据权利要求1所述的基于残差-循环神经网络的人体行为识别方法，其特征在于，步骤(4c)中所述的采用反向传播算法，通过损失值E_t对残差神经网络中卷积层卷积核的参数ω_km、残差神经网络中各全连接层结点之间的连接参数θ_ij、循环神经网络中长短时间记忆网络与全连接层之间的连接参数θ_i，以及残差神经网络与循环神经网络之间的连接参数θ进行更新，更新公式分别为：

其中，ω_km′表示ω_km的更新结果，θ_ij′表示θ_ij的更新结果，θ_i′表示θ_i的更新结果，θ′表示θ的更新结果，β表示残差-循环神经网络的学习速率，β为0.001，

表示求偏导操作，E_t表示当前损失值。

9.根据权利要求1所述的基于残差-循环神经网络的人体行为识别方法，其特征在于，步骤(4f)中所述的残差-循环神经网络C_t在验证集上的识别准确率α_t′，计算公式为：

其中，N₂表示验证集样本数量，∑表示求和操作，n₂表示所选的单个验证集样本的序号，c₂表示验证集的类别标签总列数，k₂表示单个验证集样本类别标签的列数序号，⊙表示同或操作，argmax表示取最大值下标操作，

表示第n₂个验证集样本的类别标签中第k₂列的元素，

表示第n₂个验证集样本的预测类别标签中第k₂列的元素。

Images