CN113792627A - 一种基于表情识别的风险学生预测方法 - Google Patents

一种基于表情识别的风险学生预测方法 Download PDF

Info

Publication number
CN113792627A
CN113792627A CN202111002632.8A CN202111002632A CN113792627A CN 113792627 A CN113792627 A CN 113792627A CN 202111002632 A CN202111002632 A CN 202111002632A CN 113792627 A CN113792627 A CN 113792627A
Authority
CN
China
Prior art keywords
student
expression
negative
risk
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111002632.8A
Other languages
English (en)
Other versions
CN113792627B (zh
Inventor
刘海
张昭理
吴远芳
李林峰
赵万里
张胜强
时振武
童宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202111002632.8A priority Critical patent/CN113792627B/zh
Publication of CN113792627A publication Critical patent/CN113792627A/zh
Application granted granted Critical
Publication of CN113792627B publication Critical patent/CN113792627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于表情识别的风险学生预测方法，该方法包括以下步骤：1)将输入的学生人脸图像转为张量，将这些张量按比例分为训练集和测试集；2)训练基于表情识别风险学生的学习模型，构造分为消极表情和非消极表情的二维高斯软标签，将训练集张量输入基于标签分布的学习模型，利用预测标签和真实标签之间的KL‑loss来训练学习模型；3)将测试集张量输入训练好的学习模型中进行特征提取和表情识别，将识别的结果存储到学生情绪库；4)根据学生的表情识别的结果分析学生的情绪状态，判断该学生是否为风险学生。本发明设计了新的学习模型并将表情分为积极表情和消极表情利用二维标签来进行表情识别，提升了识别准确性，可有效预测风险学生。

Description

一种基于表情识别的风险学生预测方法
技术领域
本发明涉及计算机视觉技术，尤其涉及一种基于表情识别的风险学生预测方法。
背景技术
近年来，随着社会竞争的加大学生的压力也逐渐加重，学生群体中出现学习的问题也越来越多，学习问题的增多引发学生的学习风险。当前针对学生学习问题而引发的学习风险还未找到行之有效的方法。随着深度学习的发展，人脸表情识别可以为学生风险预测提供有效帮助。人脸表情是人类表达内心情感和意图最普遍的信号之一，有研究表明在表达情感和态度时，面部表情所能传达的信息高达93％，将人脸表情识别用于风险学生检测中可以真实可靠的反映学生状态。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于表情识别的风险学生预测方法。
本发明解决其技术问题所采用的技术方案是：一种基于表情识别的风险学生预测方法，包括以下步骤：
1)将输入的学生人脸图像转为张量，将这些张量按比例分为训练集和测试集；
2)训练基于表情识别风险学生的学习模型，构造分为消极表情和非消极表情的二维高斯软标签，将训练集张量输入基于标签分布的学习模型，以预测标签分布和真实标签分布之间的差异最小化为目标训练学习模型；
所述基于表情识别风险学生的学习模型是基于卷积神经网络模型表征的N2N(Negative and Non-negative Network)识别模型；
3)将测试集张量输入训练好的学习模型中进行特征提取和表情识别，将识别的结果存储到学生情绪库；
4)根据学生的表情识别的结果分析学生的情绪状态，判断该学生是否为风险学生。
按上述方案，步骤1)中将输入的人脸图像转为张量，具体如下，将人脸图像按照固定的尺寸进行随机分割，在图片的右上角，左上角，中心，左下角，右下角进行切割，并做镜像转换，图像数据扩大10倍，然后将这些图像数据进行几何归一化，转为张量tensor。
按上述方案，所述学习模型包括：
主干网络结构，包括13个由卷积层、BatchNorm层和ReLu层组成的卷积模块，每一个卷积模块后面连接一个平均池化层，在第二、第四、第七、第十和第十三个平均池化层后分别连接一个最大池化层，最后连接一个全连接层；
主干网络结构的输入为张量图像，主干网络结构的输出维度为12的特征向量；
向量相似度计算模块，用于将给定两张面部表情图像(Img1,Img2)的维度为12的特征向量进行余弦相似度计算cos(Img1,Img2),以此代表表情图像之间的相似度，其中，Img1和Img2分别为消极表情和非消极表情图像；
标签分布模块，用于以消极表情和非消极表情为X和Y轴，将表情相似度作为Z轴，将消极表情和非消极表情相似度按中心螺旋排序分布到三维坐标系中，服从高斯分布；
所述基本表情包括：开心:Ha，惊讶:Su，中性:Ne，悲伤:Sa，害怕:Fe，厌恶:Di，生气:An，其中开心:Ha，惊讶:Su，中性:Ne为非消极表情，悲伤:Sa，害怕:Fe，厌恶:Di，生气:An为消极表情；
标签学习模块，利用二维高斯分布来学习表情中消极情绪和非消极情绪的分布；
消极情绪和非消极情绪的高斯分布
g(Img1,Img2)＝[1/(2*pi*o’2)]*exp(-(Img12+Img22)/(2*o’2))，
其中，表示Img1为消极表情(非消极表情)的语义特征，Img2为非消极表情(消极表情)的语义特征，g(Img1,Img2)表示消极表情与非消极表情之间的高斯分布计算。
用KL-Loss计算损失
Figure BDA0003236057860000041
其中，Di是真实标签分布，
Figure BDA0003236057860000042
是预测的标签分布，j为样本空间中的第j个样本。
按上述方案，所述训练学习模型的过程如下：
步骤2.1)将训练集train_data按8:2比例分为真实训练集true_train_data和验证集vail_data；
步骤2.2)选择Adam优化器，利用KL散度作为损失函数，衡量学习获得的标签分布和真实标签分布的相似程度；
步骤2.3)进行循环训练，将数据输入学习模型中前向传播，计算损失，然后反向传播，不断更新模型参数；
步骤2.4)利用验证集选择模型的超参数。
按上述方案，所述向量相似度计算模块中，真实标签分布与预测的标签分布的相似度计算过程如下：
第i个卷积模块的输出fl为
fi＝RL(BN(Wi×fi-1+bi))
其中，fi-1表示上一层的输出，i∈[1,13]的整数，当i＝1时fi-1＝Img，即为原输入图片；Wi表示第i层的权重，bi表示第i层的偏置；
Figure BDA0003236057860000051
Figure BDA0003236057860000052
Figure BDA0003236057860000053
Figure BDA0003236057860000054
其中，ai表示卷积层多维输出中一个维度，A＝{a1,a2,……am}；μA为卷积层输出的平均值；
Figure BDA0003236057860000055
为卷积层输出的方差；γ、β和∈为需要学习的超参数。
RL(b)＝max(0,b)
其中，b表示BatchNorm层的输出；
FC(Img)＝Linear(f13)
其中，Linear()表示全连接层，FC(Img)∈Rbatch_size×12；
Figure BDA0003236057860000056
按上述方案，所述步骤3)中识别结果获取具体如下：
将测试集张量test_data输入由训练集训练好的标签分布学习模型前向传播，输出大小为12的一维向量，最后通过一个全连接层得到各种表情分数分布情况，将表情分数最高的表情作为识别结果。
按上述方案，所述步骤4)中风险学生的判断为：当学生在选定时间段内表情识别结果消极情绪次数C大于设定阈值K时判定学生在选定时间段内为风险学生。
本发明产生的有益效果是：
本发明设计了新的学习模型并将表情分为积极表情和消极表情利用二维标签来学习表情进行表情识别，抑制了表情识别的不确定性，提升了识别准确性，可根据学生真实的长期状态有效预测风险学生，可应用于智慧教育并及时对风险学生进行干预。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的方法流程图；
图2是本发明实施例的数据预处理示意图；
图3是本发明实施例的学习模型结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，一种基于表情识别的风险学生预测方法，包括以下步骤：
1)将输入的学生人脸图像转为张量，将这些张量按比例分为训练集和测试集；
如图2，本实施例中，将输入的人脸图像转为张量为将人脸图像按照固定的尺寸进行随机分割，在图片的右上角，左上角，中心，左下角，右下角进行切割，并做镜像转换，图像数据扩大10倍，然后将这些图像数据进行几何归一化，转为张量tensor。
2)训练基于表情识别风险学生的学习模型，构造分为消极表情和非消极表情的二维高斯软标签，将训练集张量输入基于标签分布的学习模型，利用预测标签和真实标签之间的KL-loss来训练学习模型；
本实施例中基于表情识别风险学生的学习模型是基于卷积神经网络模型表征的N2N识别模型；
本实施例中学习模型包括：
主干网络结构，包括13个由卷积层、BatchNorm层和ReLu层组成的卷积模块，每一个卷积模块后面连接一个平均池化层，在第二、第四、第七、第十和第十三个平均池化层后分别连接一个最大池化层，最后连接一个全连接层；
表1主干网络结构及参数
Figure BDA0003236057860000081
Figure BDA0003236057860000091
Figure BDA0003236057860000101
主干网络结构的输入为张量图像，主干网络结构的输出是维度为12的特征向量，表示4种消极表情和3种非消极表情构成的二维高斯分布；
向量相似度计算模块，用于将给定两张面部表情图像(Img1,Img2)的维度为12的特征向量进行余弦相似度计算cos(Img1,Img2),以此代表表情图像之间的相似度，其中，Img1和Img2分别为消极表情和非消极表情图像；
真实标签分布与预测的标签分布的相似度计算过程如下：
第i个卷积模块的输出fl为
fi＝RL(BN(Wi×fi-1+bi))
其中，fi-1表示上一层的输出，i∈[1,13]的整数，当i＝1时fi-1＝Img，即为原输入图片；Wi表示第i层的权重，bi表示第i层的偏置；
Figure BDA0003236057860000111
Figure BDA0003236057860000112
Figure BDA0003236057860000113
Figure BDA0003236057860000114
其中，ai表示卷积层多维输出中一个维度，A＝{a1,a2,……am}；μA为卷积层输出的平均值；
Figure BDA0003236057860000115
为卷积层输出的方差；γ、β和∈为需要学习的超参数。
RL(b)＝max(0,b)
其中，b表示BatchNorm层的输出；
FC(Img)＝Linear(f13)
其中，Linear()表示全连接层，FC(Img)∈Rbatch_size×12；
Figure BDA0003236057860000121
标签分布模块，用于以消极表情和非消极表情为X和Y轴，将表情相似度作为Z轴，将消极表情和非消极表情相似度按中心螺旋排序分布到三维坐标系中，服从高斯分布；
所述基本表情包括：开心:Ha，惊讶:Su，中性:Ne，悲伤:Sa，害怕:Fe，厌恶:Di，生气:An，其中开心:Ha，惊讶:Su，中性:Ne为非消极表情，悲伤:Sa，害怕:Fe，厌恶:Di，生气:An为消极表情；
标签学习模块，利用二维高斯分布来学习表情中消极情绪和非消极情绪的分布；
消极情绪和非消极情绪的分布
g(Img1,Img2)＝[1/(2*pi*o’2)]*exp(-(Img12+Img22)/(2*o’2))，
其中，表示Img1为消极表情(非消极表情)的语义特征，Img2为非消极表情(消极表情)的语义特征，g(Img1,Img2)表示消极表情与非消极表情之间的高斯分布计算
用KL-Loss计算损失
Figure BDA0003236057860000131
其中，Di是真实标签分布，
Figure BDA0003236057860000132
是预测的标签分布，j为样本空间中的第j个样本；
训练学习模型的过程如下：
步骤2.1)将训练集train_data按8:2比例分为真实训练集true_train_data和验证集vail_data；
步骤2.2)选择Adam优化器，利用KL散度作为损失函数，衡量学习获得的标签和真实标签分布的相似程度；
步骤2.3)进行循环训练，将数据输入学习模型中前向传播，计算损失，然后反向传播，不断更新模型参数；
步骤2.4)利用验证集选择模型的超参数。
3)将测试集张量输入训练好的学习模型中进行特征提取和表情识别，将识别的结果存储到学生情绪库；
将测试集张量test_data输入由训练集训练好的标签分布学习模型前向传播，输出大小为12的一维向量，最后通过一个全连接层得到各种表情分数分布情况，将表情分数最高的表情作为识别结果
4)根据学生的表情识别的结果分析学生的情绪状态，判断该学生是否为风险学生，风险学生的判断为：当学生在选定时间段内表情识别结果消极情绪次数C大于设定阈值K时判定学生在选定时间段内为风险学生。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于表情识别的风险学生预测方法，其特征在于，包括以下步骤：
1)将输入的学生人脸图像转为张量，将这些张量按比例分为训练集和测试集；
2)训练基于表情识别风险学生的学习模型，构造分为消极表情和非消极表情的二维高斯软标签，将训练集张量输入基于标签分布的学习模型，以预测标签分布和真实标签分布之间的差异最小化为目标训练学习模型；
3)将测试集张量输入训练好的学习模型中进行特征提取和表情识别，将识别的结果存储到学生情绪库；
4)根据学生的表情识别的结果分析学生的情绪状态，判断该学生是否为风险学生。
2.根据权利要求1所述的基于表情识别的风险学生预测方法，其特征在于，步骤1)中将输入的人脸图像转为张量，具体如下，输入的人脸图像依次经过随机切割、镜像转换以及几何归一化操作，转为张量。
3.根据权利要求1所述的基于表情识别的风险学生预测方法，其特征在于，步骤1)中将输入的人脸图像转为张量为将人脸图像按照固定的尺寸进行随机分割，在图片的右上角，左上角，中心，左下角和右下角进行切割，并做镜像转换，图像数据扩大10倍，然后将这些图像数据进行几何归一化，转为张量tensor。
4.根据权利要求1所述的基于表情识别的风险学生预测方法，其特征在于，所述学习模型包括：
主干网络结构，包括13个由卷积层、BatchNorm层和ReLu层组成的卷积模块，每一个卷积模块后面连接一个平均池化层，在第二、第四、第七、第十和第十三个平均池化层后分别连接一个最大池化层，最后连接一个全连接层；
主干网络结构的输入为张量图像，主干网络结构的输出维度为12的特征向量；
向量相似度计算模块，用于将给定两张面部表情图像(Img1,Img2)的维度为12的特征向量进行余弦相似度计算cos(Img1,Img2),以此代表表情图像之间的相似度，其中，Img1和Img2分别为消极表情和非消极表情图像；
标签分布模块，用于以消极表情和非消极表情为X和Y轴，将表情相似度作为Z轴，将消极表情和非消极表情相似度按中心螺旋排序分布到三维坐标系中，服从高斯分布；
所述基本表情包括：开心:Ha，惊讶:Su，中性:Ne，悲伤:Sa，害怕:Fe，厌恶:Di，生气:An，其中开心:Ha，惊讶:Su，中性:Ne为非消极表情，悲伤:Sa，害怕:Fe，厌恶:Di，生气:An为消极表情；
标签学习模块，利用二维高斯分布来学习表情中消极情绪和非消极情绪的分布；
消极情绪和非消极情绪的高斯分布：
g(Img1,Img2)＝[1/(2*pi*o’2)]*exp(-(Img12+Img22)/(2*o’2))，
其中，表示Img1为消极表情的语义特征，Img2为非消极表情的语义特征，g(Img1,Img2)表示消极表情与非消极表情之间的高斯分布计算；
用KL-Loss计算损失
Figure FDA0003236057850000031
其中，Di是真实标签分布，
Figure FDA0003236057850000032
是预测的标签分布，j为样本空间中的第j个样本。
5.根据权利要求4所述的基于表情识别的风险学生预测方法，其特征在于，所述训练学习模型的过程如下：
步骤2.1)将训练集train_data按8:2比例分为真实训练集true_train_data和验证集vail_data；
步骤2.2)选择Adam优化器，利用KL散度作为损失函数，衡量学习获得的标签和真实标签分布的相似程度；
步骤2.3)进行循环训练，将数据输入学习模型中前向传播，计算损失，然后反向传播，不断更新模型参数；
步骤2.4)利用验证集选择模型的超参数。
6.根据权利要求4所述的基于表情识别的风险学生预测方法，其特征在于，所述向量相似度计算模块中，真实标签分布与预测的标签分布的相似度计算过程如下：
第i个卷积模块的输出fi为
fi＝RL(BN(Wi×fi-1+bi))
其中，fi-1表示上一层的输出，i∈[1,13]的整数，当i＝1时fi-1＝Img，即为原输入图片；Wi表示第i层的权重，bi表示第i层的偏置；
Figure FDA0003236057850000041
Figure FDA0003236057850000042
Figure FDA0003236057850000043
Figure FDA0003236057850000044
其中，ai表示卷积层多维输出中一个维度，A＝{a1,a2,……am}；μA为卷积层输出的平均值；
Figure FDA0003236057850000045
为卷积层输出的方差；γ、β和∈为需要学习的超参数；
RL(b)＝max(0,b)
其中，b表示BatchNorm层的输出；
FC(Img)＝Linear(f13)
其中，Linear()表示全连接层，FC(Img)∈Rbatch_size×12；
Figure FDA0003236057850000051
7.根据权利要求1所述的基于表情识别的风险学生预测方法，其特征在于，所述步骤3)中识别结果获取具体如下：
将测试集张量test_data输入由训练集训练好的标签分布学习模型前向传播，输出大小为12的一维向量，最后通过一个全连接层得到各种表情分数分布情况，将表情分数最高的表情作为识别结果。
8.根据权利要求1所述的基于表情识别的风险学生预测方法，其特征在于，所述步骤4)中风险学生的判断为：当学生在选定时间段内表情识别结果消极情绪次数C大于设定阈值K时判定学生在选定时间段内为风险学生。
CN202111002632.8A 2021-08-30 2021-08-30 一种基于表情识别的风险学生预测方法 Active CN113792627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111002632.8A CN113792627B (zh) 2021-08-30 2021-08-30 一种基于表情识别的风险学生预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111002632.8A CN113792627B (zh) 2021-08-30 2021-08-30 一种基于表情识别的风险学生预测方法

Publications (2)

Publication Number Publication Date
CN113792627A true CN113792627A (zh) 2021-12-14
CN113792627B CN113792627B (zh) 2023-11-07

Family

ID=78876620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111002632.8A Active CN113792627B (zh) 2021-08-30 2021-08-30 一种基于表情识别的风险学生预测方法

Country Status (1)

Country Link
CN (1) CN113792627B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705379A (zh) * 2019-09-12 2020-01-17 广州大学 一种基于多标签学习的卷积神经网络的表情识别方法
CN110807420A (zh) * 2019-10-31 2020-02-18 天津大学 一种融合特征提取和深度学习的人脸表情识别方法
US20210073526A1 (en) * 2019-09-10 2021-03-11 Blue Planet Training, Inc. System and Method for Visual Analysis of Emotional Coherence in Videos
CN113221650A (zh) * 2021-04-09 2021-08-06 李辉 一种基于优化AlexNet人脸表情识别方法
CN113239914A (zh) * 2021-07-13 2021-08-10 北京邮电大学 课堂学生表情识别及课堂状态评估方法、装置
US20210244325A1 (en) * 2020-02-06 2021-08-12 Charles Isgar Mood aggregation system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210073526A1 (en) * 2019-09-10 2021-03-11 Blue Planet Training, Inc. System and Method for Visual Analysis of Emotional Coherence in Videos
CN110705379A (zh) * 2019-09-12 2020-01-17 广州大学 一种基于多标签学习的卷积神经网络的表情识别方法
CN110807420A (zh) * 2019-10-31 2020-02-18 天津大学 一种融合特征提取和深度学习的人脸表情识别方法
US20210244325A1 (en) * 2020-02-06 2021-08-12 Charles Isgar Mood aggregation system
CN113221650A (zh) * 2021-04-09 2021-08-06 李辉 一种基于优化AlexNet人脸表情识别方法
CN113239914A (zh) * 2021-07-13 2021-08-10 北京邮电大学 课堂学生表情识别及课堂状态评估方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹建成;曹秀玲;: "一种基于改进的卷积神经网络的人脸表情识别方法", 北方工业大学学报, no. 02 *

Also Published As

Publication number Publication date
CN113792627B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN110609891B (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN110414432B (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN108182427B (zh) 一种基于深度学习模型和迁移学习的人脸识别方法
CN110688502B (zh) 一种基于深度哈希和量化的图像检索方法及存储介质
CN112100346B (zh) 基于细粒度图像特征和外部知识相融合的视觉问答方法
CN112528928B (zh) 一种基于自注意力深度网络的商品识别方法
CN111291556B (zh) 基于实体义项的字和词特征融合的中文实体关系抽取方法
CN112818861A (zh) 一种基于多模态上下文语义特征的情感分类方法及系统
Hasan An application of pre-trained CNN for image classification
CN113157678B (zh) 一种多源异构数据关联方法
CN112949740B (zh) 一种基于多级度量的小样本图像分类方法
CN112990296A (zh) 基于正交相似度蒸馏的图文匹配模型压缩与加速方法及系统
CN114239585A (zh) 一种生物医学嵌套命名实体识别方法
KR20200010672A (ko) 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템
CN116129141B (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN117688936B (zh) 一种图文融合的低秩多模态融合情感分析方法
CN115393933A (zh) 一种基于帧注意力机制的视频人脸情绪识别方法
CN113361278A (zh) 一种基于数据增强与主动学习的小样本命名实体识别方法
CN114627282A (zh) 目标检测模型的建立方法、应用方法、设备、装置及介质
CN112988970A (zh) 一种服务于智能问答系统的文本匹配算法
Sen et al. Face recognition using deep convolutional network and one-shot learning
CN114937182A (zh) 一种基于情感轮和卷积神经网络的图像情感分布预测方法
CN108388918B (zh) 具有结构保持特性的数据特征选择方法
CN117828121A (zh) 一种依存属性增强的文搜图行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant