CN110458058A - 表情的识别方法和装置 - Google Patents
表情的识别方法和装置 Download PDFInfo
- Publication number
- CN110458058A CN110458058A CN201910692411.4A CN201910692411A CN110458058A CN 110458058 A CN110458058 A CN 110458058A CN 201910692411 A CN201910692411 A CN 201910692411A CN 110458058 A CN110458058 A CN 110458058A
- Authority
- CN
- China
- Prior art keywords
- expression
- brain
- classifier
- brain signal
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 440
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000004556 brain Anatomy 0.000 claims abstract description 242
- 238000012549 training Methods 0.000 claims description 128
- 238000012360 testing method Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 27
- 230000001815 facial effect Effects 0.000 claims description 24
- 239000012141 concentrate Substances 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000008921 facial expression Effects 0.000 abstract description 36
- 230000019771 cognition Effects 0.000 abstract description 7
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005481 NMR spectroscopy Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010053238 Amimia Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000027294 Fusi Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种表情的识别方法和装置，通过获取待检测人员观察到表情时的脑部信号，将该脑部信号输入到包括多个分类器的表情识别模型，进而，根据多个分类器的输出结果确定待检测的脑部信号对应的表情。由于表情识别模型中的多个分类器考虑到大脑对不同面部表情的认知机理，因此，表情识别模型具有描述大脑对不同面部表情对应的脑信号的层次分布结构，通过该表情识别模型可以更合理确定待检测的脑部信号对应的表情，提高了面部表情识别的准确率。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种表情的识别方法和装置。
背景技术
从大脑神经信号解码视觉感知物是当前国际上备受关注的前沿领域。这一技术结合机器学习相关方法通过对从受试者采集到的功能性磁共振成像(functional MagneticResonance Imaging，fMRI)信号进行分析，可以获知受试者观察到的物体的信息。
目前，存在许多根据受试者fMRI信号分析受试者观察到的人脸面部表情的技术，然而，由于这些技术没有考虑大脑对不同面部表情在认知模型结构上存在的差异，导致面部表情的解码效果较差，面部表情识别的准确率较低。
发明内容
本申请提供了一种表情的识别方法和装置，用于解决面部表情的解码效果较差，面部表情识别的准确率较低的问题。
第一方面，本申请提供了一种表情的识别方法，包括：
获取待检测的脑部信号；所述待检测的脑部信号为待检测人员观察到表情时的脑部信号；
将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率；所述表情识别模型是以测试人员观察预设N种表情时的脑部信号为输入，以所述预设N种表情分别对应的分类准确率为输出训练得到的模型；所述表情识别模型包括N-1个分类器，所述分类器用于输出与所述分类器对应的表情的分类准确率，其中，所述N-1个分类器中的一个分类器与所述预设N种表情中的两种表情对应，剩余的N-2个分类器与剩余的N-2种表情一一对应；N为大于1的整数；
根据所述N种表情分别对应的分类准确率，确定所述待检测的脑部信号对应的表情。
可选的，所述将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率之前，还包括：
根据所述待检测的脑部信号，分别获取预设多个脑区的脑部信号；所述将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率，包括：
将每个脑区的脑部信号输入到该脑区对应的表情识别模型中，得到该脑区的N种表情分别对应的分类准确率；
所述根据所述N种表情分别对应的分类准确率，确定所述待检测的脑部信号对应的表情，包括：
根据每个脑区的N种表情分别对应的权重值和分类准确率，确定所述待检测的脑部信号对应的表情。
可选的，所述获取待检测的脑部信号之前，还包括：
获取训练数据集；所述训练数据集包括测试人员观察所述预设N种表情时的脑部信号；
根据所述训练数据集训练所述表情识别模型。
可选的，所述根据所述训练数据集训练所述表情识别模型，包括：
根据所述训练数据集，针对所述预设N种表情中的每种表情执行第一操作，得到所述预设N种表情分别对应的分类准确率；
将所述预设N种表情中分类准确率最大的表情对应的分类器确定为所述表情识别模型中的第一个分类器，并将所述分类准确率最大的表情确定为所述第一个分类器对应的表情；
删除所述训练数据集中各个测试人员观察所述第一个分类器对应的表情时的脑部信号，获得更新后的训练数据集，并根据所述更新后的训练数据集，针对所述预设N种表情中除所述第一个分类器对应的表情之外的每种表情执行第一操作，获取所述表情识别模型中的第二个分类器；以此类推，直至获取所述表情识别模型中的第N-1个分类器；
其中，所述第一操作包括：
将所述训练数据集划分为训练样本集和测试样本集；所述训练样本集包括多个测试人员观察所述预设N种表情时的脑部信号；
将所述训练样本集划分为第一样本集和第二样本集；所述第一样本集包括所述训练样本集中所述多个测试人员观察该表情时的脑部信号；所述第二样本集包括所述训练样本集中所述多个测试人员观察除该表情之外的N-1种表情时的脑部信号；
根据所述第一样本集和所述第二样本集训练分类器；
根据所述测试样本集对所述分类器进行测试，获取该表情的分类准确率。
可选的，所述针对所述预设N种表情中的每种表情执行第一操作，包括：
针对所述预设N种表情中的每种表情，执行多次第一操作；其中，多次第一操作中训练样本集包括的测试人员不同；
根据所述多次第一操作分别获取的该表情的分类准确率，获取该表情对应的分类准确率。
可选的，所述训练数据集包括测试人员观察人脸图像样本集时的脑部信号，所述人脸图像样本集包括K个人中每个人的预设N种表情的图片。
可选的，所述人脸图像样本集中的图片的视觉信息相同，所述视觉信息包括下列中的至少一项：颜色、灰度、肤色和头发。
第二方面，本申请提供了一种表情的识别装置，包括：
第一获取模块，用于获取待检测的脑部信号；所述待检测的脑部信号为待检测人员观察到表情时的脑部信号；
第一处理模块，用于将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率；所述表情识别模型是以测试人员观察预设N种表情时的脑部信号为输入，以所述预设N种表情分别对应的分类准确率为输出训练得到的模型；所述表情识别模型包括N-1个分类器，所述分类器用于输出与所述分类器对应的表情的分类准确率，其中，所述N-1个分类器中的一个分类器与所述预设N种表情中的两种表情对应，剩余的N-2个分类器与剩余的N-2种表情一一对应；N为大于1的整数；
确定模块，用于根据所述N种表情分别对应的分类准确率，确定所述待检测的脑部信号对应的表情。
可选的，还包括第二处理模块，所述第二处理模块用于：
在所述第一处理模块将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率之前，根据所述待检测的脑部信号，分别获取预设多个脑区的脑部信号；
所述第一处理模块具体用于：
将每个脑区的脑部信号输入到该脑区对应的表情识别模型中，得到该脑区的N种表情分别对应的分类准确率；
所述确定模块具体用于：
根据每个脑区的N种表情分别对应的权重值和分类准确率，确定所述待检测的脑部信号对应的表情。
可选的，还包括第二获取模块和模型训练模块；
所述第二获取模块用于：
获取训练数据集；所述训练数据集包括测试人员观察所述预设N种表情时的脑部信号；
所述模型训练模块用于：根据所述训练数据集训练所述表情识别模型。
可选的，所述模型训练模块包括处理单元和确定单元，
所述处理单元用于：根据所述训练数据集，针对所述预设N种表情中的每种表情执行第一操作，得到所述预设N种表情分别对应的分类准确率；
所述确定单元用于：将所述预设N种表情中分类准确率最大的表情对应的分类器确定为所述表情识别模型中的第一个分类器，并将所述分类准确率最大的表情确定为所述第一个分类器对应的表情；
所述处理单元还用于：删除所述训练数据集中各个测试人员观察所述第一个分类器对应的表情时的脑部信号，获得更新后的训练数据集，并根据所述更新后的训练数据集，针对所述预设N种表情中除所述第一个分类器对应的表情之外的每种表情执行第一操作，获取所述表情识别模型中的第二个分类器；以此类推，直至获取所述表情识别模型中的第N-1个分类器；
其中，所述第一操作包括：
将所述训练数据集划分为训练样本集和测试样本集；所述训练样本集包括多个测试人员观察所述预设N种表情时的脑部信号；
将所述训练样本集划分为第一样本集和第二样本集；所述第一样本集包括所述训练样本集中所述多个测试人员观察该表情时的脑部信号；所述第二样本集包括所述训练样本集中所述多个测试人员观察除该表情之外的N-1种表情时的脑部信号；
根据所述第一样本集和所述第二样本集训练分类器；
根据所述测试样本集对所述分类器进行测试，获取该表情的分类准确率。
可选的，所述处理单元具体用于：
针对所述预设N种表情中的每种表情，执行多次第一操作；其中，多次第一操作中训练样本集包括的测试人员不同；
根据所述多次第一操作分别获取的该表情的分类准确率，获取该表情对应的分类准确率。
可选的，所述训练数据集包括测试人员观察人脸图像样本集时的脑部信号，所述人脸图像样本集包括K个人中每个人的预设N种表情的图片。
可选的，所述人脸图像样本集中的图片的视觉信息相同，所述视觉信息包括下列中的至少一项：颜色、灰度、肤色和头发。
第三方面，本申请提供了一种表情的识别装置，包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述存储器中存储的所述程序指令以实现本申请第一方面任意实施方式提供的表情的识别方法。
第四方面，本申请提供了一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现本申请第一方面任意实施方式提供的表情的识别方法。
本申请提供了一种表情的识别方法和装置，通过获取待检测人员观察到表情时的脑部信号，将该脑部信号输入到包括多个分类器的表情识别模型，进而，根据多个分类器的输出结果确定待检测的脑部信号对应的表情。由于表情识别模型中的多个分类器考虑到大脑对不同面部表情的认知机理，因此，表情识别模型具有描述大脑对不同面部表情对应的脑信号的层次分布结构，通过该表情识别模型可以更合理确定待检测的脑部信号对应的表情，提高了面部表情识别的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的表情的识别方法的流程图；
图2为本申请实施例提供的表情识别模型的示意性结构图；
图3为本申请实施例二提供的表情的识别方法的流程图；
图4为本申请实施例三提供的表情的识别方法的流程图；
图5为本申请实施例四提供的表情的识别方法的流程图；
图6为本申请实施例五提供的表情的识别方法的流程图；
图7为本申请实施例提供的表情的识别装置的一种结构示意图；
图8为本申请实施例提供的表情的识别装置的另一种结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例一提供的表情的识别方法的流程图。本实施例提供的表情的识别方法可由表情的识别装置执行。如图1所示，本实施例提供的表情的识别方法，可以包括：
S101、获取待检测的脑部信号。
其中，待检测的脑部信号为待检测人员观察到表情时的脑部信号。
作为一种可能的实现方式，可选的，可以通过使待测试人员观察预设表情，采用核磁共振仪采集待测试人员在观察到相应表情时的功能性磁共振成像(functionalMagnetic Resonance Imaging，fMRI)脑响应信号，来获取待检测的脑部信号。
作为另一种可能的实现方式，可选的，可以通过向待测试人员呈现包括表情的人脸图像样本，采用核磁共振仪采集测试人员在观察到相应人脸图像样本时的fMRI脑响应信号，来获取待检测的脑部信号。
S102、将待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率。
其中，表情识别模型是以待测试人员观察预设N种表情时的脑部信号为输入，以预设N种表情分别对应的分类准确率为输出训练得到的模型。表情识别模型包括N-1个分类器，分类器用于输出与分类器对应的表情的分类准确率，其中，N-1个分类器中的一个分类器与预设N种表情中的两种表情对应，剩余的N-2个分类器与剩余的N-2种表情一一对应；N为大于1的整数。
具体的，本实施例中的表情识别模型的结构如图2所示，可以包括N-1个分类器，用于确定N种表情的分类准确率。其中，第1个分类器至第N-2个分类器分别用于输出一种表情的分类准确率，第N-1个分类器用于输出两种表情的分类准确率。
本实施例对预设N种表情不做限定，可选的，预设N种表情可以包括但不限于以下中的任意N种表情：高兴、生气、悲伤、惊讶、厌恶、害怕和中性。例如，N＝4。预设N种表情可以包括高兴、生气、厌恶、害怕。
S103、根据N种表情分别对应的分类准确率，确定待检测的脑部信号对应的表情。
本实施例中，分类准确率可以表示待检测的脑部信号与N种表情中某种表情对应的可能性。
可选的，可以将N种表情中分类准确率中的最大的表情确定为待检测的脑部信号对应的表情。
本实施例提供的面部表情预测方法，通过获取待检测人员观察到表情时的脑部信号，将该脑部信号输入到包括多个分类器的表情识别模型，进而，根据多个分类器的输出结果确定待检测的脑部信号对应的表情。由于表情识别模型中的多个分类器考虑到大脑对不同面部表情的认知机理，因此，表情识别模型具有描述大脑对不同面部表情对应的脑信号的层次分布结构，通过该表情识别模型可以更合理确定待检测的脑部信号对应的表情，提高了面部表情识别的准确率。
在图1所示实施例的基础上，请参照图3，可选的，将待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率之前，还可以包括：
S301、根据待检测的脑部信号，分别获取预设多个脑区的脑部信号。
相应的，S302是将待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率的一种实现方式。S303是根据N种表情分别对应的分类准确率，确定待检测的脑部信号对应的表情的一种实现方式。
具体如下：
S302、将每个脑区的脑部信号输入到该脑区对应的表情识别模型中，得到该脑区的N种表情分别对应的分类准确率。
S303、根据每个脑区的N种表情分别对应的权重值和分类准确率，确定待检测的脑部信号对应的表情。
具体的，根据功能影像学发现，参与表情特征加工和动态表情识别的脑区包括前额皮质、前扣带回、杏仁核、颞上回、梭状回以及枕叶皮层等。不同的脑区与不同面部表情的认知有关，例如，杏仁核与害怕相关表情的区分有关。又例如，梭状回表情加工区(fusiformface area，FFA)在看到无表情表情时会被激活等。考虑到大脑对不同面部表情的认知机理，在获取到待检测的脑部信号后，对该脑部信号进行筛选和处理，从该脑部信号中筛选出感兴趣的脑区的信号。将每个脑区的脑部信号输入到该脑区对应的表情识别模型中，得到相应脑区对N种表情的分类准确率，进而，结合相应脑区与不同面部表情的认知之间的关系，确定待检测的脑部信号对应的表情。
本实施例对具体的脑区不做限定。示例性的，以杏仁核、FFA和后颞上沟(posterior superior temporal sulcus，pSTS)三个脑区，以高兴、生气、悲伤、惊讶、厌恶、害怕和中性七种表情为例进行说明。表1为上述三个脑区与七种表情之间对应的权重值的一个示例。例如，对于脑区FFA，FFA对“中性”表情的权重值为3/7，对“厌恶”表情的权重值为1/14。
表1
| 中性 | 害怕 | 生气 | 厌恶 | 悲伤 | 惊讶 | 高兴 | |
| 杏仁核 | 1/7 | 3/7 | 1/7 | 1/14 | 1/14 | 1/14 | 1/14 |
| FFA | 3/7 | 1/7 | 1/7 | 1/14 | 1/14 | 1/14 | 1/14 |
| pSTS | 1/7 | 1/7 | 1/7 | 1/7 | 1/7 | 1/7 | 1/7 |
在获取到待检测的脑部信号，对该脑部信号进行筛选和处理，从该脑部信号中提取与杏仁核脑区对应的脑部信号。然后，将杏仁核脑区对应的脑部信号输入到杏仁核脑区对应的表情识别模型，得到高兴、生气、悲伤、惊讶、厌恶、害怕和中性七种表情的分类准确率C11、C12、C13、C14、C15、C16和C17。
类似的，从该脑部信号中提取与FFA脑区和pSTS脑区对应的脑部信号。然后，将FFA脑区对应的脑部信号输入到FFA脑区对应的表情识别模型，并且将pSTS脑区对应的脑部信号输入到pSTS脑区对应的表情识别模型中，分别得到FFA脑区对应的表情识别模型输出的七种表情的分类准确率C21、C22、C23、C24、C25、C26和C27，以及pSTS脑区对应的表情识别模型输出的七种表情的分类准确率C31、C32、C33、C34、C35、C36和C37。
将通过杏仁核脑区对应七种表情的分类准确率C11、C12、C13、C14、C15、C16和C17分别与杏仁核脑区对应的相应表情的权重相乘，得到加权后的七种表情的分类准确率WC11、WC12、WC13、WC14、WC15、WC16和WC17。参见表1，杏仁核脑区针对高兴、生气、悲伤、惊讶、厌恶、害怕和中性七种表情的权重值分别为：1/14、1/7、1/14、1/14、1/14、3/7、1/7。相应的，WC11＝1/14*C11、WC12＝1/7*C12、WC13＝1/14*C13、WC14＝1/14*C14、WC15＝1/14*C15、WC16＝3/7*C16、WC17＝1/7*C17。
类似的，以相同的方式，分别得到FFA脑区对应的加权后的七种表情的分类准确率WC21、WC22、WC23、WC24、WC25、WC26和WC27以及pSTS脑区对应加权后的七种表情的分类准确率WC31、WC32、WC33、WC34、WC35、WC36和WC37。
分别将三个脑区中关于相同表情的分类准确率相加，最终得到总共七种表情的分类准确率。例如，“高兴”表情的分类准确率为WC11+WC21+WC31，“生气”表情的分类准确率为WC12+WC22+WC32。最后，将分类准确率中最高分类准确率对应的表情确定为最后的识别结果，即，待检测的脑部信号对应的表情。
本实施例中，通过针对不同脑区对应的脑部信号采用不同的表情识别模型，并且结合不同的脑区与不同面部表情的认知之间的关系，赋予每个表情识别模型的识别结果不同的权重，考虑了大脑对不同面部表情的认知机理，提高了面部表情识别的准确率。
在图1和图3所示实施例的基础上，如图4所示，可选的，在获取待检测的脑部信号之前，本实施例提供的表情的识别方法，还可以包括：
S401、获取训练数据集。
其中，训练数据集包括测试人员观察预设N种表情时的脑部信号。
具体的，获取训练数据集的方式可以与获取待检测的脑部信号的方式相同。本实施例中，测试人员可以是任何年龄段、任何种族或任何肤色的身份个体。可以通过使测试人员观察预设N种表情，采用核磁共振仪采集测试人员在观察到相应表情时的fMRI脑部信号，来获取训练数据集。假设测试人员的数量为K，则可以得到包括N*K个脑部信号的训练数据集。
可选的，训练数据集可以包括测试人员观察人脸图像样本集时的脑部信号。其中，人脸图像样本集包括K个人中每个人的预设N种表情的图片。具体的，人脸图像样本集可以包括任何年龄段、任何种族或任何肤色的不同身份个体。可以通过向测试人员呈现包括表情的人脸图像样本，采用核磁共振仪采集测试人员在观察到相应人脸图像样本时的fMRI脑响应信号，来获取训练数据集。由于人脸图像样本集包括K个人中每个人的预设N种表情的图片，则可以包括N*K个脑部信号的训练数据集。
可选的，人脸图像样本集中的图片的视觉信息相同，视觉信息可以包括下列中的至少一项：颜色、灰度、肤色和头发。具体的，在准备人脸图像样本集时，可以使用Photoshop和MATLAB等软件对获取到的人脸图像样本进行编辑和处理。例如，将图像灰度化；调整图像亮度和对比度，使所有样本图像保持大致一致；裁剪人脸图像边缘，调整人脸呈现角度，使人脸位于图片正中；裁剪人脸边缘的毛发、服饰等与人脸图像重建研究无关的特征片段和低级视觉特征；调整图像背景为黑色等。通过对人脸图像样本进行处理，可以使人脸图像样本集中的图片的视觉信息相同，避免其他因素对后续表情识别过程造成干扰。
S402、根据训练数据集训练表情识别模型。
本实施例对根据训练数据集训练表情识别模型的方式不做限定，作为一种可能的实施方式如图5所示，可以包括：
S501、根据训练数据集，针对预设N种表情中的每种表情执行第一操作，得到预设N种表情分别对应的分类准确率。
其中，第一操作可以包括：
将训练数据集划分为训练样本集和测试样本集。训练样本集包括多个测试人员观察预设N种表情时的脑部信号。
将训练样本集划分为第一样本集和第二样本集。第一样本集包括训练样本集中多个测试人员观察该表情时的脑部信号。第二样本集包括训练样本集中多个测试人员观察除该表情之外的N-1种表情时的脑部信号。
根据第一样本集和第二样本集训练分类器。
根据测试样本集对分类器进行测试，获取该表情的分类准确率。
本实施例中，分类器可以选用支持向量机(Support Vector Machine，SVM)，SVM对于较小的脑部信号样本量具有优势，并且映射模式符合脑空间的认知模式。然而，本实施例对分类器的类型不做限定，分类器可以为逻辑回归、神经网络、多元决策树、高斯朴素贝叶斯分类器等可用于对脑部进行分类的任何算法。
分类准确率可以根据测试样本集中包含的样本的数量和通过分类器判断正确的数量来确定。例如，将测试样本输入训练好的分类器中，得到判断结果。将该判断结果与相应测试样本真实的标签进行对比，若判断结果与真实的标签相同，则表示判断正确。若判断结果与真实的标签不相同，则表示判断错误。然后，统计判断正确的数量，通过分类准确率＝判断正确的数量/测试样本的数量，确定相应表情的分类准确率。
S502、将预设N种表情中分类准确率最大的表情对应的分类器确定为表情识别模型中的第一个分类器，并将分类准确率最大的表情确定为第一个分类器对应的表情。
S503、删除训练数据集中各个测试人员观察第一个分类器对应的表情时的脑部信号，获得更新后的训练数据集，并根据更新后的训练数据集，针对预设N种表情中除第一个分类器对应的表情之外的每种表情执行第一操作，获取表情识别模型中的第二个分类器；以此类推，直至获取表情识别模型中的第N-1个分类器。
下面以预设N种表情为高兴、生气、悲伤、惊讶、厌恶、害怕和中性七种表情，测试人员为K个，分类器为SVM分类器为例对步骤S501～S503进行说明。
假设，首先对高兴表情执行第一操作。即，将训练数据集中的第一个测试人员观察到不同面部表情时的脑部信号作为测试样本，将剩余K-1个测试人员观察到不同面部表情时的脑部信号作为训练样本。按照高兴表情和非高兴表情，将剩余K-1个测试人员观察到不同面部表情对应的脑部信号划分为两个样本集。第一样本集包括训练样本集中剩余K-1个测试人员观察到高兴表情时的脑部信号，第二样本集包括训练样本集中剩余K-1个测试人员观察到高兴表情之外的六种表情时的脑部信号。利用第一样本集和第二样本集训练SVM分类器，得到一个训练好的SVM分类器。然后，利用测试样本进行测试，得到高兴表情对应的分类准确率。假设分类结果为1或0，1表示高兴表情，0表示非高兴表情。当输入第一个测试人员观察到高兴表情时的脑部信号，若SVM分类器输出1，则分类正确。若SVM分类器输出0，则分类错误。当输入第一个测试人员观察到高兴表情之外的六种表情时的脑部信号，若SVM分类器输出0，则判断正确。若SVM分类器输出1，表示判断错误。统计判断正确的数量，假设为5，由于本示例中测试样本集中包括7个样本，因此，高兴表情的分类准确率为5/7。
接着，以相同的方式依次对七种表情中的其他六种表情执行第一操作，分别得到其他六种表情对应的分类准确率。
在得到七种表情对应的分类准确率之后，将预设七种表情中分类准确率最大的表情对应的SVM分类器确定为表情识别模型中的第一个SVM分类器，并将分类准确率最大的表情确定为第一个SVM分类器对应的表情。假设高兴表情对应的分类准确率最高，则将高兴表情对应的SVM分类器确定为表情识别模型中的第一个SVM分类器，并将高兴表情确定为第一个SVM分类器的表情。之后，删除训练数据集中各个测试人员观察到高兴表情时的脑部信号，更新训练数据集，更新后的数据集的数量为6*K。
在更新训练数据集之后，假设，首先对生气表情执行第一操作，即，将训练数据集中的第一个测试人员观察到不同面部表情时的脑部信号作为测试样本，将剩余K-1个测试人员观察到不同面部表情时的脑部信号作为训练样本。按照生气表情和非生气表情，将剩余K-1个测试人员观察到不同面部表情对应的脑部信号划分为两个样本集，第一样本集包括训练样本集中剩余K-1个测试人员观察到生气表情时的脑部信号，第二样本集包括训练样本集中剩余K-1个测试人员观察到生气表情之外的五种表情时的脑部信号。利用第一样本集和第二样本集训练SVM分类器，得到一个训练好的SVM分类器。然后，利用测试样本进行测试，得到生气表情对应的分类准确率。
接着，以相同的方式依次对六种表情中的其他五种表情执行第一操作，分别得到其他五种表情对应的分类准确率。
在得到六种表情对应的分类准确率之后，将预设六种表情中分类准确率最大的表情对应的SVM分类器确定为表情识别模型中的第二个SVM分类器，并将分类准确率最大的表情确定为第二个SVM分类器对应的表情。假设害怕表情对应的分类准确率最高，则将害怕表情对应的SVM分类器确定为表情识别模型中的第二个SVM分类器，并将害怕表情确定为第二个SVM分类器的表情。之后，删除训练数据集中各个测试人员观察到害怕表情时的脑部信号，更新训练数据集，更新后的数据集的数量为5*K。
在更新完训练数据集之后，以同样的方式对生气、悲伤、惊讶、厌恶中性五中表情进行相同的操作，直到确定第六个SVM分类器。
本实施例中，通过结合认知学理论，考虑到大脑对不同面部表情在认知模型结构上存在的差异，根据不同面部表情对应的脑部信号构建具有层次分布结构的分类框架，可以实现对高维非线性特征空间的脑部信号进行准确分类，进而，可以提高面部表情识别的准确率。
在图5所示实施例的基础上，请参照图6，可选的，提供了S401的一种实现方式。针对预设N种表情中的每种表情执行第一操作，可以包括：
S601、针对预设N种表情中的每种表情，执行多次第一操作。
其中，多次第一操作中训练样本集包括的测试人员不同。
S602、根据多次第一操作分别获取的该表情的分类准确率，获取该表情对应的分类准确率。
同样以预设N种表情为高兴、生气、悲伤、惊讶、厌恶、害怕和中性七种表情，测试人员为K个，分类器为SVM分类器为例进行说明。
假设，首先对高兴表情执行第一操作。即，将训练数据集中的第1个测试人员观察到不同面部表情时的脑部信号作为测试样本，将剩余K-1个测试人员，即第2个至第K个测试人员观察到不同面部表情时的脑部信号作为训练样本集。按照高兴表情和非高兴表情，将第2个至第K个测试人员观察到不同面部表情对应的脑部信号划分为两个样本集。第一样本集包括训练样本集中第2个至第K个测试人员观察到高兴表情时的脑部信号，第二样本集包括训练样本集中第2个至第K个测试人员观察到高兴表情之外的六种表情时的脑部信号。利用第一样本集和第二样本集训练SVM分类器，得到一个训练号的SVM分类器。然后，采用测试样本进行测试，得到高兴表情的分类准确率。
接着，依次将训练数据集中的第2个、第3个、第4个、……第K个测试人员观察到不同面部表情时的脑部信号作为测试样本，将训练数据集中除测试样本集之外的样本集作为训练样本集。以与将训练数据集中的第1个测试人员观察到不同面部表情时的脑部信号作为测试样本相同的方式，得到K-1个高兴表情的分类准确率。换言之，针对K个测试人员，总共得到K个高兴表情的分类准确率。作为一种可能的实现方式，可以提供对K个高兴表情的分类准确率求平均来确定高兴表情对应的分类准确率。
此后，以相同的方式依次对七种表情中的其他六种表情执行第一操作，分别得到其他六种表情对应的分类准确率。
本实施例中，通过依次以每个测试人员观察到不同面部表情时的脑部信号作为测试样本，针对预设N种表情中的每种表情进行交叉验证，可以使得得到的每种表情对应的分类准确率更为准确。
图7为本申请实施例提供表情的识别装置的一种结构示意图。本实施例提供的表情的识别装置，用以执行本申请任意方法实施例提供的表情的识别方法。如图7所示，本实施例提供的表情的识别装置，可以包括：
第一获取模块71，用于获取待检测的脑部信号；所述待检测的脑部信号为待检测人员观察到表情时的脑部信号；
第一处理模块72，用于将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率；所述表情识别模型是以测试人员观察预设N种表情时的脑部信号为输入，以所述预设N种表情分别对应的分类准确率为输出训练得到的模型；所述表情识别模型包括N-1个分类器，所述分类器用于输出与所述分类器对应的表情的分类准确率，其中，所述N-1个分类器中的一个分类器与所述预设N种表情中的两种表情对应，剩余的N-2个分类器与剩余的N-2种表情一一对应；N为大于1的整数；
确定模块73，用于根据所述N种表情分别对应的分类准确率，确定所述待检测的脑部信号对应的表情。
可选的，还包括第二处理模块，所述第二处理模块用于：
在所述第一处理模块将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率之前，根据所述待检测的脑部信号，分别获取预设多个脑区的脑部信号；
所述第一处理模块72具体用于：
将每个脑区的脑部信号输入到该脑区对应的表情识别模型中，得到该脑区的N种表情分别对应的分类准确率；
所述确定模块73具体用于：
根据每个脑区的N种表情分别对应的权重值和分类准确率，确定所述待检测的脑部信号对应的表情。
可选的，还包括第二获取模块和模型训练模块；
所述第二获取模块用于：
获取训练数据集；所述训练数据集包括测试人员观察所述预设N种表情时的脑部信号；
所述模型训练模块用于：根据所述训练数据集训练所述表情识别模型。
可选的，所述模型训练模块包括处理单元和确定单元，
所述处理单元用于：根据所述训练数据集，针对所述预设N种表情中的每种表情执行第一操作，得到所述预设N种表情分别对应的分类准确率；
所述确定单元用于：将所述预设N种表情中分类准确率最大的表情对应的分类器确定为所述表情识别模型中的第一个分类器，并将所述分类准确率最大的表情确定为所述第一个分类器对应的表情；
所述处理单元还用于：删除所述训练数据集中各个测试人员观察所述第一个分类器对应的表情时的脑部信号，获得更新后的训练数据集，并根据所述更新后的训练数据集，针对所述预设N种表情中除所述第一个分类器对应的表情之外的每种表情执行第一操作，获取所述表情识别模型中的第二个分类器；以此类推，直至获取所述表情识别模型中的第N-1个分类器；
其中，所述第一操作包括：
将所述训练数据集划分为训练样本集和测试样本集；所述训练样本集包括多个测试人员观察所述预设N种表情时的脑部信号；
将所述训练样本集划分为第一样本集和第二样本集；所述第一样本集包括所述训练样本集中所述多个测试人员观察该表情时的脑部信号；所述第二样本集包括所述训练样本集中所述多个测试人员观察除该表情之外的N-1种表情时的脑部信号；
根据所述第一样本集和所述第二样本集训练分类器；
根据所述测试样本集对所述分类器进行测试，获取该表情的分类准确率。
可选的，所述处理单元具体用于：
针对所述预设N种表情中的每种表情，执行多次第一操作；其中，多次第一操作中训练样本集包括的测试人员不同；
根据所述多次第一操作分别获取的该表情的分类准确率，获取该表情对应的分类准确率。
可选的，所述训练数据集包括测试人员观察人脸图像样本集时的脑部信号，所述人脸图像样本集包括K个人中每个人的预设N种表情的图片。
可选的，所述人脸图像样本集中的图片的视觉信息相同，所述视觉信息包括下列中的至少一项：颜色、灰度、肤色和头发。
本实施例提供的表情的识别装置，用以执行本申请任意方法实施例提供的表情的识别方法，其技术原理和技术效果类似，此处不再赘述。
图8为本申请实施例提供的表情的识别方法的另一种结构示意图。本实施例提供的表情的识别装置，用以执行本申请任意方法实施例提供的表情的识别方法。如图8所示，本实施例提供的表情的识别装置，可以包括：存储器82和处理器81；
所述存储器82，用于存储程序指令；
所述处理器81，用于调用所述存储器中存储的所述程序指令以实现本申请任意方法实施方式提供的表情的识别方法。
具体实现方式和技术效果类似，此处不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述各实施例对本申请实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。
Claims (10)
1.一种表情的识别方法，其特征在于，包括：
获取待检测的脑部信号；所述待检测的脑部信号为待检测人员观察到表情时的脑部信号；
将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率；所述表情识别模型是以测试人员观察预设N种表情时的脑部信号为输入，以所述预设N种表情分别对应的分类准确率为输出训练得到的模型；所述表情识别模型包括N-1个分类器，所述分类器用于输出与所述分类器对应的表情的分类准确率，其中，所述N-1个分类器中的一个分类器与所述预设N种表情中的两种表情对应，剩余的N-2个分类器与剩余的N-2种表情一一对应；N为大于1的整数；
根据所述N种表情分别对应的分类准确率，确定所述待检测的脑部信号对应的表情。
2.根据权利要求1所述的方法，其特征在于，所述将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率之前，还包括：
根据所述待检测的脑部信号，分别获取预设多个脑区的脑部信号；所述将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率，包括：
将每个脑区的脑部信号输入到该脑区对应的表情识别模型中，得到该脑区的N种表情分别对应的分类准确率；
所述根据所述N种表情分别对应的分类准确率，确定所述待检测的脑部信号对应的表情，包括：
根据每个脑区的N种表情分别对应的权重值和分类准确率，确定所述待检测的脑部信号对应的表情。
3.根据权利要求1或2所述的方法，其特征在于，所述获取待检测的脑部信号之前，还包括：
获取训练数据集；所述训练数据集包括测试人员观察所述预设N种表情时的脑部信号；
根据所述训练数据集训练所述表情识别模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述训练数据集训练所述表情识别模型，包括：
根据所述训练数据集，针对所述预设N种表情中的每种表情执行第一操作，得到所述预设N种表情分别对应的分类准确率；
将所述预设N种表情中分类准确率最大的表情对应的分类器确定为所述表情识别模型中的第一个分类器，并将所述分类准确率最大的表情确定为所述第一个分类器对应的表情；
删除所述训练数据集中各个测试人员观察所述第一个分类器对应的表情时的脑部信号，获得更新后的训练数据集，并根据所述更新后的训练数据集，针对所述预设N种表情中除所述第一个分类器对应的表情之外的每种表情执行第一操作，获取所述表情识别模型中的第二个分类器；以此类推，直至获取所述表情识别模型中的第N-1个分类器；
其中，所述第一操作包括：
将所述训练数据集划分为训练样本集和测试样本集；所述训练样本集包括多个测试人员观察所述预设N种表情时的脑部信号；
将所述训练样本集划分为第一样本集和第二样本集；所述第一样本集包括所述训练样本集中所述多个测试人员观察该表情时的脑部信号；所述第二样本集包括所述训练样本集中所述多个测试人员观察除该表情之外的N-1种表情时的脑部信号；
根据所述第一样本集和所述第二样本集训练分类器；
根据所述测试样本集对所述分类器进行测试，获取该表情的分类准确率。
5.根据权利要求4所述的方法，其特征在于，所述针对所述预设N种表情中的每种表情执行第一操作，包括：
针对所述预设N种表情中的每种表情，执行多次第一操作；其中，多次第一操作中训练样本集包括的测试人员不同；
根据所述多次第一操作分别获取的该表情的分类准确率，获取该表情对应的分类准确率。
6.根据权利要求3所述的方法，其特征在于，所述训练数据集包括测试人员观察人脸图像样本集时的脑部信号，所述人脸图像样本集包括K个人中每个人的预设N种表情的图片。
7.根据权利要求6所述的方法，其特征在于，所述人脸图像样本集中的图片的视觉信息相同，所述视觉信息包括下列中的至少一项：颜色、灰度、肤色和头发。
8.一种表情的识别装置，其特征在于，包括：
第一获取模块，用于获取待检测的脑部信号；所述待检测的脑部信号为待检测人员观察到表情时的脑部信号；
第一处理模块，用于将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率；所述表情识别模型是以测试人员观察预设N种表情时的脑部信号为输入，以所述预设N种表情分别对应的分类准确率为输出训练得到的模型；所述表情识别模型包括N-1个分类器，所述分类器用于输出与所述分类器对应的表情的分类准确率，其中，所述N-1个分类器中的一个分类器与所述预设N种表情中的两种表情对应，剩余的N-2个分类器与剩余的N-2种表情一一对应；N为大于1的整数；
确定模块，用于根据所述N种表情分别对应的分类准确率，确定所述待检测的脑部信号对应的表情。
9.根据权利要求8所述的装置，其特征在于，还包括第二处理模块，所述第二处理模块用于：
在所述第一处理模块将所述待检测的脑部信号输入到表情识别模型中，得到N种表情分别对应的分类准确率之前，根据所述待检测的脑部信号，分别获取预设多个脑区的脑部信号；
所述第一处理模块具体用于：
将每个脑区的脑部信号输入到该脑区对应的表情识别模型中，得到该脑区的N种表情分别对应的分类准确率；
所述确定模块具体用于：
根据每个脑区的N种表情分别对应的权重值和分类准确率，确定所述待检测的脑部信号对应的表情。
10.根据权利要求8或9所述的装置，其特征在于，还包括第二获取模块和模型训练模块；
所述第二获取模块用于：
获取训练数据集；所述训练数据集包括测试人员观察所述预设N种表情时的脑部信号；
所述模型训练模块用于：根据所述训练数据集训练所述表情识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910692411.4A CN110458058B (zh) | 2019-07-30 | 2019-07-30 | 表情的识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910692411.4A CN110458058B (zh) | 2019-07-30 | 2019-07-30 | 表情的识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458058A true CN110458058A (zh) | 2019-11-15 |
| CN110458058B CN110458058B (zh) | 2022-04-19 |
Family
ID=68483916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910692411.4A Expired - Fee Related CN110458058B (zh) | 2019-07-30 | 2019-07-30 | 表情的识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458058B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021218415A1 (zh) * | 2020-04-30 | 2021-11-04 | 京东方科技集团股份有限公司 | 表情识别方法及装置、电子设备、存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105022486A (zh) * | 2015-07-17 | 2015-11-04 | 西安交通大学 | 基于不同表情驱动的脑电信号辨识方法 |
| CN105894039A (zh) * | 2016-04-25 | 2016-08-24 | 京东方科技集团股份有限公司 | 情绪识别模型建立方法、情绪识别方法及装置、智能设备 |
| US20180089531A1 (en) * | 2015-06-03 | 2018-03-29 | Innereye Ltd. | Image classification by brain computer interface |
| US20180168452A1 (en) * | 2015-08-05 | 2018-06-21 | Seiko Epson Corporation | Brain image reconstruction apparatus |
| CN108958486A (zh) * | 2018-07-06 | 2018-12-07 | 重庆邮电大学 | 基于人脸识别脑电n170成分的情绪脑机接口系统 |
| CN109508653A (zh) * | 2018-10-26 | 2019-03-22 | 南京邮电大学 | 一种基于脑电信号与心理学融合的主客观单兵作战情绪识别方法 |
-
2019
- 2019-07-30 CN CN201910692411.4A patent/CN110458058B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180089531A1 (en) * | 2015-06-03 | 2018-03-29 | Innereye Ltd. | Image classification by brain computer interface |
| CN105022486A (zh) * | 2015-07-17 | 2015-11-04 | 西安交通大学 | 基于不同表情驱动的脑电信号辨识方法 |
| US20180168452A1 (en) * | 2015-08-05 | 2018-06-21 | Seiko Epson Corporation | Brain image reconstruction apparatus |
| CN105894039A (zh) * | 2016-04-25 | 2016-08-24 | 京东方科技集团股份有限公司 | 情绪识别模型建立方法、情绪识别方法及装置、智能设备 |
| CN108958486A (zh) * | 2018-07-06 | 2018-12-07 | 重庆邮电大学 | 基于人脸识别脑电n170成分的情绪脑机接口系统 |
| CN109508653A (zh) * | 2018-10-26 | 2019-03-22 | 南京邮电大学 | 一种基于脑电信号与心理学融合的主客观单兵作战情绪识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| ALAN S. COWEN等: "Neural portraits of perception: Reconstructing face images from evoked brain activity", 《NEUROIMAGE》 * |
| 庄玮等: "基于SVM的4类运动想象的脑电信号分类方法", 《常州大学学报(自然科学版)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021218415A1 (zh) * | 2020-04-30 | 2021-11-04 | 京东方科技集团股份有限公司 | 表情识别方法及装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458058B (zh) | 2022-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rajalingham et al. | Large-scale, high-resolution comparison of the core visual object recognition behavior of humans, monkeys, and state-of-the-art deep artificial neural networks | |
| CN108875676A (zh) | 活体检测方法、装置及系统 | |
| CN112164082A (zh) | 基于3d卷积神经网络分割多模态mr脑部图像方法 | |
| US9208405B2 (en) | Systems and methods for digital image analysis | |
| CN105574820A (zh) | 一种基于深度学习的自适应超声图像增强方法 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| CN110163839B (zh) | 豹纹状眼底图像识别方法、模型训练方法及设备 | |
| CN106651887A (zh) | 一种基于卷积神经网络的图像像素分类方法 | |
| CN111611851B (zh) | 模型生成方法、虹膜检测方法及装置 | |
| CN107590473A (zh) | 一种人脸活体检测方法、介质和相关装置 | |
| CN113989519B (zh) | 一种长尾目标检测方法及系统 | |
| CN106056161B (zh) | 一种针对平面旋转目标的视觉检测方法 | |
| CN114155397A (zh) | 一种小样本图像分类方法及系统 | |
| CN106529470A (zh) | 一种基于多级深度卷积神经网络的手势识别方法 | |
| CN114372985B (zh) | 适应多中心图像的糖尿病视网膜病变病灶分割方法及系统 | |
| CN117809124B (zh) | 基于多特征融合的医学图像关联调用方法及系统 | |
| Vamsi et al. | Early Detection of Hemorrhagic Stroke Using a Lightweight Deep Learning Neural Network Model. | |
| CN108805181B (zh) | 一种基于多分类模型的图像分类装置及分类方法 | |
| Romero-Oraá et al. | Attention-based deep learning framework for automatic fundus image processing to aid in diabetic retinopathy grading | |
| CN107735838A (zh) | 在多种设置下用于医学样品的异常检测 | |
| CN110458058A (zh) | 表情的识别方法和装置 | |
| CN112801940A (zh) | 模型评测方法、装置、设备及介质 | |
| CN111127432A (zh) | 一种医学图像检测方法、装置、设备及存储介质 | |
| CN110428012A (zh) | 脑网络模型建立方法、脑图像分类方法、装置及电子设备 | |
| CN116340825A (zh) | 一种基于迁移学习的跨被试rsvp脑电信号的分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Hui Inventor after: Ding Xuetong Inventor after: Wei Zixiang Inventor before: Zhang Hui Inventor before: Wei Zixiang |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220419 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |