CN117633606A - 基于嗅觉刺激和面部表情的意识检测方法、设备及介质 - Google Patents

基于嗅觉刺激和面部表情的意识检测方法、设备及介质 Download PDF

Info

Publication number
CN117633606A
CN117633606A CN202410113106.6A CN202410113106A CN117633606A CN 117633606 A CN117633606 A CN 117633606A CN 202410113106 A CN202410113106 A CN 202410113106A CN 117633606 A CN117633606 A CN 117633606A
Authority
CN
China
Prior art keywords
sample
emotion
sequence
detected
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410113106.6A
Other languages
English (en)
Other versions
CN117633606B (zh
Inventor
罗本燕
赵佳佳
俞杰
丁鼐
姜晓懿
王瑶瑶
何卓琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Zhejiang University School of Medicine
Original Assignee
First Affiliated Hospital of Zhejiang University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Zhejiang University School of Medicine filed Critical First Affiliated Hospital of Zhejiang University School of Medicine
Priority to CN202410113106.6A priority Critical patent/CN117633606B/zh
Publication of CN117633606A publication Critical patent/CN117633606A/zh
Application granted granted Critical
Publication of CN117633606B publication Critical patent/CN117633606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0016—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the smell sense
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请公开了一种基于嗅觉刺激和面部表情的意识水平检测方法、电子设备及计算机存储介质，方法包括：分别采集检测对象在不同预设嗅觉刺激状态下的检测面部表情数据；对检测面部表情数据进行处理以获得多个检测面部特征时间子序列；根据情绪分类模型确定出多个检测面部特征时间子序列对应的多个检测情绪分类结果；根据多个检测面部特征时间子序列及其对应的检测情绪分类结果确定出检测情绪分类结果特征；将检测情绪分类结果特征输入至意识水平检测模型中获得输出的意识水平检测结果，意识水平检测结果为以下之一：健康状态、脱离最小意识状态、最小意识状态、植物状态。能够更加准确、客观、高效率地对慢性意识障碍患者的意识水平进行检测。

Description

基于嗅觉刺激和面部表情的意识检测方法、设备及介质
技术领域
本申请涉及意识评估技术领域，具体地，涉及一种基于嗅觉刺激和面部表情的意识水平检测方法、一种电子设备及一种计算机存储介质。
背景技术
意识水平的评估是现代医学和神经科学的重点和难点，对于慢性意识障碍患者（包括植物状态患者和最小意识状态患者）的诊断和预后判断具有重要影响。传统的意识水平评估方法基于患者对外界给予的听觉、视觉等刺激的行为反馈。临床上通常采用修订版的昏迷恢复量表（Coma Recovery Scale-Revised,CRS-R）作为意识行为学评估金标准，并且往往采用多人、多次重复评估的方式。此外，随着神经电生理、神经影像技术的快速发展，脑电图（Electroencephalogram，EEG）、磁共振成像（Magnetic Resonance Imaging，MRI）、正电子发射计算机断层扫描（Positron emission tomography，PET）等技术也被广泛应用于慢性意识障碍患者的意识水平评估和预后预测。
但是，这些传统的意识水平评估方法，无论是刺激方式还是评估方式，均存在明显的不足之处。
发明内容
本申请旨在一定程度上解决相关技术中的技术问题之一。为此，本申请提供了一种基于嗅觉刺激和面部表情的意识水平检测方法、一种电子设备及一种计算机存储介质。
作为本申请的第一个方面，提供一种基于嗅觉刺激和面部表情的意识水平检测方法，其中，所述方法包括：
分别采集检测对象在不同预设嗅觉刺激状态下的检测面部表情数据；其中，所述不同预设嗅觉刺激状态包括正性气味刺激状态、负性气味刺激状态和中性气味刺激状态；
对所述检测面部表情数据进行处理，以获得多个检测面部特征时间子序列；
根据预先训练好的情绪分类模型确定出所述多个检测面部特征时间子序列对应的多个检测情绪分类结果，所述检测情绪分类结果包括情绪状态结果和情绪得分结果，所述情绪状态结果为刺激性情绪和中性情绪中的一者；
根据所述多个检测面部特征时间子序列及其对应的所述检测情绪分类结果，确定出检测情绪分类结果特征；
将所述检测情绪分类结果特征输入至预先训练好的意识水平检测模型中，获得输出的意识水平检测结果，其中，所述意识水平检测结果为以下四种意识状态之一：健康状态、脱离最小意识状态、最小意识状态、植物状态。
可选地，所述检测情绪分类结果特征包括与所述不同预设嗅觉刺激状态分别对应的情绪分类准确率、情绪得分结果均值以及时域信息；
所述根据所述多个检测面部特征时间子序列及其对应的所述检测情绪分类结果，确定出检测情绪分类结果特征，包括：
根据相应的预设嗅觉刺激状态，将所述多个检测面部特征时间子序列进行分类；
根据各类所述检测面部特征时间子序列对应的预设嗅觉刺激状态以及检测情绪分类结果，确定所述情绪分类准确率；
根据各类所述检测面部特征时间子序列对应的情绪得分结果，确定所述情绪得分结果均值；
确定出各类所述检测面部特征时间子序列中多个检测面部时间子序列及其情绪得分结果之间的关系曲线，作为所述时域信息。
可选地，所述对所述检测面部表情数据进行处理，以获得多个检测面部特征时间子序列，包括：
对所述检测面部表情数据进行特征提取，以获得检测面部特征时间序列；
根据预设时间间隔，将所述检测面部特征时间序列分割为所述多个检测面部特征时间子序列。
可选地，所述方法还包括模型训练步骤：
采集多个样本对象在不同预设嗅觉刺激状态下的样本面部表情数据和样本生理信号数据；其中，所述多个样本对象的意识状态包括健康状态、脱离最小意识状态、最小意识状态、植物状态；
对所述样本面部表情数据进行特征提取以获得样本面部特征时间序列，对所述样本生理信号数据进行处理以获得样本生理特征时间序列；
根据预设时间间隔，将各条所述样本面部特征时间序列分割为多个样本面部特征时间子序列，将各条所述样本生理特征时间序列分割为多个样本生理特征时间子序列；
将各所述样本面部特征时间子序列和各所述样本生理特征时间子序列作为训练数据，对初始分类模型进行训练，获得训练好的所述情绪分类模型。
可选地，所述将各所述样本面部特征时间子序列和各所述样本生理特征时间子序列作为训练数据，对初始分类模型进行训练，获得训练好的所述情绪分类模型，包括：
根据相应的预设嗅觉刺激状态，分别为各所述样本生理特征时间子序列添加情绪状态标签；
利用添加情绪状态标签后的各所述样本生理特征时间子序列，对所述初始分类模型进行训练，获得训练好的中间分类模型；
根据各所述样本生理特征时间子序列、各所述样本面部特征时间子序列以及所述中间分类模型，确定出目标的样本面部特征时间子序列；
根据所述目标的样本面部特征时间子序列，对所述中间分类模型的超参数进行优化，以获得训练好的所述情绪分类模型。
可选地，各所述目标的样本面部特征时间子序列均携带有情绪状态标签；
所述根据各所述样本生理特征时间子序列、各所述样本面部特征时间子序列以及所述中间分类模型，确定出目标的样本面部特征时间子序列，包括：
将各所述样本生理特征时间子序列输入至所述中间分类模型，获得输出的多个中间分类结果，其中，所述中间分类结果包括情绪状态结果和情绪得分结果，所述情绪状态结果为刺激性情绪和中性情绪中的一者；
将情绪状态结果为刺激性情绪的各所述样本生理特征时间子序列，按照所述情绪得分结果从高到低进行排名，获取预设排名位置之前的第一样本生理特征时间子序列；
将情绪状态结果为中性情绪的各所述样本生理特征时间子序列，按照所述情绪得分结果从高到低进行排名，获取预设排名位置之前的第二样本生理特征时间子序列；
根据各所述第一样本生理特征时间子序列对应的时间信息和各所述第二样本生理特征时间子序列对应的时间信息，从各所述样本面部特征时间子序列中确定出目标的样本面部特征时间子序列；
根据各所述第一样本生理特征时间子序列的情绪状态结果和各所述第二样本生理特征时间子序列的情绪状态结果，为各所述目标的样本面部特征时间子序列添加情绪状态标签。
可选地，所述情绪状态标签为刺激性情绪标签和中性情绪标签中的一者，所述根据相应的预设嗅觉刺激状态，分别为各所述样本生理特征时间子序列添加情绪状态标签，包括：
为对应于正性气味刺激状态的和对应于负性气味刺激状态的所述样本生理特征时间子序列添加刺激性情绪标签，为对应于中性气味刺激状态的所述样本生理特征时间子序列添加中性情绪标签。
可选地，所述模型训练步骤还包括：
根据所述情绪分类模型确定出所述多个样本面部特征时间子序列对应的多个样本情绪分类结果；
根据各所述样本对象对应的多个样本面部特征时间子序列及其样本情绪分类结果，确定出相应样本对象的样本情绪分类结果特征；
根据各所述样本对象的意识状态，为相应样本对象的样本情绪分类结果特征添加意识状态标签；
利用添加意识状态标签后的各所述样本情绪分类结果特征，对初始检测模型进行训练，获得训练好的所述意识水平检测模型。
作为本申请的第二个方面，提供一种电子设备，其中，所述电子设备包括：
一个或多个处理器；
存储器，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请第一个方面所述的基于嗅觉刺激和面部表情的意识水平检测方法。
作为本申请的第三个方面，提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请第一个方面所述的基于嗅觉刺激和面部表情的意识水平检测方法。
在本申请实施例提供的基于嗅觉刺激和面部表情的意识水平检测方法中，通过采用生态效应更高的嗅觉刺激，相较于传统的采用视听刺激方式而言，能更大程度诱发检测对象的情绪反馈；通过对检测对象进行面部表情数据采集，以对情绪反馈进行量化，相较于传统的肉眼行为学评估方法更具准确性、客观性、实时性；相较于传统的采用EEG、MRI、PET等评估方式而言，能够适用于遭受严重脑损伤后或接受去骨瓣减压术后颅骨变形严重的检测对象，具有更高的适应性和准确性；该方法可以被广泛地运用于临床实践，有助于全面提升慢性意识障碍患者意识水平检测的效率。
附图说明
下面结合附图对本申请作进一步说明：
图1是本申请实施例所提供的基于嗅觉刺激和面部表情的意识水平检测方法的一种实施方式的流程图；
图2是本申请实施例所提供的确定出检测情绪分类结果特征的一种实施方式的流程图；
图3是本申请实施例所提供的获得多个检测面部特征时间子序列的一种实施方式的流程图；
图4是本申请实施例所提供的模型训练步骤的一种实施方式的流程图；
图5是本申请实施例所提供的面部动作单元的一种实施方式的示意图；
图6是本申请实施例所提供的获得情绪分类模型的一种实施方式的示意图；
图7是本申请实施例所提供的确定出目标的样本面部特征时间子序列的一种实施方式的示意图；
图8是本申请实施例所提供的模型训练步骤的另一种实施方式的流程图；
图9是本申请实施例所提供的电子设备的一种实施方式的模块示意图；
图10是本申请实施例所提供的计算机存储介质的模块示意图。
附图标记说明
101：处理器 102：存储器
103：I/O接口 104：总线
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。基于实施方式中的实施例，旨在用于解释本申请，而不能理解为对本申请的限制。
在本说明书中引用的“一个实施例”或“实例”或“例子”意指结合实施例本身描述的特定特征、结构或特性可被包括在本申请公开的至少一个实施例中。短语“在一个实施例中”在说明书中的各位置的出现不必都是指同一个实施例。
传统的意识水平评估方法通常采用视觉、听觉等刺激方式，并采用CRS-R等评估方式，具体的，临床医生通过给予患者一些视觉、听觉刺激，并肉眼观察患者对刺激的反应来评估其意识状态。例如，在患者耳朵旁突然拍手，同时观察其面部的反应；或者给予患者简单的命令，如“眼睛向上看”等，观察其是否存在遵嘱行为遵嘱等。然而，患者脑损伤的类型、严重程度的异质性、意识水平的波动性等因素均可影响评估者对其意识水平判断的准确性，临床上往往还采用多人、多次重复评估的方式。但是，本申请的发明人发现，这些传统的意识水平评估方法，无论是刺激方式还是评估方式，均存在明显的不足之处。
在刺激方式上，传统的意识水平评估方法往往采用视听刺激。然而，这些刺激在引起慢性意识障碍患者的情绪反馈方面效应有限，通常需要患者具有一定的认知水平。同时，部分患者在遭受剧烈脑损伤后视觉、听觉相关脑区功能受损，视听刺激可能无法诱发患者的行为反馈，因而无法真实评估患者的意识水平。
在评估方式上，由于患者觉醒水平波动、残存运动/言语能力微弱，评估者肉眼往往难以捕捉到患者一些短暂而微弱的反馈，从而造成评估不准确。并且，慢性意识障碍患者的意识水平评估依赖于临床评估者的经验，难以做到客观和标准化。
此外，也有一些传统的意识水平评估方法是采用EEG、MRI、PET等技术作为评估方式。然而，大部分患者在遭受严重脑损伤后或接受去骨瓣减压术后，其颅骨变形严重，颅内存在金属植入物或者引流管，这些因素也会造成EEG、MRI、PET等技术在意识水平评估方面的应用受限。
本申请的发明人进一步提出，在刺激方式上，视听刺激被广泛应用于意识水平评估。然而，嗅觉系统相较于视听等感官系统具有独特的解剖特征和功能，在意识水平评估方面具有潜在的价值。首先，嗅觉系统并不完全依赖于丘脑的中继，丘脑是支持意识产生的核心结构之一，因此嗅觉系统被认为可以用来区分有意识和无意识的处理。进一步的，嗅觉在功能上与情感和记忆紧密相连，某些气味可以唤起强烈的情感和回忆，而情感反馈是意识的一个直接指征。2004年的修订版CRS-R中指出，若患者面对语言或者视觉相关的情感刺激而非中性刺激时，表现出微笑或哭泣等行为反应，或由第二个人提出的问题或评论引发的情绪相关的发声或手势，则可以直接认定其处于最小意识状态(minimally consciousnessstate,MCS)。研究中也发现，情感刺激能优先被大脑感知和处理，并引起显著的脑激活。因此，嗅觉系统独特的解剖特征和功能使其成为测试意识的理想系统。然而，在目前的科学研究和临床实践中，由于缺少合适的嗅觉刺激方式以及相应的评估方式，基于嗅觉刺激进行意识水平评估仍然仅仅为一个概念，本发明提出基于嗅觉刺激和情绪检测的基于嗅觉刺激和面部表情的意识水平检测方法并将其应用于临床，将非常具有创新和实践意义。
在评估方式上，传统的意识水平评估方法依赖临床评估者的肉眼评估和主观经验，缺乏客观性。同时，由于患者通常存在严重的脑损伤，其运动功能往往受损，因此对外界的刺激可能只出现一些微弱而短暂的行为反应，肉眼观察易于忽略。对此，微表情是一种短暂的、微弱的、自发的表情，持续时间短、面部肌肉运动强度低，肉眼往往无法观测到，通常无法假装或隐藏，能够揭示人的真实情绪。得益于心理学以及计算机视觉领域的发展，可以考虑基于人工智能的微表情识别技术从人脸视频序列中识别到肉眼无法观测到的隐蔽的面部肌肉运动，并且进一步应用于医疗实践中。
相应的，作为本申请实施例的第一个方面，提供一种基于嗅觉刺激和面部表情的意识水平检测方法，其中，如图1所示，所述方法可以包括如下步骤：
在步骤S110中，分别采集检测对象在不同预设嗅觉刺激状态下的检测面部表情数据；其中，所述不同预设嗅觉刺激状态包括正性气味刺激状态、负性气味刺激状态和中性气味刺激状态；
在步骤S120中，对所述检测面部表情数据进行处理，以获得多个检测面部特征时间子序列；
在步骤S130中，根据预先训练好的情绪分类模型确定出所述多个检测面部特征时间子序列对应的多个检测情绪分类结果，所述检测情绪分类结果包括情绪状态结果和情绪得分结果，所述情绪状态结果为刺激性情绪和中性情绪中的一者；
在步骤S140中，根据所述多个检测面部特征时间子序列及其对应的所述检测情绪分类结果，确定出检测情绪分类结果特征；
在步骤S150中，将所述检测情绪分类结果特征输入至预先训练好的意识水平检测模型中，获得输出的意识水平检测结果，其中，所述意识水平检测结果为以下四种意识状态之一：健康状态、脱离最小意识状态、最小意识状态、植物状态。
其中，可以向检测对象鼻部的鼻氧管导入不同预设气味，来使得检测对象处于不同预设嗅觉刺激状态，而预设气味则可以通过气味材料获得，正性气味刺激状态、负性气味刺激状态和中性气味刺激状态，分别对应于正性气味材料、负性气味材料和中性气味材料，正性气味材料可以包括但不限于茉莉精油、玫瑰精油、香草醛、乙酸乙酯、苯乙醇，负性气味材料可以包括但不限于臭豆腐、异戊酸、癸酸，中性气味材料可以包括但不限于纯净水等。可以理解的是，中性气味不具备明显的刺激性，检测对象在中性气味刺激状态下，实质上可以相当于检测对象处于静息状态。
在分别采集检测对象在不同预设嗅觉刺激状态下的检测面部表情数据的步骤中，可以使得检测对象（也即待检测患者）的鼻部佩戴鼻氧管，并使其采取合适的体位（坐位或卧位），保持采集环境安静、光线明亮、无预设嗅觉刺激以外的其他嗅觉刺激，然后按照随机顺序或指定顺序向检测对象鼻部的鼻氧管导入正性气味、负性气味和中性气味，导入每种气味时持续一定时间（如10秒、15秒、5分钟等，本申请实施例并不作具体限定），再更换气味材料导入下一种气味并持续一定时间。一些传统的嗅觉刺激方式，是由人工手动在检测对象鼻下放置带气味的棉棒或者瓶子等，容易干扰检测对象，也不利于采集检测对象的面部表情数据，本申请实施例这种自动化循环给气方式实现了在病床边自动且无干扰地给予检测对象以嗅觉刺激，并且不影响采集检测对象的面部表情数据。
需要注意的是，为了加以区分，本申请实施例将进行意识水平检测时采集的面部表情数据称为检测面部表情数据，而后文中会将训练模型时采集的面部表情数据称为样本面部表情数据。本申请实施例对于面部表情数据的数据形式不做具体限定，例如，可以是多次采集的多帧图像，也可以是持续采集的一段视频，亦或是两者的组合。本申请实施例对于检测面部表情数据与预设嗅觉刺激状态之间的对应关系也不作特殊限定，例如，可以在改变预设嗅觉刺激状态时不中断采集，检测面部表情数据随即与多种预设嗅觉刺激状态相对应；也可以在改变预设嗅觉刺激状态时中断采集，检测面部表情数据随即为多条且与不同预设嗅觉刺激状态一一对应。
无论检测面部表情数据与预设嗅觉刺激状态之间的对应关系如何，通过对所述检测面部表情数据进行处理，均可以获得多个检测面部特征时间子序列。每一检测面部特征时间子序列均对应于一种预设嗅觉刺激状态。检测面部特征时间子序列，也可以称之为检测面部特征时间序列的小窗。
根据预先训练好的情绪分类模型确定出每个检测面部特征时间子序列对应的检测情绪分类结果，检测情绪分类结果中的情绪状态结果，可以使用二进制数字“1”、“0”来分别表示刺激性情绪和中性情绪，也可以使用字母或符号等来分别表示刺激性情绪和中性情绪，本申请实施例对此并不作特殊限定。
意识水平检测结果可以为以下四种意识状态之一：健康状态(healthy controls,HC)、脱离最小意识状态（Emergence from Minimally Conscious State，EMCS）、最小意识状态（Minimally Consciousness State，MCS）、植物状态(Vegetative State,VS)。四种意识状态的水平高低为：健康状态>脱离最小意识状态>最小意识状态>植物状态。
在本申请实施例提供的基于嗅觉刺激和面部表情的意识水平检测方法中，通过采用生态效应更高的嗅觉刺激，相较于传统的采用视听刺激方式而言，能更大程度诱发检测对象的情绪反馈；通过对检测对象进行面部表情数据采集，以对情绪反馈进行量化，相较于传统的肉眼行为学评估方法更具准确性、客观性、实时性；相较于传统的采用EEG、MRI、PET等评估方式而言，能够适用于遭受严重脑损伤后或接受去骨瓣减压术后颅骨变形严重的检测对象，具有更高的适应性和准确性；该方法可以被广泛地运用于临床实践，有助于全面提升慢性意识障碍患者意识水平检测的效率。
本申请的发明人还提出，为了进一步提升意识水平检测的准确性，还可以预先建立慢性意识障碍患者数据库，根据CRS-R对慢性意识障碍患者进行基于床边行为学的意识水平初步评估，根据患者的意识状态初步将慢性意识障碍患者分为两组，一组为初步评估为植物状态的慢性意识障碍患者，另一组为初步评估为最小意识状态的慢性意识障碍患者，在该数据库中入组待检测患者的意识水平初步评估结果。在基于本申请实施例提供的基于嗅觉刺激和面部表情的意识水平检测方法获得某待检测患者的意识水平检测结果后，根据该慢性意识障碍患者数据库获取该待检测患者的意识水平初步评估结果，即CRS-R评估结果，结合意识水平检测结果与CRS-R评估结果，再次进行综合评估。
检测面部表情数据是检测对象处于不同预设嗅觉刺激状态下所采集的，相应的，多个检测面部特征时间子序列及其检测情绪分类结果，也对应于三个不同预设嗅觉刺激状态，分别提取出不同预设嗅觉刺激状态下检测情绪分类结果的特征，构成检测情绪分类结果特征。
相应的，在一些实施例中，所述检测情绪分类结果特征包括与所述不同预设嗅觉刺激状态分别对应的情绪分类准确率、情绪得分结果均值以及时域信息；
如图2所示，所述根据所述多个检测面部特征时间子序列及其对应的所述检测情绪分类结果，确定出检测情绪分类结果特征（即步骤S130），可以包括如下步骤：
在步骤S210中，根据相应的预设嗅觉刺激状态，将所述多个检测面部特征时间子序列进行分类；
在步骤S220中，根据各类所述检测面部特征时间子序列对应的预设嗅觉刺激状态以及检测情绪分类结果，确定所述情绪分类准确率；
在步骤S230中，根据各类所述检测面部特征时间子序列对应的情绪得分结果，确定所述情绪得分结果均值；
在步骤S240中，确定出各类所述检测面部特征时间子序列中多个检测面部时间子序列及其情绪得分结果之间的关系曲线，作为所述时域信息。
其中，根据相应的预设嗅觉刺激状态，将所述多个检测面部特征时间子序列进行分类，则每类检测面部特征时间子序列均与一种预设嗅觉刺激状态相对应，并且各类检测面部特征时间子序列之间，对应的预设嗅觉刺激状态不同。
对于每类检测面部特征时间子序列，可以根据其对应的预设嗅觉刺激状态，为其确定基准情绪状态，例如，对应于正性气味刺激状态的一类检测面部特征时间子序列以及对应于负性气味刺激状态的一类检测面部特征时间子序列，可以将其基准情绪状态确定为刺激性情绪，对应于中性气味刺激状态的一类检测面部特征时间子序列，可以将其基准情绪状态确定为中性情绪。
然后在每类检测面部特征时间子序列中，通过比较和统计每个检测面部特征时间子序列的基准情绪状态与检测情绪分类结果之间是否一致，来确定该类检测面部特征时间子序列的情绪分类准确率。此外，还可以在每类检测面部特征时间子序列中，通过计算该类别中所有检测面部特征时间子序列对应的情绪得分结果的平均数值，来确定所述情绪得分结果均值。
对检测面部表情数据进行处理，主要是对检测面部表情数据进行特征提取，获得检测面部特征时间序列，为了便于计算以及提高意识水平检测结果的准确性，还可以进一步将检测面部特征时间序列进行分割，得到多个检测面部特征时间子序列。相应的，在一些实施例中，如图3所示，所述对所述检测面部表情数据进行处理，以获得多个检测面部特征时间子序列（即步骤S120），可以包括如下步骤：
在步骤S310中，对所述检测面部表情数据进行特征提取，以获得检测面部特征时间序列；
在步骤S320中，根据预设时间间隔，将所述检测面部特征时间序列分割为所述多个检测面部特征时间子序列。
其中，本申请实施例对于预设时间间隔并不作特殊限定，例如，预设时间间隔可以为2秒、3秒等等。
对于对所述检测面部表情数据进行特征提取，以获得检测面部特征时间序列的步骤，首先，可以根据检测面部表情数据确定面部特征点集合；进而，可以根据面部特征点集合构建基准面部图像；进而，可以根据面部特征点集合和基准面部图像，提取人脸特征向量；最后，可以根据人脸特征向量确定检测面部特征时间序列。
其中，对于根据面部特征点集合和基准面部图像提取人脸特征向量的步骤，可以根据面部特征点集合确定几何特征向量、根据基准面部图像确定降维外观特征向量、将几何特征向量和降维外观特征向量组成该人脸特征向量。对于根据人脸特征向量确定检测面部特征时间序列的步骤，可以根据人脸特征向量分别确定头部姿势特征时间序列和面部动作单元时间序列、将头部姿势特征时间序列和面部动作单元时间序列组成该检测面部特征时间序列。
作为一种最具体的实施方式，对于根据检测面部表情数据确定面部特征点集合的步骤，首先可以使用约束局部神经域（Constrained Local Neural Field，CLNF）模型中的人脸追踪器对检测面部表情数据所蕴含的面部表情进行追踪；然后可以使用CLNF模型中的特征点检测器（该特征点检测器能够提取到人脸的68个面部特征点之多）对追踪到的面部表情进行特征点的提取，从而得到面部特征点集合。
作为一种最具体的实施方式，对于根据面部特征点集合构建基准面部图像的步骤，首先可以将面部特征点集合映射到一个基准的人脸框架中；然后可以对面部特征点集合进行缩放、移动、旋转等处理，并根据24个相对稳定的面部特征点，使得面部特定点集合与该基准的人脸框架对齐、匹配，相对稳定的面部特征点可以包括脸颊两侧和下眼睑区域的特征点；最后，从面部特征点集合中删减与检测对象鼻氧管覆盖区域对应的面部特征点，利用删减后的面部特征点构建该基准面部图像，使用凸包算法包围对齐后的面部特征点，实现对于周围环境图像的屏蔽，来排除外界信息对于微表情检测的干扰。该步骤是为了能够更好地分析面部的纹理特征，避免头部运动以及佩戴鼻氧管带来的影响。
作为一种最具体的实施方式，对于根据面部特征点集合确定几何特征向量的步骤，可以获取面部特征点集合中各面部特征点的空间位置参数，进而得到该几何特征向量，几何特征向量由CLNF模型得到的非刚性参数和68个面部特征点的空间位置参数组成。
作为一种最具体的实施方式，对于根据基准面部图像确定降维外观特征向量的步骤，首先可以确定基准面部图像的梯度方向直方图（Histograms of Oriented Gradient，HOG），其中，任一个基准面部图像的梯度方向直方图为该图像中在每个梯度方向的像素点个数的统计值；然后可以根据该梯度方向直方图确定HOG特征向量；然后可以通过主成分分析法(Principal Component Analysis,PCA)对HOG特征向量进行降维，能够至少保留95%的特征信息，获得该降维外观特征向量。
作为一种最具体的实施方式，对于根据人脸特征向量分别确定头部姿势特征时间序列和面部动作单元时间序列的步骤，可以使用正交相机投影将人脸特征向量投影到图像上，并通过求解透视中的n点问题来准确估计地标，进而提取头部的姿势（包括平移和转向）；可以将多个人脸特征向量输入到面部识别模型中，输出面部动作单元（Action Units，AUs）的强度和次数，再根据面部动作单元的强度和次数，得到面部动作单元时间序列。其中，面部动作单元是描述面部表情的一种方式，由面部活动编码系统（FacialActionCoding System,FACS）定义，用来描述不同的面部肌肉动作变化。并且，通过根据面部特征点集合构建基准面部图像、根据面部特征点集合确定几何特征向量、根据基准面部图像确定降维外观特征向量、将几何特征向量和降维外观特征向量组成该人脸特征向量这一系列步骤，可以适当合理地减少AU次数。
此外，本申请实施例提供的基于嗅觉刺激和面部表情的意识水平检测方法还可以包括模型训练步骤，通过执行该模型训练步骤来获得上文中预先训练好的情绪分类模型以及意识水平检测模型。
相应的，在一些实施例中，如图4所示，所述方法还可以包括模型训练步骤：
在步骤S410中，采集多个样本对象在不同预设嗅觉刺激状态下的样本面部表情数据和样本生理信号数据；其中，所述多个样本对象的意识状态包括健康状态、脱离最小意识状态、最小意识状态、植物状态；
在步骤S420中，对所述样本面部表情数据进行特征提取以获得样本面部特征时间序列，对所述样本生理信号数据进行处理以获得样本生理特征时间序列；
在步骤S430中，根据预设时间间隔，将各条所述样本面部特征时间序列分割为多个样本面部特征时间子序列，将各条所述样本生理特征时间序列分割为多个样本生理特征时间子序列；
在步骤S440中，将各所述样本面部特征时间子序列和各所述样本生理特征时间子序列作为训练数据，对初始分类模型进行训练，获得训练好的所述情绪分类模型。
其中，为了加以区分，本申请实施例将训练模型时采集的面部表情数据称为样本面部表情数据，而上文中将进行意识水平检测时采集的面部表情数据称为检测面部表情数据，将对检测面部表情数据、样本面部表情数据分别进行特征提取所获得的面部特征时间序列分别称为检测面部特征时间序列、样本面部特征时间序列。检测面部特征时间子序列与样本面部特征时间子序列同理。
分别对每个样本对象的样本面部表情数据和样本生理信号数据进行处理，获得相应样本对象的多个样本面部特征时间子序列和多个样本生理特征时间子序列。对所述样本面部表情数据进行特征提取以获得样本面部特征时间序列的实施方式，与上文中对检测面部表情数据进行特征提取以获得检测面部特征时间序列的实施方式相比，原理大致相同，上文中已经详细说明，此处不再赘述。
但需要注意的是，在确定面部动作单元时间序列时，可以通过线性地（例如采用核支持向量机：Kernels Support Vector Machine，kSVM）分析各面部表情数据中AU在一段时间内是否出现以及出现的次数（出现为1，不出现即为0），使用支持向量回归（SupportVector Regression，SVR）估计AU的强度，得到不同的AU在一段时间内的强度估计的时间序列，形成面部动作单元时间序列。但是，在处理多个样本对象的样本面部表情数据时，需要顾及到存在个人差异，为了纠正估计AU强度时的个人特定偏差，可以取特定人的估计AU强度的最低n个百分位数（可以从验证数据中学习），并从所有估计得到的AU强度中均减去它。
通过对多个样本对象的样本面部表情数据进行处理可以获得如图5所示的多种面部动作单元，如图5所示，为本申请实施例所提供的面部动作单元的一种实施方式的示意图，其中包括18个AU，AU1-AU45均为序号，以下简要进行解释：内眉毛提起，描述眉毛向上移动的程度；AU2、外眉毛提起，描述眉毛向上移动的程度；AU4、眉毛下垂，描述眉毛向下移动的程度；AU5、上眼皮提起，描述上眼皮向上移动的程度；AU6、颧骨提起，描述颧骨向上移动的程度；AU7、眼皮紧缩，描述眼皮紧缩的程度；AU9、鼻子皱纹，描述鼻子皱缩的程度；AU10：上唇提起，描述上唇向上移动的程度；AU12、嘴角拉动，描述嘴角向上移动的程度；AU14、颊骨凹陷，描述颊骨凹陷的程度；AU15、嘴角下垂，描述嘴角向下移动的程度；AU17、下巴提起，描述下巴向上移动的程度；AU20、嘴唇伸展，描述嘴唇横向拉动并变得平扁；AU23、嘴唇紧缩，描述嘴唇紧缩的程度；AU25、嘴唇分开，描述嘴唇分开的程度；AU26、下巴下垂，描述下巴向下移动的程度；AU28、嘴唇吮吸，描述嘴唇吮吸的程度；AU45、眨眼，描述眨眼的次数。
其中，生理信号可以包括脑电信号、心电信号等，本申请实施例对于样本生理信号数据与预设嗅觉刺激状态之间的对应关系也不作特殊限定，例如，可以在改变预设嗅觉刺激状态时不中断采集，样本生理信号数据随即与多种预设嗅觉刺激状态相对应；也可以在改变预设嗅觉刺激状态时中断采集，样本生理信号数据随即为多条且与不同预设嗅觉刺激状态一一对应。无论样本生理信号数据与预设嗅觉刺激状态之间的对应关系如何，通过对所述样本生理信号数据进行处理、分割，均可以获得多个样本生理特征时间子序列。每一样本生理特征时间子序列均对应于一种预设嗅觉刺激状态。样本生理特征时间子序列，也可以称之为样本生理特征时间序列的小窗。
对于对所述样本生理信号数据进行处理以获得样本生理特征时间序列的步骤，可以使用EEGLAB（脑电图软件）对脑电信号进行预处理，以得到干净有效的数据，提取预处理后的脑电信号中的脑电特征时间序列；可以采用Matlab（大型数学计算软件）提取心电信号中的心电特征时间序列；脑电特征可以包括频谱信息（脑电功率谱特征以及脑网络特征）等与情绪类别相关的特征（例如各个频率段的微分熵（Differential Entropy, DE)），心电特征可以包括心率与心率变异率（Heart Rate Variability，HRV）等特征。
为了提升数据的特征表达能力以及提升训练速度，在一些实施例中，在采集多个样本对象在不同预设嗅觉刺激状态下的样本面部表情数据和样本生理信号数据的步骤的同时，还可以采集该多个样本对象在静息状态下的样本面部表情数据和样本生理信号数据，进而在步骤S420之后及步骤S430之前，以静息状态下的样本面部特征时间序列和样本生理特征时间序列作为基线，对不同预设嗅觉刺激状态下的样本面部特征时间序列和样本生理特征时间序列进行去噪和基线矫正后，再执行步骤S430。
在一些实施例中，如图6所示，所述将各所述样本面部特征时间子序列和各所述样本生理特征时间子序列作为训练数据，对初始分类模型进行训练，获得训练好的所述情绪分类模型（即步骤S440），可以包括如下步骤：
在步骤S510中，根据相应的预设嗅觉刺激状态，分别为各所述样本生理特征时间子序列添加情绪状态标签；
在步骤S520中，利用添加情绪状态标签后的各所述样本生理特征时间子序列，对所述初始分类模型进行训练，获得训练好的中间分类模型；
在步骤S530中，根据各所述样本生理特征时间子序列、各所述样本面部特征时间子序列以及所述中间分类模型，确定出目标的样本面部特征时间子序列；
在步骤S540中，根据所述目标的样本面部特征时间子序列，对所述中间分类模型的超参数进行优化，以获得训练好的所述情绪分类模型。
其中，该训练好的中间分类模型也可以称之为嗅觉情绪检测分类器，该训练好的所述情绪分类模型也可以称之为嗅觉刺激-面部表情-情绪分类器。
在本申请实施例中，可以将所有添加情绪状态标签后的各所述样本生理特征时间子序列构成第一数据集，在第一数据集中，再将各所述样本生理特征时间子序列按照相应的预设嗅觉刺激状态进行分类存储，各类样本生理特征时间子序列与不同预设嗅觉刺激状态一一对应，并且，还可以按照预设比例（例如，8:2或7:3等），将各个类别中的多个样本生理特征时间子序列划分为训练集和验证集。然后，将训练集输入至初始模型中进行训练，获得拟合的初始模型，再利用验证集来对拟合的初始模型进行验证，获得准确率最优的拟合的初始模型，作为训练好的中间分类模型。
在本申请实施例中，还可以将所有目标的样本面部特征时间子序列构成第二数据集，在第二数据集中，再将各所述目标的样本面部特征时间子序列按照相应的预设嗅觉刺激状态进行分类存储，各类目标的样本面部特征时间子序列与不同预设嗅觉刺激状态一一对应，并且，还可以按照预设比例（例如，8:2或7:3等），将各个类别中的多个目标的样本面部特征时间子序列划分为训练集和验证集。然后，将训练集输入至中间分类模型中进行十折交叉验证，对中间分类模型中关于头部姿势特征时间序列和面部动作单元时间序列的超参数进行优化（如上文中所述，面部特征时间序列由头部姿势特征时间序列和面部动作单元时间序列组成），通过网格搜索超参数优化工具获得关于头部姿势特征时间序列和面部动作单元时间序列的超参数的最优组合，从而获得分类效能最优的中间分类模型，作为训练好的情绪分类模型，也即嗅觉刺激-面部表情-情绪分类器。
为了提升训练速度及效率，在一些实施例中，训练好的中间分类模型可以为三个且同步地训练得到，第一个用以对正性气味刺激状态下的多个样本生理特征时间子序列以及负性气味刺激状态下的多个样本生理特征时间子序列进行情绪分类，第二个个用以对正性气味刺激状态下的多个样本生理特征时间子序列以及中性气味刺激状态下的多个样本生理特征时间子序列进行情绪分类，第三个用以对负性气味刺激状态下的多个样本生理特征时间子序列以及中性气味刺激状态下的多个样本生理特征时间子序列进行情绪分类。相应的，初始分类模型也为三个。
其中，可以理解的是，在训练过程中，均根据相应的预设嗅觉刺激状态，将多个样本生理特征时间子序列输入至相应的初始分类模型中，例如，将正性气味刺激状态下的多个样本生理特征时间子序列以及负性气味刺激状态下的多个样本生理特征时间子序列，输入至第一个初始分类模型中进行训练和验证，以获得第一个训练好的中间分类模型。最后，在根据所述目标的样本面部特征时间子序列，对所述中间分类模型的超参数进行优化，以获得训练好的所述情绪分类模型的步骤中，还可以将三个训练好的中间分类模型进行整合，以获得训练好的情绪分类模型。
在初始分类模型及中间分类模型均为三个的情况下，中间分类模型也即嗅觉情绪检测分类器，可以为基于线性核的支持向量机（Support Vector Machines, SVM）训练情绪分类的分类器，这是一种二分类模型。
可以看出，各所述样本生理特征时间子序列，不仅用于获得训练好的中间分类模型，还用于与训练好的中间分类模型以及各所述样本面部特征时间子序列一同确定出目标的样本面部特征时间子序列。这是因为，面部表情相较于生理信号而言变化十分迅速，很可能稍纵即逝，因此需要筛选出情绪状态较为明显的样本面部特征时间子序列。
相应的，在一些实施例中，各所述目标的样本面部特征时间子序列均携带有情绪状态标签；如图7所示，在一些实施例中，所述根据各所述样本生理特征时间子序列、各所述样本面部特征时间子序列以及所述中间分类模型，确定出目标的样本面部特征时间子序列（即步骤S530），可以包括如下步骤：
在步骤S610中，将各所述样本生理特征时间子序列输入至所述中间分类模型，获得输出的多个中间分类结果，其中，所述中间分类结果包括情绪状态结果和情绪得分结果，所述情绪状态结果为刺激性情绪和中性情绪中的一者；
在步骤S620中，将情绪状态结果为刺激性情绪的各所述样本生理特征时间子序列，按照所述情绪得分结果从高到低进行排名，获取预设排名位置之前的第一样本生理特征时间子序列；
在步骤S630中，将情绪状态结果为中性情绪的各所述样本生理特征时间子序列，按照所述情绪得分结果从高到低进行排名，获取预设排名位置之前的第二样本生理特征时间子序列；
在步骤S640中，根据各所述第一样本生理特征时间子序列对应的时间信息和各所述第二样本生理特征时间子序列对应的时间信息，从各所述样本面部特征时间子序列中确定出目标的样本面部特征时间子序列；
在步骤S650中，根据各所述第一样本生理特征时间子序列的情绪状态结果和各所述第二样本生理特征时间子序列的情绪状态结果，为各所述目标的样本面部特征时间子序列添加情绪状态标签。
其中，本申请实施例对于上述步骤S620和S630的执行顺序并不作特殊限定，可以同步执行，也可以异步执行。本申请实施例对于预设排名位置也不做特殊限定，例如，可以为35%、30%、25%等等。
在本申请实施例中，存在多个样本面部特征时间子序列与多个样本生理特征时间子序列对应于相同的采集时间，从而可以根据各所述第一样本生理特征时间子序列对应的时间信息和各所述第二样本生理特征时间子序列对应的时间信息，从各所述样本面部特征时间子序列中确定出目标的样本面部特征时间子序列。此时，确定出的各个目标的样本面部特征时间子序列，将与一个第一样本生理特征时间子序列或一个第二样本生理特征时间子序列相比，属于同一时间窗口内的时间序列。
在一些实施例中，在上述根据相应的预设嗅觉刺激状态，分别为各所述样本生理特征时间子序列添加情绪状态标签的步骤中（即步骤S510），还可以为各所述样本面部特征时间子序列添加情绪状态标签；相应的，所述为各所述目标的样本面部特征时间子序列添加情绪状态标签（即步骤S650中提及的）可以包括：对各所述目标的样本面部特征时间子序列已携带的情绪状态标签进行更新。
在一些实施例中，所述情绪状态标签为刺激性情绪标签和中性情绪标签中的一者，所述根据相应的预设嗅觉刺激状态，分别为各所述样本生理特征时间子序列添加情绪状态标签，可以包括如下步骤：为对应于正性气味刺激状态的和对应于负性气味刺激状态的所述样本生理特征时间子序列添加刺激性情绪标签，为对应于中性气味刺激状态的所述样本生理特征时间子序列添加中性情绪标签。
作为其中一种实施方式，在获得样本面部特征时间序列以及样本生理特征时间序列（即步骤S410）之后，可以根据多个样本对象的意识状态将样本面部特征时间序列以及样本生理特征时间序列分类存储，并为样本面部特征时间序列以及样本生理特征时间序列添加意识状态的标签。还可以根据不同预设嗅觉刺激状态对应的采集时间，为样本面部特征时间序列以及样本生理特征时间序列添加任务态的标签，任务态即预设嗅觉刺激状态，包括正性气味刺激状态、负性气味刺激状态和中性气味刺激状态。当一条样本面部表情数据（或样本生理信号数据）对应一个预设嗅觉刺激状态时，从中提取的样本面部特征时间序列（或样本生理特征时间序列）仅携带一个任务态的标签，此时还可以按照任务态将样本面部特征时间序列（或样本生理特征时间序列）进行分类存储。当一条样本面部表情数据（或样本生理信号数据）对应多个预设嗅觉刺激状态时，从中提取的样本面部特征时间序列（或样本生理特征时间序列）也将携带多个任务态的标签。如此一来，对于根据相应的预设嗅觉刺激状态，分别为各所述样本生理特征时间子序列添加情绪状态标签的步骤，即可根据样本生理特征时间序列所携带的任务态的标签来执行。
除此之外，本申请实施例中对于根据相应的预设嗅觉刺激状态，分别为各所述样本生理特征时间子序列添加情绪状态标签的步骤，还可以直接根据各预设嗅觉刺激状态对应的采集时间来执行。
在获得训练好的所述情绪分类模型之后，即可利用多个样本面部特征时间子序列以及该训练好的所述情绪分类模型，进一步地对初始检测模型进行训练，获得训练好的所述意识水平检测模型。相应的，在一些实施例中，如图8所示，所述模型训练步骤还可以包括如下步骤：
在步骤S710中，根据所述情绪分类模型确定出所述多个样本面部特征时间子序列对应的多个样本情绪分类结果；
在步骤S720中，根据各所述样本对象对应的多个样本面部特征时间子序列及其样本情绪分类结果，确定出相应样本对象的样本情绪分类结果特征；
在步骤S730中，根据各所述样本对象的意识状态，为相应样本对象的样本情绪分类结果特征添加意识状态标签；
在步骤S740中，利用添加意识状态标签后的各所述样本情绪分类结果特征，对初始检测模型进行训练，获得训练好的所述意识水平检测模型。
其中，根据各所述样本对象对应的多个样本面部特征时间子序列及其样本情绪分类结果确定出相应样本对象的样本情绪分类结果特征的实施方式，与上文中根据所述多个检测面部特征时间子序列及其对应的检测情绪分类结果确定出检测情绪分类结果特征的实施方式相比，原理一致，在上文中已经详细说明，此处不再赘述。
其中，训练好的意识水平检测模型，也可以称之为嗅觉刺激-面部表情-意识检测模型。而训练好的情绪分类模型（也即嗅觉刺激-面部表情-情绪分类器）可以与训练好的意识水平检测模型（也即嗅觉刺激-面部表情-意识检测模型）一同，构成嗅觉刺激-面部表情检测-情绪识别-意识评估系统。
获得多个样本对象的多个样本情绪分类结果特征后，可以将所有样本情绪分类结果特征构成第三数据集，在第三数据集中，再将各所述样本情绪分类结果特征按照相应样本对象的意识状态进行分类存储，并添加相应的意识状态标签，各类样本情绪分类结果特征与不同意识状态一一对应，并且，还可以按照预设比例（例如，8:2或7:3等），将各个类别中的多个样本情绪分类结果特征划分为训练集和验证集。然后，将训练集输入至初始检测模型中进行训练，获得拟合的初始检测模型，再利用验证集来对拟合的初始检测模型进行验证，获得准确率最优的拟合的初始检测模型，作为训练好的意识水平检测模型。
对于根据各所述样本对象的意识状态为相应样本对象的样本情绪分类结果特征添加意识状态标签的步骤，为分别具有健康状态、脱离最小意识状态、最小意识状态、植物状态的意识状态的样本对象的样本情绪分类结果特征，分别添加健康状态标签、脱离最小意识状态标签、最小意识状态标签、植物状态标签。
可以理解的是，尽管本申请实施例提供的基于嗅觉刺激和面部表情的意识水平检测方法包括上述模型训练步骤，但不必要在每次检测对象的意识水平进行检测时均执行上述模型训练步骤。
以下结合一个最具体实施例来对本申请提供的基于嗅觉刺激和面部表情的意识水平检测方法进行简要描述。
本申请实施例提供一种意识水平检测模式，其采用基于嗅觉刺激的信号获取结构，该结构可以包括自动化嗅觉刺激装置（也称之为自动化嗅觉气味刺激装置及系统）、面部表情采集装置（包括高清摄像装置）和生理信号采集装置（包括脑电记录装置和心电记录装置）。
自动化嗅觉刺激装置中存储有用于获取各种不同预设气味的气味材料，自动化嗅觉刺激装置的输出端与人体鼻部佩戴的鼻氧管连通，气味材料的气味经自动化嗅觉刺激装置输送到人体鼻部。
面部表情采集装置朝向人体面部设置，用于实时监测和记录人体在不同嗅觉刺激状态下和在静息状态下的面部表情数据。面部表情采集装置可以包括高清摄像机、信号打标装置和记录装置，通过信号打标装置将患者在不同预设嗅觉刺激下以及在静息状态下的时间与患者的面部表情数据、脑电信号和心电信号同步。
生理信号采集装置连接在人体上，用于实时监测和记录人体在不同嗅觉刺激状态下和在静息状态下的脑电信号和心电信号。生理信号采集装置可以包括脑电采集装置和心电采集装置，脑电采集装置可以包括脑电帽、信号打标装置和记录装置，心电采集装置可以包括心电贴片、信号打标装置和记录装置，通过信号打标装置将患者在不同预设嗅觉刺激下以及在静息状态下的时间与患者的面部表情数据、脑电信号和心电信号同步。
将意识障碍患者和健康人对照组均作为样本对象，通过自动化嗅觉气味刺激装置及系统，先向样本对象鼻部的鼻氧管导入氧气并持续5分钟，从而采集到静息状态下的样本面部表情数据和样本生理信号数据；然后总计10次随机地向样本对象鼻部的鼻氧管分别导入正性气味、负性气味和中性气味，从而采集到不同预设嗅觉刺激状态下的样本面部表情数据和样本生理信号数据，并分别为每种预设嗅觉刺激状态下的样本面部表情数据和样本生理信号数据添加任务态的标签。
对样本面部表情数据和样本生理信号数据分别进行处理，可以获得面部表情特征、脑电特征和心电特征，进一步获得样本面部特征时间序列和样本生理特征时间序列。基于样本面部特征时间序列和样本生理特征时间序列可以识别到情绪反馈，进而可以检测出隐蔽意识、残存脑功能。
本申请实施例提供一种意识水平检测流程，该意识水平检测流程步骤可以简要划分为步骤1、步骤2和步骤3。在步骤1中，配置嗅觉刺激与面部表情信息采集系统，具体的，配置嗅觉刺激材料（即气味材料）与范式、自动化嗅觉刺激装置、面部表情采集装置和生理信号采集装置。在步骤2中，构建嗅觉刺激-面部表情检测-情绪识别-意识评估系统，将慢性意识障碍患者（包括VS和MCS）、ECMS和健康人均作为样本对象，分别采集多个样本对象在静息状态下和在任务态下（即在不同预设嗅觉刺激状态下）的面部表情数据、脑电信号、心电信号以及临床数据（也即CRS-R评估结果），先训练得到嗅觉刺激-面部表情-情绪分类器（也即情绪分类模型），进而训练得到意识分类器（也即意识水平检测模型、嗅觉刺激-面部表情-意识检测模型）。在步骤3中，对未知被试者（即慢性意识障碍患者）进行嗅觉刺激和意识评估，具体的，对慢性意识障碍患者进行面部数据采集，利用步骤2构建的嗅觉刺激-面部表情检测-情绪识别-意识评估系统，获得意识分类结果。
作为本申请实施例的第二个方面，提供一种电子设备，其中，如图9所示，所述电子设备包括：
一个或多个处理器101；
存储器102，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器101执行，使得所述一个或多个处理器101实现本申请实施例第一个方面所提供的基于嗅觉刺激和面部表情的意识水平检测方法。
所述电子设备还可以包括一个或多个I/O接口103，连接在处理器101与存储器102之间，配置为实现处理器101与存储器102的信息交互。
其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器（CPU）等；存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器（RAM，更具体如SDRAM、DDR等）、只读存储器（ROM）、带电可擦可编程只读存储器（EEPROM）、闪存（FLASH）；I/O接口（读写接口）连接在处理器与存储器间，能实现处理器与存储器的信息交互，其包括但不限于数据总线（Bus）等。
在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。
作为本申请实施例的第三个方面，如图10所示，提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请实施例第一个方面所提供的基于嗅觉刺激和面部表情的意识水平检测方法。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。据此，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可实现上述任意一项实施例的方法。其中，本申请实施例所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM (PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本申请包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本申请的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims (10)

1.一种基于嗅觉刺激和面部表情的意识水平检测方法，其特征在于，所述方法包括：
分别采集检测对象在不同预设嗅觉刺激状态下的检测面部表情数据；其中，所述不同预设嗅觉刺激状态包括正性气味刺激状态、负性气味刺激状态和中性气味刺激状态；
对所述检测面部表情数据进行处理，以获得多个检测面部特征时间子序列；
根据预先训练好的情绪分类模型确定出所述多个检测面部特征时间子序列对应的多个检测情绪分类结果，所述检测情绪分类结果包括情绪状态结果和情绪得分结果，所述情绪状态结果为刺激性情绪和中性情绪中的一者；
根据所述多个检测面部特征时间子序列及其对应的所述检测情绪分类结果，确定出检测情绪分类结果特征；
将所述检测情绪分类结果特征输入至预先训练好的意识水平检测模型中，获得输出的意识水平检测结果，其中，所述意识水平检测结果为以下四种意识状态之一：健康状态、脱离最小意识状态、最小意识状态、植物状态。
2.根据权利要求1所述的方法，其特征在于，所述检测情绪分类结果特征包括与所述不同预设嗅觉刺激状态分别对应的情绪分类准确率、情绪得分结果均值以及时域信息；
所述根据所述多个检测面部特征时间子序列及其对应的所述检测情绪分类结果，确定出检测情绪分类结果特征，包括：
根据相应的预设嗅觉刺激状态，将所述多个检测面部特征时间子序列进行分类；
根据各类所述检测面部特征时间子序列对应的预设嗅觉刺激状态以及检测情绪分类结果，确定所述情绪分类准确率；
根据各类所述检测面部特征时间子序列对应的情绪得分结果，确定所述情绪得分结果均值；
确定出各类所述检测面部特征时间子序列中多个检测面部时间子序列及其情绪得分结果之间的关系曲线，作为所述时域信息。
3.根据权利要求1所述的方法，其特征在于，所述对所述检测面部表情数据进行处理，以获得多个检测面部特征时间子序列，包括：
对所述检测面部表情数据进行特征提取，以获得检测面部特征时间序列；
根据预设时间间隔，将所述检测面部特征时间序列分割为所述多个检测面部特征时间子序列。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括模型训练步骤：
采集多个样本对象在不同预设嗅觉刺激状态下的样本面部表情数据和样本生理信号数据；其中，所述多个样本对象的意识状态包括健康状态、脱离最小意识状态、最小意识状态、植物状态；
对所述样本面部表情数据进行特征提取以获得样本面部特征时间序列，对所述样本生理信号数据进行处理以获得样本生理特征时间序列；
根据预设时间间隔，将各条所述样本面部特征时间序列分割为多个样本面部特征时间子序列，将各条所述样本生理特征时间序列分割为多个样本生理特征时间子序列；
将各所述样本面部特征时间子序列和各所述样本生理特征时间子序列作为训练数据，对初始分类模型进行训练，获得训练好的所述情绪分类模型。
5.根据权利要求4所述的方法，其特征在于，所述将各所述样本面部特征时间子序列和各所述样本生理特征时间子序列作为训练数据，对初始分类模型进行训练，获得训练好的所述情绪分类模型，包括：
根据相应的预设嗅觉刺激状态，分别为各所述样本生理特征时间子序列添加情绪状态标签；
利用添加情绪状态标签后的各所述样本生理特征时间子序列，对所述初始分类模型进行训练，获得训练好的中间分类模型；
根据各所述样本生理特征时间子序列、各所述样本面部特征时间子序列以及所述中间分类模型，确定出目标的样本面部特征时间子序列；
根据所述目标的样本面部特征时间子序列，对所述中间分类模型的超参数进行优化，以获得训练好的所述情绪分类模型。
6.根据权利要求5所述的方法，其特征在于，各所述目标的样本面部特征时间子序列均携带有情绪状态标签；
所述根据各所述样本生理特征时间子序列、各所述样本面部特征时间子序列以及所述中间分类模型，确定出目标的样本面部特征时间子序列，包括：
将各所述样本生理特征时间子序列输入至所述中间分类模型，获得输出的多个中间分类结果，其中，所述中间分类结果包括情绪状态结果和情绪得分结果，所述情绪状态结果为刺激性情绪和中性情绪中的一者；
将情绪状态结果为刺激性情绪的各所述样本生理特征时间子序列，按照所述情绪得分结果从高到低进行排名，获取预设排名位置之前的第一样本生理特征时间子序列；
将情绪状态结果为中性情绪的各所述样本生理特征时间子序列，按照所述情绪得分结果从高到低进行排名，获取预设排名位置之前的第二样本生理特征时间子序列；
根据各所述第一样本生理特征时间子序列对应的时间信息和各所述第二样本生理特征时间子序列对应的时间信息，从各所述样本面部特征时间子序列中确定出目标的样本面部特征时间子序列；
根据各所述第一样本生理特征时间子序列的情绪状态结果和各所述第二样本生理特征时间子序列的情绪状态结果，为各所述目标的样本面部特征时间子序列添加情绪状态标签。
7.根据权利要求6所述的方法，其特征在于，所述情绪状态标签为刺激性情绪标签和中性情绪标签中的一者，所述根据相应的预设嗅觉刺激状态，分别为各所述样本生理特征时间子序列添加情绪状态标签，包括：
为对应于正性气味刺激状态的和对应于负性气味刺激状态的所述样本生理特征时间子序列添加刺激性情绪标签，为对应于中性气味刺激状态的所述样本生理特征时间子序列添加中性情绪标签。
8.根据权利要求4所述的方法，其特征在于，所述模型训练步骤还包括：
根据所述情绪分类模型确定出所述多个样本面部特征时间子序列对应的多个样本情绪分类结果；
根据各所述样本对象对应的多个样本面部特征时间子序列及其样本情绪分类结果，确定出相应样本对象的样本情绪分类结果特征；
根据各所述样本对象的意识状态，为相应样本对象的样本情绪分类结果特征添加意识状态标签；
利用添加意识状态标签后的各所述样本情绪分类结果特征，对初始检测模型进行训练，获得训练好的所述意识水平检测模型。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1-8中任一项所述的基于嗅觉刺激和面部表情的意识水平检测方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-8中任一项所述的基于嗅觉刺激和面部表情的意识水平检测方法。
CN202410113106.6A 2024-01-26 2024-01-26 基于嗅觉刺激和面部表情的意识检测方法、设备及介质 Active CN117633606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410113106.6A CN117633606B (zh) 2024-01-26 2024-01-26 基于嗅觉刺激和面部表情的意识检测方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410113106.6A CN117633606B (zh) 2024-01-26 2024-01-26 基于嗅觉刺激和面部表情的意识检测方法、设备及介质

Publications (2)

Publication Number Publication Date
CN117633606A true CN117633606A (zh) 2024-03-01
CN117633606B CN117633606B (zh) 2024-04-19

Family

ID=90030815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410113106.6A Active CN117633606B (zh) 2024-01-26 2024-01-26 基于嗅觉刺激和面部表情的意识检测方法、设备及介质

Country Status (1)

Country Link
CN (1) CN117633606B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190298244A1 (en) * 2016-12-12 2019-10-03 Daikin Industries, Ltd. Mental illness determination device
CN112347984A (zh) * 2020-11-27 2021-02-09 安徽大学 基于嗅觉刺激的eeg采集和情感识别方法及其系统
CN114565957A (zh) * 2022-01-13 2022-05-31 浙江大学医学院附属第一医院 基于微表情识别的意识评估方法及系统
CN115439920A (zh) * 2022-11-03 2022-12-06 之江实验室 基于情绪视听刺激和面部表情的意识状态检测系统、设备
CN115512422A (zh) * 2022-10-18 2022-12-23 河南科技大学 基于注意力机制的卷积神经网络面部情绪识别方法及系统
CN116343314A (zh) * 2023-05-30 2023-06-27 之江实验室 一种表情识别方法、装置、存储介质及电子设备
CN116985741A (zh) * 2023-07-31 2023-11-03 重庆大学 基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190298244A1 (en) * 2016-12-12 2019-10-03 Daikin Industries, Ltd. Mental illness determination device
CN112347984A (zh) * 2020-11-27 2021-02-09 安徽大学 基于嗅觉刺激的eeg采集和情感识别方法及其系统
CN114565957A (zh) * 2022-01-13 2022-05-31 浙江大学医学院附属第一医院 基于微表情识别的意识评估方法及系统
CN115512422A (zh) * 2022-10-18 2022-12-23 河南科技大学 基于注意力机制的卷积神经网络面部情绪识别方法及系统
CN115439920A (zh) * 2022-11-03 2022-12-06 之江实验室 基于情绪视听刺激和面部表情的意识状态检测系统、设备
CN116343314A (zh) * 2023-05-30 2023-06-27 之江实验室 一种表情识别方法、装置、存储介质及电子设备
CN116985741A (zh) * 2023-07-31 2023-11-03 重庆大学 基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BARBARA LEFRANC ET AL.: "Mindfulness, Interoception, and Olfaction: A Network Approach", BRAIN SCIENCES, 29 November 2020 (2020-11-29) *
黄健涛: "基于脑机接口的意识检测系统研究", 中国优秀硕士学位论文全文数据库 基础科学辑, vol. 2021, no. 02, 15 February 2021 (2021-02-15), pages 006 - 715 *

Also Published As

Publication number Publication date
CN117633606B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
Zamzmi et al. A review of automated pain assessment in infants: features, classification tasks, and databases
Deligianni et al. From emotions to mood disorders: A survey on gait analysis methodology
Haque et al. Deep multimodal pain recognition: a database and comparison of spatio-temporal visual modalities
Greco et al. Advances in electrodermal activity processing with applications for mental health
Savran et al. Emotion detection in the loop from brain signals and facial images
Halford Computerized epileptiform transient detection in the scalp electroencephalogram: Obstacles to progress and the example of computerized ECG interpretation
CN110662490A (zh) 用于在mri图像数据中检测复合物网络的系统和方法
Klug et al. The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data
EP4039186B1 (en) Apparatus and method for providing information on parkinson's disease using neuromelanin image
Luca et al. Detecting rare events using extreme value statistics applied to epileptic convulsions in children
US20150206174A1 (en) Method for measuring engagement
Zamzmi et al. Machine-based multimodal pain assessment tool for infants: a review
Lai et al. Detection of Moderate Traumatic Brain Injury from Resting‐State Eye‐Closed Electroencephalography
Chen et al. A vision-based regression model to evaluate Parkinsonian gait from monocular image sequences
CN114565957A (zh) 基于微表情识别的意识评估方法及系统
Dadiz et al. Detecting depression in videos using uniformed local binary pattern on facial features
Newman et al. Automatic nystagmus detection and quantification in long-term continuous eye-movement data
CN117633606B (zh) 基于嗅觉刺激和面部表情的意识检测方法、设备及介质
CN112992340A (zh) 基于行为识别的疾病预警方法、装置、设备及存储介质
CN115439920B (zh) 基于情绪视听刺激和面部表情的意识状态检测系统、设备
Shinde et al. Facial features based prediction of Parkinson's disease
KR102509544B1 (ko) 심장-표정 동기화 기반 감성 인식 방법 및 시스템
Xu et al. Tinnitus classification based on resting-state functional connectivity using a convolutional neural network architecture
Casti et al. A personalized assessment platform for non-invasive monitoring of pain
O'Regan Artefact detection and removal algorithms for EEG diagnostic systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant