CN113017634B - 情绪评估方法、装置、电子设备和计算机可读存储介质 - Google Patents

情绪评估方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113017634B
CN113017634B CN202110300804.3A CN202110300804A CN113017634B CN 113017634 B CN113017634 B CN 113017634B CN 202110300804 A CN202110300804 A CN 202110300804A CN 113017634 B CN113017634 B CN 113017634B
Authority
CN
China
Prior art keywords
ear
target
candidate
temperature
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110300804.3A
Other languages
English (en)
Other versions
CN113017634A (zh
Inventor
李俊楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110300804.3A priority Critical patent/CN113017634B/zh
Publication of CN113017634A publication Critical patent/CN113017634A/zh
Application granted granted Critical
Publication of CN113017634B publication Critical patent/CN113017634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/227—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请公开了一种情绪评估方法、装置、电子设备和计算机可读存储介质。方法包括：获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像；对所述目标图像进行特征提取处理，得到耳部视图特征；将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中，得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向。本申请实施例提供的技术方案能够提升情绪评估的灵活性。

Description

情绪评估方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种情绪评估方法、装置、电子设备和计算机可读存储介质。
背景技术
情绪是人们对事物的态度以及相应的行为反应。情绪在人们的生活中起着举足轻重的作用，对人们的思维、决策和行为产生很大的影响，判断人们的真实情绪类型可以为医学治疗、审讯领域、服务行业等提供重要参考依据。
鉴于此，相关技术尝试采集人的语音信号，对语音信号中的音强、音速等信息进行语义分析，以此来对人的情绪进行评估，得到的评估结果可以对判断人的真实情绪类型提供参考依据。
然而，上述情绪评估的方式比较局限，使得情绪评估的灵活性较差。
发明内容
本申请实施例提供了一种情绪评估方法、装置、电子设备和计算机可读存储介质，可以提升情绪评估的灵活性。
第一方面，提供了一种情绪评估方法，所述方法包括：
获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像；
对所述目标图像进行特征提取处理，得到耳部视图特征；
将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中，得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向。
第二方面，提供了一种情绪评估装置，所述装置包括：
第一获取模块，用于获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像；
提取模块，用于对所述目标图像进行特征提取处理，得到耳部视图特征；
评估模块，用于将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中，得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向。
第三方面，提供了一种电子设备，所述电子设备包括生理数据采集组件和处理组件；
所述生理数据采集组件，用于在所述处理组件的控制下获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像；
所述处理组件，用于对所述目标图像进行特征提取处理，得到耳部视图特征，并将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中，得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向。
第四方面，提供了一种电子设备，所述电子设备包括生理数据采集组件、通信组件和处理组件；
所述生理数据采集组件，用于在所述处理组件的控制下获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像；
所述通信组件，用于在所述处理组件的控制下将所述目标图像和所述目标耳温发送至终端；
其中，所述目标图像用于供所述终端对所述目标图像进行特征提取处理，得到耳部视图特征，所述目标耳温和所述耳部视图特征用于供所述终端将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向。
第五方面，提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述第一方面所述的方法的步骤。
第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过获取目标对象的耳部生理数据，该耳部生理数据包括目标耳温以及耳内组织的目标图像，而后，对该目标图像进行特征提取处理，得到耳部视图特征，接着，将该耳部视图特征以及目标耳温输入至预先训练的分类模型中，即可得到用于表征目标对象的情绪偏向的分类结果；这样，本申请实施例通过获取目标对象的耳部生理数据即可实现目标对象情绪的评估，相较于通过采集目标对象的语音信号进行情绪评估的方式，本申请实施例在一些不便于采集目标对象的语音信号的场景下，如目标对象处于需保持安静的环境中，也能够实现目标对象情绪的评估，从而提升了情绪评估的灵活性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中情绪评估方法的应用环境图；
图2为另一个实施例中情绪评估方法的应用环境图；
图3为一个实施例中情绪评估方法的流程图；
图4为一个实施例中步骤301的流程图；
图5为一个实施例中步骤302的流程图；
图6为一个实施例中一种示例性地基于目标图像识别发热点的示意图；
图7为另一个实施例中情绪评估方法的流程图；
图8为一个实施例中一种示例性地10个候选耳温在目标坐标系中的示意图；
图9为一个实施例中分类模型的训练过程的流程图；
图10为一个实施例中一种示例性地基于分类模型对目标对象情绪进行评估的示意图；
图11另一个实施例中情绪评估方法的流程图；
图12为一个实施例中情绪评估装置的结构框图；
图13为另一个实施例中情绪评估装置的结构框图；
图14为另一个实施例中情绪评估装置的结构框图；
图15为另一个实施例中情绪评估装置的结构框图；
图16为另一个实施例中情绪评估装置的结构框图；
图17为一个实施例中电子设备的内部结构示意图；
图18为另一个实施例的电子设备的内部结构示意图；
图19为另一个实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
下面，将对本申请实施例提供的情绪评估方法所涉及到的实施环境进行简要说明。
图1为本申请实施例提供的情绪评估方法所涉及到的一种示例性地实施环境的示意图。如图1所示，该实施环境可以包括电子设备110和终端120，电子设备110和终端120之间可以通过有线网络或无线网络进行通信。
其中，电子设备110可以是耳部穿戴设备，如耳机、眼镜、按摩仪等；终端120可以是各种个人计算机、笔记本电脑、智能手机、平板电脑、车载设备，等等。
在图1所示的实施环境中，电子设备110可以获取目标对象的耳部生理数据，该耳部生理数据包括目标耳温以及耳内组织的目标图像，电子设备110可以将该目标耳温以及耳内组织的目标图像发送至终端120；终端120可以对目标图像进行特征提取处理，得到耳部视图特征，并将耳部视图特征以及目标耳温输入至预先训练的分类模型中，从而得到用于表征目标对象的情绪偏向的分类结果。
图2为本申请实施例提供的情绪评估方法所涉及到的另一种示例性地实施环境的示意图。如图2所示，该实施环境可以仅包括电子设备210。其中，电子设备210可以是耳部穿戴设备，如耳机、眼镜、按摩仪等。
在图2所示的实施环境中，电子设备210可以获取目标对象的耳部生理数据，该耳部生理数据包括目标耳温以及耳内组织的目标图像，电子设备210对该目标图像进行特征提取处理，得到耳部视图特征，电子设备210将耳部视图特征以及目标耳温输入至预先训练的分类模型中，得到用于表征目标对象的情绪偏向的分类结果。
请参考图3，其示出了本申请实施例提供的一种情绪评估方法的流程图。本申请实施例中的情绪评估方法，以运行于图2中的电子设备为例进行描述。如图3所示，该情绪评估方法可以包括以下步骤：
步骤301，电子设备获取目标对象的耳部生理数据。
本申请实施例中，目标对象可以人类或者其他哺乳动物，例如可以是猫、狗等。在需要对目标对象的情绪偏向进行评估的情况下，电子设备可以采集目标对象的耳部生理数据，该耳部生理数据可以包括目标对象的目标耳温以及耳内组织的目标图像。
其中，情绪偏向是指电子设备评估得到的目标对象的评估情绪类型，评估情绪类型例如偏向正面情绪、偏向中性情绪、偏向负面情绪等。该情绪偏向可以在判断目标对象的真实情绪类型的场景中提供参考。
本申请实施例中，目标耳温可以是电子设备采集的目标对象的耳部温度，该耳部温度可以是目标对象耳内的温度，也可以是目标对象耳外的耳部区域的温度；目标图像可以是电子设备对目标对象的耳内组织进行图像采集得到的，耳内组织可以是鼓膜、耳道壁，等等。
在一种可能的实施方式中，目标耳温的采集时刻可以与目标图像的采集时刻相同，即电子设备可以在相同的采集时刻采集目标耳温和目标图像；当然，在实际的实施过程中，为了降低实施难度，目标耳温的采集时刻与目标图像的采集时刻之间的差值也可以小于预设的时间阈值，即目标耳温的采集时刻与目标图像的采集时刻可以存在较小的时间差异。
可选地，电子设备可以对目标对象的耳部进行一次温度采集，得到该目标耳温；可选地，电子设备也可以对目标对象的耳部进行多次温度采集，并从多次温度采集的结果中筛选出一个作为目标耳温。电子设备确定目标耳温后，将在该目标耳温的采集时刻采集的耳内组织的图像作为目标图像。
本申请实施例中，电子设备中可以设置生理数据采集组件，电子设备通过该生理数据采集组件获取目标对象的耳部生理数据。
可选地，该生理数据采集组件可以是红外传感器。红外传感器感知目标对象向外辐射的红外线，根据红外线的辐射能量获得目标对象的目标耳温。
可选地，本申请实施例目标图像为表征目标对象的活体温度分布的温度图像。以生理数据采集组件是红外传感器为例，红外传感器感知目标对象向外辐射的红外线，红外传感器中感光元件的多个感光点进行电子跃迁产生电势差，该电势差经过模数转换后则可以得到红外图像，该红外图像中不同像素点对应目标对象辐射出的不同能量，因此，该红外图像作为目标图像时可以表征目标对象的活体温度的温度分布。
这样，电子设备则获取到目标对象的目标耳温以及耳内组织的目标图像。
需要说明的是，本申请发明人在研发过程中进行了大量实验，在不同情绪刺激(例如正面情绪刺激、中性情绪刺激、负面情绪刺激等)下，通过研究大量的不同实验对象(不同的人以及不同的动物等)的耳温和耳内组织的温度图像发现：目标对象在不同的情绪下，其耳温会发生变化，温度图像中温度的分布也会发生变化。例如，目标对象在愤怒的负面情绪下和目标对象在平静的中性情绪下相比，其耳温会升高，温度图像也会出现一些明显的发热点；目标对象在开心的正面情绪下和目标对象在平静的中性情绪下相比，其耳温也会升高，温度图像也会出现一些发热点；而目标对象在愤怒的负面情绪下和目标对象在开心的正面情绪下的耳温和温度图像也存在一定的差异。因此，目标对象的目标耳温以及耳内组织的目标图像可以一定程度反映目标对象的情绪偏向。
步骤302，电子设备对目标图像进行特征提取处理，得到耳部视图特征。
本申请实施例中，电子设备对目标图像进行特征提取处理，提取出目标图像中的特征信息，将特征信息作为目标对象的耳部视图特征。该特征信息可以是边缘特征信息、颜色特征信息等。
可选地，电子设备可以对目标图像进行卷积处理，提取出目标图像中的边缘特征信息；可选地，电子设备还可以通过颜色直方图的方式提取目标图像中的颜色特征信息，在此对电子设备进行特征提取的方式不做限制。
这样，电子设备则得到目标对象的耳部视图特征。相较于目标图像而言，耳部视图特征的数据量大大减小，电子设备基于耳部视图特征进行后续的目标对象情绪评估，可以降低电子设备的数据计算量，从而提升情绪评估的速度。
步骤303，电子设备将耳部视图特征以及目标耳温输入至预先训练的分类模型中，得到分类结果。
其中，分类结果用于表征目标对象的情绪偏向。
分类模型可以是基于任意的分类模型框架训练得到的，该分类模型框架例如可以是卷积神经网络。
分类模型基于训练数据集训练得到，该训练数据集可以包括多个训练输入数据以及各训练输入数据对应的情绪偏向标签，每个训练输入数据可以包括样本耳温以及基于该样本耳温对应的样本图像提取的样本耳部视图特征。这样，在基于训练数据集对分类模型训练的过程中，分类模型可以充分学习样本耳温和样本耳部视图特征与对应的情绪偏向标签之间的映射关系。
这样，分类模型训练完成后，电子设备将耳部视图特征以及目标耳温输入至该分类模型中，该分类模型则可以根据学习到的映射关系，输出该耳部视图特征以及目标耳温对应的情绪偏向，该情绪偏向例如可以是偏向正面情绪、偏向中性情绪、偏向负面情绪，等等。
示例性地，以下将结合几种不同的应用场景，对本申请实施例情绪评估方法的应用进行示例性地介绍：
1)企业管理领域
以电子设备是耳机为例，企业的员工在佩戴耳机的情况下，耳机可以采集员工的目标耳温以及耳内组织的目标图像，并通过上述实施例的实施方式，得到员工的情绪偏向。可选地，耳机可以输出员工的情绪偏向，或者也可以将员工的情绪偏向发送至终端。
这样，企业不必采集分析员工的语音信号，仅基于员工的耳温以及耳内组织的图像，企业即可及时了解员工的大致情绪状态，提升了情绪评估的灵活性。
进一步地，对于一些特殊岗位，例如金融交易领域的操盘岗位，操盘人员不同的情绪会对操盘结果产生不可忽略的影响，企业基于操盘人员的耳温以及耳内组织的图像及时了解操盘人员的大致情绪状态，有利于降低由于操盘人员的情绪不佳对操盘结果带来的不利影响。
2)交通安全领域
以电子设备是耳机为例，驾驶人员在佩戴耳机的情况下，耳机可以采集驾驶人员的目标耳温以及耳内组织的目标图像，并通过上述实施例的实施方式，得到驾驶人员的情绪偏向。可选地，耳机可以输出该驾驶人员的情绪偏向；作为一种实施方式，若驾驶人员的情绪偏向为预设类型，例如为负面情绪偏向，耳机还可以通过语音提示的方式提醒驾驶人员注意安全驾驶。或者，耳机也可以将该驾驶人员的情绪偏向发送至终端，通过终端输出驾驶人员的情绪偏向以及提醒驾驶人员注意安全驾驶。
这样，不必采集分析驾驶人员的语音信号，仅基于驾驶人员的耳温以及耳内组织的图像，即可及时了解驾驶人员的大致情绪状态，提升了情绪评估的灵活性。并且，在驾驶人员的情绪偏向为预设类型时，通过提示驾驶人员注意安全驾驶，可以提升驾驶安全性。
3)商品零售领域
顾客在购买商品后，可能会对商品和服务给出评价和建议。以电子设备是耳机为例，顾客接受问卷回访或者对话回访时，顾客在佩戴耳机的情况下，耳机可以采集顾客的目标耳温以及耳内组织的目标图像，并通过上述实施例的实施方式，得到顾客的情绪偏向。可选地，耳机可以将该顾客的情绪偏向发送至终端或服务器。
这样，商家不必采集分析顾客的语音信号，仅基于顾客的耳温以及耳内组织的图像，商家即可及时了解顾客的大致情绪状态，提升了情绪评估的灵活性。
进一步地，顾客的评价对于零售商和生产商都是非常重要的反馈信息，商家的终端或服务器通过对海量顾客的情绪偏向进行分析，可以量化顾客对产品及其竞品的褒贬程度，从而了解顾客对于产品的诉求以及产品与竞品的对比优劣，有利于提升市场竞争力。
4)舆情领域
以电子设备是耳机为例，人们点评社会热点事件或对企业进行评价时，若佩戴有耳机，耳机则可以采集人们的目标耳温以及耳内组织的目标图像，并通过上述实施例的实施方式，得到人们的情绪偏向。可选地，耳机可以将人们的情绪偏向发送至终端或服务器。
这样，不必采集分析人们的语音信号，仅基于采集的耳温以及耳内组织的图像，即可及时了解人们的大致情绪状态，提升了情绪评估的灵活性。
对于舆情监控而言，舆情监控的目的，是全面掌握大众的思想动态，为做出正确舆论引导提供分析依据。这样，相关部门通过上述方式可以及时了解人们点评社会热点事件的大致情绪状态，通过分析大致情绪状态可以有效掌握舆论的走向。
对于企业舆情，企业通过上述方式及时了解社会对企业评价时的大致情绪状态，通过分析大致情绪状态可以为企业的战略规划提供决策依据，提升企业在市场中的竞争力。
本申请实施例中，通过电子设备采集目标对象的目标耳温以及耳内组织的目标图像，即可对目标对象的情绪偏向进行有效评估，电子设备可以耳机、智能眼镜、按摩仪等常见的耳部穿戴设备，数据采集便捷，不必通过专门的拾音设备采集目标对象的语音信号进行情绪评估，且对于一些不便于采集目标对象的语音信号的场景下本申请情绪评估方法也同样适用，大大提升了情绪评估的灵活性。
上述实施例通过获取目标对象的耳部生理数据，该耳部生理数据包括目标耳温以及耳内组织的目标图像，而后，对该目标图像进行特征提取处理，得到耳部视图特征，接着，将该耳部视图特征以及目标耳温输入至预先训练的分类模型中，即可得到用于表征目标对象的情绪偏向的分类结果；这样，本申请实施例通过获取目标对象的耳部生理数据即可实现目标对象情绪的评估，相较于通过采集目标对象的语音信号进行情绪评估的方式，本申请实施例在一些不便于采集目标对象的语音信号的场景下，如目标对象处于需保持安静的环境中，也能够实现目标对象情绪的评估，从而提升了情绪评估的灵活性。
在一个实施例中，基于图3所示的实施例，参见图4，本实施例涉及的是电子设备如何获取目标对象的耳部生理数据的过程。如图4所示，步骤301可以包括图4所示的步骤401、步骤402和步骤403：
步骤401，电子设备在预设时间段内采集目标对象的多个候选耳温以及目标对象的耳内组织的多个候选图像。
在电子设备对目标对象的耳部进行温度采集的过程中，可能存在由于电子设备自身原因或外部环境影响造成数据跳动的情况。若电子设备仅对目标对象的耳部进行一次温度采集得到目标耳温、仅对目标对象的耳内组织进行一次图像采集得到目标图像，则存在该目标耳温和目标图像恰巧为数据跳动的情况下采集的可能，那么将大大降低情绪评估的准确性。
本申请实施例中，为了避免上述情况，若需要评估目标对象的情绪偏向，电子设备可以在预设时间段内采集目标对象的多个候选耳温以及目标对象的耳内组织的多个候选图像。
其中，预设时间段在实施时可以自行设置，例如设置为1秒，采样频率为10赫兹，这样，电子设备则每0.1秒采集一次目标对象的耳部温度及目标对象的耳内组织的温度图像，得到10个候选耳温以及10个候选图像。
步骤402，电子设备根据预设的统计学筛选条件，从多个候选耳温中筛选出满足统计学筛选条件的目标耳温。
在一种可能的实施方式中，电子设备可以执行如下步骤A1和步骤A2实现步骤402的过程：
步骤A1，电子设备基于各候选耳温对应的采集时刻的时序顺序，从各候选耳温对应的采集时刻中确定中位数采集时刻。
若多个候选耳温的数量为奇数，电子设备可以按照各候选耳温对应的采集时刻的时序升序顺序或者时序降序顺序，从各候选耳温对应的采集时刻中确定一个中位数，中位数即在时序顺序中位于中间的采样时刻，并将该中位数作为中位数采集时刻。
若多个候选耳温的数量为偶数，电子设备可以按照各候选耳温对应的采集时刻的时序升序顺序或者时序降序顺序，从各候选耳温对应的采集时刻中确定位于中间的两个中位数，并将其中任意一个中位数作为中位数采集时刻。
步骤A2，电子设备将中位数采集时刻对应的候选耳温作为目标耳温。
电子设备将该中位数采集时刻对应的候选耳温作为目标耳温，这样，则从多个候选耳温中选出中位数作为目标耳温。
在另一种可能的实施方式中，电子设备还可以将各候选耳温按其对应的采集时刻进行采集时刻升序排序或采集时刻降序排序，得到候选耳温序列。若多个候选耳温的数量为奇数，电子设备将该候选耳温序列中处于中间的一个候选耳温作为目标耳温；若多个候选耳温的数量为偶数，电子设备将该候选耳温序列中处于中间的两个候选耳温中的任意一个作为目标耳温。同样能够实现从多个候选耳温中选出中位数作为目标耳温。
步骤403，电子设备将多个候选图像中采集时刻与目标耳温的采集时刻一致的候选图像作为目标图像。
由于电子设备每采集一次候选耳温，均会采集一次目标对象的耳内组织的候选图像，这样，电子设备确定目标耳温后，则将多个候选图像中采集时刻与目标耳温的采集时刻一致的候选图像作为目标图像。
上述实施例中，电子设备在预设时间段内采集目标对象的多个候选耳温以及目标对象的耳内组织的多个候选图像，并从中选取中位数作为目标耳温和目标图像，由于中位数不受多个候选耳温中的最大值和最小值的影响，从而有效降低了目标耳温和目标图像恰巧为数据跳动的情况下采集的概率，改善了由于数据跳动造成的情绪评估准确性低的问题，从而提升了情绪评估准确性。
在一个实施例中，基于图3所示的实施例，参见图5，本实施例涉及的是电子设备如何对目标图像进行特征提取处理得到目标对象的耳部视图特征的过程。如图5所示，步骤302可以包括图5所示的步骤501、步骤502和步骤503：
步骤501，电子设备从目标图像中识别发热点。
如上文所述，目标图像为表征目标对象的活体温度分布的温度图像，目标对象在不同的情绪下，其耳温会发生变化，温度图像中温度的分布也会发生变化。例如，目标对象在愤怒的负面情绪下和目标对象在平静的中性情绪下相比，其耳温会升高，温度图像也会出现一些明显的发热点；目标对象在开心的正面情绪下和目标对象在平静的中性情绪下相比，其耳温也会升高，温度图像也会出现一些发热点；而目标对象在愤怒的负面情绪下和目标对象在开心的正面情绪下的耳温存在一定的差异、温度图像中的发热点也存在一定的差异。
因此，电子设备将目标图像中的发热点作为目标图像的特征点，电子设备从目标图像中识别发热点。在一种可能的实施方式中，电子设备可以利用边缘检测算法对目标图像进行边缘检测，以此来确定发热点。
可选地，电子设备可以基于预设的边缘检测算子对目标图像进行卷积处理，得到目标图像对应的特征图，该特征图的尺寸和目标图像尺寸相同。该特征图中每个像素点的特征值，可以是目标图像中对应位置的像素点的像素值与其周围像素点的像素值之间的像素差异值。该特征图中每个像素点的特征值可以表征该像素点的像素值变化的快慢。
电子设备可以检测每个像素点的特征值是否大于预设的差异值阈值，若大于，则表征该像素点的像素值急剧变化，则确定该像素点为发热点。参见图6，图6为一种示例性地基于目标图像识别发热点的示意图。
步骤502，电子设备根据目标图像，获取发热点的像素值与发热点周围的像素点的像素值之间的像素差异值。
对于每个发热点，该发热点在目标图像中的像素值与该发热点在目标图像中周围像素点的像素值之间的像素差异值，即为该发热点在特征图中对应的特征值。
步骤503，电子设备将像素差异值作为耳部视图特征。
电子设备将各个发热点的像素差异值作为耳部视图特征。
由于目标对象不同的情绪会引起目标图像中发热点的变化，因此，上述实施例通过从目标图像中识别发热点，将发热点作为特征点提取得到耳部视图特征，这样，耳部视图特征则可以代表目标图像参与情绪评估过程。相较于目标图像而言，耳部视图特征的数据量大大减小，电子设备基于耳部视图特征进行后续的目标对象情绪评估，可以降低电子设备的数据计算量，从而提升情绪评估的速度。
在一个实施例中，基于图3所示的实施例，参见图7，本实施例涉及的是电子设备如何确定目标对象的情绪剧烈程度的过程。如图7所示，本实施例情绪评估方法还包括步骤304和步骤305：
步骤304，电子设备根据在预设时间段内采集到的目标对象的多个候选耳温，确定目标对象的耳温变化数据。
如上文所述，预设时间段在实施时可以自行设置，例如设置为1秒，采样频率为10赫兹，这样，电子设备则每0.1秒采集一次目标对象的耳部温度及目标对象的耳内组织的温度图像，得到10个候选耳温以及10个候选图像。
电子设备从多个候选耳温以及多个候选图像中筛选出目标耳温和目标图像，进行目标对象情绪的评估；并基于该多个候选耳温确定目标对象的耳温变化数据，该耳温变化数据用于表征目标对象的耳温变化快慢程度。
以下，对电子设备如何根据多个候选耳温确定目标对象的耳温变化数据的过程进行介绍。
在一种可能的实施方式中，电子设备可以执行如下步骤A3和步骤A4，实现步骤304的过程：
步骤A3，电子设备对于采集时刻彼此相邻的每两个候选耳温，计算两个候选耳温对应的斜率值。
参见图8，图8为一种示例性地10个候选耳温在目标坐标系中的示意图。该目标坐标系的x轴为采样时刻，y轴为耳温，电子设备在采样时刻t1、t2、t3、t4、t5、t6、t7、t8、t9、t10分别采集到对应的候选耳温，得到10个候选耳温。
电子设备计算每两个候选耳温对应的斜率值，则可以是计算t1时刻的候选耳温和t2时刻的候选耳温对应的斜率值、计算t2时刻的候选耳温和t3时刻的候选耳温对应的斜率值、计算t3时刻的候选耳温和t4时刻的候选耳温对应的斜率值，等等，以此类推。
假设，t1时刻的候选耳温在目标坐标系中坐标为(0.1,36),t2时刻的候选耳温在目标坐标系中坐标为(0.2,36.2)，那么，t1时刻的候选耳温和t2时刻的候选耳温对应的斜率值则为(36.2-36)/(0.2-0.1)＝2，以此类推。
这样，电子设备则可以计算得到多个候选耳温中每两个相邻候选耳温对应的斜率值。
步骤A4，电子设备将计算得到的斜率值中的最大斜率值作为耳温变化数据。
可以理解的是，斜率值越大，在采样间隔相同的情况下，则表征该相邻候选耳温之间的差异越大，即耳温变化越大，电子设备则将计算得到的斜率值中的最大斜率值作为耳温变化数据。
步骤305，电子设备根据耳温变化数据，确定目标对象的情绪剧烈程度。
可选地，电子设备的数据库中可以预设包括不同斜率值和不同情绪剧烈程度之间的映射关系的对应关系。这样，电子设备则可以根据该最大斜率值和该预设的对应关系，确定目标对象的情绪剧烈程度，即电子设备可以在该对应关系中查找该最大斜率值对应的情绪剧烈程度。
可选地，电子设备的数据库中可以预设包括不同斜率区间和不同情绪剧烈程度之间的映射关系的对应关系。这样，电子设备首先根据最大斜率值在该对应关系中查找出其对应的目标斜率区间，从而在该对应关系中确定该目标斜率区间对应的情绪剧烈程度。
本申请实施例中，对应关系中情绪剧烈程度可以是情绪等级的形式，例如，情绪等级为“一级”表示情绪剧烈程度为强，情绪等级为“二级”表示情绪剧烈程度为中等，情绪等级为“三级”表示情绪剧烈程度为弱；对应关系中情绪剧烈程度还可以是百分比的形式，例如，若百分比大于70％表示情绪剧烈程度为强，百分比处于70％～40％之间表示情绪剧烈程度为中等，百分比小于30％表示情绪剧烈程度为弱，等等，在此对情绪剧烈程度在对应关系中的存储形式不做具体限制。
这样，电子设备得到目标对象的情绪偏向后，还可以得到目标对象的情绪剧烈程度，从而对目标对象情绪进行更细粒度的评估，提升了情绪评估结果的数据精细度和准确性。
在一个实施例中，基于图3所示的实施例，参见图9，本实施例涉及的是分类模型的训练过程。如图9所示，分类模型的训练过程包括步骤901和步骤902：
步骤901，电子设备获取训练数据集。
可选地，分类模型可以是电子设备自行训练的；可选地，为了节约电子设备的计算资源，分类模型也可以由终端或云端服务器训练，训练完成后发送至电子设备。本实施例以电子设备自行训练分类模型为例进行描述。
本申请实施例中，训练数据集包括多个训练输入数据和各训练输入数据对应的情绪偏向标签，多个训练输入数据包括多个样本耳温以及基于多个样本耳温对应的多个样本图像提取的多个样本耳部视图特征。
以下对多个训练输入数据的获取过程进行介绍，电子设备可以执行如下步骤A5、步骤A6和步骤A7，来获取多个训练输入数据：
步骤A5，电子设备采集不同情绪刺激下的多个目标对象的多个样本耳温以及耳内组织的样本图像。
不同情绪刺激可以是正面情绪刺激、中性情绪刺激和负面情绪刺激。各个目标对象在不同情绪刺激下的耳温不同，耳内组织的温度图像也呈现不同的特征。电子设备则通过生理数据采集组件采集不同情绪刺激下的多个目标对象的多个样本耳温以及耳内组织的样本图像。
对于每个样本耳温，该样本耳温的采集时刻与该样本耳温对应的样本图像的采集时刻相同；当然，在实际的实施过程中，为了降低实施难度，该样本耳温的采集时刻与该样本耳温对应的样本图像的采集时刻之间的差值也可以小于预设的时间阈值，即样本耳温的采集时刻与对应样本图像的采集时刻可以存在较小的时间差异。
步骤A6，电子设备对于每个样本图像，对样本图像进行特征提取处理，得到样本图像对应的样本耳部视图特征。
电子设备对对样本图像进行特征提取处理，得到样本图像对应的样本耳部视图特征的实现过程与步骤302类似，可参见上述实施例，在此不再赘述。
步骤A7，电子设备将多个样本耳温和各样本图像对应的样本耳部视图特征作为多个训练输入数据。
这样，电子设备则将多个样本耳温和各样本图像对应的样本耳部视图特征作为多个训练输入数据，多个训练输入数据和各训练输入数据对应的情绪偏向标签组成训练数据集，情绪偏向标签例如可以是“正面情绪”、“中性情绪”、“负面情绪”，等等。
步骤902，电子设备根据训练数据集训练初始分类模型，得到分类模型。
电子设备根据训练数据集训练初始分类模型，该初始分类模型可以是模型参数初始化的卷积神经网络。
电子设备将训练数据集中的各训练输入数据输入至初始分类模型中，得到各训练输入数据的情绪偏向预测结果，电子设备根据各训练输入数据的情绪偏向预测结果和情绪偏向标签，计算情绪偏向预测结果和情绪偏向标签之间的损失，将该损失作为损失函数的值，并利用该损失函数的值对初始分类模型的模型参数进行更新，最终得到训练好的分类模型。
可选地，电子设备还可以将训练数据集划分为训练集和测试集，通过训练集训练得到分类模型，并通过测试集对分类模型的模型效果进行验证，若分类模型通过验证，则确定训练完成，得到最终的分类模型。
这样，电子设备如需要对目标对象的情绪进行评估，电子设备则可以利用该分类模型进行评估。
参见图10，图10为一种示例性地电子设备基于分类模型对目标对象情绪进行评估的示意图，电子设备采集目标对象的目标耳温以及耳内组织的目标图像，电子设备对目标图像进行特征提取处理，得到目标对象的耳部视图特征，电子设备将耳部视图特征以及目标耳温输入至该训练的分类模型中，则得到目标对象的情绪偏向。
这样，电子设备通过获取目标对象的耳部生理数据和该训练的分类模型即可实现目标对象情绪的评估，相较于通过采集目标对象的语音信号进行情绪评估的方式，本申请实施例在一些不便于采集目标对象的语音信号的场景下，如目标对象处于需保持安静的环境中，也能够实现目标对象情绪的评估，从而提升了情绪评估的灵活性。
在一个实施例中，参见图11，其示出了本申请实施例提供的一种情绪评估方法的流程图，该情绪评估方法可以应用于图2所示的电子设备中。如图11所示，该情绪评估方法可以包括以下步骤：
步骤111，电子设备在预设时间段内采集目标对象的多个候选耳温以及目标对象的耳内组织的多个候选图像。
其中，耳内组织为鼓膜或者耳道壁。
步骤112，电子设备基于各候选耳温对应的采集时刻的时序顺序，从各候选耳温对应的采集时刻中确定中位数采集时刻。
步骤113，电子设备将中位数采集时刻对应的候选耳温作为目标耳温。
步骤114，电子设备将多个候选图像中采集时刻与目标耳温的采集时刻一致的候选图像作为目标图像。
步骤115，电子设备从目标图像中识别发热点，并根据目标图像，获取发热点的像素值与发热点周围的像素点的像素值之间的像素差异值，将像素差异值作为耳部视图特征。
步骤116，电子设备将耳部视图特征以及目标耳温输入至预先训练的分类模型中，得到用于表征目标对象的情绪偏向的分类结果。
步骤117，电子设备对于采集时刻彼此相邻的每两个候选耳温，计算两个候选耳温对应的斜率值。
步骤118，电子设备将计算得到的斜率值中的最大斜率值作为耳温变化数据。
耳温变化数据用于表征目标对象的耳温变化快慢程度。
步骤119，电子设备根据最大斜率值和预设的对应关系，确定目标对象的情绪剧烈程度。
其中，该对应关系包括不同斜率值和不同情绪剧烈程度之间的映射关系。
应该理解的是，虽然上述的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图12为一个实施例的情绪评估装置的结构框图。如图12所示，所述装置包括：
第一获取模块100，用于获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像；
提取模块200，用于对所述目标图像进行特征提取处理，得到耳部视图特征；
评估模块300，用于将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中，得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向。
在一个实施例中，基于图12所示的实施例，参见图13，第一获取模块100可以包括：
采集单元101，用于在预设时间段内采集所述目标对象的多个候选耳温以及所述目标对象的耳内组织的多个候选图像。
所述耳内组织可以为鼓膜或耳道壁。
筛选单元102，用于根据预设的统计学筛选条件，从所述多个候选耳温中筛选出满足所述统计学筛选条件的所述目标耳温。
确定单元103，用于将所述多个候选图像中采集时刻与所述目标耳温的采集时刻一致的候选图像作为所述目标图像。
可选地，筛选单元102具体用于基于各所述候选耳温对应的采集时刻的时序顺序，从各所述候选耳温对应的采集时刻中确定中位数采集时刻；将所述中位数采集时刻对应的候选耳温作为所述目标耳温。
在一个实施例中，所述目标图像为表征所述目标对象的活体温度分布的温度图像。
在一个实施例中，基于图12所示的实施例，参见图14，提取模块200可以包括：
识别单元201，用于从所述目标图像中识别发热点。
获取单元202，用于根据所述目标图像，获取所述发热点的像素值与所述发热点周围的像素点的像素值之间的像素差异值，并将所述像素差异值作为所述耳部视图特征。
在一个实施例中，基于图12所示的实施例，参见图15，所述装置还包括：
第一确定模块400，用于根据在预设时间段内采集到的所述目标对象的多个候选耳温，确定所述目标对象的耳温变化数据。
所述耳温变化数据用于表征所述目标对象的耳温变化快慢程度。可选地，所述第一确定模块400具体用于对于采集时刻彼此相邻的每两个候选耳温，计算所述两个候选耳温对应的斜率值；将计算得到的斜率值中的最大斜率值作为所述耳温变化数据。
第二确定模块500，用于根据所述耳温变化数据，确定所述目标对象的情绪剧烈程度。
可选地，所述第二确定模块500具体用于根据所述最大斜率值和预设的对应关系，确定所述目标对象的情绪剧烈程度，所述对应关系包括不同斜率值和不同情绪剧烈程度之间的映射关系。
在一个实施例中，基于图12所示的实施例，参见图16，所述装置还包括：
第二获取模块600，用于获取训练数据集。
其中，所述训练数据集包括多个训练输入数据和各所述训练输入数据对应的情绪偏向标签，所述多个训练输入数据包括多个样本耳温以及基于所述多个样本耳温对应的多个样本图像提取的多个样本耳部视图特征。
其中，所述多个训练输入数据的获取过程包括：采集不同情绪刺激下的多个目标对象的多个样本耳温以及耳内组织的样本图像；对于每个所述样本图像，对所述样本图像进行特征提取处理，得到所述样本图像对应的样本耳部视图特征；将所述多个样本耳温和各所述样本图像对应的样本耳部视图特征作为所述多个训练输入数据。
训练模块700，用于根据所述训练数据集训练初始分类模型，得到所述分类模型。
上述情绪评估装置中各个模块的划分仅用于举例说明，在其他实施例中，可将情绪评估装置按照需要划分为不同的模块，以完成上述情绪评估装置的全部或部分功能。
关于情绪评估装置的具体限定可以参见上文中对于情绪评估方法的限定，在此不再赘述。上述情绪评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的情绪评估装置中的各个模块的实现可为计算机程序的形式。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述情绪评估方法的步骤。
图17为一个实施例的电子设备的内部结构示意图。该电子设备可以是耳部穿戴设备，该电子设备包括生理数据采集组件1701和处理组件1702。
其中，所述生理数据采集组件1701，用于在所述处理组件1702的控制下获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像；
所述处理组件1702，用于对所述目标图像进行特征提取处理，得到耳部视图特征，并将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中，得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向。
图18为另一个实施例的电子设备的内部结构示意图。该电子设备可以是耳部穿戴设备，该电子设备包括生理数据采集组件1801、通信组件1802和处理组件1803；
其中，所述生理数据采集组件1801，用于在所述处理组件1803的控制下获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像；
所述通信组件1802，用于在所述处理组件1803的控制下将所述目标图像和所述目标耳温发送至终端；
其中，所述目标图像用于供所述终端对所述目标图像进行特征提取处理，得到耳部视图特征，所述目标耳温和所述耳部视图特征用于供所述终端将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向。
上述电子设备中各个模块的划分仅用于举例说明，在其他实施例中，可将电子设备按照需要划分为不同的模块，以完成上述电子设备的全部或部分功能。
关于电子设备的具体限定可以参见上文中对于情绪评估方法的限定，在此不再赘述。上述电子设备中的各个组件可全部或部分通过软件、硬件及其组合来实现。
图19为一个实施例中电子设备的内部结构示意图。如图19所示，该电子设备包括通过系统总线连接的生理数据采集组件(图未示出)、处理器和存储器。其中，生理数据采集组件用于采集目标对象的耳部生理数据，或用于采集不同情绪刺激下的多个目标对象的多个样本耳温以及耳内组织的样本图像，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的一种情绪评估方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行情绪评估方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行情绪评估方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种情绪评估方法，其特征在于，包括：
获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像，所述耳内组织为耳道壁，所述目标图像为表征所述目标对象的活体温度分布的温度图像；
从所述目标图像中识别发热点；
根据所述目标图像，获取所述发热点的像素值与所述发热点周围的像素点的像素值之间的像素差异值；
将所述像素差异值作为耳部视图特征；
将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中，得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向；
其中，所述获取目标对象的耳部生理数据，包括：
在预设时间段内采集所述目标对象的多个候选耳温以及所述目标对象的耳内组织的多个候选图像；
根据预设的统计学筛选条件，从所述多个候选耳温中筛选出满足所述统计学筛选条件的所述目标耳温；
将所述多个候选图像中采集时刻与所述目标耳温的采集时刻一致的候选图像作为所述目标图像；
其中，所述根据预设的统计学筛选条件，从所述多个候选耳温中筛选出满足所述统计学筛选条件的所述目标耳温，包括：
基于各所述候选耳温对应的采集时刻的时序顺序，从各所述候选耳温对应的采集时刻中确定中位数采集时刻；
将所述中位数采集时刻对应的候选耳温作为所述目标耳温。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据在预设时间段内采集到的所述目标对象的多个候选耳温，确定所述目标对象的耳温变化数据，所述耳温变化数据用于表征所述目标对象的耳温变化快慢程度；
根据所述耳温变化数据，确定所述目标对象的情绪剧烈程度。
3.根据权利要求2所述的方法，其特征在于，所述根据在预设时间段内采集到的所述目标对象的多个候选耳温，确定所述目标对象的耳温变化数据，包括：
对于采集时刻彼此相邻的每两个候选耳温，计算所述两个候选耳温对应的斜率值；
将计算得到的斜率值中的最大斜率值作为所述耳温变化数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述耳温变化数据，确定所述目标对象的情绪剧烈程度，包括：
根据所述最大斜率值和预设的对应关系，确定所述目标对象的情绪剧烈程度，所述对应关系包括不同斜率值和不同情绪剧烈程度之间的映射关系。
5.根据权利要求1所述的方法，其特征在于，所述耳内组织为鼓膜。
6.一种情绪评估装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像，所述耳内组织为耳道壁，所述目标图像为表征所述目标对象的活体温度分布的温度图像；
提取模块，用于对所述目标图像进行特征提取处理，得到耳部视图特征；
评估模块，用于将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中，得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向；
其中，所述提取模块包括：
识别单元，用于从所述目标图像中识别发热点；
获取单元，用于根据所述目标图像，获取所述发热点的像素值与所述发热点周围的像素点的像素值之间的像素差异值，并将所述像素差异值作为所述耳部视图特征；
所述第一获取模块，具体用于：
在预设时间段内采集所述目标对象的多个候选耳温以及所述目标对象的耳内组织的多个候选图像；
根据预设的统计学筛选条件，从所述多个候选耳温中筛选出满足所述统计学筛选条件的所述目标耳温；
将所述多个候选图像中采集时刻与所述目标耳温的采集时刻一致的候选图像作为所述目标图像；
所述第一获取模块，还用于：
基于各所述候选耳温对应的采集时刻的时序顺序，从各所述候选耳温对应的采集时刻中确定中位数采集时刻；
将所述中位数采集时刻对应的候选耳温作为所述目标耳温。
7.一种电子设备，其特征在于，所述电子设备包括生理数据采集组件和处理组件；
所述生理数据采集组件，用于在所述处理组件的控制下获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像，所述耳内组织为耳道壁，所述目标图像为表征所述目标对象的活体温度分布的温度图像；
所述处理组件，用于对所述目标图像进行特征提取处理，得到耳部视图特征，并将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中，得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向；
其中，所述对所述目标图像进行特征提取处理，得到耳部视图特征，包括：
从所述目标图像中识别发热点；
根据所述目标图像，获取所述发热点的像素值与所述发热点周围的像素点的像素值之间的像素差异值；
将所述像素差异值作为所述耳部视图特征；
所述生理数据采集组件，具体用于：
在预设时间段内采集所述目标对象的多个候选耳温以及所述目标对象的耳内组织的多个候选图像；
根据预设的统计学筛选条件，从所述多个候选耳温中筛选出满足所述统计学筛选条件的所述目标耳温；
将所述多个候选图像中采集时刻与所述目标耳温的采集时刻一致的候选图像作为所述目标图像；
所述生理数据采集组件，还用于：
基于各所述候选耳温对应的采集时刻的时序顺序，从各所述候选耳温对应的采集时刻中确定中位数采集时刻；
将所述中位数采集时刻对应的候选耳温作为所述目标耳温。
8.一种电子设备，其特征在于，所述电子设备包括生理数据采集组件、通信组件和处理组件；
所述生理数据采集组件，用于在所述处理组件的控制下获取目标对象的耳部生理数据，所述耳部生理数据包括目标耳温以及耳内组织的目标图像，所述耳内组织为耳道壁，所述目标图像为表征所述目标对象的活体温度分布的温度图像；
所述通信组件，用于在所述处理组件的控制下将所述目标图像和所述目标耳温发送至终端；
其中，所述目标图像用于供所述终端对所述目标图像进行特征提取处理，得到耳部视图特征，所述目标耳温和所述耳部视图特征用于供所述终端将所述耳部视图特征以及所述目标耳温输入至预先训练的分类模型中得到分类结果，所述分类结果用于表征所述目标对象的情绪偏向；
其中，所述对所述目标图像进行特征提取处理，得到耳部视图特征，包括：
从所述目标图像中识别发热点；
根据所述目标图像，获取所述发热点的像素值与所述发热点周围的像素点的像素值之间的像素差异值；
将所述像素差异值作为所述耳部视图特征；
所述生理数据采集组件，具体用于：
在预设时间段内采集所述目标对象的多个候选耳温以及所述目标对象的耳内组织的多个候选图像；
根据预设的统计学筛选条件，从所述多个候选耳温中筛选出满足所述统计学筛选条件的所述目标耳温；
将所述多个候选图像中采集时刻与所述目标耳温的采集时刻一致的候选图像作为所述目标图像；
所述生理数据采集组件，还用于：
基于各所述候选耳温对应的采集时刻的时序顺序，从各所述候选耳温对应的采集时刻中确定中位数采集时刻；
将所述中位数采集时刻对应的候选耳温作为所述目标耳温。
9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法的步骤。
CN202110300804.3A 2021-03-22 2021-03-22 情绪评估方法、装置、电子设备和计算机可读存储介质 Active CN113017634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110300804.3A CN113017634B (zh) 2021-03-22 2021-03-22 情绪评估方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110300804.3A CN113017634B (zh) 2021-03-22 2021-03-22 情绪评估方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113017634A CN113017634A (zh) 2021-06-25
CN113017634B true CN113017634B (zh) 2022-10-25

Family

ID=76472107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110300804.3A Active CN113017634B (zh) 2021-03-22 2021-03-22 情绪评估方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113017634B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114343670B (zh) * 2022-01-07 2023-07-14 北京师范大学 解释信息生成方法及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101435727B (zh) * 2007-11-12 2011-01-26 深圳迈瑞生物医疗电子股份有限公司 温度预测方法及装置
EP3357419A1 (en) * 2009-02-25 2018-08-08 Valencell, Inc. Light-guiding devices and monitoring devices incorporating same
US8306774B2 (en) * 2009-11-02 2012-11-06 Quinn David E Thermometer for determining the temperature of an animal's ear drum and method of using same
CN102485165A (zh) * 2010-12-02 2012-06-06 财团法人资讯工业策进会 可显示情绪的生理信号侦测系统、装置及显示情绪方法
US9532748B2 (en) * 2013-04-22 2017-01-03 Personal Neuro Devices Inc. Methods and devices for brain activity monitoring supporting mental state development and training
CN105243444A (zh) * 2015-10-09 2016-01-13 杭州尚青科技有限公司 一种基于在线多核回归的城市监测站点空气质量预测方法
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
US20170143246A1 (en) * 2015-11-20 2017-05-25 Gregory C Flickinger Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
US10299716B2 (en) * 2015-12-24 2019-05-28 Intel Corporation Side face image-based mental state determination
CN106691400B (zh) * 2016-12-27 2020-05-08 广东小天才科技有限公司 一种检测温度冷热的方法及装置
CN107025371A (zh) * 2017-03-09 2017-08-08 安徽创易心理科技有限公司 一种情绪动态监控与管理方法及系统
CN110121715A (zh) * 2019-02-19 2019-08-13 深圳市汇顶科技股份有限公司 基于表情识别的呼救方法、装置、电子设备及存储介质
US10905337B2 (en) * 2019-02-26 2021-02-02 Bao Tran Hearing and monitoring system
CN111035223A (zh) * 2019-11-08 2020-04-21 珠海优特智厨科技有限公司 锅内液位的测量方法及装置、存储介质、计算机设备
CN111110256A (zh) * 2020-01-13 2020-05-08 浙江科技学院 一种基于人体面部红外热像的情绪测量方法
CN111521273B (zh) * 2020-04-29 2021-07-13 无锡英菲感知技术有限公司 一种耳温测量方法及系统

Also Published As

Publication number Publication date
CN113017634A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
US11769056B2 (en) Synthetic data for neural network training using vectors
US20200175262A1 (en) Robot navigation for personal assistance
TWI731297B (zh) 一種風險預測方法、存儲介質和伺服器
US10610109B2 (en) Emotion representative image to derive health rating
JP2021517287A (ja) マイクロ表現を用いて信ぴょう性を決定するコンピュータ化されたシステムおよび方法
CN109492595B (zh) 适用于固定群体的行为预测方法和系统
KR101697476B1 (ko) 로봇의 표정 기반 연속적 정서 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
US20220067519A1 (en) Neural network synthesis architecture using encoder-decoder models
CN104346503A (zh) 一种基于人脸图像的情感健康监控方法及手机
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
US11657288B2 (en) Convolutional computing using multilayered analysis engine
KR102302411B1 (ko) 생체 데이터를 비롯한 각종 데이터를 사용하는 인공지능 모델을 이용한 금융상품 매매 방법, 서버 및 컴퓨터프로그램
CN111227789A (zh) 人体健康监护方法和装置
CN113017634B (zh) 情绪评估方法、装置、电子设备和计算机可读存储介质
Loizou An automated integrated speech and face imageanalysis system for the identification of human emotions
Tang et al. Eye movement prediction based on adaptive BP neural network
Goyal et al. Minimum Annotation identification of facial affects for Video Advertisement
CN111723869A (zh) 一种面向特殊人员的行为风险智能预警方法及系统
Manocha et al. Intelligent analysis of irregular physical factors for panic disorder using quantum probability
Virk et al. A multimodal feature fusion framework for sleep-deprived fatigue detection to prevent accidents
Vinola et al. Smile intensity recognition in real time videos: fuzzy system approach
KR20160053455A (ko) 로봇의 표정 기반 연속적 정서 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
Gamage et al. Academic depression detection using behavioral aspects for Sri Lankan university students
Burgess et al. Quantifying the efficacy of an automated facial coding software using videos of parents
Muduva et al. A Comparative Methodology of Supervised Machine Learning Algorithms for Predicting Customer Churn Using Neuromarketing Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant