CN110393539A - 心理异常检测方法、装置、存储介质及电子设备 - Google Patents

心理异常检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110393539A
CN110393539A CN201910543589.2A CN201910543589A CN110393539A CN 110393539 A CN110393539 A CN 110393539A CN 201910543589 A CN201910543589 A CN 201910543589A CN 110393539 A CN110393539 A CN 110393539A
Authority
CN
China
Prior art keywords
mood
information
detected
distributed
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910543589.2A
Other languages
English (en)
Other versions
CN110393539B (zh
Inventor
孙晓
郑仕鑫
陈维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Hefei Polytechnic University
Original Assignee
Hefei Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Polytechnic University filed Critical Hefei Polytechnic University
Priority to CN201910543589.2A priority Critical patent/CN110393539B/zh
Publication of CN110393539A publication Critical patent/CN110393539A/zh
Application granted granted Critical
Publication of CN110393539B publication Critical patent/CN110393539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种心理异常检测方法、装置、存储介质及电子设备，涉及计算机视觉技术领域，用于解决利用现有技术对用户进行心理异常检测的结果准确度不高的技术问题。该方法包括：获取待检测对象的面部视频数据；解析面部视频数据的每一图像帧，得到面部视频数据的情绪分布信息和注视点分布信息；将情绪分布信息和注视点分布信息分别输入对应的一类高斯分布模型，得到待检测对象的情绪分布信息相对于自身历史情绪分布的符合率、以及注视点分布信息相对于自身历史注视点分布的符合率；根据情绪分布信息与历史情绪分布的符合率和/或注视点分布信息与历史注视点分布的符合率，确定待检测对象的心理异常等级。

Description

心理异常检测方法、装置、存储介质及电子设备
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种心理异常检测方法、装置、存储介质及电子设备。
背景技术
随着深度学习与计算机视觉技术的发展，用户情绪和心理的感知计算已成为本技术领域的重要研究课题。通过对用户情绪和心理进行监测，可以及早发现人群或者个体的异常情况，针对异常情况采取相应的防范措施，以减少各种危险发生的可能性。在现有技术中，通常采用如下方法对待检测对象的心理异常情况进行检测：
1、基于图像数据结合深度神经网络预测待检测对象的心理异常情况。在该方式中，通过给定的训练集训练深度神经网络，利用训练完成的深度神经网络对待检测对象的人脸图像进行情绪识别，以判断待检测对象是否存在心理异常。这样仅依靠单张图像或简单的数字统计之类的小数量样本判断待检测对象的心理异常情况，得到的结果准确度不高；
2、基于待检测对象的生理特征对待检测对象的心理异常情况直接进行检测。在该方式中，由于待检测对象的生理特征受环境影响波动较大，且采用本方式进行检测需要依靠接触式传感器来获取生理特征数据，导致该方式的应用场景受到限制。
发明内容
针对现有技术的不足，本发明提供了一种心理异常检测方法、装置、存储介质及电子设备，解决了利用现有技术对用户进行心理异常检测的结果准确度不高的技术问题。
为实现以上目的，本发明通过以下技术方案予以实现：
本发明的第一方面提供一种心理异常检测方法，所述方法包括：
获取待检测对象的面部视频数据；
解析所述面部视频数据的每一图像帧，得到所述面部视频数据的情绪分布信息和注视点分布信息，其中，所述情绪分布信息用于表征所述待检测对象保持不同类型情绪的时间分布情况，所述注视点分布信息用于表征所述待检测对象向不同方向注视时间的分布情况；
将所述情绪分布信息和所述注视点分布信息分别输入对应的一类高斯分布模型，得到所述待检测对象的所述情绪分布信息相对于自身历史情绪分布的符合率、以及所述注视点分布信息相对于自身历史注视点分布的符合率，其中，所述情绪分布信息对应的一类高斯分布模型为根据所述待检测对象的历史情绪分布数据建立的多元高斯分布模型，所述注视点分布信息对应的一类高斯分布模型为根据所述待检测对象的历史注视点分布数据建立的多元高斯分布模型；
根据所述情绪分布信息与历史情绪分布的符合率和/或所述注视点分布信息与历史注视点分布的符合率，确定所述待检测对象的心理异常等级。
可选地，所述解析所述面部视频数据的每一图像帧，得到所述面部视频数据的情绪分布信息和注视点分布信息，包括：
提取所述面部视频数据的每一图像帧的面部图像特征信息；
将每一所述面部图像特征信息分别输入用于识别情绪类型的判别模型，基于该判别模型输出的每一所述面部图像特征信息对应的情绪类型信息得到所述面部视频数据的情绪分布信息；
将每一所述面部图像特征信息分别输入用于提取人眼注视区域的计算模型，基于该计算模型输出的每一所述面部图像特征信息对应的注视点坐标信息得到所述面部视频数据的注视点分布信息。
可选地，所述将每一所述面部图像特征信息分别输入用于识别情绪类型的判别模型，基于该判别模型输出的每一所述面部图像特征信息对应的情绪类型信息得到所述面部视频数据的情绪分布信息，包括：
将每一所述面部图像特征信息分别输入用于识别情绪类型的判别模型，得到该判别模型输出的每一所述面部图像特征信息对应的情绪类型信息；
根据每一所述情绪类型信息确定所述面部视频数据中每种预设情绪类型的占比，以得到所述面部视频数据的情绪分布信息。
可选地，所述将每一所述面部图像特征信息分别输入用于提取人眼注视区域的计算模型，基于该计算模型输出的每一所述面部图像特征信息对应的注视点坐标信息得到所述面部视频数据的注视点分布信息，包括：
将每一所述面部图像特征信息分别输入用于提取人眼注视区域的计算模型，得到该计算模型输出的每一所述面部图像特征信息对应的注视点坐标信息，所述注视点坐标信息包括人脸与图像采集装置的相对坐标以及眼睛注视角度向量；
根据人脸与图像采集装置的相对坐标以及眼睛注视角度向量确定每一所述注视点坐标信息的平面坐标信息；
对每一所述注视点坐标信息的平面坐标信息进行投影转换，得到注视点的投影坐标信息；
根据所述投影坐标信息确定每一预设象限的预设区域中注视点数量与注视点总数量的比值，以得到所述面部视频数据的注视点分布信息。
可选地，所述根据人脸与图像采集装置的相对坐标以及眼睛注视角度向量确定每一所述注视点坐标信息的平面坐标信息，包括：
对于人脸与图像采集装置的相对坐标为(Dx，Dy，Dz)、眼睛注视角度向量为(x，y，z)的注视点，该注视点的平面坐标信息为
可选地，所述方法还包括：
将所述待检测对象的情绪分布信息输入二类高斯分布模型，得到所述待检测对象的所述情绪分布信息与人群表现的符合率，其中，所述二类高斯分布模型为根据多个检测对象的情绪分布数据建立的多元高斯分布模型。
可选地，所述方法还包括：
若所述待检测对象的人群表现的符合率不处于二类高斯分布模型的预设分布区域内和/或心理异常等级达到预设等级，执行报警操作。
本发明的第二方面提供一种心理异常检测装置，所述装置包括：
获取模块，用于获取待检测对象的面部视频数据；
解析模块，用于解析所述面部视频数据的每一图像帧，得到所述面部视频数据的情绪分布信息和注视点分布信息，其中，所述情绪分布信息用于表征所述待检测对象保持不同类型情绪的时间分布情况，所述注视点分布信息用于表征所述待检测对象向不同方向注视时间的分布情况；
第一计算模块，用于将所述情绪分布信息和所述注视点分布信息分别输入对应的一类高斯分布模型，得到所述待检测对象的所述情绪分布信息相对于自身历史情绪分布的符合率、以及所述注视点分布信息相对于自身历史注视点分布的符合率，其中，所述情绪分布信息对应的一类高斯分布模型为根据所述待检测对象的历史情绪分布数据建立的多元高斯分布模型，所述注视点分布信息对应的一类高斯分布模型为根据所述待检测对象的历史注视点分布数据建立的多元高斯分布模型；
确定模块，用于根据所述情绪分布信息与历史情绪分布的符合率和/或所述注视点分布信息与历史注视点分布的符合率，确定所述待检测对象的心理异常等级。
可选地，所述解析模块包括：
提取子模块，用于提取所述面部视频数据的每一图像帧的面部图像特征信息；
第一计算子模块，用于将每一所述面部图像特征信息分别输入用于识别情绪类型的判别模型，基于该判别模型输出的每一所述面部图像特征信息对应的情绪类型信息得到所述面部视频数据的情绪分布信息；
第二计算子模块，用于将每一所述面部图像特征信息分别输入用于提取人眼注视区域的计算模型，基于该计算模型输出的每一所述面部图像特征信息对应的注视点坐标信息得到所述面部视频数据的注视点分布信息。
可选地，所述第一计算子模块用于：
将每一所述面部图像特征信息分别输入用于识别情绪类型的判别模型，得到该判别模型输出的每一所述面部图像特征信息对应的情绪类型信息；
根据每一所述情绪类型信息确定所述面部视频数据中每种预设情绪类型的占比，以得到所述面部视频数据的情绪分布信息。
可选地，所述第二计算子模块用于：
将每一所述面部图像特征信息分别输入用于提取人眼注视区域的计算模型，得到该计算模型输出的每一所述面部图像特征信息对应的注视点坐标信息，所述注视点坐标信息包括人脸与图像采集装置的相对坐标以及眼睛注视角度向量；
根据人脸与图像采集装置的相对坐标以及眼睛注视角度向量确定每一所述注视点坐标信息的平面坐标信息；
对每一所述注视点坐标信息的平面坐标信息进行投影转换，得到注视点的投影坐标信息；
根据所述投影坐标信息确定每一预设象限的预设区域中注视点数量与注视点总数量的比值，以得到所述面部视频数据的注视点分布信息。
可选地，所述装置还包括：
第二计算模块，用于将所述待检测对象的情绪分布信息输入二类高斯分布模型，得到所述待检测对象的所述情绪分布信息与人群表现的符合率，其中，所述二类高斯分布模型为根据多个检测对象的情绪分布数据建立的多元高斯分布模型。
可选地，所述装置还包括：
报警模块，用于在所述待检测对象的人群表现的符合率不处于二类高斯分布模型的预设分布区域内和/或心理异常等级达到预设等级时，执行报警操作。
本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面提供的心理异常检测方法的步骤。
本发明第四方面提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本发明第一方面提供的心理异常检测方法的步骤。
本发明提供了一种心理异常检测方法、装置、存储介质及电子设备，与现有技术相比，本发明具有以下有益效果：
1、采用上述结合待检测对象的情绪分布信息、注视点分布信息与根据个体历史数据训练得到的复杂模型的方法对用户心理异常情况进行检测，可以提升检测结果的可信度与准确度。
2、由于上述方法无需借助接触式传感器获取用户的心理特征，在检测过程中操作更加简单便捷，适用场景更加广泛。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例提供的一种心理异常检测方法的流程图；
图2是根据一示例性实施例提供的另一种心理异常检测方法的流程图；
图3是根据一示例性实施例提供的一种心理异常检测装置的框图；
图4是根据一示例性实施例提供的另一种心理异常检测装置的框图；
图5是本发明实施例提供的一种电子设备的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种心理异常检测方法，解决了利用现有技术对用户进行心理异常检测的结果准确度不高的技术问题，实现了待检测对象的心理异常检测结果的可信度和准确度的提升。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
针对待检测人群或者个体(如公司员工、监狱中的犯人)进行心理异常检测，可以通过获取待检测对象的面部视频数据，并对该面部视频数据进行分析处理得到情绪分布信息和注视点分布信息，然后将情绪分布信息和注视点分布信息分别输入对应的一类高斯分布模型，可以得到待检测对象的情绪分布信息与历史情绪分布的符合率以及注视点分布信息与历史注视点分布的符合率，根据上述两项符合率即可确定待检测对象的心理异常等级。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例1：
请参考图1，图1是根据一示例性实施例提供的一种心理异常检测方法的流程图，如图1所示，心理异常检测方法包括以下步骤：
步骤S11、获取待检测对象的面部视频数据。
示例地，可以通过图像采集装置获取待检测对象的面部视频数据。例如，待检测对象为公司员工或者监狱中的犯人，每人按照日常任务要求朗读一段规定文本或者观看一段固定时长的视频，对上述过程进行录像，以得到个人或者集体的面部视频数据。
步骤S12、解析面部视频数据的每一图像帧，得到面部视频数据的情绪分布信息和注视点分布信息。
具体地，针对步骤S11获取到面部视频数据进行图像帧提取，并对每一图像帧解析得到该帧图像中的面部图像特征信息，该面部图像特征信息包括人脸器官的形状描述以及距离特征数据，将上述面部图像特征信息分别输入用于情绪分类和用于计算注视方向的深度神经网络模型，输出得到当前图像帧的面部情绪和注视点数据，统计每一帧图像帧的输出结果即可得到面部视频数据的情绪分布信息和注视点分布信息。
其中，情绪分布信息用于表征待检测对象保持不同类型情绪的时间分布情况，注视点分布信息用于表征待检测对象向不同方向注视时间的分布情况。例如，情绪分布信息为七元组数据(a,b,c,d,e,f,g)，用于表示平静、开心、惊讶、害怕、生气、伤心、厌恶中每种情绪的持续时间在整个面部视频时间中的占比；注视点分布信息为七元组数据(A,B,C,D,E,F,G)，用于表示注视点分布在区域1、区域2、区域3、区域4、区域5、区域6、区域7的时间(数量)在整个面部视频时间中(注视点总数)的占比。在本发明中，每个七元组的所有元素之和等于1。
步骤S13、将情绪分布信息和注视点分布信息分别输入对应的一类高斯分布模型，得到待检测对象的情绪分布信息相对于自身历史情绪分布的符合率、以及注视点分布信息相对于自身历史注视点分布的符合率。
其中，情绪分布信息对应的一类高斯分布模型为根据待检测对象的历史情绪分布数据建立的多元高斯分布模型，注视点分布信息对应的一类高斯分布模型为根据待检测对象的历史注视点分布数据建立的多元高斯分布模型。
示例地，针对单个待检测对象的历史情绪分布数据建立一类高斯分布模型的方法包括：采集该待检测对象历史N个预设时长内的面部视频数据，并解析这些面部视频数据的每一图像帧得到N组情绪分布信息，其中，N的取值越大越好，例如N至少大于等于10；计算N组情绪分布信息的期望、协方差、协方差的逆等数据代入标准公式，建立情绪分布信息对应的一类多元高斯分布模型，将待检测对象的情绪分布信息输入情绪分布信息对应的一类多元高斯分布模型即可输出待检测对象的情绪分布信息相对于自身历史情绪分布的符合率。
针对单个待检测对象的历史注视点分布数据建立注视点分布信息对应的一类高斯分布模型的方法与上述方法类似，此处不再赘述。将待检测对象的注视点分布信息输入注视点分布信息对应的一类多元高斯分布模型即可输出待检测对象的注视点分布信息相对于自身历史注视点分布的符合率。
步骤S14、根据情绪分布信息与历史情绪分布的符合率和/或注视点分布信息与历史注视点分布的符合率，确定待检测对象的心理异常等级。
示例地，根据情绪分布信息与历史情绪分布的符合率可以确定待检测对象的心理异常等级：不在情绪分布信息对应的一类多元高斯分布模型的80％分布区域的待检测对象被认为至少是低程度心理异常，不在情绪分布信息对应的一类多元高斯分布模型的90％分布区域的待检测对象被认为至少是中程度心理异常，不在情绪分布信息对应的一类多元高斯分布模型的95％分布区域的待检测对象被认为至少是高程度心理异常。
示例地，根据注视点分布信息与历史注视点分布的符合率可以确定待检测对象的心理异常等级：不在注视点分布信息对应的一类多元高斯分布模型的80％分布区域的待检测对象被认为至少是低程度心理异常，不在注视点分布信息对应的一类多元高斯分布模型的90％分布区域的待检测对象被认为至少是中程度心理异常，不在注视点分布信息对应的一类多元高斯分布模型的95％分布区域的待检测对象被认为至少是高程度心理异常。
值得说明的是，可以根据实际应用场景设定不同的判断阈值。鉴于不同个体的情绪有不同的表达特点，依靠单一指标进行心理异常程度判断可能会存在结果误差。因此，可以结合情绪分布信息与历史情绪分布的符合率和注视点分布信息与历史注视点分布的符合率的双重指标进行判断，如先根据上述指标分别进行判断心理异常程度，再考虑待检测对象的性格影响对结果进行加权计算，这样得到的结论更具可靠性。
采用上述结合待检测对象的情绪分布信息、注视点分布信息与根据个体历史数据训练得到的复杂可靠模型的方法对用户心理异常情况进行检测，可以提升检测结果的可信度与准确度。此外，由于上述方法无需借助接触式传感器获取用户的心理特征，在检测过程中操作更加简单便捷，适用场景更加广泛。
实施例2：
请参考图2，图2是根据一示例性实施例提供的一种心理异常检测方法的流程图，如图2所示，心理异常检测方法包括以下步骤：
步骤S21、获取待检测对象的面部视频数据。
步骤S22、解析面部视频数据的每一图像帧，得到面部视频数据的情绪分布信息和注视点分布信息。
具体地，通过提取面部视频数据的每一图像帧的面部图像特征信息，将每一面部图像特征信息分别输入用于识别情绪类型的判别模型，基于该判别模型输出的每一面部图像特征信息对应的情绪类型信息得到面部视频数据的情绪分布信息。
在一种可能的实施方式中，可以根据如下方法计算得到情绪分布信息：将每一面部图像特征信息分别输入用于识别情绪类型的判别模型，得到该判别模型输出的每一面部图像特征信息对应的情绪类型信息；根据每一情绪类型信息确定面部视频数据中每种预设情绪类型的占比，以得到面部视频数据的情绪分布信息。
示例地，情绪类型包括平静、开心、惊讶、害怕、生气、伤心、厌恶，对于包括n帧图像帧的面部视频数据，将每一图像帧中提取的面部图像特征信息输入用于识别情绪类型的判别模型，输出得到情绪预测信息(平静概率，开心概率，惊讶概率，害怕概率，生气概率，伤心概率，厌恶概率)，该情绪预测信息表示判别模型输出的针对当前的图像帧中以上七种情绪类型存在的预测概率，七个概率值的总和为1。由上可知，通过判别模型可以输出得到大小为(n，7)的序列数据，表示面部视频数据的n帧图像帧的情绪类型存在概率结果分布。然后，使用softmax函数对概率值进行处理后，选取概率最大值，并将其转换为one-hot向量，即将每一图像帧对应的情绪预测信息中概率最大的情绪类型的标注为1，其他情绪类型标注为0，并对one-hot向量进行数据统计，得到情绪分布信息，表示为七元组数据(a,b,c,d,e,f,g)，用于表征平静、开心、惊讶、害怕、生气、伤心、厌恶中每种情绪的持续时间在整个面部视频时间中的占比。例如，当n＝2时，对于第一图像帧判别模型输出的情绪预测信息为(0.1，0.2，0.1，0.1，0.1，0.3，0.1)，则可以确定第一图像帧的情绪类型为伤心，对于第二图像帧判别模型输出的情绪预测信息为(0.1，0.1，0.4，0.1，0.1，0.1，0.1)，则可以确定第一图像帧的情绪类型为惊讶。将情绪预测信息转化为one-hot向量得到向量P＝{(0，0，0，0，0，1，0)，(0，0，1，0，0，0，0)}，对向量P统计得到情绪分布信息的七元组(0，0，0.5，0，0，0.5，0)。
类似地，通过将每一面部图像特征信息分别输入用于提取人眼注视区域的计算模型，基于该计算模型输出的每一面部图像特征信息对应的注视点坐标信息可以得到面部视频数据的注视点分布信息。
在一种可能的实施方式中，可以根据如下方法计算得到注视点分布信息：
将待检测对象的面部视频数据的每一图像帧中面部图像特征信息分别输入用于提取人眼注视区域的计算模型，得到该计算模型输出的每一面部图像特征信息对应的注视点坐标信息，该注视点坐标信息包括人脸与图像采集装置的相对坐标(Dx，Dy，Dz)以及眼睛注视角度向量(x，y，z)；根据人脸与图像采集装置的相对坐标以及眼睛注视角度向量确定每一注视点坐标信息的平面坐标信息，具体地，对于人脸与图像采集装置的相对坐标为(Dx，Dy，Dz)、眼睛注视角度向量为(x，y，z)的注视点，该注视点的平面坐标信息为
对每一注视点坐标信息的平面坐标信息进行投影转换，以对连续数据进行离散化处理，得到注视点的投影坐标信息，然后根据投影坐标信息确定每一预设象限的预设区域中注视点数量与注视点总数量的比值，以得到面部视频数据的注视点分布信息。
具体地，将得到的n个注视点按照平面坐标信息投影到欧拉坐标系的固定大小区域，则每一注视点的平面坐标信息对应于欧拉坐标系中一个数据点，然后以垂直于坐标轴的方向各做两条平行直线，使欧拉坐标系中n个数据点均处于两对平行直线包围的矩形区域内，记录得到矩形中心的坐标(X0，Y0)。为了防止少数异常点的存在，使数据点分布过于集中，选取并摒除远离区域中心点最远的部分数据点，如摒除距离区域中心点最远的5％的数据点，并记录下所对应的图像帧。
可选地，重复上述操作步骤，对注视点坐标信息的平面坐标信息进行二次投影，使剩余的95％的数据点位于可行度较高的区域，得到欧拉坐标系中的注视点分布图。
示例地，以矩形中心的坐标(X0，Y0)为原点，将注视点分布图划分为多个预设象限，例如将注视点分布图均等划分为七个象限，每一象限范围为2π/7，并以矩形中心的坐标(X0，Y0)为原点做圆，使其能包含50％的数据点(圆内包含数据点的比例可以根据实际情况进行调整)。将圆外区域定义为预设区域，对预设区域内的数据点进行统计，确定每个象限中所包含数据点与数据点总数量的比值，每一象限的预设区域内注视点数量与注视点总数量的比值分别为0.03、0.1、0.05、0.02、0.09、0.01、0.2，比值总和为0.5，为了方便数据处理，将每一比值乘以2，得到每一象限的注视点数量与注视点总数量比值表示为七元组(0.06、0.2、0.1、0.04、0.18、0.02、0.4)，比值总和为1，上述方法为方向梯度直方图(Histogram of Oriented Gradient，HOG)在本发明中的近似替代，用以计算待检测对象在执行步骤S21所得面部视频数据时向不同方向注视时间的分布情况。
步骤S23、将情绪分布信息和注视点分布信息分别输入对应的一类高斯分布模型，得到待检测对象的情绪分布信息相对于自身历史情绪分布的符合率、以及注视点分布信息相对于自身历史注视点分布的符合率。
S25、将待检测对象的情绪分布信息输入二类高斯分布模型，得到待检测对象的情绪分布信息与人群表现的符合率。
可选地，心理异常检测方法还包括建立用于检测单个待检测对象的人群表现的符合率的二类高斯分布模型，该二类高斯分布模型可以是根据多个检测对象的情绪分布数据建立的多元高斯分布模型。示例地，采集m个检测对象在一天时间内的面部视频数据，通过执行步骤S22可以得到m组情绪分布信息；为了减少检测对象情绪分布信息之间的相关性，可以定义新的坐标系，将m组情绪分布信息通过变换矩阵UT映射到新坐标系上，并在新坐标系中计算所有数据的新期望值、协方差、协方差的逆，然后套用标准计算公式，代入新期望值、协方差、协方差的逆，以完成二类高斯分布模型的建立。在应用二类高斯分布模型时，将待检测对象的情绪分布信息输入二类多元高斯分布模型，即可输出得到待检测对象的面部情绪与人群表现的符合率。
步骤S24、根据情绪分布信息与历史情绪分布的符合率和/或注视点分布信息与历史注视点分布的符合率，确定待检测对象的心理异常等级。
结合步骤S23和步骤S25，对待检测对象的面部视频数据进行解析可以得到情绪分布信息相对于自身历史情绪分布的符合率、注视点分布信息相对于自身历史注视点分布的符合率以及人群表现的符合率，根据实际应用场景，可以合理设置以上三种概率阈值，判断待检测对象在人群中的表现异常程度以及心理异常程度，据此综合评估待检测对象的状态。
S26、若待检测对象的人群表现的符合率不处于二类高斯分布模型的预设分布区域内和/或心理异常等级达到预设等级，执行报警操作。
本发明实施例还提出在待检测对象的人群表现的符合率不处于二类高斯分布模型的预设分布区域内时，例如，不处于二类多元高斯分布模型的80％分布区域内的待检测对象，被认为是人群表现异常的个体，针对该个体执行报警操作；或者，在待检测对象的心理异常等级达到中程度心理异常时，执行报警操作；又或者，在待检测对象被认为是人群表现异常的个体且心理异常等级达到中程度心理异常时，执行报警操作，以便及时发现人员的异常表现情况并采取应对措施，有助于减少潜在危害发生的可能性，维护良好的治安环境。
采用上述方法，将计算得到的情绪分布信息、注视点分布信息与人群表现的符合率分别输入更加可靠精确的数学模型，对待检测对象的心理异常情况进行检测，并结合多重判断指标对待检测对象的状态进行判断，可以提升检测结果的可信度与准确度，减少了结果误报的可能性。此外，由于上述方法无需借助接触式传感器获取用户的心理特征，在检测过程中操作更加简单便捷，适用场景更加广泛。
实施例3：
请参考图3，图3根据一示例性实施例提供的一种心理异常检测装置的框图，该装置可以通过软件、硬件或者两者结合实现成为电子设备的部分或者全部，如图3所示，心理异常检测装置300包括：
获取模块31，用于获取待检测对象的面部视频数据；
解析模块32，用于解析面部视频数据的每一图像帧，得到面部视频数据的情绪分布信息和注视点分布信息，其中，情绪分布信息用于表征待检测对象保持不同类型情绪的时间分布情况，注视点分布信息用于表征待检测对象向不同方向注视时间的分布情况；
第一计算模块33，用于将情绪分布信息和注视点分布信息分别输入对应的一类高斯分布模型，得到待检测对象的情绪分布信息相对于自身历史情绪分布的符合率、以及注视点分布信息相对于自身历史注视点分布的符合率，其中，情绪分布信息对应的一类高斯分布模型为根据待检测对象的历史情绪分布数据建立的多元高斯分布模型，注视点分布信息对应的一类高斯分布模型为根据待检测对象的历史注视点分布数据建立的多元高斯分布模型；
确定模块34，用于根据情绪分布信息与历史情绪分布的符合率和/或注视点分布信息与历史注视点分布的符合率，确定待检测对象的心理异常等级。
采用上述装置，可以结合待检测对象的情绪分布信息、注视点分布信息与根据个体历史数据训练得到的复杂模型的方法对用户心理异常情况进行检测，提升了检测结果的可信度与准确度。此外，由于上述装置无需借助接触式传感器获取用户的心理特征，在检测过程中操作更加简单便捷，适用场景更加广泛。
可选地，如图4所示，解析模块32包括提取子模块321，用于提取面部视频数据的每一图像帧的面部图像特征信息；第一计算子模块322，用于将每一面部图像特征信息分别输入用于识别情绪类型的判别模型，基于该判别模型输出的每一面部图像特征信息对应的情绪类型信息得到面部视频数据的情绪分布信息；第二计算子模块323，用于将每一面部图像特征信息分别输入用于提取人眼注视区域的计算模型，基于该计算模型输出的每一面部图像特征信息对应的注视点坐标信息得到面部视频数据的注视点分布信息。
具体地，第一计算子模块322用于将每一面部图像特征信息分别输入用于识别情绪类型的判别模型，得到该判别模型输出的每一面部图像特征信息对应的情绪类型信息；根据每一情绪类型信息确定面部视频数据中每种预设情绪类型的占比，以得到面部视频数据的情绪分布信息。
具体地，第二计算子模块323用于将每一面部图像特征信息分别输入用于提取人眼注视区域的计算模型，得到该计算模型输出的每一面部图像特征信息对应的注视点坐标信息，注视点坐标信息包括人脸与图像采集装置的相对坐标以及眼睛注视角度向量；根据人脸与图像采集装置的相对坐标以及眼睛注视角度向量确定每一注视点坐标信息的平面坐标信息；对每一注视点坐标信息的平面坐标信息进行投影转换，得到注视点的投影坐标信息；根据投影坐标信息确定每一预设象限的预设区域中注视点数量与注视点总数量的比值，以得到面部视频数据的注视点分布信息。
可选地，装置300还可以包括第二计算模块35，用于将待检测对象的情绪分布信息输入二类高斯分布模型，得到待检测对象的情绪分布信息与人群表现的符合率，其中，二类高斯分布模型为根据多个检测对象的情绪分布数据建立的多元高斯分布模型。
可选地，装置300还可以包括报警模块36，用于在待检测对象的人群表现的符合率不处于二类高斯分布模型的预设分布区域内和/或心理异常等级达到预设等级时，执行报警操作。
采用上述装置，将计算得到的情绪分布信息、注视点分布信息与人群表现的符合率分别输入更加可靠精确的数学模型对待检测对象的心理异常情况进行检测，并结合多重判断指标对待检测对象的状态进行判断，可以提升检测结果的可信度与准确度，减少了结果误报的可能性。此外，通过执行报警操作可以便于及时发现人员的异常表现情况，有助于维护良好的治安环境。
实施例4：
图5是本发明实施例提供的一种电子设备500的框图。如图5所示，该电子设备500可以包括：处理器501，存储器502。该电子设备500还可以包括多媒体组件503，输入/输出(I/O)接口504，以及通信组件505中的一者或多者。
其中，处理器501用于控制该电子设备500的整体操作，以完成上述的心理异常检测方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如待检测人员的面部视频数据、情绪分布信息、注视点分布信息等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G、4G或5G，或它们中的一种或几种的组合，因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的心理异常检测方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的心理异常检测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由电子设备500的处理器501执行以完成上述的心理异常检测方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本发明提供的心理异常检测方法的步骤。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种心理异常检测方法，其特征在于，所述方法包括：
获取待检测对象的面部视频数据；
解析所述面部视频数据的每一图像帧，得到所述面部视频数据的情绪分布信息和注视点分布信息，其中，所述情绪分布信息用于表征所述待检测对象保持不同类型情绪的时间分布情况，所述注视点分布信息用于表征所述待检测对象向不同方向注视时间的分布情况；
将所述情绪分布信息和所述注视点分布信息分别输入对应的一类高斯分布模型，得到所述待检测对象的所述情绪分布信息相对于自身历史情绪分布的符合率、以及所述注视点分布信息相对于自身历史注视点分布的符合率，其中，所述情绪分布信息对应的一类高斯分布模型为根据所述待检测对象的历史情绪分布数据建立的多元高斯分布模型，所述注视点分布信息对应的一类高斯分布模型为根据所述待检测对象的历史注视点分布数据建立的多元高斯分布模型；
根据所述情绪分布信息与历史情绪分布的符合率和/或所述注视点分布信息与历史注视点分布的符合率，确定所述待检测对象的心理异常等级。
2.如权利要求1所述的方法，其特征在于，所述解析所述面部视频数据的每一图像帧，得到所述面部视频数据的情绪分布信息和注视点分布信息，包括：
提取所述面部视频数据的每一图像帧的面部图像特征信息；
将每一所述面部图像特征信息分别输入用于识别情绪类型的判别模型，基于该判别模型输出的每一所述面部图像特征信息对应的情绪类型信息得到所述面部视频数据的情绪分布信息；
将每一所述面部图像特征信息分别输入用于提取人眼注视区域的计算模型，基于该计算模型输出的每一所述面部图像特征信息对应的注视点坐标信息得到所述面部视频数据的注视点分布信息。
3.如权利要求2所述的方法，其特征在于，所述将每一所述面部图像特征信息分别输入用于识别情绪类型的判别模型，基于该判别模型输出的每一所述面部图像特征信息对应的情绪类型信息得到所述面部视频数据的情绪分布信息，包括：
将每一所述面部图像特征信息分别输入用于识别情绪类型的判别模型，得到该判别模型输出的每一所述面部图像特征信息对应的情绪类型信息；
根据每一所述情绪类型信息确定所述面部视频数据中每种预设情绪类型的占比，以得到所述面部视频数据的情绪分布信息。
4.如权利要求2或3所述的方法，其特征在于，所述将每一所述面部图像特征信息分别输入用于提取人眼注视区域的计算模型，基于该计算模型输出的每一所述面部图像特征信息对应的注视点坐标信息得到所述面部视频数据的注视点分布信息，包括：
将每一所述面部图像特征信息分别输入用于提取人眼注视区域的计算模型，得到该计算模型输出的每一所述面部图像特征信息对应的注视点坐标信息，所述注视点坐标信息包括人脸与图像采集装置的相对坐标以及眼睛注视角度向量；
根据人脸与图像采集装置的相对坐标以及眼睛注视角度向量确定每一所述注视点坐标信息的平面坐标信息；
对每一所述注视点坐标信息的平面坐标信息进行投影转换，得到注视点的投影坐标信息；
根据所述投影坐标信息确定每一预设象限的预设区域中注视点数量与注视点总数量的比值，以得到所述面部视频数据的注视点分布信息。
5.如权利要求4所述的方法，其特征在于，所述根据人脸与图像采集装置的相对坐标以及眼睛注视角度向量确定每一所述注视点坐标信息的平面坐标信息，包括：
对于人脸与图像采集装置的相对坐标为(Dx，Dy，Dz)、眼睛注视角度向量为(x，y，z)的注视点，该注视点的平面坐标信息为
6.如权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
将所述待检测对象的情绪分布信息输入二类高斯分布模型，得到所述待检测对象的所述情绪分布信息与人群表现的符合率，其中，所述二类高斯分布模型为根据多个检测对象的情绪分布数据建立的多元高斯分布模型。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
若所述待检测对象的人群表现的符合率不处于二类高斯分布模型的预设分布区域内和/或心理异常等级达到预设等级，执行报警操作。
8.一种心理异常检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测对象的面部视频数据；
解析模块，用于解析所述面部视频数据的每一图像帧，得到所述面部视频数据的情绪分布信息和注视点分布信息，其中，所述情绪分布信息用于表征所述待检测对象保持不同类型情绪的时间分布情况，所述注视点分布信息用于表征所述待检测对象向不同方向注视时间的分布情况；
第一计算模块，用于将所述情绪分布信息和所述注视点分布信息分别输入对应的一类高斯分布模型，得到所述待检测对象的所述情绪分布信息相对于自身历史情绪分布的符合率、以及所述注视点分布信息相对于自身历史注视点分布的符合率，其中，所述情绪分布信息对应的一类高斯分布模型为根据所述待检测对象的历史情绪分布数据建立的多元高斯分布模型，所述注视点分布信息对应的一类高斯分布模型为根据所述待检测对象的历史注视点分布数据建立的多元高斯分布模型；
确定模块，用于根据所述情绪分布信息与历史情绪分布的符合率和/或所述注视点分布信息与历史注视点分布的符合率，确定所述待检测对象的心理异常等级。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至7中任一项所述方法的步骤。
CN201910543589.2A 2019-06-21 2019-06-21 心理异常检测方法、装置、存储介质及电子设备 Active CN110393539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910543589.2A CN110393539B (zh) 2019-06-21 2019-06-21 心理异常检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910543589.2A CN110393539B (zh) 2019-06-21 2019-06-21 心理异常检测方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110393539A true CN110393539A (zh) 2019-11-01
CN110393539B CN110393539B (zh) 2021-11-23

Family

ID=68323371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910543589.2A Active CN110393539B (zh) 2019-06-21 2019-06-21 心理异常检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110393539B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967350A (zh) * 2020-07-30 2020-11-20 广州光大教育软件科技股份有限公司 远程课堂专注度分析方法、装置、计算机设备及存储介质
CN113822184A (zh) * 2021-09-08 2021-12-21 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于表情识别的无感情绪异常检测方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015039487A (ja) * 2013-08-21 2015-03-02 大日本印刷株式会社 生理指標を用いる視線分析システムおよび方法
US20150257967A1 (en) * 2013-03-15 2015-09-17 John Castle Simmons Vision-Based Diagnosis and Treatment
CN105050247A (zh) * 2015-06-24 2015-11-11 河北工业大学 基于表情模型识别的灯光智能调节系统及其方法
CN105559802A (zh) * 2015-07-29 2016-05-11 北京工业大学 一种基于注意和情感信息融合的抑郁症诊断系统及方法
CN106407935A (zh) * 2016-09-21 2017-02-15 俞大海 基于人脸图像和眼动注视信息的心理测试方法
US20170042463A1 (en) * 2015-08-13 2017-02-16 Abishek Rajkumar Human Emotion Assessment Based on Physiological Data Using Semiotic Analysis
CN106548788A (zh) * 2015-09-23 2017-03-29 中国移动通信集团山东有限公司 一种智能情绪确定方法及系统
CN106682946A (zh) * 2016-12-30 2017-05-17 北京七鑫易维信息技术有限公司 一种广告内容分析方法和装置
CN106861012A (zh) * 2017-02-22 2017-06-20 南京邮电大学 Vr体验场景下基于智能手环的用户情绪调节方法
US20180035886A1 (en) * 2015-02-27 2018-02-08 Valorisation-Recherche, Limited Partnership Method of and system for processing signals sensed from a user
CN107886442A (zh) * 2017-11-28 2018-04-06 合肥工业大学 基于微博文本的公众情感分布建模方法及装置
JP2018089091A (ja) * 2016-12-02 2018-06-14 東京電力ホールディングス株式会社 心理状態判定装置、心理状態判定方法、及び心理状態判定プログラム
CN108197667A (zh) * 2018-01-30 2018-06-22 安徽斛兵信息科技有限公司 基于对话的个人异常情绪检测方法及装置
CN108256016A (zh) * 2018-01-08 2018-07-06 合肥工业大学 基于个人微博的个人异常情绪检测方法及装置
CN108288505A (zh) * 2018-01-29 2018-07-17 重庆邮电大学 一种可视分析的心理健康评估方法
CN109697413A (zh) * 2018-12-13 2019-04-30 合肥工业大学 基于头部姿态的人格分析方法、系统和存储介质
CN109767321A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 问答过程优化方法、装置、计算机设备和存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150257967A1 (en) * 2013-03-15 2015-09-17 John Castle Simmons Vision-Based Diagnosis and Treatment
JP2015039487A (ja) * 2013-08-21 2015-03-02 大日本印刷株式会社 生理指標を用いる視線分析システムおよび方法
US20180035886A1 (en) * 2015-02-27 2018-02-08 Valorisation-Recherche, Limited Partnership Method of and system for processing signals sensed from a user
CN105050247A (zh) * 2015-06-24 2015-11-11 河北工业大学 基于表情模型识别的灯光智能调节系统及其方法
CN105559802A (zh) * 2015-07-29 2016-05-11 北京工业大学 一种基于注意和情感信息融合的抑郁症诊断系统及方法
US20170042463A1 (en) * 2015-08-13 2017-02-16 Abishek Rajkumar Human Emotion Assessment Based on Physiological Data Using Semiotic Analysis
CN106548788A (zh) * 2015-09-23 2017-03-29 中国移动通信集团山东有限公司 一种智能情绪确定方法及系统
CN106407935A (zh) * 2016-09-21 2017-02-15 俞大海 基于人脸图像和眼动注视信息的心理测试方法
JP2018089091A (ja) * 2016-12-02 2018-06-14 東京電力ホールディングス株式会社 心理状態判定装置、心理状態判定方法、及び心理状態判定プログラム
CN106682946A (zh) * 2016-12-30 2017-05-17 北京七鑫易维信息技术有限公司 一种广告内容分析方法和装置
CN106861012A (zh) * 2017-02-22 2017-06-20 南京邮电大学 Vr体验场景下基于智能手环的用户情绪调节方法
CN107886442A (zh) * 2017-11-28 2018-04-06 合肥工业大学 基于微博文本的公众情感分布建模方法及装置
CN108256016A (zh) * 2018-01-08 2018-07-06 合肥工业大学 基于个人微博的个人异常情绪检测方法及装置
CN108288505A (zh) * 2018-01-29 2018-07-17 重庆邮电大学 一种可视分析的心理健康评估方法
CN108197667A (zh) * 2018-01-30 2018-06-22 安徽斛兵信息科技有限公司 基于对话的个人异常情绪检测方法及装置
CN109697413A (zh) * 2018-12-13 2019-04-30 合肥工业大学 基于头部姿态的人格分析方法、系统和存储介质
CN109767321A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 问答过程优化方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R. LOTFIAN: "Formulating emotion perception as a probabilistic model with application to categorical emotion classification", 《2017 SEVENTH INTERNATIONAL CONFERENCE ON AFFECTIVE COMPUTING AND INTELLIGENT INTERACTION (ACII)》 *
孙晓: "基于社交媒体的用户情绪建模与异常检测", 《中文信息学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967350A (zh) * 2020-07-30 2020-11-20 广州光大教育软件科技股份有限公司 远程课堂专注度分析方法、装置、计算机设备及存储介质
CN113822184A (zh) * 2021-09-08 2021-12-21 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于表情识别的无感情绪异常检测方法

Also Published As

Publication number Publication date
CN110393539B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN106716382B (zh) 用于移动装置行为的聚集多应用程序行为分析的方法和系统
CN104885099B (zh) 使用推升式决策树桩和联合特征选择及剔选算法来对移动设备行为进行高效分类的方法和系统
CN110245574B (zh) 一种用户疲劳状态识别方法、装置及终端设备
CN105989174B (zh) 关注区域提取装置以及关注区域提取方法
EP4394629A2 (en) Multiple-factor recognition and validation for security systems
CN107924492A (zh) 使用归一化置信值对移动设备行为进行分类
Noman et al. Mobile-based eye-blink detection performance analysis on android platform
Krupitzer et al. Beyond position-awareness—Extending a self-adaptive fall detection system
CN110393539A (zh) 心理异常检测方法、装置、存储介质及电子设备
CN112163470A (zh) 基于深度学习的疲劳状态识别方法、系统、存储介质
Busey et al. Characterizing human expertise using computational metrics of feature diagnosticity in a pattern matching task
CN116909408A (zh) 一种基于mr智能眼镜的内容交互方法
JP7141518B2 (ja) 指静脈照合方法、装置、コンピュータ機器、及び記憶媒体
Henderson et al. Human frontoparietal cortex represents behaviorally relevant target status based on abstract object features
Odya et al. User authentication by eye movement features employing SVM and XGBoost classifiers
CN109583396A (zh) 一种基于cnn两阶段人体检测的区域防范方法、系统以及终端
CN111222374A (zh) 测谎数据处理方法、装置、计算机设备和存储介质
EP3410328A1 (en) Method and system to distinguish between a human and a robot as a user of a mobile smart device
Ding et al. Accelerometer-based mobile device identification system for the realistic environment
Sommer et al. Simultaneous and spatiotemporal detection of different levels of activity in multidimensional data
Topala et al. An adaptive algorithm for precise pupil boundary detection using the entropy of contour gradients
US11763595B2 (en) Method and system for identifying, tracking, and collecting data on a person of interest
CN107992733A (zh) 一种智能终端及其安全解锁方法
Ishii et al. Real-time eyelid open/closed state recognition based on HLAC towards driver drowsiness detection
CN114332990A (zh) 一种情绪识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant