CN110693508A - 多通道协同的心理生理主动感知方法及服务机器人 - Google Patents
多通道协同的心理生理主动感知方法及服务机器人 Download PDFInfo
- Publication number
- CN110693508A CN110693508A CN201910823119.1A CN201910823119A CN110693508A CN 110693508 A CN110693508 A CN 110693508A CN 201910823119 A CN201910823119 A CN 201910823119A CN 110693508 A CN110693508 A CN 110693508A
- Authority
- CN
- China
- Prior art keywords
- characteristic vector
- target individual
- features
- visible light
- physiological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003304 psychophysiological effect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 230000008447 perception Effects 0.000 claims abstract description 14
- 230000003993 interaction Effects 0.000 claims abstract description 9
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 8
- 239000008280 blood Substances 0.000 claims abstract description 8
- 210000004369 blood Anatomy 0.000 claims abstract description 8
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 8
- 239000001301 oxygen Substances 0.000 claims abstract description 8
- 230000005611 electricity Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 278
- 230000008451 emotion Effects 0.000 claims description 97
- 238000012545 processing Methods 0.000 claims description 65
- 230000009467 reduction Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 11
- 230000036651 mood Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000035565 breathing frequency Effects 0.000 claims description 3
- 230000002996 emotional effect Effects 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000001121 heart beat frequency Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 abstract description 5
- 238000005065 mining Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 206010027951 Mood swings Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 230000008433 psychological processes and functions Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Optics & Photonics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请提供一种多通道协同的心理生理主动感知方法及服务机器人，此机器人通过右眼可见光摄像头采集部件获取监测目标个体的可见光视频，通过左眼红外仪采集部件拍摄监测目标个体的红外热图视频，通过左侧接触式指夹仪器获取监测目标个体的皮电、脉搏、血氧等生理数据；机器人的口袋分析操作台用于分析挖掘上述多通道数据对应的深层特征信息及相关权重，用于确定监测目标个体的心理生理特征值。此机器人具有红外智能捕获对象功能、远程服务功能，可按照用户要求分析得到监测目标个体的心理生理特征值。上述多通道协同的心理生理主动感知服务机器人便于实时操作，采用人机交互的方式提高了心理状态监测效率，自动化、智能化程度大大提高。
Description
技术领域
本申请涉及信息和数据处理领域，具体涉及一种多通道协同的心理生理主动感知方法及服务机器人。
背景技术
心理状态是心理活动的基本形式之一，指心理活动在一定时间内的完整特征，如注意、疲劳、紧张、轻松、忧伤、喜悦等。它兼有心理过程和个性心理特征的特点，既有暂时性，又具有稳定性。是心理过程和个性心理特征联结的中介环节，构成一切心理活动展开的背景。生理特征，例如皮电、血氧等能够在一定程度上感应个体的心理状态特征。个体的心理生理状态特征能够反应个体当前的状态，能够帮助判断个体是否会做出危害自己或威胁他人安全的行为，因此监测个体的心理生理状态特征非常必要。
现有技术中，对个体心理生理状态的分析方案中，采集的数据类型单一，不能充分获取用于分析个体进行心理生理状态分析的情绪信息，导致分析的结果准确度低。并且在对获取的数据进行处理的过程中，步骤繁琐，计算量大，效率差。同时，在对个体心理生理状态的分析方案中自动化程度不高。
发明内容
(一)解决的技术问题
针对现有技术的不足，本申请提供了一种多通道协同的心理生理主动感知方法及服务机器人，解决了现有技术中获取的进行心理生理状态分析的情绪信息类型单一、不够充分、不能实时分析的问题，进行心理生理状态分析过程中的步骤繁琐，计算量大，效率差、自动化程度低、分析的结果准确度低的缺陷。
(二)技术方案
为实现以上目的，本申请通过以下技术方案予以实现：
第一方面，本申请提供了一种多通道协同的心理生理主动感知方法，包括：
获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；
提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；
对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；
提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；
提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；
基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。
在一种可能的实施方式中，还包括：
感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，执行获取目标个体的可见光图像、获取目标个体的红外热图、获取目标个体的音频信息、获取目标个体的生理信息、对采集的上述信息进行处理，确定目标个体的心理生理特征值的步骤；其中，所述服务机器人为执行上述方法的执行主体。
在一种可能的实施方式中，还包括：
通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。
在一种可能的实施方式中，上述方法在提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量之前，还包括如下步骤：
对所述可见光图像进行点运算处理、滤波处理、全局优化处理
利用灰度变换法和小波包阈值的去噪方法对红外热图像进行预处理；
对所述音频信息进行预加权重处理、低通滤波处理、分帧处理。
在一种可能的实施方式中，所述提取所述可见光图像中的第一图像特征，包括：
对可见光图像中预设的多个面部特征点、多个预设的面部运动区域进行图像特征提取，得到所述第一图像特征。
在一种可能的实施方式中，所述对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，包括：
基于HSV颜色模型的直接示例查法及主分量分析法对所述红外热图进行降维处理，及并提取降为处理后的信息的图像特征提取，得到所述第二图像特征。
在一种可能的实施方式中，所述提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，包括：
提取音频信息中的音频特征，并从语音语调库中查找与音频特征匹配的情绪波动特征；所述音语调库中存储有多个语音特征，以及与每种语音特征对应的情绪波动特征。
在一种可能的实施方式中，所述提取所述生理信息中的时频特征，包括：
基于傅里叶变换和深度LSTM对生理信息进行时频分析处理，得到所述视频特征。
在一种可能的实施方式中，所述基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值，包括：
利用卷积神经网络，基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。
在一种可能的实施方式中，所述第一图像特征包括目标个体的头部姿势特征、目标个体的微表情特征、目标个体的眼动轨迹特征；
所述第二图像特征包括目标个体的面部温度特征、呼吸频率特征、心跳频率特征；
所述音频特征包括目标个体的音波频率特征、声音强度特征；
所述时频特征包括目标个体的皮电特征、目标个体的脉搏特征、目标个体的血氧特征。
在一种可能的实施方式中，所述基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值，包括：
确定多个预设周期中的每个预设周期对应的可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量；
基于可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重、生理时序特征向量的权重、每个预设周期对应的可见光图像特征向量、每个预设周期对应的红外热图特征向量、每个预设周期对应的情绪波动特征向量和每个预设周期对应的生理时序特征向量，确定目标个体的心理生理特征值。
第二方面，本申请实施例提供了一种多通道协同的心理生理主动感知服务机器人，包括：
第一眼部采集部件、第二眼部采集部件、嘴部采集部件、口袋分析操作台、生理信息采集部件、显示屏、电源部件、存储部件、分析处理部件、人机交互部件、远程服务部件；
所述第一眼部采集部件用于获取目标个体的可见光图像；
所述第二眼部采集部件用于获取目标个体的红外热图；
所述嘴部采集部件用于获取目标个体的音频信息；
所述生理信息采集部件用于获取目标个体的生理信息；
所述分析处理部件用于提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值；
所述显示屏用于显示目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息、目标个体的心理生理特征值；
所述存储部件用于存储目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息、目标个体的心理生理特征值；
所述电源部件用于为第一眼部采集部件、第二眼部采集部件、嘴部采集部件、生理信息采集部件、显示屏、存储部件供电；
所述人机交互部件，用于感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，红外智捕获对象，控制第一眼部采集部件获取目标个体的可见光图像、所述第二眼部采集部件用于获取目标个体的红外热图、所述嘴部采集部件用于获取目标个体的音频信息、所述生理信息采集部件用于获取目标个体的生理信息、所述分析处理部件对采集的上述信息进行处理，确定目标个体的心理生理特征值；
所述远程服务部件，用于通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值；
所述口袋分析操作台用于控制所述显示屏显示的内容，控制所述服务机器人的工作状态，以及设置可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重、生理时序特征向量的权重所。
(三)有益效果
本申请提供了一种多通道协同的心理生理主动感知方法及服务机器人。具备以下有益效果：
本申请首先提取目标个体的可见光图像中的第一图像特征，基于提取得到图像特征生成可见光图像特征向量；提取红外热图中的第二图像特征，基于提取得到的第二图像特征，确定红外热图特征向量；提取音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取生理信息中的时频特征，基于提取得到的时频特征生成生理时序特征向量；之后，基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。上述技术方案能够提取并融合可见光图像、红外热图、音频信息、生理信息的四种类型的数据分析目标个体的心理生理特征信息，克服了现有技术中获取的进行心理生理状态分析的情绪信息类型单一、不够充分的缺陷，提高了分析得到的心理生理特征信息的准确度，并且在对上述四种类型的数据进行处理的时候，利用了神经网络等，能够有效减少计算步骤，降低计算量，提高计算效率差，提高自动化程度；
另外，上述服务机器人通过右眼可见光摄像头采集部件获取监测目标个体的可见光视频，通过左眼红外仪采集部件拍摄监测目标个体的红外热图视频，通过左侧接触式指夹仪器获取监测目标个体的皮电、脉搏、血氧等生理数据；服务机器人的口袋分析操作台用于分析挖掘上述多通道数据对应的深层特征信息及相关权重，用于确定监测目标个体的心理生理特征值。此服务机器人具有红外智能捕获对象功能、远程服务功能，可按照用户要求分析得到监测目标个体的心理生理特征值。上述多通道协同的心理生理主动感知服务机器人便于实时操作，采用人机交互的方式提高了心理状态监测效率，自动化、智能化程度大大提高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性的示出了本申请一实施例的多通道协同的心理生理主动感知方法的流程图；
图2示意性的示出了本申请一实施例的多通道协同的心理生理主动感知服务机器人的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
针对现有技术中，分析个体的心理生理特征的技术方案中存在的数据类型单一、不够充分，进行心理生理状态分析过程中的步骤繁琐，计算量大，效率差、自动化程度低、分析的结果准确度低的缺陷，本申请提供了一种多通道协同的心理生理主动感知方法，该方法能够利用神经网络模型对获取的可见光图像、红外热图、音频信息和生理信息，四种类型的数据进行处理的，能够克服现有技术中用于计算心理生理状态的数据类型单一的缺陷，有效提高了计算准确度、减少了计算步骤，降低了计算量，提高了计算效率差，提高了自动化程度。
下面对本申请的多通道协同的心理生理主动感知方法进行详细说明。该方法由能够执行程序的服务器执行。
如图1所示，本申请的多通道协同的心理生理主动感知方法，包括如下步骤：
S110、获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息。
这里的目标个体是待分析心理生理状态特征值的个体。这里可以利用可见光摄像头获取目标个体的可见光图像，可以利用红外摄像头获取目标个体的红外热图，可以利用麦克风获取目标个体的音频信息。上述可见光图像可以用于确定目标个体的头部姿势等信息，上述红外热图可以用于确定目标个体的面部温度等信息，上述音频信息可以用于确定目标个体的声音强度等信息。
这里可以利用指夹式仪器监测目标个体的生理信息；这里的生理信息包括目标个体的皮电信号、血氧信号、脉搏信号等。
S120、提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量。
可见光图像能够反应目标个体的心理生理特征，例如，可见光图像中包括五官扭曲，那么此时目标个体可能出现痛苦这样的心理生理特征。因此，在评估目标个体的心理生理特征时，为了提高评估的准确度，需要获取目标个体的可见光图像，并基于可见光图像，确定第一图像特征。
这里，提取所述可见光图像中的第一图像特征，可以包括：
对可见光图像中预设的多个面部特征点、多个预设的面部运动区域进行图像特征提取，得到所述第一图像特征。
上述多个面部特征点可以是预先设定的人脸的68个特征点。上述面部运动区域可以是分割的人脸的特定区域，例如，额头区域，面颊区域等。
S130、对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量。
红外热图能够反应目标个体的心理生理特征，例如，红外热图中目标个体的面部温度过高，那么此时目标个体可能出现激动这样的心理生理特征。因此，在评估目标个体的心理生理特征时，为了提高评估的准确度，需要获取目标个体的红外热图，并基于红外热图，确定第二图像特征。
这里，对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，包括：
基于HSV颜色模型的直接示例查法及主分量分析法对所述红外热图进行降维处理，及并提取降为处理后的信息的图像特征提取，得到所述第二图像特征。
S140、提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量。
音频信息中的音频特征与目标个体的心理生理特征具有对应关系，例如，音频信息中包括声音强度大的音频特征，那么心理生理特征中就会包括心率加快、愤怒的特征。因此，在评估目标个体的心理生理特征时，为了提高评估的准确度，需要获取目标个体的音频信息，并基于音频信息，确定情绪波动特征。
这里，提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，包括：
提取音频信息中的音频特征，并从语音语调库中查找与音频特征匹配的情绪波动特征；所述语音语调库中存储有多个语音特征，以及与每种语音特征对应的情绪波动特征。
上述语音语调库是预先设置的，其中包括语音特征，以及与每种语音特征对应的情绪波动特征，基于步骤140中提取的语音特征，可以查找到匹配的情绪波动特征。
S150、提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量。
生理信息能够直接体现目标个体的生理变化，目标个体的生理变化与目标个体的心理状态相关联，互相影响，因此，在评估目标个体的心理生理特征时，为了提高评估的准确度，需要获取目标个体的生理信息。
这里，提取所述生理信息中的时频特征，包括：
基于傅里叶变换和深度LSTM对生理信息进行时频分析处理，得到所述视频特征。
S160、基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。
这里，具体可以利用卷积神经网络，基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。
上述卷积神经网络是预先训练得到的，在使用时能够自动、准确、快速的确定目标个体的心理生理特征值，步骤简单、快捷。
上述第一图像特征包括目标个体的头部姿势特征、目标个体的微表情特征、目标个体的眼动轨迹特征；所述第二图像特征包括目标个体的面部温度特征、呼吸频率特征、心跳频率特征；所述音频特征包括目标个体的音波频率特征、声音强度特征；所述时频特征包括目标个体的皮电特征、目标个体的脉搏特征、目标个体的血氧特征。
在一些实施例中，上述基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值，还可以利用如下步骤实现：
确定多个预设周期中的每个预设周期对应的可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量；
基于可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重、生理时序特征向量的权重、每个预设周期对应的可见光图像特征向量、每个预设周期对应的红外热图特征向量、每个预设周期对应的情绪波动特征向量和每个预设周期对应的生理时序特征向量，确定目标个体的心理生理特征值。
上述实施例，预先设置了一定时间长度的周期，在每个周期中均获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息，并基于获取的数据确定可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量，之后，基于确定的向量确定目标个体的心理生理特征值。具体地，可以首先基于每个周期对应的各个向量确定每个周期对应的心理生理特征值，再基于每个周期对应的心理生理特征值，确定目标个体最终的心理生理特征值；也可以直接根据所有周期对应的各个向量，确定目标个体最终的心理生理特征值。
上述实施例通过周期的设置能够增加确定的心理生理特征值的准确度。
在一些实施例中，上述方法在提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量之前，还可以包括如下步骤：
步骤一、对所述可见光图像进行点运算处理、滤波处理、全局优化处理。
步骤二、利用灰度变换法和小波包阈值的去噪方法对红外热图像进行预处理。
步骤三、对所述音频信息进行预加权重处理、低通滤波处理、分帧处理。
该步骤使得音频信息更加清晰，方便后期数据分析。
通过对数据的预处理，能够剔除错误数据，提高确定的心理生理特征值的准确度。
上述方法整合分析采集到的用户非接触式及接触式数据，并运用深度学习等人工智能方法监测心理生理特征，最终基于长周期心理生理特征得到目标个体的精确分析结果。
另外，上述方法还包括：感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，执行获取目标个体的可见光图像、获取目标个体的红外热图、获取目标个体的音频信息、获取目标个体的生理信息、对采集的上述信息进行处理，确定目标个体的心理生理特征值的步骤；其中，所述服务机器人为执行上述方法的执行主体。
另外，上述方法还包括：
通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。
对应于上述实施例中的方法，本申请还公开了一种服务机器人，该服务机器人能够与使用者交流，采集可见光图像、红外热图、音频信息、生理信息，并对获取的信息采取实时分析操作，确定目标个体的心理生理特征值，该服务机器人以多通道智能协同的方式监测心理生理状态，智能便捷。
具体的，如图2所述，上述服务服务机器人包括：第一眼部采集部件210、第二眼部采集部件220、嘴部采集部件230、生理信息采集部件240、显示屏250、电源部件260、口袋分析操作台280、存储部件(未示出)。
所述第一眼部采集210部件用于获取目标个体的可见光图像；
所述第二眼部采集220部件用于获取目标个体的红外热图；
所述嘴部采集部件230用于获取目标个体的音频信息；
所述生理信息采集部件240用于获取目标个体的生理信息；
所述分析处理部件用于提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值；
所述显示屏250用于显示目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息、目标个体的心理生理特征值；
所述存储部件用于存储目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息、目标个体的心理生理特征值；
所述电源部件260用于为第一眼部采集部件、第二眼部采集部件、嘴部采集部件、生理信息采集部件、显示屏、存储部件供电。
上述服务机器人还包括收纳设备充电线盒270，用于收纳充电线等。上述服务机器人还包括口袋分析操作台280，用于控制所述显示屏显示的内容，控制所述服务机器人的工作状态，以及设置可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重、生理时序特征向量的权重；口袋分析操作台280还用于人机交互，例如人工调整服务机器人的处理周期等。
另外，上述服务机器人还包括人机交互部件，用于感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，控制第一眼部采集部件获取目标个体的可见光图像、所述第二眼部采集部件用于获取目标个体的红外热图、所述嘴部采集部件用于获取目标个体的音频信息、所述生理信息采集部件用于获取目标个体的生理信息、所述分析处理部件对采集的上述信息进行处理，确定目标个体的心理生理特征值。
另外，上述服务机器人还所述远程服务部件，用于通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。
远程服务部件利用远程终端的摄像头、麦克风等获取上述各用于分析的信息，并在获取信息后进行处理，确定目标个体的心理生理特征值。
上述服务机器人执行的步骤与上述方法相同，这里不再进行赘述。
上述服务机器人，集成了接触式信息采集部件和非接触式信息采集部件，能够同时监测目标个体的生理变化(皮电脉搏血氧等)及心理变化，操作方便，效率高。上述服务机器人各部分连接成整体并实现可移动、可拓展功能。能够实现跨媒体信息融合功能，并且实现与目标个体智能化人机交互功能，方便满足目标个体及使用者的需求。
上述实施例以接触式信息采集部件通过指夹式皮电脉搏血氧仪采集目标个体的生理信号，与通过非接触式信息采集部件监测目标个体的心率、呼吸频率等数据校准，使得分析结果更为精确。本申请的数据采集简便易行，设备操作简单、使用方便。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种多通道协同的心理生理主动感知方法，其特征在于，包括：
获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；
提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；
对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；
提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；
提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；
基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。
2.根据权利要求1所述的方法，还包括：
感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，执行获取目标个体的可见光图像、获取目标个体的红外热图、获取目标个体的音频信息、获取目标个体的生理信息、对采集的上述信息进行处理，确定目标个体的心理生理特征值的步骤；其中，所述服务机器人为执行上述方法的执行主体。
3.根据权利要求1所述的方法，还包括：
通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。
4.根据权利要求1所述的方法，其特征在于，所述方法在提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量之前，还包括如下步骤：
对所述可见光图像进行点运算处理、滤波处理、全局优化处理
利用灰度变换法和小波包阈值的去噪方法对红外热图像进行预处理；
对所述音频信息进行预加权重处理、低通滤波处理、分帧处理。
所述提取所述可见光图像中的第一图像特征，包括：
对可见光图像中预设的多个面部特征点、多个预设的面部运动区域进行图像特征提取，得到所述第一图像特征。
5.根据权利要求1所述的方法，其特征在于，所述对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，包括：
基于HSV颜色模型的直接示例查法及主分量分析法对所述红外热图进行降维处理，及并提取降为处理后的信息的图像特征提取，得到所述第二图像特征。
6.根据权利要求1所述的方法，其特征在于，所述提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，包括：
提取音频信息中的音频特征，并从语音语调库中查找与音频特征匹配的情绪波动特征；所述音语调库中存储有多个语音特征，以及与每种语音特征对应的情绪波动特征。
7.根据权利要求1所述的方法，其特征在于，所述基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值，包括：
利用卷积神经网络，基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。
8.根据权利要求1所述的方法，其特征在于，所述第一图像特征包括目标个体的头部姿势特征、目标个体的微表情特征、目标个体的眼动轨迹特征；
所述第二图像特征包括目标个体的面部温度特征、呼吸频率特征、心跳频率特征；
所述音频特征包括目标个体的音波频率特征、声音强度特征；
所述时频特征包括目标个体的皮电特征、目标个体的脉搏特征、目标个体的血氧特征。
9.根据权利要求1所述的方法，其特征在于，所述基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值，包括：
确定多个预设周期中的每个预设周期对应的可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量；
基于可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重、生理时序特征向量的权重、每个预设周期对应的可见光图像特征向量、每个预设周期对应的红外热图特征向量、每个预设周期对应的情绪波动特征向量和每个预设周期对应的生理时序特征向量，确定目标个体的心理生理特征值。
10.一种多通道协同的心理生理主动感知服务机器人，其特征在于，包括：第一眼部采集部件、第二眼部采集部件、嘴部采集部件、口袋分析操作台、生理信息采集部件、显示屏、电源部件、存储部件、分析处理部件、人机交互部件、远程服务部件；
所述第一眼部采集部件用于获取目标个体的可见光图像；
所述第二眼部采集部件用于获取目标个体的红外热图；
所述嘴部采集部件用于获取目标个体的音频信息；
所述生理信息采集部件用于获取目标个体的生理信息；
所述分析处理部件用于提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值；
所述显示屏用于显示目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息、目标个体的心理生理特征值；
所述存储部件用于存储目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息、目标个体的心理生理特征值；
所述电源部件用于为第一眼部采集部件、第二眼部采集部件、嘴部采集部件、生理信息采集部件、显示屏、存储部件供电；
所述人机交互部件，用于感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，红外智捕获对象，控制第一眼部采集部件获取目标个体的可见光图像、所述第二眼部采集部件用于获取目标个体的红外热图、所述嘴部采集部件用于获取目标个体的音频信息、所述生理信息采集部件用于获取目标个体的生理信息、所述分析处理部件对采集的上述信息进行处理，确定目标个体的心理生理特征值；
所述远程服务部件，用于通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值；
所述口袋分析操作台用于控制所述显示屏显示的内容，控制所述服务机器人的工作状态，以及设置可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重、生理时序特征向量的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910823119.1A CN110693508A (zh) | 2019-09-02 | 2019-09-02 | 多通道协同的心理生理主动感知方法及服务机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910823119.1A CN110693508A (zh) | 2019-09-02 | 2019-09-02 | 多通道协同的心理生理主动感知方法及服务机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110693508A true CN110693508A (zh) | 2020-01-17 |
Family
ID=69193436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910823119.1A Pending CN110693508A (zh) | 2019-09-02 | 2019-09-02 | 多通道协同的心理生理主动感知方法及服务机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110693508A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326780A (zh) * | 2021-05-31 | 2021-08-31 | 合肥工业大学 | 基于数据可靠性评价的非接触式负性心境检测方法和装置 |
| CN116030960A (zh) * | 2022-12-22 | 2023-04-28 | 中国人民解放军海军特色医学中心 | 一种基于人脸识别技术的生理心理指标分析系统及方法 |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101526997A (zh) * | 2009-04-22 | 2009-09-09 | 无锡名鹰科技发展有限公司 | 嵌入式红外人脸图像识别方法及识别装置 |
| US20100292545A1 (en) * | 2009-05-14 | 2010-11-18 | Advanced Brain Monitoring, Inc. | Interactive psychophysiological profiler method and system |
| US20120143022A1 (en) * | 2010-12-02 | 2012-06-07 | Kuan-Rong Lee | Physiological signal detection system capable of showing emotions, device and emotional display method |
| CN105426400A (zh) * | 2015-10-29 | 2016-03-23 | 小米科技有限责任公司 | 用户匹配度的判断方法和装置 |
| CN105700682A (zh) * | 2016-01-08 | 2016-06-22 | 北京乐驾科技有限公司 | 基于视觉和语音的智能性别、情绪识别检测系统及方法 |
| CN106264568A (zh) * | 2016-07-28 | 2017-01-04 | 深圳科思创动实业有限公司 | 非接触式情绪检测方法和装置 |
| CN106407935A (zh) * | 2016-09-21 | 2017-02-15 | 俞大海 | 基于人脸图像和眼动注视信息的心理测试方法 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107563312A (zh) * | 2017-08-17 | 2018-01-09 | 南昌航空大学 | 人脸表情识别方法 |
| CN206946938U (zh) * | 2017-01-13 | 2018-01-30 | 深圳大森智能科技有限公司 | 智能机器人主动服务系统 |
| CN107798318A (zh) * | 2017-12-05 | 2018-03-13 | 四川文理学院 | 一种机器人识别面部快乐微表情的方法及其装置 |
| CN107808146A (zh) * | 2017-11-17 | 2018-03-16 | 北京师范大学 | 一种多模态情感识别分类方法 |
| US20180088903A1 (en) * | 2016-09-28 | 2018-03-29 | Stichting Imec Nederland | Method and System for Emotion-Triggered Capturing of Audio and/or Image Data |
| WO2018058705A1 (zh) * | 2016-09-29 | 2018-04-05 | 金湘范 | 基于视频精神生理参数监测危险人物装置及方法 |
| CN108407759A (zh) * | 2018-05-21 | 2018-08-17 | 辽宁工业大学 | 基于人脸识别的汽车智能启动模块及启动方法 |
| CN108877840A (zh) * | 2018-06-29 | 2018-11-23 | 重庆柚瓣家科技有限公司 | 基于非线性特征的情绪识别方法及系统 |
| US20190012599A1 (en) * | 2010-06-07 | 2019-01-10 | Affectiva, Inc. | Multimodal machine learning for emotion metrics |
| CN109426653A (zh) * | 2017-08-27 | 2019-03-05 | 南京乐朋电子科技有限公司 | 心理咨询机器人 |
| CN109583431A (zh) * | 2019-01-02 | 2019-04-05 | 上海极链网络科技有限公司 | 一种人脸情绪识别模型、方法及其电子装置 |
| CN109784154A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技（深圳）有限公司 | 基于深度神经网络的情绪识别方法、装置、设备及介质 |
| CN109858553A (zh) * | 2019-01-31 | 2019-06-07 | 深圳市赛梅斯凯科技有限公司 | 驾驶状态的监测模型更新方法、更新装置及存储介质 |
| CN109993093A (zh) * | 2019-03-25 | 2019-07-09 | 山东大学 | 基于面部和呼吸特征的路怒监测方法、系统、设备及介质 |
-
2019
- 2019-09-02 CN CN201910823119.1A patent/CN110693508A/zh active Pending
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101526997A (zh) * | 2009-04-22 | 2009-09-09 | 无锡名鹰科技发展有限公司 | 嵌入式红外人脸图像识别方法及识别装置 |
| US20100292545A1 (en) * | 2009-05-14 | 2010-11-18 | Advanced Brain Monitoring, Inc. | Interactive psychophysiological profiler method and system |
| US20190012599A1 (en) * | 2010-06-07 | 2019-01-10 | Affectiva, Inc. | Multimodal machine learning for emotion metrics |
| US20120143022A1 (en) * | 2010-12-02 | 2012-06-07 | Kuan-Rong Lee | Physiological signal detection system capable of showing emotions, device and emotional display method |
| CN105426400A (zh) * | 2015-10-29 | 2016-03-23 | 小米科技有限责任公司 | 用户匹配度的判断方法和装置 |
| CN105700682A (zh) * | 2016-01-08 | 2016-06-22 | 北京乐驾科技有限公司 | 基于视觉和语音的智能性别、情绪识别检测系统及方法 |
| CN106264568A (zh) * | 2016-07-28 | 2017-01-04 | 深圳科思创动实业有限公司 | 非接触式情绪检测方法和装置 |
| CN106407935A (zh) * | 2016-09-21 | 2017-02-15 | 俞大海 | 基于人脸图像和眼动注视信息的心理测试方法 |
| US20180088903A1 (en) * | 2016-09-28 | 2018-03-29 | Stichting Imec Nederland | Method and System for Emotion-Triggered Capturing of Audio and/or Image Data |
| WO2018058705A1 (zh) * | 2016-09-29 | 2018-04-05 | 金湘范 | 基于视频精神生理参数监测危险人物装置及方法 |
| CN206946938U (zh) * | 2017-01-13 | 2018-01-30 | 深圳大森智能科技有限公司 | 智能机器人主动服务系统 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107563312A (zh) * | 2017-08-17 | 2018-01-09 | 南昌航空大学 | 人脸表情识别方法 |
| CN109426653A (zh) * | 2017-08-27 | 2019-03-05 | 南京乐朋电子科技有限公司 | 心理咨询机器人 |
| CN107808146A (zh) * | 2017-11-17 | 2018-03-16 | 北京师范大学 | 一种多模态情感识别分类方法 |
| CN107798318A (zh) * | 2017-12-05 | 2018-03-13 | 四川文理学院 | 一种机器人识别面部快乐微表情的方法及其装置 |
| CN108407759A (zh) * | 2018-05-21 | 2018-08-17 | 辽宁工业大学 | 基于人脸识别的汽车智能启动模块及启动方法 |
| CN108877840A (zh) * | 2018-06-29 | 2018-11-23 | 重庆柚瓣家科技有限公司 | 基于非线性特征的情绪识别方法及系统 |
| CN109784154A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技（深圳）有限公司 | 基于深度神经网络的情绪识别方法、装置、设备及介质 |
| CN109583431A (zh) * | 2019-01-02 | 2019-04-05 | 上海极链网络科技有限公司 | 一种人脸情绪识别模型、方法及其电子装置 |
| CN109858553A (zh) * | 2019-01-31 | 2019-06-07 | 深圳市赛梅斯凯科技有限公司 | 驾驶状态的监测模型更新方法、更新装置及存储介质 |
| CN109993093A (zh) * | 2019-03-25 | 2019-07-09 | 山东大学 | 基于面部和呼吸特征的路怒监测方法、系统、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李强: "基于视频的微表情检测与识别技术研究", 《中国优秀硕士论文全文数据库（_李强）》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326780A (zh) * | 2021-05-31 | 2021-08-31 | 合肥工业大学 | 基于数据可靠性评价的非接触式负性心境检测方法和装置 |
| CN113326780B (zh) * | 2021-05-31 | 2022-08-19 | 合肥工业大学 | 基于数据可靠性评价的非接触式负性心境检测方法和装置 |
| CN116030960A (zh) * | 2022-12-22 | 2023-04-28 | 中国人民解放军海军特色医学中心 | 一种基于人脸识别技术的生理心理指标分析系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349667B (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
| CN109298779A (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
| CN111046823A (zh) | 基于课堂视频的学生课堂参与度分析系统 | |
| CN111326253A (zh) | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 | |
| CN109919079A (zh) | 用于检测学习状态的方法和装置 | |
| CN112163518B (zh) | 情绪监测的情绪建模方法及情绪监测调节系统 | |
| CN111598451B (zh) | 基于任务执行能力的操控工效分析方法、设备及系统 | |
| KR101689021B1 (ko) | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 | |
| CN113837153B (zh) | 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统 | |
| CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
| Wei et al. | Real-time facial expression recognition for affective computing based on Kinect | |
| CN113694343A (zh) | 一种基于vr技术的沉浸式抗压力心理训练系统及方法 | |
| CN111930238B (zh) | 基于动态ssvep范式的脑机接口系统实现方法及装置 | |
| CN114209324A (zh) | 基于图像视觉认知的心理测评数据获取方法及vr系统 | |
| CN110693508A (zh) | 多通道协同的心理生理主动感知方法及服务机器人 | |
| CN117438048B (zh) | 一种精神科患者用心理障碍测评方法及系统 | |
| CN113974589B (zh) | 多模态行为范式评估优化系统及认知能力评价方法 | |
| CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
| CN113764099A (zh) | 基于人工智能的心理状态分析方法、装置、设备及介质 | |
| CN113288144A (zh) | 一种基于情绪引导的情绪状态显示终端及方法 | |
| CN115857595B (zh) | 基于用户心境的功能环境调节方法、系统和装置 | |
| CN116665281A (zh) | 一种基于医患交互的关键情绪提取方法 | |
| CN110781719A (zh) | 非接触式与接触式协同的心理状态智能监测系统 | |
| CN112932508B (zh) | 一种基于手臂肌电网络的手指活动识别系统 | |
| CN114742090A (zh) | 一种基于精神疲劳监测的驾驶舱人机交互系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200117 |
|
| RJ01 | Rejection of invention patent application after publication |