CN110516593A - 一种情绪预测装置、情绪预测方法及显示装置 - Google Patents
一种情绪预测装置、情绪预测方法及显示装置 Download PDFInfo
- Publication number
- CN110516593A CN110516593A CN201910796728.2A CN201910796728A CN110516593A CN 110516593 A CN110516593 A CN 110516593A CN 201910796728 A CN201910796728 A CN 201910796728A CN 110516593 A CN110516593 A CN 110516593A
- Authority
- CN
- China
- Prior art keywords
- mood
- submodule
- image
- voice
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002996 emotional effect Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000036651 mood Effects 0.000 claims abstract description 250
- 230000001815 facial effect Effects 0.000 claims abstract description 105
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 230000008451 emotion Effects 0.000 claims abstract description 32
- 230000003001 depressive effect Effects 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 31
- 230000009467 reduction Effects 0.000 claims description 26
- 238000010422 painting Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 5
- 238000009432 framing Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000007935 neutral effect Effects 0.000 description 7
- 230000002542 deteriorative effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000020401 Depressive disease Diseases 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000003054 hormonal effect Effects 0.000 description 1
- 231100000508 hormonal effect Toxicity 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种情绪预测装置、情绪预测方法及显示装置，涉及电子设备技术领域。本发明通过图像采集模块采集待检测图像，人脸检测模块检测待检测图像是否包含人脸图像，当待检测图像包含人脸图像时，提取待检测图像中的人脸图像，表情识别模块根据人脸图像识别用户的表情情绪，通过语音采集模块采集语音信号，语音识别模块根据语音信号识别用户的语音情绪，情绪预测模块根据预设时间段内的表情情绪和语音情绪，预测用户的情绪状态。通过识别用户的表情情绪和语音情绪，对用户在预设时间段内的表情情绪和语音情绪进行统计，以实现对用户情绪的预测，可以在一定程度上尽早预测到抑郁情绪，以便及时采取相应措施来缓解抑郁情绪。
Description
技术领域
本发明涉及电子设备技术领域，特别是涉及一种情绪预测装置、情绪预测方法及显示装置。
背景技术
随着经济技术的不断发展，生活节奏日益加快，导致人们的压力越来越大，越来越多的人产生诸多心理方面的障碍或疾病，如抑郁症等。
目前，青少年是抑郁症的高发群体，由于青少年正处于青春发育期，体内的激素水平变化较大，受激素影响，情绪往往变化较大，且由于青少年要经历人生中多个重大抉择和转折，如中考、高考、参加工作等，诸多社会、生活的变化也会导致情绪上的波动，这些因素均会导致青少年容易产生抑郁，甚至患上抑郁症。
而大部分家长往往忙于工作，难以及时发现孩子的情绪状态，使得孩子在长时间处于抑郁状态下，会恶化成抑郁症。
发明内容
本发明提供一种情绪预测装置、情绪预测方法及显示装置，以解决目前难以及时发现孩子的情绪状态的问题。
为了解决上述问题，本发明公开了一种情绪预测装置，包括：图像采集模块、人脸检测模块、表情识别模块、语音采集模块、语音识别模块和情绪预测模块；
所述图像采集模块，被配置为采集待检测图像；
所述人脸检测模块，被配置为检测所述待检测图像是否包含人脸图像，以及当所述待检测图像包含人脸图像时，提取所述待检测图像中的人脸图像；
所述表情识别模块，被配置为根据所述人脸图像识别用户的表情情绪；
所述语音采集模块，被配置为采集语音信号；
所述语音识别模块，被配置为根据所述语音信号识别所述用户的语音情绪；
所述情绪预测模块，被配置为根据预设时间段内的表情情绪和语音情绪，预测所述用户的情绪状态。
可选地，所述人脸检测模块包括灰度化子模块、人脸检测子模块和人脸提取子模块；
所述灰度化子模块，被配置为将所述待检测图像转化为灰度图像；
所述人脸检测子模块，被配置为利用预设的人脸检测模型，检测所述灰度图像是否包含人脸图像；
所述人脸提取子模块，被配置为当所述灰度图像包含人脸图像时，提取所述灰度图像中的人脸图像。
可选地，所述表情识别模块包括图像处理子模块、表情特征提取子模块、降维子模块和表情识别子模块；
所述图像处理子模块，被配置为对所述人脸图像进行归一化处理和直方图均衡化处理，得到处理后的人脸图像；
所述表情特征提取子模块，被配置为提取所述处理后的人脸图像中的表情特征；
所述降维子模块，被配置为对所述表情特征进行降维处理，得到降维后的表情特征；
所述表情识别子模块，被配置为利用预设的表情识别模型，根据所述降维后的表情特征识别用户的表情情绪。
可选地，所述语音识别模块包括模数转化子模块、噪声滤波子模块、信号处理子模块、语音特征提取子模块和语音识别子模块；
所述模数转化子模块，被配置为将所述语音信号转化为数字信号；
所述噪声滤波子模块，被配置为对所述数字信号进行滤波，得到滤波后的数字信号；
所述信号处理子模块，被配置为对所述滤波后的数字信号进行预加重和加窗分帧处理，得到处理后的数字信号；
所述语音特征提取子模块，被配置为提取所述处理后的数字信号中的语音特征；
所述语音识别子模块，被配置为利用预设的语音识别模型，根据所述语音特征识别所述用户的语音情绪。
可选地，所述情绪预测模块包括表情情绪计算子模块、语音情绪计算子模块、情绪值计算子模块和情绪预测子模块；
所述表情情绪计算子模块，被配置为将预设时间段内每种表情情绪出现的次数以及对应的表情情绪分值的乘积和，除以所述预设时间段内所有表情情绪出现的次数，得到表情情绪值；
所述语音情绪计算子模块，被配置为将预设时间段内每种语音情绪出现的次数以及对应的语音情绪分值的乘积和，除以所述预设时间段内所有语音情绪出现的次数，得到语音情绪值；
所述情绪值计算子模块，被配置为对所述表情情绪值和所述语音情绪值进行加权求和，得到情绪结果；
所述情绪预测子模块，被配置为根据所述情绪结果所在的情绪范围，预测所述用户的情绪状态。
可选地，所述装置还包括通信模块；
所述通信模块，被配置为将所述用户的情绪状态发送至指定终端。
可选地，所述装置还包括画作推送模块；
所述画作推送模块，被配置为当所述用户的情绪状态为抑郁情绪时，从服务器中获取具有指定情绪标签的画作，并在显示屏上显示所述具有指定情绪标签的画作。
可选地，所述装置还包括采集周期调节模块；
所述采集周期调节模块，被配置为根据所述人脸检测模块的检测结果调节所述图像采集模块的采集周期。
为了解决上述问题，本发明还公开了一种情绪预测方法，包括：
采集待检测图像；
检测所述待检测图像是否包含人脸图像；
当所述待检测图像包含人脸图像时，提取所述待检测图像中的人脸图像；
根据所述人脸图像识别用户的表情情绪；
采集语音信号；
根据所述语音信号识别所述用户的语音情绪；
根据预设时间段内的表情情绪和语音情绪，预测所述用户的情绪状态。
为了解决上述问题，本发明还公开了一种显示装置，包括上述的情绪预测装置。
与现有技术相比，本发明包括以下优点：
通过图像采集模块采集待检测图像，人脸检测模块检测待检测图像是否包含人脸图像，当待检测图像包含人脸图像时，提取待检测图像中的人脸图像，表情识别模块根据人脸图像识别用户的表情情绪，通过语音采集模块采集语音信号，语音识别模块根据语音信号识别用户的语音情绪，情绪预测模块根据预设时间段内的表情情绪和语音情绪，预测用户的情绪状态。通过图像采集模块、人脸检测模块和表情识别模块识别用户的表情情绪，通过语音采集模块和语音识别模块识别用户的语音情绪，对用户在预设时间段内的表情情绪和语音情绪进行统计，以实现对用户情绪的预测，可以在一定程度上尽早预测到抑郁情绪，以便及时采取相应措施来缓解抑郁情绪，防止抑郁情绪进一步恶化。
附图说明
图1示出了本发明实施例的一种情绪预测装置的结构示意图；
图2示出了本发明实施例的另一种情绪预测装置的结构示意图；
图3示出了本发明实施例对待检测图像进行检测的流程图；
图4示出了本发明实施例根据人脸图像识别用户的表情情绪的流程图；
图5示出了本发明实施例根据语音信号识别用户的语音情绪的流程图；
图6示出了本发明实施例的再一种情绪预测装置的结构示意图；
图7示出了本发明实施例的一种情绪预测方法的流程图；
图8示出了本发明实施例的显示装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
参照图1，示出了本发明实施例的一种情绪预测装置的结构示意图。
本发明实施例提供了一种情绪预测装置，包括：图像采集模块11、人脸检测模块12、表情识别模块13、语音采集模块14、语音识别模块15和情绪预测模块16；
其中，图像采集模块11，被配置为采集待检测图像；人脸检测模块12，被配置为检测待检测图像是否包含人脸图像，以及当待检测图像包含人脸图像时，提取待检测图像中的人脸图像；表情识别模块13，被配置为根据人脸图像识别用户的表情情绪；语音采集模块14，被配置为采集语音信号；语音识别模块15，被配置为根据语音信号识别用户的语音情绪；情绪预测模块16，被配置为根据预设时间段内的表情情绪和语音情绪，预测用户的情绪状态。
在实际应用中，图像采集模块11可以为摄像头，其是周期性的采集待检测图像，并将采集的待检测图像发送至人脸检测模块12；人脸检测模块12接收图像采集模块11发送的待检测图像，检测待检测图像是否包含人脸图像，当待检测图像包含人脸图像时，提取待检测图像中的人脸图像，当待检测图像不包含人脸图像时，丢弃该待检测图像。
然后，人脸检测模块12将人脸图像发送至表情识别模块13，表情识别模块13接收人脸检测模块12发送的人脸图像，根据人脸图像识别用户的表情情绪，表情情绪可以包括：高兴、惊讶、中性、愤怒、恐惧、厌恶和悲伤等。
在实际应用中，语音采集模块14可以为麦克风阵列，以预设频率实时采集语音信号，并将语音信号发送至语音识别模块15，语音识别模块15接收语音采集模块14发送的语音信号，根据语音信号识别用户的语音情绪，语音情绪可以包括：高兴、惊吓、中性、愤怒和悲伤等，预设频率可以为8KHz。
表情识别模块13将识别到的用户的表情情绪发送至情绪预测模块16，语音识别模块15将识别到的用户的语音情绪也发送至情绪预测模块16，情绪预测模块16接收表情识别模块13发送的表情情绪以及语音识别模块15发送的语音情绪，统计预设时间段内的表情情绪和语音情绪，预测用户的情绪状态。其中，预设时间段可以人为设定，如预设时间段为一周或一个月等。
通过图像采集模块11、人脸检测模块12和表情识别模块13识别用户的表情情绪，通过语音采集模块14和语音识别模块15识别用户的语音情绪，对用户在预设时间段内的表情情绪和语音情绪进行统计，以实现对用户情绪的预测，可以在一定程度上尽早预测到抑郁情绪，以便及时采取相应措施来缓解抑郁情绪，防止抑郁情绪进一步恶化。
参照图2，示出了本发明实施例的另一种情绪预测装置的结构示意图。
具体的，人脸检测模块12包括灰度化子模块121、人脸检测子模块122和人脸提取子模块123；灰度化子模块121，被配置为将待检测图像转化为灰度图像，人脸检测子模块122，被配置为利用预设的人脸检测模型，检测灰度图像是否包含人脸图像；人脸提取子模块123，被配置为当灰度图像包含人脸图像时，提取灰度图像中的人脸图像。
图像采集模块11采集到待检测图像之后，将待检测图像发送至人脸检测模块12中的灰度化子模块121，由于待检测图像通常为彩色图像，如图3所示，灰度化子模块121对待检测图像进行预处理，执行步骤31，将待检测图像转化为灰度图像，然后，灰度化子模块121将灰度图像发送至人脸检测模块12中的人脸检测子模块122，预先训练有人脸检测模型，人脸检测子模块122调用并加载人脸检测模型，并将灰度图像输入至预设的人脸检测模型中，即执行步骤32，利用预设的人脸检测模型，检测灰度图像是否包含人脸图像，当灰度图像包含人脸图像时，人脸检测子模块122将检测的结果发送至人脸检测模块12中的人脸提取子模块123，人脸提取子模块123执行步骤33，提取灰度图像中的人脸图像，当灰度图像不包含人脸图像时，执行步骤34，丢弃灰度图像。
需要说明的是，人脸检测模型实际上为Haar分类器，通过获取样本图像，将样本图像输入到初始人脸模型中，具体的，是提取样本图像的Haar特征(即矩形特征)，利用adaboost算法对样本图像的Haar特征进行计算，得到初始人脸模型的输出结果，将输出结果与样本图像的实际结果进行比较，以修正初始人脸模型中的参数，直至得到的输出结果与样本图像的实际结果的差值在预设范围内，最终训练得到人脸检测模型，将人脸检测模型存储在情绪预测装置中。
如图2所示，表情识别模块13包括图像处理子模块131、表情特征提取子模块132、降维子模块133和表情识别子模块134；图像处理子模块131，被配置为对人脸图像进行归一化处理和直方图均衡化处理，得到处理后的人脸图像；表情特征提取子模块132，被配置为提取处理后的人脸图像中的表情特征；降维子模块133，被配置为对表情特征进行降维处理，得到降维后的表情特征；表情识别子模块134，被配置为利用预设的表情识别模型，根据降维后的表情特征识别用户的表情情绪。
人脸提取子模块123提取灰度图像中的人脸图像之后，将人脸图像发送至表情识别模块13中的图像处理子模块131，如图4所示，图像处理子模块131执行步骤41，对人脸图像进行归一化处理和直方图均衡化处理，得到处理后的人脸图像，具体的，归一化处理是将人脸图像的灰度值从0～255变为0～1之间，可以将人脸图像中的每个像素的灰度值分别除以255，得到归一化后的人脸图像，直方图均衡化处理是将归一化后的人脸图像的灰度直方图从比较集中的某灰度区域变成在全部灰度范围内的均匀分布，以增强人脸图像局部的对比度而不影响整体的对比度，进而得到处理后的人脸图像，以便后续对处理后的人脸图像中的表情特征进行提取。
然后，图像处理子模块131将处理后的人脸图像发送至表情识别模块13中的表情特征提取子模块132，表情特征提取子模块132实际上可以为Gabor滤波器，表情特征提取子模块132执行步骤42，提取处理后的人脸图像中的表情特征，将表情特征发送至表情识别模块13中的降维子模块133；降维子模块133接着执行步骤43，对表情特征进行降维处理，得到降维后的表情特征，具体的，降维子模块133是采用PCA(PrincipalComponentAnalysis，主成分分析)对表情特征进行降维处理，PCA是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题，也就是从多维的表情特征中投影到较低维度的表情特征，以实现对表情特征进行降维处理。
最后，降维子模块133将降维后的表情特征发送至表情识别模块13中的表情识别子模块134，表情识别子模块134执行步骤44，利用预设的表情识别模型，根据降维后的表情特征识别用户的表情情绪，具体的，是将降维后的表情特征输入到预设的表情识别模型中，输出用户的表情情绪。
需要说明的是，通过对JAFFE表情数据库、CK+表情数据库中的人脸表情样本图像以及自行拍摄的人脸表情样本图像，依次进行归一化处理、直方图处理、表情特征提取和降维处理后，得到样本表情特征，执行步骤45，通过对样本表情特征训练得到表情识别模型，具体的，是根据样本表情特征以及人脸表情样本图像的实际表情情绪训练得到表情识别模型，表情识别模型实际上包括k(k-1)/2个SVM(Support Vector Machine，支持向量机)分类器，k为表情情绪的种类，SVM分类器实际上是一个二分类器，每个SVM分类器都可以区分两种不同的表情情绪，通过训练得到k(k-1)/2个SVM分类器，使得任意两个表情情绪都可以通过表情识别模型区分开，本发明实施例中的表情情绪包括：高兴、惊讶、中性、愤怒、恐惧、厌恶和悲伤，因此，可将k设置为7。
具体的，表情识别子模块134包括表情特征输入单元和表情识别单元；表情特征输入单元，被配置为将降维后的表情特征输入到预设的表情识别模型中，输出多个表情结果；表情识别单元，被配置为将多个表情结果中数量最多且属于同一表情情绪的表情结果作为用户的表情情绪。
在实际应用中，将降维后的表情特征输入到预设的表情识别模型中，各个SVM分类器都会输出一个表情结果，因此，共有k(k-1)/2个表情结果，统计k(k-1)/2个表情结果中属于同一表情情绪的表情结果的数量，将数量最多且属于同一表情情绪的表情结果作为用户的表情情绪。
例如，输出的表情结果的数量为21个，统计得到其中属于高兴的表情结果的数量为8个，属于中性的表情结果的数量为6个，属于悲伤的表情结果的数量为4个，属于愤怒的表情结果的数量为3个，则用户的表情情绪为高兴。
如图2所示，语音识别模块15包括模数转化子模块151、噪声滤波子模块152、信号处理子模块153、语音特征提取子模块154和语音识别子模块155；模数转化子模块151，被配置为将语音信号转化为数字信号；噪声滤波子模块152，被配置为对数字信号进行滤波，得到滤波后的数字信号；信号处理子模块153，被配置为对滤波后的数字信号进行预加重和加窗分帧处理，得到处理后的数字信号；语音特征提取子模块154，被配置为提取处理后的数字信号中的语音特征；语音识别子模块155，被配置为利用预设的语音识别模型，根据语音特征识别用户的语音情绪。
语音采集模块14采集到语音信号之后，将语音信号发送至语音识别模块15中的模数转化子模块151，由于语音信号是模拟信号，如图5所示，模数转化子模块151执行步骤51，将语音信号转化为数字信号，将数字信号发送至语音识别模块15中的噪声滤波子模块152；噪声滤波子模块152执行步骤52，对数字信号进行滤波，去除环境中的噪声，得到滤波后的数字信号，将滤波后的数字信号发送至语音识别模块15中的信号处理子模块153；信号处理子模块153执行步骤53，对滤波后的数字信号进行预加重和加窗分帧处理，得到处理后的数字信号，预加重处理指的是通过一个一阶有限激励响应高通滤波器，使处理后的数字信号的频谱变得平坦，不易受到有限字长效应的影响，加窗分帧处理指的是根据语音信号的短时平稳特性，对预加重后的数字信号以帧为单位，采用哈明窗对一帧信号加窗，以减小吉布斯效应的影响，然后将处理后的数字信号发送至语音识别模块15中的语音特征提取子模块154；语音特征提取子模块154执行步骤54，提取处理后的数字信号中的语音特征，将语音特征发送至语音识别模块15中的语音识别子模块155；语音识别子模块155执行步骤55，利用预设的语音识别模型，根据语音特征识别用户的语音情绪，具体的，是将语音特征输入到预设的语音识别模型中，输出用户的语音情绪。
需要说明的是，获取CASIA汉语情感语料库中的样本语音信号，提取样本语音信号中的样本语音特征，执行步骤56，通过对样本语音特征训练得到语音识别模型，具体的，是根据样本语音特征以及样本语音信号实际表达的语音情绪训练得到语音识别模型，语音识别模型实际上包括r(r-1)/2个语音分类器，r为语音情绪的种类，语音分类器实际上是一个二分类器，每个语音分类器都可以区分两种不同的语音情绪，通过训练得到r(r-1)/2个语音分类器，使得任意两个语音情绪都可以通过语音识别模型区分开，本发明实施例中的语音情绪包括：高兴、惊吓、中性、愤怒和悲伤，因此，可将r设置为5。
具体的，语音识别子模块155包括语音特征输入单元和语音识别单元；语音特征输入单元，被配置为将语音特征输入到预设的语音识别模型中，输出多个语音结果；语音识别单元，被配置为将多个语音结果中数量最多且属于同一语音情绪的语音结果作为用户的语音情绪。
在实际应用中，将语音特征输入到预设的语音识别模型中，各个语音分类器都会输出一个语音结果，因此，共有r(r-1)/2个语音结果，统计r(r-1)/2个语音结果中属于同一语音情绪的语音结果的数量，将数量最多且属于同一语音情绪的语音结果作为用户的语音情绪。
如图2所示，情绪预测模块16包括表情情绪计算子模块161、语音情绪计算子模块162、情绪值计算子模块163和情绪预测子模块164；表情情绪计算子模块161，被配置为将预设时间段内每种表情情绪出现的次数以及对应的表情情绪分值的乘积和，除以预设时间段内所有表情情绪出现的次数，得到表情情绪值；语音情绪计算子模块162，被配置为将预设时间段内每种语音情绪出现的次数以及对应的语音情绪分值的乘积和，除以预设时间段内所有语音情绪出现的次数，得到语音情绪值；情绪值计算子模块163，被配置为对表情情绪值和语音情绪值进行加权求和，得到情绪结果；情绪预测子模块164，被配置为根据情绪结果所在的情绪范围，预测用户的情绪状态。
根据医学领域相关的论文设置每种表情情绪的表情情绪分值以及每种语音情绪的语音情绪分值，可将表达同一种情绪的表情情绪分值和语音情绪分值设置成相同，由于抑郁情绪或抑郁症主要会导致患者闷闷不乐、悲痛欲绝、悲观厌世，部分病例会产生明显的焦虑，情绪越不好，对应的情绪分值越高，因此，可得到如下表一所示的表情情绪分值对照表和如表二所示的语音情绪分值对照表：
| 表情情绪 | 高兴 | 惊讶 | 中性 | 愤怒 | 恐惧 | 厌恶 | 悲伤 |
| 表情情绪分值 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
表一
| 语音情绪 | 高兴 | 惊讶 | 中性 | 愤怒 | 悲伤 |
| 语音情绪分值 | 1 | 2 | 3 | 4 | 7 |
表二
统计预设时间段内每种表情情绪出现的次数，将每种表情情绪出现的次数以及对应的表情情绪分值相乘，再将各种表情情绪的乘积相加，即可得到预设时间段内每种表情情绪出现的次数以及对应的表情情绪分值的乘积和，然后，将乘积和除以预设时间段内所有表情情绪出现的次数，得到表情情绪值，即：
其中，n表示预设时间段内所有表情情绪出现的次数，ak表示每种表情情绪对应的表情情绪分值，nk表示预设时间段内每种表情情绪出现的次数，k为预设时间段内出现的表情情绪的种类，S1表示表情情绪值。
相应的，统计预设时间段内每种语音情绪出现的次数，将每种语音情绪出现的次数以及对应的语音情绪分值相乘，再将各种语音情绪的乘积相加，即可得到预设时间段内每种语音情绪出现的次数以及对应的语音情绪分值的乘积和，然后，将乘积和除以预设时间段内所有语音情绪出现的次数，得到语音情绪值，即：
其中，m表示预设时间段内所有语音情绪出现的次数，br表示每种语音情绪对应的语音情绪分值，mr表示预设时间段内每种语音情绪出现的次数，r为预设时间段内出现的语音情绪的种类，S2表示语音情绪值。
接着将表情情绪值与第一权重的乘积，加上语音情绪值与第二权重的乘积，也就是对表情情绪值和语音情绪值进行加权求和，得到情绪结果，即：
S＝C×S1+D×S2
其中，S表示情绪结果，C表示第一权重，D表示第二权重，第一权重与第二权重可人为设定，例如，可将C和D均设置成0.5。
将用户的情绪状态L分为3个等级，L1表示抑郁情绪，L2表示情绪不好，L3表示情绪正常，即：
例如，当计算得到上一周内的情绪结果S为6，其位于L1等级所在的情绪范围内，则预测用户本周的情绪状态为抑郁情绪。
统计预设时间段内的表情情绪和语音情绪，为表情情绪和语音情绪分别进行打分，综合计算用户的情绪结果，基于情绪结果判断用户是否有抑郁情绪和抑郁情绪的严重程度，当情绪结果的值越大时，用户的情绪越不好。
参照图6，示出了本发明实施例的再一种情绪预测装置的结构示意图。
在图1的基础上，情绪预测装置还包括通信模块17；通信模块17，被配置为将用户的情绪状态发送至指定终端。
在情绪预测装置中设置通信模块17，通信模块17实际上可以为WIFI(WirelessFidelity，无线保真)模块，通信模块17通过网络将用户的情绪状态发送至指定终端，指定终端可以是家长或医生的移动终端，以便家长或医生可以监控用户的情绪状态，尽早发现用户的抑郁情绪以尽早治疗。
如图6所示，情绪预测装置还包括画作推送模块18；画作推送模块18，被配置为当用户的情绪状态为抑郁情绪时，从服务器中获取具有指定情绪标签的画作，并在显示屏上显示具有指定情绪标签的画作。
在服务器中存储有多幅画作，每幅画作都设定有情绪标签，当预测到用户的情绪状态为抑郁情绪时，从服务器中获取具有指定情绪标签的画作，指定情绪标签可以是治愈系情绪标签，对应的画作为内容阳光、色彩温暖的画作，并在显示屏上显示该具有指定情绪标签的画作，使得用户可以观察到具有指定情绪标签的画作，以缓解用户的情绪。
在本发明实施例中，情绪预测装置还包括采集周期调节模块；采集周期调节模块，被配置为根据人脸检测模块12的检测结果调节图像采集模块11的采集周期。
图像采集模块11采集到待检测图像后，将待检测图像发送至人脸检测模块12，通过人脸检测模块12检测待检测图像是否包含人脸图像。
需要说明的是，图像采集模块11的采集周期分为长周期和短周期，且图像采集模块11的采集周期是根据人脸检测模块12的检测结果进行调节，当人脸检测模块12检测到待检测图像包括人脸图像时，将图像采集模块11的采集周期设置为短周期，当一定时间段内人脸检测模块12均未检测到人脸图像时，将图像采集模块11的采集周期从短周期切换为长周期，从而可达到节省内存资源和电能的效果。
其中，长周期、短周期和一定时间段的具体数值可人为设定或根据经验设定。例如，长周期可以设置为10s，短周期可以设置为2s，一定时间段可以设置为20s，也就是说，当人脸检测模块12检测到待检测图像包括人脸图像时，将图像采集模块11的采集周期设置为2s，即每间隔2s图像采集模块11就采集一张待检测图像并发送给人脸检测模块12，当20s内人脸检测模块12均未检测到人脸图像时，将图像采集模块11的采集周期从2s设置为10s，此时，每间隔10s图像采集模块11才采集一张待检测图像。
在本发明实施例中，通过图像采集模块采集待检测图像，人脸检测模块检测待检测图像是否包含人脸图像，当待检测图像包含人脸图像时，提取待检测图像中的人脸图像，表情识别模块根据人脸图像识别用户的表情情绪，通过语音采集模块采集语音信号，语音识别模块根据语音信号识别用户的语音情绪，情绪预测模块根据预设时间段内的表情情绪和语音情绪，预测用户的情绪状态。通过图像采集模块、人脸检测模块和表情识别模块识别用户的表情情绪，通过语音采集模块和语音识别模块识别用户的语音情绪，对用户在预设时间段内的表情情绪和语音情绪进行统计，以实现对用户情绪的预测，可以在一定程度上尽早预测到抑郁情绪，以便及时采取相应措施来缓解抑郁情绪，防止抑郁情绪进一步恶化。
实施例二
参照图7，示出了本发明实施例的一种情绪预测方法的流程图，具体可以包括如下步骤：
步骤701，采集待检测图像。
在本发明实施例中，通过图像采集模块11采集待检测图像，并发送至人脸检测模块12，图像采集模块11可以为摄像头。
步骤702，检测所述待检测图像是否包含人脸图像。
在本发明实施例中，通过人脸检测模块12检测待检测图像是否包含人脸图像，具体的，是先通过人脸检测模块12中的灰度化子模块121将待检测图像转化为灰度图像，然后，通过人脸检测模块12中的人脸检测子模块122利用预设的人脸检测模型，检测灰度图像是否包含人脸图像。
步骤703，当所述待检测图像包含人脸图像时，提取所述待检测图像中的人脸图像。
在本发明实施例中，当检测到待检测图像包含人脸图像时，通过人脸检测模块12提取待检测图像中的人脸图像，将人脸图像发送至表情识别模块13，具体的，是通过人脸检测模块12中的人脸提取子模块123提取人脸图像。
当检测到待检测图像不包含人脸图像时，丢弃待检测图像。
步骤704，根据所述人脸图像识别用户的表情情绪。
在本发明实施例中，表情识别模块13根据人脸图像识别用户的表情情绪，具体的，是先通过表情识别模块13中的图像处理子模块131对人脸图像进行归一化处理和直方图均衡化处理，得到处理后的人脸图像，然后，通过表情识别模块13中的表情特征提取子模块132提取处理后的人脸图像中的表情特征，接着，通过表情识别模块13中的降维子模块133对表情特征进行降维处理，得到降维后的表情特征，最后，通过表情识别模块13中的表情识别子模块134利用预设的表情识别模型，根据降维后的表情特征识别用户的表情情绪。
步骤705，采集语音信号。
在本发明实施例中，通过语音采集模块14为采集语音信号，并发送至语音识别模块15，语音采集模块14可以为麦克风阵列。
步骤706，根据所述语音信号识别所述用户的语音情绪。
在本发明实施例中，语音识别模块15根据语音信号识别用户的语音情绪，具体的，是先通过语音识别模块15中的模数转化子模块151将语音信号转化为数字信号，通过语音识别模块15中的噪声滤波子模块152对数字信号进行滤波，得到滤波后的数字信号，然后，通过语音识别模块15中的信号处理子模块153对滤波后的数字信号进行预加重和加窗分帧处理，得到处理后的数字信号，接着，通过语音识别模块15中的语音特征提取子模块154提取处理后的数字信号中的语音特征，最后，通过语音识别模块15中的语音识别子模块155利用预设的语音识别模型，根据语音特征识别用户的语音情绪。
步骤707，根据预设时间段内的表情情绪和语音情绪，预测所述用户的情绪状态。
在本发明实施例中，情绪预测模块16统计预设时间段内的表情情绪和语音情绪，根据预设时间段内的表情情绪和语音情绪，预测用户的情绪状态。
在本发明实施例中，通过采集待检测图像，检测待检测图像是否包含人脸图像，当待检测图像包含人脸图像时，提取待检测图像中的人脸图像，根据人脸图像识别用户的表情情绪，采集语音信号，根据语音信号识别用户的语音情绪，根据预设时间段内的表情情绪和语音情绪，预测用户的情绪状态。通过识别用户的表情情绪和语音情绪，对用户在预设时间段内的表情情绪和语音情绪进行统计，以实现对用户情绪的预测，可以在一定程度上尽早预测到抑郁情绪，以便及时采取相应措施来缓解抑郁情绪，防止抑郁情绪进一步恶化
实施例三
参照图8，示出了本发明实施例的显示装置的结构示意图。
本发明实施例提供了一种显示装置80，包括上述的情绪预测装置。
其中，图像采集模块11可以是外接的摄像头，其与显示装置80通过外接线路连接，如图8所示，图像采集模块11也可以是嵌入到显示装置80中的摄像头。
81为显示装置80的显示屏，情绪预测装置中的画作推送模块18从服务器中获取具有指定情绪标签的画作之后，可控制显示屏81显示具有指定情绪标签的画作。
显示装置80中的通信模块17可以通过网络将用户的情绪状态发送至家长和医生的移动终端，家长的移动终端和医生的移动终端也可以通过网络进行连接。
实际上，目前的显示装置80通常具有语音功能模块82，本发明实施例中的语音采集模块14和语音功能模块82是两个可以区分的语音模块，语音采集模块14用于采集语音信号以识别用户的语音情绪，语音功能模块82由用户控制，当用户开启语音功能模块82时，用户可以使用语音功能模块82执行相应的功能，如语音通话、语音输入文字等，当用户关闭语音功能模块82时，则用户无法使用语音功能模块82执行相应的功能。语音采集模块14和语音功能模块82可以集成在一个麦克风阵列中并通过程序进行区分，如图8所示，音采集模块14和语音功能模块82也可以分别设置一个麦克风阵列进行区分，以保证语音采集模块14可以实时采集语音信号以识别用户的语音情绪，且不影响显示装置的语音功能模块82的正常使用。
显示装置80实际上可以是一个作画设备，显示屏81实际上可以为具有触控和显示功能的画屏，当然，显示装置80还可以是手机、平板电脑、可穿戴设置等其他具有显示功能的设备。
此外，关于情绪预测装置的具体描述可以参照实施例一的描述，本发明实施例对此不再赘述。
在本发明实施例中，通过图像采集模块、人脸检测模块和表情识别模块识别用户的表情情绪，通过语音采集模块和语音识别模块识别用户的语音情绪，对用户在预设时间段内的表情情绪和语音情绪进行统计，以实现对用户情绪的预测，可以在一定程度上尽早预测到抑郁情绪，以便及时采取相应措施来缓解抑郁情绪，防止抑郁情绪进一步恶化。
对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种情绪预测装置、情绪预测方法及显示装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种情绪预测装置，其特征在于，包括：图像采集模块、人脸检测模块、表情识别模块、语音采集模块、语音识别模块和情绪预测模块；
所述图像采集模块，被配置为采集待检测图像；
所述人脸检测模块，被配置为检测所述待检测图像是否包含人脸图像，以及当所述待检测图像包含人脸图像时，提取所述待检测图像中的人脸图像；
所述表情识别模块，被配置为根据所述人脸图像识别用户的表情情绪；
所述语音采集模块，被配置为采集语音信号；
所述语音识别模块，被配置为根据所述语音信号识别所述用户的语音情绪；
所述情绪预测模块，被配置为根据预设时间段内的表情情绪和语音情绪，预测所述用户的情绪状态。
2.根据权利要求1所述的装置，其特征在于，所述人脸检测模块包括灰度化子模块、人脸检测子模块和人脸提取子模块；
所述灰度化子模块，被配置为将所述待检测图像转化为灰度图像；
所述人脸检测子模块，被配置为利用预设的人脸检测模型，检测所述灰度图像是否包含人脸图像；
所述人脸提取子模块，被配置为当所述灰度图像包含人脸图像时，提取所述灰度图像中的人脸图像。
3.根据权利要求1所述的装置，其特征在于，所述表情识别模块包括图像处理子模块、表情特征提取子模块、降维子模块和表情识别子模块；
所述图像处理子模块，被配置为对所述人脸图像进行归一化处理和直方图均衡化处理，得到处理后的人脸图像；
所述表情特征提取子模块，被配置为提取所述处理后的人脸图像中的表情特征；
所述降维子模块，被配置为对所述表情特征进行降维处理，得到降维后的表情特征；
所述表情识别子模块，被配置为利用预设的表情识别模型，根据所述降维后的表情特征识别用户的表情情绪。
4.根据权利要求1所述的装置，其特征在于，所述语音识别模块包括模数转化子模块、噪声滤波子模块、信号处理子模块、语音特征提取子模块和语音识别子模块；
所述模数转化子模块，被配置为将所述语音信号转化为数字信号；
所述噪声滤波子模块，被配置为对所述数字信号进行滤波，得到滤波后的数字信号；
所述信号处理子模块，被配置为对所述滤波后的数字信号进行预加重和加窗分帧处理，得到处理后的数字信号；
所述语音特征提取子模块，被配置为提取所述处理后的数字信号中的语音特征；
所述语音识别子模块，被配置为利用预设的语音识别模型，根据所述语音特征识别所述用户的语音情绪。
5.根据权利要求1所述的装置，其特征在于，所述情绪预测模块包括表情情绪计算子模块、语音情绪计算子模块、情绪值计算子模块和情绪预测子模块；
所述表情情绪计算子模块，被配置为将预设时间段内每种表情情绪出现的次数以及对应的表情情绪分值的乘积和，除以所述预设时间段内所有表情情绪出现的次数，得到表情情绪值；
所述语音情绪计算子模块，被配置为将预设时间段内每种语音情绪出现的次数以及对应的语音情绪分值的乘积和，除以所述预设时间段内所有语音情绪出现的次数，得到语音情绪值；
所述情绪值计算子模块，被配置为对所述表情情绪值和所述语音情绪值进行加权求和，得到情绪结果；
所述情绪预测子模块，被配置为根据所述情绪结果所在的情绪范围，预测所述用户的情绪状态。
6.根据权利要求1所述的装置，其特征在于，所述装置还包括通信模块；
所述通信模块，被配置为将所述用户的情绪状态发送至指定终端。
7.根据权利要求1所述的装置，其特征在于，所述装置还包括画作推送模块；
所述画作推送模块，被配置为当所述用户的情绪状态为抑郁情绪时，从服务器中获取具有指定情绪标签的画作，并在显示屏上显示所述具有指定情绪标签的画作。
8.根据权利要求1所述的装置，其特征在于，所述装置还包括采集周期调节模块；
所述采集周期调节模块，被配置为根据所述人脸检测模块的检测结果调节所述图像采集模块的采集周期。
9.一种情绪预测方法，其特征在于，包括：
采集待检测图像；
检测所述待检测图像是否包含人脸图像；
当所述待检测图像包含人脸图像时，提取所述待检测图像中的人脸图像；
根据所述人脸图像识别用户的表情情绪；
采集语音信号；
根据所述语音信号识别所述用户的语音情绪；
根据预设时间段内的表情情绪和语音情绪，预测所述用户的情绪状态。
10.一种显示装置，其特征在于，包括如权利要求1-8中任一项所述的情绪预测装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910796728.2A CN110516593A (zh) | 2019-08-27 | 2019-08-27 | 一种情绪预测装置、情绪预测方法及显示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910796728.2A CN110516593A (zh) | 2019-08-27 | 2019-08-27 | 一种情绪预测装置、情绪预测方法及显示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110516593A true CN110516593A (zh) | 2019-11-29 |
Family
ID=68628211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910796728.2A Pending CN110516593A (zh) | 2019-08-27 | 2019-08-27 | 一种情绪预测装置、情绪预测方法及显示装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110516593A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111557671A (zh) * | 2020-05-06 | 2020-08-21 | 上海电机学院 | 一种基于面部表情识别的青少年焦虑和抑郁诊断算法 |
| CN112668833A (zh) * | 2020-11-26 | 2021-04-16 | 平安普惠企业管理有限公司 | 基于人工智能的员工工作安排方法、装置、设备及介质 |
| CN113331840A (zh) * | 2021-06-01 | 2021-09-03 | 上海觉觉健康科技有限公司 | 一种抑郁情绪脑电波信号识别系统及方法 |
| CN113517064A (zh) * | 2021-04-14 | 2021-10-19 | 华南师范大学 | 一种抑郁症程度评估方法、系统、装置及存储介质 |
| CN114420256A (zh) * | 2022-03-30 | 2022-04-29 | 山东师范大学 | 基于文本与图像识别的抑郁症检测系统 |
| CN114639149A (zh) * | 2022-03-18 | 2022-06-17 | 杭州慧田科技有限公司 | 具有情绪识别功能的病床终端 |
| CN116504206A (zh) * | 2023-03-18 | 2023-07-28 | 深圳市狼视天下科技有限公司 | 一种识别环境并生成音乐的摄像头 |
| US11954443B1 (en) | 2021-06-03 | 2024-04-09 | Wells Fargo Bank, N.A. | Complaint prioritization using deep learning model |
| US12008579B1 (en) | 2021-08-09 | 2024-06-11 | Wells Fargo Bank, N.A. | Fraud detection using emotion-based deep learning model |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930298A (zh) * | 2012-09-02 | 2013-02-13 | 北京理工大学 | 基于多层增强hmm的语音-视觉融合的情感识别方法 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107705808A (zh) * | 2017-11-20 | 2018-02-16 | 合光正锦（盘锦）机器人技术有限公司 | 一种基于面部特征与语音特征的情绪识别方法 |
| CN108564007A (zh) * | 2018-03-27 | 2018-09-21 | 深圳市智能机器人研究院 | 一种基于表情识别的情绪识别方法和装置 |
-
2019
- 2019-08-27 CN CN201910796728.2A patent/CN110516593A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930298A (zh) * | 2012-09-02 | 2013-02-13 | 北京理工大学 | 基于多层增强hmm的语音-视觉融合的情感识别方法 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107705808A (zh) * | 2017-11-20 | 2018-02-16 | 合光正锦（盘锦）机器人技术有限公司 | 一种基于面部特征与语音特征的情绪识别方法 |
| CN108564007A (zh) * | 2018-03-27 | 2018-09-21 | 深圳市智能机器人研究院 | 一种基于表情识别的情绪识别方法和装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111557671A (zh) * | 2020-05-06 | 2020-08-21 | 上海电机学院 | 一种基于面部表情识别的青少年焦虑和抑郁诊断算法 |
| CN112668833A (zh) * | 2020-11-26 | 2021-04-16 | 平安普惠企业管理有限公司 | 基于人工智能的员工工作安排方法、装置、设备及介质 |
| CN113517064A (zh) * | 2021-04-14 | 2021-10-19 | 华南师范大学 | 一种抑郁症程度评估方法、系统、装置及存储介质 |
| CN113331840A (zh) * | 2021-06-01 | 2021-09-03 | 上海觉觉健康科技有限公司 | 一种抑郁情绪脑电波信号识别系统及方法 |
| US11954443B1 (en) | 2021-06-03 | 2024-04-09 | Wells Fargo Bank, N.A. | Complaint prioritization using deep learning model |
| US12008579B1 (en) | 2021-08-09 | 2024-06-11 | Wells Fargo Bank, N.A. | Fraud detection using emotion-based deep learning model |
| CN114639149A (zh) * | 2022-03-18 | 2022-06-17 | 杭州慧田科技有限公司 | 具有情绪识别功能的病床终端 |
| CN114639149B (zh) * | 2022-03-18 | 2023-04-07 | 杭州慧田科技有限公司 | 具有情绪识别功能的病床终端 |
| CN114420256A (zh) * | 2022-03-30 | 2022-04-29 | 山东师范大学 | 基于文本与图像识别的抑郁症检测系统 |
| CN116504206A (zh) * | 2023-03-18 | 2023-07-28 | 深圳市狼视天下科技有限公司 | 一种识别环境并生成音乐的摄像头 |
| CN116504206B (zh) * | 2023-03-18 | 2024-02-20 | 深圳市狼视天下科技有限公司 | 一种识别环境并生成音乐的摄像头 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110516593A (zh) | 一种情绪预测装置、情绪预测方法及显示装置 | |
| CN107633207B (zh) | Au特征识别方法、装置及存储介质 | |
| CN111523462B (zh) | 基于自注意增强cnn的视频序列表情识别系统及方法 | |
| CN110033756B (zh) | 语种识别方法、装置、电子设备及存储介质 | |
| CN108960182A (zh) | 一种基于深度学习的p300事件相关电位分类识别方法 | |
| CN111954250B (zh) | 一种轻量级Wi-Fi行为感知方法和系统 | |
| CN109658921B (zh) | 一种语音信号处理方法、设备及计算机可读存储介质 | |
| Anand et al. | An improved local binary patterns histograms techniques for face recognition for real time application | |
| CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
| CN108256579A (zh) | 一种基于先验知识的多模态民族认同感量化测量方法 | |
| CN110188610A (zh) | 一种基于深度学习的情绪强度估计方法及系统 | |
| Dhivyasri et al. | An efficient approach for interpretation of Indian sign language using machine learning | |
| Kumar et al. | A deep spatio-temporal model for EEG-based imagined speech recognition | |
| CN107944363A (zh) | 人脸图像处理方法、系统及服务器 | |
| CN110717407A (zh) | 基于唇语密码的人脸识别方法、装置及存储介质 | |
| Yadahalli et al. | Facial micro expression detection using deep learning architecture | |
| Sunil et al. | Facial emotion recognition using a modified deep convolutional neural network based on the concatenation of xception and resnet50 v2 | |
| Marjusalinah et al. | Classification of finger spelling American sign language using convolutional neural network | |
| Oz et al. | Efficacy of biophysiological measurements at FTFPs for facial expression classification: A validation | |
| CN111507124A (zh) | 基于深度学习的非接触式视频测谎方法及系统 | |
| Kalinli et al. | A top-down auditory attention model for learning task dependent influences on prominence detection in speech | |
| CN114742107A (zh) | 信息服务中的感知信号的识别方法及相关设备 | |
| Kumar et al. | Emotion recognition using anatomical information in facial expressions | |
| CN114881668A (zh) | 一种基于多模态的欺骗检测方法 | |
| Gamage et al. | Academic depression detection using behavioral aspects for Sri Lankan university students |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210524 Address after: Room 2305, luguyuyuan venture building, 27 Wenxuan Road, high tech Development Zone, Changsha City, Hunan Province, 410005 Applicant after: BOE Yiyun Technology Co.,Ltd. Address before: 100015 No. 10, Jiuxianqiao Road, Beijing, Chaoyang District Applicant before: BOE TECHNOLOGY GROUP Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |
|
| RJ01 | Rejection of invention patent application after publication |