CN109242014B - 一种基于多源微特征的深度神经网络心理语义标注方法 - Google Patents

一种基于多源微特征的深度神经网络心理语义标注方法 Download PDF

Info

Publication number
CN109242014B
CN109242014B CN201810992220.5A CN201810992220A CN109242014B CN 109242014 B CN109242014 B CN 109242014B CN 201810992220 A CN201810992220 A CN 201810992220A CN 109242014 B CN109242014 B CN 109242014B
Authority
CN
China
Prior art keywords
micro
features
psychological
expression
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810992220.5A
Other languages
English (en)
Other versions
CN109242014A (zh
Inventor
关庆阳
童心
毕连城
靳跃
苏展锋
周国林
鞠明刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Contain Electronic Technology Co ltd
Original Assignee
Shenyang Contain Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Contain Electronic Technology Co ltd filed Critical Shenyang Contain Electronic Technology Co ltd
Priority to CN201810992220.5A priority Critical patent/CN109242014B/zh
Publication of CN109242014A publication Critical patent/CN109242014A/zh
Application granted granted Critical
Publication of CN109242014B publication Critical patent/CN109242014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于多源微特征的深度神经网络心理语义标注方法，根据获生理微特征、语音微特征进而建立微表情坐标系与单维度的线性转换关系；同时考虑到微表情对心理表达的崎变现象，通过先验的心理标注库对畸变校正。根据多维度微特征的心理映射，建立多微特征之间的验证关系，进而构建数据特征的空间融合模型。通过建立深度神经网络，将多特征进行融合，为实时获取心理特征的决策提供准确、可靠依据。获得实时心理特征，从而完成实时心理语义标注。为实时获取心理特征的决策提供准确、可靠依据。

Description

一种基于多源微特征的深度神经网络心理语义标注方法
技术领域
本发明涉及多源微特征领域，具体说是一种基于多源微特征的深度神经网络心理语义标注方法。
背景技术
心理语义是通过表情特征，皮肤电特征，呼吸特征，血压特征，呼吸特征以及声音特征等多特征的变换，形成具有统一维度的特征空间，进而通过建立深度神经网络，将多特征进行融合，为实时获取心理特征的决策提供准确、可靠依据。当审讯遇到困难时，可以借助心理语义读取的方法，进行辅助判读心理活动，为审讯员提供参考性的定向提问。
发明内容
本法的目的是提供一种准确的基于多源微特征的深度神经网络心理语义标注方法。
本发明解决上述技术问题所采用的技术方案是：
一、采集生理微特征，将生理微特征与微表情特征的互相校验，形成统一指向，通过深度学习方法统一贴签处理；
二、采集语音微特征，将语音微特征与微表情特征的互相校验，形成统一指向，通过深度学习方法统一贴签处理；
三、将生理微特征和语音微特征整合校验后得到微表情特征；
四、将微表情特征与特征验证库进行比对判断，排除非微表情特征；
五、特征验证库将验证后微表情特征的进行特征融合；
六、特征融合通过深度神经网络重构完成多源特征融合；
七、完成特征融合进行心理语义标注，为实时获取心理特征的决策提供准确、可靠依据。
本发明的优点是：
本发明获取微表情特征，皮肤电特征，呼吸特征，血压特征及声音特征，根据深度学习网络的信息融合算法，将多特征进行融合，为实时获取心理特征的决策提供准确、可靠依据。
附图说明
图1是多源微特征数据融合逻辑单元连接图。
图2是基于深度神经网络的融合决策。
具体实施方式
下面将结合附图及实施例对本发明作进一步说明。
一种基于多源微特征的深度神经网络心理语义标注方法，包括，
一、采集生理微特征101，将生理微特征101与微表情特征的互相校验，形成统一指向，通过深度学习方法统一贴签处理；
二、采集语音微特征102，将语音微特征102与微表情特征的互相校验，形成统一指向，通过深度学习方法统一贴签处理；
三、将生理微特征101和语音微特征102整合校验后得到微表情特征103；
四、将微表情特征103与特征验证库105进行比对判断，排除非微表情特征；
五、特征验证库105将验证后微表情特征的进行特征融合106；
六、特征融合106通过深度神经网络重构104完成多源特征融合；
七、完成特征融合106进行心理语义标注107，为实时获取心理特征108的决策提供准确、可靠依据。
深度神经网络重构104完成多源特征融合的技术内容在本申请人同日提交的另外一份专利文件中公开。
生理微特征是通过手环采集的心跳次数、血压数值。皮肤电，心电。
语音微特征是声音采集器采集的在不同情绪下的声纹特征；
微表情是高清摄像头采集的面部表现的情感组合；如喜、怒、哀、乐、悲、惊恐等特征。
特征融合完成实时心理的融合分析及标注，进而建立微表情坐标系与单维度的线性转换关系；同时考虑到微表情对心理表达的崎变现象，通过先验的心理标注库对畸变校正；根据多维度微特征的心理映射，建立多微特征之间的验证关系，进而构建数据特征的空间融合模型；以生理微特征为基准，采用多线程同步程序设计方式，构建多生理微特征数据融合，并且通过心理标注数据库模型校正；进而利用微表情及声音微特征融合模型计算出在特征空间上的投影点，同时将投影点中建立包含心理标注的感兴趣区域；利用深度神经网络在感兴趣区域内进行搜索完成实时心理语义标注。
如附图1中一种基于多源微特征的深度神经网络心理语义标注单元连接图。
图2所示基于深度学习算法的融合决策网络；301为深度学习综合处理网络，通过前端表情特征305，皮肤电特征304，呼吸特征303，血压特征302，及声音特征306的综合提取，融合，完成信息的深度决策。前端数据特征接口通过深度学习网络301进行判决及共享。

Claims (4)

1.一种基于多源微特征的深度神经网络心理语义标注方法，其特征在于：
一、采集生理微特征，将生理微特征与微表情特征进行互相校验，形成统一指向，通过深度学习方法统一贴签处理；
二、采集语音微特征，将语音微特征与微表情特征进行互相校验，形成统一指向，通过深度学习方法统一贴签处理；
三、将生理微特征和语音微特征整合校验后得到微表情特征；
四、将微表情特征与特征验证库进行比对判断，排除非微表情特征；
五、特征验证库将验证后的微表情特征进行特征融合；
六、特征融合通过深度神经网络重构完成多源特征融合；
七、完成特征融合后进行心理语义标注，为实时获取心理特征的决策提供准确、可靠依据；
特征融合完成实时心理的融合分析及标注，进而建立微表情坐标系与单维度的线性转换关系；同时考虑到微表情对心理表达的崎变现象，通过先验的心理标注库对畸变校正；根据多维度微特征的心理映射，建立多微特征之间的验证关系，进而构建数据特征的空间融合模型；以生理微特征为基准，采用多线程同步程序设计方式，构建多生理微特征数据融合，并且通过心理标注数据库模型校正；进而利用微表情及声音微特征融合模型计算出在特征空间上的投影点，同时在投影点中建立包含心理标注的感兴趣区域；利用深度神经网络在感兴趣区域内进行搜索完成实时心理语义标注。
2.根据权利要求1所述的一种基于多源微特征的深度神经网络心理语义标注方法，其特征在于：
生理微特征是通过手环采集的心跳次数、血压数值。
3.根据权利要求1所述的一种基于多源微特征的深度神经网络心理语义标注方法，其特征在于：
语音微特征是声音采集器采集的在不同情绪下的声纹特征。
4.根据权利要求1所述的一种基于多源微特征的深度神经网络心理语义标注方法，其特征在于：
微表情是高清摄像头采集的面部表现的情感组合。
CN201810992220.5A 2018-08-29 2018-08-29 一种基于多源微特征的深度神经网络心理语义标注方法 Active CN109242014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810992220.5A CN109242014B (zh) 2018-08-29 2018-08-29 一种基于多源微特征的深度神经网络心理语义标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810992220.5A CN109242014B (zh) 2018-08-29 2018-08-29 一种基于多源微特征的深度神经网络心理语义标注方法

Publications (2)

Publication Number Publication Date
CN109242014A CN109242014A (zh) 2019-01-18
CN109242014B true CN109242014B (zh) 2021-10-22

Family

ID=65069369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810992220.5A Active CN109242014B (zh) 2018-08-29 2018-08-29 一种基于多源微特征的深度神经网络心理语义标注方法

Country Status (1)

Country Link
CN (1) CN109242014B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930877A (zh) * 2016-05-31 2016-09-07 上海海洋大学 一种基于多模态深度学习的遥感影像分类方法
CN106599305A (zh) * 2016-12-29 2017-04-26 中南大学 一种基于众包的异构媒体语义融合方法
CN107609572A (zh) * 2017-08-15 2018-01-19 中国科学院自动化研究所 基于神经网络和迁移学习的多模态情感识别方法、系统
CN107799165A (zh) * 2017-09-18 2018-03-13 华南理工大学 一种基于虚拟现实技术的心理评估方法
CN107798318A (zh) * 2017-12-05 2018-03-13 四川文理学院 一种机器人识别面部快乐微表情的方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160306870A1 (en) * 2015-04-14 2016-10-20 Algoscent System and method for capture, classification and dimensioning of micro-expression temporal dynamic data into personal expression-relevant profile

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930877A (zh) * 2016-05-31 2016-09-07 上海海洋大学 一种基于多模态深度学习的遥感影像分类方法
CN106599305A (zh) * 2016-12-29 2017-04-26 中南大学 一种基于众包的异构媒体语义融合方法
CN107609572A (zh) * 2017-08-15 2018-01-19 中国科学院自动化研究所 基于神经网络和迁移学习的多模态情感识别方法、系统
CN107799165A (zh) * 2017-09-18 2018-03-13 华南理工大学 一种基于虚拟现实技术的心理评估方法
CN107798318A (zh) * 2017-12-05 2018-03-13 四川文理学院 一种机器人识别面部快乐微表情的方法及其装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Fusion of facial expressions and EEG for implicit affective tagging;Sander Koelstra et al.;《Image and Vision Computing》;20131231;第31卷;全文 *
利用GPU加速人工智能新型计算模式;朱健;《计算机与网络》;20160131;第42卷(第2期);第18-19页 *
基于语音信号与心电信号的多模态情感识别;黄程韦等;《东南大学学报》;20100930;第40卷(第5期);第895-900页 *
融合多特征的深度学习标注方法;黄冬梅等;《计算机工程与应用》;20180131;第54卷(第1期);第224-228页 *

Also Published As

Publication number Publication date
CN109242014A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN108776788B (zh) 一种基于脑电波的识别方法
CN108805087B (zh) 基于多模态情绪识别系统的时序语义融合关联判断子系统
Rozgić et al. Robust EEG emotion classification using segment level decision fusion
Chou et al. Every rating matters: Joint learning of subjective labels and individual annotators for speech emotion classification
CN112932502B (zh) 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN110781945A (zh) 一种融合多种特征的脑电信号情感识别方法及系统
CN108446601A (zh) 一种基于动静特征融合的人脸识别方法
Gopalan et al. Facial expression recognition using geometric landmark points and convolutional neural networks
Choi et al. Multimodal attention network for continuous-time emotion recognition using video and EEG signals
CN111259804A (zh) 一种基于图卷积的多模态融合手语识别系统及方法
CN111407243A (zh) 一种基于深度学习的脉搏信号压力识别方法
Rabhi et al. Biometric personal identification system using the ECG signal
CN101561881B (zh) 人体非程式化运动的情感识别方法
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
CN115064246A (zh) 一种基于多模态信息融合的抑郁症评估系统及设备
CN111967354A (zh) 基于肢体和微表情的多模态特征的抑郁倾向识别方法
CN113392781A (zh) 一种基于图神经网络的视频情感语义分析方法
CN113392918A (zh) 一种基于多源信息融合的抑郁障碍相关因素识别方法
Ley et al. Evaluating Methods for Emotion Recognition based on Facial and Vocal Features.
Chen et al. Design and implementation of human-computer interaction systems based on transfer support vector machine and EEG signal for depression patients’ emotion recognition
CN109242014B (zh) 一种基于多源微特征的深度神经网络心理语义标注方法
CN118197592A (zh) 一种基于数据扩充的多模态心律失常分类辅助诊断系统
Wan et al. Research on Identification Algorithm Based on ECG Signal and Improved Convolutional Neural Network
Kuznetsov et al. Facial Expressions Analysis for Applications in the Study of Sign Language.
KR102548970B1 (ko) 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant