CN112561474B - 一种基于多源数据融合的智能人格特性评价方法 - Google Patents
一种基于多源数据融合的智能人格特性评价方法 Download PDFInfo
- Publication number
- CN112561474B CN112561474B CN202011468425.7A CN202011468425A CN112561474B CN 112561474 B CN112561474 B CN 112561474B CN 202011468425 A CN202011468425 A CN 202011468425A CN 112561474 B CN112561474 B CN 112561474B
- Authority
- CN
- China
- Prior art keywords
- vocabulary
- speech
- output
- user
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 35
- 238000011156 evaluation Methods 0.000 title claims abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 64
- 238000012163 sequencing technique Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000013518 transcription Methods 0.000 claims description 10
- 230000035897 transcription Effects 0.000 claims description 10
- 230000009849 deactivation Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract 1
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
- G06Q10/1053—Employment or hiring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Operations Research (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Game Theory and Decision Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于多源数据融合的智能人格特性评价方法,步骤包括:收集网络用户的演讲视频数据;将演讲视频数据转成演讲文本;进行用户人格特性标注;对获取到的演讲文本进行词频统计并排序;对于每种人格特性,心理专业人员将筛选出最能代表该特性的关键词,形成关键词表;对演讲文本进行处理并形成词嵌入向量特征;将词嵌入向量特征输入到多源数据融合模型中进行融合,最终输出人格特性预测结果。由于结合了专业人员的先验知识,本发明提出的智能人格特性评价方法有较好的可解释性,能在小样本上取得更加准确的预测结果,对演讲用户的人格特性进行自动预测。
Description
技术领域
本发明涉及自然语言处理技术领域,具体涉及一种基于多源数据融合的智能人格特性评价方法。
背景技术
互联网技术不断发展,为了提升公司人才流入的效率,越来越多的企业会在招聘过程中对面试者的人格特性进行测试,以判断该面试者是否符合岗位胜任要求。数字化时代,学习力、适应性、创造性是人才的核心竞争力。然而,这些品质很多都被认为是“无形的资产”,只能依靠面试官长期积累的测评经验进行捕捉。此外,心理学研究发现,人格特性能够通过人的语言进行分析和判断,因为人格特性影响着一个人的行为举止,比如人际过于敏感的人与他人相处时常常会感到焦虑与不适,而宜人合群的人与他人相处时会更多的使用积极用语。此背景为智能人格特性研究提供了可能。
随着人工智能技术的蓬勃发展以及计算机算力的提高,尤其是基于自然语言处理相关的深度学习技术的发展,使得计算机在机器翻译、自动问答、信息抽取等方面均得到显著突破。其中特定的网络结构,比如循环神经网络,可以很好地对文本进行表征建模,因此许多研究者开始研究智能人格特性评价问题。目前主流的智能人格特性评价算法几乎都需要使用大规模精标数据集进行训练,构建代价昂贵,比如有的研究者使用线性回归模型或者支持向量机对人格特性进行预测。此外,目前的方法可解释性较差,面试官无法得知算法背后的计算原理,即对于企业来说,很难确认智能人格特性评价工具的有效性。
发明内容
本发明的目的是为了解决现有技术中智能人格特性评价方法的不足,提供一种基于多源数据融合的智能人格特性评价方法。该方法结合了心理专业人员的先验知识,通过关键词匹配,更准确地对人格特性进行预测。
本发明的目的可以通过采取如下技术方案达到:
一种基于多源数据融合的智能人格特性评价方法,该方法包括以下步骤:
S1、收集网络用户的演讲视频数据;
S2、将步骤S1中获得的演讲视频数据进行语音转写,转写为演讲文本;
S3、根据演讲文本,心理专业人员对该用户的人格特性进行打分;
S4、对步骤S2中获得的演讲文本进行词汇切分,通过词频排序操作,统计不同词汇出现的次数以及概率;
S5、心理专业人员对步骤S4中词频排序后的词汇进行关键词筛选,筛选出最能分别代表不同人格特性的关键词,形成关键词表;
S6、对步骤S2的演讲文本进行预处理,并使用基于词嵌入的特征提取操作,形成词嵌入向量特征;
S7、将步骤S6中获得的词嵌入向量特征以及步骤S5中获得的关键词表输入到多源数据融合模型,输出归一化的人格特性得分;
S8、将步骤S7中输出的归一化的人格特性得分乘上一个缩放因子,最终输出用户的人格特性得分。
进一步地,在所述步骤S1中,首先批量邀请用户登录网络平台,用户需要针对网络平台给定的题目进行演讲,网络平台将保存用户的演讲视频数据。
进一步地,在所述步骤S2中,使用自动语音识别技术将演讲视频数据进行语音转写,转写为演讲文本,设F=(f1,f2,...,fn,...,fk-1,fk)为所有用户的演讲视频数据进行语音转写后的集合,其中k为总的演讲用户个数,fn为第n个用户转写后的演讲文本,演讲文本集合F供后续关键词筛选以及模型训练时使用。
进一步地,在所述步骤S3中,邀请3位心理专业人员,根据用户的演讲文本,心理专业人员对用户的r项人格特性进行打分,将3位心理专业人员的打分取均值作为该用户的人格特性得分,设第n个用户的人格特性打分结果为Sn=(sn,1,sn,2,...,sn,m,...,sn,r-1,sn,r),其中sn,m为该用户的第m项人格特性得分。
进一步地,在所述步骤S4中,将步骤S2中获得的演讲文本进行词汇切分,由于fn为步骤S2中获得第n个用户转写后的演讲文本,因此将fn进行词汇切分操作后获得的词汇集合设为Wn=(wn,1,wn,2,...,wn,j,...,wn,c-1,wn,c),其中c为fn进行词汇切分后的总词汇数,wn,j为fn进行词汇切分后的第j个词汇,以此类推对演讲文本集合F进行操作,将获得所有演讲文本的切分集合G=(W1,W2,...,Wn,...,Wk-1,Wk),对切分集合G进行词频统计操作,统计不同词汇出现的次数以及概率,并对词频进行排序。
进一步地,在所述步骤S5中,心理专业人员从步骤S4中获得的经过词频排序后的词汇当中筛选出最能分别代表不同人格特性的关键词,形成关键词表K=(k1,k2,...,km,...,kr-1,kr),其中km代表第m项人格特性的关键词词组,r为步骤S3中设定的人格特性项个数,每个关键词词组共包含c′个关键词,将每个关键词都转为one-hot向量,则km=(km,1,km,2,...,km,c′-1,km,c′)。
进一步地,在所述步骤S6中,对步骤S2的演讲文本进行预处理和词嵌入操作,形成词嵌入向量特征,过程如下:
预处理操作包括词汇切分、去停用词以及文本对齐;词汇切分操作与步骤S4中的相同,对于第n个用户转写后的演讲文本fn,则其进行词汇切分操作后获得的词汇集合为Wn=(wn,1,wn,2,...,wn,j,...,wn,c-1,wn,c);去停用词操作会对词汇集合Wn中的停用词进行过滤,形成过滤后的词汇集合(w′n,1,w′n,2,...,w′n,d-1,w′n,d),其中d为过滤后词汇集合长度,w′n,d为第n个用户去停用词后的词汇集合中的第d个词汇,设T为停用词表,则去停用词操作如下:
文本对齐操作将对不同长度的词汇集合进行对齐,设l为最大集合长度,则词汇集合中,低于最大集合长度l的部分填入0进行扩充,高于最大集合长度l的部分进行截断;第n个用户转写后的演讲文本fn经过上述预处理操作后,获得预处理操作后的词汇集合Qn=(qn,1,qn,2,...,qn,v,...,qn,l-1,qn,l),其中qn,v为Qn中的第v个词汇;
词嵌入操作包括随机初始化词嵌入矩阵以及词向量映射;首先随机初始化一个词嵌入矩阵其中D为词嵌入向量特征的维度,L为词表的大小,词嵌入矩阵将伴随着后续模型一同训练;词向量映射操作首先需要将Qn中的每个词汇转为one-hot向量,再将one-hot向量与词嵌入矩阵相乘,获得词嵌入向量特征Un=(un,1,un,2,...,un,v,...,un,l-1,un,l),设Qn中的每个词汇转都为one-hot向量后,获得的向量集合为Q′n=(q′n,1,q′n,2,...,q′n,v,...,q′n,l-1,q′n,l),其中/>为Q′n中的第v个one-hot向量,对单个one-hot向量q′n,v来说,词嵌入向量的映射规则为un,v=W·q′n,v
进一步地,在所述步骤S7中,将步骤S6中获得的词嵌入特征向量Un=(un,1,un,2,...,un,v,...,un,l-1,un,l)以及步骤S5中获得的关键词表K=(k1,k2,...,km,...,kr-1,kr)输入到多源数据融合模型,输出归一化的人格特性得分Yn=(yn,1,yn,2,...,yn,m,...,yn,r-1,yn,r),其中,所述多源数据融合模型从输入层到输出层之间的连接结构依次为:长短期记忆网络(long short term memory,LSTM)层、关键词匹配层、全连接层、sigmoid函数层;
设当前输入的时间步为t,即输入为词嵌入特征向量un,t,则长短期记忆网络层向前推进一个时间步的计算方法为:
It=σ(Wi′*[hn,t-1,un,t]+bi′),
Ft=σ(Wf′*[hn,t-1,un,t]+bf′),
Ot=σ(Wo′*[hn,t-1,un,t]+bo′),
hn,t=Ot*tanh(Ct),
其中It为输入门,Ft为遗忘门,Ot为输出门,σ为sigmoid函数,为备选记忆细胞,Ct为记忆细胞,hn,t为时间步为t时最终输出的隐向量,Wi′,Wf′,Wc′,Wo′以及bi′,bf′,bc′,bo′为随机初始化参数,LSTM的优点是可以解决文本长距离的依赖问题,并且可以通过记忆细胞保存之前时间步的状态,为了能更好的感知上下文信息,使用前向与后向长短期记忆网络对un,t进行编码,得到前向输出的隐向量与后向输出的隐向量,将前向与后向输出的隐向量进行拼接得到h′n,t,以此类推,Un输入后将输出(h′n,1,h′n,2,...,h′n,l-1,h′n,l),将输出取平均记为h′n,此时h′n即为长短期记忆网络层的输出;
若当前关键词词组为km=(km,1,km,2,...,km,c′-1,km,c′),则关键词匹配层的计算方法为:
u′n,m=match(Un,km),
k′m,i=W*km,i,
其中u′n,m为关键词匹配层的输出向量,z∈[1,l],i∈[1,c′]为索引下标,W为步骤S6中介绍的词嵌入矩阵,max_num操作将取前num个最大的值,match(Un,km)为关键词匹配函数,计算Un与km的匹配得分;
将长短期记忆网络层的输出h′n与关键词匹配层的输出u′n,m做拼接,输入到全连接层以及sigmoid函数层中,计算方法为:
yn,m=σ(Wp*[h′n;u′n,m]+bp),
其中Wp以及bp为随机初始化变量。
进一步地,在所述步骤S8中,将步骤S7中输出的归一化的人格特性得分乘上一个缩放因子C,最终输出用户的人格特性得分:
y′n,m=C*yn,m;
最后,多源数据融合模型的损失函数为:
训练过程中根据损失函数的梯度对多源数据融合模型变量进行迭代,直至相邻两次迭代中loss的变化值小于0.5。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明结合了心理专业人员的先验知识,相比较传统的智能人格特性评价方法,本发明提出的关键词匹配步骤有较好的可解释性,使用本发明可以清晰地得出方法背后的计算原理,实现用户人格特性的自动预测;
(2)本发明方法采用了一种细粒度人格特性的评分机制,结合了长短期记忆网络对用户进行较为完善的人格特性画像评估,能为企业提供良好的决策参考;
(3)本发明提供了一种新的预测用户人格特性的工具,并且多源数据融合模型包含关键词的冷启动步骤,使得多源数据融合模型可以更快收敛,因此能在小样本数据集上取得较好的预测效果,只需较小的数据集构建代价。
附图说明
图1是本发明实施例公开的一种基于多源数据融合的智能人格特性评价方法的流程图;
图2是本发明实施例多源数据融合模型架构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本实施例通过如图1所示的流程进行实现,如图所示,一种基于多源数据融合的智能人格特性评价方法包括以下步骤:
步骤S1的具体实施过程如下:
训练模型需要收集网络用户的演讲视频数据,因此首先批量邀请用户登录网络平台,用户需要针对网络平台给定的题目进行演讲,网络平台将保存用户的演讲视频数据。
步骤S2的具体实施过程如下:
将步骤S1中获得的演讲视频数据进行语音转写,转写为演讲文本。需要使用自动语音识别技术将演讲视频数据进行语音转写,转写为演讲文本,并对转写的文本进行人工校正,设F=(f1,f2,...,fn,...,fk-1,fk)为所有用户的演讲视频数据进行语音转写后的集合,其中k为总的演讲用户个数,fn为第n个用户转写后的演讲文本,演讲文本集合F供后续关键词筛选以及模型训练时使用。
步骤S3的具体实施过程如下:
根据演讲文本,心理专业人员对该用户的人格特性进行打分,具体来说,邀请3位心理专业人员,根据用户的演讲文本,心理专业人员对用户的r项人格特性进行打分,将3位心理专业人员的打分取均值作为该用户的人格特性得分,设第n个用户的人格特性打分结果为Sn=(sn,1,sn,2,...,sn,m,...,sn,r-1,sn,r),其中sn,m为该用户的第m项人格特性得分。
步骤S4的具体实施过程如下:
对步骤S2中获得的演讲文本进行词汇切分,通过词频排序操作,统计不同词汇出现的次数以及概率,由于fn为步骤S2中获得第n个用户转写后的演讲文本,因此将fn进行词汇切分操作后获得的词汇集合设为Wn=(wn,1,wn,2,...,wn,j,...,wn,c-1,wn,c),其中c为fn进行词汇切分后的总词汇数,wn,j为fn进行词汇切分后的第j个词汇,以此类推对演讲文本集合F进行操作,将获得所有演讲文本的切分集合G=(W1,W2,...,Wn,...,Wk-1,Wk),对切分集合G进行词频统计操作,统计不同词汇出现的次数以及概率,并对词频进行排序。
步骤S5的具体实施过程如下:
心理专业人员从步骤S4中获得的经过词频排序后的词汇当中筛选出最能分别代表不同人格特性的关键词,形成关键词表K=(k1,k2,...,km,...,kr-1,kr),其中km代表第m项人格特性的关键词词组,r为步骤S3中设定的人格特性项个数,每个关键词词组共包含c′个关键词,将每个关键词都转为one-hot向量,则km=(km,1,km,2,...,km,c′-1,km,c′)。
步骤S6的具体实施过程如下:
对步骤S2的演讲文本进行预处理和词嵌入操作,形成词嵌入向量特征。
其中预处理操作包括词汇切分、去停用词以及文本对齐;词汇切分操作与步骤S4中的相同,对于第n个用户转写后的演讲文本fn,则其进行词汇切分操作后获得的词汇集合为Wn=(wn,1,wn,2,...,wn,j,...,wn,c-1,wn,c);去停用词操作会对词汇集合Wn中的停用词进行过滤,形成过滤后的词汇集合(w′n,1,w′n,2,...,w′n,d-1,w′n,d)其中d为过滤后词汇集合长度,w′n,d为第n个用户去停用词后的词汇集合中的第d个词汇,设T为停用词表,则去停用词操作如下:
文本对齐操作将对不同长度的词汇集合进行对齐,设l为最大集合长度,则词汇集合中,低于最大集合长度l的部分填入0进行扩充,高于最大集合长度l的部分进行截断;第n个用户转写后的演讲文本fn经过上述预处理操作后,获得预处理操作后的词汇集合Qn=(qn,1,qn,2,...,qn,v,...,qn,l-1,qn,l),其中qn,v为Qn中的第v个词汇;
词嵌入操作包括随机初始化词嵌入矩阵以及词向量映射;首先随机初始化一个词嵌入矩阵其中D为词嵌入向量特征的维度,L为词表的大小,词嵌入矩阵将伴随着后续模型一同训练;词向量映射操作首先需要将Qn中的每个词汇转为one-hot向量,再将one-hot向量与词嵌入矩阵相乘,获得词嵌入向量特征Un=(un,1,un,2,...,un,v,...,un,l-1,un,l),设Qn中的每个词汇转都为one-hot向量后,获得的向量集合为Q′n=(q′n,1,q′n,2,...,q′n,v,...,q′n,l-1,q′n,l),其中/>为Q′n中的第v个one-hot向量,对单个one-hot向量q′n,v来说,词嵌入向量的映射规则为un,v=W·q′n,v。
步骤S7的具体实施过程如下:
将步骤S6中获得的词嵌入特征向量Un=(un,1,un,2,...,un,v,...,un,l-1,un,l)以及步骤S5中获得的关键词表K=(k1,k2,...,km,...,kr-1,kr)输入到如图2所示的多源数据融合模型中,输出归一化的人格特性得分Yn=(yn,1,yn,2,...,yn,m,...,yn,r-1,yn,r),其中,所述多源数据融合模型从输入层到输出层之间的连接结构依次为:长短期记忆网络(longshort term memory,LSTM)层、关键词匹配层、全连接层、sigmoid函数层;
设当前输入的时间步为t,即输入为词嵌入特征向量un,t,则长短期记忆网络层向前推进一个时间步的计算方法为:
It=σ(Wi′*[hn,t-1,un,t]+bi′),
Ft=σ(Wf′*[hn,t-1,un,t]+bf′),
Ot=σ(Wo′*[hn,t-1,un,t]+bo′),
hn,t=Ot*tanh(Ct),
其中It为输入门,Ft为遗忘门,Ot为输出门,σ为sigmoid函数,为备选记忆细胞,Ct为记忆细胞,hn,t为时间步为t时最终输出的隐向量,Wi′,Wf′,Wc′,Wo′以及bi′,bf′,bc′,bo′为随机初始化参数,LSTM的优点是可以解决文本长距离的依赖问题,并且可以通过记忆细胞保存之前时间步的状态,为了能更好的感知上下文信息,使用前向与后向长短期记忆网络对un,t进行编码,得到前向输出的隐向量与后向输出的隐向量,将前向与后向输出的隐向量进行拼接得到h′n,t,以此类推,Un输入后将输出(h′n,1,h′n,2,...,h′n,l-1,h′n,l),将输出取平均记为h′n,此时h′n即为长短期记忆网络层的输出;
若当前关键词词组为km=(km,1,km,2,...,km,c′-1,km,c′),则关键词匹配层的计算方法为:
u′n,m=match(Un,km),
k′m,i=W*km,i,
其中u′n,m为关键词匹配层的输出向量,z∈[1,l],i∈[1,c′]为索引下标,W为步骤S6中介绍的词嵌入矩阵,max_num操作将取前num个最大的值,match(Un,km)为关键词匹配函数,计算Un与km的匹配得分;
将长短期记忆网络层的输出h′n与关键词匹配层的输出u′n,m做拼接,输入到全连接层以及sigmoid函数层中,计算方法为:
yn,m=σ(Wp*[h′n;u′n,m]+bp),
其中Wp以及bp为随机初始化变量。
步骤S8的具体实施过程如下:
将步骤S7中输出的归一化的人格特性得分乘上一个缩放因子C,最终输出用户的人格特性得分:
y′n,m=C*yn,m;
最后,多源数据融合模型的损失函数为:
训练过程中根据损失函数的梯度对多源数据融合模型变量进行迭代,直至相邻两次迭代中loss的变化值小于0.5。多源数据融合模型训练完成后,新的用户的演讲文本输入到多源数据融合模型中将对应生成人格特性预测评分。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (7)
1.一种基于多源数据融合的智能人格特性评价方法,其特征在于,所述的智能人格特性评价方法包括以下步骤:
S1、收集网络用户的演讲视频数据;
S2、将步骤S1中获得的演讲视频数据进行语音转写,转写为演讲文本;
S3、根据演讲文本,心理专业人员对该用户的人格特性进行打分;
S4、对步骤S2中获得的演讲文本进行词汇切分,通过词频排序操作,统计不同词汇出现的次数以及概率;
S5、心理专业人员对步骤S4中词频排序后的词汇进行关键词筛选,筛选出最能分别代表不同人格特性的关键词,形成关键词表;
S6、对步骤S2的演讲文本进行预处理,并使用基于词嵌入的特征提取操作,形成词嵌入向量特征,过程如下:
预处理操作包括词汇切分、去停用词以及文本对齐;词汇切分操作与步骤S4中的相同,对于第n个用户转写后的演讲文本fn,则其进行词汇切分操作后获得的词汇集合为Wn=(wn,1,wn,2,...,wn,j,...,wn,c-1,wn,c);去停用词操作会对词汇集合Wn中的停用词进行过滤,形成过滤后的词汇集合(w′n,1,w′n,2,...,w′n,j,...,w′n,d-1,w′n,d),其中d为过滤后词汇集合长度,w′n,d为第n个用户去停用词后的词汇集合中的第d个词汇,设T为停用词表,则去停用词操作如下:
文本对齐操作将对不同长度的词汇集合进行对齐,设l为最大集合长度,则词汇集合中,低于最大集合长度l的部分填入0进行扩充,高于最大集合长度l的部分进行截断;第n个用户转写后的演讲文本fn经过上述预处理操作后,获得预处理操作后的词汇集合Qn=(qn,1,qn,2,...,qn,v,...,qn,l-1,qn,l),其中qn,v为Qn中的第v个词汇;
词嵌入操作包括随机初始化词嵌入矩阵以及词向量映射;首先随机初始化一个词嵌入矩阵其中D为词嵌入向量特征的维度,L为词表的大小;词向量映射操作首先需要将Qn中的每个词汇转为one-hot向量,再将one-hot向量与词嵌入矩阵相乘,获得词嵌入向量特征Un=(un,1,un,2,...,un,v,...,un,l-1,un,l),设Qn中的每个词汇转都为one-hot向量后,获得的向量集合为Q′n=(q′n,1,q′n,2,...,q′n,v,...,q′n,l-1,q′n,k),其中/>为Q′n中的第v个one-hot向量,对单个one-hot向量q′n,v来说,词嵌入向量的映射规则为un,v=W·q′n,v;
S7、将步骤S6中获得的词嵌入特征向量Un=(un,1,un,2,...,un,v,...,un,l-1,un,l)以及步骤S5中获得的关键词表K=(k1,k2,...,km,...,kr-1,kr)输入到多源数据融合模型,输出归一化的人格特性得分Yn=(yn,1,yn,2,...,yn,m,...,yn,r-1,yn,r),其中,所述多源数据融合模型从输入层到输出层之间的连接结构依次为:长短期记忆网络层、关键词匹配层、全连接层、sigmoid函数层;
设当前输入的时间步为t,即输入为词嵌入特征向量un,t,则长短期记忆网络层向前推进一个时间步的计算方法为:
It=σ(Wi,*[hn,t-1,un,t]+bi′),
Ft=σ(Wf′*[hn,t-1,un,t]+bf′),
Ot=σ(Wo′*[hn,t-1,un,t]+bo′),
hn,t=Ot*tanh(Ct),
其中It为输入门,Ft为遗忘门,Ot为输出门,σ为sigmoid函数,为备选记忆细胞,Ct为记忆细胞,hn,t为时间步为t时最终输出的隐向量,Wi′,Wf′,Wc′,Wo′以及bi′,bf′,bc′,bo′为随机初始化参数,使用前向与后向长短期记忆网络对un,t进行编码,得到前向输出的隐向量与后向输出的隐向量,将前向与后向输出的隐向量进行拼接得到h′n,t,以此类推,Un输入后将输出(h′n,1,h′n,2,...,h′n,l-1,h′n,l),将输出取平均记为h′n,此时h′n即为长短期记忆网络层的输出;
若当前关键词词组为km=(km,1,km,2,...,km,c′-1,km,c′),则关键词匹配层的计算方法为:
u′n,m=match(Un,km),
k′m,i=W*km,i,
其中u′n,m为关键词匹配层的输出向量,z∈[1,l],i∈[1,c′]为索引下标,W为步骤S6中介绍的词嵌入矩阵,max_num操作将取前num个最大的值,match(Un,km)为关键词匹配函数,计算Un与km的匹配得分;
将长短期记忆网络层的输出h′n与关键词匹配层的输出u′n,m做拼接,输入到全连接层以及sigmoid函数层中,计算方法为:
yn,m=σ(Wp*[h′n;u′n,m]+bp),
其中Wp以及bp为随机初始化变量;
S8、将步骤S7中输出的归一化的人格特性得分乘上一个缩放因子,最终输出用户的人格特性得分。
2.根据权利要求1所述的一种基于多源数据融合的智能人格特性评价方法,其特征在于,所述步骤S1中,首先批量邀请用户登录网络平台,用户需要针对网络平台给定的题目进行演讲,网络平台将保存用户的演讲视频数据。
3.根据权利要求1所述的一种基于多源数据融合的智能人格特性评价方法,其特征在于,所述步骤S2中,使用自动语音识别技术将演讲视频数据进行语音转写,转写为演讲文本,设F=(f1,f2,...,fn,...,fk-1,fk)为所有用户的演讲视频数据进行语音转写后的集合,其中k为总的演讲用户个数,fn为第n个用户转写后的演讲文本,演讲文本集合F供后续关键词筛选以及模型训练时使用。
4.根据权利要求1所述的一种基于多源数据融合的智能人格特性评价方法,其特征在于,所述步骤S3中,邀请3位心理专业人员,根据用户的演讲文本,心理专业人员对用户的r项人格特性进行打分,将3位心理专业人员的打分取均值作为该用户的人格特性得分,设第n个用户的人格特性打分结果为Sn=(sn,1,sn,2,...,sn,m,...,sn,r-1,sn,r),其中sn,m为第n个用户的第m项人格特性得分。
5.根据权利要求3所述的一种基于多源数据融合的智能人格特性评价方法,其特征在于,所述步骤S4中,将步骤S2中获得的演讲文本进行词汇切分,由于fn为步骤S2中获得第n个用户转写后的演讲文本,因此将fn进行词汇切分操作后获得的词汇集合设为Wn=(wn,1,wn,2,...,wn,j,...,wn,c-1,wn,c),其中c为fn进行词汇切分后的总词汇数,wn,j为fn进行词汇切分后的第j个词汇,以此类推对演讲文本集合F进行操作,将获得所有演讲文本的切分集合G=(W1,W2,...,Wn,...,Wk-1,Wk),对切分集合G进行词频统计操作,统计不同词汇出现的次数以及概率,并对词频进行排序。
6.根据权利要求1所述的一种基于多源数据融合的智能人格特性评价方法,其特征在于,所述步骤S5中,心理专业人员从步骤S4中获得的经过词频排序后的词汇当中筛选出最能分别代表不同人格特性的关键词,形成关键词表K=(k1,k2,...,km,...,kr-1,kr),其中km代表第m项人格特性的关键词词组,r为步骤S3中设定的人格特性项个数,每个关键词词组共包含c′个关键词,将每个关键词都转为one-hot向量,则km=(km,1,km,2,...,km,c′-1,km,c′)。
7.根据权利要求1所述的一种基于多源数据融合的智能人格特性评价方法,其特征在于,所述步骤S8中,将步骤S7中输出的归一化的人格特性得分乘上一个缩放因子C,最终输出用户的人格特性得分:
y′n,m=C*yn,m;
最后,多源数据融合模型的损失函数为:
训练过程中根据损失函数的梯度对多源数据融合模型变量进行迭代,直至相邻两次迭代中loss的变化值小于0.5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011468425.7A CN112561474B (zh) | 2020-12-14 | 2020-12-14 | 一种基于多源数据融合的智能人格特性评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011468425.7A CN112561474B (zh) | 2020-12-14 | 2020-12-14 | 一种基于多源数据融合的智能人格特性评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112561474A CN112561474A (zh) | 2021-03-26 |
CN112561474B true CN112561474B (zh) | 2024-04-30 |
Family
ID=75064574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011468425.7A Active CN112561474B (zh) | 2020-12-14 | 2020-12-14 | 一种基于多源数据融合的智能人格特性评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112561474B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440864A (zh) * | 2013-07-31 | 2013-12-11 | 湖南大学 | 基于语音的人格特征预测方法 |
WO2019085330A1 (zh) * | 2017-11-02 | 2019-05-09 | 平安科技(深圳)有限公司 | 人物性格分析方法、装置及存储介质 |
CN110134771A (zh) * | 2019-04-09 | 2019-08-16 | 广东工业大学 | 一种基于多注意力机制融合网络问答系统的实现方法 |
CN110321440A (zh) * | 2019-06-12 | 2019-10-11 | 汕头大学 | 一种基于情绪状态及情绪变化的人格评估方法及系统 |
WO2020151175A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技(深圳)有限公司 | 文本生成方法、装置、计算机设备及存储介质 |
CN111651593A (zh) * | 2020-05-08 | 2020-09-11 | 河南理工大学 | 基于词向量和字向量混合模型的文本情感分析方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10957306B2 (en) * | 2016-11-16 | 2021-03-23 | International Business Machines Corporation | Predicting personality traits based on text-speech hybrid data |
-
2020
- 2020-12-14 CN CN202011468425.7A patent/CN112561474B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440864A (zh) * | 2013-07-31 | 2013-12-11 | 湖南大学 | 基于语音的人格特征预测方法 |
WO2019085330A1 (zh) * | 2017-11-02 | 2019-05-09 | 平安科技(深圳)有限公司 | 人物性格分析方法、装置及存储介质 |
WO2020151175A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技(深圳)有限公司 | 文本生成方法、装置、计算机设备及存储介质 |
CN110134771A (zh) * | 2019-04-09 | 2019-08-16 | 广东工业大学 | 一种基于多注意力机制融合网络问答系统的实现方法 |
CN110321440A (zh) * | 2019-06-12 | 2019-10-11 | 汕头大学 | 一种基于情绪状态及情绪变化的人格评估方法及系统 |
CN111651593A (zh) * | 2020-05-08 | 2020-09-11 | 河南理工大学 | 基于词向量和字向量混合模型的文本情感分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112561474A (zh) | 2021-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110209836B (zh) | 远程监督关系抽取方法及装置 | |
CN108319666B (zh) | 一种基于多模态舆情分析的供电服务评估方法 | |
CN112712804B (zh) | 语音识别方法、系统、介质、计算机设备、终端及应用 | |
US11210470B2 (en) | Automatic text segmentation based on relevant context | |
CN114694076A (zh) | 基于多任务学习与层叠跨模态融合的多模态情感分析方法 | |
CN115329779B (zh) | 一种多人对话情感识别方法 | |
Liu et al. | A multi-modal chinese poetry generation model | |
Li et al. | Learning fine-grained cross modality excitement for speech emotion recognition | |
CN114492327A (zh) | 一种公文智能写作方法 | |
CN113420543B (zh) | 基于改进Seq2Seq模型的数学试题自动标注方法 | |
CN113282701B (zh) | 作文素材生成方法、装置、电子设备及可读存储介质 | |
CN116049387A (zh) | 一种基于图卷积的短文本分类方法、装置、介质 | |
CN112347269A (zh) | 基于BERT和Att-BiLSTM的论点对识别方法 | |
CN112417132A (zh) | 一种利用谓宾信息筛选负样本的新意图识别方法 | |
Huang et al. | Whole sentence neural language models | |
CN112185361A (zh) | 一种语音识别模型训练方法、装置、电子设备及存储介质 | |
JP6810580B2 (ja) | 言語モデル学習装置およびそのプログラム | |
CN114611520A (zh) | 一种文本摘要生成方法 | |
CN113032559B (zh) | 一种用于低资源黏着性语言文本分类的语言模型微调方法 | |
CN108228779B (zh) | 一种基于学习社区对话流的成绩预测方法 | |
CN112349294B (zh) | 语音处理方法及装置、计算机可读介质、电子设备 | |
CN111159405B (zh) | 基于背景知识的讽刺检测方法 | |
CN112561474B (zh) | 一种基于多源数据融合的智能人格特性评价方法 | |
Bellagha et al. | Using the MGB-2 challenge data for creating a new multimodal Dataset for speaker role recognition in Arabic TV Broadcasts | |
Tailor et al. | Deep learning approach for spoken digit recognition in Gujarati language |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |