CN108491515A - 一种用于校园心理咨询的句对匹配度预测方法 - Google Patents

一种用于校园心理咨询的句对匹配度预测方法 Download PDF

Info

Publication number
CN108491515A
CN108491515A CN201810252354.3A CN201810252354A CN108491515A CN 108491515 A CN108491515 A CN 108491515A CN 201810252354 A CN201810252354 A CN 201810252354A CN 108491515 A CN108491515 A CN 108491515A
Authority
CN
China
Prior art keywords
sentence
word
consulting
category
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810252354.3A
Other languages
English (en)
Other versions
CN108491515B (zh
Inventor
孙广中
谭嘉莉
周英华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201810252354.3A priority Critical patent/CN108491515B/zh
Publication of CN108491515A publication Critical patent/CN108491515A/zh
Application granted granted Critical
Publication of CN108491515B publication Critical patent/CN108491515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于校园心理咨询的句对匹配度预测方法,通过在开放领域中句对匹配度模型的基础上增加一些心理咨询相关的信息,使最终提出来的句对匹配度模型可以较好的应用到心理咨询领域内。此外,除了在词向量的基础上对句子相似度及单词相似度进行建模之外,还利用机器学习模型从句子中提取咨询类别信息以及单词及句子在各咨询类别下的度量信息,这些额外的信息可以帮助指导心理咨询领域内句子匹配度的建模。

Description

一种用于校园心理咨询的句对匹配度预测方法
技术领域
本发明涉及心理咨询及自然语言处理技术领域,尤其涉及一种用于校园心理咨询的句对匹配度预测方法。
背景技术
早期的对话回复多为规则驱动,随着可使用的对话语料的增加,数据驱动的回复方式成为主流。这种回复方式主要分为检索式对话回复及生成式对话回复。很多学者从不同方面尝试提高对话回复的质量,通过最大化互信息提高生成式对话回复的回复相关性与多样性,通过额外的信息来指导句子生成,这些信息包括关键词、主题、情感等。还有学者从对话系统的角度,提高系统的会话质量,如赋予聊天机器人人格,使其在会话中可以保持一致性,通过强化学习,提升对话交互的轮次,让机器人在会话的某些时机主动引导对话。但考虑到生成型回复生成的句子质量上得不到保证,不适合用于心理咨询领域内的对话回复。
在选择型对话回复中,模型会从候选的回复句中选择最合适的句子作为回复,这种方式给出的回复句在质量上可以得到一定的保证。为了选出合适的回复句,需要对句对的匹配度进行建模。通过RNN(循环神经网络)对问句及答句进行编码,将问句答句分别编码成定长向量,作为输入特征进行二分类学习。在计算考虑句子相似度时,不仅从句子层面计算相似度,还从词语的层面进行了相似度计算,综合两个不同粒度上的考量之后,进行句对匹配学习。在利用相似度建模时,使用了句子向量生成过程中产生的隐变量,计算出相似度矩阵,以此作为神经网络的输入,学习到一个定长向量,再将这个向量作为分类模型的输入,学习句对的匹配度;上述方法不直接使用句子向量计算相似度,而使用中间过程中得到的隐变量计算,这使得在进行相似度计算时保留了句子中更多的信息,同时也考虑了句子的不同组成部分带来的不同的相似度。
上述方案所构建的匹配模型称为开放式领域内的句对匹配模型,开放式领域内的句对匹配模型在学习的过程中并没有使用句子与“心理咨询”相关的任何信息。因此,直接将开放式领域内的句对匹配模型用到心理咨询领域是不够的,还需要考虑更多的句子信息。
发明内容
本发明的目的是提供一种用于校园心理咨询的句对匹配度预测方法,通过从领域内语料中提取相关特征,可以从更多角度指导后续建模过程。
本发明的目的是通过以下技术方案实现的:
一种用于校园心理咨询的句对匹配度预测方法,包括:
获取带有咨询标签的咨询语句,并进行预处理后获得相关的语料;计算每一句子中每一单词在各咨询类别下的重要性,从而获得每一句子在所有咨询类别下的重要性向量;利用所有句子在所有咨询类别下的重要性向量作为模型输入,获得咨询类别判断模型;
获取句对,并进行预处理后获得训练语料;计算训练语料中每一组句对中问句与答句的隐层状态序列,从而计算句子层面相似度矩阵、从所有咨询类别下重要性的角度得到的单词层面的相似度矩阵、经过加权之后的单词层面相似度矩阵、以及经过加权之后的单词层面相关度矩阵;再将计算得到的四个矩阵作为卷积神经网络模型的输入,在训练语料上训练出句对匹配模型;
对于新输入的句对,利用咨询类别判断模型与句对匹配模型进行匹配对预测。
由上述本发明提供的技术方案可以看出,通过在开放领域中句对匹配度模型的基础上增加一些心理咨询相关的信息,使最终提出来的句对匹配度模型可以较好的应用到心理咨询领域内。此外,除了在词向量的基础上对句子相似度及单词相似度进行建模之外,还利用机器学习模型从句子中提取咨询类别信息以及单词及句子在各咨询类别下的度量信息,这些额外的信息可以帮助指导心理咨询领域内句子匹配度的建模。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种用于校园心理咨询的句对匹配度预测方法的流程图;
图2为本发明实施例提供的句对匹配模型框架示意图;
图3为本发明实施例提供的语料中某一单词在各类别下出现次数示意图;
图4为本发明实施例提供的一维向量特征示意图;
图5为本发明实施例提供的特征矩阵示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明实施例提供一种用于校园心理咨询的句对匹配度预测方法,如图1所示,其包括:
步骤1、获取带有咨询标签的咨询语句,并进行预处理后获得相关的语料;计算每一句子中每一单词在各咨询类别下的重要性,从而获得每一句子在所有咨询类别下的重要性向量;利用所有句子在所有咨询类别下的重要性向量作为模型输入,获得咨询类别判断模型。
步骤2、获取句对,并进行预处理后获得训练语料;计算训练语料中每一组句对中问句与答句的隐层状态序列,从而计算句子层面相似度矩阵、从所有咨询类别下重要性的角度得到的单词层面的相似度矩阵、经过加权之后的单词层面相似度矩阵、以及经过加权之后的单词层面相关度矩阵;再将计算得到的四个矩阵作为卷积神经网络模型的输入,在训练语料上训练出句对匹配模型。
步骤3、对于新输入的句对,利用咨询类别判断模型与句对匹配模型进行匹配对预测。
本发明实施例上述方案克服了开放领域的对话回复中的句对匹配模型不能直接用于心理咨询领域中进行对话回复的不足,通过从领域内语料中提取相关特征,可以从更多角度指导后续建模过程。学习到一个较好的句子匹配度模型之后,在后续与用户的对话回复中,可以从质量较好的句子集合中选取一个合适的句子作为回复,如选取名人名言、经典句子作为回复。在心理咨询的场景下,这种方式给出的句子质量可以有很好的保证,也具有一定的启发性。
为了便于理解,下面针对本发明做详细说明。
本发明实施例中,除了从词向量出发,计算句子及单词层面的语义相似度之外,还会计算以下特征:
1)从词共现的角度出发,衡量单词之间的相关度,并将此作为完成句对匹配所需的重要特征.
2)从咨询类别出发,由单词在各个咨询类别下的重要性层面去衡量单词之间的相似性,并将此作为完成句对匹配所需的重要特征。
3)用机器学习模型从句子中获取咨询类别信息,并用该信息指示句子中的关键词,通过对关键词加权来提高模型对关键词上相似度及相关度的关注。
本发明实施例中主要涉及两个模型:咨询类别判断模型与句对匹配模型。
一、咨询类别判断模型。
获得咨询类别判断模型的主要过程如下:
1、从校咨询网站及贴吧上获取带有咨询标签的咨询语句(问句),对于获取到的带有咨询标签的咨询语句,去掉长度不符合要求(过长或者过短)的句子、去掉句子中无意义的数字与字母、并去掉停用词后,获得语料XCT其中的S表示句子(即样本),其包含有若干个单词,下标为序号,consultType为对应序号句子的咨询类别标签值。例如,S1为语料中第1个句子,为第1个句子S1对应的咨询类别标签值。
2、计算每一句子中每一单词在各咨询类别下的重要性:
假设语料中共有numConsultType个咨询类别,numWords个单词,第i个单词wi在第j个咨询类别Tj上出现次数为wi在所有咨询类别上出现的总次数为则单词wi在咨询类别Tj下的重要性值的计算公式为:
其中,i=1,2,...,numWords,j=1,2,...,numConsultType;
从而得到单词wi在所有咨询类别下的重要性向量该向量的维度为1*numConsultType。
3、计算句子S在所有咨询类别下的重要性向量twS,计算公式如下:
其中,numWordsS为句子S中包含的单词个数,wl表示句子S中第l个单词,重要性向量twS的维度为1*numConsultType。
4、将语料XCT中句子S的重要性向量twS作为SVM或LR模型的输入特征,学习一个咨询类别判断模型fCT,使对任意一个句子,其对应的咨询类别可以通过模型fCT预测得到。可以通过sklearn完成模型参数的求解。
在获得咨询类别判断模型fCT后,对于新句子Snew,它的目标咨询类别Tnew=fCT(Snew),可以计算新句子Snew在目标咨询类别下的度量作为后续句对匹配模型的输入特征之一。
二、句对匹配模型。
句对匹配模型框架如图2所示,获得句对匹配模型的主要过程如下:
1、获取一系列句对(可以从校咨询网站及贴吧上获取),并利用咨询类别判断模型对句对进行筛选,去除不属于任何咨询类别的句对;
对于剩下的句对,去掉句子中无意义符号、分词以及去停用词后得到训练语料XL,XL=[{{U1,R1},Label1},{{U2,R2},Label2},...];其中的{U,R}为一个句对,下标为句对的序号,U、R分别代表问句、答句,Label为对应序号句对的匹配度标签。例如,{U1,R1}为第1个问句U1与第1个答句R1组成的第1个句对,Label1为第1个句对{U1,R1}的匹配度标签,此处的问句与答句也都包含有若干个单词。
2、获取句子U对应的隐层状态序列HU,及句子R对应的隐层状态序列HR
对于每一组句对中的每个单词,通过神经网络建模获取其分布式向量表示,设定词向量长度为numDimension,假设问句U中第x个单词对应的词向量表示为wordVecU,x=[v1,...,vnumDimension],答句R中第y个单词对应的词向量表示为wordVecR,y=[v'1,...,v'numDimension],其中,v与v'均为实数数值,下标为序号;
再将问句与答句中单词的词向量作为输入,通过LSTM网络对问句与答句进行编码,并获取句子编码过程中得到的一系列隐层向量;
设句子中包含的单词个数的最大值为maxSeqLength,LSTM网络中隐层向量维度设置为1×lstmUnits,则问句U对应的隐层状态序列为HU=[hU,1,...,hU,maxSeqLength],答句R对应的隐层状态序列为HR=[hR,1,...,hR,maxSeqLength],
3、计算句子层面相似度矩阵、从所有咨询类别下重要性的角度得到的单词层面的相似度矩阵、经过加权之后的单词层面相似度矩阵、以及经过加权之后的单词层面相关度矩阵。
1)计算句子层面相似度矩阵利用问句与答句的隐状态序列计算句子在语义上的相似性。矩阵的第p行第q列元素值SimMatrix_Sentencep,q计算公式如下:
SimMatrix_Sentencep,q=hU,pWhR,q T
其中,hU,p表示HU中第p个隐状态向量,hR,q表示HR中第q个隐状态向量。
2)计算计算经过加权之后的单词层面相似度矩阵SimMatrix_weighted。
首先,计算单词层面相似度矩阵计算问句U与答句R中的单词词向量之间的相似性。矩阵的第p行第q列元素值SimMatrix_Wordp,q计算公式如下:
SimMatrix_Wordp,q=wordVecU,p*wordVecR,q T
其中,wordVecU,p表示问句U中第p个单词对应的词向量,wordVecR,q表示答句R中第q个单词对应的词向量;
然后,计算问句U在目标咨询类别下的咨询向量consultVecU:对于问句U,通过咨询类别判断模型得到问句U的目标咨询类别TU,及在目标咨询类别下的度量consultVecU;具体如前文咨询类别判断模型第4部分的内容。该咨询向量可以从一个更抽象的层面对句子进行描述,其揭示了在句子中哪些词语在目标咨询类别下是关键的词语,可以使模型有侧重的关注问句中关键词与答句中单词的相似性,从而提高模型效果。
最后,计算经过加权之后的单词层面相似度矩阵对于问句U,结合计算出的咨询向量consultVecU计算经过加权之后的单词层面相似度矩阵,矩阵的第p行第q列元素值SimMatrix_weightedp,q计算公式如下:
SimMatrix_weightedp,q=consultVecU*SimMatrix_Wordp,q
3)计算经过加权之后的单词层面相关度矩阵RelevantMatrix_weighted。
首先,从词共现的角度计算单词之间的相关性矩阵对于问句U中第x个单词ux,及答句R中第y个单词ry,令n(ux,ry)表示单词ux与ry同时出现在一个句对中的次数,n(ux)表示单词ux在语料中出现的总次数,RelevantMatrixx,y为相关性矩阵中第x行第y列元素的值。相关性矩阵可以从词共现的角度考察两个单词之间的相关性,有些单词的相似度不高,但有较高的相关性,在建模的过程中应当认为它与相似度一样可以较好的指示两个句子是否相匹配,公式如下:
然后,计算经过加权之后的单词层面相关度矩阵矩阵RelevantMatrix_weighted中第p行第q列元素值RelevantMatrix_weightedp,q计算公式如下:
RelevantMatrix_weightedp,q=consultVecU*RelevantMatrixp,q
其中,RelevantMatrixp,q表示矩阵RelevantMatrix的第p行第q列元素值。
4)计算从所有咨询类别下重要性的角度得到的单词层面的相似度矩阵SimMatrix_consultTF:从单词在所有咨询类别下的重要性向量上对单词层面相似度矩阵进行衡量,矩阵中第x行第y列元素值SimMatrix_consultTFx,y计算公式如下:
其中,对应的表示问句U中第x个单词ux、答句R中第y个单词ry在所有咨询类别下的重要性向量,T为转置符号。
上述内容所涉及的x,y,p,q都是表示[1,maxSeqLength]区间上的任意整数。
4、将计算得到的四个矩阵作为卷积神经网络模型的输入,在训练语料上训练出句对匹配模型fL,使得句对的匹配度标签可以通过模型fL预测得到。这四个矩阵维度均为maxSeqLength*maxSeqLength。通过tensorflow搭建卷积神经网络模型,输入计算得到的四个矩阵,设置模型损失为交叉熵损失,通过AdamOptimizer求解模型参数。
以上针对本发明的主要内容进行了介绍,下面给出一个具体示例。
根据《大学生心理行为指导》,校园内咨询类别大致划分为学习问题、恋爱问题、人际交往问题、择业问题、适应性问题这五类,设对应的标签分别为0到4,本发明实施例不考虑异常心理。
一、咨询类别判断模型
1、对于咨询类别判断模型,根据前述技术方案中的定义,其语料为XCT,假设现有语料如表1所示,图中每一行为一个样本,样本中的问句内容为样本内容,咨询类别标签为样本标签。则中,S1为[“想”,”问”,”起床”,”特困户”,”能否”,”在”,”学校”,”生存”,”学校”,”统一”,”几点”,”作息”,”有没有”,”午睡”],值为4,表示为”适应性问题”。
表1现有语料
2、对语料XCT中的每一个单词,计算其在各咨询类别下出现的次数,并由此计算出其在所有咨询类别上的重要性向量。假设语料中有单词w=”想”,它在各个类别下出现的次数如图3所示,按照前述“计算公式”可知,tww=[10,5,22,5,8]/(10+5+22+5+8)=[0.5,0.1,0.44,0.1,0.16],语料中其他单词同理计算。
3、经过前述步骤2之后,可以得到所有单词的重要性向量,结合前述“twS计算公式”可以计算出语料XCT中每个句子S的重要性向量,是一个维度为1*5的向量。
4、经过上述步骤之后,可以得到语料的数字表示形式。设计算出的样本S1的重要性向量[0.3,0.2,0.1,0.2,0.2],样本标签为4(适应性问题);样本S2的重要性向量为[0.2,0.3,0.1,0.1,0.3],样本标签为3(人际交往问题),则语料可表示为:XCT=[{[0.3,0.2,0.1,0.2,0.2],4},{[0.2,0.3,0.1,0.1,0.3],3},...].以此作为SVM或LR模型的训练集,通过sklearn实现模型求解。
二、句对匹配模型。
假设句子最大长度(即最大单词数量)maxSeqLength=20,词向量维度numDimension=100,隐层维度lstmUnits=200。
1、对于句对匹配度模型,根据前文技术方案中的定义,其训练语料为XL,假设现有语料如表2所示,图中每一行为一个样本,包括问句、答句、匹配度标签。对句子作预处理,去掉句子中无意义符号、分词、去停用词之后,可以得到图中语料XL=[{{U1,R1},Label1},{{U2,R2},Label2},...],其中U1为[“有点”,”没有”,”来由”,”害怕”,”担心”,”没有”,”自信”,”没有”,”朋友”,...”无助”],R1为[“这种”,”矛盾”,”冲突”,”内心”,”可以”,”理解”,...,””]。由于设置了句子最大长度为20,语料中预处理之后词数未满20的需要用空字符串填补,词数超过20的需要截断,仅保留前面20个词语。
表2现有语料
2、根据前述咨询类别判断模型所介绍的方案计算出各个单词在所有咨询类别下的重要性向量,及语料XL中问句Ui所有咨询类别下的重要性向量向量长度与咨询类别的个数相等,即为5,形式如图4所示。
3、对于训练语料中某一问句U,twU作为咨询类别判断模型的输入,可以得到问句U所属的目标咨询类别TU,TU=fCT(U),为前面描述的5种咨询类别之一,如对于表1所示的第1个问句,经过模型计算得到的目标咨询类别设为4,表示为”适应性问题”。
4、根据步骤3中得到的目标咨询类别TU,按照前文技术方案中的公式计算U在目标咨询类别下的度量向量consultVecU,本实例中consultVecU维度为1*20,向量形式如图4所示。
5、对于语料XL中的每个句对{U,R},分别将句子U与R中的单词替换为词向量,则U、R均为20*100的矩阵,形式如图5所示;矩阵的第t行的值是句子U中第t个单词的词向量wordVecU,t,经过LSTM网络后得到隐状态序列HU、HR,两个隐状态序列均包括20个长为200,如图4所示的向量。
6、按照技术方案中的计算公式及步骤5中的计算结果,算出4个维度为20*20的特征矩阵:SimMatrix_Sentence,SimMatrix_consultTF,SimMatrix_weighted,RelevantMatrix_weighted,它们的形式均如图5所示。
需要强调的是,图4、图5所示的是一维向量特征、特征矩阵,其展示的是向量、矩阵的形式,内部的数字仅为示意。
7、经过步骤6后,语料中每个样本都计算得到的4个特征矩阵,作为CNN网络的输入,进行匹配度学习。可以使用tensorflow进行模型搭建,设置模型的损失函数为交叉熵误差函数,通过AdamOptimizer进行参数学习,超参的选择可以通过网格搜索得到。
示例性的,假设有句对{U,R},其中问句U的原始文本内容为”保研失败,找工作四处碰壁,最近心情焦虑,有时无法控制眼泪,早上起床感觉很累,吃不下饭”,答句R的原始内容为名人名言”艰难的生活永无止境,但因此,生长也无止境”。经过句对匹配模型中的步骤1到6之后,得到句对的特征矩阵,以此作为fL的输入特征,可得到模型预测的匹配度标签。若标签为1则表示问句与答句R相匹配,答句R可以作为问句U的回复给出;若标签为0则说明匹配度模型认为答句R不能够作为问句U的回复。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种用于校园心理咨询的句对匹配度预测方法,其特征在于,包括:
获取带有咨询标签的咨询语句,并进行预处理后获得相关的语料;计算每一句子中每一单词在各咨询类别下的重要性,从而获得每一句子在所有咨询类别下的重要性向量;利用所有句子在所有咨询类别下的重要性向量作为模型输入,获得咨询类别判断模型;
获取句对,并进行预处理后获得训练语料;计算训练语料中每一组句对中问句与答句的隐层状态序列,从而计算句子层面相似度矩阵、从所有咨询类别下重要性的角度得到的单词层面的相似度矩阵、经过加权之后的单词层面相似度矩阵、以及经过加权之后的单词层面相关度矩阵;再将计算得到的四个矩阵作为卷积神经网络模型的输入,在训练语料上训练出句对匹配模型;
对于新输入的句对,利用咨询类别判断模型与句对匹配模型进行匹配对预测。
2.根据权利要求1所述的一种用于校园心理咨询的句对匹配度预测方法,其特征在于,所述获取带有咨询标签的咨询语句,并进行预处理后获得相关的语料包括:
对于获取到的带有咨询标签的咨询语句,去掉长度不符合要求的句子、去掉句子中无意义的数字与字母、并去掉停用词后,获得语料XCT其中的S表示句子,其包含有若干个单词,下标为序号,consultType为对应序号句子的咨询类别标签值。
3.根据权利要求1或2所述的一种用于校园心理咨询的句对匹配度预测方法,其特征在于,计算每一句子中每一单词在各咨询类别下的重要性,从而获得每一句子在所有咨询类别下的重要性向量的方式如下:
首先,计算每一句子中每一单词在各咨询类别下的重要性:
假设语料XCT中共有numConsultType个咨询类别,numWords个单词,第i个单词wi在第j个咨询类别Tj上出现次数为单词wi在所有咨询类别上出现的总次数为则单词wi在咨询类别Tj下的重要性值的计算公式为:
其中,i=1,2,...,numWords,j=1,2,...,numConsultType;
从而得到单词wi在所有咨询类别下的重要性向量
然后,计算句子S在所有咨询类别下的重要性向量twS,计算公式如下:
其中,numWordsS为句子S中包含的单词个数,wl表示句子S中第l个单词。
4.根据权利要求1所述的一种用于校园心理咨询的句对匹配度预测方法,其特征在于,所述获取句对,并进行预处理后获得训练语料包括:
获取一系列句对,并利用咨询类别判断模型对句对进行筛选,去除不属于任何咨询类别的句对;
对于剩下的句对,去掉句子中无意义符号、分词以及去停用词后得到训练语料XL,XL=[{{U1,R1},Label1},{{U2,R2},Label2},...];其中的{U,R}为一个句对,下标为句对的序号,U、R分别代表问句、答句,Label为对应序号句对的匹配度标签。
5.根据权利要求1或4所述的一种用于校园心理咨询的句对匹配度预测方法,其特征在于,计算训练语料中每一组句对中问句与答句的隐层状态序列的方式如下:
对于每一组句对中的每个单词,通过神经网络建模获取其分布式向量表示,设定词向量长度为numDimension,假设问句U中第x个单词对应的词向量表示为wordVecU,x=[v1,...,vnumDimension],答句R中第y个单词对应的词向量表示为wordVecR,y=[v'1,...,v'numDimension],其中,v与v'均为实数数值,下标为序号;
再将问句与答句中单词的词向量作为输入,通过LSTM网络对问句与答句进行编码,并获取句子编码过程中得到的一系列隐层向量;
设句子中包含的单词个数的最大值为maxSeqLength,则问句U对应的隐层状态序列为HU=[hU,1,...,hU,maxSeqLength];答句R对应的隐层状态序列为HR=[hR,1,...,hR,maxSeqLength]。
6.根据权利要求5所述的一种用于校园心理咨询的句对匹配度预测方法,其特征在于,计算句子层面相似度矩阵、从所有咨询类别下重要性的角度得到的单词层面的相似度矩阵、经过加权之后的单词层面相似度矩阵、以及经过加权之后的单词层面相关度矩阵的方式如下:
计算句子层面相似度矩阵SimMatrix_Sentence:利用问句与答句的隐状态序列计算句子在语义上的相似性,矩阵的第p行第q列元素值SimMatrix_Sentencep,q计算公式如下:
SimMatrix_Sentencep,q=hU,pWhR,q T
其中,hU,p表示HU中第p个隐状态向量,hR,q表示HR中第q个隐状态向量;
计算单词层面相似度矩阵SimMatrix_Word:计算问句U与答句R中的单词词向量之间的相似性,矩阵的第p行第q列元素值SimMatrix_Wordp,q计算公式如下:
SimMatrix_Wordp,q=wordVecU,p*wordVecR,q T
其中,wordVecU,p表示问句U中第p个单词对应的词向量,wordVecR,q表示答句R中第q个单词对应的词向量;
计算问句U在目标咨询类别下的咨询向量consultVecU:对于问句U,通过咨询类别判断模型得到问句U的目标咨询类别TU,及在目标咨询类别下的度量consultVecU
计算经过加权之后的单词层面相似度矩阵SimMatrix_weighted:对于问句U,结合计算出的咨询向量consultVecU计算经过加权之后的单词层面相似度矩阵,矩阵的第p行第q列元素值SimMatrix_weightedp,q计算公式如下:
SimMatrix_weightedp,q=consultVecU*SimMatrix_Wordp,q
从词共现的角度计算单词之间的相关性矩阵RelevantMatrix:对于问句U中第x个单词ux,及答句R中第y个单词ry,令n(ux,ry)表示单词ux与ry同时出现在一个句对中的次数,n(ux)表示单词ux在语料中出现的总次数,以词共现的角度考察两个单词之间的相关性,相关性矩阵中第x行第y列元素的值RelevantMatrixx,y计算公式如下:
计算经过加权之后的单词层面相关度矩阵RelevantMatrix_weighted,矩阵中第p行第q列元素值RelevantMatrix_weightedp,q计算公式如下:
RelevantMatrix_weightedp,q=consultVecU*RelevantMatrixp,q;;
其中,RelevantMatrixp,q表示矩阵RelevantMatrix的第p行第q列元素值;
计算从所有咨询类别下重要性的角度得到的单词层面的相似度矩阵SimMatrix_consultTF:从单词在所有咨询类别下的重要性向量上对单词层面相似度矩阵进行衡量,矩阵中第x行第y列元素值SimMatrix_consultTFx,y计算公式如下:
其中,对应的表示问句U中第x个单词ux、答句R中第y个单词ry在所有咨询类别下的重要性向量,T为转置符号;
上述内容所涉及的x,y,p,q都是表示[1,maxSeqLength]区间上的任意整数。
7.根据权利要求1所述的一种用于校园心理咨询的句对匹配度预测方法,其特征在于,将计算得到的四个矩阵作为卷积神经网络模型的输入,在训练语料上训练出句对匹配模型包括:
通过tensorflow搭建卷积神经网络模型,输入计算得到的四个矩阵,设置模型损失为交叉熵损失,通过AdamOptimizer求解模型参数。
CN201810252354.3A 2018-03-26 2018-03-26 一种用于校园心理咨询的句对匹配度预测方法 Active CN108491515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810252354.3A CN108491515B (zh) 2018-03-26 2018-03-26 一种用于校园心理咨询的句对匹配度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810252354.3A CN108491515B (zh) 2018-03-26 2018-03-26 一种用于校园心理咨询的句对匹配度预测方法

Publications (2)

Publication Number Publication Date
CN108491515A true CN108491515A (zh) 2018-09-04
CN108491515B CN108491515B (zh) 2021-10-01

Family

ID=63337845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810252354.3A Active CN108491515B (zh) 2018-03-26 2018-03-26 一种用于校园心理咨询的句对匹配度预测方法

Country Status (1)

Country Link
CN (1) CN108491515B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960723A (zh) * 2019-04-12 2019-07-02 浙江连信科技有限公司 一种用于心理机器人的交互系统及方法
CN110033022A (zh) * 2019-03-08 2019-07-19 腾讯科技(深圳)有限公司 文本的处理方法、装置和存储介质
CN110046239A (zh) * 2019-04-15 2019-07-23 合肥工业大学 基于情感编辑的对话方法
CN111368040A (zh) * 2018-12-25 2020-07-03 马上消费金融股份有限公司 对话处理方法、模型训练方法及其相关设备
CN113366484A (zh) * 2018-11-19 2021-09-07 因韦克有限责任公司 用于解释自然语言句子的神经网络

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068177A (zh) * 2007-03-27 2007-11-07 腾讯科技(深圳)有限公司 一种互动问答系统及其实现方法
CN103400054A (zh) * 2013-08-27 2013-11-20 哈尔滨工业大学 计算机辅助心理咨询自动问答机器人系统
CN104809503A (zh) * 2015-04-21 2015-07-29 江苏卓顿信息科技有限公司 一种基于神经网络深度学习的心理顾问机器人系统
CN105068661A (zh) * 2015-09-07 2015-11-18 百度在线网络技术(北京)有限公司 基于人工智能的人机交互方法和系统
CN106021925A (zh) * 2016-05-18 2016-10-12 大连理工大学 一种基于文本情感分析的心理评测系统
CN106156850A (zh) * 2015-04-24 2016-11-23 江苏卓顿信息科技有限公司 一种基于云计算的心理顾问机器人系统
CN106776580A (zh) * 2017-01-20 2017-05-31 中山大学 混合的深度神经网络cnn和rnn的主题句识别方法
CN107169123A (zh) * 2017-05-31 2017-09-15 上海思依暄机器人科技股份有限公司 一种基于家用机器人的心理咨询方法和装置
WO2017170404A1 (ja) * 2016-03-30 2017-10-05 光吉 俊二 意思創発装置、意思創発方法および意思創発プログラム
CN107358948A (zh) * 2017-06-27 2017-11-17 上海交通大学 基于注意力模型的语言输入关联性检测方法
CN107704563A (zh) * 2017-09-29 2018-02-16 广州多益网络股份有限公司 一种问句推荐方法及系统
US20180052664A1 (en) * 2016-08-16 2018-02-22 Rulai, Inc. Method and system for developing, training, and deploying effective intelligent virtual agent
CN107818164A (zh) * 2017-11-02 2018-03-20 东北师范大学 一种智能问答方法及其系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068177A (zh) * 2007-03-27 2007-11-07 腾讯科技(深圳)有限公司 一种互动问答系统及其实现方法
CN103400054A (zh) * 2013-08-27 2013-11-20 哈尔滨工业大学 计算机辅助心理咨询自动问答机器人系统
CN104809503A (zh) * 2015-04-21 2015-07-29 江苏卓顿信息科技有限公司 一种基于神经网络深度学习的心理顾问机器人系统
CN106156850A (zh) * 2015-04-24 2016-11-23 江苏卓顿信息科技有限公司 一种基于云计算的心理顾问机器人系统
CN105068661A (zh) * 2015-09-07 2015-11-18 百度在线网络技术(北京)有限公司 基于人工智能的人机交互方法和系统
WO2017170404A1 (ja) * 2016-03-30 2017-10-05 光吉 俊二 意思創発装置、意思創発方法および意思創発プログラム
CN106021925A (zh) * 2016-05-18 2016-10-12 大连理工大学 一种基于文本情感分析的心理评测系统
US20180052664A1 (en) * 2016-08-16 2018-02-22 Rulai, Inc. Method and system for developing, training, and deploying effective intelligent virtual agent
CN106776580A (zh) * 2017-01-20 2017-05-31 中山大学 混合的深度神经网络cnn和rnn的主题句识别方法
CN107169123A (zh) * 2017-05-31 2017-09-15 上海思依暄机器人科技股份有限公司 一种基于家用机器人的心理咨询方法和装置
CN107358948A (zh) * 2017-06-27 2017-11-17 上海交通大学 基于注意力模型的语言输入关联性检测方法
CN107704563A (zh) * 2017-09-29 2018-02-16 广州多益网络股份有限公司 一种问句推荐方法及系统
CN107818164A (zh) * 2017-11-02 2018-03-20 东北师范大学 一种智能问答方法及其系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XI ZHANG 等: "Poor performance discovery of college students based on behavior pattern", 《2017 IEEE SMARTWORLD, UBIQUITOUS INTELLIGENCE & COMPUTING, ADVANCED & TRUSTED COMPUTED, SCALABLE COMPUTING & COMMUNICATIONS, CLOUD & BIG DATA COMPUTING, INTERNET OF PEOPLE AND SMART CITY INNOVATION (SMARTWORLD/SCALCOM/UIC/ATC/CBDCOM/IOP/SCI)》 *
谭嘉莉 等: "应用于校园心理咨询的对话匹配度预测模型", 《中国科学技术大学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113366484A (zh) * 2018-11-19 2021-09-07 因韦克有限责任公司 用于解释自然语言句子的神经网络
CN111368040A (zh) * 2018-12-25 2020-07-03 马上消费金融股份有限公司 对话处理方法、模型训练方法及其相关设备
CN111368040B (zh) * 2018-12-25 2021-01-26 马上消费金融股份有限公司 对话处理方法、模型训练方法及其相关设备
CN110033022A (zh) * 2019-03-08 2019-07-19 腾讯科技(深圳)有限公司 文本的处理方法、装置和存储介质
CN109960723A (zh) * 2019-04-12 2019-07-02 浙江连信科技有限公司 一种用于心理机器人的交互系统及方法
CN109960723B (zh) * 2019-04-12 2021-11-16 浙江连信科技有限公司 一种用于心理机器人的交互系统及方法
CN110046239A (zh) * 2019-04-15 2019-07-23 合肥工业大学 基于情感编辑的对话方法

Also Published As

Publication number Publication date
CN108491515B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN108491515A (zh) 一种用于校园心理咨询的句对匹配度预测方法
Chater et al. Fast, frugal, and rational: How rational norms explain behavior
Michael Artificial intelligence
Taber et al. Computational modeling
Negnevitsky Artificial intelligence: a guide to intelligent systems
Lee et al. An intelligent fuzzy agent for meeting scheduling decision support system
Yang et al. A survey on sentiment analysis by using machine learning methods
CN107944027A (zh) 创建语义键索引的方法及系统
CN110033022A (zh) 文本的处理方法、装置和存储介质
Razak et al. Toward a framework for capturing interpretability of hierarchical fuzzy systems—a participatory design approach
CN110148318A (zh) 一种数字助教系统、信息交互方法和信息处理方法
CN107870964A (zh) 一种应用于答案融合系统的语句排序方法及系统
Latham et al. Profiling student learning styles with multilayer perceptron neural networks
Sevarac Neuro fuzzy reasoner for student modeling
Locke Digital memory and the problem of forgetting
Szymański et al. Information retrieval with semantic memory model
Dell’Anna et al. Evolving fuzzy logic systems for creative personalized socially assistive robots
Ye et al. Providing automated grading and personalized feedback
Sadr et al. Improving the performance of text sentiment analysis using deep convolutional neural network integrated with hierarchical attention layer
CN108388944A (zh) Lstm神经网络芯片及其使用方法
Chanaa et al. Context-aware factorization machine for recommendation in massive open online courses (MOOCs)
CN114021546A (zh) 迁移语境网络的大桃生产知识开放问答方法及装置
Mousavi et al. A PSO fuzzy-expert system: As an assistant for specifying the acceptance by NOET measures, at PH. D level
Ahmad et al. A novel adaptive learning path method
Sun Cognitive architectures and multi-agent social simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant