CN113590780A - 一种基于触发式规则的反馈式对话意图获取方法 - Google Patents
一种基于触发式规则的反馈式对话意图获取方法 Download PDFInfo
- Publication number
- CN113590780A CN113590780A CN202110743690.XA CN202110743690A CN113590780A CN 113590780 A CN113590780 A CN 113590780A CN 202110743690 A CN202110743690 A CN 202110743690A CN 113590780 A CN113590780 A CN 113590780A
- Authority
- CN
- China
- Prior art keywords
- model
- semantic
- game
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种基于触发式规则的反馈式对话意图获取方法,该方法使用Node2Vec对游戏中的环境背景条件进行图嵌入编码,在为NPC进行对话生成时,可以应用当前环境背景条件对应的环境知识特征向量K,作为被纳入考虑的输入之一,以此来结合触发式规则,并根据分析的反馈意图标签生成输出对话。这会让游戏NPC与游戏环境之间的联系更加密切;本发明基于Seq2Seq结构,对环境知识特征向量K和玩家输入语义向量Hin进行整合,得到输出语义向量Hout,并将其解码为NPC的输出语句Uout。这种生成对话的方式能避免NPC对玩家产生重复无效的反馈,增加玩家在与NPC接触时获得的新鲜感。
Description
技术领域
本发明涉及知识图谱嵌入与自然语言处理领域,更具体地,涉及一种基于触发式规则的反馈式对话意图获取方法。
背景技术
互联网技术的飞速发展促进了多个行业领域产品的变革,而计算机游戏行业则是其中受影响最为深远的行业之一。由于各种相关技术的日趋成熟,计算机游戏的图像、音效、剧情等丰富玩家感官体验的手段已经发展到了极致。然而,近些年来,这些相关技术的提升速度也趋于缓慢,各方面现存的技术发展趋于瓶颈期。这时,计算机游戏行业迫切需要新的技术,作为提升游戏体验和增强游戏吸引力的有力手段。
在许多计算机游戏产品中,除了由玩家操纵的角色人物之外,还存在着由计算机AI模拟操纵的角色人物,也即非玩家操控角色(non-player character,以下简称NPC)。NPC是增强玩家游戏体验的重要元素之一,如图1所示,其主要功能为丰富游戏内容、增强游戏的可交互性、活跃游戏氛围灯。通常情况下,计算机游戏中的NPC可以被分类为剧情NPC、战斗NPC、服务NPC等。
玩家与计算机游戏之间存在的交互性,集中体现之一就是与NPC“交流”的过程。更具体而言,主要是:
玩家通过与NPC产生直接/间接的接触行为,使得NPC的状态发生改变;
玩家通过改变环境、时间、剧情进度等背景知识,使得NPC的状态发生改变。
玩家的行为使得NPC的状态发生改变,而NPC的状态发生改变又会引起对玩家的反馈的改变,这就形成了玩家和NPC进行交互的过程。一款计算机游戏能否得到玩家的喜爱,能否使得玩家对其保持较长时间的兴趣,很大程度上取决于这些“交流”过程所产生的反馈是否满足玩家的需求。
游戏NPC的智能化,是AI技术在计算机游戏中最能够产生新商业价值的一环。而反馈式对话系统,则不仅仅是玩家与NPC“交流”过程中的重要一环,而且也是游戏NPC智能化的一个新的台阶。反馈式对话系统,即游戏开发者为NPC所设计的、针对玩家的行为状态来产生反馈语句应答的一套模板。在最初的计算机游戏中,NPC对玩家进行的反馈性对话,仅仅是简单地承担推动游戏流程进度的作用,比如给玩家提供指引、为玩家反馈游戏内实时状态等等。而随着更为精致的游戏设计理念盛行,计算机游戏中的NPC反馈式对话系统也被构造得来越复杂,以至于NPC可以根据游戏进度的不同和玩家的选择不同,来和玩家进行不同的对话。
然而,上述NPC在对话系统中的工作原理始终如一——基于对话行为规划器。对话行为规划器可以看成是一套IF-THEN规则,又或是一套由游戏开发者手动搭建起来的“决策树”,它详细地规定了NPC在面对什么情形之下多出什么样的对话回复——比如在刚刚接触玩家的时候要礼貌性地打招呼,受到了玩家的帮助要表示感谢,等等。在传统的对话行为规划器构造下,NPC生成反馈式对话的工作原理,本质上是让NPC在已有的、固定的数据库中寻找当前关系对应的预设语句。因此,如果要让NPC在不同情境下对玩家产生不同的反馈式对话,则游戏开发者需要为其编写非常复杂的对话行为规划器。随着游戏中NPC的数量越来越多,这种开发方式带来的将会是指数级别增长的对话库预设性编写,并且难以从根本上解决NPC反馈式对话样式稀少的问题。
因此,从一方面来讲,而为此建立一种基于触发式规则的反馈式对话意图获取方法,是NPC智能化发展的一个重要的尝试。在这种方法之下,NPC的对话生成并不完全依赖于预设的对话行为规划器,而是先将游戏状态、条件等相关的触发式规则进行图嵌入编码,转化为规则向量,然后再根据玩家的输入对话选择(如果有),来分析出NPC的反馈式对话应该代表的意图标签,并根据该意图标签来进行其它相关下有任务,比如反馈式对话的生成。从直观意义上来讲,这种对话生成方法是为了避免NPC在某些特定的游戏状态条件之下都在“重复地表述某一些语句”,而是可以根据剧情发展、背景环境、角色预设等游戏中的触发式规则,并根据玩家的行为来选择生成不同的反馈式对话。相比起传统的基于IF-THEN模式的或是基于预设行为决策树的对话行为规划器而言,这种能够结合游戏中真实存在的触发式规则,对玩家进行不同反馈式对话的NPC更能接近真实玩家的表现,这会让游戏所处的虚拟世界更具层次感、更引人注目。
另一方面,现如今,主流的对话意图获取方式通常基于深度学习中的循环神经网络(Recurrent Neural Network,以下简称RNN)架构。这种对话意图获取技术不依赖于特定的标签库,而是依据从大量语料中习得的对话意图分析能力来进行对话意图推断。一个典型的RNN架构就是建立在门控循环单元(Gated Recurrent Unit,以下简称GRU)之上的模型。在该架构中,对话语句被编码成中间隐状态(Hidden State),再经由解码器来分析该对话对应的标签结果。如果在计算机游戏的NPC对话系统中应用上述框架,可能可以使得NPC们所产生的对话更贴合复杂的社会系统,并大幅减少需要在对话行为规划器中明确编写的结果分支数量。
发明内容
本发明提供一种基于触发式规则的反馈式对话意图获取方法,该方法可实现游戏NPC与游戏环境之间的联系更加密切,同时,避免NPC对玩家产生重复无效的反馈,增加玩家在与NPC接触时获得的新鲜感。
为了达到上述技术效果,本发明的技术方案如下:
一种基于触发式规则的反馈式对话意图获取方法,包括以下步骤:
S1:构建数据集;
S2:利用步骤S1得到的数据构建模型;
S3:对步骤S2构建的模型进行训练;
S4:利用步骤S3训练好的模型生成系统对话。
进一步地,所述步骤S1的具体过程是:
S11:构建游戏环境条件图:数据标注员需要为每个知识定义一个结点,对于存在联系的条件结点对,数据标注员需要手工用一条带权边将其连结起来,以揭示它们之间存在的关系;
S12:构建语义文本数据集:如果采用游戏中预设的对话语料库,则游戏开发者需要预先准备好该预设对话库,无论是采用游戏预设的对话语料库,还是现有大型对话相关语料库,训练的过程都是类似的,即根据输入的对话来生成输出的对话,数据标注员需要对语料库进行处理操作,揭示语句之间的上下文关系;设原语料库中的某一段文本由语句{u1,u2,u3,...un}组成,则数据标注员先对这些语句进行预处理操作,得到预处理完毕后的语句序列{μ1,μ2,μ3,...,μn},然后提取其中存在的对话对{μi,μj}(1≤i<j≤n)作为一条数据,重复进行此操作以构建语义文本数据集。
进一步地,所述步骤S2的具体过程是:
S21:图嵌入编码模型构建:图嵌入编码模型拟采用Node2Vec技术,将NPC对话依赖的背景条件集合{g1,g2,g3,...}编码为对应的图嵌入特征向量{k1,k2,k3,...},随后将其整合为环境知识特征向量K;
S22:语义编码模型构建:语义编码模型拟采用BERT+GRU Encoder结构,将输入语句Uin编码成输入语义特征向量Hin;
S23:特征分析器模型构建:特征分析器对知识特征向量K和输入语义特征向量Hin进行分析,得到输出语义特征向量Hout;
S24:特征解码模型构建:特征解码模型拟采用GRU Decoder架构,转化输出语义特征向量Hout为最终的输出语句Uout。
进一步地,所述步骤S3的具体过程是:
S31:图嵌入模型训练:基于游戏环境条件图来训练图嵌入模型,得到合适的能将环境背景条件映射到固定维数向量空间的图嵌入编码模型,在该图嵌入模型训练阶段,先单独对图嵌入Node2Vec模型进行训练,设f(u)为当前游戏触发式规则节点,Ns(u)为在方法s下采样得到的邻居规则节点,则图嵌入模型的损失函数可定义为
S32:语义编码/解码模型训练:固定图嵌入编码模型,基于预设对话语料库对输入语义编码模型、特征分析器、输出语义解码模型组合而成的文本生成模型进行端到端训练,在该语义编码/解码模型训练阶段,不再针对于图嵌入模型进行反向传播,而是对输入语义编码模型、特征分析器、输出语义解码模型组合而成的文本生成模型进行端到端训练,设uin为输入样本,a为模型输出序列,为y真实输出序列,则语义编码/解码模型的损失函数可定义为
进一步地,所述步骤S4的具体过程是:
S41:玩家选择输入语句:在游戏中,玩家传递给NPC的语句通常并不是由玩家自己手动逐字生成,而是在游戏开发者为其提供的选项中作出选择,当玩家选择了某一条输入之后,该输入语句会送到系统模型中;
S42:模型进行输出语句生成:训练好的模型通过分析玩家的输入语句,并结合当前游戏环境条件对应的环境知识特征,生成输出语句文本;
S43:NPC表述生成语句:NPC对于生成语句的表述方式取决于游戏开发者的设定,是在电脑屏幕前直接为玩家展示NPC的反馈语句,结合字幕和语音模拟的方式来进行表述,后者消耗更多的运算资源。
进一步地,步骤S11中,在游戏中,触发式规则集合是一个封闭的关系集合,所有的规则都是由游戏开发者预先定义好的,在使用触发式规则来进行数据集构建时,数据标注员首先要将每个预设规则转化为图结点Vertex,然后采用带权邻接边Edge来表示这些结点之间存在的联系紧密程度,以此来构建出游戏触发式规则联系图G。
进一步地,步骤S12中,语义文本数据集直接建立在游戏的预设对话库之上或者现有的大型语料库之上,构建语义文本数据集的方法为:从语料库中随机选取两个语句Si1、Si2,构建出一条数据datai={Si1,Si2},其中Si2为Si1对应的下一条语句,即当输入的语句为Si1时,模型期望所产生的输出语句为Si2;通过反复执行上述操作,构建出一个用于训练语义编码模型的数据集。
进一步地,步骤S22中,对于一条输入对话Uin={w1,w2,w3,...,wn},首先使用BERT预训练模型中的tokenzier进行切分,得到token序列Seqin={t1,t2,t3,...,tm}(n≤m),在切分序列Seqin的最前端加上[CLS]标签,在切分序列的最后端加上[SEP]标签;新的token序列被表示成Seq’in={t0,t1,t2,t3,...,tm,tm+1}(n≤m);作为第1层Encoder的BERT模型将Seq’in映射到特征空间,得到代表输入对话的特征向量集合Vin={v1,v2,v3,...,vm};作为第2层Encoder的GRU以Vin和随机初始化隐状态Hinit作为输入,得到隐藏层状态向量集合{H0,H1,H2,...,Hm+1};取最后的隐藏层状态Hin=Hm+1,即可表示输入语句的语义特征向量。
进一步地,所述步骤S23中,在得到触发式规则条件向量K和输入语义特征向量Hin之后,特征分析器首先对其进行整合操作,得到输出语义向量Hout=feats(K,Hin),其中s为采取的特征整合方式,s又分为不可训练和可训练两大类别,不可训练s包括拼接、叠加等方式;可训练s的种类则非常宽泛,如拼接+线性全连接层、权重矩阵加权运算、稠密卷积特征提取;拼接+线性全连接层中:Hout=feats(K,Hin)=Linear(Concat(K,Hin)),其中Concat为拼接操作,Linear为线性全连接运算。
进一步地,所述步骤S24中,特征解码模型是一个基于GRU的Decoder,对于输出语义向量Hout进行解码操作,其中,每一步的解码操作表示为yj,hj=GRUdecoder(yj-1,hj-1),其中yj表示GRU第j步产生的输出,初始化为一个[CLS]token对应的嵌入向量y0;hj表示GRU第j步的隐藏层状态,初始化即为输出语义向量h0=Hout,将每一步的输出Y={y1,y2,...,yq}连接起来,便将其转换成对应的输出语句Uout,转换的具体操作也是线性全连接层,即Uout=Linearout(Y)。
与现有技术相比,本发明技术方案的有益效果是:
本发明使用Node2Vec对游戏中的环境背景条件进行图嵌入编码,在为NPC进行对话生成时,可以应用当前环境背景条件对应的环境知识特征向量K,作为被纳入考虑的输入之一,以此来结合触发式规则,并根据分析的反馈意图标签生成输出对话。这会让游戏NPC与游戏环境之间的联系更加密切;本发明基于Seq2Seq结构,对环境知识特征向量K和玩家输入语义向量Hin进行整合,得到输出语义向量Hout,并将其解码为NPC的输出语句Uout。这种生成对话的方式能避免NPC对玩家产生重复无效的反馈,增加玩家在与NPC接触时获得的新鲜感。
附图说明
图1为传统的NPC反馈语句生成框架;
图2为建立基于触发式规则的反馈式对话意图获取方法流程图;
图3为本发明提出的结合触发式规则的新型NPC反馈语句生成框架。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图2-3所示,本申请提供一种基于触发式规则的反馈式对话意图获取方法,该方法主要包括数据集构建、模型构建、异步模型训练、系统对话生成五大步骤:
S1:数据集构建。
1)、游戏背景知识图构建
在游戏中,触发式规则集合是一个封闭的关系集合,所有的规则都是由游戏开发者预先定义好的。因此,在使用触发式规则来进行数据集构建时,数据标注员首先要将每个预设规则转化为图结点(Vertex),然后采用带权邻接边(Edge)来表示这些结点之间存在的联系紧密程度,以此来构建出游戏触发式规则联系图G。
2)、语义文本数据集构建
语义文本数据集可以直接建立在游戏的预设对话库之上,也可以建立在现有的大型语料库之上(最好是与对话相关的语料库,如Switchboard Dialog Act Corpus)。构建语义文本数据集的方法为:从语料库中随机选取两个语句Si1、Si2,构建出一条数据datai={Si1,Si2},其中Si2为Si1对应的下一条语句,即当输入的语句为Si1时,模型期望所产生的输出语句为Si2。通过反复执行上述操作,可以构建出一个用于训练语义编码模型的数据集。
S2:模型构建
1)、图嵌入编码模型构建
对于S1中构建出的触发式规则联系图G,采用Node2Vec技术可将其中的每个顶点u映射为embedding向量ku。在实际应用的过程中,NPC的对话产生可能依赖于多个规则或条件。在这种情况下,对于多个依赖规则映射产生的图嵌入向量{k1,k2,k3,...},可以通过加权和的形式得到总的触发式规则条件向量K,即K=(ω1k1+ω2k2+ω3k3+...)。
2)、语义编码模型构建
对于一条输入对话Uin={w1,w2,w3,...,wn},首先使用BERT预训练模型中的tokenzier进行切分,得到token序列Seqin={t1,t2,t3,...,tm}(n≤m)。在切分序列Seqin的最前端加上[CLS]标签,在切分序列的最后端加上[SEP]标签。此时,新的token序列可以被表示成Seq’in={t0,t1,t2,t3,...,tm,tm+1}(n≤m)。作为第1层Encoder的BERT模型将Seq’in映射到特征空间,得到代表输入对话的特征向量集合Vin={v1,v2,v3,...,vm}。作为第2层Encoder的GRU以Vin和随机初始化隐状态Hinit作为输入,得到隐藏层状态向量集合{H0,H1,H2,...,Hm+1}。取最后的隐藏层状态Hin=Hm+1,即可表示输入语句的语义特征向量。
3)、特征分析器模型构建
在得到触发式规则条件向量K和输入语义特征向量Hin之后,特征分析器首先对其进行整合操作,得到输出语义向量Hout=feats(K,Hin)。其中s为采取的特征整合方式。在这里,s又分为不可训练和可训练两大类别。不可训练s包括拼接、叠加等方式;可训练s的种类则非常宽泛,如拼接+线性全连接层、权重矩阵加权运算、稠密卷积特征提取等。以拼接+线性全连接层为例,Hout=feats(K,Hin)=Linear(Concat(K,Hin)),其中Concat为拼接操作,Linear为线性全连接运算。
4)、特征解码模型构建
特征解码模型是一个基于GRU的Decoder,对于输出语义向量Hout进行解码操作。其中,每一步的解码操作可以表示为yj,hj=GRUdecoder(yj-1,hj-1),其中yi表示GRU第j步产生的输出,初始化为一个[CLS]token对应的嵌入向量y0;hj表示GRU第j步的隐藏层状态,初始化即为输出语义向量h0=Hout。将每一步的输出Y={y1,y2,...,yq}连接起来,便可以将其转换成对应的输出语句Uout。转换的具体操作也可以是线性全连接层,即Uout=Linearout(Y)。
S3:模型训练
1)、图嵌入编码模型训练
2)、语义编码/解码模型训练
在训练的第二阶段,不再针对于图嵌入模型进行反向传播,而是对输入语义编码模型、特征分析器、输出语义解码模型组合而成的文本生成模型进行端到端训练。设uin为输入样本,a为模型输出序列,为y真实输出序列,则语义编码/解码模型的损失函数可定义为
S4:系统对话生成
对于一条新的来自于玩家选择的对话输入,本系统先对即时的游戏背景环境进行图嵌入编码,以得到环境知识特征向量。然后对该句玩家选择的对话进行语义编码,得到输入语义特征向量。系统通过特征分析器对知识特征向量及输入语义特征向量进行整合,得到输出语义特征向量,并对其进行解码操作,即可得到NPC反馈给玩家的输出语句。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于触发式规则的反馈式对话意图获取方法,其特征在于,包括以下步骤:
S1:构建数据集;
S2:利用步骤S1得到的数据构建模型;
S3:对步骤S2构建的模型进行训练;
S4:利用步骤S3训练好的模型生成系统对话。
2.根据权利要求1所述的基于触发式规则的反馈式对话意图获取方法,其特征在于,所述步骤S1的具体过程是:
S11:构建游戏环境条件图:数据标注员需要为每个知识定义一个结点,对于存在联系的条件结点对,数据标注员需要手工用一条带权边将其连结起来,以揭示它们之间存在的关系;
S12:构建语义文本数据集:如果采用游戏中预设的对话语料库,则游戏开发者需要预先准备好该预设对话库,无论是采用游戏预设的对话语料库,还是现有大型对话相关语料库,训练的过程都是类似的,即根据输入的对话来生成输出的对话,数据标注员需要对语料库进行处理操作,揭示语句之间的上下文关系;设原语料库中的某一段文本由语句{u1,u2,u3,...un}组成,则数据标注员先对这些语句进行预处理操作,得到预处理完毕后的语句序列{μ1,μ2,μ3,...,μn},然后提取其中存在的对话对{μi,μj}(1≤i<j≤n)作为一条数据,重复进行此操作以构建语义文本数据集。
3.根据权利要求2所述的基于触发式规则的反馈式对话意图获取方法,其特征在于,所述步骤S2的具体过程是:
S21:图嵌入编码模型构建:图嵌入编码模型拟采用Node2Vec技术,将NPC对话依赖的背景条件集合{g1,g2,g3,...}编码为对应的图嵌入特征向量{k1,k2,k3,...},随后将其整合为环境知识特征向量K;
S22:语义编码模型构建:语义编码模型拟采用BERT+GRU Encoder结构,将输入语句Uin编码成输入语义特征向量Hin;
S23:特征分析器模型构建:特征分析器对知识特征向量K和输入语义特征向量Hin进行分析,得到输出语义特征向量Hout;
S24:特征解码模型构建:特征解码模型拟采用GRU Decoder架构,转化输出语义特征向量Hout为最终的输出语句Uout。
4.根据权利要求3所述的基于触发式规则的反馈式对话意图获取方法,其特征在于,所述步骤S3的具体过程是:
S31:图嵌入模型训练:基于游戏环境条件图来训练图嵌入模型,得到合适的能将环境背景条件映射到固定维数向量空间的图嵌入编码模型,在该图嵌入模型训练阶段,先单独对图嵌入Node2Vec模型进行训练,设f(u)为当前游戏触发式规则节点,Ns(u)为在方法s下采样得到的邻居规则节点,则图嵌入模型的损失函数可定义为
5.根据权利要求4所述的基于触发式规则的反馈式对话意图获取方法,其特征在于,所述步骤S4的具体过程是:
S41:玩家选择输入语句:在游戏中,玩家传递给NPC的语句通常并不是由玩家自己手动逐字生成,而是在游戏开发者为其提供的选项中作出选择,当玩家选择了某一条输入之后,该输入语句会送到系统模型中;
S42:模型进行输出语句生成:训练好的模型通过分析玩家的输入语句,并结合当前游戏环境条件对应的环境知识特征,生成输出语句文本;
S43:NPC表述生成语句:NPC对于生成语句的表述方式取决于游戏开发者的设定,是在电脑屏幕前直接为玩家展示NPC的反馈语句,结合字幕和语音模拟的方式来进行表述,后者消耗更多的运算资源。
6.根据权利要求5所述的基于触发式规则的反馈式对话意图获取方法,其特征在于,步骤S11中,在游戏中,触发式规则集合是一个封闭的关系集合,所有的规则都是由游戏开发者预先定义好的,在使用触发式规则来进行数据集构建时,数据标注员首先要将每个预设规则转化为图结点Vertex,然后采用带权邻接边Edge来表示这些结点之间存在的联系紧密程度,以此来构建出游戏触发式规则联系图G。
7.根据权利要求6所述的基于触发式规则的反馈式对话意图获取方法,其特征在于,步骤S12中,语义文本数据集直接建立在游戏的预设对话库之上或者现有的大型语料库之上,构建语义文本数据集的方法为:从语料库中随机选取两个语句Si1、Si2,构建出一条数据datai={Si1,Si2},其中Si2为Si1对应的下一条语句,即当输入的语句为Si1时,模型期望所产生的输出语句为Si2;通过反复执行上述操作,构建出一个用于训练语义编码模型的数据集。
8.根据权利要求7所述的基于触发式规则的反馈式对话意图获取方法,其特征在于,步骤S22中,对于一条输入对话Uin={w1,w2,w3,...,wn},首先使用BERT预训练模型中的tokenzier进行切分,得到token序列Seqin={t1,t2,t3,...,tm}(n≤m),在切分序列Seqin的最前端加上[CLS]标签,在切分序列的最后端加上[SEP]标签;新的token序列被表示成Seq’in={t0,t1,t2,t3,...,tm,tm+1}(n≤m);作为第1层Encoder的BERT模型将Seq’in映射到特征空间,得到代表输入对话的特征向量集合Vin={v1,v2,v3,...,vm};作为第2层Encoder的GRU以Vin和随机初始化隐状态Hinit作为输入,得到隐藏层状态向量集合{H0,H1,H2,...,Hm+1};取最后的隐藏层状态Hin=Hm+1,即可表示输入语句的语义特征向量。
9.根据权利要求8所述的基于触发式规则的反馈式对话意图获取方法,其特征在于,所述步骤S23中,在得到触发式规则条件向量K和输入语义特征向量Hin之后,特征分析器首先对其进行整合操作,得到输出语义向量Hout=feats(K,Hin),其中s为采取的特征整合方式,s又分为不可训练和可训练两大类别,不可训练s包括拼接、叠加等方式;可训练s的种类则非常宽泛,如拼接+线性全连接层、权重矩阵加权运算、稠密卷积特征提取;拼接+线性全连接层中:Hout=feats(K,Hin)=Linear(Concat(K,Hin)),其中Concat为拼接操作,Linear为线性全连接运算。
10.根据权利要求9所述的基于触发式规则的反馈式对话意图获取方法,其特征在于,所述步骤S24中,特征解码模型是一个基于GRU的Decoder,对于输出语义向量Hout进行解码操作,其中,每一步的解码操作表示为yj,hj=GRUdecoder(yj-1,hj-1),其中yj表示GRU第j步产生的输出,初始化为一个[CLS]token对应的嵌入向量y0;hj表示GRU第j步的隐藏层状态,初始化即为输出语义向量h0=Hout,将每一步的输出Y={y1,y2,...,yq}连接起来,便将其转换成对应的输出语句Uout,转换的具体操作也是线性全连接层,即Uout=Linearout(Y)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110743690.XA CN113590780B (zh) | 2021-06-30 | 2021-06-30 | 一种基于触发式规则的反馈式对话意图获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110743690.XA CN113590780B (zh) | 2021-06-30 | 2021-06-30 | 一种基于触发式规则的反馈式对话意图获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113590780A true CN113590780A (zh) | 2021-11-02 |
CN113590780B CN113590780B (zh) | 2023-06-06 |
Family
ID=78245669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110743690.XA Active CN113590780B (zh) | 2021-06-30 | 2021-06-30 | 一种基于触发式规则的反馈式对话意图获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113590780B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090204391A1 (en) * | 2008-02-12 | 2009-08-13 | Aruze Gaming America, Inc. | Gaming machine with conversation engine for interactive gaming through dialog with player and playing method thereof |
CN108837511A (zh) * | 2018-05-31 | 2018-11-20 | 苏州蜗牛数字科技股份有限公司 | 网络游戏中与npc人工智能交互的方法及系统 |
CN111744190A (zh) * | 2020-07-03 | 2020-10-09 | 珠海西山居移动游戏科技有限公司 | 一种基于对话的游戏交互方法及装置 |
-
2021
- 2021-06-30 CN CN202110743690.XA patent/CN113590780B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090204391A1 (en) * | 2008-02-12 | 2009-08-13 | Aruze Gaming America, Inc. | Gaming machine with conversation engine for interactive gaming through dialog with player and playing method thereof |
CN108837511A (zh) * | 2018-05-31 | 2018-11-20 | 苏州蜗牛数字科技股份有限公司 | 网络游戏中与npc人工智能交互的方法及系统 |
CN111744190A (zh) * | 2020-07-03 | 2020-10-09 | 珠海西山居移动游戏科技有限公司 | 一种基于对话的游戏交互方法及装置 |
Non-Patent Citations (2)
Title |
---|
TSUNG HSIEN WEN等: "Latent intention dialogue models" * |
李响;张磊;刘媛媛;: "融合FAQ的任务型对话系统设计" * |
Also Published As
Publication number | Publication date |
---|---|
CN113590780B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108763284B (zh) | 一种基于深度学习和主题模型的问答系统实现方法 | |
DeVries et al. | Dataset augmentation in feature space | |
CN109844741B (zh) | 在自动聊天中生成响应 | |
CN108268444A (zh) | 一种基于双向lstm、cnn和crf的中文分词方法 | |
CN110209789A (zh) | 一种用户注意力引导的多模态对话系统及方法 | |
CN108595436A (zh) | 情感对话内容的生成方法和系统、存储介质 | |
CN111159368A (zh) | 一种个性化对话的回复生成方法 | |
CN109063164A (zh) | 一种基于深度学习的智能问答方法 | |
CN114443827A (zh) | 基于预训练语言模型的局部信息感知对话方法及系统 | |
CN108363685B (zh) | 基于递归变分自编码模型的自媒体数据文本表示方法 | |
CN114722839A (zh) | 人机协同对话交互系统及方法 | |
CN112364148B (zh) | 一种基于深度学习方法的生成型聊天机器人 | |
CN110457661A (zh) | 自然语言生成方法、装置、设备及存储介质 | |
CN117216234A (zh) | 基于人工智能的话术改写方法、装置、设备及存储介质 | |
WO2023231513A1 (zh) | 对话内容的生成方法及装置、存储介质、终端 | |
Yuan et al. | Controllable video captioning with an exemplar sentence | |
CN116977457A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
CN117271745A (zh) | 一种信息处理方法、装置及计算设备、存储介质 | |
Gui et al. | Transferring from formal newswire domain with hypernet for twitter pos tagging | |
CN110297894A (zh) | 一种基于辅助网络的智能对话生成方法 | |
CN113779224A (zh) | 一种基于用户对话历史的个性化对话生成方法与系统 | |
CN117932066A (zh) | 一种基于预训练的“提取-生成”式答案生成模型及方法 | |
CN114372454A (zh) | 文本信息抽取方法、模型训练方法、装置及存储介质 | |
Correia et al. | Evolutionary Generative Models | |
CN114298011B (zh) | 神经网络、训练方法、方面级情感分析方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |