CN113742463A - 旅游场景下的对话预测方法、装置、电子设备、存储介质 - Google Patents
旅游场景下的对话预测方法、装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113742463A CN113742463A CN202110852341.1A CN202110852341A CN113742463A CN 113742463 A CN113742463 A CN 113742463A CN 202110852341 A CN202110852341 A CN 202110852341A CN 113742463 A CN113742463 A CN 113742463A
- Authority
- CN
- China
- Prior art keywords
- model
- intention
- node
- node2vec
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 230000009191 jumping Effects 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 14
- 238000005295 random walk Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000238558 Eucarida Species 0.000 description 1
- 241000282373 Panthera pardus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供一种旅游场景下的对话预测方法、装置、电子设备、存储介质，方法包括：采集线上旅行社的历史对话数据；形成问句序列；形成意图序列；构成意图网络图；生成所述意图网络图的有权无向图；将所述有权无向图输入Node2vec模型；计算所述Node2vec模型的节点之间的跳转概率；进行顶点采样；使所述Node2vec模型符合优化目标；将所述Node2vec模型中输出的节点的向量表示输入ComplEx模型；初始化所述ComplEx模型；对所述ComplEx模型的三元组的正样本和负样本进行评分；根据所述三元组的正样本和负样本的评分计算所述ComplEx模型的模型损失；使用Adagrad优化算法使所述损失最小化。本发明在识别到意图后触发预测用户下一个意图及问题，规范用户输入，从而提升智能客服效果。
Description
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种旅游场景下的对话预测 方法、装置、电子设备、存储介质。
背景技术
随着人工智能的不断发展，越来越多的智能问答产品已经广泛应用于人 们的日常生活中，如微软的小冰、苹果的Siri、百度的小度等智能对话产品， 这些产品不仅可以和用户进行正常的信息交流，而且能为用户的生活带来很 多便利。在旅游领域中，智能问答技术也扮演着不可或缺的重要角色，从而 尝试为用户提供高效、快速、准确的咨询服务。但是，让机器掌握丰富的问 答背景知识，高效、准确的识别用户意图并做出回答仍然面临着巨大挑战， 包括用户输入不规范、用户的查询表现出多意图、意图强度、意图时效性等， 尤其是在以用户体验为目标的旅游领域。
由于用户输入不规范，输入方式多样化，使用自然语言查询，甚至非标 准的自然语言。比如“附近的特价酒店”、“上海到扬州高速怎么走”都是 自然语言查询的例子，又如“豹突泉”就是非标准的例子。用户的不规范输 入使得理解用户问题背后的真实意图变的困难。
由此，如何在识别到意图后触发预测用户下一个意图及问题，规范用户 输入，从而提升智能客服效果，是本领域亟待解决的技术问题。
发明内容
本发明为了克服上述现有技术存在的缺陷，提供一种旅游场景下的对话 预测方法、装置、电子设备、存储介质，在识别到意图后触发预测用户下一 个意图及问题，规范用户输入，从而提升智能客服效果。
根据本发明的一个方面，提供一种旅游场景下的对话预测模型建立方法， 包括：
采集线上旅行社的历史对话数据；
基于历史对话数据，形成问句序列；
使用意图识别模型识别所述问句序列的意图，形成意图序列；
根据所述意图序列中的意图节点对的频次，计算各意图节点之间的权重， 以构成意图网络图；
根据所述意图网络图，生成所述意图网络图的有权无向图；
将所述有权无向图输入Node2vec模型；
计算所述Node2vec模型的节点之间的跳转概率；
根据所计算的节点之间的跳转概率，通过Alias算法进行顶点采样；
调整所述Node2vec模型，使所述Node2vec模型符合优化目标；
将所述Node2vec模型中输出的节点的向量表示输入ComplEx模型；
通过所述Node2vec模型中输出的节点的向量初始化所述ComplEx模型；
对所述ComplEx模型的三元组的正样本和负样本进行评分；
根据所述三元组的正样本和负样本的评分计算所述ComplEx模型的模型 损失；
使用Adagrad优化算法使所述损失最小化，以迭代训练获得旅游场景下 的对话预测模型。
在本发明的一些实施例中，各意图节点ij和意图节点ii之间的权重w(ij|ii) 根据如下公式计算：
其中，count(ii，ij)为意图节点对(ii，ij)出现在所有意图序列中的频数， count(ii，ik)表示以ii为头节点的意图节点对出现在所有意图序列中的频数。
在本发明的一些实施例中，所述意图网络图的有权无向图采用networkx 生成。
在本发明的一些实施例中，所述Node2vec模型的节点为根据所输入的有 权无向图的随机游走生成的随机游走序列的节点，所述Node2vec模型的节 点t跳转到节点v之后，节点v跳转到节点x之间的跳转概率πvx根据如下公 式计算：
πvx＝αpq(t，x)·wvx
其中，wvx为边vx的权重，αpq根据如下公式计算：
其中，dtx指的是节点t到节点x的距离，超参数p和q共同控制所述 Node2vec模型的随机游走的倾向性。
在本发明的一些实施例中，所述Node2vec模型的优化目标为在给定每个 顶点的条件下，令其近邻顶点出现的概率最大，所述优化目标的目标函数为：
其中，f为节点u映射为向量的映射函数，Ns(U)是通过采样策略s采样 出的顶点u的近邻节点集合，Pr(Ns(u)|f(u))为顶点u的近邻节点集合出现 的概率。
在本发明的一些实施例中，所述目标函数基于条件独立性假设和特征空 间对称性假设求解。
根据本发明的又一方面，还提供一种旅游场景下的对话预测方法，包括：
接收用户的问题；
将用户的问题输入意图模型，进行意图识别；
将所识别的意图输入如上所述的对话预测模型建立方法建立的对话预测 模型中；
所述对话预测模型输出所识别的意图与候选意图的相关性评分；
将相关性评分最大的候选意图作为所识别的意图的下一意图预测。
根据本发明的又一方面，还提供一种旅游场景下的对话预测模型建立装 置，包括：
采集模块，用于采集线上旅行社的历史对话数据；
第一形成模块，用于基于历史对话数据，形成问句序列；
第二形成模块，用于使用意图识别模型识别所述问句序列的意图，形成 意图序列；
权重计算模块，用于根据所述意图序列中的意图节点对的频次，计算各 意图节点之间的权重，以构成意图网络图；
无向图生成模块，用于根据所述意图网络图，生成所述意图网络图的有 权无向图；
第一输入模块，用于将所述有权无向图输入Node2vec模型；
跳转概率计算模块，用于计算所述Node2vec模型的节点之间的跳转概 率；
顶点采样模块，用于根据所计算的节点之间的跳转概率，通过Alias算法 进行顶点采样；
优化目标模块，用于调整所述Node2vec模型，使所述Node2vec模型符 合优化目标；
第二输入模块，用于将所述Node2vec模型中输出的节点的向量表示输入 ComplEx模型；
初始化模块，用于通过所述Node2vec模型中输出的节点的向量初始化所 述ComplEx模型；
评分模块，用于对所述ComplEx模型的三元组的正样本和负样本进行评 分；
模型损失模块，用于根据所述三元组的正样本和负样本的评分计算所述 ComplEx模型的模型损失；
损失最小化模块，用于使用Adagrad优化算法使所述损失最小化，以迭 代训练获得旅游场景下的对话预测模型。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处 理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运 行时执行如上所述旅游场景下的对话预测方法的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有 计算机程序，所述计算机程序被处理器运行时执行如上所述旅游场景下的对 话预测方法的步骤。
相比现有技术，本发明的优势在于：
本发明利用图节点表示学习和知识图谱嵌入等技术，进行对话预测。首 先对旅游领域问答意图数据进行意图序列构建，最终形成意图网络。在此基 础上，学习旅游领域问答意图逻辑，进行对话预测。为后续的意图识别、智 能问答等任务建立基础，提升智能问答效果。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优 点将变得更加明显。
图1示出了根据本发明实施例的旅游场景下的对话预测模型建立方法的 流程图。
图2示出了根据本发明实施例的旅游场景下的对话预测方法的流程图。
图3示出了根据本发明实施例的旅游场景下的对话预测模型建立装置的 模块图。
图4示意性示出本公开示例性实施例中一种计算机可读存储介质示意 图。
图5示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够 以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实 施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达 给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结 合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相 同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图 中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相 对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或 集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制 器装置中实现这些功能实体。
为了解决现有技术的缺陷，将在识别到意图后触发预测用户下一个意图 及问题，规范用户输入，从而提升智能客服效果，本发明提供一种旅游场景 下的对话预测模型建立方法、装置、电子设备、存储介质。
首先参见图1，图1示出了根据本发明实施例的旅游场景下的对话预测 模型建立方法的示意图。旅游场景下的对话预测模型建立方法包括如下步骤：
步骤S101：采集线上旅行社的历史对话数据。
步骤S102：基于历史对话数据，形成问句序列。
步骤S103：使用意图识别模型识别所述问句序列的意图，形成意图序列。
具体而言，步骤S101至步骤S103首先收集线上旅行社(诸如APP端、 网页端、小程序端)部分产品售前售后客服数据，数据清洗和整理后形成问 句序列。数据清洗主要去掉部分非意图句或非疑问句的部分，保留有效部分。 然后针对问句序列做意图分析，识别客户意图，如：对于客户咨询“我的机 票票号是？”或“我的电子客票号是多少？”，通过意图识别模型可以识别出 其意图均为“aftersale_AirTicketNumber”，最后根据问句序列以及识别的 客户意图可以构建出意图序列集合S＝{s1，s2，s3，…，sn}，其中，每一意图序列 si＝{i1，i2，i3，…，im}，im表示相应的用户意图节点。
步骤S104：根据所述意图序列中的意图节点对的频次，计算各意图节点 之间的权重，以构成意图网络图。
具体而言，各意图节点ij和意图节点ii之间的权重w(ij|ii)根据如下公式 计算：
其中，count(ii，ij)为意图节点对(ii，ij)出现在所有意图序列中的频数， count(ii，ik)表示以ii为头节点的意图节点对出现在所有意图序列中的频数。
由此，根据步骤S104可以获得有向图G2，其中V＝{i，i2，i3，…，ik}表示意 图节点的集合，E2表示G2的边，其中E2＝{l1，l2，l3，…，lg}。每一个li是一条带权 重的有向边，用ii→ij来表示。根据有向图G2，可以获得无向图G1。G1和G2共享相同的意图节点。
步骤S105：根据所述意图网络图，生成所述意图网络图的有权无向图。
具体而言，所述意图网络图的有权无向图采用networkx生成。其中， networkx是Python的一个包，用于构建和操作复杂的图结构，提供分析图的算 法。
步骤S106：将所述有权无向图输入Node2vec模型。
步骤S107：计算所述Node2vec模型的节点之间的跳转概率。
具体而言，Node2vec是一种综合考虑DFS领域和BFS领域的图表示学 习方法。Node2vec通过特定的游走方式进行采样，生成相应的节点序列，然 后学习顶点的向量。Node2vec通过调整随机游走权重的方法使图像两的结果 在网络的同质性(homophily)和结构性(structural equivalence)中进行权衡。
具体而言，所述Node2vec模型的节点为根据所输入的有权无向图的随机 游走生成的随机游走序列的节点，所述Node2vec模型的节点t跳转到节点v 之后，节点v跳转到节点x之间的跳转概率πvx根据如下公式计算：
πvx＝αpq(t，x)·wvx
其中，Wvx为边vx的权重，αpq根据如下公式计算：
其中，dtx指的是节点t到节点x的距离，超参数p和q共同控制所述 Node2vec模型的随机游走的倾向性。
具体而言，参数p被称为返回参数，p越小，随机游走回节点t的可能性 越大，Node2vec就更注重表达网络的同质性，参数q被称为进出参数，q越 小，则随机游走到远方节点的可能性越大，Node2vec更注重表达网络的结构 性，反之，当前节点更可能在附近节点游走。
步骤S108：根据所计算的节点之间的跳转概率，通过Alias算法进行顶 点采样。
具体而言，得到跳转概率后，Node2vec不再通过概率随机采样，而是通 过Alias算法进行顶点采样。由于采样时需要考虑之前访问过的顶点，所以 当访问序列中只有1个顶点时，直接使用当前顶点和邻居顶点之间的边权作 为采样依据。当序列多余2个顶点时，可以使用有偏采样。
步骤S109：调整所述Node2vec模型，使所述Node2vec模型符合优化目 标。
具体而言，所述Node2vec模型的优化目标为在给定每个顶点的条件下， 令其近邻顶点出现的概率最大，所述优化目标的目标函数为：
其中，f为节点u映射为向量的映射函数，Ns(U)是通过采样策略s采样 出的顶点u的近邻节点集合，Pr(Ns(u)|f(u))为顶点u的近邻节点集合出现 的概率。所述目标函数基于条件独立性假设和特征空间对称性假设求解。
条件独立性假设为：假设给定顶点下，其近邻节点出现的概率与近邻集 合中其他的邻点无关。
特征空间对称性假设为：一个顶点作为源顶点和近邻顶点共享一套嵌入 向量。
基于以上两个假设，最终目标函数为
由于归一化因子Zu计算代价较高，采用了负采样技术进行优化。
步骤S110：将所述Node2vec模型中输出的节点的向量表示输入ComplEx 模。
步骤S111：通过所述Node2vec模型中输出的节点的向量初始化所述 ComplEx模型。
步骤S112：对所述ComplEx模型的三元组的正样本和负样本进行评分。
步骤S113：根据所述三元组的正样本和负样本的评分计算所述ComplEx 模型的模型损失。
步骤S114：使用Adagrad优化算法使所述损失最小化，以迭代训练获得 旅游场景下的对话预测模型。
具体而言，上述表示学习Node2vec模型学习到节点的embedding信息， 为了进一步对对节点间的链接关系进行建模，本发明提出使用ComplEx模型 将图中的知识表示扩展到复数空间表示，通过引入复值嵌入来更好地对非对 称关系进行建模。在ComplEx中，实体和关系嵌入h，r，t不再存在于实空间 中，而是存在于复空间中。定义三元组的评分函数为：
其中h，t均用复数表示，
表示t的共轭复数，Re(·)表示取复数的实部。 这个评分函数不再是对称的，来自非对称关系的事实可以根据涉及实体的顺 序得到不同的分数。ComplEx模型的输入是有向图，并使用上述的Node2vec 模型的结果对三元组进行评分计算并更新。损失函数为：
其中Δ表示正样本集合，Δ′表示负样本集合。
在本发明提供的旅游场景下的对话预测模型建立方法中，利用图节点表 示学习和知识图谱嵌入等技术，进行对话预测。首先对旅游领域问答意图数 据进行意图序列构建，最终形成意图网络。在此基础上，学习旅游领域问答 意图逻辑，进行对话预测。为后续的意图识别、智能问答等任务建立基础， 提升智能问答效果。本发明提出了构建旅游领域客户意图网络图数据并基于 意图网络图进行对话预测的方法，更好的利用了意图节点之间结构上的连接 信息。在旅游场景下，本文提出的方法，通过Node2vec和ComplEx将旅游意图节点网络中的特征进行充分表征和学习，相对于传统的基于LSTM和 CRF方法而言，性能有较大的提升。该方法可通过用户意图分析及对话预测， 规范用户输入，为后续的意图识别、智能问答等任务建立基础，从而提升智 能客服效果。大大节省人力成本，满足工业化要求。
参见图2，图2示出了根据本发明实施例的旅游场景下的对话预测方法 的示意图。旅游场景下的对话预测方法包括如下步骤：
步骤S201：接收用户的问题；
步骤S202：将用户的问题输入意图模型，进行意图识别；
步骤S203：将所识别的意图输入如上所述的对话预测模型建立方法建立 的对话预测模型中；
步骤S204：所述对话预测模型输出所识别的意图与候选意图的相关性评 分；
步骤S205：将相关性评分最大的候选意图作为所识别的意图的下一意图 预测。
在本发明提供的旅游场景下的对话预测方法中，利用图节点表示学习和 知识图谱嵌入等技术，进行对话预测。首先对旅游领域问答意图数据进行意 图序列构建，最终形成意图网络。在此基础上，学习旅游领域问答意图逻辑， 进行对话预测。为后续的意图识别、智能问答等任务建立基础，提升智能问 答效果。
以上仅仅是示意性地描述本发明的多个实现方式，本发明并非以此为限 制。
本发明还提供一种旅游场景下的对话预测模型建立装置，图3示出了根 据本发明实施例的旅游场景下的对话预测模型建立装置的示意图。旅游场景 下的对话预测模型建立装置300包括采集模块301、第一形成模块302、第二 形成模块303、权重计算模块304、无向图生成模块305、第一输入模块306、 跳转概率计算模块307、顶点采样模块308、优化目标模块309、第二输入模 块310、初始化模块311、评分模块312、模型损失模块313以及损失最小化 模块314。
采集模块301用于采集线上旅行社的历史对话数据；
第一形成模块302用于基于历史对话数据，形成问句序列；
第二形成模块303用于使用意图识别模型识别所述问句序列的意图，形 成意图序列；
权重计算模块304用于根据所述意图序列中的意图节点对的频次，计算 各意图节点之间的权重，以构成意图网络图；
无向图生成模块305用于根据所述意图网络图，生成所述意图网络图的 有权无向图；
第一输入模块306用于将所述有权无向图输入Node2vec模型；
跳转概率计算模块307用于计算所述Node2vec模型的节点之间的跳转概 率；
顶点采样模块308用于根据所计算的节点之间的跳转概率，通过Alias 算法进行顶点采样；
优化目标模块309用于调整所述Node2vec模型，使所述Node2vec模型 符合优化目标；
第二输入模块310用于将所述Node2vec模型中输出的节点的向量表示输 入ComplEx模型；
初始化模块311用于通过所述Node2vec模型中输出的节点的向量初始化 所述ComplEx模型；
评分模块312用于对所述ComplEx模型的三元组的正样本和负样本进行 评分；
模型损失模块313用于根据所述三元组的正样本和负样本的评分计算所 述ComplEx模型的模型损失；
损失最小化模块314用于使用Adagrad优化算法使所述损失最小化，以 迭代训练获得旅游场景下的对话预测模型。
在本发明提供的旅游场景下的对话预测模型建立装置中，利用图节点表 示学习和知识图谱嵌入等技术，进行对话预测。首先对旅游领域问答意图数 据进行意图序列构建，最终形成意图网络。在此基础上，学习旅游领域问答 意图逻辑，进行对话预测。为后续的意图识别、智能问答等任务建立基础， 提升智能问答效果。
图3仅仅是示意性的示出本发明提供的旅游场景下的对话预测模型建立 装置，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明 的保护范围之内。本发明提供的旅游场景下的对话预测模型建立装置可以由 软件、硬件、固件、插件及他们之间的任意组合来实现，本发明并非以此为 限。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上 存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施 例中所述旅游场景下的对话预测方法和/或预测模型建立方法的步骤。在一些 可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式， 其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于 使所述终端设备执行本说明书上述旅游场景下的对话预测方法和/或预测模 型建立方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图5所示，描述了根据本发明的实施方式的用于实现上述方法的程 序产品400，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代 码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不 限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质， 该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以 是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、 磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组 合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个 导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器 (ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧 凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合 适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的 数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形 式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介 质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播 或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。 可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于 无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作 的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、 C++等，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计 语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执 行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设 备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备 的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或 广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例 如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包 括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处 理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述旅游 场景下的对话预测方法和/或预测模型建立方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、 方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即： 完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬 件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5 显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范 围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600 的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、 连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单 元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单 元610执行，使得所述处理单元610执行本说明书上述旅游场景下的对话预 测方法和/或预测模型建立方法部分中描述的根据本发明各种示例性实施方 式的步骤。例如，所述处理单元610可以执行如图1至图3中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机 存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包 括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程 序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或 者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种 组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线 或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总 线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、 蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互 的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行 通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过 输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配 器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或 公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设 备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600 使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处 理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系 统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的 示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来 实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出 来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘， 移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人 计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述旅游场 景下的对话预测方法和/或预测模型建立方法。
相比现有技术，本发明的优势在于：
利用图节点表示学习和知识图谱嵌入等技术，进行对话预测。首先对旅 游领域问答意图数据进行意图序列构建，最终形成意图网络。在此基础上， 学习旅游领域问答意图逻辑，进行对话预测。为后续的意图识别、智能问答 等任务建立基础，提升智能问答效果。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本 公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性 变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公 开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被 视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种旅游场景下的对话预测模型建立方法，其特征在于，包括：
采集线上旅行社的历史对话数据；
基于历史对话数据，形成问句序列；
使用意图识别模型识别所述问句序列的意图，形成意图序列；
根据所述意图序列中的意图节点对的频次，计算各意图节点之间的权重，以构成意图网络图；
根据所述意图网络图，生成所述意图网络图的有权无向图；
将所述有权无向图输入Node2vec模型；
计算所述Node2vec模型的节点之间的跳转概率；
根据所计算的节点之间的跳转概率，通过Alias算法进行顶点采样；
调整所述Node2vec模型，使所述Node2vec模型符合优化目标；
将所述Node2vec模型中输出的节点的向量表示输入ComplEx模型；
通过所述Node2vec模型中输出的节点的向量初始化所述ComplEx模型；
对所述ComplEx模型的三元组的正样本和负样本进行评分；
根据所述三元组的正样本和负样本的评分计算所述ComplEx模型的模型损失；
使用Adagrad优化算法使所述损失最小化，以迭代训练获得旅游场景下的对话预测模型。
2.如权利要求1所述的旅游场景下的对话预测模型建立方法，其特征在于，各意图节点ij和意图节点ii之间的权重
根据如下公式计算：
其中，count(ii,ij)为意图节点对(ii,ij)出现在所有意图序列中的频数，count(ii,ik)表示以ii为头节点的意图节点对出现在所有意图序列中的频数。
3.如权利要求1所述的旅游场景下的对话预测模型建立方法，其特征在于，所述意图网络图的有权无向图采用networkx生成。
4.如权利要求1所述的旅游场景下的对话预测模型建立方法，其特征在于，所述Node2vec模型的节点为根据所输入的有权无向图的随机游走生成的随机游走序列的节点，所述Node2vec模型的节点t跳转到节点v之后，节点v跳转到节点x之间的跳转概率πvx根据如下公式计算：
πvx＝αpq(t,x)·wvx
其中，wvx为边vx的权重，αpq根据如下公式计算：
其中，dtx指的是节点t到节点x的距离，超参数p和q共同控制所述Node2vec模型的随机游走的倾向性。
5.如权利要求1所述的旅游场景下的对话预测模型建立方法，其特征在于，所述Node2vec模型的优化目标为在给定每个顶点的条件下，令其近邻顶点出现的概率最大，所述优化目标的目标函数为：
其中，f为节点u映射为向量的映射函数，Ns(U)是通过采样策略s采样出的顶点u的近邻节点集合，Pr(Ns(u)|f(u))为顶点u的近邻节点集合出现的概率。
6.如权利要求5所述的旅游场景下的对话预测模型建立方法，其特征在于，所述目标函数基于条件独立性假设和特征空间对称性假设求解。
7.一种旅游场景下的对话预测方法，其特征在于，包括：
接收用户的问题；
将用户的问题输入意图模型，进行意图识别；
将所识别的意图输入如权利要求1至6任一项所述的对话预测模型建立方法建立的对话预测模型中；
所述对话预测模型输出所识别的意图与候选意图的相关性评分；
将相关性评分最大的候选意图作为所识别的意图的下一意图预测。
8.一种旅游场景下的对话预测模型建立装置，其特征在于，包括：
采集模块，用于采集线上旅行社的历史对话数据；
第一形成模块，用于基于历史对话数据，形成问句序列；
第二形成模块，用于使用意图识别模型识别所述问句序列的意图，形成意图序列；
权重计算模块，用于根据所述意图序列中的意图节点对的频次，计算各意图节点之间的权重，以构成意图网络图；
无向图生成模块，用于根据所述意图网络图，生成所述意图网络图的有权无向图；
第一输入模块，用于将所述有权无向图输入Node2vec模型；
跳转概率计算模块，用于计算所述Node2vec模型的节点之间的跳转概率；
顶点采样模块，用于根据所计算的节点之间的跳转概率，通过Alias算法进行顶点采样；
优化目标模块，用于调整所述Node2vec模型，使所述Node2vec模型符合优化目标；
第二输入模块，用于将所述Node2vec模型中输出的节点的向量表示输入ComplEx模型；
初始化模块，用于通过所述Node2vec模型中输出的节点的向量初始化所述ComplEx模型；
评分模块，用于对所述ComplEx模型的三元组的正样本和负样本进行评分；
模型损失模块，用于根据所述三元组的正样本和负样本的评分计算所述ComplEx模型的模型损失；
损失最小化模块，用于使用Adagrad优化算法使所述损失最小化，以迭代训练获得旅游场景下的对话预测模型。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至7任一项所述的旅游场景下的对话预测模型建立方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的旅游场景下的对话预测模型建立方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110852341.1A CN113742463B (zh) | 2021-07-27 | 2021-07-27 | 旅游场景下的对话预测方法、装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110852341.1A CN113742463B (zh) | 2021-07-27 | 2021-07-27 | 旅游场景下的对话预测方法、装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113742463A true CN113742463A (zh) | 2021-12-03 |
| CN113742463B CN113742463B (zh) | 2023-11-21 |
Family
ID=78729183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110852341.1A Active CN113742463B (zh) | 2021-07-27 | 2021-07-27 | 旅游场景下的对话预测方法、装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113742463B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114416941A (zh) * | 2021-12-28 | 2022-04-29 | 北京百度网讯科技有限公司 | 融合知识图谱的对话知识点确定模型的生成方法及装置 |
| CN116483981A (zh) * | 2023-06-16 | 2023-07-25 | 北京好心情互联网医院有限公司 | 对话生成方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428015A (zh) * | 2020-03-20 | 2020-07-17 | 腾讯科技（深圳）有限公司 | 一种信息生成方法、装置、设备及存储介质 |
| CN111784062A (zh) * | 2020-07-07 | 2020-10-16 | 上海携旅信息技术有限公司 | 点击概率预测方法、系统、电子设备和介质 |
| CN112102116A (zh) * | 2020-09-18 | 2020-12-18 | 携程计算机技术（上海）有限公司 | 基于旅游会话的输入预测方法、系统、设备及存储介质 |
| US20210073290A1 (en) * | 2019-09-06 | 2021-03-11 | Digital Asset Capital, Inc. | Confidential governance verification for graph-based system |
| CN112835995A (zh) * | 2021-02-04 | 2021-05-25 | 中国互联网络信息中心 | 一种基于解析关系的域名图嵌入表示分析方法及装置 |
| CN112905801A (zh) * | 2021-02-08 | 2021-06-04 | 携程旅游信息技术（上海）有限公司 | 基于事件图谱的行程预测方法、系统、设备及存储介质 |
| CN113158041A (zh) * | 2021-04-19 | 2021-07-23 | 电子科技大学 | 一种基于多属性特征的文章推荐方法 |
-
2021
- 2021-07-27 CN CN202110852341.1A patent/CN113742463B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210073290A1 (en) * | 2019-09-06 | 2021-03-11 | Digital Asset Capital, Inc. | Confidential governance verification for graph-based system |
| CN111428015A (zh) * | 2020-03-20 | 2020-07-17 | 腾讯科技（深圳）有限公司 | 一种信息生成方法、装置、设备及存储介质 |
| CN111784062A (zh) * | 2020-07-07 | 2020-10-16 | 上海携旅信息技术有限公司 | 点击概率预测方法、系统、电子设备和介质 |
| CN112102116A (zh) * | 2020-09-18 | 2020-12-18 | 携程计算机技术（上海）有限公司 | 基于旅游会话的输入预测方法、系统、设备及存储介质 |
| CN112835995A (zh) * | 2021-02-04 | 2021-05-25 | 中国互联网络信息中心 | 一种基于解析关系的域名图嵌入表示分析方法及装置 |
| CN112905801A (zh) * | 2021-02-08 | 2021-06-04 | 携程旅游信息技术（上海）有限公司 | 基于事件图谱的行程预测方法、系统、设备及存储介质 |
| CN113158041A (zh) * | 2021-04-19 | 2021-07-23 | 电子科技大学 | 一种基于多属性特征的文章推荐方法 |
Non-Patent Citations (2)
| Title |
|---|
| XUEMEI YOU等: "Representation method of cooperative social network features based on Node2Vec model", pages 21 - 26, XP086570801, Retrieved from the Internet <URL:《网页在线公开：https://www.sciencedirect.com/science/article/pii/S0140366421001080》> DOI: 10.1016/j.comcom.2021.03.012 * |
| 陈亮等: "基于CoBERT-BiGRU的对话式机器阅读理解", 《计算机应用研究》, vol. 38, no. 7, pages 1983 - 1987 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114416941A (zh) * | 2021-12-28 | 2022-04-29 | 北京百度网讯科技有限公司 | 融合知识图谱的对话知识点确定模型的生成方法及装置 |
| CN114416941B (zh) * | 2021-12-28 | 2023-09-05 | 北京百度网讯科技有限公司 | 融合知识图谱的对话知识点确定模型的生成方法及装置 |
| CN116483981A (zh) * | 2023-06-16 | 2023-07-25 | 北京好心情互联网医院有限公司 | 对话生成方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113742463B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111897941B (zh) | 对话生成方法、网络训练方法、装置、存储介质及设备 | |
| Xie et al. | A survey on machine learning-based mobile big data analysis: Challenges and applications | |
| US11093857B2 (en) | Method and apparatus for generating information | |
| CN110807566A (zh) | 人工智能模型评测方法、装置、设备及存储介质 | |
| CN113742463A (zh) | 旅游场景下的对话预测方法、装置、电子设备、存储介质 | |
| CN111783903B (zh) | 文本处理方法、文本模型的处理方法及装置、计算机设备 | |
| CN113704388A (zh) | 多任务预训练模型的训练方法、装置、电子设备和介质 | |
| CN113254716B (zh) | 视频片段检索方法、装置、电子设备和可读存储介质 | |
| CN111931067A (zh) | 兴趣点推荐方法、装置、设备和介质 | |
| US20220414689A1 (en) | Method and apparatus for training path representation model | |
| CN111813910A (zh) | 客服问题的更新方法、系统、终端设备及计算机存储介质 | |
| CN112395502A (zh) | 一种页面显示方法、装置、电子设备及计算机存储介质 | |
| CN110465089A (zh) | 基于图像识别的地图探索方法、装置、介质及电子设备 | |
| CN114579892B (zh) | 一种基于跨城市兴趣点匹配的用户异地访问位置预测方法 | |
| CN113158030B (zh) | 异地兴趣点的推荐方法、装置、电子设备及存储介质 | |
| CN111126422A (zh) | 行业模型的建立及行业的确定方法、装置、设备及介质 | |
| US20230229913A1 (en) | Method and Apparatus for Training Information Adjustment Model of Charging Station, and Storage Medium | |
| CN110781313A (zh) | 一种图存储优化方法、装置和电子设备 | |
| CN114416941B (zh) | 融合知识图谱的对话知识点确定模型的生成方法及装置 | |
| US20230306602A1 (en) | Information generation method and apparatus, electronic device, and computer readable medium | |
| CN115470798A (zh) | 意图识别模型的训练方法、意图识别方法、装置及设备 | |
| CN115222047A (zh) | 一种模型训练方法、装置、设备及存储介质 | |
| CN115312040A (zh) | 语音唤醒方法、装置、电子设备和计算机可读存储介质 | |
| CN114596054A (zh) | 针对数字化办公的业务信息管理方法及系统 | |
| CN114625967A (zh) | 基于大数据业务优化的用户信息挖掘方法及人工智能系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |