CN108780464A - 用于处理输入查询的方法和系统 - Google Patents

用于处理输入查询的方法和系统 Download PDF

Info

Publication number
CN108780464A
CN108780464A CN201780018831.3A CN201780018831A CN108780464A CN 108780464 A CN108780464 A CN 108780464A CN 201780018831 A CN201780018831 A CN 201780018831A CN 108780464 A CN108780464 A CN 108780464A
Authority
CN
China
Prior art keywords
output data
gram
recurrent neural
neural networks
input inquiry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780018831.3A
Other languages
English (en)
Inventor
何靖
J·梅赫布-哈布
叶正
K·萨勒曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marruba Co
Maluuba Inc
Original Assignee
Marruba Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marruba Co filed Critical Marruba Co
Publication of CN108780464A publication Critical patent/CN108780464A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0613—Third-party assisted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Algebra (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

所公开的实施例包括涉及改进自然语言处理的系统和方法，该自然语言处理被用于从给定输入字符串中确定意图以及一个或多个相关联的参数。在实施例中，输入字符串被接收，并且不同的第一n元语法和第二n元语法被应用于该输入字符串。然后，递归神经网络模型被使用以部分地基于不同的第一n元语法和第二n元语法来生成输出数据。意图检测和语义标记被应用于递归神经网络模型的输出。

Description

用于处理输入查询的方法和系统
相关申请的交叉引用
本申请于2017年3月31日作为PCT国际申请提交，并且要求于2016年3月31日提交的美国临时专利申请号62/316,208的优先权，出于任何和所有目的，其内容通过整体引用并入于此。
技术领域
本说明书涉及用于处理输入查询的方法和系统，并且更具体地涉及处理自然语言查询。
背景技术
自然语言处理(NLP)是计算机科学、人工智能和语言学的领域，涉及计算机与人类(自然)语言之间的交互。如此，NLP与人机交互领域有关。NLP中的许多挑战涉及自然语言理解，这将使得计算机能够从人类或自然语言输入中获得含义。
发明内容
根据本说明书的一个方面，提供了用于处理输入查询的方法和系统。
在示例中，处理输入查询的方法包括：接收输入查询，其中输入查询包括多个单词；将输入查询存储在存储器存储单元中；将第一n元语法和第二n元语法分配给多个单词，其中第一n元语法与第二n元语法不用；将第一递归神经网络模型应用于第一n元语法，以生成第一输出数据；将第二递归神经网络模型应用于第二n元语法，以生成第二输出数据；以及将意图检测和语义标记应用于第一输出数据和第二输出数据。
在另一示例中，提供了用代码编码的非暂时性计算机可读介质，代码用于指示处理器以：接收输入查询，其中输入查询包括多个单词；将输入查询存储在存储器存储单元中；将第一n元语法和第二n元语法分配给多个单词，其中第一n元语法与第二n元语法不同；将第一递归神经网络模型应用于第一n元语法，以生成第一输出数据；将第二递归神经网络模型应用于第二n元语法，以生成第二输出数据；以及将意图检测和语义标记应用于第一输出数据和第二输出数据。
在又一示例中，存在处理输入查询的方法，包括：接收输入查询，其中输入查询包括多个单词；将输入查询存储在存储器存储单元中；将第一n元语法和第二n元语法分配给多个单词，其中第一n元语法与第二n元语法不同；在第一层中，将第一递归神经网络模型应用于第一n元语法以生成第一输出数据，并且将第二递归神经网络模型应用于第二n元语法以生成第二输出数据；池化来自第一层的第一输出数据和第二输出数据，以生成用于第二层的输入数据；以及在第二层中，将递归神经网络模型应用于输入数据以生成最终输出数据。
发明内容被提供以简化的形式介绍一些代表性概念，这些概念将在下面的说明书中进一步被描述。发明内容并不旨在标识所要求保护的技术主题的关键特征或必要特征，也不旨在以限制所要求保护的技术主题的范围的任何方式被使用。
通过以下结合附图的详细描述，本发明的其他方面和优点将变得显而易见，附图通过示例的方式示出了本发明的原理。
附图说明
现在仅通过示例的方式参考附图。
图1图示了计算机网络系统的示意性表示。
图2图示了示出服务器的各种组件的示意性框图。
图3图示了处理由流程图形式表示的服务器执行的输入查询的方法。
图4图示了图3的方法的实施方式。
具体实施方式
所公开的实施例涉及对自然语言处理系统的改进，该自然语言处理系统可以被用来从给定输入字符串确定意图和一个或多个相关联的参数。一些输入(诸如口头语言指令)可能具有相对较小的上下文，对于一些自然语言处理系统(例如，基于神经网络的自然语言处理系统)来说，这可能是具有挑战性的。所公开的实施例可以涉及对改进自然语言处理，包括改进口头语言指令的意图和参数检测的准确性。
所公开的实施例还可以以资源有效的方式提供自然语言处理，这可以使资源受限的设备(例如，诸如车辆头部单元的嵌入式系统)能够提供自然语言处理功能。例如，所公开的实施例可以使用递归神经网络和向量图。这种安排可以提供稳健的自然语言处理功能，其具有小内存占用，并且对外部资源的需求很少。相比之下，传统的自然语言处理系统可能需要大量的知识库、本体或外部资源来执行处理，这可以限制自然语言处理可以在其上被使用的设备的种类。
在示例中，所公开的实施例可以接收输入作为字符串。例如，用户可以要求数字个人助理“Call John Smith”，其可以使用语音到文本系统而被转换为字符串。输入可以被分成不同的表示，诸如不同的n元语法(例如，一元语法、二元语法、三元语法)、概念向量序列、音素序列或其他表示。例如，字符串可以被划分为一元语法“Call”、“John”和“Smith”；二元语法“Call_John”和“John_Smith”；以及三元语法“Call_John_Smith”。
所公开的实施例可以使用概念向量来提供对具有动态改变的含义的输入的改进分析。例如，如果系统不理解单词形成电影标题，则组成电影标题的单词可能对自然语言处理系统来说缺乏含义或引起误导。例如，组成“10Cloverfield Lane”的单词可以具有一个含义，但是如果自然语言处理系统理解该短语是指地址或具有该标题的2016年电影，则该短语可以具有完全不同的含义。所公开的实施例可以使用概念向量(例如，具有特定含义的词汇或单词列表)来帮助解决这些情况。例如，作为电影标题并且可能通常被标记为具有未知表示的短语可以被给予概念向量表示。类似的方法可以被应用于作为人员联系人列表一部分的项目。例如，在许多用途中，单词“He”是代词，但在其他用途中，“He”可以是人的名字的一部分。如果该名字出现在用户的联系人列表中，则自然语言处理系统在一些情况下可以给予单词“He”概念向量表示。
接下来，预处理步骤可以被应用以将序列转换成可由递归神经网络使用的格式，诸如向量格式。在示例中，这可以使用嵌入来执行。(例如，从字符串到向量的映射)。在示例中，背景语料库(例如，以地图或字典的格式)可以被使用。在地图或字典中没有对应的向量的情况下，“未知”标签或向量可以被使用。
嵌入可以是预训练的短语嵌入。用于嵌入的短语可以使用各种技术来确定。在一种技术中，浅解析器在文本上被运行，并且名词短语被用作短语。另一种技术可以涉及收集命名实体或使用知识图或本体中的项目。另一种技术是使用从语料库收集的PMI(逐点互信息)。在示例中，在选择使用“call_John”或“john_smith”作为n元语法的情况下，具有较高PMI分数的表示可以被选择。
嵌入可以使用各种技术来初始化，诸如skip-gram模型(word2vec)。参见Mikolov等人的“单词和短语的分布式表示及其组合性”，arXiv：1310.4546[cs.CL](2013年10月16日)，其出于任何和全部的目的而通过引用并入本文。技术还可以包括随机初始化嵌入或使用全局向量以用于单词表示(GloVe)。
继续示例，一元语法“Call”、“John”和“Smith”都可以在嵌入中并被转换成向量。对于二元语法，可以存在用于“John Smith”的嵌入。在示例中，“John Smith”可以在概念向量中被找到。很可能不存在用于“Call John”的嵌入。在这种情况下，一元语法“Call”可以替代地被使用，或者它可以被给予指示其未知的标记。也很可能不存在用于三元语法“CallJohn Smith”的嵌入。在这种情况下，三元语法可以被给予未知标签，或者它的一元语法值可以被使用。
然后，这些向量被用作它们自己的特定递归神经网络的输入。在示例中，可以存在特定于一元语法(例如，在一元语法上被训练)的一个递归神经网络，特定于二元语法的另一递归神经网络，等等。在一些示例中，还可以存在特定于序列方向(例如，前向或后向)的递归神经网络。在一些示例中，具有不同方向的神经网络的输出可以被连接。例如，前向二元语法神经网络的输出可以与后向二元语法神经网络的输出相连接。继续“Call JohnSmith”的示例，前向一元语法递归神经网络上的“Smith”的输出可以与后向一元语法递归神经网络上的“Call”的输出相连接。然后，用于“Call Smith”的结果向量可以代表整个序列。
对于每个序列或序列的每个单词，递归神经网络的输出可以是基于该序列的其他部分的单词的表示。例如，输出可以表示、包括或基于对一个序列的每个输入单词在其他序列的上下文中的含义的理解或近似。这允许解释基于输入的整个上下文。使用该输出，可以确定哪个表示(例如，二元语法表示、三元语法表示、概念向量表示)是最重要的或有用的。
池化操作(例如，最大池化)可以被应用于神经网络的输出，以产生针对每个单词的单个表示。例如，这可以导致每个单词从多个不同的表示(例如，一元语法、二元语法、三元语法和概念向量)到单个表示。可选地，该表示可以被用作一个或多个神经网络或其他机器学习过程的输入。
接下来，每个单词表示可以被提供作为条件随机字段的输入，并确定最可能的序列(例如，使用维特比算法或其变体)来标记每个单词。这可以包括使用“内部-外部-开始”的标签来标记每个单词。例如，“Call”可以被分配外部标签，“John”可以被分配开始标签，并且“Smith”可以被分配内部标签。该信息可以被用来确定意图和相关联的参数。
如果给定“Call John Smith”的文本输入，自然语言处理系统的输出可以是：该输入的意图是“Call”，并且参数是“联系人名字：John Smith”。该输出可以由例如车辆头部单元或设备使用，以执行该结果。
图1图示了计算机网络系统50的示意性表示。应该理解，系统50完全是示例性的，并且对于本领域技术人员来说显而易见的是，各种计算机网络系统是可以预期的。系统50包括服务器54、客户端设备70和外部服务提供商90。服务器54、客户端设备70和外部服务提供商90通过网络95来连接。网络95不受特别限制，并且可以包括任何类型的网络，诸如因特网、内联网、局域网、移动网络、或这些类型的网络中的任何一种的组合。在一些实施例中，网络95还可以包括对等网络。
在本实施例中，服务器54可以是通常被用来接收输入、处理输入和提供输出的任何类型的计算设备。服务器54不受特别限制，并且可以包括取决于服务器54的特定应用的各种不同设备。例如，服务器54可以针对其在系统50中的特定角色进行优化，诸如用于与客户端设备70和外部服务提供商90通信。服务器54的合适设备可以包括运行UNIX操作系统并且具有多个处理器的高性能刀片服务器系统。备选地，服务器54可以包括诸如个人计算机、个人数字助理、平板计算设备、蜂窝电话或膝上型计算机的设备，其被配置为对不要求具有显著处理能力的服务器的系统执行类似的功能。在其他实施例中，服务器54还可以被实现为虚拟服务器、云中的租用服务器会话或上述的任何组合。
客户端设备70可以是被用来通过网络95与服务器54通信的任何类型的计算设备，以用于通常处理来自用户的输入查询。应该理解的是，通常，客户端设备70包括被存储在计算机可读介质上的代码形式的编程指令，以用于执行诸如以可下载的应用程序形式的功能。例如，客户端设备70可以是个人计算机、膝上型计算机、便携式电子设备、游戏设备、移动计算设备、便携式计算设备、平板计算设备、个人数字助理、手机、智能手机等。作为示例，客户端设备70可以是嵌入式系统，诸如可以在车辆的头部单元中被找到的语音激活设备(例如，设备)。作为又一示例，客户端设备70可以是智能家居系统、智能扬声器系统或可穿戴设备。在本实施例中，客户端设备70被配置为从用户接收输入查询并将输入查询发送到服务器54并响应于输入查询提供信息。输入查询不受特别限制，并且可以是任何类型的输入查询，诸如来自外部服务提供商90的对服务的请求或者通过与客户端设备70执行功能来控制客户端设备70的指令。另外，输入查询的格式不受特别限制。例如，输入查询可以经由麦克风作为音频输入而被接收，或者作为经由键盘型输入设备所接收的文本字符串而被接收。在另一实施例中，客户端设备70不需要将输入查询发送到服务器54。相反，被描述为在服务器54上发生的一些或所有处理可以在客户端设备70上进行，而不一定需要连接到网络。
在本实施例中，外部服务提供商90通常被配置为基于输入查询提供服务。本领域技术人员从本说明书的益处可以理解的是，外部服务提供商90可以是任何类型的服务提供商，诸如搜索引擎、在线商店、地图服务、预订工具和家庭自动化系统。外部服务提供商90的操作方式不受特别限制。例如，外部服务提供商90可以与提供一般企业(诸如餐馆、酒店、剧院等)的数据库的服务相关联，客户端设备70处的用户可能想要搜索、预订或获得更多信息。作为另一示例，外部服务提供商90可以是提供诸如天气、新闻、地图信息或一般知识的信息的服务提供商。应该理解，利用本说明书的益处，尽管单个外部服务提供商90在图1中被示出，但是其不必限于外部服务提供商90。例如，在其他实施例中，系统50可以被修改为包括多个外部服务提供商，其中每个外部服务提供商可以提供不同的服务，并且输入查询所针对的确切的外部服务提供商可以取决于输入查询的意图。在其他实施例中，外部服务提供商90可以在服务器54内的内部服务提供商中被修改，或者在没有外部服务被提供时可以完全被省略，诸如，对于受限于处理针对客户端设备70的局部特征的控制的输入查询的系统。
应该再次强调的是，上述系统50仅是非限制性表示。例如，尽管图1中所示的本实施例的网络95连接服务器54、客户端设备70和外部服务提供商90，但是其他实施例可以包括用于将服务器54连接到客户端设备70以及将服务器54连接到外部服务提供商90的单独网络。
图2图示了示出服务器54的各种组件的示意性框图。应该强调的是，图2中的结构完全是示例性的，并且若干不同的实现和配置可以被预期。如所图示的，服务器54包括网络接口60、预处理模块62、以及存储器存储单元64、后处理模块66和处理器68。
网络接口60不受特别限制，并且可以包括各种网络接口设备，诸如能够通过网络95与客户端设备70和外部服务提供商90通信的网络接口控制器(NIC)。在本实施例中，网络接口60通常被配置为经由标准以太网连接来连接到网络95。
预处理模块62不受特别限制，并且可以是能够预处理输入查询的任何模块，如下面所更详细地讨论的。例如，预处理模块62可以是服务器54内的单独处理器，其被配置为仅用于将输入查询预处理为n元语法。本领域技术人员从本说明书的益处可以理解的是，在一些实施例中，预处理模块62可以是可选的，其中预处理由客户端设备70或单独的外部服务(未被示出)执行。在其他实施例中，预处理模块62还可以被修改以使用处理器68来执行。
存储器存储单元64可以是任何类型，例如非易失性存储器(例如电可擦除可编程只读存储器(EEPROM)、闪存、硬盘、软盘、光盘、固态驱动器或磁带驱动器)或易失性存储器(例如随机存取存储器(RAM))。在本实施例中，存储器存储单元64通常被配置为临时存储从客户端设备70接收的用于处理的输入查询，以及用于传送到外部服务提供商90的输出。另外，存储器存储单元64被配置为存储用于指示处理器68的代码，以执行计算机实现的方法。例如，代码可以包括在下面进一步被描述的编程指令100。
后处理模块66不受特别限制，并且可以是能够对从处理所生成的输出数据进行后处理的任何模块，以确定输入查询的意图和标记输入查询的部分。例如，后处理模块可以是服务器54内的单独处理器，其被配置为仅用于后处理输出数据。本领域技术人员从本说明书的益处可以理解的是，在一些实施例中，后处理模块62可以是可选的，其中后处理由单独的外部服务(诸如外部服务提供商90)执行。在其他实施例中，后处理模块66还可以被修改为使用处理器68或与预处理模块62组合来执行。在本实施例中，预处理模块62被配置为执行规范化和标准化(例如日期、时间、分类单词)，其中合并实体或联系人名字和上下文查找表，用于连接到外部服务提供者90以执行特定任务。
处理器68不受特别限制，并且通常被配置为执行编程指令100以处理输入查询。输入查询被处理的方式不受特别限制，并且将在下面更详细地被讨论。例如，为了提供对本实施例更清楚的理解，可以假设输入查询是“I want to buy x box 360at best buy”。应该理解，输入查询可以是基于在客户端设备70处所接收的音频输入的语音识别模块的输出。编程指令100将指示处理器68处理输入查询，以最终生成单个向量，从该向量可以识别输入查询的意图。另外，单个向量还可以允许语义标记，其中输入查询中的单词和/或短语被标记并传送到外部服务提供商90，以进行进一步处理。
图3图示了处理由以流程图的形式表示的服务器54执行的输入查询的方法500。为了帮助解释方法500，将假设方法500使用系统50来执行。此外，以下对方法500的讨论将导致对系统50及其各种组件的进一步理解。特别地，应当理解，在一个实施例中，服务器54的编程指令100指示处理器68执行下面所讨论的方法。然而，应该理解，系统50和/或方法500可以被改变，并且不需要完全如本文中结合彼此所讨论的那样工作，并且这些变化在本发明的范围内。此外，应该强调的是，方法500不需要以所示的确切顺序来执行，并且不同的块可以被并行执行而不是按顺序来执行。因此，方法500的元素在本文中被称为“块”而不是“步骤”。
块510包括在服务器54处从客户端设备70接收具有多个单词的输入查询。在本实施例中，输入查询作为来自客户端设备70的文本字符串被接收。然而，应该理解，利用本说明书的益处，接收输入查询的方式不受特别限制。例如，输入查询可以以其他格式被接收，诸如音频文件、图像文件、专有格式或加密格式。此外，输入查询还可以从客户端设备70以预处理格式被接收。例如，在其他实施例中，在服务器54接收经预处理的输入查询之前，在下面更详细地被讨论的以下块中的一个或多个可以在客户端设备70上被执行。
块520包括将在块510处所接收的输入查询存储在存储器存储单元64中。应该理解，利用本说明书，输入查询被存储以便于对后续处理的检索。例如，服务器54可以被配置为经由网络接口60从客户端设备70和/或其他设备接收多个输入查询。输入查询被存储的方式不受特别限制。例如，输入查询可以被存储在数据库中以供后续检索和/或作为历史数据。特别地，输入查询可以与结果一起被存储，并被用于类似于提高一些系统的速度和性能的后续查询。作为另一示例，输入查询可以与附加输入查询一起被存储在队列中，每个附加输入查询都按预定顺序被处理。
块530包括将第一n元语法和不同的第二n元语法分配给输入查询中的多个单词。在本实施例中，n元语法使用预处理模块62来分配。多个单词被划分为n元语法的方式不受特别限制。在本实施例中，预处理模块62基于被存储在背景语料库中的信息来标识所有可能的二元语法、三元语法、四元语法、五元语法等。背景语料库也不受特别限制。例如，本实施例中的背景语料库包括实时查询日志、各种训练数据集和外部提供商的样本。在本实施例中，第一n元语法只包括一元语法，并且第二n元语法包括二元语法。应该理解，利用本说明书的益处，第二n元语法基于输入查询中的多个单词与背景语料库中的已知二元语法的匹配组合来分配，将剩余的单词留作一元语法。在其他实施例中，n元语法可以使用其他方法来分配，诸如仅将二元语法分配给多个单词。在这样的实施例中，不在背景语料库中的单词被分配为词汇表之外的单词。
继续输入查询为“I want to buy x box 360at best buy”的当前示例，预处理模块62将分配第一n元语法，包括单体的单词：I，want，to，buy，x，box，360，at，best，buy。预处理模块62还可以分配第二n元语法，包括二元语法，诸如：I_want，want_to，to_buy，x_box，box_360，at，best_buy。应该理解，利用本说明书的益处，单词“want”，“box”和“to”在第二n元语法中出现两次，每个单词需要相关的二元语法。第一个want_to是对于单词“want”。二元语法候选者取自多个单词中的单词，这些单词将形成具有该单词的二元语法。因此，对于“to”，候选者为“to_buy”和“want_to”。在本实施例中，语料库中具有最高逐点共同信息的候选者被选择。在其他实施例中，其他方法可以被使用，诸如使用语言模型对二元语法进行评分。此外，如果“to_buy”不在背景语料库中，则仅有的选项为“want_to”。在又一实施例中，如果“I_want”是被分配的二元语法，则n元语法中重叠的二元语法可以被排除，使得“want_to”将不是被允许的二元语法。
尽管本示例限于两个n元语法，但是本领域技术人员从本说明书的益处可以理解，可以被分配给输入查询的多个单词的n元语法的数量不受限制。例如，第三n元语法也可以被分配给多个单词。第三n元语法可以是包括来自上面所讨论的第二n元语法的不同二元语法的另一n元语法，或者第三n元语法可以包括三元语法、二元语法和/或一元语法。类似地，附加的n元语法可以被分配给多个单词。
块540包括将递归神经网络(RNN)模型应用于第一n元语法和第二n元语法，以在第一层中生成单独的输出数据。在本实施例中，递归神经网络模型独立地被应用于每个n元语法，以生成独立的输出数据。然而，应该理解，变化是可以预期的。例如，递归神经网络模型可以在前向方向上被执行，以生成输出数据。备选地，递归神经网络模型可以在向后方向上被执行，以生成输出数据。在其他实施例中，对于每个n元语法，递归神经网络模型可以在前向和后向两个方向上被执行，以生成单独的输出数据，这些单独的输出数据被连接在一起，以为每个n元语法提供输出数据。在前向方向上执行递归神经网络模型生成表示n元语法的一个向量作为输出，并且在后向方向上执行递归神经网络模型生成另一向量。这些向量被连接在一起作为块550的输出。
应该理解，将递归神经网络模型应用于n元语法不受特别限制，并且递归神经网络模型的各种组合可以被使用。例如，不同的递归神经网络模型可以被用于不同的n元语法。不同的递归神经网络模型可以在不同类型的n元语法上被训练。可以存在使用一元语法来训练的递归神经网络模型，使用二元语法来训练的递归神经网络模型，使用三元语法来训练的递归神经网络模型，等等。此外，还可以存在在特定方向上使用n元语法来训练的递归神经网络模型，诸如前向或后向。在递归神经网络模型被应用于n元语法的情况下，n元语法可以基于n元语法的类型被匹配到各个模型(例如，前向二元语法训练的递归神经网络可以在前向方向上被应用到二元语法)。
作为另一示例，在三个n元语法被分配给多个单词的实施例中，第一n元语法和第二n元语法可以使用相同的递归神经网络模型，而第三n元语法可以使用相同的递归神经网络模型或者概念向量递归神经网络模型。这些实施例中的概念向量基于改进嵌入而被存储在实体列表中。概念向量提供了一种机制，以允许从大型语料库中学习到的全局知识的方式将策划信息引入到递归神经网络。概念组中的单词向量被调整为接近，同时尽可能地在单词嵌入训练中保持其原始形式。虽然实施例参考递归神经网络而被公开，但是其他类型的神经网络或机器学习技术可以更广泛地被使用。例如，卷积神经网络可以被使用。
块550包括池化来自第一层的输出数据以生成用于第二层的输入数据。输出数据被池化的方式不受特别限制。在本实施例中，输出数据被最大池化，以提供用于第二层的输入。在其他实施例中，来自块540的输出可以以向的量形式被连接。在进一步的实施例中，线性组合还可以被执行。
应该理解，在一些实施例中，来自第一层中的递归神经网络模型的应用的输出数据可以生成具有不同维度的单独输出数据。相应地，线性变换可以被应用于一个或多个输出数据以改变维度，以适合后续第二层的递归神经网络模型。
块560包括将递归神经网络模型应用于从第二层中的块550的执行所生成的池化数据，以生成第二层输出数据。在本实施例中，在块560中被生成的第二层输出数据是最终输出数据(即，第二层是最终层)。然而，应该理解，变化是可以预期的。例如，递归神经网络模型可以具有类似于块540或块560的应用的附加层，以通过允许决策边界中的更多复杂度来提高准确性。相应地，添加更多层可以实现改进的区分。另外，堆叠层已经表明，它可以形成能更好地概括先前未被呈现的数据的更高级别的表示。然而，本领域技术人员应当理解，添加层增加了复杂度成本，并且如果没有足够的数据，则过度拟合的风险增加。
块570包括连接来自块560的输出数据，以生成单个向量。在本实施例中，单个向量输出包括结束状态连接和单词级连接。然后，单个向量可以被提供给递归神经网络的输出层，用于意图检测和语义标记。
意图检测被执行的方式不受特别限制。在本实施例中，输出层对单个向量执行柔性最大值(softmax)回归分析。在其他实施例中，诸如前馈神经网络或支持向量机的备选分类器可以被使用。
语义标记被执行的方式不受特别限制。在本实施例中，来自多个单词的每个单词或短语利用语义标记来标记。例如，标记可以使用条件随机场(CRF)分析来生成。应该理解，利用本说明书的益处，通过使用如上所述所导出的意图，条件随机场分析的准确性可以被提高。在其他实施例中，诸如前馈神经网络或支持向量机的备选分类器可以被使用。
应该强调，上述方法500仅是非限制性表示。例如，尽管本实施例讨论了与单词相关联的n元语法，但是本领域技术人员应该理解，变化是可以预期的，并且其他类型的n元语法可以使用方法500来处理。例如，n元语法可以表示其他形式的输入，诸如音素转录、字符级别和概念(例如地名录)。
图4图示了方法500的实施方式。对于该示例，可以假设输入查询为“best buyaround area”。应该理解，所示示例是非限制性的，并且旨在作为执行方法500的一个示例。如图所示，每个n元语法独立地进入第一层的递归神经网络模型。然后，它们的输出遍历最大池化层并且合并。
自然语言理解模型的第一步骤是遍历背景语料库，并且为每个n元语法返回一个短语嵌入向量。未被包含在背景语料库中的短语被注释为未知。在第一层之前，线性变换改变每个向量的维度，以适应递归神经网络模型。应该理解，利用本说明书的益处，在具有多个层的实施例中，线性变换可以在每个层之前被执行。随后，每个向量通过图4中所示的三个递归神经网络门进行线性变换，这三个递归神经网络门是递归神经网络模型的输入。使用输入x，以下xh，xz和xr被获得：
xh＝xWh+bh
xz＝xWz+bz
xr＝xWr+br
递归神经网络模型具有两个方向：前向和后向。递归神经网络的前向方向从句子的开头开始一次接收一个单词。门控递归单元在递归神经网络中被使用，以防止梯度消失问题。在门控递归单元中，复位状态使用当前复位门输入和前一单词的隐藏状态来计算，并且使用sigmoid激活。在第一个单词处，先前的隐藏状态是0s的向量。
rt＝σ(xrt+Urht-1)
然后，候选激活通过执行复位状态与先前隐藏状态的逐个元素相乘来计算，并被添加到变换后的当前状态门输入。最后，复位状态使用tanh来激活。
最后，更新状态被计算，其确定输出，以及与当前状态相比多少隐藏状态被保留。更新状态使用更新输入门和变换的隐藏状态来计算。
zt＝σ(xzt+Uzht-1)
后向递归神经网络使用相同的机制，但从句子的最后一个单词到第一个单词。
在第一递归层之后，递归神经网络模型使用前向和后向输出的最大池化来组合来自一元语法、二元语法和三元语法的结果。然后，前向和后向网络的输出被连接在一起，以成为下一层递归神经网络的n元语法的输出。在最终层中，来自前向和后向递归神经网络模型的每个单词的输出被连接成单个向量。
在最后递归层之后，该句子的用户意图和语义标记将使用后处理来提供。对于意图检测，柔性最大值被应用于后向网络中输出的前几个单词和前向网络中输出的最后几个单词的连接。对于语义标记，柔性最大值意图输出到句子中的每个单词向量被连接，允许它使用关于意图分类的信息。线性变换被执行，将维度改变为可能的语义标记的数量。然后，条件随机字段被用来执行语义标记。
使用维特比算法，不是对每个单词单独计算最可能的类，而是对于整个句子，最可能的序列被计算。在一些示例中，维特比算法的输出可以基于意图而受限。例如，在意图为“call”的情况下，输出可以被限制为“contact names”，以限制潜在的错误输出(例如，当意图是“call”时，使得输出是“day of the week”)。
在本实施例中，条件随机字段使用从序列中的第一个单词开始的动态编程来填充两个表。在前向编码期间，所有序列的可能性被计算，然后在后向解码期间，最可能的序列被计算。该步骤使用转移矩阵，该转矩矩阵是方形矩阵，其给出在时间t处标签之前的时间t-1处的标签的可能性的分数。
在这些步骤中的每个步骤处，使用相同的方程式但使用argmax代替max来填充第二表。这些表是αmax和αargmax。以下方程式被使用：
α1 max(Y1)＝maxy1(x1(y1)+Tr(y1,y2))
对于每个可能的标签如Y2。然后从单词2到倒数第二个单词，以下方程式被使用：
最后，在最后一个单词处，后向解码被执行：
yT＝argmaxyt(xT(yT)+αT-1 max(yT))
然后从时间T-1到1，以下方程式被计算：
yi＝αargmax[argmax(yi+1)]
虽然特定实施例已经被描述和说明，但是这些实施例应该仅被认为是说明性的，并且不应该用于限制所附权利要求。

Claims (15)

1.一种处理输入查询的方法，所述方法包括：
接收所述输入查询，其中所述输入查询包括多个单词；
将所述输入查询存储在存储器存储单元中；
将第一n元语法和第二n元语法分配给所述多个单词，其中所述第一n元语法与所述第二n元语法不同；
将第一递归神经网络模型应用于所述第一n元语法，以生成第一输出数据；
将第二递归神经网络模型应用于所述第二n元语法，以生成第二输出数据；以及
将意图检测和语义标记应用于所述第一输出数据和所述第二输出数据。
2.根据权利要求1所述的方法，其中所述第一n元语法包括一元语法。
3.根据权利要求2所述的方法，其中所述第二n元语法包括二元语法。
4.根据权利要求1所述的方法，进一步包括：
将第三n元语法分配给所述多个单词。
5.根据权利要求4所述的方法，进一步包括：
将第三递归神经网络模型应用于所述第三n元语法，以生成第三输出数据，其中所述意图检测和语义标记进一步被应用于所述第三输出数据。
6.根据权利要求4所述的方法，进一步包括：
将概念向量递归神经网络模型应用于所述第三n元语法，以生成第三输出数据，其中所述意图检测和语义标记进一步被应用于所述第三输出数据。
7.根据权利要求4所述的方法，其中所述第三n元语法包括三元语法。
8.根据权利要求1所述的方法，进一步包括：
通过对所述第一输出数据和所述第二输出数据应用柔性最大值回归分析来检测意图。
9.根据权利要求1所述的方法，进一步包括：
通过应用条件随机场分析，利用语义标记从所述多个单词中标记每个单词。
10.根据权利要求9所述的方法，其中所述条件随机场分析使用所述意图以用于分类。
11.一种用代码编码的非暂时性计算机可读介质，所述代码用于指示处理器以：
接收输入查询，其中所述输入查询包括多个单词；
将所述输入查询存储在存储器存储单元中；
将第一n元语法和第二n元语法分配给所述多个单词，其中所述第一n元语法与所述第二n元语法不同；
将第一递归神经网络模型应用于所述第一n元语法，以生成第一输出数据；
将第二递归神经网络模型应用于所述第二n元语法，以生成第二输出数据；以及
将意图检测和语义标记应用于所述第一输出数据和所述第二输出数据。
12.根据权利要求11所述的非暂时性计算机可读介质，其中所述代码进一步指示所述处理器池化所述第一输出数据和所述第二输出数据。
13.根据权利要求12所述的非暂时性计算机可读介质，
其中所述代码进一步指示所述处理器提供被池化的所述第一输出数据和所述第二输出数据，以作为向第三神经网络模型的输入；以及
其中将意图检测和语义标记应用于所述第一输出数据和所述第二输出数据包括：将意图检测和语义标记应用于所述第三神经网络模型的输出。
14.根据权利要求11所述的非暂时性计算机可读介质，其中应用所述第一递归神经网络模型包括：在前向方向上应用所述第一递归神经网络模型，以生成前向输出数据。
15.根据权利要求14所述的非暂时性计算机可读介质，
其中应用所述第二递归神经网络模型包括：在后向方向上应用所述第二递归神经网络模型，以生成后向输出数据；以及
其中所述代码进一步指示所述处理器连接所述前向输出数据和所述后向输出数据。
CN201780018831.3A 2016-03-31 2017-03-31 用于处理输入查询的方法和系统 Withdrawn CN108780464A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662316208P 2016-03-31 2016-03-31
US62/316,208 2016-03-31
PCT/IB2017/000457 WO2017168252A1 (en) 2016-03-31 2017-03-31 Method and system for processing an input query

Publications (1)

Publication Number Publication Date
CN108780464A true CN108780464A (zh) 2018-11-09

Family

ID=59959439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780018831.3A Withdrawn CN108780464A (zh) 2016-03-31 2017-03-31 用于处理输入查询的方法和系统

Country Status (4)

Country Link
US (1) US10437929B2 (zh)
EP (1) EP3436989A4 (zh)
CN (1) CN108780464A (zh)
WO (1) WO2017168252A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993140A (zh) * 2019-04-09 2019-07-09 上海市刑事科学技术研究院 一种现场纹身取证手持装置及系统、控制方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101778679B1 (ko) * 2015-10-02 2017-09-14 네이버 주식회사 딥러닝을 이용하여 텍스트 단어 및 기호 시퀀스를 값으로 하는 복수 개의 인자들로 표현된 데이터를 자동으로 분류하는 방법 및 시스템
WO2017217661A1 (ko) * 2016-06-15 2017-12-21 울산대학교 산학협력단 어휘 의미망을 이용한 단어 의미 임베딩 장치 및 방법과, 어휘 의미망 및 단어 임베딩을 이용한 동형이의어 분별 장치 및 방법
US11449744B2 (en) 2016-06-23 2022-09-20 Microsoft Technology Licensing, Llc End-to-end memory networks for contextual language understanding
US10366163B2 (en) * 2016-09-07 2019-07-30 Microsoft Technology Licensing, Llc Knowledge-guided structural attention processing
US10565312B2 (en) 2017-10-04 2020-02-18 Motorola Mobility Llc Context-based action recommendations based on a shopping transaction correlated with a monetary deposit as incoming communications
GB2568233A (en) * 2017-10-27 2019-05-15 Babylon Partners Ltd A computer implemented determination method and system
CN109815474B (zh) * 2017-11-20 2022-09-23 深圳市腾讯计算机系统有限公司 一种词序列向量确定方法、装置、服务器及存储介质
US10423828B2 (en) * 2017-12-15 2019-09-24 Adobe Inc. Using deep learning techniques to determine the contextual reading order in a form document
WO2019133676A1 (en) * 2017-12-29 2019-07-04 Robert Bosch Gmbh System and method for domain-and language-independent definition extraction using deep neural networks
US10528669B2 (en) * 2018-03-20 2020-01-07 Wipro Limited Method and device for extracting causal from natural language sentences for intelligent systems
US10963273B2 (en) 2018-04-20 2021-03-30 Facebook, Inc. Generating personalized content summaries for users
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US10776582B2 (en) 2018-06-06 2020-09-15 International Business Machines Corporation Supporting combinations of intents in a conversation
US11423068B2 (en) * 2018-11-27 2022-08-23 Google Llc Canonicalizing search queries to natural language questions
US11443004B1 (en) * 2019-01-02 2022-09-13 Foundrydc, Llc Data extraction and optimization using artificial intelligence models
CN111563209B (zh) * 2019-01-29 2023-06-30 株式会社理光 一种意图识别的方法、装置及计算机可读存储介质
US11113327B2 (en) * 2019-02-13 2021-09-07 Optum Technology, Inc. Document indexing, searching, and ranking with semantic intelligence
US11494615B2 (en) * 2019-03-28 2022-11-08 Baidu Usa Llc Systems and methods for deep skip-gram network based text classification
US11328009B2 (en) 2019-08-28 2022-05-10 Rovi Guides, Inc. Automated content generation and delivery
US11651156B2 (en) 2020-05-07 2023-05-16 Optum Technology, Inc. Contextual document summarization with semantic intelligence
EP4016329A1 (en) * 2020-12-18 2022-06-22 Dassault Systèmes Computer implemented method for improving search engine queries
US11861315B2 (en) 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
US11983329B1 (en) 2022-12-05 2024-05-14 Meta Platforms, Inc. Detecting head gestures using inertial measurement unit signals

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2979711B2 (ja) * 1991-04-24 1999-11-15 日本電気株式会社 パターン認識方式および標準パターン学習方式
US5845049A (en) * 1996-03-27 1998-12-01 Board Of Regents, The University Of Texas System Neural network system with N-gram term weighting method for molecular sequence classification and motif identification
US6202049B1 (en) 1999-03-09 2001-03-13 Matsushita Electric Industrial Co., Ltd. Identification of unit overlap regions for concatenative speech synthesis system
US7725307B2 (en) * 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
CA2829569C (en) * 2011-03-10 2016-05-17 Textwise Llc Method and system for unified information representation and applications thereof
US10867597B2 (en) * 2013-09-02 2020-12-15 Microsoft Technology Licensing, Llc Assignment of semantic labels to a sequence of words using neural network architectures
US9519859B2 (en) * 2013-09-06 2016-12-13 Microsoft Technology Licensing, Llc Deep structured semantic model produced using click-through data
US9558176B2 (en) * 2013-12-06 2017-01-31 Microsoft Technology Licensing, Llc Discriminating between natural language and keyword language items
US9892208B2 (en) 2014-04-02 2018-02-13 Microsoft Technology Licensing, Llc Entity and attribute resolution in conversational applications
US9679558B2 (en) 2014-05-15 2017-06-13 Microsoft Technology Licensing, Llc Language modeling for conversational understanding domains using semantic web resources
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US20160042419A1 (en) * 2014-08-06 2016-02-11 24/7 Customer, Inc. Method and apparatus for providing customized interaction experience to customers
KR101590724B1 (ko) * 2014-10-06 2016-02-02 포항공과대학교 산학협력단 음성 인식 오류 수정 방법 및 이를 수행하는 장치
US10129361B2 (en) * 2015-07-01 2018-11-13 Oracle International Corporation System and method for multi-version remote function execution control in a distributed computing environment
US10387464B2 (en) * 2015-08-25 2019-08-20 Facebook, Inc. Predicting labels using a deep-learning model
US10262654B2 (en) * 2015-09-24 2019-04-16 Microsoft Technology Licensing, Llc Detecting actionable items in a conversation among participants
CN105184289B (zh) 2015-10-10 2019-06-28 北京百度网讯科技有限公司 字符识别方法和装置
CN105279495B (zh) * 2015-10-23 2019-06-04 天津大学 一种基于深度学习和文本总结的视频描述方法
US11593855B2 (en) * 2015-12-30 2023-02-28 Ebay Inc. System and method for computing features that apply to infrequent queries

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993140A (zh) * 2019-04-09 2019-07-09 上海市刑事科学技术研究院 一种现场纹身取证手持装置及系统、控制方法
CN109993140B (zh) * 2019-04-09 2023-07-25 上海市刑事科学技术研究院 一种现场纹身取证手持装置及系统、控制方法

Also Published As

Publication number Publication date
US10437929B2 (en) 2019-10-08
EP3436989A1 (en) 2019-02-06
EP3436989A4 (en) 2019-11-20
WO2017168252A1 (en) 2017-10-05
US20170286401A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
CN108780464A (zh) 用于处理输入查询的方法和系统
US11423233B2 (en) On-device projection neural networks for natural language understanding
CN109885672B (zh) 一种面向在线教育的问答式智能检索系统及方法
WO2021047286A1 (zh) 文本处理模型的训练方法、文本处理方法及装置
US10861456B2 (en) Generating dialogue responses in end-to-end dialogue systems utilizing a context-dependent additive recurrent neural network
CN111259127B (zh) 一种基于迁移学习句向量的长文本答案选择方法
Ren et al. Conversational query understanding using sequence to sequence modeling
CN109635253B (zh) 文本风格转换方法、装置及存储介质、计算机设备
CN108932342A (zh) 一种语义匹配的方法、模型的学习方法及服务器
WO2019046463A1 (en) SYSTEM AND METHOD FOR THE DEFINITION OF DIALOGUE INTENTIONS AND THE CONSTRUCTION OF INTENTION RECOGNITION MODELS WITHOUT PRIOR KNOWLEDGE
CN108334487A (zh) 缺失语意信息补全方法、装置、计算机设备和存储介质
CN109032375A (zh) 候选文本排序方法、装置、设备及存储介质
CN110990555B (zh) 端到端检索式对话方法与系统及计算机设备
CN114168749A (zh) 一种基于知识图谱和疑问词驱动的问题生成系统
US11599518B2 (en) Efficient embedding table storage and lookup
Dai et al. A survey on dialog management: Recent advances and challenges
Lan et al. Semi-supervised training using adversarial multi-task learning for spoken language understanding
Subha et al. An optimal approach to enhance context aware description administration service for cloud robots in a deep learning environment
Liu et al. Cross-domain slot filling as machine reading comprehension: A new perspective
CN112463935B (zh) 一种带有强泛化知识选择的开放域对话生成方法及系统
CN110781666A (zh) 基于生成式对抗网络的自然语言处理文本建模
WO2021174922A1 (zh) 语句情感分类方法及相关设备
CN114330701A (zh) 模型训练方法、装置、计算机设备、存储介质及程序产品
CN113553855A (zh) 观点角色标注方法、装置、计算机设备和介质
US11914635B2 (en) Performing image search based on user input using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181109