CN108459784A - 在人机交互环境中对输入查询生成自动响应的系统和方法 - Google Patents

在人机交互环境中对输入查询生成自动响应的系统和方法 Download PDF

Info

Publication number
CN108459784A
CN108459784A CN201711107377.7A CN201711107377A CN108459784A CN 108459784 A CN108459784 A CN 108459784A CN 201711107377 A CN201711107377 A CN 201711107377A CN 108459784 A CN108459784 A CN 108459784A
Authority
CN
China
Prior art keywords
data
vector
user
section
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711107377.7A
Other languages
English (en)
Other versions
CN108459784B (zh
Inventor
张子良
何宇晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cami Artificial Intelligence Ltd
Original Assignee
Cami Artificial Intelligence Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cami Artificial Intelligence Ltd filed Critical Cami Artificial Intelligence Ltd
Publication of CN108459784A publication Critical patent/CN108459784A/zh
Application granted granted Critical
Publication of CN108459784B publication Critical patent/CN108459784B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2237—Vectors, bitmaps or matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • G06F16/902—Indexing; Data structures therefor; Storage structures using directory or table look-up using more than one table in sequence, i.e. systems with three or more layers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本公开描述了一种用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统和方法。该系统可以包括外部存储器，在该外部存储器中，按照层次结构存储数据并将数据分离成多个段。该系统可以还包括处理器和与该处理器耦接的存储器。处理器可以执行存储器中所存储的多个模块。段识别模块可以被配置成从多个段中识别与用户输入匹配的相关段。相关数据确定模块可以被配置成确定与用户输入匹配的相关段内的相关数据。响应生成模块可以被配置成基于相关数据生成关于用户输入的响应。

Description

在人机交互环境中对输入查询生成自动响应的系统和方法
技术领域
本文描述的本申请总体上涉及用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统和方法。
背景技术
近来，技术先进的机器学习技术已经在众多以客户为中心的应用中得以运用。这样的应用之一是人机交互系统，在人机交互系统中机器以自然语言与人交谈。通常，这样的人机交互系统已被实现为聊天机器人。现今实现的聊天机器人主要被构建成用于问答任务。然而，已经观察到在这些聊天机器人的正常运行/性能方面存在问题。例如，这些聊天机器人经常丢失对话语境，并且倾向于反复提出相同问题或用相同答案来答复。而且，这些聊天机器人无法很好地记忆对话和终端用户。此外，一些聊天机器人是针对特定领域构建的，因此在其他领域中表现不佳。这是因为控制这些聊天机器人的底层系统无法提供用于访问系统的关于对世界和终端用户(人)的理解的大规模记忆的有效和/或高效的方式。
发明内容
提供本发明内容以介绍与用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统和方法相关的概念，并且在下面的具体实施方式中进一步描述这些概念。本发明内容并非意在标识出所要求保护的主题的基本特征，也非意在用于确定或限制所要求保护的主题的范围。
在一种实现中，公开了一种用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统。所述系统包括：外部存储器，其中，所述外部存储器包括按照层次结构存储的数据，并且其中，所述数据被按照所述层次结构分离成多个段；处理器，所述处理器与所述外部存储器通信；以及存储器，所述存储器与所述处理器耦接，其中，所述存储器包括能够被所述处理器执行的多个模块。所述多个模块包括：段识别模块，所述段识别模块被配置成从所述多个段中识别出与用户输入匹配的相关段；相关数据确定模块，所述相关数据确定模块被配置成确定与所述用户输入匹配的所述相关段内的相关数据；以及响应生成模块，所述响应生成模块被配置成基于所述相关数据生成关于所述用户输入的响应。
在另一种实现中，公开了一种用于在人机交互环境中对从用户接收的输入查询生成自动响应的方法。所述方法包括：通过外部存储器按照层次结构存储数据，其中，按照所述层次结构将所述数据分离成多个段；通过处理器从所述多个段中识别出与用户输入匹配的相关段；通过所述处理器确定与所述用户输入匹配的所述相关段内的相关数据；以及通过所述处理器基于所述相关数据生成关于所述用户输入的响应。
附图说明
参考附图对具体实施方式进行描述。在附图中，附图标记的最左边的数字标识该附图标记在其中首次出现的附图。在所有附图中，使用相同的附图标记来指代同样的特征和组件。
图1示出了根据本申请的实施方案的用于在人机交互环境中对从用户接收的输入查询生成自动响应的与外部存储器104通信的系统101的网络实现100。
图2示出了根据本申请的实施方案的系统101的组件。
图3示出了根据本申请的实施方案的高维数据储存装置300，该高维数据储存装置是按照层次结构(hierarchical structure，分层结构、分级结构)进行存储的外部存储器104的实例。
图4示出了根据本申请的实施方案的使用随机二进制投影对存储在外部存储器104中的数据进行分割的局部敏感散列技术。
图5示出了根据本申请的实施方案的针对每个段的段向量。
图6示出了描绘根据本申请的实施方案的段识别模块205结合高维数据储存装置300和其他组件工作的框图600。
图7示出了描绘根据本申请的实施方案的相关数据确定模块206结合高维数据储存装置300和其他组件工作的框图700。
图8示出了描绘根据本申请的实施方案的响应生成模块207结合高维数据储存装置300和其他组件工作的框图800。
图9示出了根据本申请的实施方案的用于在人机交互环境中对从用户接收的输入查询生成自动响应的方法。
图10示出了系统101的示例性实施方案，该示例性实施方案描绘了在人机交互环境中所生成的对应于从用户接收的输入查询的自动响应的实例。
图11示出了根据本申请的实施方案的实现对从用户接收的输入查询生成自动响应的神经网络1100。
图12示出了根据本主题的用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统101的示例性实现1200。
图13示出了根据本主题的用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统101的示例性实现1300。
具体实施方式
整个说明书中，对“各个实施方案”、“一些实施方案”、“一个实施方案”或“实施方案”的参照意味着所描述的与实施方案有关的特定特征、结构或特性包括在至少一个实施方案中。因此，在整个说明书中的某些位置出现的措辞“在各个实施方案中”、“在一些实施方案中”、“在一个实施方案中”或“在实施方案中”不一定都指代相同的实施方案。此外，特定特征、结构或特性可以在一个或多个实施方案中以任何合适的方式组合。
描述了用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统和方法。该系统可以包括按照层次结构存储数据的外部存储器。此外，可以将按照层次结构存储的数据分离成多个段。在一个实施方案中，存储在外部存储器中的数据可以包括用户语境数据(context data，上下文数据)和系统知识数据。在一个实施方案中，可以以多个数据向量的形式存储数据。此外，可以以多个段向量的形式存储上述多个段，使得每个段向量包括数据向量的子集。
根据本申请的方面，可以使用散列技术基于一个或多个散列函数来生成每个段向量。须理解，每个散列函数可以使数据向量能够分离成多个桶。此外，每个散列函数、每个桶以及每个数据向量可以分别具有散列索引、桶索引以及数据索引，使得能够使用该散列索引、该桶索引以及该数据索引的组合来从外部存储器中取得(retrieve，取回、检索)被分离成桶的数据向量。此外，外部存储器中的每个段向量可以具有段索引，该段索引是散列索引和桶索引的级联(concatenation，串联、拼接、联结)。
根据本申请的方面，可以从多个段中识别出与用户输入匹配的相关段。可以通过最初将用户输入编码成段查询向量并将每个段向量编码成段匹配向量来识别相关段。在一实施方案中，可以基于本领域已知的机器学习技术将用户输入编码成段查询向量，并且将段向量编码成段匹配向量。此外，可以使用余弦相似性计算每个段匹配向量关于段查询向量的相似性得分。最后，可以基于相似性得分计算段匹配向量中的段上的概率分布。在一实施方案中，可以使用机器学习技术中实现的SoftMax函数计算段上的概率分布。在一个实施方案中，可以使用随机抽样技术基于所计算的段上的概率分布选择相关段。
在选择相关段之后，可以确定与用户输入匹配的相关段内的相关数据。可以通过最初取得与相关段对应的数据向量来确定相关数据。在一实施方案中，可以基于从相关段的段索引得出的桶索引和散列索引来取得与相关段对应的数据向量。此外，可以将用户输入编码成数据查询向量。在一实施方案中，可以基于本领域已知的机器学习技术将用户输入编码成数据查询向量。此后，可以使用余弦相似性计算数据向量中的每个条目(entry，录入项)关于数据查询向量的相似性得分。基于相似性得分，可以计算数据向量中的数据上的概率分布。此外，可以将每个数据向量编码成数据输出匹配向量。在一实施方案中，可以基于本领域已知的机器学习技术将每个数据向量编码成数据输出匹配向量。此外，可以基于所计算的数据上的概率分布计算每个数据输出匹配向量中的条目的加权和。在一实施方案中，可以使用机器学习技术中实现的SoftMax函数计算数据上的概率分布。最后，可以基于每个数据输出匹配向量中的条目的加权和来获得数据输出向量。数据输出向量代表所确定的在相关段内的相关数据。
在确定相关数据之后，可以基于相关数据生成关于用户输入的响应。为了生成响应，可以使用数据输出向量和数据查询向量将获得的数据输出向量解码成相关输出向量。在一实施方案中，可以基于本领域已知的机器学习技术使用数据输出向量和数据查询向量将数据输出向量解码成相关输出向量。此外，相关输出向量可以被转换成输出预测上的概率分布以预测相关输出，其中，所预测的相关输出指示所生成的关于用户输入的响应。在一实施方案中，可以使用机器学习技术中实现的SoftMax函数将相关输出向量转换成输出预测上的概率分布。
虽然可以在任意数量的不同计算系统、环境和/或配置中实现所描述的用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统和方法的方面，但在下述示例性系统的背景下描述这些实施方案。
参照图1，示出了根据本申请的实施方案的用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统101的网络实现100。系统101可以与按照层次结构存储数据的外部存储器104通信。虽然鉴于系统101被实现为服务器来对本申请进行说明，但是可以理解，系统101还可以被实现在各种计算系统中，诸如膝上计算机、台式计算机、笔记本、手持设备、移动设备、工作站、大型计算机、网络服务器等。在一种实现中，可以在基于云的环境中实现系统101。将理解，多用户可以通过下文中被统称为用户设备103的一个或多个用户设备103-1、103-2、103-3……103-N或者通过驻留在用户设备103上的应用软件对系统101进行访问。用户设备103的示例可以包括但不限于便携式计算机、个人数字助理、手持设备、可穿戴设备、工作站等。用户设备103通过网络102通信地耦接至系统101。
在一种实现中，网络102可以是无线网络、有线网络或两者的组合。网络102可以被实现为不同类型的网络诸如蜂窝通信网络、局域网(LAN)、广域网(WAN)、互联网等之一。网络102可以是专用网络或共享网络。共享网络表示使用各种协议例如超文本传输协议(HTTP)、传输控制协议/因特网协议(TCP/IP)、无线应用协议(WAP)等相互通信的不同类型的网络的联合(association，关联)。此外，网络102可以包括各种网络设备，包括路由器、网桥、服务器、计算设备、储存设备等。
现参照图2，示出了根据本申请的实施方案的系统101。在一个实施方案中，系统101可以包括处理器201、输入/输出(I/O)接口202以及存储器203。处理器201可以被实现为一个或多个微处理器、微计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或任何基于操作指令操纵信号的设备。除了其他的能力之外，处理器201被配置成获取并执行存储在存储器203中的计算机可读指令/程序化指令。
I/O接口202可以包括各种软件和硬件接口，例如网页界面、图形用户界面等。I/O接口202可以允许系统101直接或通过用户设备103与用户交互。此外，I/O接口202可以使系统101能够与其他计算设备诸如网页服务器和外部数据服务器(未示出)进行通信。I/O接口202可以促进各种网络和协议类型中的多种通信，包括有线网络例如LAN、电缆等，以及无线网络诸如WLAN、蜂窝或卫星。I/O接口202可以包括用于将若干设备彼此连接或连接到另一服务器的一个或多个端口。
存储器203可以包括本领域中已知的任何计算机可读介质，例如包括易失性存储器，诸如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)，和/或非易失性存储器，诸如只读存储器(ROM)、可擦除可编程ROM、闪速存储器、硬盘、光盘以及存储卡。存储器203可以包括模块204和数据209。
在一个实施方案中，模块204包括执行特定任务、函数或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。在一种实现中，模块204可以包括段识别模块205、相关数据确定模块206、响应生成模块207以及其他模块208。
除了其他事项外，数据209用作用于存储由一个或多个模块204处理、接收以及生成的数据的存储库。数据209还可以包括系统数据库210和其他数据211。其他数据211可以包括由于执行其他模块208中的一个或多个模块而生成的数据。
在一种实现中，首先，用户可以使用用户设备103经由I/O接口202访问系统101。用户可以使用I/O接口202注册自己，以便使用系统101。在一个实施方案中，用户103可以经由I/O接口202向系统101提供输入查询。作为回答，系统101可以生成对应于来自用户103的输入查询的响应，并且将该响应经由I/O接口202提供给用户。参照以下图3至图13，对用于使用多个模块204生成响应的系统101的详细工作进行说明。
现参照图3，示出了高维数据储存装置300，该高维数据储存装置代表按照层次结构存储数据的外部存储器104的实例。可以将外部存储器104内的数据分离成多个段。高维数据储存装置300在逻辑上是语境因素空间。语境因素空间还可以包括系统知识数据和用户语境数据以及与系统知识数据和用户语境数据相关的对应信息。须理解，系统知识和用户语境是指语境因素，并且它们的对应信息(即，系统知识数据和用户语境数据)是指语境因素空间。须理解，系统知识数据指示对世界的理解，而用户语境数据指示对用户的理解。在一个实施方案中，基于对用户对话历史、用户简档(profile，个人资料)数据以及任何其他用户相关的信息的分析来生成用户语境数据。在一实施方案中，可以以多个数据向量的形式存储用户语境数据和系统知识数据。此外，以多个段向量的形式存储多个段，使得每个段向量包括数据向量的子集。
现参照图3，示出了根据本申请的实施方案的使用散列算法诸如局部敏感散列对高维数据储存装置300中的数据进行分离。为了分离数据，可以进行数次散列，这会创建出多个散列索引。每个散列函数具有其自己的散列索引301。具体而言，对于每个散列函数，可以在语境因素空间中进行多次切割/划分，使得数据被分离成多个桶。在一个实施例中，对应于七个散列函数，可以创建七个散列索引，如图3所示。此外，参照图3，观察到，在使用第四散列函数的第三个桶中存在1024个数据向量。对于每个桶和每个数据向量，可以创建唯一桶索引302和唯一数据索引303。须理解，散列索引301、桶索引302以及数据索引303可以使系统101能够在语境因素空间中定位数据向量304。
参照图4，示出了根据本申请的实施方案的使用随机二进制投影对存储在外部存储器104中的数据进行分割的局部敏感散列技术/算法。如图4所示，左侧和右侧的正方形属于相同的语境因素空间，其中，在左侧空间进行三次切割，而在右侧空间中进行四次切割。在一个实施方案中，不同数量的散列函数和不同数量的切割产生不同数量的桶，而不同数量的桶则包含如图3所示的数据向量的不同组合。在一个实施方案中，系统101可以使用散列方法，诸如随机二进制投影。在另一实施方案中，系统101可以使用主成分分析或任何其他散列算法。
现参照图5，示出了根据本申请的实施方案的对应于每个段的段向量。在一实施方案中，每个段向量具有段索引，其中，段索引是散列索引和桶索引的级联。在一实施方案中，散列索引301和桶索引302可以从十进制转换成二进制。在一个示例性实施方案中，如图5所示，散列索引“1”被转换成“001”，桶索引“8”被转换成“1000”。在一个实施方案中，桶所需的二进制数字的数目取决于所有桶上的最大索引。在一个实施方案中，段向量中每个条目由唯一标识符表示，其中，唯一标识符由散列索引301和桶索引302的级联形成。在一个示例性实施方案中，第一散列索引(即001)和第一桶索引(即0001)的二进制表示的级联得到二进制值“00100001”。类似地，基于其他散列索引和桶索引，获得如图5所示的段向量的最终结构。在一个实施方案中，通过使用本领域已知的热编码技术生成每个段向量。将注意，段向量逻辑上代表语境因素空间中的所有段。
现参照图6，其是描绘了根据本申请的实施方案的段识别模块205结合高维数据储存装置300和其他组件工作的框图600。段识别模块205可以从I/O接口202接收用户输入。在一个实施方案中，用户输入可以是任何格式，包括但不限于文本、图像、音频、视频、任何其他对话语境等。段识别模块205可以通过选择适当的输入特征将用户输入转换成输入序列。具体而言，系统101可以接收文本输入并通过向量或其他分布式代表学习方法构造二元语法的文本输入序列。在一个实施例中，输入序列可以是字符序列、词向量序列、图像像素序列或数字音频信号序列。将注意，这样的特征选择和序列转换不是本申请的重点，因此未详细说明/覆盖这样的方法。
输入序列可以被编码成段查询向量604。在一个实施方案中，段查询编码器603可以将输入序列编码成段查询向量604。在实施方案中，可以使用本领域已知的机器学习方法对段查询编码器603进行预训练，以将输入序列编码成段查询向量604。在一个实施方案中，段查询编码器603可以是由机器学习技术诸如人造神经网络(ANN)训练的数学函数。在一个实施方案中，段查询编码器603可以用作机器学习型人造神经网络内的嵌入层。在一个实施方案中，段查询编码器603可以将输入序列转换成嵌入层能够理解的格式。段识别模块205可以基于上面参照图5描述的方法从高维数据储存装置300中获得段向量605。此外，段编码器601可以将段向量605编码成段匹配向量602。在实施方案中，可以使用本领域已知的机器学习方法对段编码器601进行预训练，以将段向量605编码成段匹配向量602。在一个实施方案中，段编码器601可以是由机器学习技术诸如人造神经网络(ANN)训练的数学函数。在一个实施方案中，段编码器601可以用作机器学习型人造神经网络内的嵌入层。在一个实施方案中，段编码器601可以将段向量605转换成嵌入层能够理解的格式。段识别模块205可以基于余弦相似性计算段匹配向量602中的每个条目关于段查询向量604的相似性得分。此外，段识别模块205可以使用SoftMax函数计算段查询向量604中的段上的概率分布。
将注意，SoftMax函数(或归一化指数函数)是机器学习型神经网络中用于分类的最终层。然后在对数损失(或交叉熵)条件(regime，方式)下对这样的网络进行训练，得到多项式逻辑回归的非线性变量。此外，本领域技术人员须注意，在机器学习方法/技术中，SoftMax函数可以被配置成将向量映射成给定输出在二进制分类中的概率。SoftMax函数可以接收输入向量，并生成实值在0和1之间的输出向量。
段识别模块205可以基于段上的概率从段向量605选择段索引606。在一个实施方案中，可以通过本领域已知的随机抽样技术选择段索引606。须理解，段识别模块205的任务/功能性在于学习用于段编码器601的函数和用于段查询编码器603的函数，使得可以基于段查询向量604和段匹配向量602之间的相似性度量来确定关于用户输入和外部存储器的相关段。具体而言，可以使用机器学习型ANN技术对段查询编码器603和段编码器601进行联合训练以学习适当的数学函数，以便分别将输入序列转换成段查询向量以及将段向量转换成段匹配向量，使得基于段查询向量和段匹配向量两者的潜在因素的相似性对这两个向量进行匹配，从而能够识别相关段。在识别出相关段索引之后，系统101可以使用相关数据确定模块206来确定在对应于段索引的段内的相关数据，在下文中解释其细节。
参照图7，其是描绘了根据本申请的实施方案的相关数据确定模块206结合高维数据储存装置300和其他组件工作的框图700。相关数据确定模块206可以被配置成确定外部存储器104的相关段中关于用户输入的相关信息条。为了确定相关数据，相关数据确定模块206可以使用基于段识别模块205识别出的段索引的散列索引和桶索引的组合从外部存储器中取得数据向量703。
参照图7，数据查询编码器701可以将用户输入编码成数据查询向量702。在实施方案中，可以使用本领域已知的机器学习方法对数据查询编码器701进行预训练，以将用户输入编码成数据查询向量702。在一个实施方案中，数据查询编码器701可以是由机器学习技术诸如人造神经网络(ANN)训练的数学函数。在一个实施方案中，数据查询编码器701可以用作机器学习型人造神经网络(ANN)内的嵌入层。在一个实施方案中，数据查询编码器可以将输入序列转换成嵌入层能够理解的格式。此外，相关数据确定模块206可以使用余弦相似性计算数据向量703中的每个条目关于数据查询向量702的相似性得分。此外，相关数据确定模块206可以使用SoftMax函数基于针对数据向量中的每个条目计算的余弦相似性计算数据向量703中的数据上的概率分布。须理解，数据向量中的数据上的概率分布可以在逻辑上表示数据向量703中每个条目关于用户输入的相关性程度。数据输出编码器704可以将数据向量703的副本编码成数据输出匹配向量705。在实施方案中，可以使用本领域已知的机器学习方法对数据输出编码器704进行预训练，以将数据向量703的副本编码成数据输出匹配向量705。在一个实施方案中，数据输出编码器704可以是由机器学习技术诸如人造神经网络(ANN)训练的数学函数。在一个实施方案中，数据输出编码器704可以用作机器学习型人造神经网络内的嵌入层。在一个实施方案中，数据输出编码器可以将数据向量703转换成嵌入层能够理解的格式。此外，相关数据确定模块206可以基于数据上的概率分布计算数据输出匹配向量705中的所有条目的加权和，以获得数据输出向量706。在一个实施方案中，数据输出匹配向量705可以包含有用于使用响应生成模块207解码输出的潜在因素，这将在随后的段落中进行说明。须理解，相关数据确定模块206的任务/功能性在于学习用于数据查询编码器701的函数和用于数据输出编码器704的函数，使得基于数据查询向量702和数据向量703之间的相似性度量来确定关于用户输入和外部存储器的相关段中的相关信息。具体而言，可以使用机器学习型ANN技术对数据查询编码器701和数据输出编码器704进行联合训练以学习适当的数学函数，以分别将输入序列转换成数据查询向量702以及将数据向量703转换成数据输出匹配向量705，使得基于数据查询向量702和数据向量703两者的潜在因素的相似性对这两个向量进行匹配。此外，相关数据确定模块206可以根据相关信息生成相关输出向量。
在确定相关数据和相关输出向量之后，系统101可以使用响应生成模块207基于从语境因素空间取得的关于用户输入的相关信息生成输出，在下文中解释其细节。
参照图8，其是描绘了根据本申请的实施方案的响应生成模块207结合高维数据储存装置300和其他组件工作的框图800。响应生成模块208可以基于根据语境因素空间和经编码的用户输入取得的相关信息生成输出803。如图8所示，输出解码器801可以使用数据输出向量706和数据查询向量702生成相关输出向量802。在实施方案中，可以使用本领域已知的机器学习方法对数据输出解码器801进行预训练，以使用数据输出向量706和数据查询向量702生成相关输出向量802。在一个实施方案中，输出解码器801可以是由机器学习技术诸如人造神经网络(ANN)训练的数学函数。在一个实施方案中，输出解码器801可以是机器学习型人造神经网络内的回归层(recurrent layer)，其中，该回归层可以被配置成将输出向量802转换成输出序列。须理解，可以训练数据输出编码器801(用作回归层)以学习适当的数学函数，以便基于数据输出向量706和数据查询向量702两者的潜在因素预测随时间步长的输出。在一个实施方案中，回归层可以使用SoftMax函数预测随时间步长的输出。在一个实施方案中，时间步长的数目取决于输入向量的总长度。
在一个实施方案中，可以使用SoftMax函数将相关输出向量802转换成输出预测上的概率分布，以预测相关输出803。须理解，响应生成模块207的任务/功能性在于学习输出解码器801的函数，使得响应生成模块207可以预测相关输出向量802，从而预测关于用户输入和外部存储器的相关输出803。本文的相关输出803指示系统101针对经由I/O接口202从用户103接收的用户输入所生成的的响应。相关输出可以是任何格式的形式，所述任何格式包括但不限于文本、图像、音频、视频、任何其他对话语境等。在一个实施方案中，相关输出可以是输出序列的形式，该输出序列可以是字符序列、词向量序列、图像像素序列或数字音频信号序列等。然后可以将输出序列转换成实际输出。这样的转换不在本申请的范围内，因此未详细说明。
现参照图9，其是根据本申请的实施方案的用于在人机交互环境中对从用户接收的输入查询生成自动响应的方法。
如图9所示，在框901处，按照外部存储器104的层次结构将数据存储为数据向量。在一个实施方案中，可以按照层次结构将数据分离成多个段。此外，可以以多个段向量的形式存储上述多个段，使得每个段向量包括数据向量的子集。
在框902处，可以从多个段中识别出与用户输入匹配的相关段。在一种实现中，可以使用段识别模块205识别相关段。
在框903处，可以确定与用户输入匹配的相关段内的相关数据。在一种实现中，可以使用相关数据确定模块206确定相关段内的相关数据。
在框904处，可以基于相关数据生成关于用户输入的响应。在一种实现中，可以使用响应生成模块207生成响应。
参照图10，其为系统101的示例性实施方案1000，该示例性实施方案描绘了在人机交互环境中对应于从用户接收的输入查询生成的自动响应的实例。在该实施方案中，系统101基于下述两种语境因素生成响应：系统知识和用户语境。在示例性实施方案中，系统包括与相关数据确定模块206类似的知识记忆网络1001和用户语境记忆网络1004。用于知识记忆网络1001和用户语境记忆网络1004的相应外部存储器可以包括作为外部存储器104的实例的知识储存装置(300-1)和用户语境储存装置(300-2)。在各个实施方案中，系统101可以支持多种语境因素和多个相关数据确定模块以及多个外部存储器。在一个实施方案中，知识记忆网络1001可以生成知识输出向量1002和知识查询向量1003。此外，用户语境记忆网络1004可以生成用户语境输出向量1005和用户语境查询向量1006。须理解，知识输出向量1002和用户语境输出向量1005类似于图7所示的数据输出向量706。类似地，知识查询向量1003和用户语境查询向量1006类似于图7所示的数据查询向量702。在该示例性实施方案中，所示出的响应生成网络1007可以基于作为输入向量的所有向量(即，知识输出向量1002、用户语境输出向量1005、知识查询向量1003以及用户语境查询向量1006)生成关于用户输入的响应(即相关输出向量和相关输出)。须理解，响应生成网络1007的工作类似于图8中所说明的响应生成模块207的工作。在该实施方案中，系统101被配置成执行响应生成网络1007、知识记忆网络1001以及用户语境记忆网络1004中所涉及的一组函数，使得系统101确定不同语境因素的相关信息，并且基于用户输入生成响应。系统101还被配置成对用户输入、外部存储器104中的信息及系统响应进行匹配，并尝试发现用户输入和外部存储器104之间以及系统响应和外部存储器104之间的隐形逻辑(reasoning，推理、逻辑推理)。
须理解，用以识别相关段、确定相关数据以及生成关于用户输入和外部存储器的响应的相关段识别模块205、相关数据确定模块206以及响应生成模块207的学习能力是通过本领域已知的机器学习技术/方法诸如人造神经网络(ANN)实现的。图11示出了根据本申请的实施方案的实现对从用户接收的输入查询生成自动响应的神经网络1100。如所示出的，神经网络1100包括输入层1101、具有权重矩阵W的嵌入层1102。在一个实施方案中，输入层1101可以是数据查询编码器701的输出层，并且可以直接连接到嵌入层1102。此外，神经网络1100可以实现对嵌入层1102的权重矩阵W中的权重的配置或设置，以便从高维数据储存装置300加载数据向量703。
图12示出了根据本主题的用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统101(用作聊天模块1202)的示例性实现1200。在该示例性实现1200中，聊天模块1202可以基于两种语境因素即系统知识和用户语境来生成响应。可以使用如图4所描述的散列算法对系统知识和用户的用户语境进行分割。为了简单起见，系统知识和用户语境中的每个具有仅两段，其中，用户语境是单用户的。如图12所示，用户103可以经由用作图12中所示的聊天界面1201的I/O接口202与聊天模块1202进行通信。聊天界面1201可以使用户能够输入文本、图像、音频、视频或任何其他对话语境。在该示例性实施方案中，聊天模块1202可以接收用户输入并与不同的系统组件通信以生成系统响应。在该示例性实施方案中，聊天模块1202可以将用户输入发送给知识记忆网络1001。知识记忆网络1001的工作类似于图7中所说明的相关数据确定模块206的工作。在该示例性实施方案中，知识记忆网络1001可以从系统知识加载段向量605，并且可以根据用户输入确定段索引606，如图6所描述。在该示例性实施方案中，目标段被识别为系统知识中的段#1。在该示例性实施方案中，知识记忆网络1001可以将用户输入编码成数据查询向量702，并随后利用目标段索引606和数据查询向量702从分段的系统知识中查询数据向量703，如图7和图9所描述。在一个示例性实施方案中，知识记忆网络1001可以从系统知识的段#1加载数据向量703，并将知识输出向量和知识查询向量返回到聊天模块1202。
在该示例性实施方案中，聊天模块1202可以将用户输入和用户ID发送给用户语境记忆网络1004，并请求用户的用户语境数据。用户语境记忆网络1004可以从目标用户的用户语境加载段向量605，并根据用户输入确定段索引606，如图6所描述。在这种情况下，目标段被识别为用户的用户语境中的段#2。用户语境记忆网络1004可以根据用户输入编码出数据查询向量702，并随后利用目标段索引606和数据查询向量702从用户的分段的用户语境中查询数据向量703，如图7和图9所描述。在该示例性实施方案中，用户语境记忆网络1004可以从用户的用户语境的段#2加载数据向量703，并将用户语境输出向量和用户语境查询向量返回到聊天模块1202。在该示例性实施方案中，聊天模块1202可以将知识数据输出向量和用户语境数据输出向量以及对应的数据查询向量发送给响应生成网络1007。须注意，响应生成网络1007的工作类似于图8中所说明的响应生成模块207的工作。响应生成网络1007可以根据所有接收到的向量生成系统响应，如图8所描述。响应生成网络1007然后将系统响应返回到聊天模块1202。此外，聊天模块1202将系统响应返回到聊天界面1201，以便对用户103可见/可听。
参照图13，其是根据本主题的用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统101的另一示例性实现1300。本领域技术人员须注意，除了知识记忆网络1001确定从系统知识的段#2加载数据向量和用户语境记忆网络1004确定从用户的用户语境的段#1加载数据向量之外，图13所示的流程序列与图12中相同。
上面讨论的示例性实施方案可以提供某些优点。虽然不需要实践本申请的各个方面，但是这些优点可以包括由以下特征提供的那些优点。
本申请的一些实施方案实现了用于基于真实世界数据和与用户相关联的语境信息对从用户接收的输入提供计算机化响应的系统和方法，其中，基于用户的对话历史和用户的简档捕获所述语境信息。
本申请的一些实施方案实现了被配置成使用机器学习方法诸如人造神经网络(ANN)生成计算机化响应的系统和方法。
尽管已经以特定于结构特征和/或方法的语言描述了用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统和方法的实现，但是将理解，所附的权利要求不必局限于所描述的具体特征或方法。更确切地讲，具体的特征和方法被公开为用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统和方法的实现的示例。

Claims (20)

1.一种用于在人机交互环境中对从用户接收的输入查询生成自动响应的系统，所述系统包括：
外部存储器，其中，所述外部存储器包括按照层次结构存储的数据，并且其中，所述数据被按照所述层次结构分离成多个段；
处理器，所述处理器与所述外部存储器通信；以及
存储器，所述存储器与所述处理器耦接，其中，所述存储器包括能够被所述处理器执行的多个模块，所述多个模块包括：
段识别模块，所述段识别模块被配置成从所述多个段中识别出与用户输入匹配的相关段；
相关数据确定模块，所述相关数据确定模块被配置成确定与所述用户输入匹配的所述相关段内的相关数据；以及
响应生成模块，所述响应生成模块被配置成基于所述相关数据生成关于所述用户输入的响应。
2.根据权利要求1所述的系统，其中，所述数据包括用户语境数据和系统知识数据，其中，基于用户对话历史、用户简档以及任何其他用户相关的信息生成所述用户语境数据。
3.根据权利要求2所述的系统，其中，以多个数据向量的形式存储所述数据，并且其中，以多个段向量的形式存储所述多个段，使得每个段向量包括数据向量的子集。
4.根据权利要求3所述的系统，其中，通过散列技术基于一个或多个散列函数生成每个段向量，其中，每个散列函数使数据向量能够分离成多个桶，并且其中，每个散列函数、每个桶以及每个数据向量分别具有散列索引、桶索引以及数据索引，使得能够使用所述散列索引、所述桶索引以及所述数据索引的组合从所述外部存储器中取得被分离成桶的数据向量，以及其中，每个段向量具有段索引，所述段索引是所述散列索引和所述桶索引的级联。
5.根据权利要求4所述的系统，其中，所述段识别模块通过以下方式识别所述相关段：
将所述用户输入编码成段查询向量；
将每个段向量编码成段匹配向量；
使用余弦相似性计算每个段匹配向量关于所述段查询向量的相似性得分；以及
基于所述相似性得分计算所述段匹配向量中的段上的概率分布，从而选择所述相关段，其中，基于随机抽样技术选择所述相关段。
6.根据权利要求5所述的系统，其中，将所述用户输入编码成段查询向量以及将所述段向量编码成段匹配向量是基于机器学习型人造神经网络(ANN)技术的，并且其中，使用机器学习技术中实现的SoftMax函数计算所述段上的概率分布。
7.根据权利要求5所述的系统，其中，所述相关数据确定模块通过以下方式确定所述相关段内的所述相关数据：
取得对应于所述相关段的数据向量；
将所述用户输入编码成数据查询向量；
使用余弦相似性计算所述数据向量中的每个条目关于所述数据查询向量的相似性得分；
基于所述相似性得分计算所述数据向量中的数据上的概率分布；
将每个数据向量编码成数据输出匹配向量；
基于所计算的所述数据上的概率分布计算每个数据输出匹配向量中的条目的加权和；以及
基于每个数据输出匹配向量中的条目的加权和来获得数据输出向量。
8.根据权利要求7所述的系统，其中，基于从所述相关段的所述段索引得出的所述桶索引和所述散列索引来取得对应于所述相关段的所述数据向量。
9.根据权利要求7所述的系统，其中，将所述用户输入编码成数据查询向量以及将每个数据向量编码成数据输出匹配向量是基于机器学习型人造神经网络(ANN)技术的，并且其中，使用机器学习技术中实现的SoftMax函数计算所述数据上的概率分布。
10.根据权利要求7所述的系统，其中，所述响应生成模块通过以下方式基于所述相关数据生成所述响应：
使用所述数据输出向量和所述数据查询向量将所述数据输出向量解码成相关输出向量；以及
将所述相关输出向量转换成输出预测上的概率分布，以预测指示所生成的关于所述用户输入的响应的相关输出。
11.根据权利要求10所述的系统，其中，使用所述数据输出向量和所述数据查询向量将所述数据输出向量解码成相关输出向量是基于机器学习的人造神经网络(ANN)技术的，并且其中，使用机器学习技术中实现的SoftMax函数将所述相关输出向量转换成所述输出预测上的概率分布。
12.一种用于在人机交互环境中对从用户接收的输入查询生成自动响应的方法，所述方法包括：
通过外部存储器按照层次结构存储数据，其中，按照所述层次结构将所述数据分离成多个段；
通过处理器从所述多个段中识别出与用户输入匹配的相关段；
通过所述处理器确定与所述用户输入匹配的所述相关段内的相关数据；以及
通过所述处理器基于所述相关数据生成关于所述用户输入的响应。
13.根据权利要求12所述的方法，其中，所述数据包括用户语境数据和系统知识数据，其中，基于用户对话历史、用户简档以及任何其他用户相关的信息生成所述用户语境数据，并且其中，以多个数据向量的形式存储所述数据，并且其中，以多个段向量的形式存储所述多个段，使得每个段向量包括数据向量的子集。
14.根据权利要求13所述的方法，还包括通过散列技术基于一个或多个散列函数生成每个段向量，其中，每个散列函数使数据向量能够分离成多个桶，并且其中，每个散列函数、每个桶以及每个数据向量分别具有散列索引、桶索引以及数据索引，使得能够使用所述散列索引、所述桶索引以及所述数据索引的组合从所述外部存储器中取得被分离成桶的数据向量，并且其中，每个段向量具有段索引，所述段索引是所述散列索引和所述桶索引的级联。
15.根据权利要求14所述的方法，其中，识别相关段包括：
通过所述处理器将所述用户输入编码成段查询向量；
通过所述处理器将每个段向量编码成段匹配向量；
通过所述处理器使用余弦相似性计算每个段匹配向量关于所述段查询向量的相似性得分；以及
通过所述处理器基于所述相似性得分计算所述段匹配向量中的段上的概率分布，从而选择所述相关段，其中，基于随机抽样技术选择所述相关段。
16.根据权利要求15所述的方法，其中，所述将所述用户输入编码成段查询向量以及所述将所述段向量编码成段匹配向量是基于机器学习技术的，并且其中，使用机器学习技术中实现的SoftMax函数计算所述段上的概率分布。
17.根据权利要求15所述的方法，其中，确定所述相关数据还包括：
通过所述处理器取得对应于所述相关段的数据向量；
通过所述处理器将所述用户输入编码成数据查询向量；
通过所述处理器使用余弦相似性计算所述数据向量中的每个条目关于所述数据查询向量的相似性得分；
通过所述处理器基于所述相似性得分计算所述数据向量中的数据上的概率分布；
通过所述处理器将每个数据向量编码成数据输出匹配向量；
通过所述处理器基于所计算的所述数据上的概率分布计算每个数据输出匹配向量中的条目的加权和；以及
通过所述处理器基于所述每个数据输出匹配向量中的条目的加权和来获得数据输出向量。
18.根据权利要求17所述的方法，其中，所述将所述用户输入编码成数据查询向量以及将每个数据向量编码成数据输出匹配向量是基于机器学习技术的，并且其中，使用机器学习技术中实现的SoftMax函数计算所述数据上的概率分布。
19.根据权利要求17所述的方法，其中，生成所述响应包括：
通过所述处理器基于所述数据输出向量和所述数据查询向量将所述数据输出向量解码成相关输出向量；以及
通过所述处理器将所述相关输出向量转换成输出预测上的概率分布，以预测指示所生成的关于所述用户输入的响应的相关输出。
20.根据权利要求19所述的方法，其中，使用所述数据输出向量和所述数据查询向量将所述数据输出向量解码成相关输出向量是基于机器学习技术的，并且其中，使用机器学习技术中实现的SoftMax函数将所述相关输出向量转换成所述输出预测上的概率分布。
CN201711107377.7A 2016-12-13 2017-11-10 在人机交互环境中对输入查询生成自动响应的系统和方法 Expired - Fee Related CN108459784B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/376,705 US9852177B1 (en) 2016-12-13 2016-12-13 System and method for generating automated response to an input query received from a user in a human-machine interaction environment
US15/376,705 2016-12-13

Publications (2)

Publication Number Publication Date
CN108459784A true CN108459784A (zh) 2018-08-28
CN108459784B CN108459784B (zh) 2021-07-30

Family

ID=60674695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711107377.7A Expired - Fee Related CN108459784B (zh) 2016-12-13 2017-11-10 在人机交互环境中对输入查询生成自动响应的系统和方法

Country Status (2)

Country Link
US (1) US9852177B1 (zh)
CN (1) CN108459784B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425353B1 (en) 2017-01-27 2019-09-24 Triangle Ip, Inc. Machine learning temporal allocator
US10721190B2 (en) * 2018-07-31 2020-07-21 Microsoft Technology Licensing, Llc Sequence to sequence to classification model for generating recommended messages
US10853577B2 (en) * 2018-09-21 2020-12-01 Salesforce.Com, Inc. Response recommendation system
US10956474B2 (en) 2019-03-14 2021-03-23 Microsoft Technology Licensing, Llc Determination of best set of suggested responses
US11275785B2 (en) * 2019-04-05 2022-03-15 Jade Global, Inc. AI routing framework for multi-domain chatbots
US10909461B1 (en) * 2020-05-08 2021-02-02 Google Llc Attention neural networks with locality-sensitive hashing
US11887586B2 (en) 2021-03-03 2024-01-30 Spotify Ab Systems and methods for providing responses from media content

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249899A1 (en) * 2010-04-07 2011-10-13 Sony Corporation Recognition device, recognition method, and program
US20120016845A1 (en) * 2010-07-16 2012-01-19 Twinstrata, Inc System and method for data deduplication for disk storage subsystems
CN102999560A (zh) * 2011-10-26 2013-03-27 微软公司 用社交网络特征提高姓名和其它搜索查询的搜索引擎结果页面的相关性
CN103955542A (zh) * 2014-05-20 2014-07-30 广西教育学院 文本词间完全加权正负关联模式挖掘方法及其挖掘系统
US20150088899A1 (en) * 2013-09-23 2015-03-26 Spotify Ab System and method for identifying a segment of a file that includes target content
US20160103900A1 (en) * 2014-10-08 2016-04-14 University Of Lancaster Data structuring and searching methods and apparatus
US20160247175A1 (en) * 2013-01-04 2016-08-25 PlaceIQ, Inc. Analyzing consumer behavior based on location visitation
US20160352656A1 (en) * 2015-05-31 2016-12-01 Microsoft Technology Licensing, Llc Context-sensitive generation of conversational responses

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249899A1 (en) * 2010-04-07 2011-10-13 Sony Corporation Recognition device, recognition method, and program
US20120016845A1 (en) * 2010-07-16 2012-01-19 Twinstrata, Inc System and method for data deduplication for disk storage subsystems
CN102999560A (zh) * 2011-10-26 2013-03-27 微软公司 用社交网络特征提高姓名和其它搜索查询的搜索引擎结果页面的相关性
US20160247175A1 (en) * 2013-01-04 2016-08-25 PlaceIQ, Inc. Analyzing consumer behavior based on location visitation
US20150088899A1 (en) * 2013-09-23 2015-03-26 Spotify Ab System and method for identifying a segment of a file that includes target content
CN103955542A (zh) * 2014-05-20 2014-07-30 广西教育学院 文本词间完全加权正负关联模式挖掘方法及其挖掘系统
US20160103900A1 (en) * 2014-10-08 2016-04-14 University Of Lancaster Data structuring and searching methods and apparatus
US20160352656A1 (en) * 2015-05-31 2016-12-01 Microsoft Technology Licensing, Llc Context-sensitive generation of conversational responses

Also Published As

Publication number Publication date
US9852177B1 (en) 2017-12-26
CN108459784B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN108459784A (zh) 在人机交互环境中对输入查询生成自动响应的系统和方法
CN110119467B (zh) 一种基于会话的项目推荐方法、装置、设备及存储介质
US11074289B2 (en) Multi-modal visual search pipeline for web scale images
WO2021233199A1 (zh) 搜索推荐模型的训练方法、搜索结果排序的方法及装置
Nhamo et al. Using ICT indicators to measure readiness of countries to implement Industry 4.0 and the SDGs
CN111541570B (zh) 基于多源特征学习的云服务QoS预测方法
CN108780464A (zh) 用于处理输入查询的方法和系统
CN111400504B (zh) 企业关键人的识别方法和装置
JP2017049684A (ja) 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム
Vijayakumar et al. Implementation of software agents and advanced AoA for disease data analysis
US20220351039A1 (en) Federated learning using heterogeneous model types and architectures
Mavridis et al. The human-robot cloud: Situated collective intelligence on demand
WO2020199690A1 (zh) 基于云平台共享学习系统及方法、共享平台及方法、介质
CN110321394A (zh) 基于知识图谱的网络安全数据组织方法及计算机存储介质
CN109214543B (zh) 数据处理方法及装置
US20210004693A1 (en) Real-Time On the Fly Generation of Feature-Based Label Embeddings Via Machine Learning
CN111914179A (zh) 基于语义的模糊搜索方法和装置、存储介质及电子设备
CN108452526A (zh) 游戏故障原因的查询方法和装置、存储介质、电子装置
WO2023207059A1 (zh) 一种视觉问答任务处理方法、系统、电子设备及存储介质
CN108121742A (zh) 用户分类模型的生成方法及装置
CN111597401B (zh) 基于图关系网络的数据处理方法、装置、设备及介质
Bangyal et al. A forward only counter propagation network-based approach for contraceptive method choice classification task
Outchakoucht et al. Machine learning based access control framework for the Internet of Things
US11526791B2 (en) Methods and systems for diverse instance generation in artificial intelligence planning
US20200380405A1 (en) Data exposure for transparency in artificial intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1261420

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210730