CN110352418A - 通过消歧对话问题来进行查询消歧 - Google Patents

通过消歧对话问题来进行查询消歧 Download PDF

Info

Publication number
CN110352418A
CN110352418A CN201780075501.8A CN201780075501A CN110352418A CN 110352418 A CN110352418 A CN 110352418A CN 201780075501 A CN201780075501 A CN 201780075501A CN 110352418 A CN110352418 A CN 110352418A
Authority
CN
China
Prior art keywords
probability
project
user
retrieval system
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780075501.8A
Other languages
English (en)
Inventor
M·沃南兹
K·霍夫曼
F·A·拉德林斯基
B·布洛斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110352418A publication Critical patent/CN110352418A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2452Query translation
    • G06F16/24522Translation of natural language queries to structured queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

在各种示例中,存在一种信息检索系统,其具有存储项目的索引的存储器,每个项目具有多个特征中的一个或多个特征。对于每个项目,索引包括该项目的特征的指示;并且至少根据特征来配置。存储器存储关于项目的特征的多个问题。信息检索系统具有问题选择器,该问题选择器至少基于关于项目的问题的预期信息增益来选择至少一个问题。搜索组件使用从用户接收的所选择的问题的答案来搜索索引。

Description

通过消歧对话问题来进行查询消歧
背景技术
信息检索是一项复杂的工程任务,特别是随着要搜索的项目的数量不断增加,终端用户检索相关项目的需求不断增长,并且越来越多地涉及使用小型资源受限设备,诸如智能手表、增强现实计算设备、智能手机和其他电子设备。
通常,用户发现很难回忆可能对检索特定项目有用的特定事实。这在一般web搜索的情况下是一个问题,并且在作为操作系统、电子邮件客户端或用于搜索项目的个人集合的其他软件应用的一部分而提供的搜索工具的情况下也是一个问题。在用于搜索项目的个人集合的搜索工具被用在移动设备或其他资源受限设备上的情况下,终端用户特别难以检索特定项目。
例如,当读者不能准确地回忆关于电子邮件的事实时,读者可能在尝试从他或她的电子邮件的个人集合中检索特定电子邮件时感到沮丧。搜索个人集合中的项目(诸如电子邮件、博客帖子、文本消息、文件、图像和其他内容项目的个人集合)对于终端用户来说通常是耗时且繁重的。为了有效地利用搜索项目的个人集合的当前搜索系统,用户需要理解高级查询语法,这对很多用户来说是一个重大的障碍。
下面描述的实施例不限于解决已知的信息检索系统的任何或所有缺点的实现。
发明内容
以下呈现本公开的简化概述,以便向读者提供基本的理解。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题的范围。其唯一目的是以简化的形式呈现本文中公开的一些概念,作为稍后呈现的更详细地描述的序言。
在各种示例中,存在一种信息检索系统,其具有存储项目的索引的存储器,每个项目具有多个特征中的一个或多个特征。对于每个项目,索引包括该项目的特征的指示;并且至少根据特征来配置。存储器存储关于项目的特征的多个问题。信息检索系统具有问题选择器,该问题选择器至少基于关于项目的问题的预期信息增益来选择至少一个问题。搜索组件使用从用户接收的所选择的问题的答案来搜索索引。
通过参考结合附图考虑的以下详细描述,将更容易理解很多附带特征。
附图说明
从以下结合附图阅读的详细描述中将能更好地理解本说明书,在附图中:
图1是作为搜索引擎的一部分或在终端用户设备上部署的信息检索系统100的示意图;
图1A是图1的信息检索系统的用户界面的第一视图的示意图;
图1B是图1的信息检索系统的用户界面的第二视图的示意图;
图1C是图1的信息检索系统的用户界面的第三视图的示意图;
图1D是图1的信息检索系统的用户界面的第四视图的示意图;
图1E是图1的信息检索系统的用户界面的第五视图的示意图;
图2是图1的信息检索系统的一种操作方法的流程图;
图3是图1的信息检索系统的另一操作方法的流程图;
图4是表示关于用户对问题的可回答性的信念的概率分布的示意图;
图5是图3的方法的一部分的更详细的流程图;
图6示出了信息检索系统的实施例在其中实现的示例性的基于计算的设备。
在附图中,相同的附图标记用于表示相同的部分。
具体实施方式
以下结合附图提供的详细描述旨在作为本示例的描述,而非旨在表示构造或利用本示例的唯一形式。该描述阐述了示例的功能以及用于构造和操作示例的操作序列。然而,可以通过不同的示例来实现相同或等同的功能和序列。
尽管本文中将一些本示例描述和示出为在电子邮件搜索系统中实现,但是所描述的系统是作为示例而非限制来提供的。如本领域技术人员将理解的,本示例适用于各种不同类型的信息检索系统,包括一般web搜索和个人集合的搜索,诸如电子邮件、图像、文件、博客帖子和其他项目的个人集合。
图1是信息检索系统100的示意图,该信息检索系统100被部署为云服务和/或被部署为在诸如增强现实计算设备112、智能电话114、平板计算机116、智能手表118和其他终端用户计算设备等终端用户计算设备处的操作系统或软件应用的一部分。在信息检索系统100提供云服务的情况下,终端用户计算设备(诸如台式计算机122、膝上型计算机124和智能电话126)可以通过诸如因特网、内联网或任何其他通信网络等通信网络120访问。
信息检索系统检索项目或项目的引用或地址,其中这些项目是任何内容项目110。内容项目的示例的非详尽列表是:电子邮件、图像、视频、文件、博客文章、文本消息、文档。内容项目是诸如可以通过一般web搜索找到的一般项目,或者是个人内容项目。个人内容项目与特定用户相关联,例如,由于该用户创作或者已经被该用户接收或编辑。但是,内容项目不必是用户特定的个人内容项目。这些项目位于终端用户计算设备和/或通过诸如因特网、内联网或任何其他通信网络等通信网络120与终端用户计算设备通信的实体处。
信息检索系统包括存储多个问题的存储装置102、搜索组件104、用户界面106、问题选择器108和索引128。信息检索系统100是使用以下中的任何一个或多个实现的计算机:软件、硬件、固件。
存储在存储装置102中的问题是关于项目110的,并且这些问题在某些情况下是预先指定的,或者是使用模板和/或使用生成机器学习模型或以其他方式自动创建的。在某些情况下,问题是使用生成机器学习模型生成的。在这种情况下,信息检索系统包括用于生成问题的生成机器学习模型,这些问题然后存储在存储装置102中。每个项目具有一个或多个特征,诸如项目的地址的一部分、与项目的创建相关联的时间或其他特征。在某些情况下,问题可以用是/否/不知道答案来回答,但这不是必要的,因为问题可能有潜在答案,即评级、类别或者不是是/否/不是知道答案的其他类型的答案。在电子邮件的个人集合中搜索的示例中,特征是:
电子邮件是否是在最后一天内发送的
电子邮件是否是由用户发送的(该用户拥有电子邮件的个人集合)
电子邮件是否是在上周内发送的
电子邮件是否是专门发送给用户的
电子邮件是否是在上个月内发送的
电子邮件是否是在抄送(cc)给用户的情况下发送的
电子邮件是否是由用户的前三个最频繁的发送者之一发送的。
在自动生成问题的情况下,可以使问题针对特定用户的项目集合进行定制。例如,给定多种可能类型的问题,使用来自特定用户的项目集合的特征生成这些类型的问题的实例。计算描述用户的项目集合的统计信息,诸如最常见的电子邮件发件人、最常访问的图像或其他统计信息,并且这些统计信息用于创建问题类型的实例。
在一些示例中,关于与问题相关联的概率的信息也存储在存储装置102中。概率在下面更详细地描述。在一些示例中,对于每个单独的问题,概率包括特定用户可以回答该问题的概率。在某些情况下,对于每个单独的问题,概率包括任何用户可以回答该问题的概率。在一些示例中,在在线训练过程期间由问题选择器108学习概率。这里使用术语“在线”来表示在信息检索系统100的操作期间进行训练以检索内容项目110。
存储在存储装置102中的关于概率的信息可以包括概率分布的统计信息(诸如均值和方差)、来自概率分布的样本或关于概率的其他信息。在一些情况下,存储在存储装置102中的关于概率的信息以图形模型或基于神经网络的模型的形式被保存。
搜索组件104包括用于搜索索引128以从索引中检索与查询相关的项目的有序列表的排序算法。可以使用任何公知的排序算法。在一些情况下,排序算法是问题选择器108的一部分,如下所述。
用户界面106是诸如在触摸屏或增强现实显示器上的图形用户界面,或者用户界面106是听觉界面、或者能够向用户呈现问题并且从用户接收这些问题的答案的任何类型的用户界面106。由用户界面106提供的图形用户界面的视图的示例在图1A至1E中给出,并且这些仅是示例,而非旨在限制本技术的范围。
索引128以有序的方式存储到个体内容项目110的链接、引用或地址。所使用的顺序与个体内容项目的一个或多个特征有关。例如,对于每个内容项目,索引存储该内容项目的特征的细节,其中特征来自由索引使用的已知特征集合。
问题选择器108包括一个或多个算法,这些算法在使用计算设备执行时从存储装置102中选择一个或多个问题。在一些示例中,问题选择器108是自适应的,因为它学习如何选择将支持搜索的问题。这通过学习与问题相关联的概率来完成,如下面更详细地描述的。在一些示例中,问题选择器108是静态的,即,不是自适应的,并且使用参考索引项目而计算的预期信息增益的度量来选择一个或多个问题,如下所述。在问题选择器108是静态的情况下,它选择的问题对于相同的索引项目是相同的。在问题选择器108是自适应的情况下,它选择的问题对于相同的索引项目可能随时间而不同。
如上所述,问题选择器可以包括排序算法。在这种情况下,排序算法使用项目上的概率分布。
由于问题选择器选择呈现给用户的问题,因此信息检索系统能够减轻用户输入的负担。用户界面106呈现问题并且可选地呈现(多个)问题的潜在答案,诸如“是”、“否”、“不知道”。然后,用户使用诸如触摸、鼠标点击、语音命令或其他输入等单个选择动作来简单地选择(多个)问题的候选答案。以这种方式,用户不必输入复杂的查询术语或者不需要使用复杂的搜索语法将搜索标准输入到信息检索系统中。在某些情况下,使用自然语言向用户呈现问题,这使得信息检索系统易于使用。在一些情况下,使用支持向信息检索系统输入答案的图标来呈现问题,因为这些图标是直观的并且在资源受限设备的触摸屏上占用很小的空间。
信息检索系统能够减少用户输入的负担,因为减少了用户必须向信息检索系统输入查询的次数。在没有本文中描述的信息检索系统的情况下,用户必须重复输入查询以便找到对用户定位来说有挑战性的项目。通过选择和向用户呈现问题,用户具有答复涉及识别任务的(多个)问题的简单任务,而不是更难更繁重的回忆任务,在回忆任务中,用户必须回忆关于要找到的项目的事实并且将有关这些事实的数据输入信息检索系统。
信息检索系统能够通过问题的智能选择来有效地找到相关搜索结果,问题的智能选择引导搜索组件104的搜索。这通过在某些情况下使用预期信息增益来实现;也就是说,基于问题得到回答的方法预期获取多少信息来选择该问题。在某些情况下,这是通过使用预期信息增益和用户可以回答个体问题的概率来实现的。信息检索系统根据所涉及的资源/计算的量与估计的质量之间的折衷以各种不同方式估计概率。在特别有效的情况下,通过观察个体问题的答案的出现频率来估计和更新概率。在更复杂的情况下,通过考虑项目的特征来估计概率。例如,通过观察用户从信息检索系统的搜索结果中选择的项目中的特征的频率。
在一些示例中,信息检索系统能够在信息检索系统的使用期间动态地更新概率。这使得信息检索系统即使在用户的信息检索模式的变化随时间发生的情况下也表现良好。通过更新概率,信息检索系统能够成为是特定用户或用户组定制或制定的,从而为特定用户或用户组提供增强的信息检索质量。
替代地或另外地,信息检索系统100的功能至少部分地由一个或多个硬件逻辑组件执行。例如而非限制,可选地使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)。
图1A是在用户正在搜索名称为“Searchfilter.pptx”的文档的情况下图1的信息检索系统的图形用户界面的第一视图的示意图。但是,用户无法回忆起文档的确切名称。假定用户已经输入搜索查询,诸如“在标题中查找具有搜索的文档”,并且信息检索系统已经找到文档134、132的有序列表,其中文档134是当前最佳匹配。作为当前最佳匹配的文档134不是用户正在寻找的文档。问题选择器108从存储装置102中选择问题,如本文档后面更详细地描述的。信息检索系统在图形用户界面的字段130中呈现问题:“最近是否修改了文档?是,否,不知道”。
图1B是图1A的图形用户界面的第二视图的示意图。假定用户在字段130中使用光标136选择“否”来回答问题,如图1B所示。搜索组件104使用答案来更新搜索,并且已更新的结果在图形用户界面处呈现,如图1C所示。如图1C所示,最佳匹配文档现在是字段140中称为“searchfilter.pptx”的文档,并且这是用户正在寻找的文档。结果的有序列表132中的文档与图1B中的文档相比已经更新。图形用户界面底部的图标138向用户指示搜索已经应用了与时间有关的问题(因为图标是钟面)并且问题已经被否定地回答,如图标左下角的负号所示。为了消除答案对搜索结果的影响,用户可以选择图标右上角的十字标记。
呈现问题和接收答案的过程是可重复的。假定最佳匹配文档是“SearchDraft.pptx”,如图1D的字段140所示。这不是用户试图找到的文档。问题选择器108选择另一问题并且经由用户界面106将其呈现给用户。在该示例中,问题是“文档是否包含图片?是,否,不知道”,如图1D的字段142所示。如图标138所示,与时间有关的问题和答案已经应用于搜索。用户继续使用光标144选择“是”,如图1D所示。搜索组件104将问题和答案应用于搜索,并且已更新的搜索结果给出最佳匹配文档“Searchfilter.pptx”,其是正确的文档,如图1E的字段140所示。图形用户界面显示图标146以指示关于图像的问题和答案已经应用于搜索并且答案是肯定的,因为针对图标138没有示出负号。
图2是在问题选择器108是静态(非自适应)的情况下信息检索系统100处的操作方法的流程图。信息检索系统可选地从终端用户接收200查询。例如,查询由用户使用用户界面106输入,或者通过通信网络120从另一实体接收。搜索组件可选地使用排序算法搜索202索引128以找到与查询相关的结果的有序列表。该结果的有序列表在此被称为候选结果集合并且用符号C表示。在省略步骤200和202的情况下,候选集合C是存储装置102中的所有问题。
除了排序算法之外或作为其替代,使用项目上的概率分布来获取候选集合C。项目上的概率分布是从对与用户的先前交互的观察中学习的。
问题选择器108基于每个问题的预期信息增益继续从问题的存储装置102中选择一个或多个问题。预期信息增益是问题能够划分要搜索的内容项目的候选集合C的程度的度量。例如,可以使用诸如香农熵等熵度量来计算预期信息增益。在排序算法使用项目上的概率分布的情况下,通过计算项目上的概率分布中的熵的预期减少来实现预期信息增益的计算。
具有预期信息增益的最高度量的一个或多个问题由问题选择器108选择,并且使用用户界面106呈现206给用户。可以同时呈现多于一个问题。在问题选择器108选择要一起呈现的多个问题的情况下,这些问题以能够优化多个问题的度量的方式选择,诸如可以回答多个问题中的至少一个问题的可能性的度量。
如果接收208问题的一个或多个答案,则使用问题和相关联的答案搜索210候选集合。这是通过使用搜索组件104使用接收相关联的答案的问题来搜索索引和/或通过在步骤202过滤搜索组件已经检索的结果来完成的。通过使用用户界面106呈现搜索结果来将搜索结果输出212给用户。
使用预期信息增益来选择问题是问题选择器选择适合在资源受限设备上使用的问题的快速且有效的方式。但是,仅使用预期信息增益来影响问题的选择表示有时候问题选择器选择的问题不太可能被终端用户回答。这是因为没有考虑问题的“可回答性”。可以认为问题的“可回答性”与用户能够回答问题的概率有关。例如,询问项目是在奇数还是偶数秒创建的问题可能具有较高的预期信息增益,但用户能够回答该问题的概率较低。
为了提高问题选择器选择终端用户“可回答”的问题的能力,在本技术的一些实施例中,除了考虑预期信息增益之外,问题选择器还考虑问题能够被回答的概率。这是通过存储与个体问题相关联的概率或保持这些概率的模型而不创建概率的详尽列表来实现的。在一些示例中布置问题选择器以在使用信息检索系统时学习概率。但是,在线学习概率并不重要,因为在某些情况下,概率信息是在离线过程中学习的。在一些示例中,对于每个个体问题,概率包括特定用户能够回答该问题的概率。在某些情况下,对于每个个体问题,概率包括任何用户能够回答该问题的概率。问题选择器108使用概率来选择在支持搜索方面更有效的问题。问题选择器使用概率信息以及预期信息增益。通过组合预期信息增益和概率信息,发现选择提供高质量搜索结果的问题。例如,减少了问题和答案的轮数,并且增加了搜索结果的相关性。
在一个示例中,使用以下表达式来组合预期信息增益和用户将回答问题的概率:
用文字表达即为:用户i回答问题S的预期奖励等于用户i的信息增益乘以用户i能够回答问题S的概率的估计A。用户i的信息增益完全基于当前候选集合C来计算。
用户i能够回答问题S的概率的估计A由用户i已经回答问题的次数除以问题已经被呈现的总次数来给出。在一些情况下,针对每个问题计算预期奖励,使得存在参数化分布,诸如Beta分布或多元高斯分布,该分布表示针对每个问题的所有用户的预期奖励。
在一些示例中,扩展了用户i回答问题S的预期奖励的上述表达式,如下:
用文字表达即为:用户i回答问题S的预期奖励等于做出回答的用户i的信息增益乘以做出回答的概率的乘积在可能答案上的总和。
图3是信息检索系统100处的操作方法的流程图,其中问题选择器使用预期信息增益和用户能够回答个体问题的概率。至于图2,信息检索系统可选地接收200查询并且使用该查询搜索202以获取内容项目的候选集合。问题选择器使用个体问题的信息增益的度量和关于个体用户或一般用户能够回答个体问题的概率的信息来选择300一个或多个问题。使用用户界面106呈现206问题,接收208答案,并且搜索组件使用答案和相关联的问题过滤或更新候选集合。如果在检查点302处检测到成功,则过程更新304(多个)用户能够回答的概率。例如,概率是存储在存储装置102中的相关联的问题的一个或多个值,或者存储在问题选择器108可访问的任何其他位置。一旦在过程304更新了用户能够回答的概率,该方法返回到操作202。
如果在操作302没有检测到成功,则该过程前进到操作212,在操作212输出结果。
通过检查用户是否回答了所呈现的问题中的一个或多个来实现在检查点302处检测成功。在某些示例中,答案是“是”、“否”、“不知道”中的任何一个。但是,在某些情况下,答案是评级、或类别的选择、或其他类型的答案。在如上所述使用特定问题被回答的次数的计数来估计概率的情况下,更新涉及递增计数。在另一示例中,问题选择器108使用多臂赌博机算法来选择问题和更新概率两者。例如,基于后验采样的赌博机算法用于:通过从当前奖励分布中采样并且根据样本选择一个或多个最佳问题来生成问题;并且在观察用户答案之后更新分布的参数。
为了提高问题能够被回答的概率的估计的准确性,考虑关于问题和项目的特征的信息。这通过在所有用户上具有通用特征亲和度向量(由符号f表示)和/或对于每个个体用户具有特征亲和度向量(由符号b表示)来完成。用户特征亲和度向量是数字列表,一组可能特征中的每个特征一个数字,其中每个数字表示用户选择具有该特征的内容项目的可能性。全局特征亲和度向量是数字列表,该组特征中的每个特征一个数字,其中每个数字表示任何用户选择具有该特征的内容项目的可能性。特征亲和度向量中的值初始化为默认值,并且在使用信息检索系统时被更新。例如,使用所学习的模型递增特征亲和度的值,因为用户选择内容项目作为信息检索过程的一部分,指示这些内容项目是搜索的正确结果。所学习的模型包括以下中的一个或多个:决策树、神经网络、线性模型或其他学习的模型。学习的模型使用感知器学习算法或任何优化或学习方法(诸如梯度下降等)更新。
在一些示例中,特征亲和度向量用于计算每个用户项目对的得分。该得分表示用户搜索该项目的可能性的数字。在一些示例中,将得分计算为用户特征亲和度向量和全局特征亲和度向量的加权聚合。定义项目上的先验概率,其表示给定项目将成为搜索目标的可能性。从项目的得分除以所有项目的得分之和来计算项目的先验概率。在一些情况下,先验概率用于在如上所述的问题的预期信息增益的计算中对项目进行加权。
如上面段落中描述的那样计算项目的先验概率不是必要的,因为这可以通过观察用户搜索行为以其他方式实现。
在一些示例中,问题选择器使用多臂赌博机算法来选择(多个)问题并且更新(多个)用户能够回答问题的概率。这为问题选择器提供了适用于诸如智能手表、智能电话或其他资源受限设备等资源受限设备上的在线操作的有效且高效的实现。
现在描述问题选择器使用多臂赌博机算法的示例。在该示例中,问题的预期奖励被表示为具有均值μ和方差B的高斯分布400(参见图4),如图4所示。在某些情况下,使用诸如Beta分布等其他类型的分布来表示预期奖励。存储装置102(或其他存储器)保存每个问题的奖励分布的统计信息,或者在需要时并且可选地针对特定用户和特定问题的每个组合计算这些统计信息。最初,统计信息的值(诸如在高斯分布的情况下的均值μ和方差B)被设置为默认值(如图4中的图400所示)并且随着时间的推移,当信息检索系统呈现问题并且观察特定用户做出的答案时,更新这些值,如图4的图402所示。
问题选择器108使用图4的方法计算每个问题的预期奖励,其中如图5中所示地描述了操作300。问题选择器访问500可回答性模型,该模型描述用户能够回答问题的可能性。在一个示例中,可回答性模型包括用户特征亲和度向量(全局和用户特定的),然而,这不是必要的,因为可以使用其他可回答性模型。问题选择器访问502每个问题的奖励概率分布。奖励概率分布考虑由可回答性模型给出的给定用户的预期信息增益和问题的可回答性。对于给定问题,问题选择器从该问题的奖励分布中获取504样本(如图4中的所示),并且将该样本值乘以特征亲和度向量(诸如全局特征亲和度向量或用户特定的特征亲和度向量)。为了便于说明,假定样本和特征亲和度向量是单维数。在问题被回答的情况下,这为每个问题给出奖励值。问题选择器108通过使用已知的选择过程(诸如:汤普森后验采样、上置信界(UCB)或ε贪婪算法)以能够平衡探索和利用的方式选择506具有最高计算奖励的问题。为了选择多个问题,问题选择器108通过所计算的奖励选择前k个问题。这个计算奖励的过程被扩展以使得能够使用特征亲和度向量和采样的奖励的多维值。
呈现所选择的问题并且观察208一个或多个答案。
在观察到所呈现的问题的答案的情况下,如现在解释的那样更新304奖励分布的参数。在某些情况下,如果没有观察到该问题的答案,则不进行更新。在其他情况下,奖励分布的参数随着算法的迭代和/或随着时间的推移衰减以返回到其默认值。
通过向奖励分布的方差添加特征亲和度向量来更新奖励分布的方差,其表示为:
B=B+b(t)
其中B是奖励分布的方差,b(t)是时间t的用户特征亲和度向量。
奖励分布的均值更新如下:
f=f+(b(t)×answer)
μ=B-1×f
用文字表达即为:全局特征亲和度向量通过在全局特征亲和度向量上加上在时间t的用户特征亲和度向量乘以观察到的奖励来更新(其中观察到的奖励是观察到的问题的答案,其在没有答案的情况下为0,而在例如是答案的情况下为1);并且奖励分布的均值等于奖励分布的方差的倒数乘以已更新的全局特征亲和度向量。
使用上述更新过程,问题选择器能够更新存储装置102或保存问题的奖励分布的参数的其他存储器。然后,当问题选择器选择未来问题时,问题选择器可以使用这些参数。以这种方式,问题选择器是自适应的,并且当作为信息检索任务的一部分回答给定问题时,能够学习关于用户体验的奖励的信念。
在一些情况下,奖励分布是Beta分布,并且在这种情况下,更新过程包括更新Beta分布的参数,而不是更新如上所述的均值和方差。
图6示出了示例性的基于计算的设备600的各种组件,其被实现为任何形式的计算和/或电子设备,并且其中在一些示例中实现了信息检索系统的实施例。
基于计算的设备600包括一个或多个处理器602,处理器602是微处理器、控制器或者任何其他适当类型的处理器,该任何其他适当类型的处理器用于处理计算机可执行指令以控制设备的操作以便通过选择问题以支持搜索来在项目集合中搜索项目。在一些示例中,例如在使用片上系统架构的情况下,处理器602包括用硬件(而不是软件或固件)实现图2至5中任一个的方法的一部分的一个或多个固定功能块(也称为加速器)。在基于计算的设备处提供包括操作系统604的平台软件或任何其他合适的平台软件,以使得应用软件606能够在设备上执行。如参考图1所述的搜索组件104在基于计算的设备处可用,并且包括一个或多个搜索算法,诸如用于搜索在基于计算的设备处或在与基于计算的设备通信的另一实体处保存的项目的索引128的排序算法。用户界面106在基于计算的设备处可用,并且包括用于实现图形用户界面、音频界面或任何其他类型的用户界面的计算机可执行指令。基于计算的设备600的存储器608处的问题存储装置102存储问题和可选的与问题相关联的概率。在一些情况下,问题存储装置102保存用户特征亲和度向量、全局特征亲和度向量、奖励分布的统计信息和其他参数。基于计算的设备处的问题选择器108给出参考图1描述的问题选择器108的功能。
计算机可执行指令使用由基于计算的设备600可访问的任何计算机可读介质来提供。计算机可读介质包括例如计算机存储介质,诸如存储器608和通信介质。诸如存储器608等计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块等信息的任何方法或技术实现的易失性和非易失性的可移动和不可移动介质。计算机存储介质包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、光盘只读存储器(CD-ROM)、数字通用盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或者用于存储用于计算设备访问的信息的任何其他非传输介质。相反,通信介质在诸如载波或其他传输机制等调制数据信号中实施计算机可读指令、数据结构、程序模块等。如本文中定义的,计算机存储介质不包括通信介质。因此,计算机存储介质不应当被解释为传播信号本身。尽管计算机存储介质(存储器608)被示出为在基于计算的设备600内,但是应当理解,在一些示例中,存储装置是远程分布或定位的,并且经由网络或其他通信链路来访问(例如,使用通信接口610)。
基于计算的设备600还包括被布置为向可以与基于计算的设备600分离或成一体的显示设备614输出显示信息的输入/输出控制器612。显示信息可以提供图形用户界面。输入/输出控制器612还被布置为接收和处理来自诸如用户输入设备616(例如,鼠标、键盘、相机、麦克风或其他传感器)等一个或多个设备的输入。在一些示例中,用户输入设备616检测语音输入、用户手势或其他用户动作,并且提供自然用户界面(NUI)。该用户输入可以用于回答问题,输入查询,查看搜索结果。在一个实施例中,如果显示设备614是触敏显示设备,则显示设备615还用作用户输入设备616。在一些示例中,输入/输出控制器612向除了显示设备之外的设备(例如,本地连接的打印设备)输出数据。
输入/输出控制器612、显示设备614和用户输入设备616中的任何一个可以包括NUI技术,NUI技术使得用户能够以自然的方式与基于计算的设备交互,而没有由诸如鼠标、键盘、遥控器等输入设备施加的人为约束。在一些示例中提供的NUI技术的示例包括但不限于依赖于声音和/或语音识别、触摸和/或触笔识别(触敏显示器)、屏幕上和屏幕附近的手势识别、空气手势、头部和眼睛跟踪、声音和语音、视觉、触摸、手势和机器智能的那些NUI技术。在一些示例中使用的NUI技术的其他示例包括意图和目标理解系统、使用深度相机的运动手势检测系统(诸如立体相机系统、红外相机系统、红绿蓝(rgb)相机系统及其组合)、使用加速度计/陀螺仪的运动手势检测、面部识别、三维(3D)显示、头部、眼睛和注视跟踪、沉浸式增强现实和虚拟现实系统、以及用于使用电场感测电极来感测大脑活动的技术(脑电图(EEG)和相关方法)。
作为本文中描述的其他示例的替代或补充,示例包括以下各项的任何组合:
一种信息检索系统,包括:
存储器,存储项目的索引,每个项目具有多个可能特征中的一个或多个特征;
其中对于每个项目,索引包括该项目的特征的指示;以及
其中索引至少根据特征来配置;
存储器存储关于项目的特征的多个问题;
问题选择器,被配置为至少基于关于项目的问题的预期信息增益来选择问题中的至少一个问题;以及
搜索组件,被配置为使用从用户接收的所选择的问题的一个或多个答案来搜索索引。
上述信息检索系统,其中存储器存储关于与问题相关联的概率的信息,概率表示能够回答问题的可能性。
上述信息检索系统,其中存储器存储概率使得概率是用户特定的。
上述信息检索系统,其中存储器存储概率使得概率包括对很多用户通用的概率。
上述信息检索系统,其中问题选择器在信息检索系统的操作期间使用观察到的答案在线更新概率。
上述信息检索系统,其中问题选择器通过对选择问题的次数和回答问题的次数进行计数来计算关于概率的信息。
上述信息检索系统,其中问题选择器通过更新表示问题的答案的奖励的概率分布的参数来计算关于概率的信息。
上述信息检索系统,其中问题选择器通过使用问题的特征来计算关于概率的信息,并且其中存储器存储用户的特征亲和度向量,特征亲和度向量包括项目的多个特征中的每个特征的数值。
上述信息检索系统,其中问题选择器通过使用由存储器存储的通用特征亲和度向量来计算关于概率的信息。
上述信息检索系统,其中问题选择器被配置为执行多臂赌博机算法以选择问题并且更新关于概率的信息。
上述信息检索系统,包括被配置为呈现所选择的问题并且接收问题的答案的用户界面。
上述信息检索系统,其中答案包括不能提供答案的指示。
上述信息检索系统,其中问题是自然语言问题或图标。
上述信息检索系统,包括被配置为将所选择的问题与所选择的问题的潜在答案一起呈现以供用户选择的用户界面。
一种用于从项目集合中检索一个或多个项目的信息检索系统,包括:
存储器,存储关于项目的多个问题;
处理器,被配置为使用关于项目集合的至少一部分的问题中的个体问题的预期信息增益从存储器中选择问题;处理器被配置为:
呈现所选择的问题;
从用户接收所选择的问题的答案;以及
搜索项目集合以标识与所接收的答案相一致的项目。
上述信息检索系统,其中处理器被配置为使用自然语言或使用图标来呈现所选择的问题。
上述信息检索系统,其中处理器被布置为重复选择问题、呈现所选择的问题和搜索项目集合的过程。
上述信息检索系统,其中存储器存储用户能够回答问题中的个体问题的概率,并且其中处理器被配置为使用预期信息增益和概率中的一个或多个概率来选择问题。
上述信息检索系统,其中处理器被配置为使用接收答案来更新概率。
一种从项目集合中检索至少一个项目的计算机实现的方法,包括:
使用处理器,使用关于项目集合的问题中的个体问题的预期信息增益从关于集合中的项目的多个问题中选择问题;
将所选择的问题呈现给用户;
从用户接收所选择的问题的答案;以及
搜索项目集合以标识与所接收的答案相一致的项目。
一种信息检索系统处的计算机实现的方法,包括:
在存储器中存储项目的索引,每个项目具有多个可能特征中的一个或多个特征;
对于每个项目,在索引中包括该项目的特征的指示;
至少根据特征来配置索引;
在存储器中存储关于项目的特征的多个问题;
至少基于关于项目的问题的预期信息增益来选择问题中的至少一个问题;以及
使用从用户接收的所选择的问题的一个或多个答案来搜索索引。
术语“计算机”或“基于计算的设备”在本文中用于指代具有处理能力使得其能够执行指令的任何设备。本领域技术人员将认识到,这样的处理能力被合并到很多不同的设备中,并且因此术语“计算机”和“基于计算的设备”各自包括个人计算机(PC)、服务器、移动电话(包括智能电话)、平板计算机、机顶盒、媒体播放器、游戏机、个人数字助理、可穿戴计算机和很多其他设备。
在一些示例中,本文中描述的方法通过有形存储介质上的机器可读形式的软件来执行,例如,以包括计算机程序代码装置的计算机程序的形式,计算机程序代码装置适于在程序在计算机上运行时执行本文中描述的一种或多种方法的所有操作,并且其中计算机程序可以在计算机可读介质上实施。软件适合于在并行处理器或串行处理器上执行,使得方法操作可以以任何合适的顺序或同时执行。
这承认软件是有价值的单独可交易的商品。旨在包含运行或控制“虚拟”或标准硬件的软件,以执行期望功能。还旨在包含“描述”或定义硬件配置的软件,诸如HDL(硬件描述语言)软件,该软件用于设计硅芯片或用于配置通用可编程芯片以执行期望功能。
本领域技术人员将认识到,用于存储程序指令的存储设备可选地分布在网络上。例如,远程计算机能够存储被描述为软件的过程的示例。本地或终端计算机能够访问远程计算机并且下载部分或全部软件以运行程序。替代地,本地计算机可以根据需要下载软件的片段,或者在本地终端处执行一些软件指令并且在远程计算机(或计算机网络)处执行一些软件指令。本领域技术人员还将认识到,通过利用本领域技术人员已知的常规技术,全部或一部分软件指令可以由诸如数字信号处理器(DSP)、可编程逻辑阵列等专用电路来执行。
如本领域技术人员很清楚的,可以扩展或改变本文中给出的任何范围或设备值而不丧失所寻求的效果。
尽管用结构特征和/或方法动作特定的语言描述了本主题,但是应理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。而是,上述具体特征和动作被公开作为实现权利要求的示例形式。
应当理解,上述益处和优点可以涉及一个实施例或可以涉及若干实施例。实施例不限于解决任何或所有所述问题的那些实施例,也不限于具有任何或所有所述益处和优点的那些实施例。将进一步理解,对“一个(an)”项目的引用是指那些项目中的一个或多个。
本文中描述的方法的操作可以以任何合适的顺序进行,或者在适当的情况下同时进行。另外,在不脱离本文中描述的主题的范围的情况下,可以从任何方法中删除各个框。上述任何示例的各方面可以与所描述的任何其他示例的各方面组合以形成另外的示例而不会丧失所寻求的效果。
术语“包括(comprising)”在本文中用于表示包括所标识的方法框或元素,但是这样的框或元素不包括排他列表,并且方法或装置可以包含附加的框或元素。
术语“子集”在本文中用于指代适当的子集,使得集合的子集并非包括集合的所有元素(即,子集中缺少集合的至少一个元素)。
应当理解,以上描述仅作为示例给出,并且本领域技术人员可以进行各种修改。以上说明书、示例和数据提供了示例性实施例的结构和使用的完整描述。尽管上面已经以一定程度的特殊性或者参考一个或多个个体实施例描述了各种实施例,但是本领域技术人员可以在不脱离本说明书的范围的情况下对所公开的实施例进行多种改变。

Claims (15)

1.一种信息检索系统,包括:
存储器,存储项目的索引,每个项目具有多个可能特征中的一个或多个特征;
其中对于每个项目,所述索引包括所述项目的所述特征的指示;以及
其中所述索引至少根据所述特征被配置;
所述存储器存储关于所述项目的所述特征的多个问题;
问题选择器,被配置为至少基于关于所述项目的所述问题的预期信息增益,来选择所述问题中的至少一个问题;以及
搜索组件,被配置为使用从用户接收的所选择的所述问题的一个或多个答案,来搜索所述索引。
2.根据权利要求1所述的信息检索系统,其中所述存储器存储关于与所述问题相关联的概率的信息,所述概率表示问题能够被回答的可能性。
3.根据权利要求2所述的信息检索系统,其中所述存储器存储所述概率,使得所述概率是用户特定的。
4.根据权利要求2所述的信息检索系统,其中所述存储器存储所述概率,使得所述概率包括对很多用户通用的概率。
5.根据权利要求2至4中任一项所述的信息检索系统,其中所述问题选择器在所述信息检索系统的操作期间使用观察到的答案在线更新所述概率。
6.根据权利要求2至5中任一项所述的信息检索系统,其中所述问题选择器通过对问题被选择的次数和问题被回答的次数进行计数,来计算关于概率的所述信息。
7.根据权利要求2至6中任一项所述的信息检索系统,其中所述问题选择器通过更新概率分布的参数,来计算关于概率的所述信息,所述概率分布表示问题的答案的奖励。
8.根据权利要求2至7中任一项所述的信息检索系统,其中所述存储器存储针对用户的特征亲和度向量,所述特征亲和度向量包括针对所述项目的多个特征中的每个特征的数值。
9.根据权利要求2至7中任一项所述的信息检索系统,其中所述问题选择器通过使用由所述存储器存储的通用特征亲和度向量,来计算关于概率的所述信息。
10.根据权利要求2至9中任一项所述的信息检索系统,其中所述问题选择器被配置为执行多臂赌博机算法以选择所述问题,并且更新关于所述概率的所述信息。
11.根据前述权利要求中任一项所述的信息检索系统,包括用户界面,所述用户界面被配置为呈现所选择的所述问题,并且接收所述问题的所述答案。
12.根据前述权利要求中任一项所述的信息检索系统,其中所述答案包括没有答案能够被提供的指示。
13.根据前述权利要求中任一项所述的信息检索系统,其中所述问题是自然语言问题或图标。
14.根据前述权利要求中任一项所述的信息检索系统,包括用户界面,所述用户界面被配置为将所选择的所述问题与所选择的所述问题的潜在答案一起呈现以供用户选择。
15.一种信息检索系统处的计算机实现的方法,包括:
在存储器处存储项目的索引,每个项目具有多个可能特征中的一个或多个特征;
对于每个项目,在所述索引中包括所述项目的所述特征的指示;
至少根据所述特征来配置所述索引;
在所述存储器中存储关于所述项目的所述特征的多个问题;
至少基于关于所述项目的所述问题的预期信息增益,来选择所述问题中的至少一个问题;以及
使用从用户接收的所选择的所述问题的一个或多个答案,来搜索所述索引。
CN201780075501.8A 2016-12-06 2017-12-04 通过消歧对话问题来进行查询消歧 Pending CN110352418A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1620714.4 2016-12-06
GBGB1620714.4A GB201620714D0 (en) 2016-12-06 2016-12-06 Information retrieval system
US15/449,957 2017-03-04
US15/449,957 US11775493B2 (en) 2016-12-06 2017-03-04 Information retrieval system
PCT/US2017/064387 WO2018106550A1 (en) 2016-12-06 2017-12-04 Query disambiguation by means of disambiguating dialog questions

Publications (1)

Publication Number Publication Date
CN110352418A true CN110352418A (zh) 2019-10-18

Family

ID=58159678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075501.8A Pending CN110352418A (zh) 2016-12-06 2017-12-04 通过消歧对话问题来进行查询消歧

Country Status (5)

Country Link
US (1) US11775493B2 (zh)
EP (1) EP3552119A1 (zh)
CN (1) CN110352418A (zh)
GB (1) GB201620714D0 (zh)
WO (1) WO2018106550A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11978070B1 (en) * 2018-12-10 2024-05-07 InsightsNow, Inc. Systems and methods for computer-implemented surveys
CN111382144B (zh) * 2018-12-27 2023-05-02 阿里巴巴集团控股有限公司 信息处理方法及装置、存储介质及处理器
US20200394553A1 (en) * 2019-06-13 2020-12-17 International Business Machines Corporation Predicting functional tags of semantic role labeling

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438562B1 (en) * 1999-08-24 2002-08-20 Oracle Corporation Parallel index maintenance
US20070214131A1 (en) * 2006-03-13 2007-09-13 Microsoft Corporation Re-ranking search results based on query log
US20090234647A1 (en) * 2008-03-14 2009-09-17 Microsoft Corporation Speech Recognition Disambiguation on Mobile Devices
CN105760417A (zh) * 2015-01-02 2016-07-13 国际商业机器公司 基于个性化用户模型和情境的认知交互式搜索的方法和系统
US20160217701A1 (en) * 2015-01-23 2016-07-28 Massachusetts Institute Of Technology System And Method For Real-Time Analysis And Guidance Of Learning

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498921B1 (en) * 1999-09-01 2002-12-24 Chi Fai Ho Method and system to answer a natural-language question
US6895405B1 (en) * 2001-01-31 2005-05-17 Rosetta Marketing Strategies Group Computer-assisted systems and methods for determining effectiveness of survey question
US8606860B2 (en) 2003-03-31 2013-12-10 Affini, Inc. System and method for providing filtering email messages
US8204751B1 (en) 2006-03-03 2012-06-19 At&T Intellectual Property Ii, L.P. Relevance recognition for a human machine dialog system contextual question answering based on a normalization of the length of the user input
US20070288576A1 (en) 2006-06-12 2007-12-13 Illg Jason J Disambiguating Responses to Questions Within Electronic Messaging Communications
US8943018B2 (en) 2007-03-23 2015-01-27 At&T Mobility Ii Llc Advanced contact management in communications networks
US20100063878A1 (en) 2007-05-02 2010-03-11 Nds Limited Retrieving metadata
US8032480B2 (en) 2007-11-02 2011-10-04 Hunch Inc. Interactive computing advice facility with learning based on user feedback
US8577671B1 (en) 2012-07-20 2013-11-05 Veveo, Inc. Method of and system for using conversation state information in a conversational interaction system
US20140067816A1 (en) 2012-08-29 2014-03-06 Microsoft Corporation Surfacing entity attributes with search results
US9342566B2 (en) 2013-01-17 2016-05-17 Sap Se Systems and methods for searching data structures of a database
US9230077B2 (en) * 2013-03-15 2016-01-05 International Business Machines Corporation Alias-based social media identity verification
US9298811B2 (en) 2013-07-15 2016-03-29 International Business Machines Corporation Automated confirmation and disambiguation modules in voice applications
US10467302B2 (en) * 2014-02-11 2019-11-05 International Business Machines Corporation Candidate answers for speculative questions in a deep question answering system
US9590969B2 (en) * 2014-03-13 2017-03-07 Ca, Inc. Identity verification services using private data
US10579652B2 (en) * 2014-06-17 2020-03-03 Microsoft Technology Licensing, Llc Learning and using contextual content retrieval rules for query disambiguation
US9922117B2 (en) 2014-10-31 2018-03-20 Bank Of America Corporation Contextual search input from advisors
US10043410B1 (en) * 2015-12-18 2018-08-07 Eugene David SWANK Method and apparatus for adaptive learning
US20170371956A1 (en) * 2016-06-23 2017-12-28 International Business Machines Corporation System and method for precise domain question and answer generation for use as ground truth

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438562B1 (en) * 1999-08-24 2002-08-20 Oracle Corporation Parallel index maintenance
US20070214131A1 (en) * 2006-03-13 2007-09-13 Microsoft Corporation Re-ranking search results based on query log
US20090234647A1 (en) * 2008-03-14 2009-09-17 Microsoft Corporation Speech Recognition Disambiguation on Mobile Devices
CN105760417A (zh) * 2015-01-02 2016-07-13 国际商业机器公司 基于个性化用户模型和情境的认知交互式搜索的方法和系统
US20160217701A1 (en) * 2015-01-23 2016-07-28 Massachusetts Institute Of Technology System And Method For Real-Time Analysis And Guidance Of Learning

Also Published As

Publication number Publication date
WO2018106550A1 (en) 2018-06-14
EP3552119A1 (en) 2019-10-16
US20180157691A1 (en) 2018-06-07
GB201620714D0 (en) 2017-01-18
US11775493B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
JP6900190B2 (ja) 認識学習装置、認識学習方法及びプログラム
CN112189229B (zh) 针对计算机化个人助手的技能发现
CN110036399A (zh) 神经网络数据录入系统
US11501161B2 (en) Method to explain factors influencing AI predictions with deep neural networks
US20140229476A1 (en) System for Information Discovery & Organization
US10943070B2 (en) Interactively building a topic model employing semantic similarity in a spoken dialog system
CN107710249A (zh) 个性化预测模型
CN109863488A (zh) 神经网络数据输入系统的设备/服务器部署
US11928985B2 (en) Content pre-personalization using biometric data
US10902209B2 (en) Method for content search and electronic device therefor
CN111708876A (zh) 生成信息的方法和装置
KR102387767B1 (ko) 사용자 관심 정보 생성 장치 및 그 방법
CN106537387B (zh) 检索/存储与事件相关联的图像
US11941010B2 (en) Dynamic facet ranking
CN102741840A (zh) 用于对个性化场景建模的方法和装置
CN110352418A (zh) 通过消歧对话问题来进行查询消歧
EP3523932B1 (en) Method and apparatus for filtering a plurality of messages
CN111026967A (zh) 一种获得用户兴趣标签的方法、装置、设备和介质
Hasan et al. Employment of ensemble machine learning methods for human activity Recognition
US20210109918A1 (en) Intelligent reading support
CN109829117A (zh) 用于推送信息的方法和装置
US20190317959A1 (en) Sketch-based image retrieval using feedback and hierarchies
WO2023196456A1 (en) Adaptive wellness collaborative media system
CN109685091A (zh) 使用贝叶斯方式的数字体验目标确定
CN113094584A (zh) 推荐学习资源的确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination