CN115280301A - 用于语句对的高效紧凑的文本匹配系统 - Google Patents

用于语句对的高效紧凑的文本匹配系统 Download PDF

Info

Publication number
CN115280301A
CN115280301A CN202180020511.8A CN202180020511A CN115280301A CN 115280301 A CN115280301 A CN 115280301A CN 202180020511 A CN202180020511 A CN 202180020511A CN 115280301 A CN115280301 A CN 115280301A
Authority
CN
China
Prior art keywords
computer
query
attention weight
pairs
query inputs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180020511.8A
Other languages
English (en)
Inventor
游泽宇
杨陶
张尚卿
涂旻
王旭
韩连漪
范伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN115280301A publication Critical patent/CN115280301A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)

Abstract

提供了一种方法、计算机程序和计算机系统，用于基于协同关注评分进行语句匹配。接收神经网络的两个或多个查询输入。基于关注权重，识别两个或多个查询输入之间的相关因子。基于关注权重，生成特征向量。基于所生成的特征向量，确定对应于两个或多个查询输入的概率值。

Description

用于语句对的高效紧凑的文本匹配系统
相关申请的交叉引用
本申请要求于2020年11月13日提交的申请号为No.17/097,589的美国申请的优先权，其全部内容通过引用并入本文。
技术领域
本公开总体上涉及数据处理领域，尤其涉及查询匹配。
背景技术
自然语言语句对匹配任务旨在生成一个描述两个语句的语义是否匹配的标签。该任务是自然语言处理领域(Natural Language Processing，NLP)的核心研究课题之一。语句对匹配问题在许多应用中都存在，例如在chatbot系统中对检索到的问题与用户查询对进行排序，在长段落中定位用户查询的答案等。
在文本匹配任务中，目标是学习评分系统，该评分系统生成了给定文本对的匹配评分。该匹配任务是自然语言处理(NLP)领域的重要任务之一，可以应用于各种应用领域。例如，在问答(Question Answer，QA)系统中，检索到的问题或答案是否与用户查询匹配将是影响系统的用户满意度表现的重要因素。文本匹配的方法分为以下两类。在基于规则的系统中，语句对被切割成词，并根据一个语句中的一个词与另一个语句中最相似的词之间的匹配评分的平均值来提供匹配评分。基于规则的方法在推理阶段快速生成匹配分数，并且不需要训练。在基于深度学习的系统中，诸如LSTM、BERT或DSSM、匹配金字塔等深度学习模型是目前用于语句对匹配任务的最先进的模型。
发明内容
实施例涉及一种用于查询匹配的方法、系统和计算机可读介质。根据一方面，提供了一种用于查询匹配的方法。该方法包括：接收针对神经网络的两个或多个查询输入。基于关注权重，识别两个或多个查询输入之间的相关因子。基于关注权重，生成特征向量。基于所生成的特征向量，确定对应于两个或多个查询输入的概率值。
根据另一方面，提供了一种用于查询匹配的计算机系统。该计算机系统可以包括一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读有形存储设备、以及存储在一个或多个存储设备中的至少一个上的程序指令，程序指令通过一个或多个存储器中的至少一个由一个或多个处理器中的至少一个来执行，由此计算机系统能够执行方法。该方法包括：接收针对神经网络的两个或多个查询输入。基于关注权重，识别两个或多个查询输入之间的相关因子。基于关注权重，生成特征向量。基于所生成的特征向量，确定对应于两个或多个查询输入的概率值。
根据又一个方面，提供了一种用于查询匹配的计算机可读介质。计算机可读介质可包括一个或多个计算机可读存储设备和存储在所述一个或多个有形存储设备中的至少一个上的程序指令，程序指令可由处理器执行。程序指令可由处理器执行，以用于执行方法，该方法相应地可包括：接收针对神经网络的两个或多个查询输入。基于关注权重，识别两个或多个查询输入之间的相关因子。基于关注权重，生成特征向量。基于所生成的特征向量，确定对应于两个或多个查询输入的概率值。
附图说明
这些和其它目的、特征和优点将通过下面结合附图阅读的对说明性实施例的详细描述而变得显而易见。附图的各种特征未按比例绘制，原因是图示要清楚地便于本领域技术人员结合详细描述来理解。在附图中：
图1示出了根据至少一个实施例的联网计算机环境；
图2是根据至少一个实施例的用于查询匹配的系统的框图；
图3是根据至少一个实施例的示出了由基于关注权重进行语句对匹配的程序执行的步骤的操作流程图；
图4是根据至少一个实施例的图1中描绘的计算机和服务器的内部组件和外部组件的框图；
图5是根据至少一个实施例的包括图1中描绘的计算机系统的说明性云计算环境的框图；以及
图6是根据至少一个实施例的图5中的说明性云计算环境的功能层的框图。
具体实施方式
本文公开了所要求保护的结构和方法的详细实施例；然而，可以理解，所公开的实施例仅仅是所要求保护的结构和方法的说明，所要求保护的结构和方法可以以各种形式实施。然而，这些结构和方法可以以许多不同的形式实施，且不应被解释为限于本文阐述的示例性实施例。相反，提供这些示例性实施例，使得本公开将是彻底的和完整的并向本领域技术人员充分传达范围。在描述中，可省略公知特征和技术的细节以避免不必要地模糊所呈现的实施例。
实施例总体上涉及数据处理领域，尤其涉及查询匹配。下面描述的示例性实施例提供了一种系统、方法和计算机程序，用于(除其他外)基于协同关注评分对输入语句对进行匹配。因此，一些实施例具有通过允许与深度学习模型相比相对较小的模型参数来改进计算领域的能力，使得训练示例(标记数据)的数量不需要很大，并且推理时间显著较少。
如前文所述，文本匹配任务的目标是学习评分系统，该评分系统生成了给定文本对的匹配评分。该匹配任务是自然语言处理(NLP)领域的重要任务之一，可以应用于各种应用领域。例如，在问答(Question Answer，QA)系统中，检索到的问题或答案是否与用户查询匹配将是影响系统的用户满意度表现的重要因素。文本匹配的方法分为以下两类。在一个基于规则的系统中，语句对被切割成词，并根据一个语句中的一个词与另一个语句中最相似的词之间的匹配评分的平均值来提供匹配评分。基于规则的方法在推理阶段快速生成匹配分数，并且不需要训练。在基于深度学习的系统中，诸如LSTM、BERT或DSSM、匹配金字塔等深度学习模型是目前用于语句对匹配任务的最先进的模型。
然而，由于应用的多样性，很难找到一个统一的模型来处理各种文本匹配模式。对于基于规则的系统，性能对分词和终止词非常敏感，这往往会导致系统性能低下。对于基于深度学习的系统，模型需要大量的训练数据来微调模型或从头开始训练。此外，与基于规则的模型相比，推理时间非常长，这给行业在线服务带来了困难。因此，可能有利的是，使用适合文本匹配任务的轻量级系统，以减轻深度模型大量推理时间的负担，提高简单模型的性能。另外，通过利用协同关注机制和预训练的词嵌入以解决上述技术难题，多层协同关注机制可用于提高模型对各种应用场景的鲁棒性，为高效的文本匹配提供了详细的系统解决方案。
在本文中参考根据各个实施例的方法、装置(系统)和计算机可读介质的流程图示和/或框图来描述各方面。应理解，流程图示和/或框图的每个框以及流程图示和/或框图中的框的组合可由计算机可读程序指令实现。
现在参考图1，示出了用于通过基于神经网络进行语句对匹配的语句匹配系统100(以下称为“系统”)的联网网络计算机环境的功能框图。应理解，图1仅提供了一种实施方式的图示，并不暗示与可实现不同实施例的环境相关的任何限制。可基于设计和实现要求对所描绘的环境进行许多修改。
系统100可包括计算机102和服务器计算机114。计算机102可通过通信网络110(以下称为“网络”)与服务器计算机114通信。计算机102可包括处理器104和存储在数据存储设备106上的软件程序108，计算机102能够与用户对接并与服务器计算机114通信。如下文将参照图4讨论的，计算机102可相应地包括内部组件800A和外部组件900A，且服务器计算机114可相应地包括内部组件800B和外部组件900B。计算机102可以为例如移动设备、电话、个人数字助理、上网本、膝上型计算机、平板电脑、台式计算机、或能够运行程序、访问网络和访问数据库的任何类型的计算设备。
如下文参考图5和图6讨论的，服务器计算机114还可以在云计算服务模型中操作，云计算服务模型例如软件即服务(Software as a Service，SaaS)、平台即服务(Platformas a Service，PaaS)或基础设施即服务(Infrastructure as a Service，IaaS)。服务器计算机114还可位于云计算部署模型中，云计算部署模型例如私有云、社区云、公共云或混合云。
服务器计算机114可用于通过基于神经网络进行语句对匹配，能够运行可与数据库112交互的语句匹配程序116(以下称为“程序”)。下面结合图3更详细地说明语句匹配程序方法。在一个实施例中，计算机102可作为包括用户接口的输入设备操作，而程序116可主要在服务器计算机114上运行。在可选实施例中，程序116可主要在一个或多个计算机102上运行，而服务器计算机114可用于处理和存储程序116所使用的数据。应注意，程序116可以是独立的程序，或者可集成到更大的语句对匹配程序中。
然而，应注意，在某些情况下，程序116的处理可以在计算机102和服务器计算机114之间以任何比例共享。在另一实施例中，程序116可以在多于一台计算机、服务器计算机或计算机和服务器计算机的某种组合上运行，例如，在通过网络110与单个服务器计算机114通信的多个计算机102上运行。在另一实施例中，例如，程序116可以在通过网络110与多个客户端计算机通信的多个服务器计算机114上运行。可选地，程序可以在通过网络与服务器和多个客户端计算机通信的网络服务器上运行。
网络110可包括有线连接、无线连接、光纤连接或这些连接的某种组合。通常，网络110可以是将支持计算机102和服务器计算机114之间的通信的连接和协议的任何组合。网络110可包括各种类型的网络，例如局域网(Local Area Network，LAN)、诸如因特网的广域网(Wide Area Network，WAN)、诸如公共交换电话网络(Public Switched TelephoneNetwork，PSTN)的电信网络、无线网络、公共交换网络、卫星网络、蜂窝网络(例如第五代(Fifth Generation，5G)网络、长期演进(Long-Term Evolution，LTE)网络、第三代(ThirdGeneration3G)网络、码分多址(Code Division Multiple Access，CDMA)网络等)、公共陆地移动网络(Public Land Mobile Network，PLMN)、城域网(Metropolitan Area Network，MAN)、专用网络、自组织网络、内联网、基于光纤的网络等，和/或这些网络或其它类型的网络的组合。
图1所示的设备和网络的数量和布置作为示例来提供。在实践中，可存在额外的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或者与图1所示的设备和/或网络不同地布置的设备和/或网络。此外，图1所示的两个或更多个设备可以在单个设备内实现，或者图1所示的单个设备可实现为多个分布式设备。另外或者可选地，系统100的一组设备(例如，一个或多个设备)可执行被描述成由系统100的另一组设备执行的一个或多个功能。
现在参考图2，示出了语句匹配系统200的系统框图。语句匹配系统200可包括(除其他外)：查询嵌入模块202、多层协同关注模块204、逐层最大池化模块206、自关注模块208和分类器模块210。可以理解，语句匹配系统200的模块可以被实现为独立模块或实现为神经网络内的单个层。
语句匹配系统200可以为文本匹配系统，该文本匹配系统可以将一语句对分类到标签中，该标签可以描述该语句对是否匹配(若标签等于“1”表示该语句对匹配，否则，若标签是“0”，则表示该语句对不匹配)。为了获取该语句对中的两个查询之间的深度相关性，语句匹配系统200可以使用多层协同关注模型，该多层协同关注模型可以利用词嵌入的表示能力，并且通过矩阵W和V通过不同的学习加权策略来计算每个协同关注层的相关性矩阵A。
语句匹配系统200可以最小化交叉熵损，该交叉熵损被定义为：
Figure BDA0003840502000000061
其中，每个yi可以是一个真值类标签，其取值可为0或1，以及该标签的概率P(yi)。
查询嵌入模块202可将查询语句视为词序列。每个词可以通过预先训练的词嵌入模型被转换为预定义的词向量，该模型可以在线使用，也可以在数据库中使用。
多层协同关注模块204可用于通过不同的关注权重来学习词序列对之间的相关性，不同的关注权重可通过矩阵W和V获得。矩阵W和V可以分别在每一层的Q1和Q2序列上学习不同的关注权重。在每一层k处，相关矩阵Ak可以获取加权序列对之间的相关性。例如，如果k层的权重wk和vk在进行词匹配的第二个位置上具有较高的权重，那么相关性矩阵将在第二行第二列具有较高的评分。因此，协同关注权重矩阵W和V可用于获得序列对之间匹配的重点或焦点。可理解，一些对的匹配可被认为比其他对的匹配更重要。不同的层可以获得不同的匹配焦点，并且可以通过softmax操作在相关性矩阵Ak中计算和测量匹配相似性。
逐层最大池化模块206可以通过滑动窗口最大运算符将相关矩阵的每一层的维度从m x n转换为更小的维度(即，2x 2)。该层的原因是增强了跨不同对示例的匹配位置的鲁棒性(位置不变性)。例如，如果(在两个示例中属于相同类型的)重要词在一个示例中在Q1的位置1和Q2的位置3处匹配，而在另一个示例中在Q1的位置3和Q2的位置2处进行匹配，则这其应该具有相同的匹配模式。
自关注模块208可使得语句匹配系统200学习协同关注层之间的不同加权策略。自关注模块208的输出可以被视为下一个分类器层的特征向量。
分类器模块210可包括(除其他外)全连接的激活层。从自关注模块208生成的特征向量可以被馈送到全连接的和sigmoid激活层(分类器)中，以生成该对是否匹配的概率P(yi)。可以基于通过标记数据最小化二元交叉熵损来学习概率。
可以基于用于学习网络参数W、V和U的小批量随机梯度下降机制来执行模型训练。在推理阶段，语句对被输入到网络中，并生成该语句对匹配的可能性的分数/概率。可以使用不同的阈值来预测它们是否匹配不同场景或系统中的严格性标准。阈值越高，用户定义匹配就越严格。
根据一个或多个实施例，还可以使用BERT模型。可以基于组，将查询解析成词，其中，每个组可以表示一个类别。例如，G1可以包括症状或疾病词，G2可以包括医疗意图词，并且G3可以包括其他词。可以通过在不同组词的匹配评分之间求平均值，来计算匹配评分F。欧几里得距离可用于使用语句嵌入，来测量两个语句之间的粗略相似度。这两个评分可以使用函数g进行组合。
现在参考图3，描绘了示出由基于协同关注评分进行查询匹配的程序执行的方法300的操作流程图。
在步骤302处，该方法300包括：接收针对神经网络的两个或多个查询输入。
在步骤304处，该方法300包括：基于关注权重，识别两个或多个查询输入之间的相关因子。
在步骤306处，该方法300包括：基于关注权重，生成特征向量。
在步骤308处，该方法300包括：基于所生成的特征向量，确定对应于两个或多个查询输入的概率值。
可以理解，图3仅提供了一种实现方式的图示，并不暗示与可如何实现不同实施例相关的任何限制。可基于设计和实现要求对所描绘的环境进行许多修改。
图4是根据一个说明性实施例的图1描绘的计算机的内部组件和外部组件的框图400。应理解，图4仅提供一种实施方式的图示，并且不暗示与可实施不同实施例的环境相关的任何限制。可基于设计和实现要求对所描绘的环境进行许多修改。
如图4所示，计算机102(图1)和服务器计算机114(图1)可分别包括一组内部组件800A、800B和外部组件900A、900B。每一组内部组件800包括位于一个或多个总线826上的一个或多个处理器820、一个或多个计算机可读RAM 822和一个或多个计算机可读ROM 824、一个或多个操作系统828和一个或多个计算机可读有形存储设备830。
处理器820以硬件、固件或硬件和软件的组合来实现。处理器820是中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)、加速处理单元(Accelerated Processing Unit，APU)、微处理器、微控制器、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field-Programmable GateArray，FPGA)、专用集成电路(Application-Specific Integrated Circuit，ASIC)或其它类型的处理组件。在一些实现方式中，处理器820包括能够被编程以执行功能的一个或多个处理器。总线826包括允许内部组件800A、800B之间通信的组件。
位于服务器计算机114(图1)上的一个或多个操作系统828、软件程序108(图1)和语句匹配程序116(图1)存储在相应的计算机可读有形存储设备830中的一个或多个上，以通过相应的RAM 822中的一个或多个(通常包括缓存)由相应的处理器820中的一个或多个来执行。在图4所示的实施例中，每个计算机可读有形存储设备830是内部硬盘驱动器的磁盘存储设备。可选地，每个计算机可读有形存储设备830是半导体存储设备，诸如ROM 824、EPROM、闪存、光盘、磁光盘、固态盘、紧凑盘(Compact Disc，CD)、数字通用盘(DigitalVersatile Disc，DVD)、软盘、盒式磁带、磁带和/或可存储计算机程序和数字信息的其它类型的非暂时性计算机可读有形存储设备。
每一组内部组件800A，800B还包括R/W驱动器或接口832，以从一个或多个便携式计算机可读有形存储设备936(例如CD-ROM、DVD、记忆棒、磁带、磁盘、光盘或半导体存储设备)读取和写入一个或多个便携式计算机可读有形存储设备936。诸如软件程序108(图1)和语句匹配程序116(图1)的软件程序可存储在相应的便携式计算机可读有形存储设备936中的一个或多个上，经由相应的R/W驱动器或接口832读取并加载到相应的硬盘驱动器830中。
每一组内部组件800A，800B还包括网络适配器或接口836，例如TCP/IP适配卡；无线Wi-Fi接口卡；或3G、4G或5G无线接口卡或其它有线或无线通信链路。服务器计算机114(图1)上的软件程序108(图1)和语句匹配程序116(图1)可经由网络(例如，因特网、局域网或其它广域网)和相应的网络适配器或接口836从外部计算机下载到计算机102(图1)和服务器计算机114。通过网络适配器或接口836，服务器计算机114上的软件程序108和语句匹配程序116加载到相应的硬盘驱动器830中。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。
每一组外部组件900A，900B可以包括计算机显示监测器920、键盘930和计算机鼠标934。外部组件900A、900B还可以包括触摸屏、虚拟键盘、触摸板、指向设备和其它人机接口设备。每一组内部组件800A，800B还包括设备驱动器840，以与计算机显示监测器920、键盘930和计算机鼠标934对接。设备驱动器840、R/W驱动器或接口832和网络适配器或接口836包括硬件和软件(存储在存储设备830和/或ROM 824中)。
应预先理解，虽然本公开包括对云计算的详细描述，但是本文中所叙述的教导的实现方式不限于云计算环境。相反，一些实施例能够结合现在已知或稍后开发的任何其他类型的计算环境来实现。
云计算是用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池的便捷、按需网络访问的服务传送模型，该可配置计算资源可以以最小的管理努力或通过与服务提供者的交互来快速提供和释放。该云模型可包括至少五个特征、至少三个服务模型和至少四个部署模型。
特征如下：
按需自助服务：云消费者可根据需要自动地单方面提供计算能力(例如服务器时间和网络存储)，而不需要与服务提供者进行人工交互。
广泛的网络接入：可通过网络可获得能力并通过标准机制来访问能力，该标准机制促进由异构瘦客户端平台或胖客户端平台(例如，移动电话、膝上型计算机和PDA)使用。
资源池化：使用多租户模型对提供者的计算资源进行池化以服务于多个消费者，其中根据需求动态地分配和重新分配不同的物理资源和虚拟资源。
存在与位置无关的感觉，原因是消费者通常无法控制所提供的资源的确切位置或不知道所提供的资源的确切位置，但是能够以更高的抽象级别(例如，国家、状态或数据中心)指定位置。
快速弹性：可快速且弹性地提供能力，在某些情况下可自动地提供能力，以快速扩展和快速释放以快速收缩。对于消费者来说，可提供的能力通常看起来无限制，且可以在任何时候以任何数量购买。
测量的服务：云系统通过在适合于服务类型(例如，存储、处理、带宽和活动用户帐户)的某个抽象级别下利用计量能力来自动控制和优化资源使用。可监测、控制和报告资源使用，从而给所利用的服务的提供者和消费者提供透明度。
服务模式如下：
软件即服务(SaaS)：提供给消费者的能力是使用在云基础设施上运行的提供者的应用程序。应用程序可通过瘦客户端接口从各种客户端设备访问，瘦客户端接口例如web浏览器(例如，基于web的电子邮件)。消费者不管理或控制包括网络、服务器、操作系统、存储器的底层云基础设施，或者甚至不管理或控制个人应用能力，可能的例外是有限的用户特有的应用配置设置。
平台即服务(PaaS)：提供给消费者的能力是将消费者创建或获取的应用部署到云基础设施上，该应用使用由提供者支持的编程语言和工具来创建。消费者不管理或控制包括网络、服务器、操作系统或存储器的底层云基础设施，而是控制所部署的应用和可能的应用托管环境配置。
基础设施即服务(IaaS)：提供给消费者的能力是提供处理、存储、网络和其它基本计算资源，其中消费者能够部署和运行可包括操作系统和应用的任意软件。消费者不管理或控制底层云基础设施，而是控制操作系统、存储、所部署的应用，且可能有限地控制所选择的联网组件(例如，主机防火墙)。
部署模型如下：
私有云：云基础设施运行，仅用于一个组织。云基础设施可由该组织或第三方管理，且可以以内部部署或外部部署的方式存在。
社区云：云基础设施由数个组织共享，并支持具有协同关注点(例如，任务、安全要求、策略和合规性考虑)的特定社区。社区云可由这些组织或第三方管理，且可以以内部部署或外部部署的方式存在。
公共云：云基础设施可用于普通公众或大型工业集团，且由销售云服务的组织所拥有。
混合云：云基础设施是两个或更多个云(私有云、社区云或公共云)的组合，这些云保持独特的实体，但是通过标准化技术或专有技术而捆绑在一起，标准化技术或专有技术实现数据和应用可移植性(例如，云爆用于云之间的负载平衡)。
云计算环境是面向服务的，重点是无状态、低耦合、模块化和语义互操作性。云计算的核心是包括由互连节点构成的网络的基础设施。
参考图5，描绘了说明性云计算环境500。如图所示，云计算环境500包括一个或多个云计算节点10，云消费者使用的本地计算设备可与云计算节点10通信，本地计算设备例如个人数字助理(Personal Digital Assistant，PDA)或蜂窝电话54A、台式计算机54B、膝上型计算机54C和/或汽车计算机系统54N。云计算节点10彼此可通信。云计算节点10可以在一个或多个网络中物理地或虚拟地分组(未示出)，一个或多个网络例如如上所述的私有云、社区云、公共云或混合云，或其组合。这使得云计算环境500可以提供基础设施、平台和/或软件，作为不需要云消费者维护本地计算设备上的资源的服务。应理解，图6所示的计算设备54A-N的类型仅用于说明，且云计算节点10和云计算环境600可通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算机化设备通信。
参考图6，示出了由云计算环境500(图5)提供的一组功能抽象层600。应当预先理解，图6中所示的组件、层和功能仅用于说明性，实施例不限于此。
如图所描绘的，提供以下层和相应的功能：
硬件和软件层60包括硬件和软件组件。硬件组件的示例包括：主机61；基于精简指令集计算机(Reduced Instruction Set Computer，RISC)架构的服务器62；服务器63；刀片服务器64；存储设备65；以及网络和联网组件66。在一些实施例中，软件组件包括网络应用服务器软件67和数据库软件68。
虚拟化层70提供抽象层，可从该抽象层提供以下虚拟实体的示例：虚拟服务器71；虚拟存储器72；虚拟网络73，包括虚拟专用网络；虚拟应用和操作系统74；以及虚拟客户端75。
在一个示例中，管理层80可提供以下描述的功能。资源供应81提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取。当在云计算环境中使用资源时，计量和定价82提供成本追溯，以及对这些资源的消耗进行计费或开具清单。在一个示例中，这些资源可包括应用软件许可证。安全给云消费者和任务提供身份验证，以及给数据和其它资源提供保护。用户门户83给消费者和系统管理员提供对云计算环境的访问。服务级别管理84提供云计算资源分配和管理，使得满足所需的服务级别。服务水平协议(Service LevelAgreement，SLA)规划和实现85提供对云计算资源的预先安排和获取，对于云计算资源，根据SLA预期未来需求。
工作负载层90提供可使用云计算环境的功能的示例。可从该层提供的工作负载和功能的示例包括：映射和导航91；软件开发和生命周期管理92；虚拟课堂教育传送93；数据分析处理94；交易处理95；以及语句匹配96。语句匹配96可以基于关注权重匹配语句对。
一些实施例可以涉及整合的任何可能的技术细节级别的系统、方法和/或计算机可读介质。计算机可读介质可包括计算机可读非暂时性存储介质(或介质)，在计算机可读非暂时性存储介质(或介质)上具有使得处理器执行操作的计算机可读程序指令。
计算机可读存储介质可以是可保存和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或上述存储设备的任何适当组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下项：便携式计算机磁盘、硬盘、随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Random Access Memory，ROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM或闪存)、静态随机存取存储器(Static Random Access Memory，SRAM)、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字通用盘(Digital Versatile Disk，DVD)、记忆棒、软盘、机械编码的设备(例如凹槽中的凸起结构或穿孔卡片，其上记录有指令)，以及上述各项的任何适当组合。如本文所使用的计算机可读存储介质不应解释成本身是瞬时信号，例如无线电波或其它自由传播的电磁波、通过波导或其它传输介质传播的电磁波(例如，经过光纤线缆的光脉冲)、或通过线传输的电信号。
本文描述的计算机可读程序指令可通过网络(例如因特网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备或下载到外部计算机或外部存储设备。网络可包括铜传输线缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令并转发计算机可读程序指令，以存储在相应的计算/处理设备内的计算机可读存储介质中。
用于执行操作的计算机可读程序代码/指令可以是汇编程序指令、指令集架构(Instruction-Set-Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种编程语言的任何组合编写的源代码或目标代码，一种或多种编程语言包括面向对象的编程语言(例如SmallTalk，C++等)和过程编程语言(例如“C”编程语言或类似的编程语言)。计算机可读程序指令可完全在用户的计算机上、部分地在用户的计算机上、作为独立软件包来执行，独立软件包部分地在用户的计算机上、部分在远程计算机上或完全在远程计算机或服务器上。在后一种情况下，远程计算机可通过任何类型的网络连接到用户的计算机，网络包括局域网(LAN)或广域网(WAN)，或者可与外部计算机建立连接(例如，通过使用因特网服务提供者的因特网)。在一些实施例中，例如包括可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以个性化电子电路，来执行多方面或操作。
这些计算机可读程序指令可提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图框中指定的功能/动作的方式。这些计算机可读程序指令还可存储在计算机可读存储介质中，可指导计算机、可编程数据处理设备和/或其它设备以特定方式运行，使得存储有指令的计算机可读存储介质包括制造品，该制造品包括实现流程图和/或框图框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可加载到计算机、其它可编程数据处理设备或其它设备上，使得一系列操作步骤在计算机、其它可编程设备或其它设备上执行以产生计算机实现的过程，因此在计算机、其它可编程设备或其它设备上执行的指令实现流程图和/或框图框中指定的功能/动作。
图中的流程图和框图示出了根据各个实施例的系统、方法和计算机可读介质的可能实现方式的架构、功能和操作。在这一点上，流程图或框图中的每个框可表示指令的模块、部段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。与图中所描绘的那些框相比，方法、计算机系统和计算机可读介质可包括附加框、更少的框、不同的框或不同布置的框。在一些可选的实现方式中，在框中注明的功能可以不按图中注明的顺序发生。例如，接连示出的两个框实际上可同时执行或基本上同时执行，或者有时框可以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示的框的组合可通过基于专用硬件的系统来实现，这些系统执行指定的功能或动作或者实现专用硬件和计算机指令的组合。
显然，本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制实现方式。因此，本文在不参考特定软件代码的情况下描述系统和/或方法的操作和行为-应理解，软件和硬件可设计成实现基于本文的描述的系统和/或方法。
除非另外明确描述，否则本文使用的元素、动作或指令不应理解为关键的或必要的。此外，如本文所使用的，冠词“一”和“一个”旨在包括一个或多个项目，且可与“一个或多个”互换使用。此外，如本文所使用的，术语“集”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关项目和不相关项目的组合等)，且可与“一个或多个”互换使用。在仅意指一个项目的情况下，使用术语“一”或类似语言。此外，如本文所使用的，术语“有”、“具有”、“含有”或类似术语旨在是开放式术语。此外，短语“基于”意指“至少部分地基于”，除非另有明确说明。
为了说明的目的，已给出对各个方面和实施例的描述，但并不旨在穷举或限制于所公开的实施例。即使在权利要求中叙述和/或在说明书中公开特征的组合，这些组合并不旨在限制可能的实现方式的公开内容。实际上，这些特征中的许多特征可以以未在权利要求中具体陈述和/或未在说明书中公开的方式组合。虽然下面列出的每个从属权利要求可仅直接从属于一个权利要求，但是可能的实现方式的公开内容包括每个从属权利要求与权利要求集中的每一个其它权利要求的组合。在不脱离所描述的实施例的范围的情况下，许多修改和变化将对本领域普通技术人员而言是显而易见的。选择本文使用的术语以最好地解释实施例的原理、实际应用或相对于市场中找到的技术的技术改进，或使本领域普通技术人员能够理解本文公开的实施例。

Claims (20)

1.一种用于查询匹配的方法，由处理器执行，包括：
接收针对神经网络的两个或多个查询输入；
基于关注权重，识别所述两个或多个查询输入之间的相关因子；
基于所述关注权重，生成特征向量；以及
基于所生成的特征向量，确定对应于所述两个或多个查询输入的概率值。
2.根据权利要求1所述的方法，还包括：基于所确定的概率值，确定所述两个或多个查询输入中的两个查询输入之间的配对。
3.根据权利要求1所述的方法，其中，基于与最小化的概率值相对应的损失值选择查询输入对。
4.根据权利要求1所述的方法，其中，所述关注权重是基于所述两个或多个查询的对之间的相关性生成的。
5.根据权利要求4所述的方法，其中，所述相关性是基于协同关注权重矩阵计算的，所述协同关注权重矩阵获取所述查询对之间的重点或焦点。
6.根据权利要求1所述的方法，其中，所述关注权重是从多个加权策略中计算出的。
7.根据权利要求6所述的方法，其中，所述关注权重基于所述多个加权策略被计算为平均值。
8.一种计算机系统，用于查询匹配，所述计算机系统包括：
一个或多个计算机可读非暂时性存储介质，配置为存储计算机程序代码；以及
一个或多个计算机处理器，配置为访问所述计算机程序代码，并按照所述计算机程序代码的指令进行操作，所述计算机程序代码包括：
接收代码，配置为使得所述一个或多个计算机处理器接收针对神经网络的两个或多个查询输入；
识别代码，配置为使得所述一个或多个计算机处理器基于关注权重，识别所述两个或多个查询输入之间的相关因子；
生成代码，配置为使得所述一个或多个计算机处理器基于所述关注权重，生成特征向量；以及
确定代码，配置为使得所述一个或多个计算机处理器基于所生成的特征向量，确定对应于所述两个或多个查询输入的概率值。
9.根据权利要求8所述的计算机系统，还包括：确定代码，配置为使得所述一个或多个计算机处理器基于所确定的概率值，确定所述两个或多个查询输入中的两个查询输入之间的配对。
10.根据权利要求8所述的计算机系统，其中，基于与最小化的概率值相对应的损失值选择查询输入对。
11.根据权利要求8所述的计算机系统，其中，所述关注权重是基于所述两个或多个查询的对之间的相关性生成的。
12.根据权利要求11所述的计算机系统，其中，所述相关性是基于协同关注权重矩阵来计算的，所述协同关注权重矩阵获取所述查询对之间的重点或焦点。
13.根据权利要求8所述的计算机系统，其中，所述关注权重是从多个加权策略中计算出的。
14.根据权利要求13所述的计算机系统，其中，所述关注权重基于所述多个加权策略被计算为平均值。
15.一种非易失性计算机可读介质，其上存储有用于查询匹配的计算机程序，所述计算机程序被配置为使得一个或多个计算机处理器执行以下步骤：
接收针对神经网络的两个或多个查询输入；
基于关注权重，识别所述两个或多个查询输入之间的相关因子；
基于所述关注权重，生成特征向量；以及
基于所生成的特征向量，确定对应于所述两个或多个查询输入的概率值。
16.根据权利要求15所述的计算机可读介质，还包括：确定代码，被配置为使得所述一个或多个计算机处理器基于所确定的概率值，确定所述两个或多个查询输入中的两个查询输入之间的配对。
17.根据权利要求15所述的计算机可读介质，其中，基于与最小化的概率值相对应的损失值选择查询输入对。
18.根据权利要求15所述的计算机可读介质，其中，所述关注权重是基于所述两个或多个查询的对之间的相关性生成的。
19.根据权利要求18所述的计算机可读介质，其中，所述相关性是基于协同关注权重矩阵来计算的，所述协同关注权重矩阵获取所述查询对之间的重点或焦点。
20.根据权利要求15所述的计算机可读介质，其中，所述关注权重是从多个加权策略中计算出的。
CN202180020511.8A 2020-11-13 2021-06-25 用于语句对的高效紧凑的文本匹配系统 Pending CN115280301A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/097,589 2020-11-13
US17/097,589 US11995111B2 (en) 2020-11-13 2020-11-13 Efficient and compact text matching system for sentence pairs
PCT/US2021/039033 WO2022103440A1 (en) 2020-11-13 2021-06-25 Efficient and compact text matching system for sentence pairs

Publications (1)

Publication Number Publication Date
CN115280301A true CN115280301A (zh) 2022-11-01

Family

ID=81587566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180020511.8A Pending CN115280301A (zh) 2020-11-13 2021-06-25 用于语句对的高效紧凑的文本匹配系统

Country Status (3)

Country Link
US (1) US11995111B2 (zh)
CN (1) CN115280301A (zh)
WO (1) WO2022103440A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116881738B (zh) * 2023-09-06 2024-02-13 华南理工大学 一种应用于电网行业的项目申报文档的相似度检测方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6810376B1 (en) 2000-07-11 2004-10-26 Nusuara Technologies Sdn Bhd System and methods for determining semantic similarity of sentences
US20080301125A1 (en) 2007-05-29 2008-12-04 Bea Systems, Inc. Event processing query language including an output clause
FI20165240A (fi) * 2016-03-22 2017-09-23 Utopia Analytics Oy Menetelmä, järjestelmä ja väline sisällön moderointiin
US20180284735A1 (en) * 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for industrial internet of things data collection in a network sensitive upstream oil and gas environment
US10963782B2 (en) * 2016-11-04 2021-03-30 Salesforce.Com, Inc. Dynamic coattention network for question answering
US10706113B2 (en) * 2017-01-06 2020-07-07 Microsoft Technology Licensing, Llc Domain review system for identifying entity relationships and corresponding insights
US11298062B2 (en) * 2017-02-01 2022-04-12 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
US10796686B2 (en) * 2017-10-19 2020-10-06 Baidu Usa Llc Systems and methods for neural text-to-speech using convolutional sequence learning
US10754851B2 (en) * 2017-12-22 2020-08-25 Adobe Inc. Question answering for data visualizations
US11501076B2 (en) * 2018-02-09 2022-11-15 Salesforce.Com, Inc. Multitask learning as question answering
US11600194B2 (en) * 2018-05-18 2023-03-07 Salesforce.Com, Inc. Multitask learning as question answering
US11210572B2 (en) * 2018-12-17 2021-12-28 Sri International Aligning symbols and objects using co-attention for understanding visual content
US10929614B2 (en) * 2019-01-03 2021-02-23 International Business Machines Corporation Automated contextual dialog generation for cognitive conversation
CN111460248B (zh) * 2019-01-19 2023-05-23 北京嘀嘀无限科技发展有限公司 用于线上到线下服务的系统和方法
US11461638B2 (en) * 2019-03-07 2022-10-04 Adobe Inc. Figure captioning system and related methods
WO2021000362A1 (zh) * 2019-07-04 2021-01-07 浙江大学 一种基于深度神经网络模型的地址信息特征抽取方法
US11271876B2 (en) * 2019-08-22 2022-03-08 Adobe Inc. Utilizing a graph neural network to identify supporting text phrases and generate digital query responses
US11350169B2 (en) * 2019-11-13 2022-05-31 Netflix, Inc. Automatic trailer detection in multimedia content
US10839223B1 (en) * 2019-11-14 2020-11-17 Fudan University System and method for localization of activities in videos
US11361550B2 (en) * 2019-12-30 2022-06-14 Yahoo Assets Llc Automatic digital content captioning using spatial relationships method and apparatus
US11423304B2 (en) * 2020-01-15 2022-08-23 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for semantic analysis of multimedia data using attention-based fusion network
US11210523B2 (en) * 2020-02-06 2021-12-28 Mitsubishi Electric Research Laboratories, Inc. Scene-aware video dialog
US11244167B2 (en) * 2020-02-06 2022-02-08 Adobe Inc. Generating a response to a user query utilizing visual features of a video segment and a query-response-neural network
US11921711B2 (en) * 2020-03-06 2024-03-05 Alibaba Group Holding Limited Trained sequence-to-sequence conversion of database queries
US11580309B1 (en) * 2022-03-14 2023-02-14 States Title, Llc Predictive time series data object machine learning system

Also Published As

Publication number Publication date
US11995111B2 (en) 2024-05-28
WO2022103440A1 (en) 2022-05-19
US20220156297A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
US10929614B2 (en) Automated contextual dialog generation for cognitive conversation
US11048564B2 (en) API evolution and adaptation based on cognitive selection and unsupervised feature learning
US20200125926A1 (en) Dynamic Batch Sizing for Inferencing of Deep Neural Networks in Resource-Constrained Environments
WO2022063019A1 (en) Representational machine learning for product formulation
US20220358358A1 (en) Accelerating inference of neural network models via dynamic early exits
US11501115B2 (en) Explaining cross domain model predictions
US11080486B2 (en) Remote neural network processing for guideline identification
US11475297B2 (en) Cross-domain homophily quantification for transfer learning
CN112446493A (zh) 使用对话系统来学习和推断判断推理知识
US11741296B2 (en) Automatically modifying responses from generative models using artificial intelligence techniques
CN116848580A (zh) 用于针对多方对话的话语解析的结构自感知模型
US11755954B2 (en) Scheduled federated learning for enhanced search
US10776411B2 (en) Systematic browsing of automated conversation exchange program knowledge bases
CN115280301A (zh) 用于语句对的高效紧凑的文本匹配系统
US11921755B2 (en) Data clustering using analysis of multiple encoding techniques
US11681501B2 (en) Artificial intelligence enabled open source project enabler and recommendation platform
US20220335217A1 (en) Detecting contextual bias in text
US11586917B2 (en) Leveraging simple model predictions for enhancing computational performance
US11983238B2 (en) Generating task-specific training data
US20230267342A1 (en) Iterative answer and supplemental information extraction for machine reading comprehension
US20230186147A1 (en) Automated few-shot learning techniques for artificial intelligence-based query answering systems
US20230108135A1 (en) Neuro-symbolic reinforcement learning with first-order logic
US20220076079A1 (en) Distributed machine learning scoring
US11568235B2 (en) Data driven mixed precision learning for neural networks
US20220012600A1 (en) Deriving precision and recall impacts of training new dimensions to knowledge corpora

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40075522

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination