CN114969247A - 问答系统及其控制方法 - Google Patents

问答系统及其控制方法 Download PDF

Info

Publication number
CN114969247A
CN114969247A CN202210149110.9A CN202210149110A CN114969247A CN 114969247 A CN114969247 A CN 114969247A CN 202210149110 A CN202210149110 A CN 202210149110A CN 114969247 A CN114969247 A CN 114969247A
Authority
CN
China
Prior art keywords
question
representative
learning
questions
answering system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210149110.9A
Other languages
English (en)
Inventor
朴天音
李米礼
金东玄
李清宰
金圣昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Publication of CN114969247A publication Critical patent/CN114969247A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种问答系统及其控制方法，所述问答系统通过利用深度学习而为车辆相关的FAQ提供恰当的答案。所述问答系统包括：存储器，其中，将多个代表性问题与分别对应于所述多个代表性问题的多个答案进行匹配并存储；学习模块，其配置为从存储的多个代表性问题中输出与输入语句相对应的代表性问题；以及输出模块，其配置为在存储器中搜索与输出的代表性问题相匹配的答案并且输出找到的答案。所述学习模块配置为利用多个代表性问题的多个扩展语句作为输入数据并且利用分别对应于多个扩展语句的多个代表性问题和多个扩展语句分别所属的多个类别作为输出数据来执行多任务学习。

Description

问答系统及其控制方法
技术领域
本发明涉及一种问答系统及其控制方法，所述系统对用户提出的问题提供答案。
背景技术
对话系统是一种通过与用户的对话识别用户的意图并且提供与所识别的用户的意图相对应的服务的系统。关联于特定装置，对话系统还根据用户的意图对装置执行控制，或者根据用户的意图提供特定信息。
由于车辆内的用户对其移动有空间和情境限制，因此可以以通过用户的话语识别用户的意图并且提供用户想要的服务的方式有效地使用对话系统。
特别地，由于非常需要为用户的车辆相关问题提供答案的服务，因此需要进行研究和开发，以提高服务的准确性和质量。
发明内容
本发明的实施方案提供一种问答系统及其控制方法，所述问答系统能够通过应用深度学习而为车辆相关的常见问题(Frequently Asked Question，FAQ)提供恰当的答案。
所公开的实施方案的另外方面将部分地在下面的描述中阐述。
根据本发明的实施方案，提供一种问答系统，其包括：存储器，其将多个代表性问题存储为与分别对应于所述多个代表性问题的多个答案匹配；学习模块，其配置为从存储的多个代表性问题中输出与输入语句相对应的代表性问题；以及输出模块，其配置为在存储器中搜索与输出的代表性问题相匹配的答案，并且输出找到的答案。所述学习模块配置为通过利用多个代表性问题的多个扩展语句作为输入数据并且利用分别对应于多个扩展语句的多个代表性问题和多个扩展语句分别所属的多个类别作为输出数据来执行多任务学习。
所述学习模块可以配置为通过利用多个扩展语句作为输入数据并且利用多个代表性问题、多个类别和分别包括在所述多个扩展语句中的多个命名实体作为输出数据来执行多任务学习。
存储在存储器中的多个代表性问题可以包括与车辆相关的常见问题(FAQs)。
所述多个命名实体可以包括与车辆相关的术语。
所述学习模块可以配置为在多任务学习中，从存储的多个代表性问题中对与输入数据相对应的代表性问题进行分类，并且从多个类别中对所述输入数据所属的类别进行分类。
所述学习模块可以配置为计算分类后的代表性问题的损失值和分类后的类别的损失值，并且基于计算出的损失值调整用于多任务学习的深度学习模型的权重。
所述学习模块可以配置为在多任务学习中，从存储的多个代表性问题中对与输入数据相对应的代表性问题进行分类，从多个类别中对所述输入数据所属的类别进行分类，并且从多个命名实体中对包括在所述输入数据中的命名实体进行分类。
所述学习模块可以配置为计算分类后的代表性问题的损失值、分类后的类别的损失值和分类后的命名实体的损失值，并且基于计算出的损失值调整用于多任务学习的深度学习模型的权重。
所述学习模块可以包括：编码模块，其配置为对与所述输入数据相对应的输入序列进行编码；问题分类器，其配置为基于编码模块的输出对代表性问题进行分类；以及类别分类器，其配置为基于编码模块的输出对类别进行分类。
所述编码模块可以包括：第一编码层，其配置为对输入序列进行全局编码；以及第二编码层，其配置为对第一编码层的输出进行顺序编码。
所述学习模块可以进一步包括变分推断网络，其配置为对编码模块的输出应用变分推断。变分推断网络的输出可以输入至类别分类器。
所述学习模块可以包括：编码模块，其配置为对与所述输入数据相对应的输入序列进行编码；问题分类器，其配置为基于编码模块的输出对代表性问题进行分类；类别分类器，其配置为基于编码模块的输出对类别进行分类；以及命名实体分类器，其配置为基于编码模块的输出对命名实体进行分类。
根据本发明的实施方案，提供一种控制问答系统的方法。所述方法包括：将多个代表性问题与分别对应于所述多个代表性问题的多个答案进行匹配并存储；通过利用多个代表性问题的多个扩展语句作为输入数据并且利用分别对应于多个扩展语句的多个代表性问题和多个扩展语句分别所属的多个类别作为输出数据来执行多任务学习；响应于多任务学习完成，基于多任务学习的结果从存储的多个代表性问题中确定与用户说出的输入语句相对应的代表性问题；从存储的多个答案中确定与确定出的代表性问题相匹配的答案。
执行多任务学习可以包括：通过利用多个扩展语句作为输入数据并且利用多个代表性问题、多个类别和分别包括在所述多个扩展语句中的多个命名实体作为输出数据来执行多任务学习。
存储的多个代表性问题可以包括与车辆相关的常见问题(FAQs)。
所述多个命名实体可以包括与车辆相关的术语。
执行多任务学习可以包括：从存储的多个代表性问题中对与输入数据相对应的代表性问题进行分类，并且从多个类别中对所述输入数据所属的类别进行分类。
执行多任务学习可以包括：计算分类后的代表性问题的损失值和分类后的类别的损失值；基于计算出的损失值调整用于多任务学习的深度学习模型的权重。
执行多任务学习可以包括：从存储的多个代表性问题中对与输入数据相对应的代表性问题进行分类，从多个类别中对所述输入数据所属的类别进行分类，并且从多个命名实体中对包括在所述输入数据中的命名实体进行分类。
执行多任务学习可以包括：计算分类后的代表性问题的损失值、分类后的类别的损失值和分类后的命名实体的损失值，并且基于计算出的损失值调整用于多任务学习的深度学习模型的权重。
执行多任务学习可以包括对与输入数据相对应的输入序列进行全局编码和顺序编码。
附图说明
通过随后结合附图所呈现的实施方案的描述，本发明的这些和其它方面将变得显然并且更加容易理解，附图中：
图1是示出了根据实施方案的问答系统的控制框图；
图2是示出了根据实施方案的存储在问答系统的存储器中的信息的示例的示意图；
图3是示出了根据实施方案的用于问答系统的学习的扩展语句的示例的示意图；
图4是示出了根据实施方案的问答系统的另一控制框图；
图5是具体示出了根据实施方案的问答系统的预处理模块的配置的控制框图；
图6是具体示出了根据实施方案的问答系统中的特征提取模块的配置的控制框图；
图7是示出了根据实施方案的问答系统的特征提取结果的示例的表格；
图8是示出了根据实施方案的问答系统的格式转换结果的示例的表格。
图9是示出了根据实施方案的问答系统的学习模块的控制框图；
图10是示出了根据实施方案的问答系统的学习模块的层特定操作的示意图；
图11是具体示出了根据实施方案的问答系统的学习模块的控制框图；
图12是示出了图11的问答系统的学习模块的层特定操作的示意图；
图13是示出了根据实施方案的问答系统的性能测试结果的表格；
图14是示出了车辆和服务器之间交换的信息的示意图；
图15是示出了包括问答系统的服务器的控制框图；
图16是示出了连接至包括问答系统的服务器的车辆的控制框图；
图17是示出了根据实施方案的控制问答系统的方法的流程图；
图18是示出了根据实施方案的控制问答系统的方法的流程图，其示出了另外执行命名实体识别的方法。
具体实施方式
应当理解，本文中所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如本文所提到的，混合动力车辆是具有两种或更多种动力源的车辆，例如汽油动力和电力动力两者的车辆。
在本文中使用的术语仅仅用于描述具体实施方案，而非旨在用于限制本发明。正如本文中所使用的，单数形式的“一”、“一个”和“该”旨在同样包括复数形式，除非上下文另有明确表示。将进一步理解，当在本明书中使用术语“包括”和/或“包含”时，指明存在所述特征、数值、步骤、操作、元件和/或组件，但是不排除存在或添加一种或多种其它的特征、数值、步骤、操作、元件、组件和/或其群组。正如本文所使用的，术语“和/或”包括一种或多种相关列举项的任何和所有组合。在整个说明书中，除非被明确地描述为相反的含义，否则词语“包括”以及例如“包括有”或“包括了”之类的变体将被理解为暗示包括了所述元件，但是不排除任何其他元件。此外，说明书中所描述的术语“单元”、“器”、“部”和“模块”表示用于处理至少一个功能和操作的单元，并且可以由硬件组件或软件组件及其组合来实现。
此外，本发明的控制逻辑可以实施为包含由处理器或控制器等执行的可执行程序指令的计算机可读介质上的非易失性计算机可读介质。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡以及光学数据存储装置。计算机可读介质也可以分布于网络联接的计算机系统，以使计算机可读介质以分布式的形式(例如，通过远程信息处理服务器或者控制器局域网(CAN))存储和运行。
在本文阐述并且在本发明的配置中所示的实施方案仅仅是优选实施方案，因此应当理解，可以在本发明的情况下利用各种等效形式和修改形式来替代这些实施方案。
在本文中使用的术语仅仅用于描述具体实施方案，而非旨在用于限制本发明。正如本文中所使用的，单数形式的“一”、“一个”和“该”旨在同样包括复数形式，除非上下文另有明确表示。
诸如“部”、“装置”、“块”、“构件”、“模块”等术语可以指用于处理至少一个功能或动作的单元。例如，这些术语可以指由至少一个硬件(例如现场可编程门阵列(FPGA)/专用集成电路(ASIC))、存储在存储器中的软件或处理器执行的至少一个过程。
尽管术语“第一”、“第二”、“A”、“B”等等可以用于描述各种组件，但是这些术语并不限制相应的组件，而是仅仅用于区分一个组件和另一个组件。
用于方法操作的附图标记仅仅用于便于解释，而并不用于限制操作的顺序。因此，除非上下文另有明确规定，否则所写的顺序可以用其他方式实践。
同时，所公开的实施方案可以实施为存储可以由计算机执行的指令的记录介质的形式。指令可以以程序代码的形式进行存储，并且当由处理器执行时，指令可以生成程序模块，以执行所公开的实施方案的操作。记录介质可以实现为计算机可读记录介质。
计算机可读记录介质包括存储有可以由计算机解码的指令的各种记录介质，例如只读存储器(ROM)、随机存取存储器(RAM)、磁带、磁盘、闪存、光学数据存储装置等等。
在下文中，将参照附图来详细描述根据一个方面的问答系统及其控制方法的实施方案。
图1是示出了根据实施方案的问答系统的控制框图，图2是示出了根据实施方案的存储在问答系统的存储器中的信息的示例的示意图，图3是示出了根据实施方案的用于问答系统的学习的扩展语句的示例的示意图。
参照图1，示出了根据实施方案的问答系统1。如图所示，问答系统1包括存储器140、学习模块120和输出模块130，在所述存储器140中，将多个代表性问题与分别对应于所述多个代表性问题的多个答案进行匹配并存储，所述学习模块120配置为从存储的多个代表性问题中输出与输入语句相对应的代表性问题，所述输出模块130配置为在存储器140中搜索与输出的代表性问题相匹配的答案并且输出找到的答案。
根据某些实施方案的问答系统1是对用户提出的问题提供答案的系统。此处，用户提出的问题可以是预定的常见问题(FAQ)，问答系统1可以输出对预定的FAQ的答案。
当问答系统1与车辆相关联时，用户提出的问题可以是车辆相关的FAQ。因此，问答系统1可以输出对用户提出的车辆相关的FAQ的答案。
为此，可以在存储器140中以问答对的形式存储与车辆相关的各个FAQ的多个代表性问题以匹配相应的答案，如图2的示例所示。
同时，即使对于内容相同的问题，用户说出的语句也可能有不同的形式。也就是说，用户可以不需要说出与存储在存储器140中的代表性问题的语句相同的语句，并且可以说出与存储在存储器140中的代表性问题具有相同含义的另一类型的语句。
因此，问答系统1的学习模块120可以从存储在存储器140中的多个代表性问题中识别与用户说出的任意语句相对应的代表性问题。
为此，学习模块120可以利用包括输入数据和输出数据的多个学习数据集来进行学习，其中多个扩展语句可以用作输入数据，并且分别对应于所述多个扩展语句的多个代表性问题可以用作输出数据。
参照图3，扩展语句是指与代表性问题不同但与代表性问题含义相同的语句。例如，代表性问题“什么是自动驻车？”以及与代表性问题具有相同含义的语句“不需要一直踩着刹车的功能是什么？”可以用作扩展语句进行学习。
对于代表性问题“如何打开方向盘热线(hot wire)？”，与代表性问题具有相同含义的语句“我想打开暖手器。我该怎么办？”可以用作扩展语句进行学习。根据实施方案的问答系统1可以对一个代表性问题使用多个扩展语句，以进行学习。
在进行上述学习时，根据实施方案的问答系统1可以配置为执行同时学习与输入语句相对应的代表性问题和输入语句所属的类别的多任务学习。通过这样同时学习彼此相关的任务，可以提高学习模块120的性能。
为此，问答系统1可以通过利用多个扩展语句作为输入数据并且通过利用分别对应于多个扩展语句的多个代表性问题和多个扩展语句分别所属的多个类别作为输出数据来进行学习。
基于深度学习模型来进行多任务学习。下面描述学习模块120的多任务学习的详细描述。
输出模块130可以在存储器140中搜索与输入语句相对应的代表性问题，并且输出与找到的代表性问题相匹配的答案。
同时，在输入到学习模块120之前，用户说出的输入语句可以转换成深度学习模型可以进行处理的适当格式。为此，问答系统1可以包括对输入语句的格式进行转换的预处理模块110。
在下文中，将描述用户的话语的预处理过程。
图4是示出了根据实施方案的问答系统的另一控制框图。图5是具体示出了根据实施方案的问答系统的预处理模块的配置的控制框图。
参照图4，根据实施方案的问答系统1可以进一步包括语音识别器150，其将作为语音信号的用户的话语转换为文本(即，语句)。
语音识别器150可以实现为语音到文本(speech to text，STT)引擎，并且可以向用户的话语应用语音识别算法，以将话语转换为文本。
例如，语音识别器150可以利用特征向量提取技术(例如，倒谱、线性预测系数(Linear Predictive Coefficient，LPC)、梅尔频率倒谱系数(Mel Frequency CepstralCoefficient，MFCC)或滤波器组能量)从用户的话语中提取特征向量。
然后，语音识别器150可以将提取到的特征向量与经训练的参考模式进行比较，以获得识别结果。为此，可以利用对语音的信号特征进行建模和比较的声学模型或者对与识别出的词汇相对应的词语或音节的语言顺序关系进行建模的语言模型。
此外，语音识别器150还可以基于利用机器学习或深度学习的学习来将用户的话语转换为文本。在本实施方案中，对通过语音识别器150将用户的话语转换为文本的方法没有限制，并且除了上述方法之外，语音识别器150可以通过应用各种语音识别技术来将用户的话语转换为口语文本。
与用户的话语相对应的输入语句可以输入至预处理模块110，并且转换为可以通过深度学习模型进行处理的形式。
参照图5，预处理模块110可以包括用于规范化输入语句的规范化模块111、用于从输入语句中提取特征的特征提取模块112以及用于转换输入语句的格式的格式转换模块113。
规范化模块111可以执行规范化，以从输入语句中排除诸如特殊字符和符号之类的无意义数据。假设在下面描述的组件中处理的所有输入语句都是经过规范化的输入语句。
特征提取模块112可以从经过规范化的输入语句中提取特征，格式转换模块113可以基于提取到的特征为输入语句分配索引。
图6是示出了根据实施方案的问答系统中的特征提取模块的配置的控制框图。
参照图6，特征提取模块112可以包括词素(morpheme)分析器112a、词类(part-of-speech)分析器112b和音节分析器112c。
词素分析器112a以词素为单位划分输入语句，词类分析器112b分析每个词素的词类并标记每个词素的词类。
音节分析器112c可以以音节为单位划分输入语句。由于不仅使用词素而且使用音节作为特征，因此可以分析未知的词语或不常用的词语，从而可以提高学习模块120的性能。
图7是示出了根据实施方案的问答系统的特征提取结果的示例的表格。图8是示出了根据实施方案的问答系统的格式转换结果的示例的表格。图8和图9中描述的示例的输入语句是韩语语句。
以下是对输入语句为“
Figure BDA0003510000040000071
(安全带脱不下来，我该怎么办？)”时得到的结果的描述。
参照图7，规范化模块111可以对输入语句执行规范化，以删除特殊字符“？”。
词素分析器112a以词素为单位划分经过规范化的输入语句，以输出结果
Figure BDA0003510000040000072
Figure BDA0003510000040000073
词类分析器112b可以分析每个词素的词类，并且将分析出的词类标记到每个词素，以输出结果
Figure BDA0003510000040000074
Figure BDA0003510000040000075
根据词类标记词典，NNG、JKS、VV、EC、VX、MAG和EF分别表示词类。NNG表示普通名词。JKS表示主格助词。VV表示动词。EC表示连接语尾。VX表示辅助性谓语元素。MAG表示副词。EF表示终结语尾。
音节分析器112c可以以音节为单位划分经过规范化的输入语句，以输出结果
Figure BDA0003510000040000076
根据实施方案，不仅以词素为单位而且以音节为单位划分输入语句，从而对输入语句可以同时进行词语嵌入和字符嵌入，如下文所述。
如上所述，格式转换模块113可以基于特征提取结果对输入语句进行索引。具体地，格式转换模块113可以利用预定义的词典为构成输入语句的多个词语或多个特征中的每一个分配索引。在格式转换过程中分配的索引可以指示词语在词典中的位置。
格式转换模块113可以以词素为单位或以音节为单位对经过规范化的输入语句
Figure BDA0003510000040000081
进行索引，如图8所示。由格式转换模块113分配给输入语句的索引可以在下面将描述的嵌入过程中使用。
在下面将描述的实施方案中，已经完成了预处理的输入语句将称为输入序列。可以以标记(token)为单位处理输入序列，在本示例中，使用以词素为单位的标记。
图9是示出了根据实施方案的问答系统的学习模块的控制框图。图10是示出了根据实施方案的问答系统的学习模块的层特定操作的示意图。
根据实施方案，学习模块120可以包括多任务深度学习模型，所述模型同时学习与输入语句相对应的代表性问题和类别。参照图9，学习模块120包括嵌入模块121、编码模块122、前馈神经网络(feed forward neural network，FFNN)123、类别分类器124a、问题分类器124b、损失值计算器125和权重调整器126。
嵌入模块121执行嵌入以对输入序列进行向量化。例如，嵌入模块121可以通过应用独热向量编码方法来执行嵌入。
具体地，当存在k个词语时，可以生成k维0向量，并且只有对应的词语可以用索引1表示。为此，删除冗余的词语，列出剩余的词语，将每个词语转换为独热向量，并且使用转换后的独热向量生成每个语句。
参照图10，可以将[CLS]标记(token)添加到输入至学习模块120的输入序列中。通过下面描述的编码过程，[CLS]标记的向量可以暗示输入语句的含义。
根据实施方案，嵌入模块121可以执行字符嵌入以及词语嵌入。如上所述，由于特征提取模块112不仅提取词素单元特征而且提取音节单元特征，因此音节单元特征也可以输入至嵌入模块121并且用于字符嵌入。
由于音节单元信息提供关于词语相似性的信息并且适用于词语词典中未包括的未知或不常用的词语，因此使用词语单元信息和音节单元信息两者可以提高深度学习模型的性能。
同时，预训练可以用于词语嵌入和字符嵌入。例如，对于韩语，词语嵌入可以通过神经网络语言模型(neural network language model，NNLM)进行预训练，字符嵌入可以通过Glo Ve(Pennington等人，2014年)进行预训练。对于英语，词语嵌入和字符嵌入可以通过FastText(Bojanowski等人，2017年)进行预训练。在使用预训练嵌入的情况下，深度学习模型的速度和性能可以得到提高。
嵌入模块121可以输出通过对输入序列执行词语嵌入而生成的词语嵌入向量ei w＝embw(qi)和通过对输入序列执行字符嵌入而生成的字符嵌入向量ei c＝CNNc(qi)，并且这两种类型的嵌入向量可以串联(concatenate)并输入至编码模块122。
编码模块122可以对通过嵌入而表示为向量的输入序列的标记进行编码。根据某些实施方案的问答系统1仅对输入序列进行分类而不生成新的输出的语句，因此可以省略解码。
为了提高性能，编码模块122可以包括进行全局编码的第一编码层和进行顺序编码的第二编码层。第一编码层和第二编码层的每一层都可以包括多个隐藏层。
进行全局编码的第一编码层可以一次对整个输入序列进行编码。进行顺序编码的第二编码层可以顺序地接收标记(token)并进行编码。根据实施方案的编码模块122可以进行顺序编码和顺序编码两者，从而提高关于词语在输入语句中的顺序或位置的信息的准确性。
第一编码层和第二编码层可以通过各种算法实现。例如，第一编码层可以利用注意力(attention)算法。根据注意力算法，与在特定时间点预测的词语相关的整个输入序列的一部分可以用注意力参考。
作为示例，第一编码层可以利用包括多个自注意力(self-attention)层的Transformer(Vaswani等人，2017年)的编码器，第二编码层可以利用诸如循环神经网络(recurrent neural network，RNN)和双向门控循环单元(bidirectional gatedrecurrent units，BiGRU)的算法，以进行顺序编码。
在这种情况下，第一编码层的隐藏状态si可以分别输入至第二编码层，并且第二编码层可以对隐藏状态进行双向编码以生成顺序编码的上下文向量ri。第一编码层的输出si和第二编码层的输出ri可以通过下面的等式1表示。
si＝Transfomer(ei) [等式1]
ri＝BiRNN(ri-1,si)
在等式1中，第一编码层的输入ei是串联了词语嵌入向量和字符嵌入向量的密集向量。
另一方面，第一编码层的各个隐藏状态si可以输入至第二编码层，并且第一编码层的[CLS]标记的隐藏状态s[CLS]可以输入至前馈神经网络123。[CLS]标记的隐藏状态s[CLS]可以暗示整个输入语句的含义。
第二编码层的最后隐藏状态rn也可以输入至前馈神经网络123。也就是说，第一编码层的[CLS]标记的隐藏状态s[CLS]和第二编码层的最后隐藏状态rn可以串联并输入至前馈神经网络123。
如上所述，学习模块120可以同时学习问题分类和类别分类。为此，前馈神经网络123可以利用问题分类和类别分类的共享参数执行线性操作。通过经历前馈神经网络123，第一编码层的输出和第二编码层的输出可以更自然地串联。
前馈神经网络123的输出可以输入至问题分类器124b和类别分类器124a的每一者。
问题分类器124b可以从多个预定义的代表性问题中确定与输入语句相对应的代表性问题。例如，可以预定义大约1500个代表性问题，并且问题分类器124b可以利用具有通过前馈神经网络123与类别分类器124a共享的参数的线性函数。
另一方面，为了将代表性问题嵌入至语句向量中，根据实施方案的问答系统1可以利用语言模型BERT(Bidirectional Encoder Representations from Transformers)(Reimers和Gurevych，2019年)来提高问题分类器124b的性能。
问题分类器124b可以将代表性问题的语句向量与编码后的输入序列进行比较，以对与输入语句相对应的代表性问题进行分类。例如，问题分类器124b可以利用softmax函数将输入序列与代表性问题进行匹配，softmax函数是分类任务中使用的激活函数。
类别分类器124a可以从多个预定义的类别中确定输入语句所属的类别。
例如，可以根据问题的主题将车辆相关的FAQ分为基本指南和信息、安全预防措施、安全系统、仪表板、便利性功能、启动和驾驶车辆、紧急情况、维护、故障排除、检查故障、如何维护、车辆信息(例如，我的汽车信息)等等。
类别分类器124a可以在上述示例的类别中识别输入语句所属的类别。与问题分类器124b类似，可以利用softmax函数将输入序列与类别进行匹配。
同时，为了提高类别分类的性能，在某些实施方案中，问答系统1可以使前馈神经网络123的输出在输入至类别分类器124a之前通过变分推断网络(variational inferencenetwork)。
在假设潜在变量z存在于高维的语义空间的情况下，变分推断网络可以像在流形学习中一样运行，以通过学习将数据转换至低维空间并且提取语义特征，以生成鲁棒的深度学习模型。
当问题分类器124b和类别分类器124a分别输出与输入语句相对应的代表性问题和类别时，损失值计算器125可以计算问题分类的损失值和类别分类的损失值。此外，损失值计算器125可以通过将两个损失值相加来计算总损失值。
例如，损失值计算器125可以利用交叉熵(cross-entropy)作为损失函数。当用Lq表示问题分类的损失值并且用Lc表示类别分类的损失值时，总损失值L可以表示为下面的等式2。
L＝αLq+βLc [等式2]
此处，超参数α和β可以分别表示对问题分类和类别分类进行优化的权重。
权重调整器126可以在使计算出的总损失值最小化的方向上调整深度学习模型的隐藏层的权重。
图11是具体示出了根据实施方案的问答系统的学习模块的控制框图。图12是示出了图11的问答系统的学习模块的层特定操作的示意图。
如上所述，问答系统1的实施方案可以通过同时学习作为相关任务的问题分类和类别分类来提高深度学习模型的性能。作为另一示例，问答系统1可以另外学习车辆相关的命名实体的分类。车辆相关的命名实体可以表示与车辆相关的术语。
为此，参照图11，除了问题分类器124b和类别分类器124a之外，学习模块120可以进一步包括命名实体分类器124c。
可以将命名实体分类器124c的操作定义为命名实体识别(named entityrecognition，NER)。NER是用于在语句中查找特定类型的词语的信息提取任务之一，并且命名实体分类器124c可以执行NER以在输入语句中查找与车辆相关的词语。
对于命名实体的分类，可以预定义车辆相关的命名实体标签。车辆相关的命名实体标签可以有两个标识符：类型和角色。例如，类型可以包括车型、车身、底盘、安全、交通安全、仪表板、信息娱乐、空调、便利性功能、驾驶、维护、个人数据和交易，并且对于每种类型，可以确定多个角色。
参照图12，命名实体分类器124c可以实现为条件随机场(conditional randomfield，CRF)层(Lample等人，2016年)。第二编码层的每个隐藏状态可以输入至CRF层。也就是说，在等式1中，第二编码层的输出r可以输入至CRF层。
命名实体分类器124c可以用B-I-O标签来标注输入序列中的每个标记(token)。B可以分配给车辆相关的命名实体开始的部分，I可以分配给属于车辆相关的命名实体的部分，O可以分配给不是车辆相关的命名实体的部分。
当问题分类器124b、类别分类器124a和命名实体分类器124c分别输出与输入语句相对应的代表性问题、类别和命名实体时，损失值计算器125可以分别计算问题分类的损失值、类别分类的损失值和命名实体识别的损失值。此外，损失值计算器125可以通过将三个损失值相加来计算总损失值。
例如，损失值计算器125可以利用交叉熵作为损失函数。当用Lq表示问题分类的损失值、用Lc表示类别分类的损失值并且用Le表示命名实体识别的损失值时，总损失值L可以表示为下面的等式3。
L＝αLq+βLc+γLe [等式3]
此处，超参数α、β和γ可以是分别对问题分类、类别分类和命名实体识别进行优化的权重。
权重调整器126可以在使计算出的总损失值最小化的方向上调整深度学习模型的隐藏层的权重。
图13是示出了根据实施方案的问答系统1的性能测试结果的表格。
将简单的RNN模型设定为基准，对于RNN模型和应用于根据实施方案的问答系统1的深度学习模型(通过本发明的模型表示)的每一者，计算了问题分类的准确度FAQ acc、类别分类的准确度Cat.acc和命名实体识别的准确度NER F1。此外，还计算了每个语句的处理时间(毫秒/每句)。
参照图13，对于韩语，应用于问答系统1的深度学习模型具有85.24％的问题分类准确度、87.94％的类别分类准确度和74.79％的命名实体识别准确度，而对于英语，具有82.95％的问题分类准确度、79.42％的类别分类准确度和73.56％的命名实体识别准确度。可以看出，与RNN模型和BERT模型相比，在不显著增加处理时间的情况下提供了提高的性能。
可以通过计算机程序实现问答系统1的上述操作。问答系统1可以包括存储程序的至少一个存储器以及用于执行所存储的程序的至少一个处理器。诸如语音识别器150、预处理模块110、学习模块120和输出模块130等的组件不通过物理配置来区分，而是通过其操作来区分。因此，这些组件不需要由单独的存储器或处理器来实现，并且至少一些组件可以共享存储器或处理器。
根据实施方案的问答系统1可以在车辆中实现，或者可以在通过与车辆进行通信而连接的服务器中实现。下文中，将描述在服务器中实现问答系统1的情况作为示例。
图14是示出了车辆和服务器之间交换的信息的示意图。图15是示出了包括问答系统的服务器的控制框图。图16是示出了连接至包括问答系统的服务器的车辆的控制框图。
参照图14，当车辆1的用户输入话语时，所输入的用户话语可以发送到服务器3。用户的话语可以包括车辆相关的问题，并且包括问答系统1的服务器3可以向车辆1发送包括对所述车辆相关的问题的答案的系统话语。
参照图15，服务器3可以包括通信器310和上述问答系统1，通信器310通过与车辆1进行通信而向车辆1发送信号并且从车辆1接收信号。通信器310可以通过采用各种无线通信方法(例如，4G、5G和
Figure BDA0003510000040000121
)中的至少一种与车辆1通信。
通信器310可以接收以语音信号的形式从车辆1发送的用户的话语。问答系统1的语音识别器150根据上述方法将用户的话语转换为文本(输入语句)并且将所述文本输入至预处理模块110。
当实际使用已经完成了学习的学习模块120时，可以从问答系统1的上述操作中省略类别分类、损失值计算和权重调整。除了类别分类、损失值计算和权重调整外，输入语句可以经过预处理、嵌入和编码，然后以与上述相同的方式对与输入语句相对应的代表性问题进行分类。
当学习模块120输出与输入语句相对应的代表性问题时，输出模块130可以在存储器140中搜索与代表性问题相对应的答案，并且通过通信器310向车辆1发送所找到的答案。
输出模块130可以以文本的形式或语音信号的形式发送所找到的答案。当以语音信号的形式发送答案时，可以在输出模块130中包括文本到语音(text to speech，TTS)引擎。
参照图16，车辆2可以包括与服务器3通信的通信器210和控制车辆2的控制器220，以及对应于用户接口的麦克风231、扬声器232和显示器233。
输入至麦克风231的用户的话语可以转换为语音信号的形式，然后通过通信器210发送至服务器3。在与服务器3通信时，车辆2的通信器210也可以采用各种无线通信方法(例如，4G、5G和
Figure BDA0003510000040000131
)中的至少一种。
当从服务器3发送与用户提出的问题相对应的答案时，通信器210可以接收答案，并且控制器220可以根据答案的类型利用扬声器232或显示器233输出答案。
例如，当从服务器3发送的答案是文本时，可以通过显示器233以视觉方式输出答案，当从服务器3发送的答案是语音信号时，可以通过扬声器232以听觉方式输出答案。
或者，即使当从服务器3发送的答案是文本时，车辆1中包括的TTS引擎也可以将发送的答案转换为语音信号，并且通过扬声器232输出转换为语音信号的答案。
现在将描述根据实施方案的控制问答系统的方法。在实施根据实施方案的控制问答系统1的方法时，可以使用上述问答系统1。因此，上面参照图1至图16描述的内容可以同样适用于控制问答系统1的方法，除非另有说明。
图17是示出了根据实施方案的控制问答系统的方法的流程图。流程图中示出的方法是在问答系统的学习操作中执行的方法。
首先，为了执行控制问答系统的方法，可以将输入语句输入至预处理模块110。在学习操作中输入至预处理模块110的输入语句是如上述图3的示例中示出的扩展语句。
参照图17，在框1010中，预处理模块110对输入语句进行规范化。在输入语句的规范化操作中，可以从输入语句中排除诸如特殊字符和符号的无意义数据。下面要描述的操作中的所有输入语句都是指规范化的输入语句。
在框1020中，预处理模块110从输入语句中提取特征。从输入语句中提取的特征可以包括词素、词类、音节等等。具体地，预处理模块110可以以词素为单位划分输入语句，并且词类分析器112b可以分析每个词素的词类并标记每个词素的词类。此外，当输入语句还以音节为单位划分并用作特征时，还可以分析未知的词语或不常用的词语，从而可以提高学习模块120的性能。
在框1030中，预处理模块110基于提取的特征转换输入语句的输入格式。转换输入格式可以包括对输入语句进行索引。预处理模块110可以利用预定义的词典为构成输入语句的多个词语或多个特征中的每一个分配索引。在格式转换过程中分配的索引可以指示词典中的位置。
已经通过上述过程完成了预处理的输入语句将称为输入序列。
当基于上述索引结果对输入序列执行嵌入时，可以对输入序列进行向量化。在这种情况下，可以执行词语嵌入和字符嵌入两者。通过对输入序列执行词语嵌入而生成的词语嵌入向量和通过对输入序列执行字符嵌入而生成的字符嵌入向量可以串联并输入至编码模块122。
在框1040中，编码模块122对转换为向量的输入序列进行编码。为了提高性能，编码模块122可以包括进行全局编码的第一编码层和进行顺序编码的第二编码层。第一编码层和第二编码层的每一者都可以包括多个隐藏层。
进行全局编码的第一编码层可以一次对整个输入序列进行编码，进行顺序编码的第二编码层可以顺序地接收标记并进行编码。通过进行顺序编码和顺序编码两者，可以提高关于词语在输入语句中的顺序或位置的信息的准确性。编码方法的细节与问答系统1的实施方案的细节相同。
编码结果输入至问题分类器124b和类别分类器124a的每一者。如上述实施方案中所述，编码结果可以在通过前馈神经网络123之后输入至分类器124a和124b。
在框1051中，类别分类器124a对类别进行分类，在框1052中，问题分类器124b对代表性问题进行分类。具体地，类别分类器124a可以从预定义的类别中确定输入语句所属的类别。为了提高类别分类性能，可以在类别分类之前将编码后的输入序列输入至变分推断网络。
问题分类器124b可以将代表性问题的语句向量与编码后的输入序列进行比较，以确定与输入语句相对应的代表性问题。
当确定出与输入语句相对应的代表性问题和类别时，在框1060中，损失值计算器125计算问题分类的损失值和类别分类的损失值，并将两个损失值相加以计算总损失值。
权重调整器126可以在使计算出的总损失值最小化的方向上调整深度学习模型的隐藏层的权重。
图18是示出了根据实施方案的控制问答系统的方法的流程图，其示出了另外执行命名实体识别的方法。图18所示的方法也在问答系统的学习操作中执行。
框1010中的规范化输入语句、框1020中的从输入语句提取特征、框1030中的转换输入语句的格式以及框1040中的进行编码的操作与上述图17的流程图中的操作相同。
除了问题分类器124b和类别分类器124a的每一者之外，编码结果还输入至命名实体分类器124c。类别分类器124a和问题分类器124b可以接收编码模块122的最后隐藏状态，并且需要识别整个输入序列中的命名实体的命名实体分类器124c可以接收编码模块122的每个隐藏状态。
在框1051中，类别分类器124a可以对类别进行分类。在框1052中，问题分类器124b可以对代表性问题进行分类。在框1053中，命名实体分类器124c可以对命名实体进行分类。
例如，命名实体分类可以作为条件随机场(CRF)层(Lample等人，2016年)执行。第二编码层的每个隐藏状态可以输入至CRF层。也就是说，在等式1中，第二编码层的输出r可以输入至CRF层。
在识别出命名实体后，可以用B-I-O标签来标注输入序列中的每个标记。B可以分配给车辆相关的命名实体开始的部分。I可以分配给属于车辆相关的命名实体的部分。O可以分配给不是车辆相关的命名实体的部分。
当确定出与输入语句相对应的代表性问题和类别并且识别出输入语句中包括的命名实体时，在框1060中，损失值计算器125可以计算问题分类的损失值、类别分类的损失值以及命名实体识别的损失值，并将三个损失值相加以计算总损失值。
权重调整器126可以在使计算出的总损失值最小化的方向上调整深度学习模型的隐藏层的权重。
在根据上述方法执行了多任务学习之后，当车辆的用户提出问题时，用户的话语转换为输入语句，并且执行如上所述的从框1010中的对输入语句进行规范化到框1040中的编码的操作。在框1052中，对编码后的输入序列进行问题分类。可以从存储器140检索与代表性问题相对应的答案并将其输出给用户。
根据上述问答系统及其控制方法，可以通过同时学习输入语句的代表性问题分类和类别分类或者同时学习作为相关任务的输入语句的代表性问题分类、类别分类和命名实体分类来提高深度学习模型的性能。
此外，通过生成这种专用于车辆的深度学习模型然后利用所述深度学习模型来为车辆相关的FAQ提供答案，可以消除车辆用户必须搜索手册来寻找所需答案的麻烦。
尽管已经参照附图描述了本发明的实施方案，但是本领域普通技术人员将理解，在不脱离本发明的技术精神或基本特征的情况下，可以容易地进行其他特定修改。因此，前述实施方案应当视为在所有方面是说明性的而非限制性的。

Claims (21)

1.一种问答系统，其包括：
存储器，其将多个代表性问题与分别对应于所述多个代表性问题的多个答案进行匹配并存储；
学习模块，其配置为从存储的多个代表性问题中输出与输入语句相对应的代表性问题；以及
输出模块，其配置为在存储器中搜索与输出的代表性问题相匹配的答案，并且输出找到的答案，
其中，所述学习模块配置为通过利用多个代表性问题的多个扩展语句作为输入数据并且利用分别对应于所述多个扩展语句的多个代表性问题和所述多个扩展语句分别所属的多个类别作为输出数据来执行多任务学习。
2.根据权利要求1所述的问答系统，其中，所述学习模块配置为通过利用所述多个扩展语句作为输入数据并且利用所述多个代表性问题、所述多个类别和分别包括在所述多个扩展语句中的多个命名实体作为输出数据来执行多任务学习。
3.根据权利要求1所述的问答系统，其中，存储在存储器中的多个代表性问题包括与车辆相关的常见问题。
4.根据权利要求2所述的问答系统，其中，所述多个命名实体包括与车辆相关的术语。
5.根据权利要求1所述的问答系统，其中，所述学习模块配置为：在多任务学习中，从存储的多个代表性问题中对与输入数据相对应的代表性问题进行分类，并且从多个类别中对所述输入数据所属的类别进行分类。
6.根据权利要求5所述的问答系统，其中，所述学习模块配置为计算分类后的代表性问题的损失值和分类后的类别的损失值，并且基于计算出的损失值调整用于多任务学习的深度学习模型的权重。
7.根据权利要求2所述的问答系统，其中，所述学习模块配置为在多任务学习中，从存储的多个代表性问题中对与输入数据相对应的代表性问题进行分类，从多个类别中对所述输入数据所属的类别进行分类，并且从多个命名实体中对包括在所述输入数据中的命名实体进行分类。
8.根据权利要求7所述的问答系统，其中，所述学习模块配置为计算分类后的代表性问题的损失值、分类后的类别的损失值和分类后的命名实体的损失值，并且基于计算出的损失值调整用于多任务学习的深度学习模型的权重。
9.根据权利要求6所述的问答系统，其中，所述学习模块包括：
编码模块，其配置为对与所述输入数据相对应的输入序列进行编码；
问题分类器，其配置为基于编码模块的输出对代表性问题进行分类；以及
类别分类器，其配置为基于编码模块的输出对类别进行分类。
10.根据权利要求9所述的问答系统，其中，所述编码模块包括：
第一编码层，其配置为对输入序列进行全局编码；以及
第二编码层，其配置为对第一编码层的输出进行顺序编码。
11.根据权利要求10所述的问答系统，其中，所述学习模块进一步包括变分推断网络，所述变分推断网络配置为对编码模块的输出应用变分推断；
所述变分推断网络的输出被输入至类别分类器。
12.根据权利要求8所述的问答系统，其中，所述学习模块包括：
编码模块，其配置为对与所述输入数据相对应的输入序列进行编码；
问题分类器，其配置为基于编码模块的输出对代表性问题进行分类；
类别分类器，其配置为基于编码模块的输出对类别进行分类；以及
命名实体分类器，其配置为基于编码模块的输出对命名实体进行分类。
13.一种控制问答系统的方法，所述方法包括：
将多个代表性问题与分别对应于所述多个代表性问题的多个答案进行匹配并存储；
通过利用多个代表性问题的多个扩展语句作为输入数据并且利用分别对应于所述多个扩展语句的多个代表性问题和所述多个扩展语句分别所属的多个类别作为输出数据来执行多任务学习；
响应于多任务学习完成，基于多任务学习的结果从存储的多个代表性问题中确定与用户说出的输入语句相对应的代表性问题；
从存储的多个答案中确定与确定出的代表性问题相匹配的答案。
14.根据权利要求13所述的方法，其中，执行多任务学习包括：通过利用所述多个扩展语句作为输入数据并且利用所述多个代表性问题、所述多个类别和分别包括在所述多个扩展语句中的多个命名实体作为输出数据来执行多任务学习。
15.根据权利要求13所述的方法，其中，存储的多个代表性问题包括与车辆相关的常见问题。
16.根据权利要求14所述的方法，其中，所述多个命名实体包括与车辆相关的术语。
17.根据权利要求13所述的方法，其中，执行多任务学习包括：从存储的多个代表性问题中对与输入数据相对应的代表性问题进行分类，并且从多个类别中对所述输入数据所属的类别进行分类。
18.根据权利要求17所述的方法，其中，执行多任务学习包括：
计算分类后的代表性问题的损失值和分类后的类别的损失值；
基于计算出的损失值调整用于多任务学习的深度学习模型的权重。
19.根据权利要求14所述的方法，其中，执行多任务学习包括：
从存储的多个代表性问题中对与输入数据相对应的代表性问题进行分类，从多个类别中对所述输入数据所属的类别进行分类，并且从多个命名实体中对包括在所述输入数据中的命名实体进行分类。
20.根据权利要求19所述的方法，其中，执行多任务学习包括：
计算分类后的代表性问题的损失值、分类后的类别的损失值和分类后的命名实体的损失值，并且基于计算出的损失值调整用于多任务学习的深度学习模型的权重。
21.根据权利要求18所述的方法，其中，执行多任务学习包括：对与所述输入数据相对应的输入序列进行全局编码和顺序编码。
CN202210149110.9A 2021-02-18 2022-02-18 问答系统及其控制方法 Pending CN114969247A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0021874 2021-02-18
KR1020210021874A KR20220118123A (ko) 2021-02-18 2021-02-18 질의응답 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
CN114969247A true CN114969247A (zh) 2022-08-30

Family

ID=82801930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210149110.9A Pending CN114969247A (zh) 2021-02-18 2022-02-18 问答系统及其控制方法

Country Status (3)

Country Link
US (1) US20220258607A1 (zh)
KR (1) KR20220118123A (zh)
CN (1) CN114969247A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797611B2 (en) * 2021-07-07 2023-10-24 International Business Machines Corporation Non-factoid question answering across tasks and domains
CN115169367B (zh) * 2022-09-06 2022-12-09 杭州远传新业科技股份有限公司 对话生成方法及装置、存储介质
KR102642948B1 (ko) * 2023-06-16 2024-03-04 오케스트로 주식회사 클라우드 기반의 인공지능 분류 방법을 통한 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼
CN116562311B (zh) * 2023-07-07 2023-12-01 中铁四局集团有限公司 基于自然语言机器翻译的运维方法及系统

Also Published As

Publication number Publication date
KR20220118123A (ko) 2022-08-25
US20220258607A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
US20220258607A1 (en) Question-and-answer system and method ofcontrolling the same
WO2020123227A1 (en) Speech processing system
CN111640418B (zh) 一种韵律短语识别方法、装置及电子设备
CN113053366B (zh) 一种基于多模态融合的管制话音复述一致性校验方法
US20230205998A1 (en) Named entity recognition system and named entity recognition method
US20100057462A1 (en) Speech Recognition
CN111984780A (zh) 多意图识别模型训练方法和多意图识别方法及相关装置
Tabibian A voice command detection system for aerospace applications
CN112651247A (zh) 对话系统、对话处理方法、翻译装置和翻译方法
CN114898779A (zh) 融合多模态的语音情感识别方法及系统
Carofilis et al. Improvement of accent classification models through Grad-Transfer from Spectrograms and Gradient-weighted Class Activation Mapping
US20230365138A1 (en) System for generating answers based on multi-task learning and control method thereof
US20240096311A1 (en) Method for training machine reading comprehension model, computer-readable recording medium and question answering system
CN112613297A (zh) 一种基于动态主题窗口模型的多轮对话下意图识别方法
Ignatius et al. Speaker-Invariant Speech-to-Intent Classification for Low-Resource Languages
KR102527346B1 (ko) 차량용 음성 인식 장치, 이를 이용한 차량의 주행상태를 고려한 응답 제공 방법 및 컴퓨터 프로그램
Wu et al. Incorporating discriminative DPGMM posteriorgrams for low-resource ASR
US20230386455A1 (en) Dialogue System and Method for Controlling the Same
US20230267923A1 (en) Natural language processing apparatus and natural language processing method
US20230178071A1 (en) Method for determining a vehicle domain and a speech recognition system for a vehicle
CN115081436B (zh) 一种否定焦点的识别方法及系统
US20220301232A1 (en) Apparatus for generating emojis, vehicle, and method for generating emojis
Vaibhav et al. Speech Based Emotion Recognition Using Machine Learning
Raina et al. An Accurate Speech Emotion Analysis using Gradient Boosting and BiLSTM Techniques
CN114708860A (zh) 语音命令识别方法、装置、计算机设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination