CN110660397B - 对话系统、车辆和用于控制车辆的方法 - Google Patents

对话系统、车辆和用于控制车辆的方法 Download PDF

Info

Publication number
CN110660397B
CN110660397B CN201811459228.1A CN201811459228A CN110660397B CN 110660397 B CN110660397 B CN 110660397B CN 201811459228 A CN201811459228 A CN 201811459228A CN 110660397 B CN110660397 B CN 110660397B
Authority
CN
China
Prior art keywords
information
speakers
utterance
dialog
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811459228.1A
Other languages
English (en)
Other versions
CN110660397A (zh
Inventor
金桂润
石东熙
申东洙
李廷馣
金佳熙
金宣我
朴贞美
卢熙真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN110660397A publication Critical patent/CN110660397A/zh
Application granted granted Critical
Publication of CN110660397B publication Critical patent/CN110660397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明公开了一种对话系统、车辆和用于控制车辆的方法。一种用于控制车辆的方法包括：当多个讲话者的语音通过语音输入装置输入时，通过识别语音获取话语和语音模式；基于获取的话语和语音模式，对每个讲话者的对话内容进行分类；基于获取的话语，获取讲话者之间的关系；基于获取的讲话者之间的关系以及获取的每个讲话者的对话内容，理解每个讲话者的意图和语境；确定与获取的关系相对应的动作以及获取的每个讲话者的意图和语境；并输出与确定的动作相对应的话语；生成与确定的动作相对应的控制指令；并且基于生成的控制指令控制负载。

Description

对话系统、车辆和用于控制车辆的方法
技术领域
本发明涉及一种对话系统、具有该对话系统的车辆以及用于控制车辆的方法，所述对话系统提供用户所需的信息或服务。
背景技术
本部分中的陈述仅提供与本发明相关的背景信息并且不构成现有技术。
对于车辆的音频-视频-导航(AVN)装置或大多数移动装置，当向用户提供视觉信息或接收用户的输入时，装置中设置的小屏幕和小按钮可能会导致用户不便。
具体地，在行驶期间，当用户从方向盘上拿下他或她的手时或当用户在另一个地方查看以检查视觉信息和操作装置时，可能对安全驾驶构成严重危险。
因此，当车辆采用对话系统时，可以以更方便和更安全的方式提供服务，其中，所述对话系统能够通过与用户对话来识别用户的意图并提供用户所需的信息或服务。
发明内容
本发明提供了一种对话系统、具有该对话系统的车辆和用于控制车辆的方法，所述对话系统能够通过获取多个讲话者中的每个讲话者的语音模式生成多个讲话者中的讲话者之间的关系，当识别出语音时，能够基于识别的语音和获取的语音模式识别进行发声的讲话者，能够基于识别的讲话者和生成的关系选择对话的领导者，与选择的对话的领导者进行对话并控制至少一个功能。
本发明的另一方面是提供一种对话系统、具有该对话系统的车辆和用于控制车辆的方法，所述对话系统能够通过基于各种信息(诸如车辆行驶期间与用户的对话以及车辆状态信息、行驶环境信息和用户信息)精确地识别用户的意图，根据用户的真实意图或用户最期望的服务来提供服务。
本发明的另外方面的部分会在随后的描述中阐述，并且部分会通过描述而变得明显或者可以通过本发明的实践学习到。
根据本发明的一个方面，对话系统包括语音输入处理器、语境信息处理器、储存装置、对话管理器和结果处理器，所述语音输入处理器配置为：当输入多个讲话者的语音时，通过识别输入的语音获取话语和语音模式，并配置为基于获取的话语和语音模式，对多个讲话者中的每个讲话者的对话内容进行分类；所述语境信息处理器配置为：基于获取的话语，获取多个讲话者中的讲话者之间的关系，并且基于获取的多个讲话者中的讲话者之间的关系以及分类的每个讲话者的对话内容，确定每个讲话者的意图和语境；所述储存装置配置为存储讲话者之间的关系以及每个讲话者的语音模式；所述对话管理器配置为确定与获取的关系相对应的动作以及每个讲话者的意图和语境；所述结果处理器配置为输出与确定的动作相对应的话语。
当语境信息处理器从移动装置接收到联系人信息时，语境信息处理器可以基于接收到的联系人信息，获取与用户进行对话的讲话者的姓名、头衔或电话号码中的至少一个，并且基于获取的与用户进行对话的讲话者的姓名、头衔或电话号码中的至少一个，获取讲话者之间的关系。
语境信息处理器可以基于获取的讲话者的关系确定多个讲话者中的讲话者之间的优先级，储存装置还可以存储每个讲话者的功能控制信息，对话管理器可以确定与确定的优先级和存储的功能控制信息相对应的动作，并且结果处理器可以基于确定的优先级和存储的每个讲话者的功能控制信息生成控制指令以控制至少一个功能，并将生成的控制指令输出到至少一个装置。
对话系统可以进一步包括预先发声确定器，预先发声确定器配置为确定是否是预先发声语境，其中，语境信息处理器可以基于获取的讲话者之间的关系确定讲话者之间的优先级，并且基于确定的优先级识别具有最高优先级的讲话者；并且对话管理器可以确定与具有最高优先级的讲话者和预先发声语境相对应的动作。
根据本发明的另一方面，车辆包括：多个负载；语音输入装置，其配置为接收语音；对话系统，其配置为：通过识别经由语音输入装置输入的语音获取话语和语音模式，基于获取的话语和语音模式，对多个讲话者中的每个讲话者的对话内容进行分类，基于获取的话语，获取多个讲话者中的讲话者之间的关系，基于获取的讲话者之间的关系以及分类的每个讲话者的对话内容，确定多个讲话者中的每个讲话者的意图和语境；确定与获取的讲话者之间的关系以及获取的多个讲话者中的每个讲话者的意图和语境相对应的动作，输出与确定的动作相对应的话语，并且生成与确定的动作相对应的控制指令；以及车辆控制器，其配置为当接收到控制指令时，基于接收到的控制指令控制多个负载中的至少一个负载。
车辆可以进一步包括：通信装置，其配置为与移动装置通信，其中，对话系统可以在从移动装置接收到联系人信息时，基于接收到的联系人信息获取可以与用户进行对话的讲话者的姓名、头衔或电话号码中的至少一个，基于获取的与用户进行对话的讲话者的姓名、头衔或电话号码中的至少一个，获取多个讲话者中的讲话者之间的关系，并且存储每个讲话者的姓名、头衔或电话号码，多个讲话者中的讲话者之间的关系，以及多个讲话者中的每个讲话者的语音模式中的至少一个信息。
对话系统可以从多个讲话者的移动装置接收用于控制车辆功能的功能控制信息，将接收到的每个讲话者的功能控制信息存储在储存装置中，基于多个讲话者中的讲话者之间的关系，确定多个讲话者中的讲话者之间的优先级，确定与确定的优先级和存储的功能控制信息相对应的动作，基于确定的优先级和存储的功能控制信息生成控制指令以控制至少一个功能，并且将生成的控制指令输出到多个负载中的至少一个负载。
当通过语音输入装置输入语音时，对话系统可以识别语音，并通过将识别的语音的语音模式与存储在储存装置中的语音模式进行比较来识别讲话者。
功能控制信息可以包括：多个座椅中的每个座椅的座椅倾角信息、前排和后排的每个座椅的水平位置的信息、空调的风量和风向信息、座椅电热丝开/关信息、座椅电热丝温度信息、座椅通风开/关信息和腰椎支撑信息。
车辆可以进一步包括除语音之外的信息输入装置，其中，对话系统可以存储通过除语音之外的信息输入装置输入的每个讲话者的座椅位置。
对话系统可以基于语音信号到达语音输入装置的时间识别发声位置，识别与识别的发声位置相对应的座椅位置，识别到达语音输入装置的语音的语音模式，将识别的语音的语音模式与识别的座椅位置进行匹配，并存储识别的语音的语音模式与识别的座椅位置匹配的信息。
车辆可以进一步包括检测器，其设置于多个座椅中，检测器配置为检测多个座椅的座椅倾角信息以及前排和后排的座椅的水平位置，其中，对话系统配置为将座椅倾角信息和水平位置与识别的座椅位置进行匹配，并且存储座椅倾角信息和水平位置与识别的座椅位置匹配的信息。
对话系统可以确定是否是预先发声语境，并且当确定出是预先发声语境时，对话系统可以基于多个讲话者中的讲话者之间的关系输出与预先发声语境相对应的话语。
对话系统可以基于多个讲话者中的讲话者之间的关系，确定多个讲话者中的讲话者之间的优先级，基于确定的优先级识别具有最高优先级的讲话者，并且确定与具有最高优先级的讲话者和预先发声语境相对应的动作。
在确定当前输入的话语的意图为对先前输入的语音的响应时，对话系统配置为基于与先前输入的语音相对应的话语获取与当前输入的话语的讲话者的关系。
对话系统可以将获取的当前输入的语音的讲话者的关系与当前输入的语音的语音模式进行匹配，并存储匹配的信息。
根据本发明的另一个方面，一种用于控制车辆的方法包括：当通过语音输入装置输入多个讲话者的语音时，通过语音识别获取话语和语音模式；基于获取的话语和语音模式，对多个讲话者中的每个讲话者的对话内容进行分类；基于获取的话语，获取多个讲话者中的讲话者之间的关系；基于获取的关系确定多个讲话者中的每个讲话者的意图和语境；确定与获取的关系以及获取的多个讲话者中的每个讲话者的意图和语境相对应的动作，并输出与确定的动作相对应的话语；生成与确定的动作相对应的控制指令；并且基于生成的控制指令控制多个负载中的至少一个负载。
控制方法可以进一步包括：基于从移动装置接收到的联系人信息，获取多个讲话者中的讲话者的姓名、头衔或电话号码中的至少一个；基于多个讲话者中的讲话者的姓名、头衔或电话号码中的至少一个获取多个讲话者中的讲话者之间的关系；并且在储存装置中存储每个讲话者的姓名、头衔和电话号码中的至少一个以及多个讲话者中的讲话者之间的关系。
控制方法可以进一步包括：从多个讲话者的移动装置接收用于控制车辆功能的功能控制信息；基于多个讲话者中的讲话者之间的关系，确定多个讲话者中的讲话者之间的优先级；确定与确定的优先级和接收到的每个讲话者的功能控制信息相对应的动作；基于确定的优先级和接收到的每个讲话者的功能控制信息生成控制指令以控制至少一个功能；并且将生成的控制指令输出到多个负载中的至少一个负载。
控制方法可以进一步包括：获取讲话者的座椅位置；并存储讲话者的座椅位置。
控制方法可以进一步包括：基于语音信号到达语音输入装置的时间识别发声位置；识别与识别的发声位置相对应的座椅位置；识别到达语音输入装置的语音的语音模式；并且将识别的语音的语音模式与识别的座椅位置进行匹配，并存储匹配的信息。
控制方法可以进一步包括：基于多个讲话者中的讲话者之间的关系，确定多个讲话者中的讲话者之间的优先级；基于确定的优先级识别具有最高优先级的讲话者，并确定是否是预先发声语境；并且当确定是预先发声语境时，输出与具有最高优先级的讲话者和预先发声语境相对应的话语。
基于获取的话语获取多个讲话者中的讲话者之间的关系可以包括：在确定当前输入的话语的意图为对先前输入的语音的响应时，基于与先前输入的语音相对应的话语获取与当前输入的话语的讲话者的关系；并且将获取的当前输入的话语的讲话者的关系与当前输入的语音的语音模式进行匹配，并存储匹配的信息。
通过本文提供的描述，其它应用领域将变得明显。应当理解，描述和具体实施例仅是旨在用于说明的目的，而并不旨在限制本发明的保护范围。
附图说明
为了可以更好地理解本发明，将参照附图、通过给出示例的方式来描述本发明的各种实施方式，在附图中：
图1是示出对话系统的控制框图；
图2是示出车辆内部的示意图；
图3至图5是示出在对话系统和驾驶员之间生成的对话的示例的示意图；
图6和图7是示意性地示出对话系统和车辆的组件之间的连接的控制框图；
图8和图9是示意性地示出对话系统的组件与车辆的组件之间的连接的控制框图；
图10是示出车辆独立方法的控制框图，在所述车辆独立方法中，在车辆中设置对话系统；
图11和图12是示出车辆网关方法的控制框图，在所述车辆网关方法中，在远程服务器中设置对话系统，并且车辆用作将用户连接到对话系统的网关；
图13是示出在车辆网关方法中车辆能够进行部分输入处理和输出处理的情况的控制框图；
图14是示出混合方法的控制框图，在所述混合方法中远程对话系统服务器和车辆都进行对话处理；
图15和图16是示出移动网关方法的控制框图，在所述移动网关方法中，连接到车辆的移动装置将用户连接到远程对话系统服务器；
图17是示出移动独立方法的控制框图，在所述移动独立方法中，在移动装置中设置对话系统；
图18、图19A和图19B是详细示出对话系统的配置中的输入处理器的配置的控制框图；
图20A和图20B是示出存储在语境理解表中的信息的示例的示意图；
图21是示出适用于对话系统在接收用户输入之前首先输出话语的情况的对话系统的控制框图；
图22A、图22B和图22C是示出存储在预先发声条件表中的信息的示例的示意图；
图23是详细示出对话管理器的配置的控制框图；
图24是示出存储在关系动作DB中的信息的示例的示意图；
图25是示出存储在动作执行条件DB中的信息的示例的示意图；
图26是示出存储在动作参数DB中的信息的示例的示意图；
图27是示出存储在模糊解算信息DB中的信息的示例的表格；
图28A和图28B是示出由于模糊解算器通过参考模糊解算信息DB并提取动作来解算模糊而执行车辆控制的各种示例的表格；
图29是详细示出结果处理器的配置的控制框图；
图30至图42是示出当用户输入与路线引导相关的话语时，对话系统处理输入、管理对话并输出结果的具体示例的示意图；
图43是示出对话处理方法中处理用户输入的方法的流程图；
图44是示出对话处理方法中利用输入处理器的输出来管理对话的方法的流程图；
图45是示出根据实施方案的对话处理方法中用于生成与对话管理的结果相对应的响应的结果处理方法的流程图；
图46至图48是示出对话处理方法中，当对话系统在用户输入话语之前输出预先发声的情况下的流程图；
图49是示出对话处理方法中，当对话系统在用户输入话语之前输出预先发声时处理重复任务的流程图；
图50是示出设置对话系统的车辆的控制框图；
图51是示出对话系统的详细控制框图；
图52是示出对话系统的输入处理器的控制框图；
图53是示出对话系统的输入处理器的详细控制框图；
图54是示出对话系统的结果处理器的控制框图；
图55是示出具有对话系统的车辆的控制框图；
图56A-图56D是示出存储在与对话系统通信的移动装置中的联系人信息的示例；
图57是示出存储在对话系统中的联系人信息的示例；
图58是示出具有对话系统的车辆中的讲话者之间的对话的示例；
图59A和图59B是示出具有对话系统的车辆中的讲话者的示例；
图60是示出存储在与对话系统通信的移动装置中的功能控制信息的示例；以及
图61是示出用户和对话系统之间的对话的示例。
本文描述的附图仅用于说明的目的，而并不旨在以任何方式限制本发明的范围。
附图标记说明：
100：对话系统
110：输入处理器
120：对话管理器
130：结果处理器
200：车辆
210：语音输入装置
220：除语音之外的信息输入装置
230：扬声器
280：通信装置。
具体实施方式
以下说明在本质上仅仅是示例性的，而并非旨在限制本发明、应用或用途。应当理解的是，在所有附图中，相应的附图标记表示相同或相应的部件和特征。
没有详细描述众所周知的功能或结构，因为它们会以不必要的细节模糊一个或更多个示例性实施方案。术语诸如“单元”、“模块”、“构件”和“块”可以实现为硬件或软件。根据实施方案，多个“单元”、“模块”、“构件”和“块”可以实现为单个组件，或者单个“单元”、“模块”、“构件”和“块”可以包括多个组件。
应当理解，当一个元件被称为“连接”另一个元件时，它可以直接或间接地连接到另一个元件，其中，间接连接包括“通过无线通信网络的连接”。
此外，当部件“包括”或“包括了”元件时，除非存在与其相反的特定描述，否则该部件可以进一步包括其它元件，而不排除其它元件。
正如本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确指示。
识别码用于方便描述，但并不旨在说明每个步骤的顺序。除非上下文另有明确指示，否则每个步骤可以以与所示顺序不同的顺序实现。
现在将对本发明的实施方案详细地作出展示，这些实施方案的示例显示在附图中。
在一个实施方案中，对话系统可以配置为通过利用用户的语音和除语音之外的另一输入来识别用户的意图，并且配置为提供适合用户意图或用户意图需要的服务。对话系统可以通过输出系统话语来执行与用户的对话，该系统话语是配置为提供服务或者清楚地识别用户意图的工具之一。
在示例性实施方案中，提供给用户的服务可以包括根据用户的需要或用户的意图的所有类型的操作，其中，所有类型的操作可以包括提供信息、控制车辆、执行音频/视频/导航功能以及从外部服务器提供内容。
在另一实施方案中，对话系统提供专用于车辆环境的对话处理技术，以便在特殊环境(即，车辆)中精确地识别用户的意图。
将对话系统连接到用户的网关可以是车辆或连接到车辆的移动装置。如下所述，对话系统可以设置于车辆或车辆外部的远程服务器中，以便通过与车辆或连接到车辆的移动装置进行通信来发送或接收数据。
对话系统中的一些组件可以在车辆中设置，而另一些组件可以在远程服务器中设置。因此，车辆和远程服务器可以执行对话系统的一部分操作。
图1是示出根据本发明的实施方案的对话系统的控制框图。
参照图1，对话系统100可以包括输入处理器110、对话管理器120、结果处理器130和储存装置140，所述输入处理器110处理用户的输入，所述用户的输入包括用户的语音和除用户语音之外的输入，或者包括与车辆相关的信息或与用户相关的信息的输入；所述对话管理器120利用输入处理器110的处理结果识别用户的意图和车辆状态，并确定与用户的意图或车辆状态相对应的动作；所述结果处理器130根据对话管理器120的输出结果提供特定服务或输出用于继续对话的系统话语；所述储存装置140存储用于稍后描述的操作的各种信息。
输入处理器110可以接收两种输入，诸如用户语音和除语音之外的输入。除语音之外的输入可以包括识别用户的手势，除通过输入装置的操作输入的用户的语音之外的输入，指示车辆状态的车辆状态信息，与车辆的行驶信息相关的行驶环境信息以及指示用户的状态的用户信息。此外，除上述信息之外，只要信息用于识别用户的意图或向用户或车辆提供服务，与用户和车辆相关的信息就可以被输入到输入处理器110。用户可以包括驾驶员和乘客。
输入处理器110通过识别用户的语音将用户的语音转换为文本类型的话语，并通过将自然语言理解算法应用于用户话语来识别用户的意图。
输入处理器110收集用户语音之外的与车辆状态或车辆的行驶环境相关的信息，然后利用收集到的信息来理解语境。
输入处理器110将通过自然语言理解技术获取的用户意图以及与语境相关的信息发送到对话管理器120。
对话管理器120基于从输入处理器110发送的用户的意图以及与语境相关的信息来确定与用户的意图或当前语境相对应的动作，并管理执行相应动作所需的参数。
在示例性实施方案中，动作可以表示用于提供特定服务的各种动作，并且可以预先确定动作的种类。根据需要，提供服务可以与执行动作相对应。
例如，可以在域/动作推断规则DB 141(参考图19A)中预定义诸如路线引导、车辆状态检查和加油站推荐的动作，可以根据存储的推断规则提取与用户的话语相对应的动作，即用户预期的动作。可以预先定义与车辆中发生的事件相关的动作，然后将其存储在关系动作DB 146b中(参考图21)。
动作的种类没有限制。如果允许对话系统100经由车辆200或移动装置400执行动作，并且该动作在其推断规则或该动作与其它动作/事件的关系被存储的同时该动作被预定义，则该动作可以是上述提到的动作。
对话管理器120将与确定的动作相关的信息发送到结果处理器130。
结果处理器130生成并输出对话响应以及执行发送的动作所需的指令。对话响应可以以文本、图像或音频类型输出。当输出了指令时，可以执行与输出的指令相对应的诸如车辆控制和提供外部内容的服务。
储存装置140存储用于对话处理和提供服务的各种信息。例如，储存装置140可以预先存储与自然语言理解所使用的域、动作、语言行为和实体名称相关的信息，以及通过输入信息理解语境所使用的语境理解表。此外，储存装置140可以预先存储由车辆中设置的传感器检测的数据、与用户相关的信息以及动作所需的信息。稍后将描述存储在储存装置140中的信息的描述。
如上所述，对话系统100提供车辆环境专用的对话处理技术。对话系统100的全部或部分组件可以存在于车辆中。对话系统100可以在远程服务器中设置，并且车辆可以充当对话系统100和用户之间的网关。在上述任一情况下，对话系统100都可以经由车辆或连接到车辆的移动装置连接到用户。
图2是示出车辆内部的示意图。
参照图2，可以在中央仪表板203上设置显示装置231和输入按钮221；所述显示装置231配置为显示包括音频功能、视频功能、导航功能和呼叫功能的车辆控制所需的屏幕；所述输入按钮221配置为接收用户的控制指令；中央仪表板203对应于车辆200内部的仪表板的中心部分。
为了用户的操作方便，可以在方向盘207上设置输入按钮，并且可以在设置在驾驶员座椅254a和副驾驶员座椅254b之间的中央控制台区域202上设置用作输入按钮的旋钮225。
包括显示装置231、输入按钮221和控制各种功能的处理器的模块可以与音频视频导航(AVN)终端或音响主机相对应。
显示装置231可以由各种显示装置，例如，液晶显示屏(LCD)、发光二极管(LED)、等离子显示面板(PDP)、有机发光二极管(OLED)和阴极射线管(CRT)中的任何一种实现。
输入按钮221可以以实体按键类型设置于与显示装置231相邻的区域，如图2所示。或者，当通过触摸屏实现显示装置231时，显示装置231可以执行输入按钮221的功能。
车辆200可以经由语音输入装置210接收用户控制指令作为语音。语音输入装置210可以包括麦克风，该麦克风配置为接收声音然后将声音转换为电信号。
为了有效的语音输入，语音输入装置210可以安装于车顶织物衬里205，如图2所示，但是，车辆200的示例性实施方案不限于此。因此，语音输入装置210可以安装到仪表板201或方向盘207。此外，只要位置适合于接收用户的语音，语音输入装置210可以安装到任何位置。
在车辆200的内部，可以设置扬声器232，扬声器232配置为与用户进行对话或配置为输出提供用户期望的服务所需的声音。例如，扬声器232可以设置在驾驶员座椅车门253a和副驾驶员座椅车门253b的内部。
扬声器232可以输出用于导航路线引导的语音、存在于音频和视频内容中的声音或语音、用于提供用户期望的信息或服务的语音，以及作为对用户的话语的响应而生成的系统话语。
在一个实施方案中，对话系统100通过利用适合于车辆环境的对话处理技术来提供适合于用户生活方式的服务，并且对话系统100可以利用诸如联网汽车、物联网(IoT)和人工智能(AI)的技术来实现新服务。
当应用适合于车辆环境的对话处理技术时，例如对话系统100，在驾驶员直接驾驶车辆期间可以容易地识别并响应关键语境。可以通过对影响驾驶的参数(例如汽油不足和疲劳驾驶)施加权重来提供服务，或者基于在大多数情况下车辆移动到目的地的情况，可以容易地获取服务所需信息，例如，行驶时间和目的地信息。
此外，可以通过识别驾驶员的意图容易地实现配置为提供功能的智能服务。这是因为在驾驶员直接驾驶情况下优先考虑实时信息和动作。例如，当驾驶员在驾驶时搜索加油站时，可以将其解释为驾驶员将去加油站的意图。然而，当驾驶员不在车辆处搜索加油站时，可以将其解释为另一个意图，例如搜索位置信息查询、电话号码查询和价格查询，而不是驾驶员将去往加油站的意图。
此外，尽管车辆是有限的空间，但是其中可能发生各种情况。例如，驾驶员可以在各种情况下使用对话系统100，例如，驾驶具有不熟悉的界面的车辆(例如租用的车辆)、使用驾驶员服务、车辆管理情况(例如洗车)、车上有婴儿的情况以及访问特定目的地的情况。
此外，在形成车辆行驶的每个阶段以及行驶的前后阶段(例如，车辆检查阶段、开始准备阶段、行驶阶段和停车阶段)中可能发生各种服务和对话情况。具体地，驾驶员可以在各种情况下使用对话系统100，例如，驾驶员不知道如何处理问题的情况、车辆与各种外部装置相关联的情况、检查驾驶习惯(例如汽油里程)的情况，以及利用安全支持功能(例如智能巡航控制)的情况、导航操作的情况、疲劳驾驶的情况、每天沿同一路线行驶的情况，以及检查该地方是否可停车的情况。
图3至图5是示出在对话系统和驾驶员之间生成的对话的示例的示意图。
参照图3，虽然驾驶员没有输入用于询问当前剩余油量或用于请求加油站引导的话语，但是对话系统100可以自己识别当前剩余汽油，并且当识别出的剩余汽油小于预先确定的值时，对话系统100可以首先输出提供与当前剩余汽油相关的信息的话语(S1：用剩余的汽油可以行驶43km)。
响应于该话语，驾驶员可以输入询问附近的加油站的话语以接收路线引导(U1：让我知道附近的加油站)，并且对话系统100可以输出提供与距离当前位置最近的加油站相关的信息的话语(S2：最近的加油站是A油Seong-rim加油站，B油Jang-dae加油站和C油太平洋加油站)。
驾驶员可以额外输入询问汽油价格的话语(U2哪里最便宜？)，并且对话系统100可以输出提供与燃料类型的价格相关的信息的话语(汽油的最低价格是B油Jang-dae加油站，每升1294韩元，而柴油的最低价格是A油Seong-rim加油站，每升985韩元)。
驾驶员可以输入询问到B油Jang-dae加油站(U3)的引导的话语，并且对话系统100可以输出指示到由驾驶员选择的加油站的引导开始的话语(S4：到B油Jang-dae加油站的路线开始)。
也就是说，对话系统100可以基于经由输入处理器110接收的车辆的状态信息来确定当前所需服务是加油站引导服务，并且输出预先发声以提供所需的服务。此外，可以通过与对话系统100的对话，将驾驶员引导到以最低价格销售当前车辆的燃料类型的附近的加油站。假设“预先发声”表示在用户发声之前首先从对话系统100输出的话语。
同时，当在如图3所示的示例中选择加油站时，对话系统100可以省略部分问题并直接提供信息，因此可以减少对话的步骤和时间。
例如，对话系统100可以预先识别出当前车辆的燃料类型是汽油，以及驾驶员用于选择加油站的标准是价格。可以从车辆获取与车辆的燃料类型相关的信息，而驾驶员用于选择加油站的标准可以由驾驶员预先输入，或者通过学习驾驶员对话历史或加油站选择历史来获取。该信息可以预先存储在储存装置140中。
在这种情况下，在驾驶员不输入请求关于燃料价格的信息的话语(U2)的情况下，即省略了U2，如图4所示，对话系统100可以主动输出提供与燃料价格相关的信息的话语(S2+S3＝S3')，具体地，当前车辆的燃料类型的汽油价格。
驾驶员可以省略用于请求关于燃料价格的信息的话语(U2)，并且对话系统100的响应可以形成，使得引导附近的加油站的话语(S2)和引导燃料价格的话语(S3)集成为单一响应，以减少对话的步骤和时间。
此外，对话系统100可以基于驾驶员询问当前剩余油量的情况，自己识别驾驶员的意图为搜索加油站。
在这种情况下，如图5所示，尽管驾驶员没有输入询问附近的加油站的话语(U1)，即省略了U1，但是对话系统100可以主动输出提供与燃料价格相关的信息的话语(S2+S3＝S3”)。
在距离当前位置最近的加油站和提供最低燃料价格的加油站是相同的加油站的状态下，提供与燃料价格相关的信息的话语(S3”)可以包括用于询问是否要引导到相应的加油站的问题。因此，用户可以通过简单地输入同意对话系统100的问题的话语(U3'：是)来请求到相应的加油站的路线引导，而无需输入用于询问到特定加油站的引导的具体的话语。
如上所述，对话系统100可以基于预先获取的信息，通过考虑用户未说出的内容来识别用户的真实意图并主动提供与意图相对应的信息。因此，可以减少用于提供用户期望的服务的对话步骤和时间。
图6和图7是示意性地示出对话系统和车辆的组件之间的连接的控制框图。
参照图6，输入到对话系统100的用户语音可以经由车辆200中设置的语音输入装置210来输入。如图2所示，语音输入装置210可以包括设置在车辆200内部的麦克风。
可以通过除语音之外的信息输入装置220输入用户输入中除语音之外的输入。除语音之外的信息输入装置220可以包括输入按钮221和223以及旋钮225，以用于通过用户的操作接收指令。
除语音输入之外的信息输入装置220可以包括对用户成像的摄像机。通过由摄像机成像的图像，可以识别用作指令输入工具的用户的手势、表情或视线方向。或者，可以通过摄像机成像的图像来识别用户的状态(困倦状态等)。
可以经由车辆控制器240将与车辆相关的信息输入到对话系统100中。与车辆相关的信息可以包括由车辆200中设置的各种传感器获取的车辆状态信息或周围环境信息，以及最初存储在车辆200中的信息，例如车辆的燃料类型。
对话系统100可以利用经由语音输入装置210输入的用户语音，经由除语音之外的信息输入装置220输入的除用户的语音之外的输入，以及经由车辆控制器240输入的各种信息来识别用户的意图和语境。对话系统100输出响应以执行与用户意图相对应的动作。
对话输出装置230是配置为以视觉、听觉或触觉方式向讲话者提供输出的装置。对话输出装置230可以包括在车辆200中设置的显示装置231和扬声器232。显示装置231和扬声器232可以以视觉或听觉方式输出对用户的话语的响应、关于用户的问题或用户请求的信息。此外，可以通过在方向盘207中安装振动器来输出振动。
此外，根据从对话系统100输出的响应，车辆控制器240可以控制车辆200执行与用户的意图或当前情况相对应的动作。
同时，除由车辆200中设置的传感器获取的信息之外，车辆200还可以经由通信装置280收集从外部内容服务器300或外部装置获取的信息，例如，行驶环境信息和用户信息，诸如交通状况、天气、温度、乘客信息和驾驶员个人信息，然后车辆200可以将信息发送到对话系统100。
如图7所示，通过车辆200中设置的传感器获取的信息(例如，剩余燃料量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置)可以经由内部信号控制器241输入到对话系统100。
通过车辆到一切(V2X)通信从外部获取的行驶环境信息可以经由外部信号控制器242输入到对话系统100。V2X可以表示在行驶期间通过与道路基础设施以及其它车辆通信，车辆交换并共享各种有用信息(例如，交通状况)。
V2X通信可以包括车辆对基础设施(V2I)通信、车辆对车辆(V2V)通信和车辆对漫游装置(V2N)通信。因此，通过利用V2X通信，可以通过在车辆之间直接执行的通信或与安装在道路上的基础设施的通信来发送和接收信息(诸如，关于前面的交通信息、或另一车辆的访问、或与另一车辆发生碰撞的风险)，因此可以向驾驶员通知该信息。
因此，经由外部信号控制器242输入到对话系统100的行驶环境信息可以包括关于前面的交通信息、相邻车辆的访问信息、与另一车辆的碰撞警告、实时交通状况、意外情况和交通流量控制状态。
尽管未在附图中示出，但是经由V2X获取的信号也可以经由通信装置280输入到车辆200。
车辆控制器240可以包括存储器和处理器，所述存储器存储用于执行上述操作和稍后描述的操作的程序；所述处理器用于执行存储的程序。可以设置至少一个存储器和至少一个处理器，并且当设置多个存储器和处理器时，它们可以集成在一个芯片上或物理上分开。
此外，内部信号控制器241和外部信号控制器242可以由同一个处理器和存储器实现，或者由单独的处理器和存储器实现。
图8和图9是示意性地示出对话系统和车辆的组件之间的连接的控制框图。
参照图8，从语音输入装置210发送的用户语音可以输入到在输入处理器110中设置的语音输入处理器111，从除语音之外的信息输入装置220发送的除用户语音之外的输入可以输入到在输入处理器110中设置的语境信息处理器112。
此外，经由内部信号控制器241或外部信号控制器242输入的信息被输入到输入处理器110中设置的语境信息处理器112。
输入到语境信息处理器112的语境信息可以包括车辆状态信息、行驶环境信息和用户信息，所述信息是从除语音之外的信息输入装置220和车辆控制器240输入的。语境信息处理器112可以基于输入的语境信息来识别语境。对话系统100可以通过识别语境来精确地识别用户的意图或有效地找出用户所需的服务。
从结果处理器130输出的响应可以输入到对话输出装置230或车辆控制器240，以允许车辆200提供用户所需的服务。此外，可以将响应发送到外部内容服务器300以请求所需的服务。
从车辆控制器240发送的车辆状态信息、行驶环境信息和用户信息可以存储在储存装置140中。
参照图9，储存装置140可以包括长期存储器143和短期存储器144。存储在储存装置140中的数据可以根据数据的重要性和持久性以及设计者的意图分为短期存储器和长期存储器。
短期存储器144可以存储先前执行的对话。先前的对话可以是在距当前时间的参考时间内执行的对话。或者，可以连续存储对话，直到用户和对话系统100之间的话语内容的容量为参考值。
例如，当到了用餐的时候，车辆200可以经由扬声器232输出询问是否引导餐馆的话语。可以基于当前时间是否在预先确定的用餐时间范围内来识别是否是用餐时间。当用户说出“让我知道江南站附近的餐馆”或“让我知道餐馆”的内容并且当车辆200的当前位置在江南站附近时，对话系统100可以通过外部内容服务器300搜索江南站附近的餐馆，然后向用户提供与搜索到的江南站附近的餐馆相关的信息。提供信息的示例：对话系统100可以在显示装置231上显示餐馆的列表，并且当用户说出“第一个”时，可以在短期存储器144中存储与从请求餐馆到选择餐馆相关的对话内容。
或者，不仅存储整个对话内容，而且还可以存储存在于对话内容中的特定信息。例如，可以将餐馆列表上的第一个餐馆存储在短期存储器144或者长期存储器143中作为用户选择的餐馆。
当用户在关于江南站附近的餐馆的对话之后向对话系统100询问“天气如何？”时，对话系统100可以通过短期存储器144中存储的对话假设用户感兴趣的地点是江南站，然后输出响应“江南站正在下雨”。
接下来，当用户说出“推荐餐馆菜单”时，对话系统100可以通过存储在短期存储器中的对话假设“餐馆”代表江南站附近的餐馆，并通过从外部内容服务器300提供的服务获取与相应餐馆的推荐菜单相关的信息。因此，对话系统100可以输出响应“面条是餐馆中的最佳菜单”。
长期存储器143可以根据数据持久性的存在来存储数据。例如，长期存储器143可以确定数据的持久性得到保证，然后将数据存储在其中，所述数据诸如感兴趣的位置(POI)信息(例如，家)、朋友的电话号码和家庭或公司，以及用户对某些参数的偏好。相反，当确定数据的持久性得不到保证时，可以将数据存储在短期存储器144中。
例如，用户的当前位置可以是临时数据，因此存储在短期存储器144中，而用户对餐馆的偏好可以是以后可用的持久数据，因此存储在长期存储器143中。
当用户说“这附近有没有餐馆？”时，对话系统100可以识别出用户的当前位置并且从长期存储器143中找到用户喜欢的中餐馆。因此，对话系统100可以通过利用外部内容来推荐当前位置周围的用户喜欢的中餐馆的列表。
此外，对话系统100可以利用存储在长期存储器143和短期存储器144中的数据主动向用户提供服务和信息。
例如，与用户住宅相关的信息可以存储在长期存储器143中。对话系统100可以从外部内容服务器300获取与用户住宅相关的信息，然后提供指示“由于公寓的清洁而预计在这周五停水”的信息。
与车辆电池状态相关的信息可以存储在短期存储器144中。对话系统100可以分析存储在短期存储器144中的车辆电池状态，然后提供指示“电池处于不良状态，在冬天之前修好它。”的信息。
图10是示出车辆独立方法的控制框图，在所述车辆独立方法中，在车辆中设置对话系统。
根据车辆独立方法，对话系统100具有输入处理器110、对话管理器120、结果处理器130和储存装置140，对话系统100可以存在于车辆200中，如图10所示。
当对话系统100存在于车辆200中时，车辆200可以自己处理与用户的对话并提供用户所需的服务。然而，也可以从外部内容服务器300获取对话处理和提供服务所需的信息。
由车辆检测器260检测到的车辆状态信息或行驶环境信息(例如，剩余燃料量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置)可以经由车辆控制器240输入到对话系统100。
根据从对话系统100输出的响应，车辆控制器240可以控制设置在车辆200中的空调装置251、车窗252、车门253、座椅254或AVN 255。
例如，当对话系统100确定出用户的意图或用户所需的服务是降低车辆200内的温度然后生成并输出相应的指令时，车辆控制器240可以通过控制空调251降低车辆200内的温度。
再例如，当对话系统100确定出用户的意图或用户所需的服务是升起驾驶员座椅的车窗252a并且生成和输出相应的指令时，车辆控制器240可以通过控制车窗252来升起驾驶员座椅的车窗252a。
再例如，当对话系统100确定出用户的意图或用户所需的服务是引导到特定目的地的路线并且生成和输出相应的指令时，车辆控制器240可以通过控制AVN255来执行路线引导。根据需要，通信装置280可以从外部内容服务器300获取地图数据和POI信息，然后利用该信息提供服务。
图11和图12是示出车辆网关方法的控制框图，在所述车辆网关方法中，在远程服务器中设置对话系统，并且车辆用作将用户连接到对话系统的网关。
根据车辆网关方法，如图11所示，可以在车辆200的外部设置远程对话系统服务器1，并且可以在车辆200中设置通信装置280和经由远程对话系统服务器1连接的对话系统客户端270。通信装置280用作连接车辆200和远程对话系统服务器1的网关。
对话系统客户端270可以用作连接到输入/输出装置的接口，并进行收集、发送和接收数据。
当车辆200中设置的语音输入装置210和除语音输入之外的信息输入装置220接收用户的输入并将用户输入发送到对话系统客户端270时，对话系统客户端270可以经由通信装置280将输入的数据发送到远程对话系统服务器1。
车辆控制器240还可以将由车辆检测器260检测到的数据发送到对话系统客户端270，并且对话系统客户端270可以经由通信装置280将由车辆检测器260检测到的数据发送到远程对话系统服务器1。
由于在远程对话系统服务器1中设置了上述对话系统100，因此远程对话系统服务器1可以执行以下所有处理：输入数据处理，基于输入数据处理的结果的对话处理，以及基于对话处理的结果的结果处理。
此外，远程对话系统服务器1可以从外部内容服务器300获取输入数据处理、对话管理或结果处理所需的信息或内容。
根据从远程对话系统服务器1发送的响应，车辆200可以从外部内容服务器300获取用户所需的服务的信息或内容。
参照图12，通信装置280可以包括配置为与外部装置通信的至少一个通信模块。例如，通信装置280可以包括短程通信模块281、有线通信模块282和无线通信模块283中的至少一种。
短程通信模块281可以包括各种短程通信模块，其配置为在短距离利用无线通信模块发送和接收信号，所述无线通信模块例如，蓝牙模块、红外通信模块、射频识别(RFID)通信模块、无线局域网(WLAN)通信模块、NFC通信模块和ZigBee通信模块。
有线通信模块282可以包括各种有线通信模块和各种电缆通信模块，所述有线通信模块例如，局域网(LAN)模块、广域网(WAN)模块、或增值网络(VAN)模块；所述电缆通信模块例如，通用串行总线(USB)、高清多媒体接口(HDMI)、数字视频接口(DVI)、推荐标准232(RS-232)、电力线通信或普通老式电话服务(POTS)。
无线通信模块283可以包括支持各种无线通信方法的无线通信模块，例如，Wifi模块、无线宽带模块、全球移动系统(GSM)通信、码分多址(CDMA)、宽带码分多址(WCDMA)、时分多址(TDMA)、长期演进(LTE)、4G和5G。
此外，通信装置280可以进一步包括用于车辆200中的电子装置之间的通信的内部通信模块(图未示)。车辆200的通信协议可以利用控制器局域网(CAN)、本地互连网络(LIN)、FlexRay和以太网。
对话系统100可以经由无线通信模块283向外部内容服务器300或远程对话系统服务器1发送数据，并从外部内容服务器300或远程对话系统服务器1接收数据。对话系统100可以利用无线通信模块283执行V2X通信。此外，利用短程通信模块281或有线通信模块282，对话系统100可以向连接到车辆200的移动装置发送数据并从连接到车辆200的移动装置接收数据。
图13是示出在车辆网关方法中，车辆能够进行部分输入处理和输出处理的情况的控制框图。
如上所述，车辆200的对话系统客户端270可以仅收集、发送和接收数据，但是由于在对话系统客户端270中包含输入处理器271、结果处理器273和储存装置274，所以对话系统客户端270可以处理从用户或车辆输入的数据或者执行与所确定的用户需要的提供服务相关的处理，如图13所示。也就是说，输入处理器110和结果处理器130的操作不仅可以由远程对话系统服务器1执行，还可以由车辆200执行。
在这种情况下，对话系统客户端270可以执行输入处理器110的全部或部分操作。对话系统客户端270可以执行结果处理器130的全部或部分操作。
可以考虑待处理的数据的容量和数据处理速度来确定远程对话系统服务器1和对话系统客户端270之间的任务共享。
图14是示出远程对话系统服务器和车辆都进行对话处理的混合方法的控制框图。
根据混合方法，如图14所示，由于在远程对话系统服务器1中设置有输入处理器110、对话管理器120、结果处理器130和储存装置140，所以远程对话系统服务器1可以执行对话处理，并且由于在车辆200中设置有终端对话系统290(终端对话系统290设置有输入处理器291、对话管理器292、结果处理器293和储存装置294)，所以车辆200可以执行对话处理。
然而，在容量或性能方面，在车辆200中设置的处理器和存储器与在远程对话系统服务器1中设置的处理器或存储器之间可能存在差异。相应地，当终端对话系统290能够通过处理所有输入数据和管理对话来输出结果时，终端对话系统290可以执行整个过程。否则，可以向远程对话系统服务器1请求处理。
在执行对话处理之前，终端对话系统290可以基于数据类型确定是否可以执行对话处理，并且终端对话系统290可以基于确定的结果直接执行处理或向远程对话系统服务器1请求处理。
当终端对话系统290在执行对话处理期间不能执行处理的事件发生时，终端对话系统290可以向远程对话系统服务器1请求处理，同时将终端对话系统290自己处理的结果发送到远程对话系统服务器1。
例如，当需要高性能计算能力或长期数据处理时，远程对话系统服务器1可以执行对话处理，而当需要实时处理时，终端对话系统290可以执行对话处理。例如，当需要立即处理的情况发生并因此需要在同步之前处理数据时，可以设置为终端对话系统290首先处理数据。
此外，当车辆中存在未登记的讲话者并且因此需要用户确认时，远程对话系统服务器1可以处理该对话。
此外，在不允许终端对话系统290经由通信装置280与远程对话系统服务器1连接的状态下，终端对话系统290不能自己完成对话处理时，可以通过对话输出装置230通知用户不能执行对话处理。
可以根据数据类型或数据容量来确定存储在终端对话系统290中的数据和存储在远程对话系统服务器1中的数据。例如，在由于个人识别而具有侵犯隐私风险的数据的情况下，数据可以存储在终端对话系统290的储存装置294中。此外，可以将大量数据存储在远程对话系统服务器1的储存装置140中，并且可以将少量数据存储在终端对话系统290的储存装置294中。或者，可以将少量数据存储在远程对话系统服务器1的储存装置140和终端对话系统290的储存装置294中。
图15和图16是示出移动网关方法的控制框图，在所述移动网关方法中，连接到车辆的移动装置将用户连接到远程对话系统服务器。
根据移动网关方法，如图15所示，移动装置400可以从车辆200接收车辆状态信息和行驶环境信息等，并且将用户输入和车辆状态信息发送到远程对话系统服务器1。也就是说，移动装置400可以充当将用户连接到远程对话系统服务器1或将车辆200连接到远程对话系统服务器1的网关。
移动装置400可以表示电子装置，该电子装置便携并且能够通过与外部服务器和车辆通信来向外部服务器和车辆发送数据以及从外部服务器和车辆接收数据，其中，移动装置400可以包括智能电话、智能手表、智能眼镜、PDA和平板电脑。
移动装置400可以包括语音输入装置410、除语音之外的信息输入装置420、输出装置430、通信装置480和对话系统客户端470，所述语音输入装置410接收用户语音；所述除语音之外的信息输入装置420接收除用户语音之外的输入；所述输出装置430以视觉、听觉或触觉方式输出响应；所述通信装置480通过通信向远程对话系统服务器1和车辆200发送数据并且从远程对话系统服务器1和车辆200接收数据；所述对话系统客户端470通过通信装置480收集来自用户的输入数据并将数据发送到远程对话系统服务器1。
语音输入装置410可以包括麦克风，麦克风接收声音、将声音转换为电信号并输出电信号。
除语音之外的信息输入装置420可以包括移动装置400中设置的输入按钮、触摸屏或摄像机。
输出装置430可以包括在移动装置400中设置的显示装置、扬声器或振动器。
在移动装置400中设置的语音输入装置410、除语音之外的信息输入装置420和输出装置430，可以用作用户的输入和输出接口。此外，在车辆200中设置的语音输入装置210、除语音之外的信息输入装置220和对话输出装置230，可以用作用户的输入和输出接口。
当车辆200将由车辆检测器260检测到的数据和用户输入发送到移动装置400时，移动装置400的对话系统客户端470可以将数据和用户输入发送到远程对话系统服务器1。
对话系统客户端470可以将从远程对话系统服务器1发送的响应或指令发送到车辆200。当对话系统客户端470利用车辆200中设置的对话输出装置230作为用户的输入和输出接口时，可以经由对话输出装置230输出对话系统100的话语或对用户的话语的响应。当对话系统客户端470利用在移动装置400中设置的输出装置430时，可以经由输出装置430输出对话系统100的话语或对用户的话语的响应。
用于车辆控制的指令可以被发送到车辆200，并且车辆控制器240可以执行与发送的指令相对应的控制，从而提供用户所需的服务。
对话系统客户端470可以收集输入数据并将输入数据发送到远程对话系统服务器1。对话系统客户端470还可以执行对话系统100的输入处理器110和结果处理器130的全部或部分功能。
参照图16，移动装置400的通信装置480可以包括配置为与外部装置通信的至少一个通信模块。例如，通信装置480可以包括短程通信模块481、有线通信模块482和无线通信模块483中的至少一种。
短程通信模块481可以包括各种短程通信模块，其配置为在短距离利用无线通信模块发送和接收信号，所述无线通信模块例如，蓝牙模块、红外通信模块、射频识别(RFID)通信模块、无线局域网(WLAN)通信模块、NFC通信模块和ZigBee通信模块。
有线通信模块482可以包括各种有线通信模块和各种电缆通信模块，所述有线通信模块例如，局域网(LAN)模块、广域网(WAN)模块、或增值网络(VAN)模块)；所述电缆通信模块例如，通用串行总线(USB)、高清多媒体接口(HDMI)、数字视频接口(DVI)、推荐标准232(RS-232)、电力线通信或普通老式电话服务(POTS)。
无线通信模块483可以包括支持各种无线通信方法的无线通信模块，例如，Wifi模块、无线宽带模块、全球移动系统(GSM)通信、码分多址(CDMA)、宽带码分多址(WCDMA)、时分多址(TDMA)、长期演进(LTE)、4G和5G。
例如，移动装置400可以经由短程通信模块481或有线通信模块482连接到车辆200，并且移动装置400可以经由无线通信模块483连接到远程对话系统服务器1或外部内容服务器300。
图17是示出移动独立方法的控制框图，在所述移动独立方法中，在移动装置中设置对话系统。
根据移动独立方法，如图17所示，可以在移动装置400中设置对话系统100。
因此，在没有连接到用于对话处理的远程对话系统服务器1的情况下，移动装置400可以自己处理与用户的对话并且提供用户所需的服务。然而，移动装置400可以从外部内容服务器300获取用于对话处理和提供服务的一条信息。
根据上述方法中的任何方法，形成对话系统100的组件可以在物理上彼此分离，或者可以省略部分组件。例如，即使在远程对话系统服务器1中设置对话系统100，也可以在单独的服务器或车辆中设置形成对话系统100的部分组件。单独服务器的操作器或管理器可以与远程对话系统服务器1的操作器或管理器相同或不同。例如，可以在单独的服务器中设置稍后描述的语音识别器或自然语言理解部分，并且对话系统100可以从单独的服务器接收关于用户的话语的语音识别的结果或自然语言理解的结果。或者，可以在单独的服务器中设置储存装置140。
将详细描述对话系统100的每个组件的详细配置和详细操作。根据稍后描述的实施方案，为了便于解释，假设对话系统100设置在车辆200中。稍后描述的对话系统100的特定组件可以根据其操作来分类，并且对于组件是否由相同的处理器和存储器来实现以及处理器和存储器的物理位置可以没有限制。
图18、图19A和图19B是详细示出对话系统的配置中的输入处理器的配置的控制框图。
参照图18，输入处理器110可以包括处理语音输入的语音输入处理器111和处理语境信息的语境信息处理器112。
从语音输入装置210发送的用户语音可以被输入到语音输入处理器111，从除语音之外的信息输入装置220发送的除用户语音之外的输入可以被输入到语境信息处理器112。
车辆控制器240可以将车辆状态信息、行驶环境信息和用户信息发送到语境信息处理器112。可以将行驶环境信息和用户信息提供给外部内容服务器300或连接到车辆200的移动装置400。
除语音之外的输入可以存在于语境信息中。也就是说，语境信息可以包括车辆状态信息、行驶环境信息和用户信息。
车辆状态信息可以包括指示车辆状态并且由在车辆200中设置的传感器获取的信息，以及与车辆相关并且存储在车辆中的信息，例如车辆的燃料类型。
行驶环境信息可以是由车辆200中设置的传感器获取的信息。行驶环境信息可以包括由前置摄像机、后置摄像机或立体摄像机获取的图像信息、由传感器(例如雷达、激光雷达、超声波传感器)获取的障碍物信息、与降雨量相关的信息以及由雨量传感器获取的降雨速度信息。
行驶环境信息可以进一步包括通过V2X获取的交通状态信息、交通灯信息和相邻车辆访问或相邻车辆碰撞风险信息。
用户信息可以包括：由车辆中设置的摄像机或生物识别读取器测量的与用户状态相关的信息，利用由用户在车辆中设置的输入装置直接输入的与用户相关的信息，与用户相关并存储在外部内容服务器300中的信息，以及存储在连接到车辆的移动装置400中的信息。
语音输入处理器111可以包括：语音识别器111a、自然语言理解部分111b和对话输入管理器111c，所述语音识别器111a通过识别输入的用户的语音来输出文本类型的话语；所述自然语言理解部分111b通过将自然语言理解技术应用于用户的话语来识别话语中包含的用户的意图；所述对话输入管理器111c将对自然语言理解的结果和语境信息发送到对话管理器120。
语音识别器111a可以包括语音识别引擎，并且语音识别引擎可以通过将语音识别算法应用于输入语音来识别用户发出的语音并生成识别结果。
由于输入语音被转换成用于语音识别的更有用的形式，语音识别器111a可以通过从语音信号中检测起点和终点来检测包括在语音中的实际语音部分。这称为终点检测(EPD)。
语音识别器111a可以通过应用特征向量提取技术(例如倒频谱、线性预测系数：(LPC)、梅尔频率倒频谱系数(MFCC)或滤波器组能量)从检测到的部分提取输入语音的特征向量。
语音识别器111a可以通过将提取的特征向量与训练的参考模式进行比较来获取识别结果。此时，语音识别器111a可以利用声学模型和语言模型，所述声学模型对语音的信号特征进行建模和比较；所述语言模型对与词汇识别相对应的词语或音节的语言顺序关系进行建模。为此，储存装置140可以存储声学模型和语言模型DB。
声学模型可以分为直接比较方法和统计方法，所述直接比较方法将目标识别设置为特征向量模型，并将该特征向量模型与语音信号的特征向量进行比较；所述统计方法统计地处理目标识别的特征向量。
直接比较方法是将诸如作为目标识别的词语或音素的单元设置到特征向量模型，并将接收到的语音与特征向量模型进行比较以确定它们之间的相似性。直接比较方法的代表性示例是矢量量化。矢量量化是将接收到的语音信号的特征矢量映射到作为参考模型的码本，以将映射的结果编码为代表值，并将代表值彼此进行比较。
统计模型方法是将目标识别的单元配置为状态序列并利用状态序列之间的关系。每个状态序列可以配置有多个节点。利用状态序列之间的关系的方法可以分为动态时间规整(DTW)、隐马尔可夫模型(HMM)和利用神经网络的方法。
DTW是这样一种方法：其考虑到语音的动态特征通过与参考模型比较来补偿时间轴的差异的方法，所述语音的动态特征是即使同一个人发出相同的发音，信号的长度也随时间变化。HMM是这样一种识别方法：其将语音假设为马尔可夫过程，所述马尔可夫过程在每个状态下具有节点(输出符号)的状态转移概率和观察概率，然后基于学习数据估算节点的状态转移概率和观察概率，并通过估算的模型计算生成接收到的语音的概率。
同时，语言模型是对词语、音节等的语言顺序关系建模，语言模型通过将配置语言的单元之间的顺序关系应用于通过语音识别获取的单元，可以减少声音模糊和识别错误。语言模型可以包括统计语言模型和基于有限状态自动机(FSA)的模型。统计语言模型利用词语的链概率，例如Unigram、Bigram和Trigram。
语音识别器111a可以利用上述方法中的任何一种进行语音识别。例如，语音识别器111a可以利用应用HMM的声学模型，或者声学模型与语音模型组合的N-best搜索方法。N-best搜索方法可以利用声学模型和语言模型通过选择N个或更少个识别结果候选来改进识别性能，然后重新估算识别结果候选的顺序。
语音识别器111a可以计算置信度以确保识别结果的可靠性。置信度可以是表示语音识别结果可靠程度的标准。例如，置信度可以定义为：对于识别出结果的音素或词语，从其它音素或词语发出相应的音素或词语的概率的相对值。因此，置信度可以表示为0到1之间或0到100之间的值。
当置信度大于预先确定的阈值时，语音识别器111a可以输出识别结果以允许执行与识别结果相对应的操作。当置信度等于或小于阈值时，语音识别器111a可以拒绝识别结果。
作为语音识别器111a的识别结果的文本形式的话语可以被输入到自然语言理解部分111b。
自然语言理解部分111b可以通过应用自然语言理解技术来识别包括在话语语言中的用户话语的意图。因此，用户可以通过自然对话输入控制指令，并且对话系统100还可以通过对话引起控制指令的输入并提供用户所需的服务。
自然语言理解部分111b可以对文本形式的话语进行形态分析。语素是意义的最小单位，代表不能再细分的最小语义元素。因此，形态分析是自然语言理解的第一步，并将输入的字符串转换为语素字符串。
自然语言理解部分111b可以基于形态分析结果从话语中提取域。该域可以用于识别用户话语语言的主题，并且指示各种主题(例如，汽油的剩余量路线引导、天气搜索、交通搜索、日程安排管理、燃料管理和空调控制)的域可以存储为数据库。
自然语言理解部分111b可以从话语中识别实体名称。实体名称可以是专有名词，例如，人名、地名、组织名称、时间、日期和货币，并且实体名称识别可以配置为识别句子中的实体名称并确定识别的实体名称的类型。自然语言理解部分111b可以利用实体名称识别从句子中提取重要关键字并识别句子的含义。
自然语言理解部分111b可以分析存在于话语中的言语行为。言语行为分析可以配置为识别用户话语的意图，例如，用户是否询问问题，用户是否进行请求，用户是否回应或者用户是否简单地表达情绪。
自然语言理解部分111b提取与用户的话语意图相对应的动作。自然语言理解部分111b可以基于诸如域、实体名称和言语行为的信息来识别用户的话语的意图，并提取与话语相对应的动作。动作可以由对象和操作者定义。
自然语言理解部分111b可以提取与动作执行相关的参数。与动作执行相关的参数可以是动作执行直接需要的有效参数，或者是用于提取有效参数的无效参数。
例如，当用户的话语是“我们去首尔站吧”时，自然语言理解部分111b可以提取“导航”作为与话语相对应的域，并且提取“路线引导”作为动作，其中，言语行为与“请求”相对应。
实体名称“首尔站”可以对应于与动作执行相关的[参数：目的地]，但是可能需要站点的特定出口号码或GPS信息来经由导航系统实际地引导路线。在这种情况下，由自然语言理解部分111b提取的[参数：目的地：首尔站]可以是用于在多个首尔站POI中搜索用户实际期望的“首尔站”的候选参数。
自然语言理解部分111b可以提取配置为表达词语之间或句子之间的关系的工具，例如，语法树。
可以将自然语言理解部分111b的处理结果发送到对话输入管理器111c，自然语言理解部分111b的处理结果包括形态分析结果、域信息、动作信息、言语行为信息、提取的参数信息、实体名称信息和语法树。
语境信息处理器112可以包括语境信息收集器112a、语境信息收集管理器112b和语境理解部分112c，所述语境信息收集器112a收集来自除语音之外的信息输入装置220和车辆控制器240的信息；所述语境信息收集管理器112b管理语境信息的收集；所述语境理解部分112c基于自然语言理解的结果和收集到的语境信息来理解语境。
输入处理器110可以包括存储器和处理器，在所述存储器中，存储用于执行上述操作和稍后描述的操作的程序；所述处理器用于执行存储的程序。可以设置至少一个存储器和至少一个处理器，并且当设置多个存储器和处理器时，它们可以集成在一个芯片上或物理上分开。
存在于输入处理器110中的语音输入处理器111和语境信息处理器112可以由同一个处理器和存储器实现，或者可以由单独的处理器和存储器实现。
在下文中，将参考图19A和图19B详细描述输入处理器110的组件利用存储在储存装置140中的信息来处理输入数据的方法。
参照图19A，自然语言理解部分111b可以利用域/动作推断规则DB 141进行域提取、实体识别、言语行为分析和动作提取。
在域/动作推断规则DB 141中，可以存储域提取规则、言语行为分析规则、实体名称转换规则、动作提取规则。
诸如除语音之外的用户输入、车辆状态信息、行驶环境信息和用户信息的其它信息可以被输入到语境信息收集器112a，然后存储在语境信息DB 142、长期存储器143或短期存储器144中。
例如，由车辆检测器260检测的原始数据可以分为传感器类型和传感器值，然后存储在语境信息DB 142中。
在短期存储器144和长期存储器143中，可以存储对用户有意义的数据，其中，所述数据可以包括当前用户状态、用户的偏好和取向，或用于确定用户的偏好和取向的数据。
如上所述，确保持久性并因此可长期使用的信息可以存储在长期存储器143中，其中，该信息可以包括用户的电话簿、日程安排、偏好、教育历史、个性、工作以及与家庭相关的信息。
不能确保持久性或具有不确定性并因此可短期使用的信息可以存储在短期存储器144中，其中，所述信息可以包括当前位置和先前位置、今天的日程安排、先前对话内容、对话参与者、环境、域和驾驶员状态。根据数据类型，在语境信息DB 142、短期存储器144和长期存储器143中的至少两个储存装置中存储的数据可以一式两份。
此外，在存储在短期存储器144中的信息中，可以将确定为确保持久性的数据发送到长期存储器143。
可以利用存储在短期存储器144和语境信息DB 142中的信息来获取将要存储在长期存储器143中的信息。例如，可以通过分析存储特定持续时间的目的地信息或对话内容来获取用户的偏好，并且可以将获取的用户的偏好存储在长期存储器143中。
通过利用存储在短期存储器144或语境信息DB 142中的信息，可以执行获取将要存储在对话系统100中的长期存储器143中或者附加的外部系统中的信息。
可以在结果处理器130的存储器管理器135中执行前一种情况。在这种情况下，在存储在短期存储器144或语境信息DB 142中的数据中，用于获取有意义信息的数据(例如，用户的偏好或取向或持久信息)可以以日志文件类型存储在长期存储器143中。存储器管理器135可以通过分析存储了超过特定持续时间的数据来获取持久数据，并且将数据重新存储在长期存储器143中。在长期存储器143中，存储持久数据的位置可以与存储以日志文件类型存储的数据的位置不同。
存储器管理器135可以确定存储在短期存储器144中的数据中的持久数据，并将确定的数据移动并存储到长期存储器143中。
当在附加外部系统中执行利用存储在短期存储器144或语境信息DB 142中的信息获取将要存储在长期存储器143中的信息时，可以利用数据管理系统800，数据管理系统800设置有通信器810、储存装置820和控制器830，如图19B所示。
通信器810可以接收存储在语境信息DB 142或短期存储器144中的数据。存储的所有数据可以被发送到通信器810，或者可以选择然后发送用于获取有意义信息(例如，用户的偏好或取向或持久信息)的数据。接收到的数据可以存储在储存装置820中。
控制器830可以通过分析存储的数据来获取持久数据，然后经由通信器810将获取到的数据发送到对话系统100。发送的数据可以存储在对话系统100的长期存储器143中。
此外，对话输入管理器111c可以通过将自然语言理解部分111b的输出的结果发送到语境理解部分112c来获取与动作执行相关的语境信息。
通过参考根据语境理解表145中的动作而存储的语境信息，语境理解部分112c可以确定与用户话语的意图相对应的与动作执行相关的语境信息。
图20A和图20B是示出存储在语境理解表中的信息的示例的示意图。
参考图20A的示例，根据每个动作可以将语境信息以及与动作执行相关的语境信息的类型存储在语境理解表145中。
例如，当动作是路线引导时，可能需要当前位置作为语境信息，并且语境信息的类型可以是GPS信息。当动作是车辆状态检查时，可能需要行驶距离作为语境信息，并且语境信息的类型可以是整数。当动作是加油站推荐时，可能需要剩余燃料量和剩余燃油可行驶距离(DTE)作为语境信息，并且语境信息的类型可以是整数。
当与对应于用户话语的意图的动作执行相关的语境信息预先存储在语境信息DB142、长期存储器143或短期存储器144中时，语境理解部分112c可以从语境信息DB 142、长期存储器143或短期存储器144获取相应的信息，并将该相应的信息发送到对话输入管理器111c。
当与对应于用户话语的意图的动作执行相关的语境信息未存储在语境信息DB142、长期存储器143或短期存储器144中时，语境理解部分112c可以向语境信息收集管理器112b请求所需信息。语境信息收集管理器112b可以允许语境信息收集器112a收集所需信息。
语境信息收集器112a可以周期性地收集数据，或仅在特定事件发生时收集数据。此外，语境信息收集器112a可以周期性地收集数据，然后额外地在特定事件发生时收集数据。此外，当接收到来自语境信息收集管理器112b的数据收集请求时，语境信息收集器112a可以收集数据。
语境信息收集器112a可以收集所需信息，然后将该信息存储在语境信息DB 142或短期存储器144中。语境信息收集器112a可以将确认信号发送到语境信息收集管理器112b。
语境信息收集管理器112b可以将确认信号发送到语境理解部分112c，并且语境理解部分112c可以从长期存储器143或短期存储器144中获取所需信息，然后将信息发送到对话输入管理器111c。
具体地，当与用户的话语的意图相对应的动作是路线引导时，语境理解部分112c可以搜索语境理解表145并且识别出与路线引导相关的语境信息是当前位置。
在当前位置预先存储在短期存储器144中时，语境理解部分112c可以获取当前位置并将当前位置发送到对话输入管理器111c。
在当前位置未存储在短期存储器144中时，语境理解部分112c可以向语境信息收集管理器112b请求当前位置，并且语境信息收集管理器112b可以允许语境信息收集器112a从车辆控制器240获取当前位置。
语境信息收集器112a可以获取当前位置，然后将当前位置存储在短期存储器144中。语境信息收集器112a可以将确认信号发送到语境信息收集管理器112b。语境信息收集管理器112b可以将确认信号发送到语境理解部分112c，并且语境理解部分112c可以从短期存储器144获取当前位置信息，然后将该信息发送到对话输入管理器111c。
对话输入管理器111c可以将自然语言理解部分111b的输出和语境理解部分112c的输出发送到对话管理器120，并且对话输入管理器111c可以设法防止重复的输入进入对话管理器120。此时，自然语言理解部分111b的输出和语境理解部分112c的输出可以组合为一个输出然后发送到对话管理器120，或者独立地发送到对话管理器120。
当语境信息收集管理器112b由于语境信息收集器112a收集到的数据满足预先确定条件而确定出特定事件发生时，语境信息收集管理器112b可以将动作的触发信号发送到语境理解部分112c。
语境理解部分112c可以搜索语境理解表145以搜索与相应事件相关的语境信息，而当搜索的语境信息未存储在语境理解表145中时，语境理解部分112c可以再次向语境信息收集管理器112b发送语境信息请求信号。
如图20B所示，可以根据每个事件将语境信息和与事件相关的语境信息的类型存储在语境理解表145中。
例如，当生成的事件是发动机温度警告时，可以存储整数形式的发动机温度作为与事件相关的语境信息。当生成的事件是驾驶员疲劳驾驶检测时，可以存储整数形式的驾驶员疲劳驾驶状态作为与事件相关的语境信息。当生成的事件是轮胎气压不足时，可以存储整数形式的轮胎气压作为与事件相关的语境信息。当生成的事件是燃料警告时，可以存储整数形式的剩余燃油可行驶距离(DTE)作为与事件相关的语境信息。当生成的事件是传感器错误时，可以存储文本形式的传感器名称作为与事件相关的语境信息。
语境信息收集管理器112b可以经由语境信息收集器112a收集所需的语境信息，并将确认信号发送到语境理解部分112c。语境理解部分112c可以从语境信息DB 142、长期存储器143或短期存储器144获取所需的语境信息，然后将语境信息与动作信息一起发送到对话输入管理器111c。
对话输入管理器111c可以将语境理解部分112c的输出输入到对话管理器120。
在下文中，将描述在用户的话语输入之前对话系统100自己输出预先发声的情况。
图21是示出适用于对话系统在接收用户输入之前首先输出话语的情况的对话系统的控制框图，而图22A、图22B和图22C是示出存储在预先发声条件表中的信息的示例的示意图。
参照图21，对话系统100的输入处理器110可以进一步包括预先发声确定器151和重复任务处理器152，所述预先发声确定器151确定是否是预先发声语境。储存装置140可以进一步包括预先发声条件表145a和任务处理DB 145b，所述预先发声条件表145a存储预先发声条件。
可以将存储在语境信息DB 142、长期存储器143和短期存储器144中的数据发送到预先发声确定器151。预先发声确定器151可以分析发送的数据并确定发送的数据是否满足存储在预先发声条件表145a中的预先发声条件。
参考图22A的示例，在预先发声条件表145a中，可以针对每个语境信息存储与语境信息相关的预先发声条件以及当满足相应的预先发声条件时输出的预先发声消息。
当从语境信息DB 142发送的语境信息满足预先发声条件时，预先发声确定器151可以确定出是预先发声语境，并且生成预先发声的触发信号。
预先发声确定器151可以将预先发声的触发信号以及与对应的预先发声语境相对应的预先发声消息发送到语境理解部分112c。此外，预先发声确定器151可以发送与对应的预先发声语境相关的信息。与对应的预先发声语境相关的信息可以包括稍后描述的与对应的预先发声语境相对应的预先发声条件或者与预先发声语境相对应的动作。
例如，当语境信息与轮胎气压相关并且轮胎气压等于或小于预先确定的参考值时，可以满足预先发声条件。当满足轮胎气压的预先发声条件时，预先发声确定器151可以确定出由轮胎气压不足引起预先发声语境，并且生成预先发声的触发信号。
预先发声确定器151可以将预先发声的触发信号和预先发声消息发送到语境理解部分112c。例如，在由轮胎气压不足引起的预先发声语境下，可以将指示轮胎气压低的预先发声消息(诸如“轮胎压力太低”)发送到语境理解部分112c。
此外，当语境信息与发动机温度相关并且发动机温度等于或高于预先确定的参考值时，可以满足预先发声条件。当满足发动机温度的预先发声条件时，预先发声确定器151可以确定出由发动机温度的异常引起预先发声语境，并且生成预先发声的触发信号。
预先发声确定器151可以将预先发声的触发信号和预先发声消息发送到语境理解部分112c。例如，在由发动机温度的异常引起的预先发声语境下，可以将指示发动机过热的预先发声消息(例如“发动机温度太高”)发送到语境理解部分112c。
此外，当语境信息与汽油的剩余量相关并且汽油的剩余量等于或小于预先确定的参考值时，可以满足预先发声条件。当用户利用车辆的导航服务设置目的地时，可以基于从当前位置到目的地的距离来设置预先确定的参考值。在未设置目的地时，可以应用默认值作为参考值。例如，当值小于用于指示燃料不足警告灯的参考值时，该值可以被设置为与剩余汽油量不足相关的预先发声条件的参考值。当满足汽油的剩余量的预先发声条件时，预先发声确定器151可以确定出由汽油的剩余量不足引起预先发声语境，并生成预先发声的触发信号。
预先发声确定器151可以将预先发声的触发信号和预先发声消息发送到语境理解部分112c。例如，在由汽油的剩余量不足引起的预先发声语境下，可以将指示汽油的剩余量不足的预先发声消息(例如“汽油的剩余量不足以达到目的地”)发送到语境理解部分112c。
然而，图22A中所示的预先发声条件和预先发声消息仅是可以应用于对话系统100的示例。在上述示例中，已经描述了与预先发声语境相对应的预先发声消息是通知当前情况的内容的情况。然而，对话系统100也可能首先建议执行预先发声语境所需的特定功能或服务。
参照图22B，当预先发声语境是由轮胎气压不足或发动机温度异常引起时，可以存储与主动建议维修店预约服务的内容相对应的预先发声消息，例如“您想要预约维修店吗？”。
此外，当预先发声语境是由剩余汽油不足引起时，可以存储与主动建议加油站引导服务的内容相对应的预先发声消息，例如“您想要引导加油站吗？”。
此外，当预先发声语境是由车辆的内部温度引起并且当车辆的内部温度超出预先确定的参考范围时，可以满足预先发声条件。当满足车辆内部温度的预先发声条件时，语境理解部分112c可以确定出由车辆内部温度的异常引起预先发声语境，并生成预先发声的触发信号。
在由车辆内部温度异常引起的预先发声语境下，可以存储与主动建议内部温度控制功能的内容相对应的预先发声消息，例如“您想要操作空调吗？”。
此外，当语境信息与麦克风输入相关并且当麦克风输入值等于或小于预先确定的参考值时，可以满足预先发声条件。当满足麦克风输入的预先发声条件时，语境理解部分112c可以确定出是用于改变情绪的预先发声语境，并且生成预先发声的触发信号。因此，可以存储与主动建议多媒体播放服务的内容相对应的预先发声消息，例如“您想要播放音乐吗？”。
此外，当语境信息与车窗的打开和关闭以及是否正在下雨相关时，并且当车窗打开且正在下雨时，可以满足预先发声条件。当车窗打开并且正在下雨时，语境理解部分112c可以确定出由车窗打开引起预先发声语境，并生成预先发声的触发信号。
在由车窗打开引起的预先发声语境下，可以存储与主动建议车窗关闭功能的内容相对应的预先发声消息，例如“您想要关闭车窗吗？”。
在图22A和图22B的上述示例中，已经描述了在预先发声条件表145a中预先存储的与预先发声语境相对应的预先发声消息的情况。然而，对话系统100的示例不限于此，也可以预先存储与预先发声语境相对应的动作。
如上所述，当输入用户的话语时，自然语言理解部分111b可以参考域/动作推断规则DB 141来提取与用户的话语相对应的动作。当对话系统100输出预先发声时，可以在每个预先发声语境下预先存储与预先发声语境相对应的动作，如图22C所示。
例如，当预先发声语境是由轮胎气压和发动机温度的异常引起时，可以将“维修店引导”存储为相应的动作，而当预先发声语境是由汽油的剩余量不足引起时，可以将“加油站引导”存储为相应的动作。
此外，当预先发声语境由车辆内部温度的异常引起时，可以将“空调操作”存储为相应的动作，而当预先发声语境是用于改变情绪时，可以将“多媒体播放”存储为相应的动作。当预先发声语境是由车窗打开引起时，可以将“车窗的打开和关闭”存储为相应的动作。
如上所述，当预先存储了与预先发声语境相对应的动作时，可以将预先发声的触发信号和与预先发声语境相对应的动作发送到语境理解部分112c，并且对话输入管理器111c可以将预先发声的触发信号和与预先发声语境相对应的动作输入到对话管理器120。在这种情况下，可以在对话管理器120中执行与输入的用户话语的情况相同的操作。
再例如，在预先发声条件表145a中，可以以这样的方式存储预先发声语境：预先发声语境与对应于每个预先发声语境的虚拟用户话语相匹配，并且预先发声确定器151可以生成与预先发声语境相对应的虚拟用户话语。预先发声确定器151可以将存储在预先发声条件表145a中或由预先发声确定器151生成的用户话语以文本类型发送到自然语言理解部分111b。例如，当预先发声语境是由轮胎气压的异常引起时，可以存储或生成虚拟用户话语，诸如“检查轮胎压力”或“引导到维修店”。此外，当预先发声语境是由车辆内部温度的异常引起时，可以存储或生成虚拟用户话语，诸如“打开空调”。
此外，根据移动装置400充当车辆和对话系统100之间的网关的移动网关方法，移动装置400的对话系统客户端470可以执行预先发声确定器151的部分操作。在这种情况下，对话系统客户端470可以生成与预先发声语境相对应的虚拟用户话语，并将虚拟用户话语发送到自然语言理解部分111b。
自然语言理解部分111b可以提取与所发送的虚拟用户话语相对应的域和动作，并将所述域和动作发送到对话输入管理器111c。由自然语言理解部分111b提取的动作可以是与预先发声语境相对应的动作。在与预先发声语境相对应的动作被发送到对话管理器120之后执行的处理可以以与用户首先发声的情况相同的方式执行。
上述语境信息、预先发声条件、预先发声消息和动作仅是应用于对话系统100的实施方案的示例，但是对话系统100的实施方案不限于此。此外，可以存储各种语境信息、预先发声条件、预先发声消息和动作。
当预先发声确定器151将与预先发声的触发信号和预先发声语境相关的信息发送到语境理解部分112c时，语境理解部分112c可以将与预先发声语境相关的信息发送到重复任务处理器152。
重复任务处理器152可以确定是否已经处理了与当前发生的预先发声语境相关的任务，或者该任务是否是重复任务。
在任务处理DB 145b中，可以存储与已经处理或当前处理的任务相关的信息。例如，可以存储对话历史(包括对话内容和每个对话时间)、车辆状态以及任务是否在对话时间内完成等。此外，可以存储处理的结果和任务处理，诸如利用导航功能而不管对话的路线引导。
具体地，当预先发声语境是由汽油的剩余量不足引起时，重复任务处理器152可以基于存储在任务处理DB 145b中的信息来确定当前是否处理了加油站引导任务。在当前进行用于加油站引导的对话或当前执行加油站引导动作时，重复任务处理器152可以确定与当前的预先发声语境相关的任务是重复任务，并且终止该预先发声语境。
此外，当先前输出了用于加油站引导的话语时，并且当存在用户拒绝加油站引导的对话历史时，重复任务处理器152可以确定与当前的预先发声语境相关的任务是重复任务，并终止该预先发声语境。
此外，在当前处理利用导航功能的加油站引导任务而不管加油站引导的对话历史时，重复任务处理器152可以确定与当前的预先发声语境相关的任务是重复任务，并终止该预先发声语境。重复任务处理器152可以基于存储在任务处理DB145b中的信息识别出当前正在处理利用导航功能的加油站引导任务。
此外，当从执行与汽油的剩余量的引导相关的对话的时间开始没有过去参考时间段时，尽管当前没有执行加油站引导，但是可以假设用户自己开车到加油站。因此，重复任务处理器152可以确定与当前预先发声语境相关的任务是重复任务，并且终止该预先发声语境。
此外，在预先发声语境是用于指示基于存储在长期存储器143中的信息(诸如用户的生日或家庭成员生日)的日程安排的状态下，当存在先前引导的相同的日程安排的对话历史并且从进行相应对话的时间开始没有经过参考时间段时，则重复任务处理器152可以确定与当前预先发声语境相关的任务是重复任务，并且终止该预先发声语境。
也就是说，重复任务处理器152可以基于存储在任务处理DB 145b中的对话历史来确定先前是否输出了预先发声，以及用户关于预先发声语境的意图。重复任务处理器152可以基于存储的对话时间、用户的意图、车辆状态或任务的完成来确定是否是重复任务。
在重复任务处理器152中，可以存储配置为基于存储在任务处理DB 145b中的信息来确定是否是重复任务(即，是否终止预先发声语境)的策略。重复任务处理器152可以根据存储的策略确定与当前预先发声语境相关的任务是否是重复任务，并且当确定出是重复任务时，重复任务处理器152可以终止预先发声语境。
在上述示例中，已经描述了对话系统100包括预先发声确定器151、重复任务处理器152、预先发声条件表145a和任务处理DB 145b的情况。
然而，对话系统100的示例不限于此，因此可以利用图19A和图19B所示的组件来执行上述组件的操作。
例如，语境理解部分112c可以执行与确定是否满足预先发声条件相对应的预先发声确定器151的操作，以及与处理重复任务相对应的重复任务处理器152的操作。
存储在预先发声条件表145a中的信息可以存储在语境理解表145中，存储在任务处理DB 145b中的信息可以存储在稍后描述的对话和动作状态DB 147中。
图23是详细示出对话管理器的配置的控制框图，图24是示出存储在关系动作DB中的信息的示例的示意图，图25是示出存储在动作执行条件DB中的信息的示例的示意图，而图26是示出存储在动作参数DB中的信息的示例的示意图。
参照图23，对话管理器120可以包括对话流管理器121、对话动作管理器122、模糊解算器123、参数管理器124、动作优先级确定器125和外部信息管理器126，所述对话流管理器121请求生成、删除和更新对话或动作；所述对话动作管理器122根据对话流管理器121的请求来生成、删除和更新对话或动作；所述模糊解算器123通过解算语境的模糊和对话的模糊来明确用户的意图；所述参数管理器124管理动作执行所需的参数；所述动作优先级确定器125确定多个候选动作的动作是否可执行；所述外部信息管理器126管理外部内容列表和相关信息，并管理外部内容查询的参数信息。
对话管理器120可以包括存储器和处理器，所述存储器存储用于执行上述操作和稍后描述的操作的程序；所述处理器用于执行存储的程序。可以设置至少一个存储器和至少一个处理器，并且当设置多个存储器和处理器时，它们可以集成在一个芯片上或物理上分开。
存在于对话管理器120中的每个组件可以由同一个处理器实现，或者可以由单独的处理器实现。
此外，对话管理器120和输入处理器110可以由同一个处理器实现，或者可以由单独的处理器实现。
当输入用户话语时或者当将与预先发声语境匹配的用户话语被发送到自然语言理解部分111b时，对话输入管理器111c可以将自然语言理解的结果(自然语言理解部分的输出)和语境信息(语境理解部分的输出)发送到对话流管理器121。此外，当出现预先发声语境时，对话输入管理器111c可以发送预先发声的触发信号。
自然语言理解部分111b的输出可以包括与用户的话语内容相关的信息(例如形态分析结果)以及信息(例如域和动作)。语境理解部分112c的输出可以包括由语境信息收集管理器112b确定的事件以及语境信息。
对话流管理器121可以在对话和动作状态DB 147中搜索是否存在与对话输入管理器111c的输入相对应的对话任务或动作任务。
对话和动作状态DB 147可以是用于管理对话状态和动作状态的存储空间，因此对话和动作状态DB 147可以存储当前正在进行的对话和动作，以及待处理的对话状态和与初步动作相关的动作状态。例如，对话和动作状态DB 147可以存储与完成的对话和动作，停止的对话和动作，正在进行的对话和动作以及待处理的对话和动作相关的状态。
对话和动作状态DB 147可以存储与是否切换和嵌套动作、切换动作索引、动作改变时间和屏幕/语音/指令相关的最后的输出状态。
例如，在提取与用户话语相对应的域和动作的情况下，当在最近存储的对话中存在与相应的域和动作相对应的对话和动作时，对话和动作状态DB 147可以将该对话和动作确定为与来自对话输入管理器111c的输入相对应的对话任务或动作任务。
当未提取到与用户话语相对应的域和动作时，对话和动作状态DB 147可以生成随机任务或请求对话动作管理器122引用最近存储的任务。
当对话和动作状态DB 147中不存在与输入处理器110的输入相对应的对话任务或动作任务时，对话流管理器121可以请求对话动作管理器122生成新的对话任务或动作任务。
此外，当从输入处理器110发送预先发声的触发信号时，尽管存在当前执行的对话任务或动作任务，但是可以暂时停止该对话任务或动作任务，并且可以首先生成与预先发声语境相对应的对话任务或动作任务。此外，可以根据建立的规则选择优先级。
当从对话输入管理器111c输入预先发声的触发信号和与预先发声的触发信号相对应的动作时，对话流管理器121可以以与从用户话语获取动作的情况相同的方式请求对话动作管理器122生成新的对话任务或动作任务。
此外，当从对话输入管理器111c输入预先发声的触发信号和与预先发声的触发信号相对应的预先发声消息时，对话流管理器121可以请求对话动作管理器122生成用于输出输入的预先发声消息的新的对话任务或动作任务。
当对话流管理器121管理对话流时，对话流管理器121可以参考对话策略DB148。对话策略DB 148可以存储继续对话的策略，其中，策略可以表示用于选择、开始、建议、停止和终止对话的策略。
此外，对话策略DB 148可以存储系统输出响应的时间点以及关于方法学的策略。对话策略DB 148可以通过连接多个服务存储用于生成响应的策略，并且可以存储用于删除先前动作并用另一个动作替换先前动作的策略。
例如，可以允许两个策略，其中，这两个策略可以包括一次生成针对两个动作的响应的策略(例如，“在执行A动作之后是否需要执行B动作？”)，以及在生成针对一个动作的响应之后生成针对另一动作的单独响应的策略(例如，“A动作已执行”，“您是否要执行B动作？”)。
对话和动作状态DB 147可以存储用于确定候选动作中的优先级的策略。稍后将描述优先级确定策略。
对话动作管理器122可以给对话和动作状态DB 147指定存储空间，并生成与输入处理器110的输出相对应的对话任务和动作任务。
当不能从用户的话语中提取域和动作时，对话动作管理器122可以生成随机对话状态。在这种情况下，如稍后所述，模糊解算器123可以基于用户的话语的内容、环境条件、车辆状态和用户信息来识别用户的意图，并确定适合于用户意图的动作。
当对话和动作状态DB 147中存在与输入处理器110的输出相对应的对话任务或动作任务时，对话流管理器121可以请求对话动作管理器122参考对应的对话任务或动作任务。
动作优先级确定器125可以搜索关系动作DB 146b以搜索与输入处理器110的输出中包含的动作或事件相关的动作列表，然后动作优先级确定器125可以提取候选动作。如图24所示，关系动作DB 146b可以指示彼此相关的动作、动作之间的关系、与事件相关的动作以及事件之间的关系。例如，路线引导、车辆状态检查和加油站推荐可以被分为关系动作，并且其中的关系可以对应于关联。
因此，当执行路线引导时，可以一起执行车辆状态检查和加油站推荐。在这种情况下，“一起执行”可以包括在路线引导之前或之后执行车辆状态检查和加油站推荐的情况以及在路线引导期间执行车辆状态检查和加油站推荐的情况(例如，添加作为中途停留)。
警告灯输出事件可以存储为与维修店引导动作相关的事件动作，并且它们之间的关系可以对应于关联。
当警告灯输出事件发生时，可以根据警告灯类型或是否需要维修来执行维修店引导动作。
当输入处理器110将与用户的话语相对应的动作与由语境信息收集管理器112b确定的事件一起发送时，与对应于用户的话语动作相关的动作和与事件相关的动作可以成为候选动作。
可以将提取的候选动作列表发送到对话动作管理器122，并且对话动作管理器122可以通过添加候选动作列表来更新对话和动作状态DB 147的动作状态。
动作优先级确定器125可以在动作执行条件DB 146c中搜索执行每个候选动作的条件。
如图25所示，动作执行条件DB 146c可以根据每个动作存储执行动作所需的条件，以及确定是否满足相应条件的参数。
例如，用于车辆状态检查的执行条件可以是目的地距离等于或大于100km的情况，其中用于确定条件的参数可以与目的地距离相对应。加油站推荐的条件可以是目的地距离大于剩余燃油可行驶距离(DTE)的情况，其中用于确定条件的参数可以与目的地距离和剩余燃油可行驶距离(DTE)相对应。
动作优先级确定器125可以将候选动作的执行条件发送到对话动作管理器122，并且对话动作管理器122可以根据每个候选动作添加执行条件并更新对话和动作状态DB 147的动作状态。
动作优先级确定器125可以在语境信息DB 142、长期存储器143、短期存储器144或者对话和动作状态DB 147中搜索确定动作执行条件所需的参数(下文中称为条件确定参数)，并利用搜索到的参数确定是否可以执行候选动作。
当用于确定动作执行条件的参数未存储在语境信息DB 142、长期存储器143、短期存储器144或对话和动作状态DB 147中时，动作优先级确定器125可以经由外部信息管理器126从外部内容服务器300获取所需参数。
动作优先级确定器125可以利用用于确定动作执行条件的参数来确定是否可以执行候选动作。此外，动作优先级确定器125可以基于是否执行存储在对话策略DB 148中的候选动作和优先级确定规则来确定候选动作的优先级。
可以根据当前情况计算每个候选动作的分数。可以将更高的优先级给予计算的分数更高的候选动作。例如，与以下参数相对应的动作可以用作计算分数的参数：用户话语、安全分数、便利性分数、处理时间、处理时间点(是否立即处理)、用户偏好(用户在建议服务时的接受水平或由用户预先确定的偏好)、管理员分数、与车辆状态相关的分数以及动作成功率(对话成功率)，如下面的公式1所示。w1、w2、w3、w4、w5、w6、w7、w8和w9表示每个参数的权重值。
[公式1]
优先级分数＝w1×用户话语动作+w2×安全分数+w3×便利性分数+w4×处理时间+w5×处理时间点+w6×用户偏好+w7×管理员分数+w8×与车辆状态相关的分数+w9×动作成功率×动作执行的可能性(1：可能，尚未知，0：不可能)×动作完成状态(完成：1，未完成：0)。
如上所述，动作优先级确定器125可以通过搜索直接与用户的话语、语境信息关联的动作以及与其相关的动作列表，并通过确定它们之间的优先级来向用户提供最需要的服务。
动作优先级确定器125可以将候选动作执行的可能性和优先级发送到对话动作管理器122，并且对话动作管理器122可以通过添加发送的信息来更新对话和动作状态DB 147的动作状态。
参数管理器124可以在动作参数DB 146a中搜索用于执行每个候选动作的参数(下文中称为动作参数)。
如图26所示，动作参数DB 146a可以根据每个动作存储必要参数、替代参数、参数的初始值和用于获取参数的参考位置。在存储了参数的初始值的状态下，当在用户的话语和从输入处理器110输出的语境信息中不存在与相应参数相对应的参数值时，并且当在语境信息DB 142中不存在参数值时，可以根据存储的初始值执行动作，或者可以向用户确认是否根据存储的初始值执行动作。
例如，用于路线引导的必要参数可以包括当前位置和目的地，并且替代参数可以包括路线类型。可以将替代参数的初始值存储为快速路线。可以通过按顺序搜索对话和动作状态DB 147、语境信息DB 142、短期存储器144或长期存储器143来获取当前位置和目的地。
用于车辆状态检查的必要参数可以包括车辆状态信息，并且替代参数可以包括待检查的部分(下文中称为“检查部分”)。可以将整个部分存储为替代参数的初始值。可以从语境信息DB 142获取车辆状态信息。
加油站推荐的替代参数可以包括喜欢的加油站，并且“A油”可以存储为替代参数的初始值。可以从长期存储器143获取喜欢的加油站。替代参数可以进一步包括车辆的燃料类型和燃料价格。
如上所述，参数管理器124可以从对应的参考位置获取在动作参数DB 146a中搜索到的参数的参数值。引入参数值的参考位置可以是语境信息DB 142、短期存储器144或长期存储器143、对话和动作状态DB 147和外部内容服务器300中的至少一个。
参数管理器124可以通过外部信息管理器126从外部内容服务器300获取参数值。外部信息管理器126可以通过参考外部服务集合DB 146d来确定从哪里获取信息。
外部服务集合DB 146d可以存储与连接到对话系统100的外部内容服务器相关的信息。例如，外部服务集合体DB 146d可以存储外部服务名称、关于外部服务的说明、从外部服务提供的信息的类型、外部服务使用方法以及提供外部服务的主题。
由参数管理器124获取的初始值可以被发送到对话动作管理器122，对话动作管理器122可以通过将候选动作的初始值添加到动作状态来更新对话和动作状态DB 147。
参数管理器124可以获取所有候选动作的初始值，或者参数管理器124可以仅获取由动作优先级确定器125确定为可执行的候选动作的初始值。
参数管理器124可以选择性地利用指示相同信息的不同类型的初始值中的初始值。例如，通过导航系统使用目的地搜索服务，可以将指示目的地并且为文本形式的“首尔站”转换为POI的形式的“首尔站”。
当对话和语境中不存在模糊时，根据动作优先级确定器125、参数管理器124和外部信息管理器126的上述操作可以获取所需信息并管理对话和动作。当在对话和语境中存在模糊时，可能难以仅利用动作优先级确定器125、参数管理器124和外部信息管理器126的操作来提供用户所需的服务。
在这种情况下，模糊解算器123可以处理对话中或语境中的模糊。例如，当对话中包含指代(例如，那个人、昨天的那个地方、父亲、母亲、祖母和儿媳)时，因为指代代表的人或物是不清楚的，所以可能存在模糊。在这种情况下，模糊解算器123可以通过参考语境信息DB 142、长期存储器143或短期存储器144来解算模糊，或者提供解算模糊的引导。
例如，“昨天的那个地方”、“房子附近的市场”和“我昨天去过的首尔站”中包含的模糊的词语可以与动作参数的参数值相对应或条件确定参数的参数值相对应。然而，在这种情况下，由于词语的模糊，不能通过利用相应的词语来执行实际动作或确定动作执行条件。
模糊解算器123可以通过参考存储在语境信息DB 142、长期存储器143或短期存储器144中的信息来解算初始值的模糊。根据需要，模糊解算器123可以通过利用外部信息管理器126从外部内容服务器300获取所需信息。
例如，模糊解算器123可以通过参考短期存储器144来搜索用户昨天去过的地方，以便将“昨天的那个地方”转换为路线引导动作的目的地的可用信息。模糊解算器123可以通过参考长期存储器143来搜索用户的房屋地址，并且从外部内容服务器300获取与用户的房屋地址附近的A市场相关的位置信息。因此，模糊解算器123可以将“房屋附近的市场”转换为路线引导动作的目的地的可用信息。
当输入处理器110没有清楚地提取动作(对象和操作者)时或者当用户的意图不清楚时，模糊解算器123可以通过参考模糊解算信息DB 146e来识别用户的意图，并确定与所识别的意图相对应的动作。
图27是示出存储在模糊解算信息DB中的信息的示例的表格。
基于车辆状态信息和周围环境信息，模糊解算信息DB 146e可以将话语与对应于话语的动作相匹配，然后存储话语和动作。存储在模糊解算信息DB 146e中的话语可以是不能通过自然语言理解提取动作的话语。图27示出了根据形态分析结果的话语内容是手极冷或手冷的情况。
周围环境信息可以包括车辆的外部温度以及是否正在下雨，而车辆状态信息可以包括空调和加热器的开/关、空调的风量和风向，以及方向盘电热电热丝的开/关。
具体地，在下雨的同时外部温度超过20度的状态下，当空调开启(ON)时，可以识别出空调温度设置较低，因此“把空调温度提高3度”可以存储为与其对应的车辆控制动作。
在下雨的同时室外温度超过20度的状态下，当空调关闭(OFF)时，可以识别出用户因下雨而感到寒冷，因此“开启加热器”可以存储为与其对应的车辆控制动作。
在没有下雨的同时外部温度超过20度的状态下，当空调开启(ON)并且空调的风向是向上时，可以识别出手因空调的风直接影响手而极冷，因此“将空调的风向改变为向下”可以存储为与其对应的车辆控制动作。
在没有下雨的同时外部温度超过20度的状态下，当空调开启(ON)，空调的风向为向下，并且风量设置为比中档大时，可以识别出用户因空调的风量过大而感到寒冷，因此“降低空调的风量”可以存储为与其对应的车辆控制动作。
在没有下雨的同时外部温度超过20度的状态下，当空调开启(ON)，空调的风向为向下，并且风量设置为弱时，“将空调温度提高3度”可以存储为与其对应的车辆控制动作。
在外部温度低于20度的状态下，当加热器关闭(OFF)时，可以识别出手因寒冷天气而极冷，因此“开启加热器”可以存储为与其对应的车辆控制动作。
在外部温度低于20度的状态下，当加热器开启(ON)并且方向盘电热丝关闭时，可以识别出手因热空气不会传递到手上而极冷，因此“开启方向盘电热丝”可以存储为与其对应的车辆控制动作。
在外部温度低于20度的状态下，当加热器和方向盘电热丝开启(ON)并且加热器的风向是向下时，可以识别出手因加热器的风不会传递到手上而极冷，因此“将加热器的风向改变为双向”可以存储为与其对应的车辆控制动作。
在外部温度低于20度，加热器和方向盘电热丝开启(ON)，加热器的风向为向上的状态下，当加热器温度设置为低于最高时，“提高加热器的温度”可以存储为与其对应的车辆控制动作。
在外部温度低于20度，加热器和方向盘电热丝开启(ON)，加热器的风向为向上，并且加热器温度设置为最高的状态下，当加热器的风量未设置为最高时，“提高加热器的风量”可以存储为与其对应的车辆控制动作。
在外部温度低于20度，加热器和方向盘电热丝开启(ON)，加热器的风向为向上，并且加热器温度和加热器的风量设置为最高的状态下，当座椅电热丝关闭时，“开启座椅电热丝”可以存储为与其对应的车辆控制动作。
在外部温度低于20度，加热器和方向盘电热丝开启(ON)，加热器的风向为向上，并且加热器温度和加热器的风量设置为最高的状态下，当座椅电热丝开启时，“通知：等待一段时间，因为加热器现在处于完全工作状态”可以存储为与其对应的车辆控制动作。
图28A和图28B是示出由于模糊解算器通过参考模糊解算信息DB并提取动作来解算模糊而执行车辆控制的各种示例的表格。
例如，如图28A和图28B所示，在根据形态分析结果的话语内容是手极冷或手冷的状态下，当周围环境是夏天，车辆状态是空调的风向是乘客头部的上方(向上)，空调设置温度为19度，并且空调的风量是高档时，可以识别出手因空调的风是指向手而极冷。可以将用于在将风向改变到脚侧(向下)的同时降低风量强度的空调控制动作提取为与话语相对应的动作，并且可以根据提取的动作来控制车辆。
在具有相同内容的话语中，当周围环境是冬天，车辆状态为空调的风向是乘客的脚，空调设置温度是25度，并且空调的风量是在高档时，可以识别出手因热空气不会传递到手上而极冷。可以提取“开启方向盘电热丝”的动作作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在根据形态分析结果的话语内容是“闷热”的状态下，当车速为30km以下并且前后间距小于30cm时，可以识别出闷热是由交通繁忙引起的。因此，可以提取“在路线引导动作中改变路线选项(快速路线引导)”、“播放多媒体内容，例如音乐”或“开启聊天功能”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在根据形态分析结果的话语内容是“困倦”的状态下，当车辆状态是内部空气模式时，可以识别出困倦是由缺乏空气循环引起的。因此，可以提取“改变为外部空气模式”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当车辆状态是外部空气模式并且加热器开启(ON)时，可以识别出困倦是由加热器排放的热空气引起的。可以提取“打开车窗”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在根据形态分析结果的话语内容是“出汗”或“热”的状态下，当周围环境是冬天并且加热器开启(ON)时，可以识别出热是由加热器排放的热空气引起的。因此，“降低加热器温度”或“减小风量”可以存储为与话语相对应的动作。
在具有相同内容的话语中，当周围环境是冬天并且当加热器关闭(OFF)时，可以识别出热是由用户的体热引起的。因此，可以提取“打开车窗”或“建议打开车窗”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当周围环境是夏天并且当空调关闭(OFF)时，可以识别出热是由车辆的内部温度升高引起的。因此，可以提取“开启空调”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当周围环境是夏天并且当空调开启(ON)时，可以识别出热是由空调温度设置的高引起的。因此，可以提取“降低空调温度”或“增加空调的风量”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在根据形态分析结果的话语内容是“冷”的状态下，当周围环境是夏天并且当空调开启(ON)时，可以识别出冷是由空调温度设置的过低或由空调的风过强引起的。因此，可以提取“提高空调温度”或“减小风量”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当周围环境是夏天并且当空调关闭(OFF)时，可以识别出冷是由用户的身体状况引起的。可以提取“加热器工作”或“检查用户的生物节律”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当周围环境是冬天并且加热器开启(ON)时，可以识别出冷是由加热器温度设置的低或风量弱引起的。因此，可以提取“提高加热器温度”或“增加风量”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当周围环境是冬天并且加热器关闭(OFF)时，可以识别出冷是由加热器不工作引起的。可以提取“加热器工作”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在根据形态分析结果的话语内容是“头痛”的状态下，当周围环境是冬天并且加热器开启(ON)时，可以识别出头痛是由缺乏空气循环引起的。因此，可以提取“改变为外部空气模式”或“打开车窗”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当周围环境是冬天并且加热器关闭(OFF)时，可以识别出头痛是由寒冷引起的。可以提取“加热器工作”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当周围环境是夏天并且空调关闭(OFF)时，可以识别出头痛是由热引起的。可以提取“空调工作”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当周围环境是夏天并且空调打开(ON)时，可以识别出头痛是由空调引起的。可以提取“改变空调的风向或风量”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在根据形态分析结果的话语内容是“不舒服”的状态下，当周围环境是冬天并且正在下雨时，可以识别出不舒服是由高湿度引起的。因此，可以提取“除雾功能工作”或“除湿功能工作”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当周围环境是夏天并且没有下雨时，可以识别出不舒服是由季节特征和热引起的。因此，可以提取“让空调以最低温度工作”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
在具有相同内容的话语中，当周围环境是夏天并且正在下雨时，可以识别出不舒服是由热和高湿度引起的。因此，可以提取“让空调以除湿模式工作”作为与话语相对应的动作，并且可以根据提取的动作控制车辆。
根据上述模糊解算器123的操作，尽管在用户的话语或情况中存在模糊，但是通过整体考虑用户的话语与周围环境信息和车辆状态信息，模糊解算器123可以精确地识别用户实际期望的动作或者用户实际需要的动作，并提供期望的动作和需要的动作。
与模糊解算器123确定的动作相关的信息可以被发送到对话动作管理器122，并且对话动作管理器122可以基于发送的信息更新对话和动作状态DB 147。
如上所述，动作优先级确定器125和参数管理器124可以确定关于由模糊解算器123确定的动作的动作执行条件，确定其优先级并获取参数值。
当获取了用于执行每个动作的参数值的所有值(其中，所述值是通过当前语境和对话获取的)时，对话动作管理器122可以向对话流管理器121发送信号。
当由于对话和动作状态DB 147、外部内容服务器300、长期存储器143、短期存储器144和语境信息DB 142中不存在用于动作执行和条件确定的必要参数，而要通过用户获取所述必要参数值时，结果处理器130可以生成向用户询问参数值的对话的响应。
对话流管理器121可以将与对应于第一优先级动作的动作相关的信息和对话状态发送到结果处理器130。此外，对话流管理器121可以根据对话策略发送与多个候选动作相关的信息。
当对话系统100输出预先发声时(即，由输入处理器110生成预先发声的触发信号时)，从结果处理器130发送的对话状态可以包括预先发声的触发信号。然而，不要求预先发声的触发信号存在于对话状态中，而是只要是指示预先发声语境的任何类型的信息都可以存在于对话状态中。当指示预先发声语境的信息存在于对话状态中时，相比于其它类型的响应，结果处理器130可以首先输出对话响应，或者一起输出对话响应与其它类型响应。
在对话系统100输出预先发声的状态下，当从对话输入管理器111c输入与预先发声语境相对应的预先发声消息时，可以在没有上述模糊解算方案、参数管理和动作优先级确定的过程的情况下，将预先发声消息发送给结果处理器130。
在对话系统100输出预先发声的状态下，当从对话输入管理器111c输入与预先发声语境相对应的动作时，可以在有或没有上述模糊解算方案、参数管理和动作优先级确定的过程的情况下，将预先发声消息发送给结果处理器130。
图29是详细示出结果处理器的配置的控制框图。
参照图29，结果处理器130可以包括响应生成管理器131、对话响应生成器132、输出管理器133、服务编辑器134、存储器管理器135和指令生成器136，所述响应生成管理器131管理执行从对话管理器120输入的动作所需的响应的生成；所述对话响应生成器132根据响应生成管理器131的请求来生成文本、图像或音频类型的响应；所述指令生成器136根据响应生成管理器131的请求，利用外部内容生成用于车辆控制或提供服务的指令；所述服务编辑器134连续地或间歇地执行多个服务并收集其结果以提供用户期望的服务；所述输出管理器133输出生成的文本类型的响应、图像类型的响应或音频类型的响应，输出由指令生成器136生成的指令，或者当输出为多个时确定输出的顺序；存储器管理器135基于响应生成管理器131和输出管理器133的输出来管理长期存储器143和短期存储器144。
结果处理器130可以包括存储器和处理器，在所述存储器中存储用于执行上述操作和稍后描述的操作的程序；所述处理器用于执行存储的程序。可以设置至少一个存储器和至少一个处理器，并且当设置多个存储器和处理器时，它们可以集成在单个芯片上或物理上分开。
存在于结果处理器130中的每个组件可以由同一个处理器实现，或者可以由单独的处理器实现。
此外，结果处理器130、对话管理器120和输入处理器110可以由同一个处理器实现，或者可以由单独的处理器实现。
通过与用户的话语或语境相对应而输出的响应可以包括对话响应、车辆控制和提供外部内容。对话响应可以包括初始对话、问题和包括信息的答案。对话响应可以作为数据库存储在响应模板149中。
响应生成管理器131可以请求对话响应生成器132和指令生成器136生成执行动作所需的响应，该动作由对话管理器120确定。为此，响应生成管理器131可以将与要执行的动作相关的信息发送到对话响应生成器132和指令生成器136，其中，与要执行的动作相关的信息可以包括动作名称和参数值。当生成响应时，对话响应生成器132和指令生成器136可以参考当前对话状态和动作状态。
对话响应生成器132可以通过搜索响应模板149来提取对话响应模板，并通过用参数值填充提取的对话响应模板来生成对话响应。生成的对话响应可以被发送到响应生成管理器131。当不从对话管理器120发送生成对话响应所需的参数值时或者当发送利用外部内容的介绍时，对话响应生成器132可以从外部内容服务器300接收参数值或者搜索长期存储器143、短期存储器144或语境信息DB 142。
例如，当对话管理器120确定的动作与路线引导相对应时，对话响应生成器132可以搜索响应模板149，然后提取对话响应模板“从[当前位置：-]到[目的地：-]将历时[持续时间：-]。开始引导？”。
可以从对话管理器120发送对话响应模板中需要填充的参数中的[当前位置]和[目的地]，而可以不发送[持续时间]的参数值。在这种情况下，对话响应生成器132可以向外部内容服务器300请求从[当前位置]到[目的地]的持续时间。
当对用户话语或语境的响应包括车辆控制或提供外部内容时，指令生成器136可以生成执行车辆控制或提供外部内容的指令。例如，当由对话管理器120确定的动作是控制空调装置、车窗和AVN时，指令生成器136可以生成执行控制的指令，然后将指令发送到响应生成管理器131。
当由对话管理器120确定的动作需要提供外部内容时，指令生成器136可以生成从外部内容服务器300接收相应内容的指令，然后将指令发送到响应生成管理器131。
当指令生成器136提供多个指令时，服务编辑器134可以确定执行多个指令的方法和指令，并将该方法和指令发送到响应生成管理器131。
响应生成管理器131可以将从对话响应生成器132、指令生成器136或服务编辑器134发送的响应发送到输出管理器133。
输出管理器133可以确定由对话响应生成器132生成的对话响应的输出时刻、输出序列和输出位置以及由指令生成器136生成的指令。
输出管理器133可以通过以下方式输出响应：将由对话响应生成器132生成的对话响应和由指令生成器136生成的指令以适当的时刻、适当的顺序发送到适当的输出位置。输出管理器133可以经由扬声器232输出文本到语音(TTS)响应，并且经由显示装置231输出文本响应。当输出TTS类型的对话响应时，输出管理器133可以利用车辆200中设置的TTS模块，或者输出管理器133可以包括TTS模块。
根据控制目标，可以将指令发送到车辆控制器240或与外部内容服务器300通信的通信装置280。
响应生成管理器131还可以将从对话响应生成器132、指令生成器136或服务编辑器134发送的响应发送到存储器管理器135。
输出管理器133可以将自己输出的响应发送到存储器管理器135。
存储器管理器135可以基于从响应生成管理器131和输出管理器133发送的内容来管理长期存储器143或短期存储器144。例如，基于生成的和输出的对话响应，存储器管理器135可以通过存储用户和系统之间的对话内容来更新短期存储器144。存储器管理器135可以通过存储与用户相关的信息(该信息通过与用户的对话获取)来更新长期存储器143。
在存储在短期存储器144中的信息中，持久信息(例如，用户的偏好或取向)或用于获取持久信息的信息可以存储在长期存储器143中。
基于与生成的和输出的指令相对应的车辆控制和外部内容请求，可以更新存储在长期存储器143中的用户偏好或车辆控制历史。
同时，在对话系统100在用户输入话语之前输出预先发声的状态下，当从对话输入管理器111c输入与预先发声语境相对应的动作时，接收与动作相关的信息的对话响应生成器132可以通过搜索响应模板149来提取对话响应模板，并通过用参数值填充提取的对话响应模板来生成对话响应。生成的对话响应可以被发送到响应生成管理器131。对话响应可以成为对话系统100的预先发声。
响应生成管理器131可以将从对话响应生成器132发送的对话响应发送到输出管理器133。
输出管理器133可以经由扬声器232输出由对话响应生成器132生成的对话响应。
当结果处理器130从对话流管理器121接收到与预先发声语境相对应的预先发声消息时，输入的预先发声消息可以成为对话响应，并且输入的预先发声消息可以被发送到输出管理器133。
输出管理器133可以经由扬声器232输出发送的预先发声消息。
当在对话系统100输出预先发声之后输入用户话语时，可以执行与用于处理用户话语的操作相同的操作。
根据上述实施方案，对话系统100可以通过考虑车辆内部发生的各种情况来提供最适合用户的服务。在不输入用户的话语的情况下，对话系统100可以基于由自己收集的语境信息或驾驶员信息自己确定用户所需的服务，并主动提供服务。
例如，车辆状态的评价标准可以根据启动车辆时的情况而变化，因此可以主动提供反馈。行驶开始时间可以定义为车辆启动时间、解除电子停车制动器的时间点(EPB)或设置导航目的地的时间点。计算驾驶可用分数的车辆状况评价系统可以给予单个装置权重，并根据情况因素改变应用于单个装置的可变权重。当确定出车辆状态存在问题时，可以提供关于单个装置的解决方案，例如维修店引导。
通过考虑车辆启动时的目的地，可以确定车辆是否燃料不足。当燃料不足时，可以执行将用户喜欢的加油站添加为到目的地的路线中的自动中途停留，作为燃料不足的反馈，并且通知用户中途停留的变化。此外，根据用户的响应，可以改变添加为自动中途停留的加油站。
虽然当前的车辆状态并没有指示燃料不足，但是可以通过综合考虑用户的下一个日程安排、主要移动记录和剩余燃料量来主动提供加油站或加油时间。
通过获取与驾驶员的身体状况和睡眠记录相关的信息，可以基于获取的信息有条件地允许车辆启动。例如，当通过识别的身体状况和车辆外部的睡眠记录识别出疲劳驾驶的风险时，可以建议用户不要驾驶车辆。或者，可以根据身体状况或睡眠记录来提供与推荐的驾驶时间相关的信息。
当反复发生指示疲劳驾驶风险的触发时，可以检测疲劳驾驶的风险并根据风险程度输出警告或提供反馈，反馈诸如自动改变路线，即，将路线改变为通往休息区。例如，心率减小的情况、前后间距是参考距离以上的情况、车速是参考速度或更低的情况，可以通过手动测量驾驶员状态和车辆状态来获取指示疲劳驾驶风险的触发，或者例如，向驾驶员说出问题并测量驾驶员对问题的响应速度的情况，可以通过经由对话进行主动测量来获取指示疲劳驾驶风险的触发。
当用户输入指示情绪的话语时，对话系统100可能无法从用户的话语中提取特定域或动作。然而，对话系统100可以通过利用周围环境信息、车辆状态信息和用户状态信息来识别用户的意图，然后继续对话。如上所述，可以通过模糊解算器123解算用户话语的模糊来执行实施方案。
在下文中，将详细描述利用对话系统100的对话处理的示例。
图30至图42是示出当用户输入与路线引导相关的话语时，对话系统100处理输入、管理对话并输出结果的具体示例的示意图。
如图34所示，当用户输入话语“我们去昨天去过的首尔站吧”时，语音识别器111a可以将用户的语音输出为文本形式的话语(我们去昨天去过的首尔站吧)。
自然语言理解部分111b可以执行形态分析，并通过参考域/动作推断规则DB141，根据形态分析结果(昨天/NNG、去过/VV、首尔站/NNP、去/VV)输出[域：导航]、[动作：路线引导]、[言语行为：请求]和[参数：NLU：目的地：首尔站]，然后将它们输入到对话输入管理器111c。
参照图31，在将自然语言理解部分111b的自然语言理解结果发送到语境理解部分112c的同时，当语境理解部分112c中存在附加信息时，对话输入管理器111c可以请求语境理解部分112c发送附加信息。
语境理解部分112c可以搜索语境理解表145并且提取这样的情况：与[域：导航]和[动作：路线引导]相关的语境信息是当前位置，并且语境信息的类型是GPS值。
语境理解部分112c可以通过搜索语境信息DB 142来提取当前位置的GPS值。在当前位置的GPS值未存储在语境信息DB 142中时，语境理解部分112c可以向语境信息收集管理器112b请求当前位置的GPS值。
语境信息收集管理器112b可以向语境信息收集器112a发送信号，使得语境信息收集器112a收集当前位置的GPS值。语境信息收集器112a可以从车辆控制器240收集当前位置的GPS值，然后在向语境信息收集管理器112b发送GPS值收集确认信号的同时将当前位置的GPS值存储在语境信息DB 142中。当语境信息收集管理器112b将GPS值收集确认信号发送到语境理解部分112c时，语境理解部分112c可以从语境信息DB 142中提取当前位置的GPS值，然后将当前位置的GPS值发送到对话输入管理器111c。
对话输入管理器111c可以组合自然语言理解结果：[域：导航]、[动作：路线引导]、[言语行为：请求]、[参数：NLU：目的地：首尔站]和[语境信息：当前位置：仪旺站(GPS值)]，然后将组合的信息发送到对话管理器120。
参照图32，对话流管理器121可以搜索对话和动作状态DB 147，并确定是否存在当前正在进行的对话任务或动作任务。此时，对话流管理器121可以参考对话策略DB 148。根据该实施方案，假设不存在当前正在进行的对话任务或动作任务。
对话流管理器121可以请求对话动作管理器122生成与输入处理器110的输出相对应的动作任务和对话任务。生成动作任务和对话任务可以表示指定用于存储和管理与动作状态和对话状态相关的信息的存储空间。
因此，对话动作管理器122可以指定对话和动作状态DB 147中的存储空间，以存储与动作状态和对话状态相关的信息。
对话动作管理器122可以将动作状态和对话状态发送到动作优先级确定器125。
动作优先级确定器125可以在关系动作DB 146b中搜索与路径引导相关的车辆状态检查和加油站推荐。路线引导动作和关系动作可以成为候选动作。
动作优先级确定器125可以根据预先存储的规则确定候选动作的优先级。在确定候选动作的执行条件之前，可以确定优先级，或者，在确定候选动作的执行条件之后，可以仅确定满足执行条件的候选动作的优先级。
候选动作列表可以再次发送到对话动作管理器122，并且对话动作管理器122可以通过添加搜索到的关系动作来更新动作状态。
参照图33，动作优先级确定器125可以在动作执行条件DB 146c中搜索关于每个候选动作的执行条件或确定执行条件的参数。动作优先级确定器125还可以确定候选动作之间的优先级。
例如，用于车辆状态检查的条件可以是目的地距离等于或大于100km的情况，其中，用于确定条件的参数可以与目的地距离相对应。
用于加油站推荐的条件可以是目的地距离大于剩余燃油可行驶距离(DTE)的情况，其中用于确定条件的参数可以与目的地距离和剩余燃油可行驶距离(DTE)相对应。
对话动作管理器122可以通过将用于执行每个候选动作的条件和确定条件所需的参数添加到对话和动作状态DB 147来更新动作状态。
动作优先级确定器125可以在对话和动作状态DB 147、语境信息DB 142、长期存储器143或者短期存储器144中搜索用于确定候选动作是否满足执行条件所需的参数值，并且从对话和动作状态DB 147、语境信息DB 142、长期存储器143或短期存储器144中获取参数值。
当参数值存在于先前对话内容中、在与对话内容相关的语境信息中，或者在与生成的事件相关的语境信息中时，动作优先级确定器125可以从对话和动作状态DB 147获取参数值。
当不允许动作优先级确定器125从对话和动作状态DB 147、语境信息DB 142、长期存储器143或短期存储器144获取参数值时，动作优先级确定器125可以向外部信息管理器126请求参数值。
例如，可以从提供导航服务的外部内容服务器300获取目的地距离，并且可以经由外部信息管理器126从语境信息DB 142获取DTE。同时，为了搜索目的地距离，可能需要用于导航服务的正确目的地信息。在该实施方案中，从用户的话语输入的目的地可以与“首尔站”相对应，其中，“首尔站”可以包括具有以“首尔站”开头的名称的各种地方，以及具有特定含义的“首尔站”。因此，仅利用“首尔站”可能难以搜索出正确的目的地距离。
根据需要，可以从连接到车辆200的移动装置400获取参数值。例如，当需要用户信息(例如，未存储在长期存储器143中的联系人和日程安排)作为参数值时，外部信息管理器126可以向移动装置400请求所需信息，然后获取所需的参数值。
当经由储存装置140、外部内容服务器300和移动装置400可能无法获取参数值时，可以通过询问用户来获取所需的参数值。
动作优先级确定器125可以通过利用参数值来确定候选动作的执行条件。由于未搜索出目的地距离，因此可以推迟与车辆状态检查动作和加油站推荐相关的执行条件的确定。
如图34所示，对话动作管理器122可以通过将获取的参数值与是否满足动作执行条件添加到对话和动作状态DB 147来更新动作状态，是否满足动作执行条件是通过利用对应的参数值确定的。
对话动作管理器122可以向参数管理器124请求用于执行候选动作的参数列表。
参数管理器124可以从动作参数DB 146a提取当前位置和目的地作为用于执行路线引导动作的必要参数，并提取路线类型(初始值：快速路线)作为替代参数。
参数管理器124可以提取用于执行车辆状态检查动作的检查部分(初始值：整个部分)作为替代参数，并提取喜欢的加油站(初始值：A油)作为用于执行加油站推荐动作的替代参数。
提取的参数列表可以被发送到对话动作管理器122并用于更新动作状态。
参数管理器124可以在对话和动作状态DB 147、语境信息DB 142、长期存储器143和短期存储器144中的每个参数的参考位置中搜索对应的参数值，以获取与候选动作的必要参数和替代参数相对应的参数值。当需要经由外部服务提供参数值时，参数管理器124可以经由外部信息管理器126向外部内容服务器300请求所需的参数值。
可以复制用于确定候选动作的执行条件的参数和用于执行候选动作的参数。当由动作优先级确定器125获取然后存储在对话和动作状态DB 147中的参数值中存在与用于执行候选动作的参数(必要参数和替代参数)相对应的参数时，可以使用对应的参数。
参照图35，对话动作管理器122可以通过添加由参数管理器124获取的参数值来更新动作状态。
如上所述，当利用从用户的话语中提取的目的地(首尔站)作为路线引导动作的参数时，可能存在模糊。因此，可能尚未获取到路线引导动作的参数(目的地)、车辆状态检查动作的参数(目的地距离)以及加油站推荐的参数(目的地距离)。
当[参数：NLU：目的地：首尔站]被转换为适合路线引导行动的目的地参数时，模糊解算器123可以检查是否存在模糊。如上所述，“首尔站”可以包括具有以“首尔站”开头的名称的各种地方，以及具有用户特定含义的“首尔站”。
模糊解算器123可以通过参考形态分析结果确认在用户话语中存在“首尔站”的修饰符。模糊解算器123可以在长期存储器143或短期存储器144中搜索日程安排、移动位置和联系人，以识别“我们昨天去过的首尔站”的位置。
例如，模糊解算器123可以从昨天执行的用户移动位置确认“我们昨天去过的首尔站”是“首尔站出口4”。在确认POI(例如，“首尔站出口4”)存在之后，模糊解算器123可以获取相应的值。
由模糊解算器123获取的目的地信息可以发送到对话动作管理器122，并且对话动作管理器122可以通过将“首尔站出口4”添加到候选动作的目的地参数来更新动作状态。
参数管理器124可以从对话和动作状态DB 147获取目的地信息(首尔站出口4)，并且经由外部信息管理器126向提供导航服务的外部内容服务器300请求目的地距离值。
参照图36，当外部信息管理器126从外部内容服务器300获取到目的地距离值(80km)，然后将目的地距离值发送到参数管理器124时，参数管理器124可以将目的地距离值发送到对话动作管理器122以允许更新动作状态。
动作优先级确定器125可以通过参考动作状态来确定候选动作是否是可执行的，并调整候选动作的优先级。由于获取了作为必要参数的当前位置和目的地的参数值，因此可以确定路线引导动作是可执行的。由于目的地距离(70km)小于100km，因此可以确定车辆状态检查动作不可执行。由于目的地距离(80km)大于DTE，因此可以确定加油站推荐动作是可执行的。
由于车辆状态检查动作不可执行，因此可以从优先级的确定中排除车辆状态检查动作。因此，路线引导动作可以排序为第一，加油站推荐动作可以排序为第二。
对话动作管理器122可以根据候选动作是否可以执行以及修改的优先级来更新动作状态。
对话流管理器121可以检查存储在对话和动作状态DB 147中的对话状态和动作状态，并且可以通过参考对话策略DB 148来开发对话策略以继续对话。例如，对话流管理器121可以在可执行动作中选择最高优先级动作，并且对话流管理器121可以根据对话策略DB148请求响应生成管理器131生成用于对话继续进行的响应。
存储在对话和动作状态DB 147中的对话状态和动作状态可以更新为[状态：确认路线引导开始]。
参照图37，响应生成管理器131可以通过搜索响应模板149来生成TTS响应和文本响应。
对话响应生成器132可以生成对话响应，该对话响应配置为以TTS形式和文本形式输出“预计从仪旺站到首尔站出口4需要30分钟。您想开始引导吗？”。
响应生成管理器131可以将由对话响应生成器132生成的TTS响应和文本响应发送到输出管理器133和存储器管理器135，并且输出管理器133可以将TTS响应发送到扬声器232并将文本响应发送到显示装置231。此时，在TTS响应通过TTS模块(TTS模块配置为将文本与语音进行组合)之后，输出管理器133可以将TTS响应发送到扬声器232。
存储器管理器135可以在短期存储器144或长期存储器143中存储用户请求路线引导。
配置为询问“预计从仪旺站到首尔站4号出口需要30分钟。您想开始引导吗？”的对话响应可以通过显示装置231和扬声器232输出。如图38所示，当用户说出“是”时，可以将用户的话语输入到语音识别器111a，然后输出为[文本：是]，并且自然语言理解部分111b可以输出[域：-]、[动作：-]、[言语行为：-]和[形态分析结果：是/IC]。
可以将自然语言理解结果发送到对话输入管理器111c，并且对话输入管理器111c可以将自然语言理解结果发送到对话管理器120。
参照图39，对话流管理器121可以搜索对话和动作状态DB 147并分析先前的对话状态。对话流管理器121可以请求对话动作管理器122更新与当前执行的[路线引导]相关的对话/动作。
对话动作管理器122可以将对话状态和动作状态更新为[状态：路线引导开始]。
对话流管理器121可以请求结果处理器130生成用于开始路线引导的响应。
参照图40，对话动作管理器122可以将对话状态更新为[状态：进行下一个对话]并将动作状态更新为[状态：执行]。
对话流管理器121可以请求响应生成管理器131生成用于路线引导的响应。
对话响应生成器132可以生成对话响应，该对话响应配置为以TTS形式和文本形式输出“开始路线引导”，然后将对话响应发送到响应生成管理器131。
指令生成器136可以生成用于执行路线引导的指令[目标：导航，指令：路线引导，目的地：首尔站出口4，出发：仪旺站]，然后将指令发送到响应生成管理器131。
响应生成管理器131可以将生成的对话响应和指令发送到输出管理器133。输出管理器133可以经由显示装置231和扬声器232输出对话响应。输出管理器133可以经由车辆控制器240将路线引导指令发送到车辆200的AVN 230，或者发送到提供导航服务的外部内容服务器300。
参照图41，对话流管理器121可以选择加油站推荐作为下一个可执行动作，并请求响应生成管理器131生成响应，该响应配置为询问用户是否推荐加油站。
对话状态和动作状态可以更新为[状态：检查相关的服务推荐]。
响应生成管理器131可以请求对话响应生成器132生成TTS响应和文本响应，并且对话响应生成器132可以生成对话响应，该对话响应配置为以TTS和文本形式输出“没有足够的燃料到达目的地。您想将A油站添加到中途停留吗？”。对话响应生成器132可以将TTS和文本发送到响应生成管理器131。
响应生成管理器131可以将由对话响应生成器132生成的TTS响应和文本响应发送到输出管理器133和存储器管理器135，并且输出管理器133可以将TTS响应发送到扬声器232并将文本响应发送到显示装置231。
可以通过显示装置231和扬声器232输出配置为询问“没有足够的燃料到达目的地。您想将A油站添加到中途停留吗？”的对话响应。如图42所示，当用户说出“不”时，可以将用户的话语输入到语音识别器111a，然后输出为[文本：不]，并且自然语言理解部分111b可以输出[域：-]、[动作：-]、[言语行为：-]和[形态分析结果：不/IC]。
对话流管理器121可以请求对话动作管理器122更新对话状态和动作状态。
对话动作管理器122可以将对话状态更新为[状态：进行下一个对话]并将动作状态更新为[状态：取消]。
对话流管理器121可以请求响应生成管理器131生成指示加油站推荐服务被取消的响应，并且对话流管理器121可以检查是否存在要继续进行的对话。当要继续的对话不存在时，对话流管理器121可以将对话状态更新为[状态：空闲]并等待用户的输入。
上述数据处理流程仅是应用于对话系统100的示例。因此，由对话系统100的每个组件处理数据的顺序不限于上述示例，因此多个组件可以同时处理数据，或者多个组件可以按与上述示例不同的顺序处理数据。
在下文中，根据一个实施方案，将描述对话处理方法。在一个实施方案中，对话处理方法可以应用于上述对话系统100或设置有对话系统100的车辆200。因此，将以相同的方式将图1至图42的描述应用于对话处理方法。
图43是示出在一个实施方案中的对话处理方法中处理用户输入的方法的流程图。处理用户输入的方法可以在对话系统100的输入处理器110中执行。
参照图43，当输入用户的话语时(500的是)，语音识别器111a可以识别输入的用户的话语(510)。用户的话语可以被输入到车辆200中设置的语音输入装置210或移动装置400中设置的语音输入装置410。
语音识别器111a可以识别输入的用户的话语并输出文本形式的话语。
自然语言理解部分111b可以将自然语言理解技术应用于文本形式的话语(520)并输出自然语言理解的结果。
具体地，自然语言理解过程(520)可以包括对文本形式的话语进行形态分析(521)，基于形态分析结果从话语中提取域(522)，识别实体名称(523)，分析言语行为(524)并提取动作(525)。
可以通过参考域/动作推断规则DB 141来执行域的提取，实体名称的识别和动作的提取。
自然语言理解部分111b的输出，即自然语言理解的结果，可以包括与用户的话语相对应的域、动作、言语行为以及形态分析的结果。
可以搜索与提取的动作相关的语境信息。与提取的动作相关的语境信息可以存储在语境理解表145中。语境理解部分112c可以在语境索引表145中搜索与提取的动作相关的语境信息，并且语境信息处理器112可以从语境信息DB 142、长期存储器143或短期存储器144中获取搜索到的语境信息的信息值。
当需要附加语境信息时(530的是)，即，在没有从语境信息DB 142、长期存储器143或短期存储器144获取到语境信息的情况下，语境理解部分112c可以请求收集相应的语境信息(540)。除语音之外的输入，例如车辆状态信息、周围环境信息和驾驶员信息可以经由语境信息收集器112a输入，这是与用户的话语的输入分开执行的。
信息可以周期性地输入或仅在特定事件发生时输入。此外，信息可以周期性地输入，然后在特定事件发生时额外输入。在任何情况下，当请求收集信息时，都可以主动收集相应的信息。
因此，当已经收集到与动作相关的语境信息时，可以从语境信息DB 142、长期存储器143或短期存储器144获取相应的信息，否则，可以通过语境信息收集器112a收集相应的信息。
当接收到用于收集语境信息的请求的语境信息收集器112a收集到对应的语境信息并将该信息存储在语境信息DB 142中时，语境理解部分112c可以从语境信息DB 142获取对应的语境信息。
当语境信息收集管理器112b由于语境信息收集器112a收集到的数据满足预先确定条件而确定特定事件发生时，语境信息收集管理器112b可以将动作的触发信号发送到语境理解部分112c。
语境理解部分112c可以搜索语境理解表145以搜索与相应事件相关的语境信息，而当搜索的语境信息未存储在语境理解表145中时，语境理解部分112c可以再次向语境信息收集管理器112b发送语境信息请求信号。
当完成所需语境信息的收集时，可以将自然语言理解的结果和语境信息发送到对话管理器120(560)。当事件发生时，还可以发送与事件相关的信息(发生哪个事件)和与发生的事件相关的语境信息。
图44是示出在一个实施方案中的对话处理方法中利用输入处理器的输出来管理对话的方法的流程图。对话处理方法可以由对话系统100的对话管理器120执行。
参照图44，对话流管理器121可以在对话和动作状态DB 147中搜索相关对话历史(600)。
在该实施方案中，已经描述了从用户的话语中提取域和动作的情况作为示例，但是可能存在这样的情况：由于话语内容或语境中存在模糊而不能从用户的话语中提取域和动作。在这种情况下，对话动作管理器122可以生成随机对话状态，并且模糊解算器123可以基于用户的话语的内容、环境条件、车辆状态和用户信息来识别用户的意图，并确定适合于用户意图的动作。
当存在相关对话历史时(600的是)，可以参考相关对话历史(690)。当不存在相关对话历史时(600的否)，可以生成新的对话任务和动作任务(610)。
可以在关系动作DB 146b中搜索与从用户的话语提取的动作相关的相关动作列表(下文中称为输入的动作)，并且可以生成候选动作列表(620)。输入的动作和与输入的动作相关的动作可以与候选动作列表相对应。
可以在动作执行条件DB 146c中搜索每个候选动作的执行条件(630)。执行条件可以表示执行动作的必要条件。因此，当满足相应条件时，可以确定动作是可执行的，但是当不满足相应条件时，可以确定动作不可执行。在动作执行条件DB 146c中，还可以存储与用于确定动作执行条件的参数的类型相关的信息。
可以获取用于确定动作执行条件的参数值(640)。用于确定动作执行条件的参数可以称为条件确定参数。可以通过搜索语境信息DB 142、长期存储器143、短期存储器144或对话和动作状态DB 147来获取条件确定参数的参数值。当需要经由外部服务来提供条件确定参数的参数值时，可以经由外部信息管理器126从外部内容服务器300提供所需参数值。
当由于语境和话语中的模糊而不能获取所需的参数值时，可以通过利用模糊解算器123解算模糊来获取所需的参数值。
尽管获取的参数是难以确定动作执行条件的无效参数，但是模糊解算器123可以通过无效参数获取有效参数。
基于获取的条件确定参数，可以确定每个候选动作是否可执行(650)，并且可以确定候选动作的优先级(660)。可以预先存储用于确定候选动作的优先级的规则。动作优先级确定器125可以在确定每个候选动作是否可执行之后，通过仅考虑可执行的候选动作来确定候选动作的优先级。或者，不管每个候选动作是否可执行，在确定候选动作的优先级之后，可以基于每个候选动作是否可执行来修改候选动作的优先级。
可以在动作参数DB 146a中搜索用于执行候选动作的参数列表(670)。用于执行候选动作的参数可以与动作参数相对应。动作参数可以包括必要参数和替代参数。
可以获取用于执行候选动作的参数值(680)。可以通过搜索语境信息DB 142、长期存储器143、短期存储器144或对话和动作状态DB 147来获取动作参数的参数值。当需要经由外部服务来提供动作参数的参数值时，可以经由外部信息管理器126从外部内容服务器300提供所需参数值。
当由于语境和话语中的模糊而不能获取所需的参数值时，可以通过利用模糊解算器123解算模糊来获取所需的参数值。
尽管获取的参数是难以确定动作执行条件的无效参数，但是模糊解算器123可以通过无效参数获取有效参数。
由对话动作管理器122管理的对话状态和动作状态可以通过上述步骤来执行，并且每当状态改变时，可以更新对话状态和动作状态。
当获取所有可获取的参数值时，对话流管理器121可以将与候选动作和对话状态相关的信息发送到结果处理器130。根据对话策略，对话流管理器121可以发送与对应于第一优先级的动作相关的信息或者与多个候选动作相关的信息。
当由于在外部内容服务器300、长期存储器143、短期存储器144和语境信息DB 142中不存在所需参数值而仅能通过用户获取所需参数值时，可以输出用于向用户询问参数值的对话响应。
图45是示出在一个实施方案中的对话处理方法中用于生成与对话管理的结果相对应的响应的结果处理方法的流程图。结果处理方法可以由对话系统100的结果处理器130执行。
参照图45，当需要生成对话响应时(700的是)，对话响应生成器132可以搜索响应模板149(710)。对话响应生成器132可以提取与当前对话状态和动作状态相对应的对话响应模板，并用所需参数值填充响应模板，以便生成对话响应(720)。
当没有从对话管理器120发送生成对话响应所需的参数值时或者当发送利用外部内容的介绍时，可以从外部内容服务器300提供所需的参数值或者在长期存储器143、短期存储器144或语境信息DB 142中进行搜索。当由于外部内容服务器300、长期存储器143、短期存储器144和语境信息DB 142中不存在所需参数值而仅能通过用户获取所需参数值时，可以生成用于向用户询问参数值的对话响应。
当需要生成指令时(760)，指令生成器136可以生成用于车辆控制或外部内容的指令(770)。
生成的对话响应或指令可以被输入到输出管理器133，并且输出管理器133可以确定对话响应与指令之间的输出顺序或多个指令的输出顺序(730)。
可以基于生成的对话响应或指令来更新存储器(740)。基于生成的对话响应或指令，存储器管理器135可以通过存储用户和系统之间的对话内容来更新短期存储器144，并通过存储与用户的对话获取的用户相关的信息来更新长期存储器143。存储器管理器135可以基于生成的并输出的车辆控制和外部内容请求来更新存储在长期存储器143中的用户的偏好和车辆控制历史。
输出管理器133可以通过将对话响应和指令发送到恰当的输出位置来输出响应(750)。可以经由扬声器232输出TTS响应，并且可以在显示装置231上输出文本响应。可以根据控制目标将指令发送到车辆控制器240，或者将指令发送到外部内容服务器300。此外，该指令可以被发送到配置为与外部内容服务器300通信的通信装置280。
图46至图48是示出在一个实施方案的对话处理方法中，当对话系统在用户输入话语之前输出预先发声时的情况的流程图。
参照图46，语境信息收集器112a和语境信息收集管理器112b收集语境信息(810)。具体地，车辆控制器240可以将由设置在车辆中的传感器获取的信息(例如，燃料的剩余量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置和行驶环境信息)输入到语境信息处理器112。经由除语音之外的信息输入装置220输入的用户信息和从外部内容服务器300或外部装置获取的信息可以被输入到语境信息处理器112。收集到的语境信息可以存储在语境信息DB 142、长期存储器143或短期存储器144中。
预先发声确定器151基于语境信息确定预先发声条件(811)。预先发声条件可以存储在预先发声条件表145a中。如图22A至图22C所示，可以针对每个语境信息在预先发声条件表145a中存储与语境信息相关的预先发声条件。
当从语境信息DB 142、长期存储器143或短期存储器144发送的语境信息满足预先发声条件时(812的是)，预先发声确定器151确定出是预先发声语境，并生成预先发声的触发信号(813)。
预先发声确定器151提取与预先发声语境相对应的动作(814)。如图22C所示，与预先发声语境相对应的动作可以预先存储在预先发声条件表145a中。预先发声确定器151可以从预先发声条件表145a中提取与预先发声语境相对应的动作。此外，预先发声确定器151可以根据建立的规则生成与预先发声语境相对应的动作。
当预先发声确定器151将预先发声的触发信号以及与预先发声语境相对应的动作发送到对话输入管理器111c时，对话输入管理器111c将与预先发声语境相对应的动作发送到对话管理器120(815)。在这种情况下，可以发送预先发声的触发信号和指示预先发声语境的信号。
在将与预先发声语境相对应的动作发送到对话管理器120之后，可以执行一系列处理，例如生成对话任务和动作任务，以及获取动作参数，如图44所示。当其它对话任务或动作任务也在执行时，对话流管理器121可首先生成并处理与预先发声语境相关的任务，或者可以根据建立的规则选择优先级。
当对话管理器120将与首先执行的动作相关的信息发送到结果处理器130时，对话响应生成器132可以通过搜索响应模板149来提取对话响应模板，并通过用参数值填充提取的对话响应模板生成对话响应。生成的对话响应可以经由响应生成管理器131发送到输出管理器133。输出管理器133可以经由车辆200或移动装置400中设置的扬声器输出生成的对话响应。
此外，可以按上述同样的方式获取或生成与预先发声语境相对应的预先发声消息。参照图47，语境信息收集器112a和语境信息收集管理器112b收集语境信息(820)，并且预先发声确定器151基于语境信息确定预先发声条件(821)。
当从语境信息DB 142、长期存储器143或短期存储器144发送的语境信息满足预先发声条件时(822的是)，预先发声确定器151确定出是预先发声语境，并生成预先发声的触发信号(823)。
预先发声确定器151提取与预先发声语境相对应的预先发声消息(824)。如图22A和图22B所示，与预先发声语境相对应的预先发声消息可以预先存储在预先发声条件表145a中。预先存储的预先发声消息可以是指示当前语境的内容，或者是建议首先执行预先发声语境所需的特定功能或服务的内容。此外，预先发声确定器151可以根据建立的规则生成预先发声消息。
当预先发声确定器151将预先发声的触发信号和预先发声消息发送到对话输入管理器111c时，对话输入管理器111c可以将预先发声消息发送到对话管理器120(825)。在这种情况下，可以发送预先发声的触发信号和指示预先发声语境的信号。
对话管理器120可以生成用于输出发送的预先发声消息的对话任务，并将对话任务发送到结果处理器130。结果处理器130可以经由扬声器232输出输入的预先发声消息。
此外，可以提取与预先发声语境相对应的虚拟用户话语。参照图48，语境信息收集器112a和语境信息收集管理器112b收集语境信息(830)，并且预先发声确定器151基于语境信息确定预先发声条件(831)。
当从语境信息DB 142、长期存储器143或短期存储器144发送的语境信息满足预先发声条件时(832的是)，预先发声确定器151确定出是预先发声语境，并生成预先发声的触发信号(833)。
预先发声确定器151提取与预先发声语境相对应的虚拟用户话语(834)。尽管未在附图中示出，但是与预先发声语境相对应的虚拟用户话语可以预先存储在预先发声条件表145a中。预先发声确定器151可以从预先发声条件表145a中提取与预先发声语境相对应的虚拟用户话语。此外，预先发声确定器151可以根据建立的规则生成与预先发声语境相对应的虚拟用户话语。
当预先发声确定器151以文本形式将虚拟用户话语发送到自然语言理解部分111b时(835)，自然语言理解部分111b可以以与用户实际发声的情况相同的方式从虚拟用户话语中提取域和动作。
对话输入管理器111c将预先发声的触发信号和自然语言理解结果发送到对话管理器120(836)。自然语言理解的结果可以包括从虚拟用户话语中提取的域和动作，并且提取的域和动作可以成为预先发声语境相对应的域和动作。
例如，根据移动网关方法，在移动网关方法中移动装置400充当车辆和对话系统100之间的网关，移动装置400的对话系统客户端470可以执行预先发声确定器151的部分操作。在这种情况下，对话系统客户端470可以生成与预先发声语境相对应的虚拟用户话语，并将虚拟用户话语发送到自然语言理解部分111b。
在将预先发声的触发信号和自然语言理解结果发送到对话管理器120之后，可以执行一系列处理，例如生成对话任务和动作任务，以及获取动作参数，如图44所示。当其它对话任务或动作任务也在执行时，对话流管理器121可首先生成并处理与预先发声语境相关的任务，或者可以根据建立的规则选择优先级。
当对话管理器120将与首先执行的动作相关的信息发送到结果处理器130时，对话响应生成器132可以通过搜索响应模板149来提取对话响应模板，并通过用参数值填充提取的对话响应模板生成对话响应。生成的对话响应可以经由响应生成管理器131发送到输出管理器133。输出管理器133可以经由车辆200或移动装置400中设置的扬声器输出生成的对话响应。
图49是示出在根据实施方案的对话处理方法中，当对话系统在用户输入话语之前输出预先发声时处理重复任务的流程图。
参照图49，语境信息收集器112a和语境信息收集管理器112b收集语境信息(840)，并且预先发声确定器151基于语境信息确定预先发声条件(841)。
预先发声确定器151确定从语境信息DB 142、长期存储器143或短期存储器发送的语境信息是否满足预先发声条件，并且当语境信息满足预先发声条件时(842的是)，重复任务处理器152确定当前发生的与预先发声语境相关的任务是否重复(843)。
具体地，基于存储在任务处理DB 145b中的与在对话系统100中先前执行或正在执行的任务相关的信息，重复任务处理器152可以确定任务是否已经执行或正在执行，所述任务例如与当前发生的预先发声语境相关的对话和动作。
例如，当与当前发生的预先发声语境相关的对话已经执行时，并且当从对话时间点开始还没有经过参考时间段时，重复任务处理器152可以确定与当前的预先发声语境相关的任务是重复任务。此外，当与当前的预先发声语境相关的对话和动作正在执行时，重复任务处理器152可以确定与当前的预先发声语境相关的任务是重复任务。
也就是说，基于存储在任务处理DB 145b中的对话历史和任务是否执行，重复任务处理器152可以确定预先发声是否已经输出以及用户关于预先发声语的意图。基于存储的对话时间、用户的意图或者是否处理了任务，重复任务处理器152可以确定是否是重复任务。
当识别出与当前的预先发声语境相关的任务是重复任务时(843的是)，重复任务处理器152终止预先发声语境。
当确定与当前的预先发声语境相关的任务不是重复任务时(843的否)，可以执行如上述实施方案所示的预先发声操作(844)。例如，可以将与预先发声语境相对应的预先发声的触发信号和动作或预先发声消息发送到对话管理器120。此外，可以将与预先发声语境相对应的虚拟用户话语发送到自然语言理解部分111b，并将自然语言理解的结果和预先发声的触发信号发送到对话管理器120。
根据上述实施方案，假设附加组件(诸如预先发声确定器151和重复任务处理器152)和附加储存装置(诸如预先发声条件表145a和任务处理DB 145b)用于执行预先发声的对话处理方法。然而，对话处理方法的实施方案不限于此，语境理解部分112c也可以执行预先发声确定器151和重复任务处理器152的操作，而存储在预先发声条件表145a和任务处理DB 145b中的信息也可以存储在语境理解表145中。
在一个实施方案中的对话处理方法不限于上述流程图中的顺序。根据图41至图49的流程图的流程可以仅是应用于对话处理方法的示例。因此，可以在同时执行多个步骤，还可以改变每个步骤的顺序。
图50是示出根据本发明的另一实施方案的对话系统100a以及设置有对话系统的装置的控制框图。该装置可以代表家用电器或终端以及车辆。
在该实施方案中，车辆200a将被描述为设置有对话系统的装置。
此外，在根据另一实施方案的车辆和对话系统的组件中，执行与根据一个实施方案的组件相同的操作的组件具有与根据示例性实施方案的组件相同的附图标记。
根据另一实施方案，车辆200a包括对话系统100a、语音输入装置210、除语音之外的信息输入装置220、对话输出装置230、车辆控制器240a、多个负载251-255、车辆检测器260和通信装置280。
当对话系统100a存在于车辆200a中时，车辆200a可以自己处理与用户的对话并提供用户所需的服务。然而，也可以从外部内容服务器300获取对话处理和提供服务所需的信息。
如上所述，根据另一实施方案的对话系统100a提供适合于车辆环境的对话处理方法。对话系统100a的所有组件或部分组件可以存在于车辆中。
对话系统100a可以在远程服务器中设置，并且车辆可以仅用作对话系统100a和用户之间的网关。在任何情况下，对话系统100a可以经由连接至车辆的多个移动装置400a、400b、400c和400d中的至少一个或车辆连接到用户。
对话系统100a可以配置为通过以下方式识别用户的意图和语境：利用通过语音输入装置210输入的用户的语音，通过除语音之外的信息输入装置220输入的除语音之外的另一输入，以及通过车辆控制器240a输入的与车辆相关的各种信息；并且对话系统100a可以输出响应以执行与用户意图相对应的动作。
与车辆相关的各种信息可以包括由车辆200a中设置的各种传感器获取的车辆状态信息或周围环境信息，以及最初存储在车辆200a中的信息，例如车辆的燃料类型。
车辆的状态信息可以是设置有对话系统的装置的状态信息，特别是表示装置中设置的负载的各种状态。
对话系统100a接收存储在用户(即，车主)的移动装置中的联系人信息，并基于接收到的联系人信息获取能够与车辆中的用户进行对话的多个讲话者的姓名、头衔和电话号码。因此，对话系统100a可以获取所获取的讲话者之间的关系。
对话系统100a可以接收多个移动装置的联系人信息，并将包含在车主的移动装置中的联系人信息与包含在其余移动装置中的联系人信息进行比较，以便选择包括车主和乘客的分组。因此，对话系统100a可以仅接收与选择的分组有关的联系人信息。
对话系统100a可以基于存储在乘客移动装置中的联系人信息中的车主姓名或头衔来选择包括车主(即，用户)和乘客的分组，并且可以仅接收被指定为选定的分组联系人信息的联系人信息。
该分组可以包括家庭、公司、上级或下级、朋友和俱乐部。
当通过除语音之外的信息输入装置输入讲话者的头衔时，对话系统100a可以请求输入讲话者的语音，并且当输入讲话者的语音时，对话系统100a可以通过语音识别获取语音模式。因此，对话系统100a可以将获取的语音模式与头衔相匹配并存储匹配的信息。
对话系统100a可以基于从车辆中的多个讲话者的移动装置发送的联系人信息，获取可以与车辆中的用户进行对话的多个讲话者的姓名、头衔和电话号码。
对话系统100a可以对按照时间顺序输入的语音进行语音识别，识别识别的语音之间的关系是询问和响应，还是指令和响应。对话系统100a可以基于在具有询问和响应关系或者指令和响应关系的对话中识别的语音信息中包含的话语获取讲话者之间的关系。
当输入由车辆中的对话中的讲话者发出的语音时，对话系统100a基于识别的语音信息以输入的语音的顺序进行语音识别并按顺序获取话语模式和语音模式。
对话系统100a基于先前识别的语音信息中的话语，获取头衔以用于获取与用户的关系。当输入与对先前语音的响应相对应的语音时，对话系统100a识别输入的语音，并获取当前识别的语音信息中的语音模式。因此，对话系统100a可以将先前获取的头衔与当前获取的语音模式匹配，并存储匹配的信息。
先前的语音和当前语音可以是具有询问和响应关系的语音，或者是具有指令和响应关系的语音。
此外，对话系统100a可以确定响应的语音信息中是否包含头衔，并且当语音信息中包含头衔时，对话系统100a可以将先前通过语音识别获取的语音模式与获取的头衔进行匹配，并存储匹配的信息。
也就是说，对话系统100a可以对按照时间顺序输入的语音进行语音识别，并基于在识别的语音中按时间顺序排列的第一语音和第二语音，识别所识别的语音之间的关系是询问和响应，还是指令和响应。对话系统100a可以基于识别的第一语音和第二语音之间的关系以及每个讲话者的语音模式获取讲话者之间的关系。
对话系统100a基于每个讲话者的语音模式和每个讲话者的话语获取每个讲话者的对话内容。
对话系统100a基于讲话者之间的关系、每个讲话者的对话内容和获取的话语，识别当前发声的讲话者的意图和语境，确定与讲话者之间的关系相对应的动作，发声的讲话者的意图和语境以及所识别的话语，并输出与确定的动作相对应的话语。因此，对话系统100a可以输出与确定的动作相对应的话语，并生成与确定的动作相对应的控制指令。
对话系统100a可以基于车辆中的乘客的关系确定优先级，并且基于确定的优先级生成用于控制属于车辆中的多个讲话者的移动装置中的一个移动装置的控制指令。
对话系统100a可以基于车辆中的乘客的关系确定优先级，并且基于确定的优先级生成用于与车辆中的多个讲话者的移动装置中的一个移动装置通信的通信连接指令。
当通过除语音之外的信息输入装置220输入每个讲话者的座椅位置时，对话系统100a可以基于车辆中的多个讲话者的移动装置的功能控制信息生成用于控制每个座椅的座椅功能的控制指令。
座椅的功能可以包括：座椅的角度调节功能、座椅的前后距离调节功能、座椅的电热丝开/关、座椅的电热丝温度调节功能和座椅通风开/关功能中的至少一个。
对话系统100a可以基于经由语音输入装置210输入的语音的语音信号和语音模式输入来确定每个讲话者的座椅位置。
对话系统100a可以基于到达至少两个麦克风的语音信号的时间距离并且基于两个麦克风之间的距离估算发声方向。因此，对话系统100a可以基于估计的发声方向确定讲话者的座椅位置。
或者，对话系统100a可以通过语音输入装置直接接收讲话者的座椅位置。也就是说，对话系统可以通过用户的语音接收每个讲话者的位置。
当确定为预先发声语境时，对话系统100a可以基于确定的优先级确定与预先发声语境相对应的动作，并且可以输出与确定的动作相对应的发声。
稍后将详细描述该对话系统200a。
语音输入装置210可以接收用户控制指令作为车辆200a中的用户的语音。语音输入装置210可以包括麦克风，麦克风配置为接收声音然后将声音转换为电信号。
语音输入装置210可以包括一个麦克风或者两个或更多个麦克风。
当设置单个麦克风时，麦克风可以是定向的。
当设置两个或更多个麦克风时，两个或更多个麦克风可以以麦克风阵列实现。
两个或更多个麦克风可以按照一定距离布置。
除语音之外的信息输入装置220接收用户指令中除语音输入之外的指令。
除语音之外的信息输入装置220可以包括用于通过用户的操作接收指令的输入按钮和旋钮中的至少一种。
除语音之外的信息输入装置220可以包括配置为对用户成像的摄像机。在这种情况下，车辆可以通过由摄像机获取的图像接收指令。也就是说，车辆可以识别存在于图像中的用户的手势、表情或视线方向，并且将接收到的识别的信息作为用户指令。此外，车辆可以通过由摄像机获取的图像识别用户的状态(困倦状态等)。
除语音之外的信息输入装置220可以从多个移动装置400a、400b、400c和400d中的至少一个移动装置接收联系人信息和功能控制信息，并且除语音之外的信息输入装置220可以向语境信息处理器发送接收到的信息。除语音之外的信息输入装置220可以接收车辆中讲话者的头衔和座椅位置，并且除语音之外的信息输入装置220可以接收语音输入指令以获取讲话者的语音模式。
对话输出装置230是配置为以视觉、听觉或触觉方式向讲话者提供输出的装置。对话输出装置230可以包括车辆200a中设置的显示装置231和扬声器232。
显示装置231和扬声器232可以以视觉或听觉方式输出对用户的话语的响应、关于用户的问题或用户请求的信息。此外，可以通过在方向盘207中安装振动器来输出振动。
车辆控制器240a可以向对话系统100a发送从车辆200a中设置的传感器获取的信息，诸如燃料的剩余量、降雨量、降雨速度、周围障碍物信息、速度、发动机温度、轮胎压力和当前位置。
除由车辆200a中设置的传感器获取的数据(即，信息)之外，车辆控制器240a还可以通过通信装置280发送信息，其中，该信息包括行驶环境信息和用户信息，例如，交通状况、天气、温度、乘客信息和驾驶员个人信息，并且该信息是从外部内容服务器300、移动装置400a、400b、400c和400d或外部装置获取的。车辆控制器240a可以将关于车辆的多个功能的功能控制信息发送到对话系统100a。
车辆控制器240a可以将通过车辆到一切(V2X)通信从外部获取的行驶环境信息发送到对话系统100a。
从对话系统100a发送的行驶环境信息可以包括关于前面的交通信息、相邻车辆的访问信息、与另一车辆的碰撞警告、实时交通状况、意外情况和交通流量控制状态。
根据从对话系统100a输出的响应，车辆控制器240a可以控制车辆200a执行与用户的意图或当前状况相对应的动作。也就是说，车辆控制器240a可以接收用于从对话系统100a发送的至少一个功能的控制指令，并且控制至少一个负载的操作以基于接收到的控制指令执行至少一个功能。
该至少一个功能可以包括车窗打开/关闭功能、广播开/关功能、广播频道改变功能、空调开/关功能、空调温度控制功能、座椅加热开/关功能、方向盘电热丝开/关功能、音频开/关功能、音频类型改变功能、音量调节功能以及与移动装置的通信连接功能。
执行至少一个功能的至少一个负载可以包括空调装置251、车窗252、车门253、座椅254的电热丝和AVN 255，并且可以进一步包括方向盘电热丝、广播和通信装置280。
例如，当对话系统100a确定出用户的意图或用户所需的服务是降低车辆200a内的温度然后生成并输出相应的指令时，车辆控制器240a可以根据接收到的指令通过控制空调251降低车辆200a内的温度。
再例如，当对话系统100a确定出用户的意图或用户所需的服务是引导到特定目的地的路线并且生成和输出相应的指令时，车辆控制器240a可以通过控制AVN255来执行路线引导。根据需要，通信装置280可以从外部内容服务器300获取地图数据和POI信息，然后利用该信息提供服务。
车辆控制器240a可以监控能够通信的至少一个移动装置400a、400b、400c和400d的状态，并且将移动装置的状态信息发送到对话系统100a。
车辆控制器240a可以从多个移动装置400a、400b、400c和400d中的至少一个接收联系人信息，并将接收到的联系人信息发送到对话系统100a。
当接收到至少一个移动装置的识别信息和功能控制信息时，车辆控制器240a将接收到的移动装置的识别信息和功能控制信息发送到对话系统。
当从对话系统100a接收到至少一个移动装置的控制指令时，车辆控制器240a可以将接收到的控制指令发送到至少一个移动装置400a、400b、400c和400d。
车辆控制器240a可以接收通过除语音之外的信息输入装置220输入的多个讲话者的头衔，并将接收到的多个讲话者的头衔发送到对话系统100a。
车辆控制器240a可以接收通过除语音之外的信息输入装置220输入的多个讲话者的座椅位置，并且可以将接收到的多个讲话者的座椅位置发送到对话系统100a。
车辆控制器240a可以识别座椅信息，并将座椅信息与每个讲话者匹配并存储匹配的信息。
座椅信息可以包括座椅倾角信息、座椅前后位置信息、座椅电热丝开/关信息、座椅电热丝温度信息和座椅通风装置开/关信息中的至少一种。
车辆控制器240a可以获取由检测器检测到的座椅信息，并且可以将获取的座椅信息发送到对话系统。
车辆控制器240a可以包括存储器和处理器，所述存储器存储用于执行上述操作和稍后描述的操作的程序；所述处理器包括用于执行存储的程序。可以设置至少一个存储器和至少一个处理器，并且当设置多个存储器和处理器时，它们可以集成在一个芯片上或物理上分开。
车辆检测器260(即，探测器)可以检测车辆状态信息，诸如燃料的剩余量、轮胎压力和当前车辆位置、发动机温度、车辆速度、制动踏板压力、加速器踏板和维护时间。
车辆检测器260检测行驶环境信息，诸如外部温度、内部温度、乘客是否乘坐副驾驶员座椅、左后座椅或右后座椅上、座椅电热丝开/关、座椅通风开/关、座椅前后位置、外部湿度、内部湿度、降雨量、降雨速度和邻近的障碍物信息。
也就是说，车辆检测器可以包括多个传感器以检测车辆状态信息和环境信息。
检测器配置为检测乘客是否坐在副驾驶员座椅、左后座椅或右后座椅上，检测器可以包括安全带检测器或重量检测器或压力检测器，所述安全带检测器配置为检测每个安全带是否被紧固，其中，座椅安全带检测器或重量检测器设置于座椅中以检测乘客是否就座。
检测器配置为检测座椅倾角和前后位置，检测器可以检测由角度调节器和位置调节器执行的调节信息，所述角度调节器设置于座椅中以调节座椅倾角；所述位置调节器配置为调节座椅的前后位置。
此外，车辆控制器可以接收由角度调节器调节的座椅倾角和由位置调节器调节的座椅位置。
通信装置280可以与外部内容服务器300和多个移动装置400a、400b、400c和400d通信，并且可以与其它车辆和基础设施通信。
通信装置280还配置为将接收到的信息发送到对话系统和车辆控制器中的至少一个，并且配置为将对话系统100a和车辆控制器240a的信息发送到外部。
外部内容服务器300根据从远程对话系统服务器发送的响应向对话系统提供向用户提供所需服务所需的信息。
多个移动装置400a、400b、400c和400d经由车辆的通信装置280与车辆控制器240a和对话系统100a中的至少一个通信。
多个移动装置400a、400b、400c和400d可以是车辆中的乘客的移动装置。移动装置之一可以是车主的移动装置，而其余的移动装置可以是除了车主之外的乘客的移动装置。
在多个移动装置400a、400b、400c和400d中，除了车主的移动装置，乘客的移动装置可以仅向车辆控制器240a和对话系统100a中的至少一个提供预先确定的有限信息。
例如，预先确定的有限信息可以包括与车辆的功能有关的功能控制信息和联系人信息。
图51是示出根据本发明的另一实施方案的对话系统的详细控制框图，并且将参照图52至图54来进行描述。
图52是示出根据本发明的另一实施方案的对话系统的输入处理器的控制框图，
图53是示出根据本发明的另一实施方案的对话系统的输入处理器的详细控制框图，而图54是示出根据本发明的另一实施方案的对话系统的结果处理器的控制框图。
如图51所示，对话系统100a包括输入处理器110a、对话管理器120a、结果处理器130a和储存装置140a。
输入处理器110a可以接收两种输入，诸如用户语音和除语音之外的输入。除语音之外的输入可以包括识别用户的手势，除通过输入装置的操作输入的用户的语音之外的输入，指示车辆状态的车辆状态信息，与车辆的行驶信息相关的行驶环境信息以及指示用户的状态的用户信息。
此外，除上述信息之外，只要信息用于识别用户的意图或者向用户或车辆提供服务，就可以将与用户和车辆相关的信息输入到输入处理器110a。用户可以包括驾驶员和乘客。
输入处理器110a通过识别用户的语音将用户的语音转换为文本类型的话语，并通过将自然语言理解算法应用于用户话语来识别用户的意图。
输入处理器110a收集除用户语音之外的与车辆状态或车辆的行驶环境相关的信息，然后利用收集到的信息来理解语境。
输入处理器110a将通过自然语言理解技术获取的用户意图以及与语境相关的信息发送到对话管理器120a。
如图52所示，输入处理器110a可以包括语音输入处理器a1和语境信息处理器a2，所述语音输入处理器a1配置为接收从语音输入装置210发送的关于用户语音的信息；所述语境信息处理器a2配置为接收从除语音之外的信息输入装置220发送的除用户语音之外的输入信息。
输入处理器110a可以进一步包括预先发声确定器151。
如图52至图53所示，语音输入处理器a1可以包括语音识别器a11、自然语言理解部分a12和对话输入管理器a13，所述语音识别器a11通过识别输入的用户的语音输出文本类型的话语；所述自然语言理解部分a12通过将自然语言理解技术应用于用户的话语来识别话语中包含的用户的意图；所述对话输入管理器a13将自然语言理解的结果和语境信息发送到对话管理器120a。
语音识别器a11可以包括语音识别引擎，并且语音识别引擎可以通过将语音识别算法应用于输入语音来识别用户发出的语音并生成识别结果。
语音识别器a11识别输入的语音模式以识别讲话者。
与语音识别器a11的识别结果相对应的文本形式的话语被输入到自然语言理解部分a12。
语音识别器a11还可以通过利用配置为在特定方向上生成波束的波束形成算法来估算发声位置。发声位置可以表示讲话者座椅的位置。
波束形成算法是这样的算法：利用到达至少两个麦克风的信号之间的时间差以及麦克风之间的距离来估算语音发声方向。
波束成形算法可以仅增强估算的语音位置的语音信号，或者通过干扰噪声去除其余位置处的语音。
如上所述，通过利用波束形成，语音识别器a11可以改善去除或分离噪声源的声音分离的性能，或者识别发声位置的性能，并且通过利用后置滤波，语音识别器a11可以减少没有方向性的噪声或混响。
自然语言理解部分a12可以通过应用自然语言理解技术来识别包含在话语句子中的用户意图。因此，用户可以通过自然对话输入控制指令，并且对话系统100a还可以引起控制指令的输入并通过对话提供用户所需的服务。
自然语言理解部分a12可以对文本形式的话语进行形态分析。语素是意义的最小单位，并且代表不能再细分的最小语义元素。因此，形态分析是自然语言理解的第一步，并将输入字符串转换为语素字符串。
自然语言理解部分a12可以基于形态分析结果从话语中提取域。该域可以用于识别用户话语的主语。
自然语言理解部分a12可以从话语中识别实体名称。实体名称可以是专有名词，例如，人名、地名、组织名称、时间、日期、货币以及头衔，并且实体名称识别可以配置为识别句子中的实体名称并确定识别的实体名称的类型。自然语言理解部分a12可以利用实体名称识别从句子中提取重要关键字并识别句子的含义。
自然语言理解部分a12可以分析存在于话语中的言语行为。言语行为分析可以配置为识别用户话语的意图，例如，用户是否询问问题，用户是否进行请求，用户是否给出指令，用户是否响应或者用户是否简单地表达情绪。
基于存储在关系规则DB 141b中的信息，自然语言理解部分a12可以识别话语是敬语还是非敬语以及话语是否具有尊称。
关系规则DB 141b可以存储与分组相关的信息、分组头衔、与头衔相对应的等级、尊称、敬语和非敬语。
该分组可以是用户所属的分组，并且可以包括公司、家庭、学校、俱乐部、上下级和朋友。
自然语言理解部分a12可以基于存储在短期存储器144a中的关系、讲话者的优先级、讲话者的座椅位置和功能控制信息中的至少一个来识别句子的含义和话语的意图。
自然语言理解部分a12提取与用户的话语意图相对应的动作。自然语言理解部分a12可以基于诸如域、实体名称和言语行为的信息来识别用户的话语的意图，并提取与话语相对应的动作。动作可以由对象和操作者定义。
自然语言理解部分a12可以提取与动作执行相关的参数。与动作执行相关的参数可以是动作执行直接需要的有效参数，或者是用于提取有效参数的无效参数。
作为自然语言理解部分a12的处理结果的形态分析结果、域信息、动作信息、言语行为信息、提取的参数信息、实体名称信息和语法树可以被发送到对话输入管理器a13。
语境信息处理器a2接收从除语音之外的信息输入装置220和车辆控制器240a输入的语境信息，诸如车辆状态信息、行驶环境信息和用户信息。
如图52至图53所示，语境信息处理器a2可以包括语境信息收集器a21、语境信息收集管理器a22和语境理解部分a23，所述语境信息收集器a21收集来自除语音之外的信息输入装置220和车辆控制器240a的信息；所述语境信息收集管理器a22管理语境信息的收集；所述语境理解部分a23基于自然语言理解的结果和收集到的语境信息来理解语境。
更具体地，语境信息处理器a2的语境信息收集器a21可以周期性地收集数据，或仅在发生特定事件时收集数据。此外，语境信息收集器a21可以周期性地收集数据，然后额外地在特定事件发生时收集数据。
此外，当接收到来自语境信息收集管理器a22的数据收集请求时，语境信息收集器a21可以收集数据。
语境信息收集器a21可以收集所需信息，然后将该信息存储在语境信息DB142a或短期存储器144a中。语境信息收集器a21可以将确认信号发送到语境信息收集管理器a22。
语境信息收集器a21可以从多个移动装置中的至少一个接收联系人信息，并从多个移动装置中的至少一个接收功能控制信息。
功能控制信息可以是关于在车辆中执行的功能中由用户控制的功能的控制信息。
语境信息收集管理器a22将确认信号发送到语境理解部分a23。语境理解部分a23从语境信息DB 142a、长期存储器143a或短期存储器144a收集所需信息，并将收集到的信息发送到对话输入管理器a13。
例如，语境信息收集器a21可以接收目的地信息、行驶时间信息、行驶距离信息、高速行驶信息、车窗打开/关闭信息、广播开/关信息、广播频道改变信息、空调开/关信息、空调温度控制信息、座椅电热丝开/关信息、座椅前/后位置调节信息、方向盘电热丝开/关信息、音频开/关信息、音频类型改变信息、音量调节信息、与移动装置的通信连接信息、移动装置的联系人信息、移动装置的功能控制信息、外部温度信息、内部温度信息、外部湿度信息、内部湿度信息、制动踏板压力信息、加速器踏板压力信息、维护信息和燃料信息。
语境信息收集管理器a22监控接收到的各种信息，并将监控的信息发送到语境理解部分a23。
语境理解部分a23基于接收到的联系人信息获取讲话者之间的关系。
语境理解部分a23基于接收到的功能控制信息、关系和头衔中的至少一个来确定车辆中的讲话者之间的等级(该等级是优先级)。
语境理解部分a23可以随着时间的推移基于每个讲话者的对话内容来识别每个讲话者的对话流和语境或意图。
当预先发声确定器151确定是预先发声语境时，语境理解部分a23可以识别讲话者之间的优先级，并且识别车辆中的讲话者中具有最高优先级的讲话者。
语境理解部分a23还可以识别具有最高优先级的讲话者的移动装置的识别信息或电话号码。
预先发声确定器151可以分析发送的数据并确定发送的数据是否满足存储在预先发声条件表145a中的预先发声条件。
在预先发声条件表145a中，可以针对每个语境信息存储当满足相应的预先发声条件时输出的与语境信息相关的预先发声条件以及预先发声消息。
当从预先发声条件表145a发送的语境信息满足预先发声条件时，预先发声确定器151可以确定出是预先发声语境，并且生成预先发声的触发信号。
预先发声确定器151可以将预先发声的触发信号以及与对应的预先发声语境相对应的预先发声消息发送到语境理解部分a23。此外，预先发声确定器151可以发送与对应的预先发声语境相关的信息。与对应的预先发声语境相关的信息可以包括稍后描述的与对应的预先发声语境相对应的预先发声条件或者与预先发声语境相对应的动作。
当与对应于用户话语的意图的动作执行相关的语境信息未存储在语境信息DB142a、长期存储器143a或短期存储器144a中时，语境理解部分a23向语境信息收集管理器a22请求所需信息。
对话管理器120a基于从输入处理器a1发送的用户的意图、讲话者之间的关系以及与语境相关的信息来确定与用户的意图或当前语境相对应的动作，并管理执行相应动作所需的参数。
根据实施方案，动作可以表示用于提供特定服务的各种动作，并且可以预先确定动作的种类。根据需要，提供服务可以与执行动作相对应。
例如，可以在域/动作推断规则DB 141a(参考图53)中预定义诸如路线引导、车辆状态检查和加油站推荐的动作，可以根据存储的推断规则提取与用户的话语相对应的动作，即用户预期的动作。可以预先定义与车辆中发生的事件相关的动作，然后将其存储在语境理解表145中(参考图53)。
动作的种类没有限制。如果允许对话系统100a经由车辆200a或移动装置400a、400b、400c和400d执行动作，并且该动作在其推断规则或该动作与其它动作/事件的关系被存储的同时被预定义，则该动作可以是上述提到的动作。
对话管理器120a将与确定的动作相关的信息发送到结果处理器130a。
结果处理器130a生成并输出对话响应以及执行发送的动作所需的指令。对话响应可以以文本、图像或音频类型输出。当输出了指令时，可以执行与输出的指令相对应的诸如车辆控制和提供外部内容的服务。
参照图54，结果处理器130a可以包括响应生成管理器131a、对话响应生成器132a、输出管理器133a、服务编辑器134a、存储器管理器135a和指令生成器136a，所述响应生成管理器131a管理执行从对话管理器120a输入的动作所需的响应的生成；所述对话响应生成器132a根据响应生成管理器131a的请求生成文本、图像或音频类型的响应；所述指令生成器136a根据响应生成管理器131a的请求，利用外部内容生成用于车辆控制或提供服务的指令；所述服务编辑器134a连续地或间歇地执行多个服务并收集其结果以提供用户期望的服务；所述输出管理器133a输出生成的文本类型的响应、图像类型的响应或音频类型的响应，输出由指令生成器136a生成的指令，或者当输出为多个时确定输出的顺序；所述存储器管理器135a基于响应生成管理器131a和输出管理器133a的输出来管理长期存储器143a和短期存储器144a。
移动装置信息存储器144b存储多个移动装置的联系人信息和功能控制信息。此外，移动装置信息存储器144b还可以存储由多个移动装置的所有者占据的座椅的位置。
短期存储器144a存储车辆中每个讲话者的对话内容，按时间顺序存储对话内容，存储每个讲话者的语境和意图，并存储车辆中的讲话者的座椅位置。
指令生成器136a可以基于讲话者的座椅位置和存储在讲话者的移动装置中的功能控制信息，生成每个座椅的座椅控制指令。
指令生成器136a可以基于获取的优先级识别具有最高优先级的讲话者，并且基于存储在具有最高优先级的讲话者的移动装置中的功能控制信息，指令生成器136a可以生成用于控制车辆功能的控制指令。
基于预先发声语境和讲话者之间的关系，指令生成器136a可以生成用于控制在车辆中执行的至少一个功能的控制指令。
服务编辑器134a将各种信息输出到外部服务器300a。
所述各种信息可以是关于用于控制移动装置的控制指令的信息或用于请求移动装置提供信息的信息。
结果处理器130a的详细的组件与根据实施方案的组件相同，因此将省略其描述。
储存装置140a存储用于对话处理和提供服务的各种信息。
例如，储存装置140a可以预先存储与用于自然语言理解的域、动作、言语行为和实体名称相关的信息，以及用于通过输入信息理解语境的语境理解表。此外，储存装置140a可以预先存储由车辆中设置的传感器检测的数据、与用户相关的信息以及动作所需的信息。
储存装置140a存储车辆状态信息和行驶环境信息。
储存装置140a存储在多个移动装置中存储的联系人信息和功能控制信息。
储存装置140a可以存储可以乘坐车辆的讲话者的关系以及讲话者的语音模式。此外，储存装置140a可以按分组存储讲话者的关系。
储存装置140a可以存储讲话者的头衔、讲话者的移动装置的识别信息、电话号码、名称和功能控制信息。
储存装置140a可以存储车辆中的讲话者的优先级，并且可以存储讲话者的座椅位置。
图55是示出具有根据本发明的另一实施方案的对话系统的车辆的控制框图，将参照图56A至图61来进行描述。
当点火开启时，车辆向各种负载供电以进行驱动。此时，车辆中设置的对话系统可以与语音输入装置、除语音之外的信息输入装置和通信装置一起被激活。
车辆可以经由通信装置与多个移动装置通信。此时，车辆可以从多个移动装置接收预先确定的有限信息。此外，车辆可以从车主的移动装置接收预先确定的有限信息。
有限信息表示在不侵犯每个乘客的隐私的水平上，存储在车辆乘客的移动装置中的信息中可以共享的信息。有限信息可以包括联系人信息、车辆的功能控制信息和音乐信息。
从多个移动装置接收到的信息可以被发送到对话系统。
如图56A至图56D所示，车辆的对话系统可以从车辆的乘客的移动装置接收存储在每个移动装置中的联系人信息，并且还可以接收移动装置的所有者的姓名和电话号码。
联系人信息可以包括姓名、分组和电话号码。此外，姓名可以包括头衔。
车辆对话系统存储从多个移动装置接收到的联系人信息。此时，对话系统将接收到的联系人信息的姓名与电话号码进行比较，搜索具有相同姓名和电话号码的联系人，确定检索到的联系人为重复联系人，并删除所有重复联系人只保留一个。
车辆的对话系统基于联系人信息的分组和姓名获取乘客之间的关系。
例如，当联系人信息存储在公司的分组中并且姓名是“高级经理Kim”时，对话系统可以获取存储联系人信息的移动装置的所有者与具有工作职位“高级经理”的其他乘客的关系，该关系是同一公司的同事或合作公司的雇员。
当未指定分组时，对话系统可以确定头衔是否存在于联系人信息中包含的姓名中，并且当确定出头衔包含在姓名中时，对话系统可以基于头衔获取关系。
例如，当联系人信息中的姓名存储为“高级经理Kim”时，对话系统可以获取存储联系人信息的移动装置的所有者与具有工作职位“高级经理”的其他乘客的关系，该关系是同一公司的同事或合作公司的雇员。
此外，车辆可以通过除语音之外的信息输入装置接收关于每个乘客的姓名和关系的信息，并且在对话系统中存储关于姓名和与乘客的关系的信息。此时，每个乘客的关系可以是每个乘客的头衔，即每个讲话者的头衔。
车辆可以经由语音输入装置接收关于每个乘客的姓名和关系的信息作为语音，并将输入的语音发送到对话系统。此时，车辆的对话系统可以对输入的语音进行语音识别，基于识别的语音信息获取每个乘客的姓名和关系，并且存储获取的每个乘客的姓名和关系。
车辆的对话系统可以配置为对通过语音输入装置输入的每个讲话者的语音进行语音识别，并且针对每个讲话者存储识别的语音的语音信息中的语音模式。
也就是说，如图57所示，车辆的对话系统可以存储关于可以在车辆中讲话的讲话者的信息，其中，该信息可以包括每个讲话者的姓名、群组、电话号码、关系和语音模式。或者，车辆的对话系统可以仅存储每个讲话者的名称、关系和语音模式。
通过语音输入装置和除语音之外的信息输入装置，车辆的对话系统可以直接接收关于可以在车辆中讲话的讲话者的信息。
此外，车辆的对话系统可以通过分析和识别经由语音输入装置输入的讲话者的语音自动获取车辆中的讲话者。将描述对其的说明。
当车辆中的讲话者之间进行对话时，可以通过语音输入装置按时间顺序输入车辆中的讲话者的语音(1001)。
也就是说，车辆可以通过语音输入装置实时接收语音。此时，车辆的对话系统按语音输入到语音输入装置的顺序进行语音识别。
进行语音识别以以下方式来进行：通过应用语音识别算法，获取关于用户说出的语音的文本类型的话语；通过应用自然语言理解算法识别包含在话语中的用户意图；对文本形式的话语进行形态分析；并基于形态分析结果从话语中提取域。域表示识别出的用户说出的语言的主题。
进行语音识别包括从话语中识别实体名称，分析话语中包含的言语行为，基于存储在关系规则DB 141b中的信息识别话语是敬语还是非敬语，并识别话语是否是尊敬的。
实体名称可以是专有名词，例如，人名、地名、组织名称、时间、日期、货币以及头衔并且实体名称识别可以配置为识别句子中的实体名称并确定识别的实体名称的类型。
言语行为分析可以配置为识别用户话语的意图，例如，用户是否询问问题、用户是否进行请求、用户是否给出指令、用户是否响应或者用户是否简单地表达情绪。
通过利用配置为在特定方向上生成波束的波束形成算法，语音识别的性能包括发声位置，该发声位置是讲话者的座椅位置。
语音识别的性能可以包括识别输入的语音的语音模式。
车辆的对话系统可以通过识别发出具有识别出的语音模式的语音的位置来获取每个讲话者的座椅位置，并且存储获取的每个讲话者的座椅位置。
如上所述，通过利用对话系统，车辆可以实时对车辆中正在进行的对话进行语音识别，从实时识别的讲话者的语音中获取话语和语音模式(1002)，根据语音模式对话语进行分类并存储分类的话语。也就是说，由于车辆根据语音模式对话语进行分类并存储分类的话语，因此车辆可以根据讲话者对对话内容进行分类(1003)。
车辆的对话系统可以通过从话语中识别出实体名称的过程来确定头衔是否包含在获取的话语中，并且当确定出头衔包含在话语中时，车辆的对话系统可以基于确定的头衔获取讲话者与另一讲话者之间的关系(1004)。
车辆的对话系统通过从话语中识别出实体名称的过程来确定尊称是否包含在获取的话语中，并且当确定出尊称包含在话语中时，车辆的对话系统可以基于确定的头衔获取讲话者与另一讲话者之间的关系，并获取讲话者与其他讲话者之间的阶级(即，等级)。
更具体地，车辆的对话系统可以对按照时间顺序输入的语音进行语音识别，并基于在识别的语音中按时间顺序排列的第一语音和第二语音，识别所识别的语音之间的关系是询问和响应、指令和响应，还是请求和响应。对话系统100a可以基于与在具有询问和响应关系、指令和响应关系或者请求和响应关系的对话中识别出的语音信息相对应的话语来获取讲话者之间的关系，并且顺序地获取每位讲话者的语音模式。
也就是说，车辆的对话系统可以基于先前语音识别的语音信息中的话语，获取头衔以获取与用户的关系，并且当输入与对先前话语的响应相对应的语音时，车辆的对话系统可以识别输入的语音。车辆的对话系统可以获取当前语音识别的语音信息中的语音模式，将先前获取的头衔与当前获取的语音模式匹配，并存储匹配的信息。
车辆的对话系统可以确定具有包含在先前发出的语音中的头衔的讲话者响应于先前语音发出当前语音。因此，车辆的对话系统存储包含在先前语音中的头衔作为关系，将当前语音的语音模式与所述关系匹配，并存储匹配的信息。
此外，车辆的对话系统可以确定头衔是否包含在当前语音中，并且当确定出头衔包含在当前语音中时，车辆的对话系统可以将通过先前进行的语音识别获取的语音模式与当前获取的头衔进行匹配，并存储匹配的信息。
也就是说，由于对话系统确定当前响应语音是发出先前问题语音的讲话者的响应语音，因此对话系统可以将包含在响应语音中的头衔存储为关系。对话系统可以将该关系与先前语音的语音模式进行匹配，并存储匹配的信息。
接下来，车辆的对话系统可以基于车辆中的讲话者之间的关系以及每个讲话者的对话内容理解每个讲话者的意图和语境(1005)。车辆的对话系统可以基于讲话者之间的关系、每个讲话者的意图和语境、车辆状态信息和车辆行驶环境信息中的至少一个确定动作，并输出与确定的动作相对应的话语(1007)。
车辆的对话系统可以基于能够在车辆中通信的多个移动装置中的至少一个确定动作，并输出与确定的动作相对应的话语。
将参考图58对其进行描述。
车辆的对话系统可以对车辆中的第一讲话者(U1)的语音进行语音识别，基于语音识别的结果获取头衔“高级经理”，获取与话语意图相对应的问题语音，并获取第一讲话者(U1)的语音模式。
车辆的对话系统可以对车辆中的第二讲话者(U2)的语音进行语音识别，获取与话语意图相对应的响应语音，并获取第二讲话者的语音模式(U2)。
车辆的对话系统可以基于第一讲话者和第二讲话者之间的对话识别第二讲话者和其他讲话者之间的关系是“高级经理”。车辆的对话系统可以将第二讲话者“高级经理”与第二讲话者的语音模式进行匹配，并存储匹配的信息。
在第一讲话者和第二讲话者之间的对话中，车辆的对话系统可以检测到第一讲话者的语音中包含尊称“先生”和敬语“我们可以去吗”，并检测到第二讲话者的语音中包含非敬语“好”和“好的”。因此，车辆的对话系统可以获取第一讲话者和第二讲话者之间的等级。也就是说，车辆的对话系统可以获取第二讲话者的等级高于第一讲话者的等级的等级信息。
车辆可以识别车辆状态信息和车辆行驶环境信息，确定与识别的车辆状态信息和车辆行驶环境信息中的至少一个相对应的动作，以及第一讲话者和第二讲话者之间的对话内容，并输出与确定的动作相对应的话语(S1)。
例如，当通过第一讲话者和第二讲话者之间的对话确定最终目的地时，对话系统可以将AVN的导航目的地与最终目的地进行比较，并且当两个目的地不同时，对话系统可以根据第一讲话者和第二讲话者之间的对话输出话语，话语指示将AVN的导航目的地设置为最终目的地。
当在完成第二讲话者的语音识别之后输入第一讲话者的语音时，车辆的对话系统可以识别当前输入的第一讲话者的语音的话语意图与先前输入的第二讲话者的语音的话语意图之间的关系。当确定当前的第一讲话者的语音与先前的第二讲话者的语音之间不存在关系时，对话系统可以对当前的第一讲话者的语音进行语音识别，以获取话语、语音模式和话语意图，并存储获取的话语、语音模式和话语意图。接下来，对话系统可以为接下来的语音的输入做好准备。
此时，车辆的对话系统可以基于语音识别的结果获取头衔“副经理C”，获取与话语意图相对应的问题语音，并获取第一讲话者(U1)的语音模式。通过将从前两个对话获取的语音模式与当前获取的语音模式进行比较，车辆的对话系统可以获取当前说话的讲话者与第一讲话者相同的信息。
当输入第三讲话者的语音时，车辆的对话系统可以通过对第三讲话者的语音进行语音识别来获取话语、语音模式和话语意图。车辆的对话系统可以基于语音识别的结果获取与话语意图相对应的响应语音，并获取第三讲话者(U3)的语音模式。
也就是说，车辆的对话系统可以确定在前三个对话中包含的语音模式中是否存在与当前获取的语音模式相同的语音模式，并且当确定出相同的语音模式不存在时，车辆的对话系统可以识别出当前说话的讲话者是新的讲话者。
车辆的对话系统可以基于第一讲话者和第三讲话者之间的对话识别第三讲话者和其他讲话者之间的关系是“副经理”。车辆的对话系统可以将第三讲话者“副经理”与第三讲话者的语音模式进行匹配，并存储匹配的信息。
在第一讲话者和第三讲话者之间的对话中，车辆的对话系统可以检测到第一讲话者的语音中包含非敬语并且检测到在第三讲话者的发言中包含敬语“是”以及“先生，(我)把它带来了”。因此，车辆的对话系统可以获取第一讲话者和第三讲话者之间的等级。也就是说，车辆的对话系统可以获取第一讲话者的等级高于第三讲话者的等级的等级信息。
当在完成第三讲话者的语音识别之后输入第三讲话者的语音时，车辆的对话系统可以识别当前输入的第三讲话者的语音的话语意图与先前输入的第三讲话者的语音的话语意图之间的关系。当确定出当前第三讲话者的语音与先前第三讲话者的语音之间不存在关系时，对话系统可以对当前第三讲话者的语音进行语音识别，以获取话语、语音模式和话语意图，并存储获取的话语、语音模式和话语意图。接下来，对话系统可以为接下来的语音的输入做好准备。
此时，车辆的对话系统可以基于语音识别的结果获取头衔“总监”，获取与话语意图相对应的问题语音，并获取第三讲话者(U3)的语音模式。通过将从前四个对话获取的语音模式与当前获取的语音模式进行比较，车辆的对话系统可以获取当前说话的讲话者与第四讲话者相同的信息。
当输入第四讲话者(U4)的语音时，车辆的对话系统可以通过对第四讲话者的语音进行语音识别来获取话语、语音模式和话语意图。车辆的对话系统可以基于语音识别的结果获取与话语意图相对应的响应语音，并获取第四讲话者(U4)的语音模式。
也就是说，车辆的对话系统可以确定在前四个对话中包含的语音模式中是否存在与当前获取的语音模式相同的语音模式，并且当确定出相同的语音模式不存在时，车辆的对话系统可以识别出当前说话的讲话者是新的讲话者。
车辆的对话系统可以基于第三讲话者和第四讲话者之间的对话识别第四讲话者和其他讲话者之间的关系是“总监”。车辆的对话系统可以将第四讲话者“总监”与第四讲话者的语音模式进行匹配，并存储匹配的信息。
在第三讲话者和第四讲话者之间的对话中，车辆的对话系统可以检测到第三讲话者的语音中包含尊称“先生”和敬语“先生，您冷吗”，并检测到在第四讲话者的发言中包含非敬语“好”和“好的”。因此，车辆的对话系统可以获取第三讲话者和第四讲话者之间的等级。也就是说，车辆的对话系统可以获取第四讲话者的等级高于第三讲话者的等级的等级信息。
车辆可以识别车辆状态信息和车辆行驶环境信息，确定与识别的车辆状态信息和车辆行驶环境信息中的至少一个相对应的动作，以及第三讲话者和第四讲话者之间的对话内容，并输出与确定的动作相对应的话语(S1)。
例如，当通过第三讲话者和第四讲话者之间的对话确定出将空调的温度升高一度的动作时，对话系统可以输出指示空调的目标温度升高一度的话语。
此外，车辆的对话系统可以通过第一讲话者、第二讲话者、第三讲话者和第四讲话者的对话来识别第一讲话者、第二讲话者、第三讲话者和第四讲话者的等级，并且可以确定与等级相对应的优先级。
结果，车辆的对话系统可以识别第二讲话者的工作职位是“高级经理”，因为第一讲话者以与头衔相对应的“高级经理”来称呼第二讲话者。车辆的对话系统可以识别出第三讲话者的工作职位是“副经理”，因为第一讲话者以与头衔相对应的“副经理”来称呼第三讲话者。车辆的对话系统可以识别出第四讲话者的工作职位是“总监”，因为第三讲话者以与头衔相对应的“总监”来称呼第四讲话者。
由于第一讲话者以尊称来称呼第二讲话者，所以车辆的对话系统可以识别出第二讲话者的等级高于第一讲话者的等级。由于第三讲话者以尊称来称呼第一讲话者，因此车辆的对话系统可以识别出第一讲话者的等级高于第三讲话者的等级。由于第三讲话者以尊称来称呼第四讲话者，因此车辆的对话系统可以识别出第四讲话者的等级高于第三讲话者的等级。
此外，对话系统可能无法在对话中识别出第一讲话者的工作职位。然而，对话系统可以估计第一讲话者的工作职位是“经理”，或者第一讲话者的工作职位与第三讲话者相同，而第三讲话者的资历比第一讲话者高，或者第一讲话者的工作职位与第二个讲话者相同，而第二个讲话者的资历比第一讲话者低。因此，对话系统可以将估计的等级存储为优先级。
车辆的对话系统可以确定是否是预先发声语境，并且当确定是预先发声语境时，对话系统可以确定与预先发声语境相对应的动作，并输出与确定的动作相对应的话语。
当确定出响应于确定的动作需要控制至少一个功能时，车辆的对话系统可以基于确定的动作生成控制指令以控制至少一个功能(1008)，并且基于生成的控制指令，车辆的对话系统可以通过控制车辆中设置的多个负载中的至少一个操作来控制至少一个功能(1009)。
更具体地，车辆的对话系统确定从语境信息DB 142a、长期存储器143a或短期存储器144a发送的语境信息是否满足预先发声条件表145a的预先发声条件，并且当语境信息满足预先发声条件时，车辆的对话系统确定与当前发生的预先发声语境相关的任务是否重复。
当确定出与当前发生的预先发声语境相关的任务重复时，车辆的对话系统可以终止预先发声语境，而当确定出任务不重复时，车辆的对话系统可以执行预先发声操作。
执行预先发声操作可以包括经由扬声器232输出与预先发声语境相对应的预先发声消息。当输入讲话者的语音时，对话系统可以识别输入的语音并执行与识别的语音相对应的功能。
例如，当由于交通信息的改变而需要建议改变到目的地的路线时，对话系统可以输出关于路线改变建议的语音作为预先发声，并且当输入指示同意路线改变的响应语音时，对话系统可以向AVN输出关于路线改变的控制指令，以便改变到目的地的路线。AVN改变到目的地的路线，并基于改变的路线输出路线引导信息。
车辆的对话系统可以基于车辆中的讲话者之间的对话来获取关系、语音模式和座椅位置，或者，车辆的对话系统可以基于存储在储存装置中的信息获取关于讲话者的信息。将在后面描述对其的说明。
车辆的对话系统可以通过对车辆中的讲话者之间的对话进行语音识别来获取语音模式，通过将获取的语音模式与存储在储存装置140a中的语音模式进行比较识别车辆中的讲话者，并获取存储在储存装置140a中的关于讲话者的信息。
获取的讲话者的信息可以包括姓名、电话号码、关系和语音模式。
通过利用配置为在特定方向上生成波束的波束形成算法，对话系统可以获取与讲话者的座椅位置相对应的发声位置。车辆的对话系统可以通过检查发出获取的语音模式的发声位置获取每个讲话者的座椅位置。
车辆的对话系统基于收集的关于讲话者的信息获取讲话者之间的关系，并基于获取的关系确定讲话者之间的优先级。
如图59A所示，当经理、高级经理、副经理和总监乘车时，对话系统可以根据工作职位确定总监的优先级最高，高级经理的优先级是总监后第二高的，经理的优先级是高级经理之后第三高的，副经理的优先级最低。
如图59B所示，当女儿，父亲和母亲乘车时，对话系统可以根据家庭关系中的等级确定父亲的优先级最高，母亲的优先级是父亲之后第二高的，女儿的优先级最低。
车辆的对话系统请求与讲话者的移动装置通信。
当执行与多个移动装置的通信时，车辆的对话系统接收功能控制信息以控制车辆的功能，并存储接收到的多个移动装置的功能控制信息。
车辆的对话系统可以通过将诸如讲话者的姓名和电话号码之类的识别信息与多个移动装置的电话号码和所有者姓名进行比较来识别每个讲话者的移动装置，并基于识别结果获取每个讲话者的功能控制信息。
车辆可以识别乘车的讲话者的座椅位置，并基于识别的每个讲话者的座椅位置和每个讲话者的功能控制信息控制座椅的操作。
车辆可以基于存储在具有最高优先级的讲话者的移动装置中的功能控制信息来控制在车辆中执行的多个功能中的至少一个功能。
此外，当具有最高优先级的两个或更多个讲话者乘车时，车辆可以通过利用语音请求在两个或更多个讲话者中选择任何一个讲话者，当通过语音输入装置输入讲话者的语音时，识别讲话者的语音，识别在识别出语音的话语中包含的讲话者，并基于存储在识别出的讲话者的移动装置中的功能控制信息，控制在车辆中执行的多个功能中的至少一个功能。
将描述用于基于讲话者的优先级控制在车辆中执行的至少一个功能的配置作为示例。
如图59A所示，当经理坐在驾驶员座椅上时，总监坐在副驾驶员座椅上，高级经理坐在左后座椅上，并且副经理坐在右后座椅上，对话系统可以设置总监具有最高优先级，并请求与总监的移动装置进行通信。当通信连接到总监的移动装置时，对话系统可以接收用于控制车辆功能的功能控制信息，并存储接收到的功能控制信息。
如图60所示，对话系统可以接收存储在总监的移动装置中的广播频道信息、空调信息和座椅信息，并存储接收到的广播频道信息、空调信息和座椅信息。
接下来，对话系统可以确定与存储的广播频道信息、空调信息和座椅信息相对应的动作，并输出与确定的动作相对应的话语。
如图61所示，对话系统可以基于功能控制信息确定总监偏好收听广播，并输出关于具有头衔“总监”的收听广播的话语。
对话系统识别通过语音输入装置输入的语音，并从识别出的语音的语音信息中获取话语和语音模式。当确定出获取的语音模式是总监的语音模式并且话语包含肯定的词语时，对话系统可以生成用于开启广播功能的控制指令。
当确定出在功能控制信息中包含多个广播频道时，对话系统可以用话语输出关于多个广播频道的信息。
对话系统识别通过语音输入装置输入的语音，并从识别出的语音的语音信息中获取话语和语音模式。当确定出获取的语音模式是总监的语音模式时，对话系统可以获取关于话语中包含的频道的信息，并且利用话语输出获取的频道信息。
对话系统生成获取的频道信息的控制指令，并将生成的广播功能打开命令和频道信息控制命令发送到车辆中设置的广播。
对话系统可以基于存储在总监的移动装置中的功能控制信息来获取总监偏好的空调信息，并输出关于获取的空调信息的话语。
对话系统识别通过语音输入装置输入的语音，并从识别出的语音的语音信息中获取话语和语音模式。当确定获取的语音模式是总监的语音模式并且话语包含肯定的词语时，对话系统可以输出关于改变空调功能的话语。
对话系统生成空调功能的控制指令，并将生成的控制指令输出到空调。
此时，空调将当前的空调设置信息与对应于接收到的控制指令的信息进行比较，并且当确定出两种信息不同时，空调基于接收到的控制指令改变空调的设置信息。
也就是说，在当前设置温度为25度而接收到的目标温度为24度时，空调将目标温度改为24度，并且在当前设置风量为“中”而接收到的目标风量为“弱”时，空调将风量改为“弱”。
此外，在当前设置温度为24度且接收到的目标温度为24度时，空调将当前温度保持在24度，在当前设置风量为“弱”且接收到的目标风量为“弱”时，空调保持风量为“弱”。
对话系统基于存储在总监的移动装置中的功能控制信息中的座椅信息，生成用于控制座椅的倾斜、前后位置、腰椎支撑和电热丝的控制指令，并且将生成的控制指令发送到副驾驶员座椅。
此时，前排副驾驶员座椅识别与接收到的控制指令相对应的座椅的倾斜信息、前后位置信息、腰椎支撑信息以及电热丝信息，并控制倾斜、前排和后排的水平位置、腰椎支撑和电热丝。
此外，对话系统可以接收存储在高级经理和副经理的移动装置中的功能控制信息，可以生成用于控制座椅倾斜、前后位置、腰椎支撑和电热丝的控制指令，并且可以将生成的控制指令发送到左后座椅和右后座椅。
左后座椅和右后座椅识别与接收到的控制指令相对应的座椅的倾斜信息、前后位置信息、腰椎支撑信息以及电热丝信息，并控制倾斜、前排和后排的水平位置、腰椎支撑和电热丝。
从以上描述中显而易见的是，根据提出的对话系统、车辆和用于控制车辆的方法，基于各种信息(例如，在车辆行驶期间与用户的对话和车辆状态信息、行驶环境信息和用户信息)，可以通过精确地识别用户的意图来提供适合于用户意图的服务或用户所需的服务。
当需要对话系统执行预先发声时，对话系统确定是否多个讲话者乘车。当确定多个讲话者乘车时，对话系统可以基于讲话者之间的关系选择对话的领导者，通过语音识别继续与选择的领导者的对话，建议控制在车辆中设置的多个功能中的至少一个功能，并且使得系统和多个讲话者之间的对话顺利地进行。
通过对话功能，可以提高车辆的质量，增加商业性，增加用户的满意度，并且提高用户的便利性和车辆的安全性。
尽管已经显示并描述了几个本发明的实施方案，但是本领域技术人员能够理解的是，在不偏离本发明的原理和精神的情况下，可以对这些实施方案进行修改，本发明的范围由权利要求书及其等价形式所限定。
根据提出的对话处理装置，具有该对话处理装置的车辆和对话处理方法，可以通过使用车辆专用的对话处理方法来提供适合于用户意图的服务或用户所需的服务。
此外，通过考虑车辆中出现的各种语境，可以提供用户所需的服务。具体地，无论用户的话语如何，都可以基于由对话系统100收集的语境信息或驾驶员信息来确定用户所需的服务并主动提供该服务。

Claims (23)

1.一种对话系统，其包括：
语音输入处理器，其配置为：
当输入多个讲话者的语音时，通过识别输入的语音获取话语和语音模式，
基于获取的话语和语音模式，对多个讲话者中的每个讲话者的对话内容进行分类；
语境信息处理器，其配置为：
基于获取的话语，获取多个讲话者中的讲话者之间的关系，
基于获取的多个讲话者中的讲话者之间的关系以及分类的多个讲话者中的每个讲话者的对话内容，确定多个讲话者中的每个讲话者的意图和语境；
储存装置，其配置为存储多个讲话者中的讲话者之间的关系以及多个讲话者中的每个讲话者的语音模式；
对话管理器，其配置为确定与获取的关系相对应的动作以及多个讲话者中的每个讲话者的意图和语境；
结果处理器，其配置为输出与确定的动作相对应的话语；
其中，所述动作包括对话响应，所述对话响应提供给多个扬声器用于提供特定服务。
2.根据权利要求1所述的对话系统，其中：
当语境信息处理器从移动装置接收到联系人信息时，所述语境信息处理器配置为：基于接收到的联系人信息，获取与用户进行对话的讲话者的姓名、头衔或电话号码中的至少一个，并且基于获取的与用户进行对话的讲话者的姓名、头衔或电话号码中的至少一个，获取多个讲话者中的讲话者之间的关系。
3.根据权利要求1所述的对话系统，其中：
所述语境信息处理器配置为基于获取的多个讲话者中的讲话者的关系确定多个讲话者中的讲话者之间的优先级，
所述储存装置配置为存储多个讲话者中的每个讲话者的功能控制信息，
所述对话管理器配置为确定与确定的优先级和存储的功能控制信息相对应的动作，
所述结果处理器配置为基于确定的优先级和存储的多个讲话者中的每个讲话者的功能控制信息生成控制指令以控制功能，并将生成的控制指令输出到装置。
4.根据权利要求1所述的对话系统，其进一步包括：
预先发声确定器，其配置为确定预先发声语境，
其中，所述语境信息处理器配置为基于获取的多个讲话者中的讲话者之间的关系确定多个讲话者中的讲话者之间的优先级，并且基于确定的优先级识别多个讲话者中的具有最高优先级的讲话者；
所述对话管理器配置为确定与具有最高优先级的讲话者和预先发声语境相对应的动作。
5.一种车辆，其包括：
多个负载；
语音输入装置，其配置为接收语音；
对话系统，其配置为：
通过识别经由语音输入装置输入的语音获取话语和语音模式，
基于获取的话语和语音模式，对多个讲话者中的每个讲话者的对话内容进行分类，
基于获取的话语，获取多个讲话者中的讲话者之间的关系，
基于获取的多个讲话者中的讲话者之间的关系以及分类的多个讲话者中的每个讲话者的对话内容，确定多个讲话者中的每个讲话者的意图和语境；
确定与获取的多个讲话者中的讲话者之间的关系以及获取的多个讲话者中的每个讲话者的意图和语境相对应的动作，
输出与确定的动作相对应的话语，
生成与确定的动作相对应的控制指令；
车辆控制器，其配置为当接收到控制指令时，基于接收到的控制指令控制多个负载中的至少一个负载。
6.根据权利要求5所述的车辆，其进一步包括：
通信装置，其配置为与移动装置通信，
其中，所述对话系统配置为：
当从移动装置接收到联系人信息时，基于联系人信息获取与用户进行对话的讲话者的姓名、头衔或电话号码中的至少一个，
基于获取的与用户进行对话的讲话者的姓名、头衔或电话号码中的至少一个，获取多个讲话者中的讲话者之间的关系，
存储多个讲话者中的每个讲话者的姓名、头衔或电话号码，多个讲话者中的讲话者之间的关系，以及多个讲话者中的每个讲话者的语音模式中的至少一个信息。
7.根据权利要求6所述的车辆，其中，所述对话系统配置为：
从多个讲话者的移动装置接收用于控制车辆功能的功能控制信息，
将接收到的多个讲话者中的每个讲话者的功能控制信息存储在储存装置中，
基于多个讲话者中的讲话者之间的关系，确定多个讲话者中的讲话者之间的优先级，
确定与确定的优先级和存储的功能控制信息相对应的动作，
基于确定的优先级和存储的功能控制信息生成控制指令以控制至少一个功能，将生成的控制指令输出到多个负载中的至少一个负载。
8.根据权利要求7所述的车辆，其中，
所述对话系统配置为当通过语音输入装置输入语音时识别语音，并通过将识别的语音的语音模式与存储在储存装置中的语音模式进行比较来识别讲话者。
9.根据权利要求7所述的车辆，其中，
所述功能控制信息包括：多个座椅中的每个座椅的座椅倾角信息、前排和后排的每个座椅的水平位置的信息、空调的风量和风向信息、座椅电热丝开/关信息、座椅电热丝温度信息、座椅通风开/关信息和腰椎支撑信息。
10.根据权利要求9所述的车辆，其进一步包括：
除语音之外的信息输入装置，
其中，所述对话系统配置为存储通过除语音之外的信息输入装置输入的讲话者的座椅位置。
11.根据权利要求9所述的车辆，其中，
所述对话系统配置为基于语音信号到达语音输入装置的时间识别发声位置，识别与识别的发声位置相对应的座椅位置，识别到达语音输入装置的语音的语音模式，将识别的语音的语音模式与识别的座椅位置进行匹配，并存储识别的语音的语音模式与识别的座椅位置匹配的信息。
12.根据权利要求11所述的车辆，其进一步包括：
检测器，其设置于多个座椅中，所述检测器配置为检测多个座椅的座椅倾角信息以及前排和后排的座椅的水平位置，
其中，所述对话系统配置为将座椅倾角信息和水平位置与识别的座椅位置进行匹配，并且存储座椅倾角信息和水平位置与识别的座椅位置匹配的信息。
13.根据权利要求5所述的车辆，其中，
所述对话系统配置为基于多个讲话者中的讲话者之间的关系确定预先发声语境，并输出与预先发声语境相对应的话语。
14.根据权利要求13所述的车辆，其中，
所述对话系统配置为基于多个讲话者中的讲话者之间的关系，确定多个讲话者中的讲话者之间的优先级，基于确定的优先级识别具有最高优先级的讲话者，并且确定与具有最高优先级的讲话者和预先发声语境相对应的动作。
15.根据权利要求5所述的车辆，其中，
在确定当前输入的话语的意图为对先前输入的语音的响应时，所述对话系统配置为基于与先前输入的语音相对应的话语获取与当前输入的话语的讲话者的关系。
16.根据权利要求15所述的车辆，其中，
所述对话系统配置为将获取的当前输入的语音的讲话者的关系与当前输入的语音的语音模式进行匹配，并存储匹配的信息。
17.一种用于控制车辆的方法，所述方法包括：
当通过语音输入装置输入多个讲话者的语音时，通过语音识别获取话语和语音模式；
基于获取的话语和语音模式，对多个讲话者中的每个讲话者的对话内容进行分类；
基于获取的话语，获取多个讲话者中的讲话者之间的关系；
基于获取的关系确定多个讲话者中的每个讲话者的意图和语境；
确定与获取的关系以及获取的多个讲话者中的每个讲话者的意图和语境相对应的动作，并输出与确定的动作相对应的话语；
生成与确定的动作相对应的控制指令；
基于生成的控制指令控制多个负载中的至少一个负载。
18.根据权利要求17所述的方法，其进一步包括：
基于从移动装置接收到的联系人信息，获取多个讲话者中的讲话者的姓名、头衔或电话号码中的至少一个；
基于多个讲话者中的讲话者的姓名、头衔或电话号码中的至少一个获取多个讲话者中的讲话者之间的关系；
在储存装置中存储每个讲话者的姓名、头衔和电话号码中的至少一个以及多个讲话者中的讲话者之间的关系。
19.根据权利要求18所述的方法，其进一步包括：
从多个讲话者的移动装置接收用于控制车辆功能的功能控制信息；
基于多个讲话者中的讲话者之间的关系，确定多个讲话者中的讲话者之间的优先级；
确定与确定的优先级和接收到的每个讲话者的功能控制信息相对应的动作；
基于确定的优先级和接收到的每个讲话者的功能控制信息生成控制指令以控制至少一个功能；
将生成的控制指令输出到多个负载中的至少一个负载。
20.根据权利要求17所述的方法，其进一步包括：
获取讲话者的座椅位置；
存储讲话者的座椅位置。
21.根据权利要求17所述的方法，其进一步包括：
基于语音信号到达语音输入装置的时间识别发声位置；
识别与识别的发声位置相对应的座椅位置；
识别到达语音输入装置的语音的语音模式；
将识别的语音的语音模式与识别的座椅位置进行匹配，并存储匹配的信息。
22.根据权利要求21所述的方法，其进一步包括：
基于多个讲话者中的讲话者之间的关系，确定多个讲话者中的讲话者之间的优先级；
基于确定的优先级识别具有最高优先级的讲话者，并确定预先发声语境；
当确定预先发声语境时，输出与具有最高优先级的讲话者和预先发声语境相对应的话语。
23.根据权利要求17所述的方法，其中，
基于获取的话语获取多个讲话者中的讲话者之间的关系包括：
在确定当前输入的话语的意图为对先前输入的语音的响应时，基于与先前输入的语音相对应的话语获取与当前输入的话语的讲话者的关系；
将获取的当前输入的话语的讲话者的关系与当前输入的语音的语音模式进行匹配，并存储匹配的信息。
CN201811459228.1A 2018-06-12 2018-11-30 对话系统、车辆和用于控制车辆的方法 Active CN110660397B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180067127A KR102562227B1 (ko) 2018-06-12 2018-06-12 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
KR10-2018-0067127 2018-06-12

Publications (2)

Publication Number Publication Date
CN110660397A CN110660397A (zh) 2020-01-07
CN110660397B true CN110660397B (zh) 2024-05-07

Family

ID=68763965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811459228.1A Active CN110660397B (zh) 2018-06-12 2018-11-30 对话系统、车辆和用于控制车辆的方法

Country Status (3)

Country Link
US (1) US10818297B2 (zh)
KR (1) KR102562227B1 (zh)
CN (1) CN110660397B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102485253B1 (ko) * 2017-11-10 2023-01-06 현대자동차주식회사 대화 시스템 및 그 제어방법
US10908419B2 (en) * 2018-06-28 2021-02-02 Lucyd Ltd. Smartglasses and methods and systems for using artificial intelligence to control mobile devices used for displaying and presenting tasks and applications and enhancing presentation and display of augmented reality information
WO2020044543A1 (ja) * 2018-08-31 2020-03-05 三菱電機株式会社 情報処理装置、情報処理方法及びプログラム
US10891950B2 (en) * 2018-09-27 2021-01-12 International Business Machines Corporation Graph based prediction for next action in conversation flow
US11455982B2 (en) * 2019-01-07 2022-09-27 Cerence Operating Company Contextual utterance resolution in multimodal systems
JP7250547B2 (ja) * 2019-02-05 2023-04-03 本田技研工業株式会社 エージェントシステム、情報処理装置、情報処理方法、およびプログラム
KR20200129922A (ko) * 2019-05-10 2020-11-18 현대자동차주식회사 음성인식 기반 정보 제공 시스템 및 방법
US11574127B2 (en) * 2020-02-28 2023-02-07 Rovi Guides, Inc. Methods for natural language model training in natural language understanding (NLU) systems
US11392771B2 (en) * 2020-02-28 2022-07-19 Rovi Guides, Inc. Methods for natural language model training in natural language understanding (NLU) systems
US11393455B2 (en) * 2020-02-28 2022-07-19 Rovi Guides, Inc. Methods for natural language model training in natural language understanding (NLU) systems
US11626103B2 (en) 2020-02-28 2023-04-11 Rovi Guides, Inc. Methods for natural language model training in natural language understanding (NLU) systems
US11282523B2 (en) 2020-03-25 2022-03-22 Lucyd Ltd Voice assistant management
CN111312254A (zh) * 2020-03-26 2020-06-19 镁佳(北京)科技有限公司 语音对话方法和装置
DE102020207143A1 (de) 2020-06-08 2021-12-09 Volkswagen Aktiengesellschaft Kraftfahrzeug mit einem Sprachdialogsystem und Sprachdialogsystem
CN111703385B (zh) * 2020-06-28 2022-03-11 广州易点智慧出行科技有限公司 一种内容互动方法以及一种车辆
CN111901622B (zh) * 2020-07-31 2021-11-16 联想(北京)有限公司 一种控制方法、装置及电子设备
KR20220020515A (ko) * 2020-08-12 2022-02-21 현대자동차주식회사 차량 및 그 제어 방법
CN112017659A (zh) * 2020-09-01 2020-12-01 北京百度网讯科技有限公司 多音区语音信号的处理方法、装置、设备以及存储介质
KR20220073513A (ko) * 2020-11-26 2022-06-03 현대자동차주식회사 대화 시스템, 차량 및 대화 시스템의 제어 방법
JP2022098790A (ja) * 2020-12-22 2022-07-04 スズキ株式会社 遠隔操作装置、通信環境発信装置、通信環境確認プログラム、及び通信環境発信プログラム
US11393475B1 (en) * 2021-01-13 2022-07-19 Artificial Solutions Iberia S.L Conversational system for recognizing, understanding, and acting on multiple intents and hypotheses
KR20220129366A (ko) * 2021-03-16 2022-09-23 현대자동차주식회사 음성 인식 시스템 및 그 제어 방법
KR102527346B1 (ko) * 2021-06-22 2023-05-02 주식회사 인텔로이드 차량용 음성 인식 장치, 이를 이용한 차량의 주행상태를 고려한 응답 제공 방법 및 컴퓨터 프로그램
CN113539265B (zh) * 2021-07-13 2022-09-16 中国第一汽车股份有限公司 一种控制方法、装置、设备及存储介质
CN113674732B (zh) * 2021-08-16 2022-05-17 北京百度网讯科技有限公司 语音置信度检测方法、装置、电子设备和存储介质
CN113990322B (zh) * 2021-11-04 2023-10-31 广州小鹏汽车科技有限公司 语音交互方法、服务器、语音交互系统和介质
CN116153318B (zh) * 2023-04-21 2023-07-04 深圳依时货拉拉科技有限公司 一种订单监管方法、装置、电子设备及计算机存储介质
CN117332823B (zh) * 2023-11-28 2024-03-05 浪潮电子信息产业股份有限公司 目标内容自动生成方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011045637A1 (en) * 2009-10-15 2011-04-21 Sony Ericsson Mobile Communications Ab Voice pattern tagged contacts
CN104123936A (zh) * 2013-04-25 2014-10-29 伊莱比特汽车公司 对话系统自动训练方法、对话系统及用于车辆的控制装置
CN105529026A (zh) * 2014-10-17 2016-04-27 现代自动车株式会社 语音识别装置和语音识别方法
JP2017009825A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 会話状況分析装置および会話状況分析方法
CN106657865A (zh) * 2016-12-16 2017-05-10 联想(北京)有限公司 会议纪要的生成方法、装置及视频会议系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990060724A (ko) 1997-12-31 1999-07-26 전주범 화상 회의 시스템
US7003465B2 (en) * 2000-10-12 2006-02-21 Matsushita Electric Industrial Co., Ltd. Method for speech recognition, apparatus for the same, and voice controller
JP4413867B2 (ja) * 2003-10-03 2010-02-10 旭化成株式会社 データ処理装置及びデータ処理装置制御プログラム
KR101097186B1 (ko) * 2010-03-03 2011-12-22 미디어젠(주) 대화체 앞뒤 문장정보를 이용한 다국어 음성합성 시스템 및 방법
JP5708155B2 (ja) * 2011-03-31 2015-04-30 富士通株式会社 話者状態検出装置、話者状態検出方法及び話者状態検出用コンピュータプログラム
EP2575128A3 (en) 2011-09-30 2013-08-14 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20140074480A1 (en) * 2012-09-11 2014-03-13 GM Global Technology Operations LLC Voice stamp-driven in-vehicle functions
US9798799B2 (en) * 2012-11-15 2017-10-24 Sri International Vehicle personal assistant that interprets spoken natural language input based upon vehicle context
TW201513095A (zh) * 2013-09-23 2015-04-01 Hon Hai Prec Ind Co Ltd 語音處理系統、裝置及方法
US9286030B2 (en) * 2013-10-18 2016-03-15 GM Global Technology Operations LLC Methods and apparatus for processing multiple audio streams at a vehicle onboard computer system
US10079013B2 (en) * 2013-11-27 2018-09-18 Sri International Sharing intents to provide virtual assistance in a multi-person dialog
KR102249392B1 (ko) * 2014-09-02 2021-05-07 현대모비스 주식회사 사용자 맞춤형 서비스를 위한 차량 기기 제어 장치 및 방법
KR101579533B1 (ko) * 2014-10-16 2015-12-22 현대자동차주식회사 차량 및 그 제어 방법
KR20160051395A (ko) * 2014-11-03 2016-05-11 엘지전자 주식회사 우선 순위를 기초로 하는 이동 단말기 및 서비스 제공 방법
KR101622729B1 (ko) 2015-01-27 2016-05-19 엘지전자 주식회사 정보 제공 장치 및 그 방법
JP2017009826A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法
KR101787194B1 (ko) 2015-08-26 2017-10-18 주식회사 엘지유플러스 연락처를 제공하는 단말 및 연락처를 제공하는 단말의 동작 방법
US10621990B2 (en) * 2018-04-30 2020-04-14 International Business Machines Corporation Cognitive print speaker modeler

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011045637A1 (en) * 2009-10-15 2011-04-21 Sony Ericsson Mobile Communications Ab Voice pattern tagged contacts
CN104123936A (zh) * 2013-04-25 2014-10-29 伊莱比特汽车公司 对话系统自动训练方法、对话系统及用于车辆的控制装置
CN105529026A (zh) * 2014-10-17 2016-04-27 现代自动车株式会社 语音识别装置和语音识别方法
JP2017009825A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 会話状況分析装置および会話状況分析方法
CN106657865A (zh) * 2016-12-16 2017-05-10 联想(北京)有限公司 会议纪要的生成方法、装置及视频会议系统

Also Published As

Publication number Publication date
CN110660397A (zh) 2020-01-07
KR102562227B1 (ko) 2023-08-02
KR20190140558A (ko) 2019-12-20
US10818297B2 (en) 2020-10-27
US20190378515A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
CN110660397B (zh) 对话系统、车辆和用于控制车辆的方法
US10839797B2 (en) Dialogue system, vehicle having the same and dialogue processing method
US10733994B2 (en) Dialogue system, vehicle and method for controlling the vehicle
KR102426171B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
US10937424B2 (en) Dialogue system and vehicle using the same
US10997974B2 (en) Dialogue system, and dialogue processing method
US10991368B2 (en) Dialogue system and dialogue processing method
US10861460B2 (en) Dialogue system, vehicle having the same and dialogue processing method
US10950233B2 (en) Dialogue system, vehicle having the same and dialogue processing method
US11004450B2 (en) Dialogue system and dialogue processing method
CN110503949A (zh) 对话系统、具有对话系统的车辆和对话处理方法
KR102403355B1 (ko) 차량, 그와 통신하는 모바일 기기 및 차량의 제어 방법
CN110503947A (zh) 对话系统、包括其的车辆和对话处理方法
KR102487669B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20200006738A (ko) 대화 시스템 및 대화 처리 방법
KR102448719B1 (ko) 대화 시스템과 이를 포함하는 차량 및 모바일 기기와 대화 처리 방법
CN110562260A (zh) 对话系统和对话处理方法
KR20200000621A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20190036018A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20190135676A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant