CN108346430B - 对话系统、具有对话系统的车辆以及对话处理方法 - Google Patents

对话系统、具有对话系统的车辆以及对话处理方法 Download PDF

Info

Publication number
CN108346430B
CN108346430B CN201711454988.9A CN201711454988A CN108346430B CN 108346430 B CN108346430 B CN 108346430B CN 201711454988 A CN201711454988 A CN 201711454988A CN 108346430 B CN108346430 B CN 108346430B
Authority
CN
China
Prior art keywords
action
dialog
user
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711454988.9A
Other languages
English (en)
Other versions
CN108346430A (zh
Inventor
申东洙
石东熙
朱时鋧
李廷馣
金佳熙
金宣我
朴贞美
卢熙真
金桂润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN108346430A publication Critical patent/CN108346430A/zh
Application granted granted Critical
Publication of CN108346430B publication Critical patent/CN108346430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B60R16/0315Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for using multiplexing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种对话系统、具有对话系统的车辆以及对话处理方法。该对话系统包括:输入处理器,提取对应于用户的话语的动作;存储装置,存储语境信息的信息值,语境信息包括与车辆状态相关的车辆状态信息和与车辆的驾驶环境相关的驾驶环境信息中的至少一个;对话管理处理器,从存储装置获取用于确定对应于用户的话语的动作是否可执行的条件确定参数的参数值,对话管理处理器基于条件确定参数的参数值确定要执行的动作,对话管理处理器从存储装置获取用于执行所确定的动作的动作参数的参数值;以及结果处理器,通过使用所获取的动作参数的参数值,生成对执行所确定的动作的响应。

Description

对话系统、具有对话系统的车辆以及对话处理方法
技术领域
本公开涉及:一种对话系统,被配置为通过与用户对话来识别用户的意图而提供用户所需的信息或服务;一种具有该对话系统的车辆;以及一种对话处理方法。
背景技术
对于车辆或大多数移动装置的音视频导航(AVN)装置,当向用户提供视觉信息或接收用户的输入时,设置在其中的小屏幕和小按钮可能给用户造成不便。
具体地,在驾驶期间,当用户从方向盘上放下他或她的手或者当用户抬头看另一地方来检查视觉信息和操作装置时,对于安全驾驶可能是一个严重的危险。
因此,当将对话系统应用于车辆时,可能可以以更方便和更安全的方式提供服务,其中,对话系统能够通过与用户对话来识别用户的意图,并提供用户所必需的信息或服务。
发明内容
本公开的一个方面提供了:一种对话系统,其能够根据用户的真实意图来提供服务,或者通过基于诸如与用户的对话和车辆状态信息、驾驶环境信息以及在车辆驾驶期间的用户信息的各种信息精确地识别用户的意图,来提供对用户最必要的服务;一种具有该对话系统的车辆;以及一种对话处理方法。
将在下面的描述中部分地阐述本公开的额外方面,并且额外方面将部分地通过描述而显而易见,或者可以通过实践本公开而了解。
根据本公开的一个方面,一种对话系统包括:输入处理器,提取对应于用户的话语的动作;存储装置,存储语境信息的信息值,语境信息包括与车辆状态相关的车辆状态信息和与车辆的驾驶环境相关的驾驶环境信息中的至少一个;对话管理处理器,从存储装置获取用于确定对应于话语的动作是否可执行的条件确定参数的参数值,对话管理处理器基于条件确定参数的参数值确定要执行的动作,对话管理处理器从存储装置获取用于执行所确定的动作的动作参数的参数值;以及结果处理器,通过使用所获取的动作参数的参数值生成对执行所确定的动作的响应。
存储装置可以根据每个动作存储与动作相关的语境信息,并且输入处理器可以从存储装置获取与对应于话语的动作相关的语境信息的信息值,并将信息值发送到对话管理处理器。
当存储装置中未存储与对应于话语的动作相关的语境信息的信息值时,输入处理器可以向车辆请求语境信息的信息值。
对话管理处理器可以使用从输入处理器发送的语境信息的信息值,作为条件确定参数的参数值或动作参数的参数值。
存储装置可以存储互连的动作之间的关系。
对话管理处理器可以从存储装置获取与对应于话语的动作相关的至少一个动作。
对话管理处理器可以确定对应于话语的动作与至少一个相关动作之间的优先级。
对话管理处理器可以从存储装置获取用于确定相关动作是否可执行的条件确定参数的参数值,并且基于所获取的条件确定参数的参数值来确定至少一个相关动作是否可执行。
对话管理处理器可以确定可执行的并且在对应于话语的动作和至少一个相关动作之间具有最高优先级的动作,作为要执行的动作。
当输入处理器不能提取对应于话语的动作时,对话管理处理器可以基于车辆状态信息和驾驶环境信息中的至少一个来估计对应于话语的动作。
对话管理处理器可以从存储装置获取用于执行所估计的动作的动作参数的参数值。
存储装置可以存储互连的动作之间的关系,其中,对话管理处理器从存储装置获取与所估计的动作相关的至少一个动作。
对话系统可以进一步包括:通信器,与外部服务器通信;当对话管理处理器不能从存储装置获取条件确定参数的参数值或动作参数的参数值时,对话管理处理器可以向外部服务器请求参数值。
结果处理器可以生成对执行所确定的动作的对话响应和用于车辆控制的命令。
对话系统可以进一步包括通信器,通信器从车辆接收语境信息的信息值并将响应发送给车辆。
对话系统可以进一步包括通信器,通信器从连接到车辆的移动装置接收语境信息的信息值,并将响应发送到移动装置。
根据本公开的另一方面,一种对话处理方法包括:在存储装置中存储语境信息的信息值,语境信息包括与车辆状态相关的车辆状态信息和与车辆的驾驶环境相关的驾驶环境信息中的至少一个;提取对应于用户的话语的动作;从存储装置获取用于确定包括对应于话语的动作的至少一个候选动作是否可执行的条件确定参数的参数值和用于执行至少一个候选动作的动作参数的参数值中的至少一个;基于所获取的条件确定参数的参数值,确定在至少一个候选动作中的要执行的动作;并且通过使用所获取的动作参数的参数值,生成对执行所确定的动作的响应。
对话处理方法可以进一步包括:在存储装置中根据每个动作存储与动作相关的语境信息;并且从存储装置获取与对应于话语的动作相关的语境信息的信息值,并将信息值发送到对话管理处理器。
对话处理方法可以进一步包括:当存储装置中未存储与对应于话语的动作相关的语境信息的信息值时,向车辆请求语境信息的信息值。
基于条件确定参数的参数值确定要执行的动作可以包括使用发送的语境信息的信息值作为条件确定参数的参数值。
生成对执行所确定的动作的响应可以包括使用发送的语境信息的信息值作为动作参数的参数值。
对话处理方法可以进一步包括:在存储装置中存储互连的动作之间的关系。
对话处理方法进一步包括:从存储装置获取与对应于话语的动作相关的至少一个动作,并将至少一个动作添加到至少一个候选动作。
对话处理方法可以进一步包括:确定对应于话语的动作与包括至少一个相关动作的候选动作之间的优先级。
确定要执行的动作可以包括基于所获取的条件确定参数的参数值来确定至少一个候选动作是否可执行。
基于条件确定参数的参数值来确定要执行的动作包括确定可执行的并且在至少一个候选动作中具有最高优先级的动作作为要执行的动作。
对话处理方法进一步包括:当输入处理器不能提取对应于话语的动作时,基于车辆状态信息和驾驶环境信息中的至少一个来估计对应于话语的动作。
对话处理方法可以进一步包括:从存储装置获取用于执行所估计的动作的动作参数的参数值。
对话处理方法可以进一步包括:当不能从存储装置获取条件确定参数的参数值或动作参数的参数值时,向外部服务器请求参数值。
生成对执行所确定的动作的响应可以包括生成对话响应作为对执行所确定的动作的响应以及生成用于车辆的控制命令。
对话处理方法可以进一步包括:从车辆接收语境信息的信息值;并且将该响应发送给车辆。
对话处理方法可以进一步包括:从连接到车辆的移动装置接收语境信息的信息值;并且将响应发送到移动装置。
根据本公开的另一方面,一种对话系统包括:存储装置,存储语境信息的信息值,语境信息包括与车辆状态相关的车辆状态信息和与车辆的驾驶环境相关的驾驶环境信息中的至少一个;输入处理器,提取对应于用户的话语的动作并从存储装置获取与对应于用户的话语的动作相关的语境信息的信息值;对话管理处理器,确定在包括对应于用户的话语的动作的候选动作中的要执行的动作,并且当由输入处理器获取的语境信息的信息值不包括用于执行所确定的动作的动作参数的参数值时,从存储装置获取动作参数的参数值;以及结果处理器,通过使用所获取的动作参数的参数值来生成对执行所确定的动作的响应。
当由输入处理器获取的语境信息的信息值不包括用于确定候选动作是否可执行的条件确定参数的参数值时,对话管理处理器可以从存储装置获取条件确定参数的参数值,并且基于所获取的条件确定参数的参数值来确定候选动作是否可执行。
对话管理处理器可以基于候选动作是否可执行来确定要执行的动作。
根据本公开的另一方面,一种具有对话系统的车辆包括:输入处理器,提取对应于用户的话语的动作;存储装置,存储语境信息的信息值,语境信息包括与车辆状态相关的车辆状态信息和与车辆的驾驶环境相关的驾驶环境信息中的至少一个;对话管理处理器,从存储装置获取用于确定对应于话语的动作是否可执行的条件确定参数的参数值,对话管理处理器基于条件确定参数的参数值确定要执行的动作,对话管理处理器从存储装置获取用于执行所确定的动作的动作参数的参数值;以及结果处理器,通过使用所获取的动作参数的参数值来生成对执行所确定的动作的响应。
存储装置可以根据每个动作存储与动作相关的语境信息;并且输入处理器从存储装置获取与对应于话语的动作相关的语境信息的信息值,并将信息值发送到对话管理处理器。
当存储装置中未存储与对应于话语的动作相关的语境信息的信息值时,输入处理器可以向车辆请求语境信息的信息值。
对话管理处理器可以使用从输入处理器发送的语境信息的信息值,作为条件确定参数的参数值或动作参数的参数值。
存储装置可以存储互连的动作之间的关系。
对话管理处理器可以从存储装置获取与对应于话语的动作相关的至少一个动作。
对话管理处理器可以确定对应于话语的动作与至少一个相关动作之间的优先级。
对话管理处理器可以从存储装置获取用于确定相关动作是否可执行的条件确定参数的参数值,并且基于所获取的条件确定参数的参数值来确定至少一个相关动作是否可执行。
对话管理处理器可以确定可执行的并且在对应于话语的动作和至少一个相关动作之间具有最高优先级的动作,作为要执行的动作。
附图说明
根据结合附图进行的实施方式的以下描述,本公开的这些和/或其他方面将变得显而易见并且更容易理解,在附图中:
图1是示出根据本公开的实施方式的对话系统的控制框图。
图2是示出车辆的内部的示图。
图3至图5是示出在对话系统与驾驶员之间生成的对话的示例的视图。
图6和图7是示意性地示出对话系统与车辆的部件之间的连接的控制框图。
图8和图9是示意性地示出对话系统与车辆的部件之间的连接的控制框图。
图10是示出其中对话系统设置在车辆中的车辆独立方法的控制框图。
图11和图12是示出其中对话系统设置在远程服务器中并且车辆充当将用户连接到对话系统的网关的车辆网关方法的控制框图。
图13是示出其中车辆可以执行车辆网关方法中的一些输入处理和输出处理的情况的控制框图。
图14是示出远程对话系统服务器和车辆都执行对话处理的混合方法的控制框图。
图15和图16是示出其中连接到车辆的移动装置将用户连接到远程对话系统服务器的移动网关方法的控制框图。
图17是示出其中对话系统设置在移动装置中的移动独立方法的控制框图。
图18、图19A和图19B是详细示出对话系统的配置中的输入处理器的配置的控制框图。
图20A和图20B是示出存储在语境理解表中的信息的示例的视图。
图21是详细示出对话管理处理器的配置的控制框图。
图22是示出存储在关系动作数据库(DB)中的信息的示例的视图。
图23是示出存储在动作执行条件DB中的信息的示例的视图。
图24是示出存储在动作参数DB中的信息的示例的视图。
图25是示出存储在歧义求解信息DB中的信息的示例的表格。
图26A和图26B是示出各种示例的表格,其中,由于歧义求解器通过参考歧义求解信息DB并提取动作来求解歧义,因此执行车辆控制。
图27是详细示出结果处理器的配置的控制框图。
图28至图40是示出当用户输入与路线引导有关的话语时对话系统100处理输入、管理对话并且输出结果的特定示例的视图。
图41是示出在根据实施方式的对话处理方法中处理用户的输入的方法的流程图。
图42是示出根据实施方式的在对话处理方法中使用输入处理器的输出来管理对话的方法的流程图。
图43是示出根据实施方式的用于在对话处理方法中生成与对话管理的结果相对应的响应的结果处理方法的流程图。
具体实施方式
在下面的描述中,在整个说明书中相同的附图标记指代相同的元件。没有详细描述众所周知的功能或构造,这是因为它们会以不必要的细节使一个或多个示例性实施方式模糊。诸如“单元”、“模块”、“元件”和“块体”的术语可以体现为硬件或软件。根据实施方式,多个“单元”、“模块”、“元件”和“块体”可以实现为单个部件,或者单个“单元”、“模块”、“元件”和“块体”可以包括多个部件。
应该理解的是,当元件被称为“连接到”另一元件时,其可以直接或间接地连接到另一元件,其中,间接连接包括“经由无线通信网络的连接”。
而且,当部件“包括”或“包含”元件时,除非有与其相反的特定描述,否则该部件还可以包括其他元件,而不是排除其他元件。
应该理解的是,虽然术语第一、第二、第三等可以在本文用于描述各种元件,但是不应该被这些术语限制。这些术语仅用于区分一个元件与另一元件。
如本文所使用的,除非语境另外明确指出,否则单数形式“一(a)”、“一个(an)”和“该(the)”旨在也包括复数形式。
为了便于描述,使用标识码,但不是旨在说明每个步骤的顺序。除非语境另有明确指示,否则每个步骤可以以与所示顺序不同的顺序来实现。
现在将详细参考本公开的实施方式,本公开的实例在附图中示出。
根据实施方式,对话系统可以被配置为通过使用用户的语音和除了语音之外的另一输入来识别用户的意图,并且被配置为提供适合于用户意图或用户意图所需的服务。对话系统可以通过输出作为被配置为提供服务或者清楚地识别用户的意图的一个工具的系统话语,与用户执行对话。
根据实施方式,提供给用户的服务可以包括根据用户的需求或用户的意图的所有类型的操作,其中,所有类型的操作可以包括提供信息、控制车辆、执行音频/视频/导航功能,并提供来自外部服务器的内容。
根据实施方式,对话系统提供专用于车辆环境的对话处理技术,以便在特殊的环境(即车辆)中,精确地识别用户的意图。
将对话系统连接到用户的网关可以是车辆或连接到车辆的移动装置。如下所述,对话系统可以设置在车辆中或在车辆外部的远程服务器中,以便通过与车辆或连接到车辆的移动装置的通信来发送或接收数据。
对话系统中的一些部件可以设置在车辆中,并且其中的一些部件可以设置在远程服务器中。因此,车辆和远程服务器可以执行对话系统的一部分操作。
图1是示出根据本公开的实施方式的对话系统的控制框图。
参考图1,对话系统100可以包括:输入处理器110,处理包括用户的语音和除了用户语音之外的输入的用户输入或者包括与车辆相关的信息或与用户相关的信息的输入;对话管理处理器120,使用输入处理器110的处理结果识别用户的意图,并确定与用户的意图或车辆状态相对应的动作;结果处理器130,根据对话管理处理器120的输出结果提供某种服务或者输出用于继续对话的系统话语;以及存储装置140,存储用于稍后描述的操作的各种信息。
输入处理器110可以接收两种类型的输入,诸如,用户语音和除语音之外的输入。除了语音之外的输入可以包括识别用户的手势、除了通过输入装置的操作而输入的用户的语音之外的输入、指示车辆状态的车辆状态信息、与车辆的驾驶信息相关的驾驶环境信息以及指示用户的状态的用户信息。另外,除了上述信息以外,只要信息用于识别用户的意图或向用户提供服务,与用户和车辆相关的信息就可以输入到输入处理器110。用户可以包括驾驶员和乘客。
输入处理器110通过识别用户的语音将用户的语音转换为文本类型的话语,并通过将自然语言理解技术应用于用户话语来识别用户的意图。
输入处理器110收集除了用户语音以外的与车辆状态或车辆的驾驶环境相关的信息,然后使用所收集的信息来理解语境。
输入处理器110将通过自然语言理解技术获得的用户的意图以及与语境相关的信息发送到对话管理处理器120。
对话管理处理器120基于用户的意图以及与从输入处理器110发送的语境相关的信息来确定与用户的意图和当前语境相对应的动作,并且管理执行对应的动作所需的参数。
根据实施方式,动作可以表示用于提供特定服务的各种动作,并且可以预先确定动作的类型。根据需要,提供服务可以对应于执行动作。
例如,可以在域/动作推理规则数据库(DB)141(参考图19A)中预先定义诸如路线引导、车辆状态检查和加油站推荐的动作,并且可以根据存储的推理规则,提取对应于用户的话语的动作,即用户期望的动作。与车辆中发生的事件相关的动作可以预先定义,并然后存储在关系动作DB146b(参考图21)中。
对于动作的类型没有限制。如果允许由对话系统100经由车辆200或移动装置400执行动作,并且在存储其推理规则或与其他动作/事件的关系时预先定义动作,则动作可以变成上面提到的动作。
对话管理处理器120将与所确定的动作相关的信息发送到结果处理器130。
结果处理器130生成并输出对话响应以及执行发送的动作所需的命令。对话响应可以以文本、图像或音频类型输出。当输出命令时,可以执行与输出命令相对应的诸如车辆控制和外部内容提供的服务。
存储装置140存储用于对话处理和服务提供的各种信息。例如,存储装置140可以预先存储与用于自然语言理解的域、动作、语音行为和实体名称以及用于从输入信息理解语境的语境理解表相关的信息。另外,存储装置140可以预先存储由设置在车辆中的传感器检测到的数据、与用户相关的信息以及该动作所需的信息。稍后将描述存储在存储装置140中的信息的描述。
如上所述,对话系统100提供专用于车辆环境的对话处理技术。对话系统100的全部或一些部件可以包含在车辆中。对话系统100可以设置在远程服务器中,并且车辆可以充当对话系统100与用户之间的网关。在任一种情况下,对话系统100都可以经由车辆或连接到车辆的移动装置连接到用户。
图2是示出车辆的内部的示图。参考图2,可以在与车辆200内部的仪表板的中心部分相对应的中央仪表盘203中设置:显示器231,被配置为显示控制车辆所需的屏幕,包括音频功能、视频功能、导航功能和呼叫功能;以及输入按钮221,被配置为接收用户的控制命令。
为了便于用户的操作,输入按钮可以设置在方向盘207中,并且充当输入按钮的飞梭(jog shuttle)225可以设置在设置于驾驶员座椅254a与乘客座椅254b之间的中央控制台区域202中。
包括显示器231、输入按钮221和控制各种功能的处理器的模块可对应于音视频导航(AVN)终端或头部单元。
显示器231可以通过例如液晶显示器(LCD)、发光二极管(LED)、等离子显示面板(PDP)、有机发光二极管(OLED)和阴极射线管(CRT)的各种显示装置中的任一种来实现。
输入按钮221可以在与显示器231相邻的区域上以硬键型设置,如图2所示。可替换地,当显示器231由触摸屏实现时,显示器231可以执行输入按钮221的功能。
车辆200可以经由语音输入装置210接收作为语音的用户控制命令。语音输入装置210可以包括被配置为接收声音并且然后将声音转换为电信号的麦克风。
对于有效的语音输入,语音输入装置210可以安装到顶篷205,如图2所示,但是车辆200的实施方式不限于此。因此,语音输入装置210可以安装到仪表板201或方向盘207。另外,只要位置适合于接收用户的语音,语音输入装置210可以安装到任何位置。
在车辆200的内部,可以设置扬声器232,扬声器被配置为与用户执行对话或者被配置为输出提供用户期望的服务所需的声音。例如,扬声器232可以设置在驾驶员的座椅门253a和乘客座椅门253b的内部。
扬声器232可以输出用于导航路线引导的语音、包含在音频和视频内容中的声音或语音、用于提供用户期望的信息或服务的语音、以及作为对用户的话语的响应而生成的系统话语。
根据一个实施方式,对话系统100通过使用适合于车辆环境的对话处理技术来提供适合于用户的生活方式的服务,并且对话系统100可以使用诸如联网汽车、物联网(IoT)和人工智能(AI)的技术来配置新服务。
当应用适合于车辆环境的对话处理技术(诸如,根据实施方式的对话系统100)时,在驾驶员直接驾驶车辆期间,可以容易地识别并且响应于关键语境。可以通过对影响驾驶的参数(诸如,汽油短缺和疲劳驾驶)施加权重来提供服务,或者可以基于车辆在大多数情况下移动到目的地的条件,容易地获得服务所需的信息,例如,驾驶时间和目的地信息。
另外,通过识别驾驶员的意图,可以容易地实现被配置为提供功能的智能服务。这是因为将优先级给予驾驶员的直接驾驶情况下的实时信息和动作。例如,当驾驶员在驾驶时搜索加油站时,可以将其解释为驾驶员将要去加油站的意图。但是,当驾驶员在非车辆的地方搜索加油站时,可以将其解释为另一意图,诸如,搜索位置信息查询、电话号码查询和价格查询,而非驾驶员将要去加油站的意图。
此外,尽管车辆是有限的空间,但是在其中可能出现各种情况。例如,驾驶员可以在各种情况下利用对话系统100,例如,驾驶具有不熟悉的界面的车辆(诸如,租车)、使用司机服务、诸如洗车的车辆管理情况、车上有婴儿的情况以及访问某个目的地的情况。
另外,在形成车辆驾驶的每个阶段以及在驾驶的前后阶段(例如,车辆检查阶段、开始准备阶段、驾驶阶段和停车阶段)中可能出现各种服务和对话情况。具体地,驾驶员可以在各种情况下利用对话系统100,例如,驾驶员不知道如何处理问题的情况、车辆与各种外部装置相关联的情况、检查驾驶习惯(例如,汽油里程)的情况、以及使用安全支持功能(例如,智能巡航控制)的情况、导航操作情况、疲劳驾驶情况、每天沿同一路线驾驶的情况以及检查该地点是否可用于停车的情况。
图3至图5是示出在对话系统与驾驶员之间生成的对话的示例的视图。
参考图3,当驾驶员输入用于询问当前剩余汽油量的话语(U1:剩下多少汽油)时,对话系统100可以输出提供与当前剩余汽油相关的信息的话语(S1:用剩下的汽油可以驾驶43km)。
驾驶员可以输询问附近加油站以接收路线引导的话语(U2:让我知道附近的加油站),并且对话系统100可以输出提供与距当前位置最近的加油站相关的信息的话语(S2:最近的加油站是A-石油成林(oil Seong-rim)加油站、B-石油江大(oil Jang-dae)加油站、以及C-石油太平洋(oil Pacific)加油站)。
驾驶员可以另外输入询问汽油价格的话语(U3:哪里最便宜?),并且对话系统100可以输出提供与燃料类型的价格相关的信息的话语(汽油的最低价格是B石油江大加油站,收费每公升1294韩元,而柴油的最低价格是A石油成林加油站,收费每公升985韩元)。
驾驶员可以输入询问到B石油江大加油站的引导的话语(U4),并且对话系统100可以输出指示到由驾驶员选择的加油站的引导开始的话语(S4:到B石油江大加油站的路线开始)。
即,通过与对话系统100的对话,驾驶员可以被引导到以最低的价格销售当前车辆的燃料类型的附近加油站。
同时,当在图3所示的示例中选择加油站时,对话系统100可以省略一些问题并直接提供信息,并且因此可以减少对话的步骤和时间。
例如,对话系统100可以预先确定当前车辆的燃料类型是汽油,并且驾驶员用于选择加油站的标准是价格。可以从车辆获取与车辆的燃料类型相关的信息,并且驾驶员用于选择加油站的标准可以从驾驶员预先输入,或者通过了解驾驶员对话历史或加油站选择历史来获取。该信息可以预先存储在存储装置140中。
在这种情况下,对话系统100可以抢先输出提供与燃料价格相关的信息(特别是作为当前车辆的燃料类型的汽油价格)的话语(S2+S3=S3'),而无需由驾驶员输入用于请求关于燃料价格的信息的话语(U3),即省略U3,如图4所示。
驾驶员可以省略用于请求关于燃料价格的信息的话语(U3),并且可以形成对话系统100的响应,使得引导附近加油站的话语(S2)和引导燃料价格的话语(S3)合并为单个响应,以减少对话的步骤和时间。
另外,对话系统100可以基于驾驶员询问当前剩余的汽油量这一事实,识别驾驶员的意图是搜索加油站。
在这种情况下,如图5所示,尽管驾驶员没有输入询问附近加油站的话语(U2),即,省略了U2,但是对话系统100可抢先输出提供与燃料价格相关的信息的话语(S2+S3=S3”)。
在距当前位置最近的加油站和提供最低燃料价格的加油站是同一个加油站的状态下,提供与燃料价格相关的信息的话语(S3”)可以包括询问是否引导到对应的加油站。因此,用户可以通过简单地输入同意对话系统100的问题的话语(U4':是)来请求到对应加油站的路线引导,而无需输入用于询问引导到某个加油站的特定话语。
如上所述,对话系统100可以通过基于预先获得的信息考虑用户未说出的内容,来识别用户的真实意图并且抢先提供与意图对应的信息。因此,可以减少用于提供用户期望的服务的对话步骤和时间。
图6和图7是示意性地示出对话系统与车辆的部件之间的连接的控制框图。
参考图6,输入到对话系统100的用户的语音可以经由设置在车辆200中的语音输入装置210输入。如图2所示,语音输入装置210可以包括设置在车辆200的内部的麦克风。
除了用户输入中的语音之外的输入可以通过除了语音输入装置之外的装置220来输入。除了语音输入装置之外的装置220可以包括用于通过用户的操作来输入命令的输入按钮221和223以及飞梭225。
除了语音输入装置之外的装置220可以包括对用户进行成像的相机。通过由相机成像的图像,可以识别用作命令输入的工具的用户的手势、表情或视线方向。可替换地,可以通过由相机成像的图像来识别用户的状态(疲劳状态等)。
与车辆相关的信息可以经由车辆控制器240输入到对话系统100。与车辆相关的信息可以包括由设置在车辆200中的各种传感器获取的车辆状态信息或周围环境信息、以及最初存储在车辆200中的信息,例如,车辆的燃料类型。
对话系统100可以使用经由语音输入装置210输入的用户的语音、除用户的语音之外的输入、经由除了语音输入装置之外的装置220的输入以及经由车辆控制器240输入的各种信息,来识别用户的意图和语境。对话系统100输出响应,以执行对应于用户的意图的动作。
扬声器输出装置230是被配置为以视觉、听觉或触觉的方式向说话者提供输出的装置。扬声器输出装置230可以包括设置在车辆200中的显示器231和扬声器232。显示器231和扬声器232可以以视觉或听觉的方式输出对用户的话语、关于用户的问题或者用户请求的信息的响应。另外,可以通过在方向盘207中安装振动器来输出振动。
此外,根据从对话系统100输出的响应,车辆控制器240可以控制车辆200执行与用户的意图或当前情况相对应的动作。
同时,除了通过设置在车辆200中的传感器获取的信息之外,车辆200还可以收集经由通信装置280从外部内容服务器300或外部装置获取的信息,例如,驾驶环境信息和用户信息,诸如,交通状况、天气、温度、乘客信息和驾驶员个人信息,并且然后车辆200可以将信息发送给对话系统100。
如图7所示,由设置在车辆200中的传感器获取的信息,例如,燃料剩余量、雨量、雨速、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置,可以经由内部信号控制器241输入到对话系统100。
从外部经由车辆对一切(V2X)通信获取的驾驶环境信息可以经由外部信号控制器242输入到对话系统100。V2X可以表示车辆在驾驶期间通过与道路基础设施和其他车辆通信来交换并共享各种有用信息,例如,交通状况。
V2X通信可以包括车辆对基础设施(V2I)通信、车辆对车辆(V2V)通信、以及车辆对漫游装置(V2N)通信。因此,通过使用V2X通信,可以发送和接收信息,诸如,关于前侧的交通信息或另一车辆的访问或与另一车辆的碰撞风险,并且可以通过在车辆之间直接进行的通信或者与安装在道路上的基础设施的通信来通知驾驶员该信息。
因此,经由外部信号控制器242输入到对话系统100的驾驶环境信息可以包括关于前侧的交通信息、相邻车辆的访问信息、与另一车辆的碰撞警告、实时交通状况、意外情况、以及交通流量控制状态。
尽管在附图中未示出,但是经由V2X获得的信号也可以经由通信装置280输入到车辆200。
车辆控制器240可以包括其中存储有用于执行上述操作和稍后描述的操作的程序的存储器、以及用于执行存储的程序的处理器。可以设置至少一个存储器和一个处理器,并且当设置多个存储器和处理器时,它们可以集成在一个芯片上或物理分离。
另外,内部信号控制器241和外部信号控制器242可以由相同的处理器或由分离的处理器来实现。
图8和图9是示意性地示出对话系统与车辆的部件之间的连接的控制框图。
参考图8,从语音输入装置210发送的用户的语音可以输入到设置在输入处理器110中的语音输入处理器111,从除了语音输入装置之外的装置220发送的除了用户的语音之外的输入可以输入到设置在输入处理器110中的语境信息处理器112。
语境信息处理器112可以基于车辆状态信息、驾驶环境信息和用户信息来识别语境。对话系统100可以通过识别语境来精确地识别用户的意图或有效地找出用户所需的服务。
从结果处理器130输出的响应可以输入到扬声器输出装置230或车辆控制器240,以允许车辆200提供用户所需的服务。另外,该响应可以发送到外部内容服务器300,以请求用户所需的服务。
从车辆控制器240发送的车辆状态信息、驾驶环境信息和用户信息可以存储在存储装置140中。
参考图9,存储装置140可以包括长期存储器143和短期存储器144。存储在存储装置140中的数据可以根据数据的重要性和持久性以及设计者的意图而分类为短期存储器和长期存储器。
短期存储器144可以存储先前进行的对话。先前的对话可以是在距当前参考时间内进行的对话。可替换地,对话可以连续存储,直到用户与对话系统100之间的话语内容的容量变成参考值。
例如,当用户说出内容“让我知道江南站(Gangnam Station)附近的餐厅”时,对话系统100可以通过外部内容服务器300搜索在江南站附近的餐厅,并且然后向用户提供与搜索到的江南站附近的餐厅相关的信息。作为提供信息的示例,对话系统100可以在显示器231上显示餐厅的列表,并且当用户说出“第一”时,与餐厅的请求到餐厅的选择相关的对话内容可以存储在短期存储器144中。
可替换地,不仅存储整个对话内容,还可以存储包含在对话内容中的特定信息。例如,可以将餐厅列表的第一餐厅存储在短期存储器144或长期存储器143中,作为由用户选择的餐厅。
当在关于江南站附近的餐厅的对话之后,用户向对话系统100询问“天气如何?”时,对话系统100可以从短期存储器144中存储的对话来假设用户的兴趣位置是江南站,并且然后输出响应“江南站在下雨”。
接下来,当用户说出“推荐餐厅的菜单”时,对话系统100可以从存储在短期存储器中的对话来假设“餐厅”表示江南站附近的餐厅,并且通过从外部内容服务器300提供的服务来获取与对应餐厅的推荐菜单相关的信息。因此,对话系统100可以输出响应“面条是餐厅中最好的菜单”。
长期存储器143可以根据数据的持久性的存在来存储数据。例如,长期存储器143可以确定诸如关注位置(POI)信息(例如,家人和朋友的电话号码以及家或公司)的数据的持久性以及用户对于某些参数的偏好是固定的,并且然后在其中存储该数据。相反,当确定数据的持久性不是固定时,该数据可以存储在短期存储器144中。
例如,用户的当前位置可以是临时数据并且因此存储在短期存储器144中,并且用户对餐厅的偏好可以是稍后可用的持久数据,并且因此存储在长期存储器143中。
当用户说出“这附近有餐厅吗?”时,对话系统100可以识别用户的当前位置,并且从长期存储器143中指出用户喜欢中餐厅。因此,对话系统100可以通过使用外部内容来推荐当前位置周围的用户最喜爱的中餐厅的列表。
另外,对话系统100可以使用存储在长期存储器143和短期存储器144中的数据来抢先向用户提供服务和信息。
例如,与用户的房屋相关的信息可以存储在长期存储器143中。对话系统100可以从外部内容服务器300获取与用户的房屋相关的信息,并且然后提供指示“由于公寓的打扫,预计这个星期五停水”的信息。
与车辆电池状态相关的信息可以存储在短期存储器144中。对话系统100可以分析存储在短期存储器144中的车辆电池状态,并且然后提供指示“电池处于不良状况。在冬天之前修好它”的信息。
图10是示出其中对话系统设置在车辆中的车辆独立方法的控制框图。
根据车辆独立方法,具有输入处理器110、对话管理处理器120、结果处理器130和存储装置140的对话系统100可以包含在车辆200中,如图10所示。
当对话系统100包含在车辆200中时,车辆200可以自己处理与用户的对话,并提供用户所需的服务。然而,对话处理和服务提供所需的信息可以来自外部内容服务器300。
由车辆检测器260检测到的车辆状态信息或驾驶环境信息,例如,燃料剩余量、雨量、雨速、周围障碍物信息、速度、发动机温度、轮胎压力、当前位置,可以经由车辆控制器240输入到对话系统100。
根据从对话系统100输出的响应,车辆控制器240可以控制设置在车辆200中的空调装置251、窗252、门253、座椅254或AVN 255。
例如,当对话系统100确定用户的意图或用户所需的服务是要降低车辆200内部的温度并且然后对话系统生成并输出对应的命令时,车辆控制器240可以通过控制空调251来降低车辆200内部的温度。
再如,当对话系统100确定用户的意图或用户所需的服务是升起驾驶员的座椅窗252a,并且对话系统生成并输出对应的命令时,车辆控制器240可以通过控制窗252来升起驾驶员的座椅窗252a。
再如,当对话系统100确定用户的意图或用户所需的服务是引导到特定目的地的路线,并且对话系统生成并输出对应的命令时,车辆控制器240可以通过控制AVN 255来执行路线引导。根据需要,通信装置280可以从外部内容服务器300取得地图数据和POI信息,并且然后使用该信息用于服务提供。
图11和图12是示出其中对话系统设置在远程服务器中并且车辆充当将用户连接到对话系统的网关的车辆网关方法的控制框图。
根据车辆网关方法,如图11所示,远程对话系统服务器1可以设置在车辆200的外部,并且经由远程对话系统服务器1和通信装置280连接的对话系统客户端270可以设置在车辆200中。通信装置280充当用于连接车辆200和远程对话系统服务器1的网关。
对话系统客户端270可以充当连接到输入/输出装置的接口,并且进行收集、以及发送和接收数据。
当设置在车辆200中的语音输入装置210和除语音输入装置之外的装置220接收到用户的输入并将用户输入发送到对话系统客户端270时,对话系统客户端270可以经由通信装置280将输入数据发送到远程对话系统服务器1。
车辆控制器240还可以将由车辆检测器260检测到的数据发送到对话系统客户端270,并且对话系统客户端270可以经由通信装置280将由车辆检测器260检测到的数据发送到远程对话系统服务器1。
由于上述对话系统100设置在远程对话系统服务器1中,所以远程对话系统服务器1可以执行输入数据处理、基于输入数据处理的结果的对话处理和基于对话处理的结果的结果处理的全部。
另外,远程对话系统服务器1可以从外部内容服务器300取得输入数据处理、对话管理或结果处理所需的信息或内容。
根据从远程对话系统服务器1发送的响应,车辆200可以从外部内容服务器300取得用户所需的服务的信息或内容。
参考图12,通信装置280可以包括被配置为与外部装置通信的至少一个通信模块。例如,通信装置280可以包括短程通信模块281、有线通信模块282和无线通信模块283中的至少一个。
短程通信模块281可以包括被配置为使用短程的无线通信模块来发送和接收信号的各种短程通信模块,例如,蓝牙模块、红外通信模块、射频识别(RFID)通信模块、无线局域网(WLAN)通信模块、NFC通信模块和ZigBee通信模块。
有线通信模块282可以包括各种有线通信模块,例如,局域网(LAN)模块、广域网(WAN)模块或增值网络(VAN)模块,以及各种缆线通信模块,例如,通用串行总线(USB)、高清多媒体接口(HDMI)、数字视频接口(DVI)、推荐标准232(RS-232)、电力线通信或普通老式电话服务(POTS)。
无线通信模块283可以包括支持多种无线通信方法的无线通信模块,例如,Wifi模块、无线宽带模块、全球移动通信系统(GSM)、码分多址(CDMA)、宽带码分多址(WCDMA)、时分多址(TDMA)、长期演进(LTE)、4G和5G。
另外,通信装置280还可以包括用于车辆200中的电子装置之间的通信的内部通信模块。车辆200的通信协议可以使用控制器区域网(CAN)、本地互连网(LIN)、FlexRay、以及以太网。
对话系统100可以经由无线通信模块283向外部内容服务器300或远程对话系统服务器1发送数据并从其接收数据。对话系统100可以使用无线通信模块283进行V2X通信。另外,使用短程通信模块281或有线通信模块282,对话系统100可以向连接到车辆200的移动装置发送数据并从其接收数据。
图13是示出其中车辆可以执行车辆网关方法中的一些输入处理和输出处理的情况的控制框图。
如上所述,车辆200的对话系统客户端270可以仅收集并且发送和接收数据,但是对话系统客户端270可以处理从用户或车辆输入的数据或执行与确定的用户所需的服务提供相关的处理,因为输入处理器271、结果处理器273和存储装置274包含在对话系统客户端270中,如图13所示。即,输入处理器110和结果处理器130的操作不仅可以由远程对话系统服务器1执行,而且可以由车辆200执行。
在这种情况下,对话系统客户端270可以执行输入处理器110的全部或一些操作。对话系统客户端270可以执行结果处理器130的全部或一些操作。
远程对话系统服务器1和对话系统客户机270之间的任务共享可以考虑待处理的数据的容量和数据处理速度来确定。
图14是示出远程对话系统服务器和车辆都执行对话处理的混合方法的控制框图。
根据混合方法,如图14所示,由于输入处理器110、对话管理处理器120、结果处理器130和存储装置140设置远程对话系统服务器1中,所以远程对话系统服务器1可以执行对话处理,并且由于设置有输入处理器291、对话管理处理器292、结果处理器293和存储装置294的终端对话系统290设置在车辆200中,所以车辆200可以执行对话处理。
然而,设置在车辆200中的处理器和存储器与设置在远程对话系统服务器1中的处理器或存储器之间在容量或性能上可能存在差异。因此,当终端对话系统290能够通过处理所有的输入数据并管理对话来输出结果时,终端对话系统290可以执行整个处理。否则,其可以向远程对话系统服务器1请求处理。
在执行对话处理之前,终端对话系统290可以基于数据类型确定是否可以执行对话处理,并且终端对话系统290可以基于确定的结果直接执行处理或向远程对话系统服务器1请求处理。
当发生终端对话系统290在执行对话过程中不能执行处理的事件时,终端对话系统290可以向远程对话系统服务器1请求处理,同时将其自身处理的结果发送到远程对话系统服务器1。
例如,当需要高性能计算能力或长期数据处理时,远程对话系统服务器1可以执行对话处理,并且当需要实时处理时,终端对话系统290可以执行对话处理。例如,当发生需要立即处理的瞬时并且因此需要在同步之前处理数据时,可以将其设置为使得终端对话系统290首先处理数据。
另外,当在车辆中存在未注册的说话者并因此需要用户确认时,远程对话系统服务器1可以处理对话。
此外,当终端对话系统290在经由通信装置280与远程对话系统服务器1的连接不被允许的状态下不能由自身完成对话处理时,它可以经由扬声器输出装置230通知用户不能执行对话处理。
存储在终端对话系统290中的数据和存储在远程对话系统服务器1中的数据可以根据数据类型或数据容量来确定。例如,在数据由于个人识别而具有侵犯隐私风险的情况下,数据可以存储在终端对话系统290的存储装置294中。另外,大量的数据可以存储在远程对话系统服务器1的存储装置140中,并且少量的数据可以存储在终端对话系统290的存储装置294。可替换地,少量的数据可以存储在远程对话系统服务器1的存储装置140以及终端对话系统290的存储装置294中。
图15和图16是示出其中连接到车辆的移动装置将用户连接到远程对话系统服务器的移动网关方法的控制框图。
根据移动网关方法,如图15所示,移动装置400可以从车辆200接收车辆状态信息和驾驶环境信息,并将用户输入和车辆状态信息发送到远程对话系统服务器1。即,移动装置400可以充当将用户连接到远程对话系统服务器1或将车辆200连接到远程对话系统服务器1的网关。
移动装置400可以表示便携的并且能够通过与外部服务器和车辆通信来向外部服务器和车辆发送数据并且从其接收数据的电子装置,其中,移动装置400可以包括智能电话、智能手表、智能眼镜、PDA和平板电脑。
移动装置400可以包括:接收用户的语音的语音输入装置410;接收除用户的语音之外的输入的除了语音输入装置之外的装置420;输出装置430,以视觉、听觉或触觉方式输出响应;通信装置480,通过通信向远程对话系统服务器1和车辆200发送数据并且从其接收数据;以及对话系统客户端470,收集来自用户的输入数据并经由通信装置480将数据发送到远程对话系统服务器1。
语音输入装置410可以包括接收声音、将声音转换成电信号并输出电信号的麦克风。
除了语音输入装置之外的装置420可以包括设置在移动装置400中的输入按钮、触摸屏或相机。
输出装置430可以包括设置在移动装置400中的显示器、扬声器或振动器。
设置在移动装置400中的语音输入装置410、除了语音输入装置之外的装置420以及输出装置430可以充当用户的输入和输出接口。另外,设置在车辆200中的语音输入装置210、除了语音输入装置之外的装置220、扬声器输出装置230可以充当用户的输入和输出接口。
当车辆200将由车辆检测器260检测到的数据和用户输入发送到移动装置400时,移动装置400的对话系统客户端470可以将数据和用户输入发送到远程对话系统服务器1。
对话系统客户端470可以将从远程对话系统服务器1发送的响应或命令发送到车辆200。当对话系统客户端470使用设置在车辆200中的扬声器输出装置230作为用于用户的输入和输出接口时,可以经由扬声器输出装置230输出对用户的话语的响应。当对话系统客户端470使用设置在移动装置400中的输出装置430时,可以经由输出装置430输出对用户的话语的响应。
用于车辆控制的命令可以发送到车辆200,并且车辆控制器240可以执行与发送的命令相对应的控制,从而提供用户所需的服务。
对话系统客户端470可以收集输入数据并将输入数据发送到远程对话系统服务器1。对话系统客户端470还可以执行对话系统100的输入处理器110和结果处理器130的全部或一些功能。
参考图16,移动装置400的通信装置480可以包括被配置为与外部装置进行通信的至少一个通信模块。例如,通信装置480可以包括短程通信模块481、有线通信模块482和无线通信模块483中的至少一个。
短程通信模块481可以包括被配置为使用短程的无线通信模块来发送和接收信号的各种短程通信模块,该无线通信模块例如是蓝牙模块、红外通信模块、射频识别(RFID)通信模块、无线局域网(WLAN)通信模块、NFC通信模块、以及ZigBee通信模块。
有线通信模块482可以包括各种有线通信模块,例如,局域网(LAN)模块、广域网(WAN)模块或增值网络(VAN)模块,以及各种线缆通信模块,例如,通用串行总线(USB)、高清多媒体接口(HDMI)、数字视频接口(DVI)、推荐的标准232(RS-232)、电力线通信或普通老式电话服务(POTS)。
无线通信模块483可以包括支持多种无线通信方法的无线通信模块,例如,Wifi模块、无线宽带模块、全球移动通信系统(GSM)、码分多址(CDMA)、宽带码分多址(WCDMA)、时分多址(TDMA)、长期演进(LTE)、4G和5G。
例如,移动装置400可以经由短程通信模块481或有线通信模块482连接到车辆200,并且移动装置400可以经由无线通信模块483连接到远程对话系统服务器1或外部内容服务器300。
图17是示出在移动装置中设置有对话系统的移动独立方法的控制框图。
根据移动独立方法,如图17所示,可以在移动装置400中设置对话系统100。
因此,移动装置400可以在不连接到远程对话系统服务器1以用于对话处理的情况下,自己处理与用户的对话并且提供用户所需的服务。然而,移动装置400可以从外部内容服务器300取得用于对话处理和服务提供的信息。
将详细描述对话系统100的每个部件的详细配置和详细操作的描述。根据稍后描述的实施方式,为了便于解释,假设对话系统100设置在车辆200中。
图18、图19A和图19B是详细示出对话系统的配置中的输入处理器的配置的控制框图。
参考图18,输入处理器110可以包括处理语音输入的语音输入处理器111和处理语境信息的语境信息处理器112。
从语音输入装置210发送的用户的语音可以输入到语音输入处理器111,并且从除了语音输入装置以外的装置220发送的除了用户的语音之外的输入可以输入到语境信息处理器112。
车辆控制器240可以将车辆状态信息、驾驶环境信息和用户信息发送到语境信息处理器112。驾驶环境信息和用户信息可以提供给外部内容服务器300或与车辆200连接的移动装置400。
除语音之外的输入可以包含在语境信息中。即,语境信息可以包括车辆状态信息、驾驶环境信息和用户信息。
车辆状态信息可以包括指示车辆状态并且由设置在车辆200中的传感器获取的信息以及与车辆相关并存储在车辆中的信息,例如,车辆的燃料类型。
驾驶环境信息可以是由设置在车辆200中的传感器获取的信息。驾驶环境信息可以包括由前置相机、后置相机或立体相机获取的图像信息,由传感器(例如,雷达、激光雷达、超声波传感器)获取的障碍物信息,以及与雨量相关的信息和由雨传感器获取的雨速信息。
驾驶环境信息可以进一步包括经由V2X获取的交通状态信息、交通灯信息、以及相邻车辆访问或相邻车辆碰撞风险信息。
用户信息可以包括由设置在车辆或生物识别读取器中的相机测量的与用户状态相关的信息、用户使用设置在车辆中的输入装置直接输入的与用户相关的信息、与用户相关的并存储在外部内容服务器300中的信息、以及存储在连接到车辆的移动装置400中的信息。
语音输入处理器111可以包括:语音识别器111a,通过识别输入的用户的语音来输出文本类型的话语;自然语言理解部111b,通过将自然语言理解技术应用于用户话语来识别包含在话语中的用户的意图;以及对话输入管理处理器111c,将自然语言理解的结果和语境信息发送到对话管理处理器120。
语音识别器111a可以包括语音识别引擎,并且语音识别引擎可以通过将语音识别算法应用于输入语音来识别由用户说出的语音,并且生成识别结果。
由于输入语音被转换成用于语音识别的更有用的形式,所以语音识别器111a可以通过从语音信号中检测起始点和结束点来检测包括在语音中的实际语音段。这被称为终点检测(EPD)。
语音识别器111a可以通过应用特征向量提取技术(例如,倒谱(cepstrum)、线性预测系数(LPC)、梅尔频率倒谱系数(MFCC)或滤波器组能量)来从检测的段提取输入语音的特征向量。
语音识别器111a可以通过将提取的特征向量与训练的参考模式进行比较来获取识别的结果。此时,语音识别器111a可以使用对语音的信号特征进行建模和比较的声学模型以及对与识别词汇相对应的单词或音节的语序关系进行建模的语言模型。为此,存储装置140可以存储声学模型和语言模型DB。
声学模型可以分类为将识别目标设置为特征向量模型并且将特征向量模型与语音信号的特征向量进行比较的直接比较方法以及在统计上处理识别目标的特征向量的统计方法。
直接比较方法是将作为识别目标的诸如单词或音素的单元设置为特征向量模型,并将接收到的语音与特征向量模型进行比较,以确定它们之间的相似性。直接比较方法的代表性示例是向量量化。向量量化是将接收到的语音信号的特征向量映射到作为参考模型的码本,以将映射的结果编码为代表值,并且将代表值彼此进行比较。
统计模型方法是将识别目标的单元配置为状态序列并使用状态序列之间的关系。每个状态序列可以配置有多个节点。使用状态序列之间的关系的方法可以分类为动态时间规整(DTW)、隐马尔可夫模型(HMM)和使用神经网络的方法。
DTW是一种考虑到即使当同一个人发出相同的发音时信号的长度随时间变化的语音的动态特征,通过与参考模型比较来补偿时间轴上的差异的方法。HMM是将语音假设为具有每个状态下的节点(输出符号)的状态转移概率和观测概率的马尔可夫过程,然后基于学习数据估计节点的状态转移概率和观测概率,并且计算从估计的模型生成接收到的语音的概率。
同时,通过将配置语言的单元之间的顺序关系应用于通过语音识别获取的单元,对单词、音节等的语序关系进行建模的语言模型可以减少声学歧义和识别错误。语言模型可以包括统计语言模型和基于有限状态自动机(FSA)的模型。统计语言模型使用单词(诸如,单个词(Unigram)、双连词(Bigram)和三连词(Trigram))的链式概率。
语音识别器111a可以使用上述任何一种方法用于语音识别。例如,语音识别器111a可以使用应用了HMM的声学模型或者将声学模型与语音模型组合的N-最佳搜索方法。N-最佳搜索方法通过使用声学模型和语言模型选择N个或更少的识别结果候选,并且然后重新估计识别结果候选的顺序,可以提高识别性能。
语音识别器111a可以计算置信度值,以确保识别结果的可靠性。置信度值可以是表示语音识别结果如何可靠的标准。例如,可以相对于作为识别结果的音素或单词而将置信度值定义为对应的音素或单词已经从不同的音素或单词说出的概率的相对值。因此,置信度值可以表示为0与1之间或1与100之间的值。
当置信度值大于预定阈值时,语音识别器111a可以输出识别结果,以允许执行与识别结果相对应的操作。当置信度值等于或小于阈值时,语音识别器111a可以拒绝识别结果。
可以将作为语音识别器111a的识别结果的文本形式的话语输入到自然语言理解部111b。
自然语言理解部111b可以通过应用自然语言理解技术来识别包括在话语语言中的用户的话语的意图。因此,用户可以通过自然对话来输入控制命令,并且对话系统100也可以感应控制命令的输入,并经由对话提供用户所需的服务。
自然语言理解部111b可以对文本的形式的话语进行形态分析。语素是最小的含义单位并且代表了不能再被细分的最小的语义元素。因此,形态分析是自然语言理解的第一步,并且将输入字符串转换为语素字符串。
自然语言理解部111b可以基于形态分析结果从话语中提取域。该域可以用于识别用户话语语言的主题,并且指示各种主题(例如,路线引导、天气搜索、交通搜索、日程管理、燃料管理和空调控制)的域可以被存储为数据库。
自然语言理解部111b可以从话语中识别实体名称。实体名称可以是专有名词,例如,人名、地名、组织名称、时间、日期和货币,实体名称识别可以被配置为识别句子中的实体名称并确定所识别的实体名称的类型。自然语言理解部111b可以使用实体名称识别从句子中提取重要的关键字,并识别句子的含义。
自然语言理解部111b可以分析包含在话语中的语音行为。语音行为分析可被配置为识别用户话语的意图,例如,用户是否提出问题、用户是否询问请求、用户是否作出响应或用户是否简单表达情绪。
自然语言理解部111b可以提取与用户的话语的意图相对应的动作。自然语言理解部111b可以基于例如域、实体名称和语音行为的信息来识别用户的话语的意图,并且提取对应于该话语的动作。该动作可以由对象和操作者来定义。
自然语言理解部111b可以提取与动作执行相关的参数。与动作执行相关的参数可以是动作执行直接需要的有效参数,或者可以是用于提取有效参数的无效参数。
例如,当用户的话语是“我们去首尔站”时,自然语言理解部111b可以提取“导航”作为对应于话语的域,并且提取“路线引导”作为动作,其中,语音行为对应于“请求”。
实体名称“首尔站”可以对应于与动作执行相关的[参数:目的地],但是可能需要站的特定出口号或GPS信息来经由导航系统实际引导路线。在这种情况下,由自然语言理解部111b提取的[参数:目的地:首尔站]可以是用于在多个首尔站POI中搜索用户实际上期望的“首尔站”的候选参数。
自然语言理解部111b可以提取被配置为表示单词之间或句子之间的关系的工具,例如,分析树。
作为自然语言理解部111b的处理结果的形态分析结果、域信息、动作信息、语音行为信息、提取的参数信息、实体名称信息、以及分析树可以被发送到对话输入管理处理器111c。
语境信息处理器112可以包括从除了语音输入装置之外的装置220和车辆控制器240收集信息的语境信息收集器112a、管理语境信息的收集的语境信息收集管理处理器112b、以及基于自然语言理解的结果和收集的语境信息来理解语境的语境理解部112c。
输入处理器110可以包括其中存储有用于执行上述操作和稍后描述的操作的程序的存储器以及用于执行存储的程序的处理器。可以提供至少一个存储器和一个处理器,并且当提供多个存储器和处理器时,它们可以集成在一个芯片上或在物理上分离。
包含在输入处理器110中的语音输入处理器111和语境信息处理器112可以由相同的处理器或分离的处理器来实现。
在下文中,将参考图19A和图19B详细描述输入处理器110的部件使用存储在存储装置140中的信息来处理输入数据的方法。
参考图19A,自然语言理解部111b可以使用域/动作推理规则DB 141进行域提取、实体识别、语音行为分析和动作提取。
在域/动作推理规则DB 141中,可以存储域提取规则、语音行为分析规则、实体名称转换规则、动作提取规则。
诸如除了语音之外的用户输入、车辆状态信息、驾驶环境信息和用户信息的其他信息可以输入到语境信息收集器112a,并且然后存储在语境信息DB 142、长期存储器143、或短期存储器144中。
例如,由车辆检测器260检测到的原始数据可以分类为传感器类型和传感器值,并且然后存储在语境信息DB 142中。
在短期存储器144和长期存储器143中,可以存储对用户有意义的数据,其中,数据可以包括当前用户状态、用户的偏好和方位或用于确定用户的偏好和方位的数据。
如上所述,确保持久性并因此长期可用的信息可以存储在长期存储器143中,其中,该信息可以包括用户的电话簿、日程表、偏好、学历、个性、工作、以及与家庭相关的信息。不确保持久性或具有不确定性并因此在短期内可用的信息可以存储在短期存储器144中,其中,该信息可以包括当前和先前的位置、今日日程表、先前的对话内容、对话参与者、情况、域以及驾驶员状态。根据数据类型,可以在语境信息DB 142、短期存储器144和长期存储器143中的至少两个存储装置中存储两份数据。
另外,在短期存储器144中存储的信息中,被确定为确保持久性的数据可以发送到长期存储器143。
可以使用存储在短期存储器144和语境信息DB 142中的信息来获取要存储在长期存储器143中的信息。例如,可以通过分析在某个持续时间内存储的目的地信息或对话内容来获取用户的偏好,并且所获取的用户的偏好可以存储在长期存储器143中。
通过使用存储在短期存储器144或语境信息DB 142中的信息,可以执行以获得要存储在对话系统100中的长期存储器143中的或者在额外的外部系统中的信息。
可以在结果处理器130的存储器管理处理器135中执行前一种情况。在这种情况下,在存储在短期存储器144或语境信息DB 142中的数据中,用于获取有意义的信息的数据(例如,用户的偏好或方位或持久信息)可以以日志文件类型存储在长期存储器143中。存储器管理处理器135可以通过分析存储超过某个持续时间的数据来获取持久数据,并且将数据重新存储在长期存储器143中。在长期存储器143中,存储持久数据的位置可以不同于以日志文件类型存储的数据所存储的位置。
存储器管理处理器135可以确定存储在短期存储器144中的数据之中的持久数据,并将确定的数据移动并存储到并存储在长期存储器143中。
当在额外的外部系统中执行使用存储在短期存储器144或语境信息DB 142中的信息来获得要存储在长期存储器143中的信息时,可以使用设置有通信器810、存储装置820和控制器830的数据管理系统800,如图19B所示。
通信器810可以接收存储在语境信息DB 142或短期存储器144中的数据。所存储的所有数据可以发送到通信器810,或者可以选择并且然后发送用于获取有意义的信息的数据,例如,用户的偏好或方位或持久信息。所接收的数据可以存储在存储装置820中。
控制器830可以通过分析所存储的数据来获取持久数据,并且然后经由通信器810将所获取的数据发送到对话系统100。所发送的数据可以存储在对话系统100的长期存储器143中。
对话输入管理处理器111c可以通过将自然语言理解部111b的输出的结果发送到语境理解部112c,来获取与动作执行相关的语境信息。
语境理解部112c可以通过参考根据动作存储在语境理解表145中的语境信息,来确定哪个语境信息与对应于用户的话语的意图的动作执行相关。
图20A和图20B是示出存储在语境理解表中的信息的示例的视图。
参考图20A的示例,可以根据每个动作将语境信息和与动作执行相关的语境信息的类型存储在语境理解表145中。
例如,当动作是路线引导时,可能需要当前位置作为语境信息,并且语境信息的类型可以是GPS信息。当动作是车辆状态检查时,可能需要行驶的距离作为语境信息,并且语境信息的类型可以是整数。当动作是加油站推荐时,可能需要剩余燃料量和剩余燃油可行驶距离(DTE)作为语境信息,并且语境信息的类型可以是整数。
当与对应于用户的话语的意图的动作执行相关的语境信息预先存储在语境信息DB 142、长期存储器143或短期存储器144中时,语境理解部112c可以从语境信息DB 142、长期存储器143或短期存储器144取得信息,并将对应的信息发送到对话输入管理处理器111c。
当与对应于用户的话语的意图的动作执行相关的语境信息没有存储在语境信息DB 142、长期存储器143或短期存储器144中时,语境理解部112c可以向语境信息收集管理处理器112b请求所需的信息。语境信息收集管理处理器112b可以允许语境信息收集器112a收集所需的信息。
语境信息收集器112a可以周期性地收集数据,或者仅在发生某个事件时收集数据。另外,语境信息收集器112a可以周期性地收集数据,并且然后在发生某个事件时额外收集数据。此外,当从语境信息收集管理处理器112b接收到数据收集请求时,语境信息收集器112a可以收集数据。
语境信息收集器112a可以收集所需的信息,并且然后将该信息存储在语境信息DB142或短期存储器144中。语境信息收集器112a可以向语境信息收集管理处理器112b发送确认信号。
语境信息收集管理处理器112b可以将确认信号发送给语境理解部112c,并且语境理解部112c可以从长期存储器143或短期存储器144取得所需的信息,并且然后将该信息发送给对话输入管理处理器111c。
具体地,当与用户的话语的意图相对应的动作是路线引导时,语境理解部112c可以搜索语境理解表145,并且识别与路线引导相关的语境信息是当前位置。
当当前位置预先存储在短期存储器144中时,语境理解部112c可以取得当前位置并且将当前位置发送到对话输入管理处理器111c。
当当前位置没有存储在短期存储器144中时,语境理解部112c可以向语境信息收集管理处理器112b请求当前位置,并且语境信息收集管理处理器112b可以允许语境信息收集器112a从车辆控制器240获取当前位置。
语境信息收集器112a可以获取当前位置,并且然后将当前位置存储在短期存储器144中。语境信息收集器112a可以将确认信号发送到语境信息收集管理处理器112b。语境信息收集管理处理器112b可以将确认信号发送给语境理解部112c,并且语境理解部112c可以从短期存储器144取得当前位置信息,并且然后将该信息发送给对话输入管理处理器111c。
对话输入管理处理器111c可以将自然语言理解部111b的输出和语境理解部112c的输出发送到对话管理处理器120,并且对话输入管理处理器111c可以管理以防止重复输入进入对话管理处理器120。此时,自然语言理解部111b的输出和语境理解部112c的输出可以组合为一个输出并然后被发送到对话管理处理器120,或被独立地发送到对话管理处理器120。
当语境信息收集管理处理器112b由于语境信息收集器112a收集的数据满足预定条件而确定发生了某个事件时,语境信息收集管理处理器112b可以向语境理解部112c发送动作触发信号。
语境理解部112c可以搜索语境理解表145,以搜索与对应的事件相关的语境信息,并且当搜索到的语境信息未存储在语境理解表145中时,语境理解部112c可以将语境信息请求信号再次发送到语境信息收集管理处理器112b。
如图20B所示,根据每个事件,与事件相关的语境信息和语境信息的类型可以存储在语境理解表145中。
例如,当生成的事件是发动机温度警告时,可以存储整数形式的发动机温度作为与事件相关的语境信息。当生成的事件是驾驶员疲劳驾驶检测时,可以存储整数形式的驾驶员疲劳驾驶状态作为与事件相关的语境信息。当生成的事件是轮胎气压不足时,可以存储整数形式的轮胎气压作为与事件相关的语境信息。当生成的事件是燃料警告时,可以存储整数形式的剩余燃油可行驶距离(DTE)作为与事件相关的语境信息。当生成的事件是传感器错误时,可以存储文本形式的传感器名称作为与事件相关的语境信息。
语境信息收集管理处理器112b可以经由语境信息收集器112a收集所需的语境信息,并将确认信号发送给语境理解部112c。语境理解部112c可以从语境信息DB 142、长期存储器143或短期存储器144取得所需的语境信息,并且然后将语境信息与动作信息一起发送到对话输入管理处理器111c。
对话输入管理处理器111c可以将语境理解部112c的输出输入到对话管理处理器120。
图21是详细示出对话管理处理器的配置的控制框图,图22是示出存储在关系动作DB中的信息的示例的视图,图23是示出存储在动作执行条件DB中的信息的示例的视图,并且图24是示出存储在动作参数DB中的信息的示例的视图。
参考图21,对话管理处理器120可以包括:对话流程管理处理器121,请求生成、删除和更新对话或动作;对话动作管理处理器122,根据对话流程管理处理器121的请求生成、删除和更新对话或动作;歧义求解器123,通过求解语境的歧义和对话的歧义来阐明用户的意图;参数管理处理器124,管理动作执行所需的参数;动作优先级确定器125,关于多个候选动作确定动作是否可执行;以及外部信息管理处理器126,管理外部内容列表和相关信息并且管理外部内容查询的参数信息。
对话管理处理器120可以包括其中存储有用于执行上述操作和稍后描述的操作的程序的存储器以及用于执行存储的程序的处理器。可以提供至少一个存储器和一个处理器,并且当提供多个存储器和处理器时,它们可以集成在一个芯片上或在物理上分离。
包含在对话管理处理器120中的每个部件可以由相同的处理器或由分离的处理器来实现。
另外,对话管理处理器120和输入处理器110可以由相同的处理器或由分离的处理器来实现。
作为对话输入管理处理器111c的输出的自然语言理解(自然语言理解部的输出)和语境信息(语境理解部的输出)的结果可以输入到对话流程管理处理器121。自然语言理解部111b的输出可以包括与用户的话语内容相关的信息(例如,形态分析结果)以及例如域和动作的信息。语境理解部112c的输出可以包括由语境信息收集管理处理器112b确定的事件以及语境信息。
对话流程管理处理器121可以搜索与对话输入管理处理器111c的输入相对应的对话任务或动作任务是否存在于对话和动作状态DB 147中。
对话和动作状态DB 147可以是用于管理对话状态和动作状态的存储空间,并且因此对话和动作状态DB 147可以存储当前进行中的对话和动作以及与要处理的预备动作相关的对话状态和动作状态。例如,对话和动作状态DB 147可以存储与完成的对话和动作、停止的对话和动作、进行中的对话和动作、以及要处理的对话和动作相关的状态。
对话和动作状态DB 147可以存储与是否切换和嵌套动作、切换的动作索引、动作改变时间以及屏幕/语音/命令相关的最后输出状态。
例如,在提取了对应于用户的话语的域和动作的情况下,当与对应的域和动作相对应的对话和动作存在于最近存储的对话中时,对话和动作状态DB 147可以将其确定为与来自对话输入管理处理器111c的输入相对应的对话任务或动作任务。
当没有提取对应于用户的话语的域和动作时,对话和动作状态DB 147可以生成随机任务或者请求对话动作管理处理器122参考最近存储的任务。
当对话和动作状态DB 147中不存在与输入处理器110的输入相对应的对话任务或动作任务时,对话流程管理处理器121可以请求对话动作管理处理器122生成新的对话任务或动作任务。
当对话流程管理处理器121管理对话流程时,对话流程管理处理器121可以参考对话策略DB 148。对话策略DB 148可以存储继续对话的策略,其中,策略可以表示用于选择、开始、建议、停止和终止对话的策略。
另外,对话策略DB 148可以存储系统输出响应的时间点和关于方法的策略。对话策略DB 148可以存储用于通过链接多个服务来生成响应的策略以及用于删除先前的动作并且用另一动作来替换该动作的策略。
例如,可以允许两个策略,其中,这两个策略可以包括一次生成对两个动作的响应的策略,例如“在执行A动作之后需要执行B动作吗?”以及在生成对一个动作的响应之后生成对另一动作的分离的响应的策略,例如,“执行动作A”→“你想执行B动作吗?”。
对话和动作状态DB 147可以存储用于确定候选动作之中的优先级的策略。稍后将描述优先级确定策略。
对话动作管理处理器122可以向对话和动作状态DB 147指定存储空间,并且生成与输入处理器110的输出相对应的对话任务和动作任务。
当不可能从用户的话语提取域和动作时,对话动作管理处理器122可以生成随机对话状态。在这种情况下,如稍后所述,歧义求解器123可以基于用户的话语的内容、环境条件、车辆状态和用户信息来识别用户的意图,并且确定适合于用户的意图的动作。
当在对话和动作状态DB 147中存在与输入处理器110的输出相对应的对话任务或动作任务时,对话流程管理处理器121可以请求对话动作管理处理器122参考对应的对话任务或动作任务。
动作优先级确定器125可以搜索关系动作DB 146b,以搜索与包含在输入处理器110的输出中的动作或事件相关的动作列表,并且然后动作优先级确定器125可以提取候选动作。
如图22所示,关系动作DB 146b可以指示彼此相关的动作、动作之间的关系、与事件相关的动作以及事件之间的关系。例如,路线引导、车辆状态检查和加油站推荐可以被分类为关系动作,并且其间的关系可以对应于关联。
因此,当执行路线引导时,可以一起执行车辆状态检查和加油站推荐。在这种情况下,“一起执行”可以包括在路线引导之前或之后执行车辆状态检查和加油站推荐的情况以及在路线引导期间(例如,添加为中途停留)执行车辆状态检查和加油站推荐的情况。
警告灯输出事件可以被存储为与修理厂引导动作相关的事件动作,并且其间的关系可以对应于关联。
当发生警告灯输出事件时,可以根据警告灯类型或是否需要维修来执行修理厂引导动作。
当输入处理器110将对应于用户的话语的动作连同由语境信息收集管理处理器112b确定的事件一起发送时,与对应于用户的话语的动作相关的动作和与该事件有关的动作可以变成候选动作。
所提取的候选动作列表可以发送到对话动作管理处理器122,并且对话动作管理处理器122可以通过添加候选动作列表来更新对话和动作状态DB 147的动作状态。
动作优先级确定器125可以在动作执行条件DB 146c中搜索执行每个候选动作的条件。
如图23所示,动作执行条件DB 146c可以根据每个动作存储执行动作所需的条件以及用于确定是否满足对应条件的参数。
例如,用于车辆状态检查的执行条件可以是目的地距离等于或大于100km的情况,其中,用于确定条件的参数可以对应于目的地距离。用于加油站推荐的条件可以是目的地距离大于剩余燃油可行驶距离(DTE)的情况,其中,用于确定条件的参数可以对应于目的地距离和剩余燃油可行驶距离(DTE)。
动作优先级确定器125可以将候选动作的执行条件发送到对话动作管理处理器122,并且对话动作管理处理器122可以根据每个候选动作添加执行条件并且更新对话和动作状态DB 147中的动作状态。
动作优先级确定器125可以从语境信息DB 142、长期存储器143、短期存储器144或者对话和动作状态DB 147中搜索确定动作执行条件所需的参数(在下文中称为条件确定参数),并使用搜索到的参数确定是否可以执行候选动作。
当用于确定动作执行条件的参数未存储在语境信息DB 142、长期存储器143、短期存储器144或对话和动作状态DB 147中时,动作优先级确定器125可以经由外部信息管理处理器126从外部内容服务器300取得所需的参数。
动作优先级确定器125可以使用用于确定动作执行条件的参数来确定是否可以执行候选动作。另外,动作优先级确定器125可以基于是否执行存储在对话策略DB 148中的候选动作和优先级确定规则来确定候选动作的优先级。
可以根据当前情况计算每个候选动作的得分。可以给具有更多计算得分的候选动作更高的优先级。例如,对应于用户的话语、安全得分、便利得分、处理时间、处理时间点(是否立即处理)、用户偏好(当建议用户预先确定的服务或偏好时用户的接受水平)、管理员得分、车辆状态相关得分以及动作成功率(对话成功率)可以用作计算得分的参数,如以下等式1所示。
[等式1]
优先级得分=w1*用户话语动作+w2*安全得分+w3*便利得分+w4*处理时间+w5*处理时间点+w6*用户偏好+w7*管理员得分+w8*车辆状态相关得分+w9*动作成功率*动作执行的可能性(1:可能,还不知道,0:不可能)*动作完成状态(完成:1,未完成:0)。
如上所述,动作优先级确定器125可以通过搜索直接连接到用户的话语和语境信息的动作以及与其相关的动作列表并通过确定其间的优先级来向用户提供最需要的服务。
动作优先级确定器125可以将候选动作执行的可能性和优先级发送到对话动作管理处理器122,并且对话动作管理处理器122可以通过添加所发送的信息来更新对话和动作状态DB 147中的动作状态。
参数管理处理器124可以在动作参数DB 146a中搜索用于执行每个候选动作的参数(在下文中称为动作参数)。
如图24所示,动作参数DB 146a可以根据每个动作存储必要参数、替代参数、参数的初始值和用于取得参数的参考位置。在存储有参数的初始值的状态下,当在用户的话语和从输入处理器110输出的语境信息中不存在与对应参数相对应的参数值时,并且当在语境信息DB 142中不存在参数值时,可以根据所存储的初始值来执行动作,或者可以向用户确认是否根据所存储的初始值执行动作。
例如,用于路线引导的必要参数可以包括当前位置和目的地,并且替代参数可以包括路线的类型。替代参数的初始值可以存储为快速路线。可以通过按顺序搜索对话和动作状态DB 147、语境信息DB 142、短期存储器144或长期存储器143来获取当前位置和目的地。
用于车辆状态检查的必要参数可以包括车辆状态信息,并且替代参数可以包括待检查部分(在下文中称为“检查部分”)。整个部分可以存储为替代参数的初始值。可以从语境信息DB 142获取车辆状态信息。
加油站推荐的替代参数可以包括最喜欢的加油站,并且可以将“A石油”存储为替代参数的初始值。可以从长期存储器143获取最喜欢的加油站。替代参数可以进一步包括车辆的燃料类型和燃料价格。
如上所述,参数管理处理器124可以从对应的参考位置取得在动作参数DB 146a中搜索到的参数的参数值。从其取得参数值的参考位置可以是语境信息DB 142、短期存储器144或长期存储器143、对话和动作状态DB 147以及外部内容服务器300中的至少一个。
参数管理处理器124可以经由外部信息管理处理器126从外部内容服务器300取得参数值。外部信息管理处理器126可以通过参考外部服务聚合DB 146d来确定从哪里取得信息。
外部服务聚合DB 146d可以存储与连接到对话系统100的外部内容服务器相关的信息。例如,外部服务聚合DB 146d可以存储外部服务名称、关于外部服务的说明、从外部服务提供的信息的类型、外部服务使用方法以及提供外部服务的主题。
由参数管理处理器124获取的初始值可以发送到对话动作管理处理器122,并且对话动作管理处理器122可以通过将根据候选动作的初始值添加到动作状态,来更新对话和动作状态DB 147。
参数管理处理器124可以获取所有候选动作的初始值,或者参数管理处理器124可以仅获取被确定为可由动作优先级确定器125执行的候选动作的初始值。
参数管理处理器124可以选择性地使用指示相同信息的不同类型的初始值之中的初始值。例如,通过由导航系统使用目的地搜索服务,指示目的地并且以文本形式的“首尔站”可以被转换成以POI形式的“首尔站”。
当对话和语境中不存在歧义时,可以获取所需的信息,并且根据动作优先级确定器125、参数管理处理器124和外部信息管理处理器126的上述操作管理对话和动作。当对话和语境中存在歧义时,可能难以仅使用动作优先级确定器125、参数管理处理器124和外部信息管理处理器126的操作来提供用户所需的服务。
在这种情况下,歧义求解器123可以处理对话中或语境中的歧义。例如,当对话中包含回指(anaphora)(例如,人、昨天的那个地方、父亲、母亲、祖母和儿媳)时可能存在歧义,这是因为不清楚回指表示谁或哪一个。在这种情况下,歧义求解器123可以通过参考语境信息DB 142、长期存储器143或短期存储器144来求解歧义,或者提供求解歧义的引导。
例如,“昨天的那个地方”、“在家附近的市场”和“我昨天去过的首尔站”中包含的有歧义的词可以对应于动作参数的参数值或条件确定参数的参数值。然而,在这种情况下,由于单词的歧义,所以不可能通过使用对应的单词来执行真实的动作或者确定动作执行条件。
歧义求解器123可以通过参考存储在语境信息DB 142、长期存储器143或短期存储器144中的信息来求解初始值的歧义。根据需要,歧义求解器123可以通过使用外部信息管理处理器126从外部内容服务器300取得所需的信息。
例如,歧义求解器123可以通过参考短期存储器144来搜索用户昨天去过的地方,以便将“昨天的那个地方”转换成可用作路线引导动作的目的地的信息。歧义求解器123可以通过参考长期存储器143来搜索用户的房屋地址,并且从外部内容服务器300取得与用户的房屋地址附近的A市场相关的位置信息。因此,歧义求解器123可以将“房屋附近的市场”转换为可用作路线引导动作的目的地的信息。
当输入处理器110没有清楚地提取动作(对象和操作者)时,或者当用户的意图不清楚时,歧义求解器123可以通过参考歧义求解信息DB 146e来识别用户的意图,并且确定对应于所识别的意图的动作。
图25是示出存储在歧义求解信息DB中的信息的示例的表格。
基于车辆状态信息和周围环境信息,歧义求解信息DB 146e可以将话语与对应于话语的动作进行匹配,并且然后存储该话语和动作。存储在歧义求解信息DB 146e中的话语可以是不能通过自然语言理解提取动作的话语。图25示出了根据形态分析结果的话语的内容是冻手或手冷的情况。
周围环境信息可以包括车辆的外部温度和是否在下雨,并且车辆状态信息可以包括空调和加热器的开/关、空调的风量和风方向、以及转向热线(steering heat line)的开/关。
具体地,在下雨时外部温度超过20度的状态下,当空调打开(开)时,可以识别空调温度设定得低,并且因此,可以将“将空调温度增加3度”存储为与其对应的车辆控制动作。
在下雨时外部温度超过20度的状态下,当空调关闭(关)时,可以识别用户由于下雨而感到寒冷,因此,可以存储“加热器打开”,作为与其对应的车辆控制动作。
在不下雨时外部温度超过20度的状态下,当空调打开(开)并且空调的风方向为上侧时,可以识别由于空调的风直接作用到手而使冻手,并且因此可以将“将空调的风方向改变到下侧”存储为与其对应的车辆控制动作。
在不下雨时外部温度超过20度的状态下,当空调打开(开)、空调的风方向为下侧、并且风量设定为超过中等水平时,可以识别用户由于空调的风量过强而感到冷,并且因此可以将“降低空调的风量”存储为与其对应的车辆控制动作。
在不下雨时外部温度超过20度的状态下,当空调打开(开)、空调的风向为下侧、并且风量设置为弱时,可以将“将空调温度增加3度”存储为与其对应的车辆控制动作。
在外部温度低于20度的状态下,当加热器关闭(关)时,可以识别由于寒冷天气而使冻手,并且因此,可以将“打开加热器”存储为与其对应的车辆控制动作。
在外部温度低于20度的状态下,当加热器打开(开)并且转向热线关闭时,可以识别由于热空气不传递到手而使冻手,并且因此,可以将“转向热线开”存储为与其对应的车辆控制动作。
在外部温度低于20度的状态下,当加热器和转向热线打开(开)并且加热器的风向是下侧时,可以识别由于加热器的风不传递到手而使冻手,并且因此,可以将“将加热器的风方向改变为双向”存储为与其对应的车辆控制动作。
在外部温度低于20度、加热器和转向热线打开(开)、加热器的风方向为上侧的状态下,当加热器温度被设定为低于最高时,可以将“增加加热器的温度”存储为与其对应的车辆控制动作。
在外部温度低于20度、加热器和转向热线打开(开)、加热器的风方向为上侧、并且加热器温度设定为最高的状态下,当加热器的风量未被设置为最高时,可以将“增加加热器的风量”存储为与其对应的车辆控制动作。
在外部温度低于20度、加热器和转向热线打开(开)、加热器的风方向为上侧、并且加热器温度和加热器的风量设定为最高的状态下,当座椅热线(seat heat line)关闭时,可以将“打开座椅热线”存储为与其对应的车辆控制动作。
在外部温度低于20度、加热器和转向热线打开(开)、加热器的风方向为上侧、并且加热器温度和加热器的风量设定为最高的状态下,当座椅热线打开时,可以将“通知因为加热器现在处于完全操作而等待一段时间”存储为与其对应的车辆控制动作。
图26A和图26B是示出各种示例的表格,其中,由于歧义求解器通过参考歧义求解信息DB并提取动作来求解歧义而执行车辆控制。
例如,如图26A和图26B所示,在根据形态分析结果的话语的内容是冻手或手冷的状态下,当周围环境是夏天、车辆状态是空调的风方向是乘客的头部的上侧(上侧)、空调设定温度为19度、并且空调的风量为高水平时,可以识别由于空调的风向着手而使冻手。可以提取用于在将风方向改变为脚侧(下侧)的同时降低风量强度的空调控制动作,作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是冬天、车辆状态为空调的风方向为乘客的脚、空调设定温度为25度、并且空调的风量为高水平时,可以识别由于热空气不传递到手而使冻手。可以提取“打开方向盘热线”动作作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在根据形态分析结果的话语的内容是“闷热”的状态下,当车速为30km或更小、并且前后间隙小于30cm时,可以识别闷热是由于交通繁忙。因此,可以提取“改变路线引导动作中的路线选项(快速路线引导)”、“播放多个内容,例如音乐”或“打开聊天功能”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在根据形态分析结果的话语的内容是“疲劳”的状态下,当车辆状态是内部空气模式时,可以识别由于缺乏空气循环而导致疲劳。因此,可以提取“改变为外部空气模式”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当车辆状态是外部空气模式并且加热器打开(开)时,可以识别疲劳是由从加热器发出的热空气引起的。可以提取“打开窗”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在根据形态分析结果的话语的内容是“发汗”或“发热”的状态下,当周围环境是冬天并且加热器打开(开)时,可以识别发热是由从加热器发出的热空气引起的。因此,可以存储“降低加热器温度”或“减小风量”,作为对应于话语的动作。
在具有相同内容的话语中,当周围环境是冬天并且当加热器关闭(关)时,可以识别热量是由用户的身体热量引起的。因此,可以提取“打开窗”或“建议打开窗”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是夏天并且当空调关闭(关)时,可以识别热量是由车辆内部温度升高引起的。因此,可以提取“打开空调”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是夏天并且当空调打开(开)时,可以识别热量是由于空调温度设置高而引起的。因此,可以提取“降低空调温度”或“增加空调的风量”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在根据形态分析结果的话语的内容是“寒冷”的状态下,当周围环境是夏天并且当空调打开(开)时,可以识别寒冷是由空调温度设置过低或空调的风过强而引起的。因此,可以提取“增加空调温度”或“减小风量”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是夏天并且当空调关闭(关)时,可以识别寒冷是由用户的身体状况引起的。可以提取“运行加热器”或“检查用户的生物节律”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是冬天并且加热器打开(开)时,可以识别寒冷是由加热器温度设置低或者弱风量而引起的。因此,可以提取“增加加热器温度”或“增加风量”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是冬天并且加热器关闭(关)时,可以识别寒冷是由加热器不工作而引起的。可以提取“运行加热器”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在根据形态分析结果的话语的内容是“头痛”的状态下,当周围环境是冬天并且加热器打开(开)时,可以识别头疼是由于缺乏空气循环而引起的。因此,可以提取“改变为外部空气模式”或“打开窗”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是冬天且加热器关闭(关)时,可以识别头疼是由于寒冷引起的。可以提取“运行加热器”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是夏天并且空调关闭(关)时,可以识别头疼是由发热引起的。可以提取“运行空调”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是夏天并且空调打开(开)时,可以识别头疼是由空调引起的。可以提取“改变空调的风方向或风量”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在根据形态分析结果的话语的内容是“不舒服”的状态下,当周围环境是冬天并且正在下雨时,可以识别不舒服是由高湿度引起的。因此,可以提取“运行除雾功能”或“运行除湿功能”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是夏天且不下雨时,可以识别不舒服是由季节性特征和热引起的。因此,可以提取“以最低温度运行空调”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
在具有相同内容的话语中,当周围环境是夏天并且正在下雨时,可以识别不舒服是由热和高湿度引起的。因此,可以提取“以除湿模式运行空调”作为对应于话语的动作,并且可以根据所提取的动作来控制车辆。
根据上述歧义求解器123的操作,虽然在用户的话语或情况中存在歧义,但是歧义求解器123可以精确地识别用户实际期望的动作或者用户实际上需要的动作,并且通过利用用户的话语综合考虑周围环境信息和车辆状态信息来提供期望的动作和所需的动作。
与由歧义求解器123确定的动作相关的信息可以被发送到对话动作管理处理器122,并且对话动作管理处理器122可以基于所发送的信息来更新对话和动作状态DB 147。
如上所述,动作优先级确定器125和参数管理处理器124可以确定关于由歧义求解器123确定的动作的动作执行条件,确定其优先级并取得参数值。
当获取了所有值时,其中,这些值通过当前语境和对话获取,在用于执行每个动作的参数值之中,对话动作管理处理器122可以将信号发送给对话流程管理处理器121。
当由于在对话和动作状态DB 147、外部内容服务器300、长期存储器143、短期存储器144和语境信息DB 142中不存在必要参数而通过用户获取用于动作执行和条件确定的必要参数值时,结果处理器130可以生成用于向用户询问参数值的对话响应。
对话流程管理处理器121可以将与对应于第一优先级动作的动作相关的信息和对话状态发送到结果处理器130。另外,对话流程管理处理器121可以根据对话策略发送与多个候选动作相关的信息。
图27是详细示出结果处理器的配置的控制框图。
参考图27,结果处理器130可以包括:响应生成管理处理器131,管理执行从对话管理处理器120输入的动作所需的响应的生成;对话响应发生器132,根据响应生成管理处理器131的请求生成文本、图像或音频类型的响应;命令发生器136,根据响应生成管理处理器131的请求,使用外部内容生成用于车辆控制或服务提供的命令;服务编辑器134,依次或偶发地执行多个服务并且收集其结果,以提供用户期望的服务;输出管理处理器133,输出所生成的文本类型响应、图像类型响应或音频类型响应,输出由命令发生器136生成的命令,或者当输出是多个时确定输出的顺序;以及存储器管理处理器135,基于响应生成管理处理器131和输出管理处理器133的输出来管理长期存储器143和短期存储器144。
结果处理器130可以包括其中存储用于执行上述操作和稍后描述的操作的程序的存储器以及用于执行所存储的程序的处理器。可以提供至少一个存储器和一个处理器,并且当提供多个存储器和处理器时,它们可以集成在单个芯片上或在物理上分离。
包含在结果处理器130中的每个部件可以由相同的处理器或由分离的处理器来实现。
另外,结果处理器130、对话管理处理器120和输入处理器110可以由相同的处理器或由分离的处理器来实现。
通过对应于用户的话语或语境而输出的响应可以包括对话响应、车辆控制以及外部内容提供。对话响应可以包括初始对话、问题和包括信息的答案。对话响应可以作为数据库存储在响应模板149中。
响应生成管理处理器131可以请求对话响应发生器132和命令发生器136生成执行由对话管理处理器120确定的动作所需的响应。为此,响应生成管理处理器131可以将与要执行的动作相关的信息发送到对话响应发生器132和命令发生器136,其中,与要执行的动作相关的信息可以包括动作名称和参数值。当生成响应时,对话响应发生器132和命令发生器136可以参考当前对话状态和动作状态。
对话响应发生器132可以通过搜索响应模板149来提取对话响应模板,并且通过用参数值填充所提取的对话响应模板来生成对话响应。所生成的对话响应可以被发送到响应生成管理处理器131。当不从对话管理处理器120发送生成对话响应所需的参数值时,或者当发送使用外部内容的引入时,对话响应发生器132可以从外部内容服务器300接收参数值或搜索长期存储器143、短期存储器144或语境信息DB 142。
例如,当由对话管理处理器120确定的动作对应于路线引导时,对话响应发生器132可以搜索响应模板149,并且然后提取对话响应模板“从[当前位置:-]到[目的地:-]将需要[持续时间:-]。开始引导?”
可以从对话管理处理器120发送对话响应模板中需要填充的参数之中的[当前位置]和[目的地],并且可以不发送[持续时间]的参数值。在这种情况下,对话响应发生器132可以向外部内容服务器300请求从[当前位置]到[目的地]需要的持续时间。
当对用户的话语或语境的响应包括车辆控制或外部内容提供时,命令发生器136可以生成执行车辆控制或外部内容提供的命令。例如,当由对话管理处理器120确定的动作是控制空调装置、窗和AVN时,命令发生器136可以生成执行该控制的命令,并且然后将该命令发送到响应生成管理处理器131。
当由对话管理处理器120确定的动作需要外部内容提供时,命令发生器136可以生成从外部内容服务器300接收对应内容的命令,并且然后将该命令发送到响应生成管理处理器131。
当命令发生器136提供多个命令时,服务编辑器134可以确定执行多个命令的方法和顺序,并将该方法和顺序发送到响应生成管理处理器131。
响应生成管理处理器131可将从对话响应发生器132、命令发生器136或服务编辑器134发送的响应发送到输出管理处理器133。
输出管理处理器133可以确定由对话响应发生器132生成的对话响应的输出定时、输出序列和输出位置以及由命令发生器136生成的命令。
输出管理处理器133可以通过在合适的定时以适当的顺序将由对话响应发生器132生成的对话响应和由命令发生器136生成的命令发送到适当的输出位置来输出响应。输出管理处理器133可以经由扬声器232输出文本到语音(TTS)响应,并且经由显示器231输出文本响应。当输出TTS类型的对话响应时,输出管理处理器133可以使用设置在车辆200中的TTS模块或可替换地输出管理处理器133可以包括TTS模块。
根据控制目标,可以将命令发送到车辆控制器240或通信装置280,以与外部内容服务器300进行通信。
响应生成管理处理器131还可以将从对话响应发生器132、命令发生器136或服务编辑器134发送的响应发送到存储器管理处理器135。
输出管理处理器133可以将由其自身输出的响应发送到存储器管理处理器135。
存储器管理处理器135可以基于从响应生成管理处理器131和输出管理处理器133发送的内容来管理长期存储器143或短期存储器144。例如,存储器管理处理器135可以基于所生成和输出的对话响应通过存储用户与系统之间的对话内容来更新短期存储器144。存储器管理处理器135可以通过存储经与用户的对话获取的与用户相关的信息来更新长期存储器143。
在存储在短期存储器144中的信息中,持久信息(例如,用户的偏好或方位)或用于获取持久信息的信息可以存储在长期存储器143中。
基于与所生成和输出的命令相对应的车辆控制和外部内容请求,可以更新存储在长期存储器143中的用户偏好或车辆控制历史。
根据上述实施方式,通过考虑车辆内部发生的各种情况,对话系统100可以提供最适合用户的服务。在不输入用户的话语的情况下,对话系统100可以基于自身收集的语境信息或驾驶员信息自行确定用户所需的服务,并抢先提供该服务。
例如,对于车辆状态的评估标准可以根据车辆起动时的情况而可变,并且因此可以抢先提供反馈。驾驶开始时间可以被定义为车辆起动时间,即释放电子驻车制动器(EPB)的时间点或设定导航目的地的时间点。计算驾驶可用得分的车辆状况评估系统可以将权重给予单个装置,并根据情况因素来改变施加到单个装置的可变权重。当确定在车辆状态中存在问题时,可以提供关于单个装置的解决方案,例如,修理厂引导。
当车辆起动时,可以通过考虑目的地来确定车辆是否缺乏燃料。当缺乏燃料时,可以执行将用户喜欢的加油站添加于到目的地的路线中的自动中途停留作为缺乏燃料的反馈,并通知用户中途停留的改变。另外,根据用户的响应,可以改变作为自动中途停留而添加的加油站。
尽管当前的车辆状态并不指示缺乏燃料,但是可以通过综合考虑用户的下一个日程、主要移动记录和剩余燃料量来抢先提供加油站或补充燃料时间。
通过获取与驾驶员的身体状况和睡眠记录相关的信息,可以基于所获取的信息有条件地允许车辆起动。例如,当通过识别车辆外部的身体状况和睡眠记录而识别疲劳驾驶的风险时,可以推荐用户不驾驶车辆。可替换地,可以根据身体状况或睡眠记录来提供与推荐的驾驶时间相关的信息。
当重复地出现指示疲劳驾驶风险的触发时,可以检测疲劳驾驶的风险并且根据风险程度输出警告或者提供诸如自动改变路线的反馈,即,改变到休息区的路线。可以通过手动测量驾驶员的状态和车辆状态(例如,听到率减小的情况、前后间隙是基准距离或更大的情况、车速是基准速度或以下的情况)或者通过经由对话进行主动测量(例如,向驾驶员发出问题并测量驾驶员对该问题的响应速度的情况)来获取指示疲劳驾驶的风险的触发。
当用户输入话语指示情绪时,对话系统100可能不从用户的话语中提取某个域或动作。然而,对话系统100可以通过使用周围环境信息、车辆状态信息和用户状态信息来识别用户的意图,并且然后继续对话。如上所述,可以通过歧义求解器123求解用户的话语的歧义来执行实施方式。
在下文中,将详细描述使用对话系统100的对话处理的示例。
图28至图40是示出当用户输入与路线引导有关的话语时对话系统100处理输入、管理对话并且输出结果的特定示例的视图。
如图28所示,当用户输入话语“我们去昨天去过的首尔站”时,语音识别器111a可以输出用户的语音作为以文本形式的话语(我们去昨天去过的首尔站)。
自然语言理解部111b可以通过参考域/动作推理规则DB 141来进行形态分析,并从形态分析结果(昨天/NNG,去过/VV,首尔站/NNP,去/VV)输出[域:导航]、[动作:路线引导]、[语音行为;请求]以及[参数:NLU:目的地:首尔站],并且然后,将其输入到对话输入管理处理器111c。
参考图29,在将自然语言理解部111b的自然语言理解结果发送到语境理解部112c的同时,当语境理解部112c中存在额外信息时,对话输入管理处理器111c可以请求语境理解部112c发送额外信息。
语境理解部112c可以搜索语境理解表145,并且提取与[域:导航]和[动作:路线导航]相关的语境信息是当前位置并且语境信息的类型是GPS值这一事实。
语境理解部112c可以通过搜索语境信息DB 142来提取当前位置的GPS值。在当前位置的GPS值没有存储在语境信息DB 142中时,语境理解部112c可以向语境信息收集管理处理器112b请求当前位置的GPS值。
语境信息收集管理处理器112b可以向语境信息收集器112a发送信号,使得语境信息收集器112a收集当前位置的GPS值。语境信息收集器112a可以从车辆控制器240收集当前位置的GPS值,并且然后将当前位置的GPS值存储在语境信息DB 142中,同时将GPS值收集确认信号发送到语境信息收集管理处理器112b。当语境信息收集管理处理器112b将GPS值收集确认信号发送到语境理解部112c时,语境理解部112c可以从语境信息DB 142中提取当前位置的GPS值,并且然后将当前位置的GPS值发送给对话输入管理处理器111c。
对话输入管理处理器111c可以组合作为自然语言理解结果的[域:导航]、[动作:路线引导]、[语音行为;请求]、[参数:NLU:目的地:首尔站]和[语境信息:当前位置:义王(Uiwang)站(GPS值)],并且然后将组合的信息发送到对话管理处理器120。
参考图30,对话流程管理处理器121可以搜索对话和动作状态DB147,并确定是否存在正在进行中的对话任务或动作任务。此时,对话流程管理处理器121可以参考对话策略DB 148。根据该实施方式,假设不存在当前正在进行中的对话任务或动作任务。
对话流程管理处理器121可以请求对话动作管理处理器122生成与输入处理器110的输出相对应的动作任务和对话任务。动作任务和对话任务的生成可以表示指定用于存储并且管理与动作状态和对话状态相关的信息的存储空间。
因此,对话动作管理处理器122可以指定对话和动作状态DB 147中的存储空间以存储与动作状态和对话状态相关的信息。
对话动作管理处理器122可以将动作状态和对话状态发送到动作优先级确定器125。
动作优先级确定器125可以在关系动作DB 146b中搜索与路线引导相关的车辆状态检查和加油站推荐。路线引导动作和关系动作可以成为候选动作。
动作优先级确定器125可以根据预先存储的规则来确定候选动作的优先级。可以在确定候选动作的执行条件之前确定优先级,或者可替换地,可以在确定候选动作的执行条件之后仅针对满足执行条件的候选动作来确定优先级。
候选动作列表可以再次发送到对话动作管理处理器122,并且对话动作管理处理器122可以通过添加搜索到的关系动作来更新动作状态。
参考图31,动作优先级确定器125可以在动作执行条件DB 146c中搜索关于每个候选动作的执行条件或确定执行条件的参数。动作优先级确定器125还可以确定候选动作之中的优先级。
例如,用于车辆状态检查的条件可以是目的地距离等于或大于100km的情况,其中,用于确定条件的参数可以对应于目的地距离。
用于加油站推荐的条件可以是目的地距离大于剩余燃油可行驶距离(DTE)的情况,其中,用于确定条件的参数可以对应于目的地距离和剩余燃油可行驶距离(DTE)。
对话动作管理处理器122可以通过将用于执行每个候选动作的条件和确定条件所需的参数添加到对话和动作状态DB 147来更新动作状态。
动作优先级确定器125可以在对话和动作状态DB 147、语境信息DB 142、长期存储器143或短期存储器144中搜索确定候选动作是否满足执行条件所需的参数值,并从对话和动作状态DB 147、语境信息DB 142、长期存储器143或短期存储器144中取得该参数值。
当参数值包含在先前的对话内容中、在与对话内容相关的语境信息中、或在与所生成的事件相关的语境信息中时,动作优先级确定器125可以从对话和动作状态DB 147中取得参数值。
当不允许动作优先级确定器125从对话和动作状态DB 147、语境信息DB 142、长期存储器143或短期存储器144中取得参数值时,动作优先级确定器125可以向外部信息管理处理器126请求参数值。
例如,可以从提供导航服务的外部内容服务器300取得目的地距离,并且可以经由外部信息管理处理器126从语境信息DB 142取得DTE。同时,为了搜索目的地距离,可能需要用于导航服务的正确的目的地信息。在本实施方式中,从用户的话语输入的目的地可以对应于“首尔站”,其中,“首尔站”可以包括具有以“首尔站”开始的名称的各种地方以及具有特定含义的“首尔站”。因此,仅使用“首尔站”可能难以搜索正确的目的地距离。
根据需要,可以从连接到车辆200的移动装置400取得参数值。例如,当需要用户信息(例如,未存储在长期存储器143中的联系人和日程表),作为参数值时,外部信息管理处理器126可以向移动装置400请求所需的信息,并且然后获取所需的参数值。
当不能经由存储装置140、外部内容服务器300和移动装置400获取参数值时,可以通过询问用户来获取所需的参数值。
动作优先级确定器125可以通过使用参数值来确定候选动作的执行条件。由于不搜索目的地距离,所以可以推迟与车辆状态检查动作和加油站推荐相关的执行条件的确定。
如图32所示,对话动作管理处理器122可通过将所获取的参数值以及通过使用对应的参数值所确定的是否满足动作执行条件添加到对话和动作状态DB 147来更新动作状态。
对话动作管理处理器122可以向参数管理处理器124请求用于执行候选动作的参数列表。
参数管理处理器124可以从动作参数DB 146a中提取当前位置和目的地作为用于执行路线引导动作的必要参数,并提取路线类型(初始值:快速路线)作为替代参数。
参数管理处理器124可以提取用于执行车辆状态检查动作的检查部分(初始值:整体部分),作为替代参数,并提取最喜欢的加油站(初始值:A石油),作为用于执行加油站推荐动作的替代参数。
所提取的参数列表可以发送到对话动作管理处理器122并用于更新动作状态。
参数管理处理器124可以在对话和动作状态DB 147、语境信息DB 142、长期存储器143和短期存储器144中的每个参数的参考位置中搜索对应的参数值,以获取对应于候选动作的必要参数和替代参数的参数值。当需要经由外部服务提供参数值时,参数管理处理器124可以经由外部信息管理处理器126向外部内容服务器300请求所需的参数值。
用于确定候选动作的执行条件的参数和用于执行候选动作的参数可以复制。当存在与用于执行候选动作的参数(必要参数和替代参数)相对应的参数时,可以使用在由动作优先级确定器125获取并然后存储在对话和动作状态DB 147中的参数值之中的对应的参数。
参考图33,对话动作管理处理器122可以通过添加由参数管理处理器124获取的参数值来更新动作状态。
如上所述,当使用从用户的话语提取的目的地(首尔站)作为路线引导动作的参数时,可能存在歧义。因此,可能尚未获取路线引导动作的参数(目的地)、车辆状态检查动作的参数(目的地距离)以及加油站推荐的参数(目的地距离)。
歧义求解器123可以检查当[参数:NLU:目的地:首尔站]转换成适合于路线引导动作的目的地参数时是否存在歧义。如上所述,“首尔站”可以包括具有以“首尔站”开始的名称的不同种类的地方以及用户具有特定含义的“首尔站”。
歧义求解器123可以通过参考形态分析结果来确认在用户的话语之中存在用于“首尔站”的修饰符。歧义求解器123可以在长期存储器143或短期存储器144中搜索日程表、移动位置和联系人,以识别“我们昨天去过的首尔站”的位置,
例如,歧义求解器123可以从昨天进行的用户的移动位置确认“我们昨天去过的首尔站”是“首尔站第4出口”。在确认存在POI(例如,“首尔站第4出口”)之后,歧义解算器123可以获取对应的值。
由歧义求解器123获取的目的地信息可以发送到对话动作管理处理器122,并且对话动作管理处理器122可以通过将“首尔站第4出口”添加到候选动作的目的地参数来更新动作状态。
参数管理处理器124可以从对话和动作状态DB 147取得目的地信息(首尔站第4出口),并经由外部信息管理处理器126向提供导航服务的外部内容服务器300请求目的地距离值。
参考图34,当动作优先级确定器125从外部内容服务器300获取目的地距离值(80km)并且然后将目的地距离值发送到参数管理处理器124时,参数管理处理器124可以将目的地距离值发送到对话动作管理处理器122,以允许更新动作状态。
动作优先级确定器125可以通过参考动作状态来确定候选动作是否可执行,并且调整候选动作的优先级。由于获取了作为必要参数的当前位置和目的地的参数值,因此可以确定路线引导动作是可执行的。由于目的地距离(70km)小于100km,因此可以确定车辆状态检查动作是不可执行的。由于目的地距离(80km)大于DTE,因此可以确定加油站推荐动作是可执行的。
由于车辆状态检查动作不可执行,所以车辆状态检查动作可以从优先级的确定中排除。因此,可以将路线引导动作排在第一位,并将加油站推荐动作排在第二位。
对话动作管理处理器122可以根据候选动作是否可执行以及修改的优先级来更新动作状态。
对话流程管理处理器121可以检查存储在对话和动作状态DB 147中的对话状态和动作状态,并且可以通过参考对话策略DB 148来开发对话策略,以继续对话。例如,对话流程管理处理器121可以选择可执行动作之中的最高优先级动作,并且对话流程管理处理器121可以请求响应生成管理处理器131根据对话策略DB 148生成对于对话进度的响应。
存储在对话和动作状态DB 147中的对话状态和动作状态可以更新为[状态:确认路线引导开始]
参考图35,响应生成管理处理器131可以通过搜索响应模板149来生成TTS响应和文本响应。
对话响应发生器132可以生成对话响应,该对话响应被配置为输出作为TTS和文本形式的“从义王站到首尔站第4出口预计需要30分钟。是否要开始引导?”。
响应生成管理处理器131可以将由对话响应发生器132生成的TTS响应和文本响应发送到输出管理处理器133和存储器管理处理器135,并且输出管理处理器133可以将TTS响应发送到扬声器232并将文本响应发送到显示器231。此时,输出管理处理器133可以在穿过被配置为将文本组合成语音的TTS模块之后将TTS响应发送到扬声器232。
存储器管理处理器135可以将用户请求路线引导存储在短期存储器144或长期存储器143中。
可以经由显示器231和扬声器232输出被配置为询问“从义王站到首尔站第4出口预计需要30分钟。是否要开始引导?”的对话响应。如图36所示,当用户说出“是”时,可以将用户的话语输入到语音识别器111a,并且然后输出为[文本:是],并且自然语言理解部111b可以输出[域:-]、[动作:-]、[语音行为:-]以及[形态分析结果:是/IC]。
自然语言理解结果可以发送到对话输入管理处理器111c,并且对话输入管理处理器111c可以将自然语言理解结果发送到对话管理处理器120。
参考图37,对话流程管理处理器121可以搜索对话和动作状态DB 147并分析先前的对话状态。对话流程管理处理器121可以请求对话动作管理处理器122更新与当前正在执行的[路线引导]相关的对话/动作。
对话动作管理处理器122可以将对话状态和动作状态更新为[状态:路线引导开始]。
对话流程管理处理器121可以请求结果处理器130产生用于开始路线引导的响应。
参考图38,对话动作管理处理器122可以将对话状态更新为[状态:进行下一个对话]并且将动作状态更新为[状态:执行]。
对话流程管理处理器121可以请求响应生成管理处理器131生成用于路线引导的响应。
对话响应发生器132可以生成作为TTS和文本形式的被配置为输出“开始路线引导”的对话响应,并且然后将对话响应发送到响应生成管理处理器131。
命令发生器136可以生成用于执行路线引导的命令[目标:导航,命令:路线引导,目的地:首尔站第4出口,出发:义王站],并且然后将命令发送到响应生成管理处理器131。
响应生成管理处理器131可以将生成的对话响应和命令发送到输出管理处理器133。输出管理处理器133可以经由显示器231和扬声器232输出对话响应。输出管理处理器133可以经由车辆控制器240将路径引导命令发送到车辆200的AVN 230或发送到提供导航服务的外部内容服务器300。
参考图39,对话流程管理处理器121可以选择加油站推荐作为下一个可执行动作,并且请求响应生成管理处理器131生成被配置为询问用户是否推荐加油站的响应。
对话状态和动作状态可以更新为[状态:检查相关服务推荐]。
响应生成管理处理器131可以请求对话响应发生器132生成TTS响应和文本响应,并且对话响应发生器132可以生成被配置为以TTS和文本形式输出“没有足够的燃料到达目的地。你想要将A石油站添加到中途停留吗?”的对话响应。对话响应发生器132可以将TTS和文本发送到响应生成管理处理器131。
响应生成管理处理器131可以将由对话响应发生器132生成的TTS响应和文本响应发送到输出管理处理器133和存储器管理处理器135,并且输出管理处理器133可以将TTS响应发送到扬声器232并且将文本响应发送到显示器231。
可以经由显示器231和扬声器232输出被配置为询问“没有足够的燃料到达目的地。你想要将A石油站添加到中途停留吗?”的对话响应。如图40所示,当用户说出“不”时,可以将用户的话语输入到语音识别器111a,并且然后输出为[文本:不],并且自然语言理解部111b可以输出[域:-]、[动作:-]、[语音行为:-]以及[形态分析结果:否/IC]。
对话流程管理处理器121可以请求对话动作管理处理器122更新对话状态和动作状态。
对话动作管理处理器122可以将对话状态更新为[状态:进行下一个对话]并且将动作状态更新为[状态:取消]。
对话流程管理处理器121可以请求响应生成管理处理器131生成指示取消加油站推荐服务的响应,并且对话流程管理处理器121可以检查是否存在待依次继续的对话。当不存在待依次继续的对话时,对话流程管理处理器121可以将对话状态更新为[状态:空闲]并等待用户的输入。
上述数据处理的流程仅仅是应用于对话系统100的示例。因此,通过对话系统100的每个部件处理数据的顺序不限于上述示例,并且因此多个部件可以同时处理数据,或者多个部件可以按照与上述示例不同的顺序来处理数据。
在下文中,将根据实施方式描述对话处理方法。根据实施方式,对话处理方法可以应用于上述对话系统100或者设置有对话系统100的车辆200。因此,将以相同的方式将图1至图40的描述应用于对话处理方法。
图41是示出在根据实施方式的对话处理方法中处理用户的输入的方法的流程图。处理用户的输入的方法可以在对话系统100的输入处理器110中执行。
参考图41,当输入用户的话语(500中为“是”)时,语音识别器111a可以识别输入的用户的话语(510)。用户的话语可以输入到设置在车辆200中的语音输入装置210或设置在移动装置400中的语音输入装置410。
语音识别器111a可以识别输入的用户的话语并以文本形式输出话语。
自然语言理解部111b可以将自然语言理解技术应用于文本形式的话语(520),并输出自然语言理解的结果。
具体地,自然语言理解过程(520)可以包括对文本形式的话语进行形态分析(521),基于形态分析结果从话语中提取域(522),识别实体名称(523),分析语音行为(524),以及提取动作(525)。
可以通过参考域/动作推理规则DB 141来执行域的提取、实体名称的识别和动作的提取。
自然语言理解部111b的输出(即,自然语言理解的结果)可以包括对应于用户的话语的形态分析的域、动作、语音行为和结果。
可以搜索与提取的动作相关的语境信息。与提取的动作相关的语境信息可以存储在语境理解表145中。语境理解部112c可以在语境理解表145中搜索与所提取的动作相关的语境信息,并且语境信息处理器112可以从语境信息DB 142、长期存储器143或短期存储器144中取得搜索的语境信息的信息值。
当需要额外语境信息时(530中为“是”),即在从语境信息DB 142、长期存储器143或短期存储器144未获取语境信息的情况下,语境理解部112c可以请求收集对应的语境信息(540)。可以经由语境信息收集器112a输入除了语音之外的输入(例如,车辆状态信息、周围环境信息和驾驶员信息),该输入与用户的话语的输入分开执行。
该信息可以周期性地输入或只有当某个事件发生时输入。另外,可以周期性地输入该信息,并且然后当某个事件发生时额外输入该信息。在任何情况下,当请求收集信息时,可以主动收集对应的信息。
因此,当已经收集到与动作相关的语境信息时,可以从语境信息DB 142、长期存储器143或短期存储器144取得对应的信息,或者可以经由语境信息收集器112a收集对应的信息。
当接收用于收集语境信息的请求的语境信息收集器112a收集对应的语境信息并将该信息存储在语境信息DB 142中时,语境理解部112c可以从语境信息DB 142取得对应的语境信息。
当语境信息收集管理处理器112b由于由语境信息收集器112a收集的数据满足预定条件而确定发生了某个事件时,语境信息收集管理处理器112b可以向语境理解部112c发送动作触发信号。
语境理解部112c可以搜索语境理解表145,以搜索与对应事件相关的语境信息,并且当搜索到的语境信息未存储在语境理解表145中时,语境理解部112c可以将语境信息请求信号再次发送到语境信息收集管理处理器112b。
当所需语境信息的收集完成时,自然语言理解的结果和语境信息可发送到对话管理处理器120(550)。当事件发生时,也可以发送与事件相关的信息(发生哪个事件)以及与发生的事件相关的语境信息。
图42是示出在根据实施方式的对话处理方法中使用输入处理器的输出来管理对话的方法的流程图。对话处理方法可以由对话系统100的对话管理处理器120执行。
参考图42,对话流程管理处理器121可以在对话和动作状态DB 147中搜索相关的对话历史(600)。
在该实施方式中,已经描述了从用户的话语中提取域和动作的情况作为示例,但是由于在话语内容或语境中存在歧义,可能存在不能从用户的话语提取域和动作的情况。在这种情况下,对话动作管理处理器122可以生成随机对话状态,并且歧义求解器123可以基于用户的话语的内容、环境条件、车辆状态和用户信息来识别用户的意图,并且确定适合用户意图的动作。
当存在相关的对话历史时(600中为“是”),可以参考相关的对话历史(690)。当不存在相关的对话历史时(600中为“否”),可以生成新的对话任务和动作任务(610)。
可以在关系动作DB 146b中搜索与从用户的话语提取的动作相关的相关动作列表(在下文中称为输入动作),并且可以生成候选动作列表(620)。输入动作以及与输入动作相关的动作可以对应于候选动作列表。
可以在动作执行条件DB 146c中搜索根据每个候选动作的执行条件(630)。执行条件可以表示用于执行动作的必要条件。因此,当满足对应的条件时,可以确定动作是可执行的,但是当不满足对应的条件时,可以确定动作是不可执行的。在动作执行条件DB 146c中,也可以存储与用于确定动作执行条件的参数的类型相关的信息。
可以获取用于确定动作执行条件的参数值(640)。用于确定动作执行条件的参数可以称为条件确定参数。可以通过搜索语境信息DB 142、长期存储器143、短期存储器144或对话和动作状态DB 147来获取条件确定参数的参数值。当需要经由外部服务提供条件确定参数的参数值时,可以经由外部信息管理处理器126从外部内容服务器300提供所需的参数值。
当由于语境和话语中的歧义而不能获取所需的参数值时,可以通过使用歧义求解器123求解歧义来获取所需的参数值。
尽管所获取的参数是在动作执行条件确定方面有困难的无效参数,但是歧义求解器123可以从无效参数中获取有效参数。
基于所获取的条件确定参数,可以确定每个候选动作是否可执行(650),并且可以确定候选动作的优先级(660)。可以预先存储用于确定候选动作的优先级的规则。动作优先级确定器125可以在确定每个候选动作是否可执行之后通过仅考虑可执行的候选动作来确定候选动作的优先级。可替换地,在确定候选动作的优先级之后,不管每个候选动作是否可执行,都可以基于每个候选动作是否可执行来修改候选动作的优先级。
可以在动作参数DB 146a中搜索用于执行候选动作的参数列表(670)。用于执行候选动作的参数可以对应于动作参数。动作参数可以包括必要参数和替代参数。
可以获取用于执行候选动作的参数值(680)。可以通过搜索语境信息DB 142、长期存储器143、短期存储器144或者对话和动作状态DB 147来获取动作参数的参数值。当需要经由外部服务提供动作参数的参数值时,可以经由外部信息管理处理器126从外部内容服务器300提供所需的参数值。
当由于语境和话语中的歧义而不能获取所需的参数值时,可以通过使用歧义求解器123求解歧义来获取所需的参数值。
尽管所获取的参数是在动作执行条件确定方面有困难的无效参数,但是歧义求解器123可以从无效参数中获取有效参数。
由对话动作管理处理器122管理的对话状态和动作状态可以通过上述步骤执行,并且每当状态改变时,可以更新对话状态和动作状态。
当获得所有可获得的参数值时,对话流程管理处理器121可以将与候选动作相关的信息和对话状态发送到结果处理器130。根据对话策略,对话流程管理处理器121可以发送与对应于第一优先级的动作相关的信息或与多个候选动作相关的信息。
当由于外部内容服务器300、长期存储器143、短期存储器144和语境信息DB 142中不存在所需的参数值而仅通过用户获取所需的参数值时,可以输出用于向用户询问参数值的对话响应。
图43是示出在根据实施方式的对话处理方法中由于生成与对话管理的结果相对应的响应的结果处理方法的流程图。可以由对话系统100的结果处理器130执行结果处理方法。
参考图43,当需要生成对话响应时(700中为“是”),对话响应发生器132可以搜索响应模板149(710)。对话响应发生器132可以提取对应于当前对话状态和动作状态的对话响应模板,并用所需的参数值填充响应模板,以生成对话响应(720)。
当没有从对话管理处理器120发送用于生成对话响应所需的参数值时,或者当发送使用外部内容的引入时,可以从外部内容服务器300提供或者在长期存储器143、短期存储器144或语境信息DB 142中搜索所需的参数值。当由于外部内容服务器300、长期存储器143、短期存储器144和语境信息DB 142中不存在所需的参数值而仅通过用户获取所需的参数值时,可以生成用于向用户询问参数值的对话响应。
当需要生成命令时(760),命令发生器136可以生成用于车辆控制或外部内容的命令(770)。
所生成的对话响应或命令可以输入到输出管理处理器133,并且输出管理处理器133可以确定对话响应与命令之间的输出顺序或多个命令之中的输出顺序(730)。
可以基于生成的对话响应或命令更新存储器(740)。存储器管理处理器135可以通过基于所生成的对话响应或命令存储在用户与系统之间的对话内容来更新短期存储器144,并且通过存储通过与用户的对话所获取的与用户相关的信息来更新长期存储器143。存储器管理处理器135可基于所生成和输出的车辆控制和外部内容请求来更新存储在长期存储器143中的用户的偏好和车辆控制历史。
输出管理处理器133可以通过将对话响应和命令发送到适当的输出位置来输出响应(750)。可以经由扬声器232输出TTS响应,并且可以在显示器231上输出文本响应。可以根据控制目标将命令发送到车辆控制器240,或者发送到外部内容服务器300。另外,命令可以发送到被配置为与外部内容服务器300通信的通信装置280。
根据实施方式的对话处理方法不限于上述流程图中的顺序。根据图41至图43的流程图的流程可以仅仅是应用于对话处理方法的示例。因此,可以同时执行多个步骤,也可以改变每个步骤的顺序。
从以上描述中显而易见的是,根据所提出的对话处理设备、具有该对话处理设备的车辆以及对话处理方法,可以通过使用专用于车辆的对话处理方法,来提供适合于用户的意图的或者用户所需的服务。
另外,通过考虑在车辆中发生的各种语境,可以提供用户所需的服务。具体地,不论用户的话语如何,都可以基于由对话系统100收集的语境信息或驾驶员信息来确定用户所需的服务,并抢先提供该服务。
尽管已经示出和描述了本公开的一些实施方式,但是本领域技术人员应该理解的是,在不脱离本公开的原理和精神的情况下可以对这些实施方式进行改变,本公开的范围在权利要求及其等同物中限定。

Claims (44)

1.一种对话系统,包括:
输入处理器,提取对应于用户的话语的动作;
存储装置,存储语境信息的信息值,所述语境信息包括与车辆状态相关的车辆状态信息和与车辆的驾驶环境相关的驾驶环境信息中的至少一个;
对话管理处理器,从所述存储装置获取用于确定对应于所述用户的话语的动作是否可执行的条件确定参数的参数值,所述对话管理处理器基于所述条件确定参数的参数值确定要执行的动作,所述对话管理处理器从所述存储装置获取用于执行所确定的动作的动作参数的参数值;以及
结果处理器,通过使用所获取的动作参数的参数值来生成对执行所确定的动作的响应,
其中,所述对话管理处理器被进一步配置为基于所获取的条件确定参数确定对应于所述用户的话语的动作是否可执行并且当确定对应于所述用户的话语的动作可执行时,对应于所述用户的话语的动作被确定为要执行的动作。
2.根据权利要求1所述的对话系统,其中,
所述存储装置根据每个动作存储与动作相关的所述语境信息;并且
所述输入处理器从所述存储装置获取与对应于所述用户的话语的动作相关的语境信息的信息值,并将所述信息值发送到所述对话管理处理器。
3.根据权利要求2所述的对话系统,其中,
当所述存储装置中未存储与对应于所述用户的话语的动作相关的所述语境信息的信息值时,所述输入处理器向所述车辆请求所述语境信息的信息值。
4.根据权利要求2所述的对话系统,其中,
所述对话管理处理器使用从所述输入处理器发送的所述语境信息的信息值,作为所述条件确定参数的参数值或所述动作参数的参数值。
5.根据权利要求1所述的对话系统,其中,
所述存储装置存储互连的动作之间的关系。
6.根据权利要求5所述的对话系统,其中,
所述对话管理处理器从所述存储装置获取与对应于所述用户的话语的动作相关的至少一个动作。
7.根据权利要求6所述的对话系统,其中,
所述对话管理处理器确定对应于所述用户的话语的动作与至少一个相关动作之间的优先级。
8.根据权利要求7所述的对话系统,其中,
所述对话管理处理器从所述存储装置获取用于确定所述相关动作是否可执行的所述条件确定参数的参数值,并且基于所获取的条件确定参数的参数值来确定至少一个所述相关动作是否可执行。
9.根据权利要求8所述的对话系统,其中,
所述对话管理处理器确定可执行的并且在对应于所述用户的话语的动作和至少一个所述相关动作之间具有最高优先级的动作,作为要执行的动作。
10.根据权利要求1所述的对话系统,其中,
当所述输入处理器不能提取对应于所述用户的话语的动作时,所述对话管理处理器基于所述车辆状态信息和所述驾驶环境信息中的至少一个来估计对应于所述用户的话语的动作。
11.根据权利要求10所述的对话系统,其中,
所述对话管理处理器从所述存储装置获取用于执行所估计的动作的动作参数的参数值。
12.根据权利要求10所述的对话系统,其中,
所述存储装置存储互连的动作之间的关系,其中,所述对话管理处理器从所述存储装置获取与所估计的动作相关的至少一个动作。
13.根据权利要求1所述的对话系统,进一步包括:
通信器,与外部服务器通信;
其中,当所述对话管理处理器不能从所述存储装置获取所述条件确定参数的参数值或所述动作参数的参数值时,所述对话管理处理器向所述外部服务器请求参数值。
14.根据权利要求1所述的对话系统,其中,
所述结果处理器生成对执行所确定的动作的对话响应和用于车辆控制的命令。
15.根据权利要求1所述的对话系统,进一步包括:
通信器,从所述车辆接收所述语境信息的信息值并将所述响应发送给车辆。
16.根据权利要求1所述的对话系统,进一步包括:
通信器,从连接到所述车辆的移动装置接收所述语境信息的信息值,并将所述响应发送到所述移动装置。
17.一种对话处理方法,包括:
由存储装置在所述存储装置中存储语境信息的信息值,所述语境信息包括与车辆状态相关的车辆状态信息和与车辆的驾驶环境相关的驾驶环境信息中的至少一个;
由输入处理器提取对应于用户的话语的动作;
从所述存储装置,获取用于确定包括对应于所述用户的话语的动作的至少一个候选动作是否可执行的条件确定参数的参数值和用于执行至少一个所述候选动作的动作参数的参数值中的至少一个;
由对话管理处理器基于所获取的条件确定参数的参数值,确定在至少一个所述候选动作中的要执行的动作;以及
由结果处理器通过使用所获取的动作参数的参数值,生成对执行所确定的动作的响应,
其中,通过所述对话管理处理器基于所获取的条件确定参数确定对应于所述用户的话语的动作是否可执行并且当确定对应于所述用户的话语的动作可执行时,对应于所述用户的话语的动作被确定为要执行的动作。
18.根据权利要求17所述的对话处理方法,进一步包括:
在所述存储装置中根据每个动作存储与动作相关的所述语境信息;并且
从所述存储装置获取与对应于所述用户的话语的动作相关的所述语境信息的信息值,并将所述信息值发送到所述对话管理处理器。
19.根据权利要求18所述的对话处理方法,进一步包括:
当所述存储装置中未存储与对应于所述用户的话语的动作相关的所述语境信息的信息值时,向所述车辆请求所述语境信息的信息值。
20.根据权利要求18所述的对话处理方法,其中,
基于所述条件确定参数的参数值确定要执行的动作包括:使用发送的所述语境信息的信息值作为所述条件确定参数的参数值。
21.根据权利要求18所述的对话处理方法,其中,
生成对执行所确定的动作的响应包括:使用发送的所述语境信息的信息值作为所述动作参数的参数值。
22.根据权利要求17所述的对话处理方法,进一步包括:
在所述存储装置中存储互连的动作之间的关系。
23.根据权利要求22所述的对话处理方法,进一步包括:
从所述存储装置获取与对应于所述用户的话语的动作相关的至少一个动作,并将所述至少一个动作添加到至少一个所述候选动作。
24.根据权利要求23所述的对话处理方法,进一步包括:
确定对应于所述用户的话语的动作与包括至少一个相关动作的所述候选动作之间的优先级。
25.根据权利要求24所述的对话处理方法,其中,
确定要执行的动作包括:基于所获取的条件确定参数的参数值来确定至少一个所述候选动作是否可执行。
26.根据权利要求25所述的对话处理方法,其中,
基于所述条件确定参数的参数值来确定要执行的动作包括:确定可执行的并且在至少一个所述候选动作中具有最高优先级的动作作为要执行的动作。
27.根据权利要求17所述的对话处理方法,进一步包括:
当所述输入处理器不能提取对应于所述用户的话语的动作时,基于所述车辆状态信息和所述驾驶环境信息中的至少一个来估计对应于所述用户的话语的动作。
28.根据权利要求27所述的对话处理方法,进一步包括:
从所述存储装置获取用于执行所估计的动作的动作参数的参数值。
29.根据权利要求17所述的对话处理方法,进一步包括:
当不能从所述存储装置获取所述条件确定参数的参数值或所述动作参数的参数值时,向外部服务器请求参数值。
30.根据权利要求17所述的对话处理方法,其中,
生成对执行所确定的动作的响应包括:生成对话响应作为对执行所确定的动作的响应以及生成用于所述车辆的控制命令。
31.根据权利要求17所述的对话处理方法,进一步包括:
从所述车辆接收所述语境信息的信息值;并且
将所述响应发送给所述车辆。
32.根据权利要求17所述的对话处理方法,进一步包括:
从连接到所述车辆的移动装置接收所述语境信息的信息值;并且
将所述响应发送到所述移动装置。
33.一种对话系统,包括:
存储装置,存储语境信息的信息值,所述语境信息包括与车辆状态相关的车辆状态信息和与车辆的驾驶环境相关的驾驶环境信息中的至少一个;
输入处理器,提取对应于用户的话语的动作并从所述存储装置获取与对应于所述用户的话语的动作相关的语境信息的信息值;
对话管理处理器,确定在包括对应于所述用户的话语的动作的候选动作中的要执行的动作,并且当由所述输入处理器获取的语境信息的信息值不包括用于执行所确定的动作的动作参数的参数值时,从所述存储装置获取所述动作参数的参数值;以及
结果处理器,通过使用所获取的动作参数的参数值来生成对执行所确定的动作的响应,
其中,所述对话管理处理器被进一步配置为基于所获取的条件确定参数确定对应于所述用户的话语的动作是否可执行并且当确定对应于所述用户的话语的动作可执行时,对应于所述用户的话语的动作被确定为要执行的动作。
34.根据权利要求33所述的对话系统,其中,
当由所述输入处理器获取的语境信息的信息值不包括用于确定所述候选动作是否可执行的条件确定参数的参数值时,所述对话管理处理器从所述存储装置获取所述条件确定参数的参数值,并且基于所获取的条件确定参数的参数值来确定所述候选动作是否可执行。
35.根据权利要求34所述的对话系统,其中,
所述对话管理处理器基于所述候选动作是否可执行来确定要执行的动作。
36.一种具有对话系统的车辆,包括:
输入处理器,提取对应于用户的话语的动作;
存储装置,存储语境信息的信息值,所述语境信息包括与车辆状态相关的车辆状态信息和与车辆的驾驶环境相关的驾驶环境信息中的至少一个;
对话管理处理器,从所述存储装置获取用于确定对应于所述用户的话语的动作是否可执行的条件确定参数的参数值,所述对话管理处理器基于所述条件确定参数的参数值确定要执行的动作,所述对话管理处理器从所述存储装置获取用于执行所确定的动作的动作参数的参数值;以及
结果处理器,通过使用所获取的动作参数的参数值来生成对执行所确定的动作的响应,
其中,所述对话管理处理器被进一步配置为基于所获取的条件确定参数确定对应于所述用户的话语的动作是否可执行并且当确定对应于所述用户的话语的动作可执行时,对应于所述用户的话语的动作被确定为要执行的动作。
37.根据权利要求36所述的车辆,其中,
所述存储装置根据每个动作存储与动作相关的语境信息;并且
所述输入处理器从所述存储装置获取与对应于所述用户的话语的动作相关的语境信息的信息值,并将所述信息值发送到所述对话管理处理器。
38.根据权利要求37所述的车辆,其中,
当所述存储装置中未存储与对应于所述用户的话语的动作相关的所述语境信息的信息值时,所述输入处理器向所述车辆请求所述语境信息的信息值。
39.根据权利要求37所述的车辆,其中,
所述对话管理处理器使用从所述输入处理器发送的语境信息的信息值,作为所述条件确定参数的参数值或所述动作参数的参数值。
40.根据权利要求36所述的车辆,其中,
所述存储装置存储互连的动作之间的关系。
41.根据权利要求40所述的车辆,其中,
所述对话管理处理器从所述存储装置获取与对应于所述用户的话语的动作相关的至少一个动作。
42.根据权利要求41所述的车辆,其中,
所述对话管理处理器确定对应于所述用户的话语的动作与至少一个相关动作之间的优先级。
43.根据权利要求42所述的车辆,其中,
所述对话管理处理器从所述存储装置获取用于确定所述相关动作是否可执行的所述条件确定参数的参数值,并且基于所获取的所述条件确定参数的参数值来确定至少一个所述相关动作是否可执行。
44.根据权利要求43所述的车辆,其中,
所述对话管理处理器确定可执行的并且在对应于所述用户的话语的动作和至少一个所述相关动作之间具有最高优先级的动作,作为要执行的动作。
CN201711454988.9A 2017-01-23 2017-12-27 对话系统、具有对话系统的车辆以及对话处理方法 Active CN108346430B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0010496 2017-01-23
KR1020170010496A KR102338990B1 (ko) 2017-01-23 2017-01-23 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법

Publications (2)

Publication Number Publication Date
CN108346430A CN108346430A (zh) 2018-07-31
CN108346430B true CN108346430B (zh) 2023-07-11

Family

ID=62812899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711454988.9A Active CN108346430B (zh) 2017-01-23 2017-12-27 对话系统、具有对话系统的车辆以及对话处理方法

Country Status (4)

Country Link
US (1) US10839797B2 (zh)
KR (1) KR102338990B1 (zh)
CN (1) CN108346430B (zh)
DE (1) DE102017223856A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102338990B1 (ko) * 2017-01-23 2021-12-14 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US10754885B2 (en) * 2017-11-27 2020-08-25 Baidu Usa Llc System and method for visually searching and debugging conversational agents of electronic devices
US10666583B2 (en) * 2017-11-27 2020-05-26 Baidu Usa Llc System and method for visually understanding and programming conversational agents of electronic devices
US11182122B2 (en) 2017-12-08 2021-11-23 Amazon Technologies, Inc. Voice control of computing devices
US10503468B2 (en) * 2017-12-08 2019-12-10 Amazon Technologies, Inc. Voice enabling applications
US10885919B2 (en) * 2018-01-05 2021-01-05 Nuance Communications, Inc. Routing system and method
US10777203B1 (en) * 2018-03-23 2020-09-15 Amazon Technologies, Inc. Speech interface device with caching component
US10567983B2 (en) * 2018-07-02 2020-02-18 Ford Global Technologies, Llc Method and apparatus for adaptive network slicing in vehicles
KR20200024511A (ko) 2018-08-28 2020-03-09 삼성전자주식회사 대화 에이전트의 동작 방법 및 그 장치
CN110874202B (zh) 2018-08-29 2024-04-19 斑马智行网络(香港)有限公司 交互方法、设备、介质和操作系统
KR102506877B1 (ko) * 2018-09-03 2023-03-08 현대자동차주식회사 군집 주행 제어 장치, 그를 포함한 시스템 및 그 방법
US10720149B2 (en) * 2018-10-23 2020-07-21 Capital One Services, Llc Dynamic vocabulary customization in automated voice systems
JP7139904B2 (ja) * 2018-11-15 2022-09-21 トヨタ自動車株式会社 情報処理装置及び情報処理プログラム
DE112018008093T5 (de) * 2018-11-29 2021-08-26 Mitsubishi Electric Corporation Dialogvorrichtung, dialogverfahren und dialogprogramm
US10785171B2 (en) 2019-02-07 2020-09-22 Capital One Services, Llc Chat bot utilizing metaphors to both relay and obtain information
CN109979450B (zh) * 2019-03-11 2021-12-07 海信视像科技股份有限公司 信息处理方法、装置及电子设备
KR20200116688A (ko) * 2019-04-02 2020-10-13 현대자동차주식회사 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
KR20200117317A (ko) 2019-04-03 2020-10-14 현대자동차주식회사 대화 시스템 및 대화 처리 방법
CN110143179B (zh) * 2019-04-25 2022-04-19 铁将军汽车电子股份有限公司 车辆安全状态评估方法、装置及系统
DE102019206371B4 (de) * 2019-05-03 2022-07-07 Audi Ag Erfassungsvorrichtung für ein Sprachsignal einer Person sowie Verfahren zum Erfassen eines Sprachsignals einer Person mit einer derartigen Erfassungsvorrichtung
US11238868B2 (en) * 2019-05-06 2022-02-01 Google Llc Initializing non-assistant background actions, via an automated assistant, while accessing a non-assistant application
DE102019206500A1 (de) * 2019-05-07 2020-11-12 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Sprachassistenzsystems eines Kraftfahrzeugs und Sprachassistenzsystem für ein Kraftfahrzeug
KR20200129922A (ko) * 2019-05-10 2020-11-18 현대자동차주식회사 음성인식 기반 정보 제공 시스템 및 방법
KR20210034276A (ko) 2019-09-20 2021-03-30 현대자동차주식회사 대화 시스템, 대화 처리 방법 및 전자 장치
US11289086B2 (en) * 2019-11-01 2022-03-29 Microsoft Technology Licensing, Llc Selective response rendering for virtual assistants
US11676586B2 (en) * 2019-12-10 2023-06-13 Rovi Guides, Inc. Systems and methods for providing voice command recommendations
JP7338493B2 (ja) * 2020-01-29 2023-09-05 トヨタ自動車株式会社 エージェント装置、エージェントシステム及びプログラム
CN111312254A (zh) * 2020-03-26 2020-06-19 镁佳(北京)科技有限公司 语音对话方法和装置
JP2021174054A (ja) * 2020-04-20 2021-11-01 株式会社小松製作所 作業機械の障害物報知システムおよび作業機械の障害物報知方法
KR20210130465A (ko) 2020-04-22 2021-11-01 현대자동차주식회사 대화 시스템 및 그 제어 방법
CN111859037A (zh) * 2020-06-03 2020-10-30 北京百度网讯科技有限公司 行车意图识别方法、装置、电子设备及存储介质
US20220122456A1 (en) * 2020-10-20 2022-04-21 Here Global B.V. Explanation of erratic driving behavior
CN112182410B (zh) * 2020-11-05 2023-04-21 西南交通大学 基于时空轨迹知识图谱的用户出行模式挖掘方法
KR20220073513A (ko) * 2020-11-26 2022-06-03 현대자동차주식회사 대화 시스템, 차량 및 대화 시스템의 제어 방법
CN112634888A (zh) * 2020-12-11 2021-04-09 广州橙行智动汽车科技有限公司 语音交互方法、服务器、语音交互系统和可读存储介质
CN113299317B (zh) * 2021-05-14 2022-04-08 东南大学 一种基于mfcc特征提取的交叉路口碰撞音频预警测评方法
DE102022116213A1 (de) 2022-06-29 2024-01-04 Cariad Se Verfahren und Steuergerät und Kraftfahrzeug, bei welchem jeweils ein Datenverwaltungsmodul einer Laufzeitumgebung abzuspeichernde Daten aus einer Applikationssoftware empfängt und diese Daten dauerhaft abspeichert

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100382A (ja) * 2003-09-01 2005-04-14 Matsushita Electric Ind Co Ltd 対話装置及び対話方法
WO2015033523A1 (ja) * 2013-09-03 2015-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声対話制御方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678612B1 (en) * 1997-12-16 2004-01-13 Maurice A. Khawam Wireless vehicle location and emergency notification system
JP3990075B2 (ja) * 1999-06-30 2007-10-10 株式会社東芝 音声認識支援方法及び音声認識システム
ATE415684T1 (de) * 2004-01-29 2008-12-15 Harman Becker Automotive Sys Verfahren und system zur sprachdialogschnittstelle
CN1959628A (zh) * 2005-10-31 2007-05-09 西门子(中国)有限公司 一种人机交互导航系统
US20140058584A1 (en) * 2009-03-18 2014-02-27 Robert Bosch Gmbh System And Method For Multimodal Interaction With Reduced Distraction In Operating Vehicles
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US8624758B2 (en) * 2010-03-23 2014-01-07 Mavizon, Llc Communication system including telemetric device for a vehicle connected to a cloud service
US8924218B2 (en) * 2010-11-29 2014-12-30 Greg L. Corpier Automated personal assistance system
EP2575128A3 (en) 2011-09-30 2013-08-14 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9934780B2 (en) * 2012-01-17 2018-04-03 GM Global Technology Operations LLC Method and system for using sound related vehicle information to enhance spoken dialogue by modifying dialogue's prompt pitch
KR20140015656A (ko) * 2012-06-26 2014-02-07 에스케이플래닛 주식회사 외부 환경과 사용자의 컨텐츠 선택유형에 따른 컨텐츠 추천 시스템 및 방법
US8909153B2 (en) * 2012-09-05 2014-12-09 GM Global Technology Operations LLC Vehicle communications using a mobile device
DE102013007502A1 (de) * 2013-04-25 2014-10-30 Elektrobit Automotive Gmbh Computer-implementiertes Verfahren zum automatischen Trainieren eins Dialogsystems und Dialogsystem zur Erzeugung von semantischen Annotationen
CN103309315B (zh) * 2013-05-24 2015-09-02 成都秦川科技发展有限公司 物联网汽车智能控制仪表及物联网汽车智能管理系统
US20150039316A1 (en) * 2013-07-31 2015-02-05 GM Global Technology Operations LLC Systems and methods for managing dialog context in speech systems
JP6411017B2 (ja) * 2013-09-27 2018-10-24 クラリオン株式会社 サーバ、及び、情報処理方法
US10209853B2 (en) * 2013-12-20 2019-02-19 Robert Bosch Gmbh System and method for dialog-enabled context-dependent and user-centric content presentation
KR101770187B1 (ko) * 2014-03-27 2017-09-06 한국전자통신연구원 음성 대화를 통한 네비게이션 제어 장치 및 방법
US10137902B2 (en) * 2015-02-12 2018-11-27 Harman International Industries, Incorporated Adaptive interactive voice system
JP6474307B2 (ja) * 2015-04-27 2019-02-27 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
US9875583B2 (en) * 2015-10-19 2018-01-23 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle operational data acquisition responsive to vehicle occupant voice inputs
DE102016200815A1 (de) * 2015-12-15 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sprachsteuerung eines Kraftfahrzeugs
US10852720B2 (en) * 2016-02-10 2020-12-01 Harman International Industries, Incorporated Systems and methods for vehicle assistance
EP3264391A1 (en) * 2016-06-30 2018-01-03 Honda Research Institute Europe GmbH Method and system for assisting a driver in driving a vehicle and vehicle on which such system is mounted
KR102338990B1 (ko) * 2017-01-23 2021-12-14 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100382A (ja) * 2003-09-01 2005-04-14 Matsushita Electric Ind Co Ltd 対話装置及び対話方法
WO2015033523A1 (ja) * 2013-09-03 2015-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声対話制御方法

Also Published As

Publication number Publication date
US10839797B2 (en) 2020-11-17
DE102017223856A1 (de) 2018-07-26
US20180211663A1 (en) 2018-07-26
KR102338990B1 (ko) 2021-12-14
CN108346430A (zh) 2018-07-31
KR20180086718A (ko) 2018-08-01

Similar Documents

Publication Publication Date Title
CN108346430B (zh) 对话系统、具有对话系统的车辆以及对话处理方法
CN110660397B (zh) 对话系统、车辆和用于控制车辆的方法
US10733994B2 (en) Dialogue system, vehicle and method for controlling the vehicle
US10847150B2 (en) Dialogue system, vehicle having the same and dialogue service processing method
US10937424B2 (en) Dialogue system and vehicle using the same
US10997974B2 (en) Dialogue system, and dialogue processing method
US10991368B2 (en) Dialogue system and dialogue processing method
US10861460B2 (en) Dialogue system, vehicle having the same and dialogue processing method
US10950233B2 (en) Dialogue system, vehicle having the same and dialogue processing method
US11508367B2 (en) Dialogue system and dialogue processing method
US11004450B2 (en) Dialogue system and dialogue processing method
KR102403355B1 (ko) 차량, 그와 통신하는 모바일 기기 및 차량의 제어 방법
KR102487669B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20200006738A (ko) 대화 시스템 및 대화 처리 방법
KR102448719B1 (ko) 대화 시스템과 이를 포함하는 차량 및 모바일 기기와 대화 처리 방법
CN110562260A (zh) 对话系统和对话处理方法
KR20190036018A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20200000621A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20190135676A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant