CN110877586B - 用于操作机动车辆的虚拟助手的方法和相应的后端系统 - Google Patents

用于操作机动车辆的虚拟助手的方法和相应的后端系统 Download PDF

Info

Publication number
CN110877586B
CN110877586B CN201910830580.XA CN201910830580A CN110877586B CN 110877586 B CN110877586 B CN 110877586B CN 201910830580 A CN201910830580 A CN 201910830580A CN 110877586 B CN110877586 B CN 110877586B
Authority
CN
China
Prior art keywords
user
virtual assistant
virtual
motor vehicle
accessible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910830580.XA
Other languages
English (en)
Other versions
CN110877586A (zh
Inventor
A·图里梅拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN110877586A publication Critical patent/CN110877586A/zh
Application granted granted Critical
Publication of CN110877586B publication Critical patent/CN110877586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于操作机动车辆(12)的虚拟助手(13)的方法。虚拟助手(13)的虚拟人物界面(14)被呈现给机动车辆(12)中的用户(15)，并且提供预先定义的一组可访问元素(25)以供用户(15)选择，其中可访问元素(25)包括操作功能和/或信息数据。该方法的特征在于，通过虚拟人物界面(14)接收用户(15)的至少一个用户语句(26)；在虚拟助手(13)中运行问答逻辑(28)，以用于确定用户(15)通过至少一个用户语句(26)请求的可访问元素(25)中的至少一者；并且使至少一个识别出的可访问元素(25)能被用户(15)使用。

Description

用于操作机动车辆的虚拟助手的方法和相应的后端系统
技术领域
本发明涉及一种用于操作机动车辆的虚拟助手的方法。这种虚拟助手可以以被称为“虚拟人物”(面部或仿真头部的图形表示或仅仅是声音)的形式呈现在机动车辆中。本发明还提供了一种后端系统，该后端系统被设计成用于从机动车辆外部运行或操作在机动车辆中的该虚拟助手。
背景技术
DE 10 2007 007 982 A1中描述了一种虚拟助手。如果机动车辆的用户对车辆部件的使用有疑问，则视频序列可被启动以显示所考虑的车辆部件以及对该车辆部件的使用进行说明的虚拟的人。
文献DE 10 2008 028 512 A1描述了一种具有显示单元的交流系统。虚拟人物显示在显示单元上。虚拟人物的行为是基于对话程序来建模的，该对话程序被设计成与用户进行基于自然语言的对话。对话模型包括若干对话状态/对话语句，用户可以通过使用自然语言在这些对话状态之间进行变换。通过使用固定的、预先定义的对话状态，难以使虚拟人物适应于用户的个人需求。
文献DE 10 2006 049 965 A1描述了一种用于向车辆的用户提供信息的交互式信息系统。该系统可以借助于检测当前用户身份的语音识别系统来适应特定用户的需求。该系统还提供显示在触摸屏上的虚拟人物。所提供的信息是一组预先定义的关于车辆的说明，没有提供灵活的信息检索系统。
特别地，如果车辆提供了大量不同的信息数据和/或可选功能，则难以借助于虚拟人物向用户提供对这些可访问元素(可用信息数据和/或可用功能)的概览。借助于对话系统和/或菜单列出所有可访问元素对于用户来说太复杂而难以掌握。
此外，在自动驾驶、极限汽车共享、电动汽车、IOT/边缘运算的时代，用户可以使用大量的功能。在哪辆车中如何称呼会让人太过困惑。因此，具有虚拟助手/问答系统的AI(人工智能)将提高车辆功能的可用性。
发明内容
本发明的目的是提供一种用于机动车辆的虚拟助手，其能够适应于用户正在使用虚拟助手的当前情况。
该目的通过独立权利要求的主题来实现。在从属权利要求、下文的描述和附图中描述了本发明的有利实施例。
本发明提供一种用于操作机动车辆的虚拟助手的方法。这种虚拟助手可以借助于图形化虚拟人物和/或基于声音的虚拟人物而呈现在机动车辆中。该方法包括以下步骤。虚拟助手的(图形化的和/或基于声音的)虚拟人物界面被呈现给机动车辆中的用户，并且还提供了一组预先定义的可访问元素以供用户选择。这组可访问元素包括操作功能和/或信息数据。换句话说，可访问元素可以是可由用户激活的功能。附加地或替代地，可访问元素可以是用户可以访问的一条信息，即信息数据。这些元素在这里被称为“可访问的”，意思是它们可供用户使用或者可由用户选择。为了查询这样的可访问元素，用户可以使用虚拟助手。这是通过与虚拟人物界面进行交互即通过虚拟人物界面接收用户的至少一个用户语句来完成的。
访问所述可访问元素的问题现在可能在于可访问元素的数量很大(多于50个或多于100个)，使得用户不了解哪些元素可用。换句话说，用户可能不能简单地陈述：“激活可访问元素X！”。用户可能不知道存在该可访问元素X。相反，用户必须找出或调查哪些可访问元素可用和/或哪些可访问元素适合于当前情况和/或用户的当前需求。
因此，在虚拟助手中运行问答逻辑，以确定用户通过至少一个问题所请求的可访问元素中的至少一者。因此，用户可以陈述一个语句或多于一个的语句。这样的语句可能是问题(“你能使其更舒适吗？”)和/或命令(“使客舱更舒适！”)和/或声明(“这里很不舒服。”)。
通过逐个语句，所述问答逻辑可以缩小到可能适合用户需求和/或当前情况的可能的可访问元素组。例如，在上述示例性情况中，虚拟助手可能会回答用户的语句：“您是指温度还是气流？”，以用于确定是应该开启供热还是应该改变通风。该问答逻辑可以基于所谓的“问答系统”(QA)，问答系统是信息检索和自然语言处理(NLP)领域中的一门计算机科学学科，其涉及构建以自然语言自动回答人类提出的问题的系统。附加地或替代地，问答逻辑可以基于现有技术中已知的所谓博弈论。
根据本发明的虚拟助手的问答逻辑基于机器学习引擎来实现。换句话说，问答逻辑不是静态的，相反其是动态的或自适应的。问答逻辑因此可以“学习”或训练或存储在用户陈述的至少一个语句与用户实际意指或针对的最终所得的至少一个可访问元素之间的关系。下一次用户开始陈述上述至少一个语句时，机器学习引擎将能够通过较少的问题或语句来选择或确定上述至少一个可访问元素，因为机器学习引擎将已经学习或训练过用户所指代的是哪些至少一个可访问元素。
最后，将已经通过问答逻辑识别出的上述至少一个识别出的可访问元素提供给用户使用。换句话说，可以操作至少一个特定功能和/或可以提供特定信息数据。上述至少一个识别出的可访问元素是特定的，意思是其符合用户所陈述的至少一个语句。在上述示例中，供热可能被识别为合适的可访问元素。则之后供热可被开启。
问答逻辑可以基于计算机程序，因为其在现有技术中可用于控制数字对话系统中的对话流。然而，根据本发明的方法使用由于机器学习引擎而具有适应性或动态性的问答逻辑。该机器学习引擎可以基于计算机程序。机器学习引擎可以以人工神经网络的形式实现。
本发明提供的优点在于，使用户可以访问大量可访问元素(多于50个或多于100个)，而不需要向用户说明或列出所有可访问元素以使其可供选择或可供访问。相反，用户可以提出至少一个问题或更常见地陈述至少一个语句，并且虚拟助手可以从该至少一个语句中推导出或确定哪些至少一个可访问元素最适合当前情况下的用户和/或该至少一个语句所表达的用户当前需求。另外，底层的/内在的/基础的问答逻辑能够适应于用户，即，适应于用户借助于该至少一个语句来表达当前情况和/或当前需求的方式。这使得问答逻辑能够适应于用户的特定特点。下次用户处于相似或相同的情况和/或具有相似或相同的需求时，问答逻辑将能够在需要较少语句的情况下确定同一至少一个可访问元素。在上述示例中，虚拟助手可能会将“在这里很不舒服”这句话与开启供热联系起来。
本发明还包括提供附加优点的实施例。
在一个实施例中，借助于机器学习引擎对上述至少一个问答逻辑进行关于用户的个性化。换句话说，用户如何表达或表述该至少一个语句的具体方式被训练进入到机器学习引擎中或由机器学习引擎学习。这提供的优点是，如果用户陈述了一个或若干语句并且问答逻辑选择了不想要的或错误的可访问元素(例如，打开窗)，则用户可以通过陈述至少一个修正语句来修正该选择(例如，“我指的是供热”)并且问答逻辑不会再次重复错误。初始的一个或多个语句的第一次错误理解可以例如借助于所谓的监督式/辅导式和/或非监督式学习方法来修正。如果用户再次陈述相同的一个或多个初始语句，则问答逻辑将选择用户借助于上述至少一个修正语句来选择的至少一个可访问元素。
在一个实施例中，该个性化基于强化学习来实现。换句话说，每当问答逻辑基于用户迄今为止陈述的至少一个语句选择了错误的可访问元素并且用户指示该选择是错误的(通过至少一个修正语句)，这被用作用于调整该机器学习引擎的信号。这提供了这样的优点，即每当对至少一个可访问元素的选择错误时，就能实现机器学习引擎的直接改进。
可访问元素的至少一部分可以在车辆中实现和/或被存储在车辆中。然而，在一个实施例中，可访问元素包括至少一个操作功能，该操作功能是在机动车辆外部实现的相应的外部功能。换句话说，虚拟助手不仅适用于控制或操作机动车辆，而且可以借助于虚拟助手来控制车辆外部的至少一个外部功能。
在一个实施例中，至少一个外部功能位于家庭自动化云中和/或智能城市平台中和/或物联网控制系统中。换句话说，用户可以控制至少一个家庭自动化部件(例如，房屋中的灯和/或房屋的供热系统)和/或智能城市部件(例如，停车场和/或停车位管理系统的仪表)和/或物联网的部件(IOT；例如，照相机和/或致动器)。
在一个实施例中，虚拟助手接收来自用户的规划数据，其中规划数据描述虚拟助手在未来时间间隔期间将要执行的至少一项活动和/或服务。换句话说，用户陈述他希望虚拟助手在未来时间间隔内——例如在即将到来的乘坐机动车辆旅行期间——做什么。虚拟助手则根据规划数据在机动车辆中起作用。例如，用户可以陈述，当车辆经过特定的兴趣点、例如山或建筑物时，虚拟助手应当用车辆相机拍摄至少一张照片。稍后在未来时间间隔中，当车辆经过兴趣点时，虚拟助手将生成所述至少一张照片，而无需用户给出进一步的命令。这提供了可以对虚拟助手的活动进行预先编程的优点。另一活动可以是例如虚拟助手应当在特定时间点提醒用户特定的事实(例如服用特定药物的需要)。虚拟助手于是充当提醒者。
在一个实施例中，虚拟人物界面基于自然语言识别和/或姿势/手势识别和/或面部姿态识别和/或虚拟现实呈现和/或增强现实呈现来接收和/或处理上述至少一个用户语句。自然语言识别使虚拟助手能够识别或理解用户在不遵循特定技术协议(例如，使用“当-则-表述”的语句)的情况下表述的语句。用户可以以自然语言陈述情况或需求，就像用户会和另一个人说话一样。姿势/手势识别允许在解释语句时考虑用户的姿势/手势。例如，用户可以陈述问题“这是什么？”并指向特定的对象。问答逻辑于是可以检索以关于用户正指向的对象的信息数据的形式的可访问元素。对用户面部姿态的解释使得问答逻辑能够解释或识别用户的情绪。这可以帮助解释或检测问答逻辑是否已经正确地解释了用户的至少一个语句。例如，当虚拟助手为用户选择的至少一个可访问对象最终被呈现给用户时，面部表情可用于检测该选择是否正确。虚拟和/或增强现实呈现可以使虚拟助手独立于周围条件地呈现输出。
在一个实施例中，虚拟助手的配置可在不同机动车辆之间移用或可在不同机动车辆中使用。换句话说，可以在不同的车辆中向用户呈现相同的虚拟人物界面(基于相同的机器学习引擎)，使得当更换机动车辆时，用户不需要适应虚拟助手。
在一个实施例中，在一辆机动车辆中开始的任务在另一机动车辆中继续。这里，任务是至少一个语句和对相应的至少一个可访问元素的搜索的组合。因此，用户可以在一辆车中开始陈述至少一个语句，并且可以在另一辆车中继续陈述上述至少一个语句。该虚拟助手将仍然能够考虑所有语句，以便推导出或选择用户通过上述至少一个语句所指的至少一个可访问元素。
为了操作虚拟助手或实现虚拟助手，本发明提供了一种后端系统，该后端系统包括至少一个处理单元。这种后端系统可以实现为云服务器系统或互联网服务器系统。后端系统的至少一个处理单元被设计成执行根据本发明的方法的实施例。处理单元可以包括至少一个微处理器和/或至少一个微控制器。处理单元可以包括至少一个程序模块，该程序模块包括当由处理单元执行时将执行所述方法的计算机可读指令。该至少一个程序模块可以存储在处理单元的数据存储器中。
附图说明
在下文中，描述了本发明的示例性实施方式。
单个图1示出了后端系统的实施例的示意图，该后端系统关联到至少一个机动车辆，以用于在相应的机动车辆中呈现虚拟助手。
具体实施方式
下面说明的实施例是本发明的优选实施例。然而，在该实施例中，所描述的该实施例的部件各自代表本发明的单独特征，这些特征将被彼此独立地考虑，并且各自也彼此独立地改进本发明，因此也将以单独的方式或者以不同于所示组合的方式被视为本发明的构成要素。此外，所描述的实施例还可以由已经描述的本发明的进一步的特征来补充。
在图1中，相同的附图标记表示提供相同功能的元件。
该图示出了可以基于至少一个互联网服务器或云服务器或雾运算结构的后端系统10。后端系统10可以在互联网11中操作。该图还示出了车辆12，其可以是机动车辆，例如客车或卡车。后端系统10可以操作软件用于提供虚拟助手13。虚拟助手13可以控制或操作用于与车辆12中的用户15交互的虚拟人物界面14。例如，虚拟人物界面可以基于显示器16来实现，在显示器16上虚拟角色14’可以被呈现或被动画化为虚拟人物界面14。为了操作虚拟人物界面，可以提供车辆12的电子控制单元17。虚拟人物界面14和后端系统10中的虚拟助手13可以借助于通信链路18互连，通信链路18可以基于无线链路19。无线链路19可以借助于通信设备21和车辆12的通信单元20而设置。通信单元20可以基于移动无线电设备(例如4G或5G)和/或WIFI模块。因此，通信设备21可以包括无线电网络和/或WIFI网络。
借助于虚拟助手13，用户15可以控制车辆部件22和/或外部部件23。附加地或替代地，用户15可以借助于虚拟助手13访问信息源24。车辆部件22可以包括例如信息娱乐系统和/或适应(acclimatization)系统和/或媒体回放系统。外部部件23可以是例如家庭自动化云和/或智能城市平台和/或物联网的一部分。信息源24可以包括互联网11的至少一个数据服务器和/或数据库。车辆部件22、外部部件23和数据源24构成各自的可访问元素25，用户15可以借助于虚拟助手13访问该可访问元素25。
为了访问这样的可访问元素25，用户15可以向虚拟人物界面14陈述至少一个语句26，例如问题或命令。可以基于可由虚拟助手13协调的对话27而向虚拟人物界面14陈述上述至少一个语句26。虚拟助手13可以运行用于协调或引导对话27的问答逻辑28。问答逻辑28可以基于机器学习引擎29，例如人工神经网络。问答逻辑28使用户15能够找出哪些可访问元素25可用和/或间接地描述虚拟助手13应当为用户15做什么，然后虚拟助手13将选择适当的或匹配的至少一个可访问元素25。例如，用户可以在第一句话26中陈述：“我感到不舒服”。虚拟助手13然后可以通过询问例如“是温度还是座位的形状？”来继续对话27。则用户可被启发而说出另一句话26：“我觉得冷”。于是，考虑到用户15的上述至少一个语句26，虚拟助手13可以推导出激活用于为车辆12供热的车辆部件22可以是应该为用户15激活的合适的解决方案或可访问元素。
虚拟助手13也可以关联到其它车辆30。车辆30可以以与车辆12相同的方式配备。当用户15从车辆12换到车辆30中之一时，可以向用户15呈现相同的虚拟人物界面14。用户15甚至能够使寻找特定可访问元素25的特定任务继续进行。换句话说，用户15可以在车辆12中开始陈述至少一个语句26，然后可以在另一车辆30中继续陈述至少一个语句26，并且虚拟助手13仍然能够考虑所有语句26来寻找或选择适当的可访问元素25。
对话27可以借助于例如预先定义的问题以这样的方式来设计，即，使得问答逻辑28能够推导出至少一个可访问元素25，该至少一个可访问元素25与用户15陈述的、用于识别出其正在寻找的可访问元素的、至少一个语句26相匹配。
下面描述优选实施例。
因此，根本思想是将虚拟助手引入汽车(机动车辆)内，并且该虚拟助手基于VR/AR(虚拟现实/增强现实)，使得汽车用户与该助手交互以完成以下任务中的至少一者：
1.访问并运行车辆上的任意功能。
2.以任意的方式(语言、口音、姿势/手势)进行个性化交互，并使助手的表现为任意性/可定制的，
3.就任意话题进行交互(例如提问)。
4.执行连接到车辆/后端的系统的允许功能。
添加虚拟助手的根本原因是汽车技术将会过于复杂而无法基于当前的交互技术呈现。虚拟助手能够指导用户选择适当的功能/子功能或其他可访问元素(例如，进行在线软件更新)。
在自动车辆时代，虚拟助手可以为豪华汽车提供附加价值，因为豪华汽车的用户将能够享受来自助手的服务。
虚拟助手能够基于机器学习向用户学习。基于此，用户将能够以任意语言和姿势/手势与助手进行个性化交互。这将提供与用户的自然交互，并提供添加情绪的可能性。
用户能够规划在其旅行期间可以在汽车内执行的一组活动/服务(例如，类似于空乘人员)。例如，助手要求用户在特定时间服药，助手在驾驶穿越阿尔卑斯山时拍照，助手在早上6点叫醒用户。用户可以基于其兴趣来配置虚拟助手的表现。
可以使得用户能够访问相关系统、如智能住宅、智能城市，以从其汽车执行适当的动作。例如，用户可以坐在车里而要求虚拟助手在到达前5分钟(5mts)启动家中的空调。
通过随时间推移而收集用户和用户组的数据，虚拟助手的性能和质量会随时间推移而改进。基于虚拟化，用于用户交互的物理部件将显著减少。
该方法的技术实现包括在车辆和汽车后端环境中进行如下添加：
将基于VR和AR的控制设备添加到车辆中以呈现虚拟化。添加虚拟代理/虚拟助手引擎和机器学习来控制虚拟助手、其输入和输出以及学习。添加基于摄像机的系统和语音引擎来识别用户输入。在后端中设置全面深度学习引擎来优化和更新虚拟助手的功能。
汽车后端将整合性添加到诸如智能家居、智能城市、医院的相关系统的后端。
总的来说，上述思想是在虚拟助手中添加AI(人工智能，机器学习)。则可以提供以下功能：
1.问答系统(就任意话题进行交互(例如提问))。汽车用户可以向虚拟助手提出任意问题。该助手将使用机器学习/AI技术，通过访问诸如互联网、智能家居之类的相关环境中的数据来回答问题。
在车辆中，数据中心可以是可访问的，而不需要解释所有可访问元素。车辆本身将与许多其他系统相关，如汽车后端、互联网、智能家居。在没有这种AI引导的概念的情况下，将难以向人类展示较大规模的数据。
通过使用AI，可以在人的水平上改善/优化人类与虚拟代理之间的交互。
来自于虚拟助手的IOT/AI方法可以支持监控以及远程地支持所连接的系统诸如智能家居的功能(打开在家中的空调，报告在医院的亲属的状态)。
除上述之外，还具有如下优点：
上述思想增加了输入和输出的灵活性。例如，该思想可以以任意方式(例如，自然语言、姿势/手势+面部姿态、VR)获得输入，并且还可以以任意方式从虚拟助手获得输出(例如，自然语言、姿势/手势+面部姿态、VR)。
此外，基于后端系统和个性化，可以在任意车辆(即若干车辆)中保持1)相同的虚拟代理和2)学习的连续性。
如果驾驶是自动的，车辆的用户可以通过在相关系统上执行操作来利用行驶时间。所述交互将会完全不同。
总体而言，本发明提供的示例示出了可以如何提供车内虚拟助手。

Claims (10)

1.用于操作机动车辆(12)的虚拟助手(13)的方法，其中所述方法包括以下步骤：
-向所述机动车辆(12)中的用户(15)呈现所述虚拟助手(13)的虚拟人物界面(14)，以及
-提供一组预先定义的可访问元素(25)供所述用户(15)选择，其中该组可访问元素(25)包括操作功能和/或信息数据；
其特征在于，
-通过所述虚拟人物界面(14)接收所述用户(15)的多于一个用户语句(26)；
-在所述虚拟助手(13)中运行问答逻辑(28)，以用于确定所述用户(15)通过所述多于一个用户语句(26)所请求的可访问元素(25)中的至少一者，其中所述问答逻辑(28)基于机器学习引擎(29)来实现，
其中，在用户语句(26)之后，虚拟助手(13)通过询问来继续对话，使得通过逐个用户语句(26)，所述问答逻辑(28)缩小到适合用户(15)的需求和/或当前情况的可能的可访问元素(25)；
-使至少一个识别出的所述可访问元素(25)能被所述用户(15)使用。
2.根据权利要求1所述的方法，其中借助于所述机器学习引擎(29)对所述问答逻辑(28)进行关于所述用户(15)的个性化。
3.根据权利要求2所述的方法，其中所述个性化基于强化学习来实现。
4.根据前述权利要求中任一项所述的方法，其中所述可访问元素(25)包括至少一个操作功能，所述操作功能是在所述机动车辆(12)外部实现的相应的外部功能。
5.根据权利要求4所述的方法，其中至少一个外部功能位于家庭自动化云(23)和/或智能城市平台和/或物联网控制系统中。
6.根据权利要求1-3中任一项所述的方法，其中所述虚拟助手(13)接收来自所述用户(15)的规划数据，其中所述规划数据描述所述虚拟助手(13)在未来时间间隔期间将要执行的至少一项活动和/或服务；并且所述虚拟助手(13)根据所述规划数据在所述机动车辆(12)中起作用。
7.根据权利要求1-3中任一项所述的方法，其中所述虚拟人物界面(14)基于自然语言识别和/或姿势识别和/或面部姿态识别和/或虚拟和/或增强现实呈现来接收所述多于一个用户语句(26)。
8.根据权利要求1-3中任一项所述的方法，其中所述虚拟助手(13)的配置能够用于不同的机动车辆(12，30)。
9.根据权利要求8所述的方法，其中在一辆机动车辆(12)中开始的任务在另一机动车辆(30)中继续进行。
10.后端系统(10)，包括至少一个处理单元，其中所述至少一个处理单元被设计成执行根据前述权利要求中任一项所述的方法。
CN201910830580.XA 2018-09-06 2019-09-04 用于操作机动车辆的虚拟助手的方法和相应的后端系统 Active CN110877586B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18192840.9A EP3620319B1 (en) 2018-09-06 2018-09-06 Method for operating a virtual assistant for a motor vehicle and corresponding backend system
EP18192840.9 2018-09-06

Publications (2)

Publication Number Publication Date
CN110877586A CN110877586A (zh) 2020-03-13
CN110877586B true CN110877586B (zh) 2023-04-14

Family

ID=63524097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910830580.XA Active CN110877586B (zh) 2018-09-06 2019-09-04 用于操作机动车辆的虚拟助手的方法和相应的后端系统

Country Status (3)

Country Link
US (1) US11688395B2 (zh)
EP (1) EP3620319B1 (zh)
CN (1) CN110877586B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018213556A1 (de) * 2018-08-10 2020-02-13 Audi Ag Verfahren und System zum Betreiben von zumindest zwei von jeweiligen Fahrzeuginsassen am Kopf getragenen Anzeigeeinrichtungen
US11148671B2 (en) * 2019-09-06 2021-10-19 University Of Central Florida Research Foundation, Inc. Autonomous systems human controller simulation
CN111696548A (zh) * 2020-05-13 2020-09-22 深圳追一科技有限公司 显示行车提示信息的方法、装置、电子设备以及存储介质
CN111986668B (zh) * 2020-08-20 2021-05-11 深圳市一本电子有限公司 使用车载充电器的ai语音智能控制物联网方法
IT202000027624A1 (it) * 2020-11-18 2022-05-18 Mama Ind S R L Sistema di dispositivi portatili di assistenza vocale per personale dirigenziale di aziende
US11787290B2 (en) * 2021-08-03 2023-10-17 Ford Global Technologies, Llc Projection on a vehicle window

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119209A (zh) * 2007-09-19 2008-02-06 腾讯科技（深圳）有限公司 虚拟宠物系统和虚拟宠物聊天方法、装置
CN106598215A (zh) * 2016-11-02 2017-04-26 惠州Tcl移动通信有限公司 虚拟现实系统的实现方法及虚拟现实装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006049965A1 (de) 2006-02-11 2007-10-18 Volkswagen Ag Vorrichtung und Verfahren zur interaktiven Informationsausgabe und/oder Hilfestellung für den Benutzer eines Kraftfahrzeugs
DE102007007982A1 (de) 2007-02-17 2008-10-09 Volkswagen Ag Informationseinrichtung und Verfahren zum Bereitstellen von Informationen in einem Kraftfahrzeug mit verbesserter Bedienbarkeit
DE102008028512A1 (de) 2008-06-16 2009-12-17 Audi Ag Kommunikationssystem und Verfahren zur Darstellung von Informationen bei einer Kommunikation
US9182498B2 (en) * 2010-03-31 2015-11-10 Telenav Inc. Hybrid navigation system with non-network update and method of operation thereof
US20170247000A1 (en) * 2012-03-14 2017-08-31 Autoconnect Holdings Llc User interface and virtual personality presentation based on user profile
US9007318B2 (en) * 2013-02-01 2015-04-14 GM Global Technology Operations LLC Method and apparatus for providing information related to an in-vehicle function
US11903680B2 (en) * 2015-06-14 2024-02-20 Facense Ltd. Wearable-based health state verification for physical access authorization
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
US20170235361A1 (en) * 2016-01-20 2017-08-17 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Interaction based on capturing user intent via eye gaze
US10803249B2 (en) * 2017-02-12 2020-10-13 Seyed Ali Loghmani Convolutional state modeling for planning natural language conversations
US10585470B2 (en) * 2017-04-07 2020-03-10 International Business Machines Corporation Avatar-based augmented reality engagement
WO2019133848A1 (en) * 2017-12-30 2019-07-04 Graphen, Inc. Persona-driven and artificially-intelligent avatar
US11875418B2 (en) * 2018-06-07 2024-01-16 American Express Travel Related Services Company, Inc. Automated remote payments between a vehicle and a refueling station
US20190392395A1 (en) * 2018-06-21 2019-12-26 Microsoft Technology Licensing, Llc Worry-free meeting conferencing
BR102019000743A2 (pt) * 2019-01-14 2020-07-28 Samsung Eletrônica da Amazônia Ltda. sistema e método para fornecimento de assistente digital automatizado em veículos autônomos
US11182972B2 (en) * 2019-02-12 2021-11-23 Qualcomm Incorporated Virtual teleportation in fixed environments
CN112307072A (zh) * 2019-07-26 2021-02-02 沃尔沃汽车公司 车用智能使用手册系统
KR20210082026A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 디스플레이를 포함하는 전자 장치 및 그 동작 방법
US20210349433A1 (en) * 2020-05-11 2021-11-11 Intuition Robotics, Ltd. System and method for modifying an initial policy of an input/output device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119209A (zh) * 2007-09-19 2008-02-06 腾讯科技（深圳）有限公司 虚拟宠物系统和虚拟宠物聊天方法、装置
CN106598215A (zh) * 2016-11-02 2017-04-26 惠州Tcl移动通信有限公司 虚拟现实系统的实现方法及虚拟现实装置

Also Published As

Publication number Publication date
CN110877586A (zh) 2020-03-13
US20200079215A1 (en) 2020-03-12
US11688395B2 (en) 2023-06-27
EP3620319A1 (en) 2020-03-11
EP3620319B1 (en) 2022-08-10

Similar Documents

Publication Publication Date Title
CN110877586B (zh) 用于操作机动车辆的虚拟助手的方法和相应的后端系统
US11034362B2 (en) Portable personalization
US10409382B2 (en) Smart tutorial for gesture control system
US9679557B2 (en) Computer-implemented method for automatic training of a dialogue system, and dialogue system for generating semantic annotations
Tan et al. Human–machine interaction in intelligent and connected vehicles: A review of status quo, issues, and opportunities
CN113655938B (zh) 一种用于智能座舱的交互方法、装置、设备和介质
GB2550044A (en) Interactive display based on interpreting driver actions
US20130325482A1 (en) Estimating congnitive-load in human-machine interaction
US20210349433A1 (en) System and method for modifying an initial policy of an input/output device
CN113614713A (zh) 一种人机交互方法及装置、设备及车辆
Stappen et al. Integrating generative artificial intelligence in intelligent vehicle systems
JP7556357B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
KR20220065669A (ko) 온-디바이스 캐시를 이용한 하이브리드 페칭
EP3126934A1 (en) Systems and methods for the detection of implicit gestures
CN112297842A (zh) 具有多种显示模式的自动驾驶车辆
US20230206915A1 (en) Method and system for assisting a user
Karas et al. Audiovisual Affect Recognition for Autonomous Vehicles: Applications and Future Agendas
CN114120983A (zh) 音频数据处理方法及装置、设备、存储介质
CN110015309B (zh) 车辆驾驶辅助系统和方法
Du et al. Towards Proactive Interactions for In-Vehicle Conversational Assistants Utilizing Large Language Models
CN116279552B (zh) 一种车辆座舱半主动式交互方法、装置及车辆
CN114475479A (zh) 汽车的控制方法、装置及计算机存储介质
CN118829965A (zh) 基于提供给定口头话语的用户动态地调适给定口头话语的履行
US20230290359A1 (en) Dynamically adapting fulfillment of a given spoken utterance based on a user that provided the given spoken utterance
CN118288777A (zh) 基于后排乘客的车控方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant