CN112970060B - 对车辆中语音助理的使用进行辅助的辅助方法和装置 - Google Patents

对车辆中语音助理的使用进行辅助的辅助方法和装置 Download PDF

Info

Publication number
CN112970060B
CN112970060B CN201980073530.XA CN201980073530A CN112970060B CN 112970060 B CN112970060 B CN 112970060B CN 201980073530 A CN201980073530 A CN 201980073530A CN 112970060 B CN112970060 B CN 112970060B
Authority
CN
China
Prior art keywords
assisting
assistance method
computer
speech recognition
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980073530.XA
Other languages
English (en)
Other versions
CN112970060A (zh
Inventor
M·C·贝扎
A·弗罗米翁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Publication of CN112970060A publication Critical patent/CN112970060A/zh
Application granted granted Critical
Publication of CN112970060B publication Critical patent/CN112970060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种对语音助理的使用进行辅助的辅助方法，所述语音助理包括语音识别模块，所述语音识别模块能够在车辆的至少一个车载计算机(12)上或在至少一个远程计算机(14)上执行语音识别功能，所述模块能够借助于无线连接(15)与所述至少一个远程计算机(14)通信，以便向所述至少一个远程计算机传送表征要识别的话语的信号，其特征在于，所述辅助方法包括以下步骤：‑接收与所述无线连接(15)有关的数据，‑基于与所述无线连接(15)有关的数据确定性能指标，‑确定与所确定的性能等级相关联的图形对象或消息，‑显示所确定的图形对象或消息。

Description

对车辆中语音助理的使用进行辅助的辅助方法和装置
技术领域
本发明大体上涉及使用机动车辆上的语音助理。
背景技术
虚拟个人助理(APV)或智能个人助理(API)本质上是能够执行特定任务或向用户提供特定服务的软件装置。为此，所述虚拟个人助理或智能个人助理例如使用以下信息：使用背景(地点、日期等)、用户个人资料(身份、先前使用历史记录等)以及由用户提供的输入数据(即特定信息)。因此，虚拟个人助理或智能个人助理可向每个用户提供恰当的且经个性化的辅助。
这些APV通常集成在设备(所谓的智能设备)中，所述智能设备例如是移动通信仪器(例如智能手机或平板电脑)或其它经联网仪器(无论是在家中还是在车辆中)。在所有情况下，这些APV由其所集成的智能设备的处理单元(即计算机)执行。
存在大量的APV，这些APV根据服务及其所涉及的各个使用背景提供了不同用途。例如，由不同供应商提供到不同类型或型号的设备上的Google又或/>就是这种情况。
为了使APV的使用更符合人体工程学，最近的APV中的大多数还可以语音地(也就是说，通过用户的语音)控制。“控制”理解成借助于由用户口头表达的请求来激活以及借助于由用户口头表达的请求来操控。然后将语音识别功能耦合到APV。在智能设备的处理单元上执行该语音识别功能，所述处理单元集成了APV并且能够识别由用户说出的字词。经识别的字词片段可传送到APV，所述APV对经识别的字词片段进行分析，以从中推断由用户表达的请求，然后执行相应的任务或服务。
APV的语音控制在机动车辆上是特别有用的，其中，免于手持这一特性有利于安全性。事实上，驾驶员无需动手(双手保持自由用于行驶)就可激活功能或服务，也并不使视线从道路偏移开，这使得警惕性几乎不受影响。这就是为什么车辆可搭载APV，该APV由车辆的设备执行，并且可以语音地和/或借助于车辆的人机界面装置(车载仪表板上的按钮，和/或车载电脑的触摸屏的虚拟键盘)控制。
车载的语音识别系统依赖于车载资源以及具有更高计算能力的非车载资源。车载资源的优势在于确保了服务在灰色区域中的连续性，非车载资源的优势在于提供了在自然语言处理能力方面和覆盖区域方面性能更佳的服务。
当未与非车载资源连接时，语音识别系统因此性能较弱。当系统对其范围中的问题并未做出响应或响应不佳时，这可能会使用户感到失望。例如，当存在这种系统时，如果用户要求“导航到戴高乐机场”，这种系统在经联网模式中会访问朝向戴高乐机场的导航；但所述系统在未经联网模式中却取回“戴高乐”附近的城市中的机场的列表。
发明内容
因此，本发明的目的在于改善这种情况。为此，本发明更确切地提供了一种对语音助理的使用进行辅助的辅助方法，所述语音助理包括语音识别模块，所述语音识别模块能够在车辆的至少一个车载计算机(12)上或在至少一个远程计算机(14)上执行语音识别功能，所述模块能够借助于无线连接(15)与所述至少一个远程计算机(14)通信，以便向所述至少一个远程计算机传送表征要识别的话语的信号，其特征在于，所述辅助方法包括以下步骤：
-接收(21)与所述无线连接(15)有关的数据，
-基于与所述无线连接(15)有关的数据确定(22)与语音识别有关的性能指标，
-确定(23)与所确定的性能等级相关联的图形对象或消息，
-显示(24)所确定的图形对象或消息，以便向用户通知语音识别的性能。
通过本发明，用户被通知了语音识别的性能等级。在对所提供的响应不满意的情况下，用户可选择推迟其请求，并且等待，直到系统处在经联网模式下并因此性能更佳。
有利地，对语音助理的使用进行辅助的辅助方法还包括接收步骤，所述接收步骤用于接收与实施语音识别功能的至少一个计算机的状态有关的数据，并且，性能指标的确定还考虑到与至少一个计算机的状态有关的数据。
有利地，与所述无线连接有关的数据包括以下数据中的至少一个：带宽、时延(latence)、错误率。
有利地，如果所述性能指标所对应的等级使得由远程计算机执行语音识别，则相应的图形对象或消息向用户指示代理按照标称(nominal)模式运行。
有利地，如果所述性能指标所对应的等级使得由车载计算机执行识别，则相应的图形对象或消息向用户指示代理按照降级模式运行。
有利地，如果所述性能指标所包括的等级使得所述车载计算机处于启动阶段，则相应的图形对象或消息向用户指示代理处于唤醒阶段。
本发明还涉及一种包括指令的电脑程序，当在一个或多个处理器上执行所述电脑程序时，所述指令用于实施根据本发明的对语音助理的使用进行辅助的辅助方法。
本发明还涉及一种对语音助理的使用进行辅助的辅助装置，其特征在于，所述辅助装置构造用于实施根据本发明的对语音助理的使用进行辅助的辅助方法。
本发明还涉及一种车辆，其特征在于，所述车辆包括根据上一要求所述的装置。
附图说明
通过阅读下面的详细说明和附图，本发明的其它特征和优点将更加清楚，在所述附图中：
图1是示出了根据本发明的装置的示意图的简图；
图2是示出了本发明步骤的逻辑图；
图3示出了根据本发明的对语音助理的使用进行辅助的辅助装置的示例。
附图不仅可用于使本发明完整，而且在必要时可有助于限定本发明。
具体实施方式
参考图1，用于处理用户话语的处理装置10(或个人语音助理)包括：麦克风11、处理单元12、显示部件13。
麦克风11能够记录位于车厢中的用户的话语。
处理单元12是包括存储器和处理器的计算机，所述计算机能够执行或操控语音识别功能的执行。处理单元12与麦克风11联接，并且能够操控显示部件13。
语音识别功能是现有技术中已知的功能，该功能能够基于由用户说出且经事先数字化的话语来识别字词。
显示部件13(例如LCD屏幕)尤其能够显示通过语音识别功能识别出的字词。
语音助理10包括语音识别模块，所述语音识别模块能够在车辆的至少一个车载计算机12上或在至少一个远程计算机14上执行语音识别功能。所述语音识别模块能够借助于无线连接15与所述至少一个远程计算机14通信，以便向所述至少一个远程计算机传送表征要识别的话语的信号。
无线连接例如是3G或4G型的蜂窝连接类型的。
本发明还涉及一种对语音助理的使用进行辅助的辅助方法。参考图2，该方法包括以下步骤。
根据本发明的方法包括接收步骤21，该接收步骤用于接收与无线连接15有关的数据。这些数据例如是：带宽、时延、错误率。
然后，该方法包括基于与无线连接15有关的数据确定22性能指标。所述指标例如通过对一个(或多个)数据与一个(或多个)参考阈值进行比较来建立。
然后，该方法包括确定23与所确定的性能等级相关联的图形对象或消息。该方法包括：例如借助于预定关联表来基于性能等级确定消息，所述预定关联表是在一方面图形对象和/或消息以及另一方面性能等级之间的关联表。
例如，如果性能指标对应于良好的联网，则相应的头像(avatar)指示“云模式”。换句话说，如果性能指标所对应的等级使得由远程计算机执行识别，则相应的指示标向用户指示代理按照标称模式运行。
例如，如果性能指标对应于不佳的联网，则相应的头像指示降级模式，使得用户料想到部分的且更慢的响应。
例如，如果性能指标对应于计算机的开机阶段(换句话说，加载阶段或唤醒阶段)，则相应的头像指示唤醒模式的头像，使得用户料想到部分的响应。
该方法包括显示24所确定的图形对象或消息。
符号或消息的显示能够使用户注意到识别系统的性能。
有利地，根据本发明的辅助方法还包括接收步骤25，该接收步骤用于接收与实施语音识别功能的至少一个计算机的状态有关的数据。在该情况下，性能指标的确定还考虑到与至少一个计算机的状态有关的数据。
图3示出了根据本发明的对语音助理的使用进行辅助的辅助装置的示例。该装置300可采用盒的形式，该盒包括：印刷电路，通过有线连接或无线连接联接起来的多个印刷电路，任何类型的电脑又或移动电话。“印刷电路”理解成能够执行至少一个电气或电子操作的任何类型的装置。
装置300包括随机存取存储器301，该随机存取存储器用于存储指令以由处理器302实施如上所述的对语音助理的使用进行辅助的辅助方法。该装置还包括大容量存储器303，该大容量存储器用于存储在所述方法实施之后要保留的数据。
装置300还可包括数字信号处理器(DSP)304。
该方法的一个或多个步骤可由不同的电路元件执行。因此，该方法可由多个处理器、随机存取存储器、大容量存储器、输入接口、输出接口和/或DSP实施。在这些情形中，装置300可分散在局域网(例如，彼此之间联接的多个处理器)或广域网中。
该装置还包括用于接收尤其是背景数据的输入接口305和用于传送数据的输出接口306。
对语音助理的使用进行辅助的辅助装置取回与连接(4G/……，在前几分钟期间观察到的流量)和计算机(开机或启动周期)有关的性能指标。根据所述指标，显示表征性能良好的云模式或降级模式的图标或头像。
对语音助理的使用进行辅助的辅助装置通过一系列可视指标向用户通知对话状态，所述可视指标例如表达了以下状态：“等待语音激活”、“我在听”、“我在思考”、“我在响应你”等。
通过根据性能指标区分图标系列或头像系列，本发明能够向用户通知语音识别模式。因此，用户被通知了语音系统具有性能良好的模式或降级模式，并且可适应这些请求。画面可通知系统的性能状态、或长或短的等待、以及或高或低的性能。
该指标还取决于开机阶段中的服务可用性。

Claims (8)

1.一种对语音助理的使用进行辅助的辅助方法，所述语音助理包括语音识别模块，所述语音识别模块能够在车辆的至少一个车载计算机(12)上或在至少一个远程计算机(14)上执行语音识别功能，所述语音识别模块能够借助于无线连接(15)与所述至少一个远程计算机(14)通信，以便向所述至少一个远程计算机传送表征要识别的话语的信号，其特征在于，所述辅助方法包括以下步骤：
-接收(21)与所述无线连接(15)有关的数据，
-基于与所述无线连接(15)有关的数据确定(22)与语音识别有关的性能指标，
-确定(23)与所确定的性能等级相关联的图形对象或消息，
-显示(24)所确定的图形对象或消息，以便向用户通知语音识别的性能，
并且，所述辅助方法还包括接收步骤(25)，所述接收步骤用于接收与实施语音识别功能的至少一个计算机的状态有关的数据，并且，性能指标的确定还考虑到与至少一个计算机的状态有关的数据。
2.根据权利要求1所述的对语音助理的使用进行辅助的辅助方法，其特征在于，与所述无线连接(15)有关的数据包括以下数据中的至少一个：带宽、时延、错误率。
3.根据权利要求1或2所述的对语音助理的使用进行辅助的辅助方法，其特征在于，当所述性能指标所对应的等级使得由远程计算机(14)执行语音识别时，则相应的图形对象或消息向用户指示代理按照标称模式运行。
4.根据权利要求1或2所述的对语音助理的使用进行辅助的辅助方法，其特征在于，当所述性能指标所对应的等级使得由车载计算机(12)执行识别时，则相应的图形对象或消息向用户指示代理按照降级模式运行。
5.根据权利要求1或2所述的对语音助理的使用进行辅助的辅助方法，其特征在于，当所述性能指标所包括的等级使得所述车载计算机处于启动阶段时，则相应的图形对象或消息向用户指示代理处于唤醒阶段。
6.一种包括指令的电脑程序，当在一个或多个处理器上执行所述电脑程序时，所述指令用于实施根据上述权利要求中任一项所述的对语音助理的使用进行辅助的辅助方法。
7.一种对语音助理的使用进行辅助的辅助装置，其特征在于，所述辅助装置构造用于实施根据权利要求1至5中任一项所述的对语音助理的使用进行辅助的辅助方法。
8.一种车辆，其特征在于，所述车辆包括根据权利要求7所述的辅助装置。
CN201980073530.XA 2018-11-09 2019-10-18 对车辆中语音助理的使用进行辅助的辅助方法和装置 Active CN112970060B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1871438 2018-11-09
FR1871438A FR3088473B1 (fr) 2018-11-09 2018-11-09 Procede et dispositif d’assistance a l’utilisation d’un assistant vocal dans un vehicule
PCT/FR2019/052484 WO2020094939A1 (fr) 2018-11-09 2019-10-18 Procédé et dispositif d'assistance à l'utilisation d'un assistant vocal dans un véhicule

Publications (2)

Publication Number Publication Date
CN112970060A CN112970060A (zh) 2021-06-15
CN112970060B true CN112970060B (zh) 2024-05-24

Family

ID=67514668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980073530.XA Active CN112970060B (zh) 2018-11-09 2019-10-18 对车辆中语音助理的使用进行辅助的辅助方法和装置

Country Status (4)

Country Link
EP (1) EP3877974B1 (zh)
CN (1) CN112970060B (zh)
FR (1) FR3088473B1 (zh)
WO (1) WO2020094939A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004045616A (ja) * 2002-07-10 2004-02-12 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
CN102148865A (zh) * 2010-02-05 2011-08-10 福特全球技术公司 在车载计算系统与远程应用之间进行通信的方法和设备
CN102439661A (zh) * 2009-03-24 2012-05-02 Atx集团股份有限公司 用于车辆内自动交互的面向服务语音识别
CN103038818A (zh) * 2010-06-24 2013-04-10 本田技研工业株式会社 在车载语音识别系统与车外语音识别系统之间的通信系统和方法
CN103067443A (zh) * 2011-10-18 2013-04-24 通用汽车环球科技运作有限责任公司 用于接到移动设备的基于语音的接口的服务识别和启动
US8812326B2 (en) * 2006-04-03 2014-08-19 Promptu Systems Corporation Detection and use of acoustic signal quality indicators
CN106228635A (zh) * 2016-07-15 2016-12-14 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的信息处理方法及装置
CN106782558A (zh) * 2016-12-27 2017-05-31 重庆峰创科技有限公司 一种带有图像理解的智能语音车载交互系统
CN107808671A (zh) * 2017-11-17 2018-03-16 广州智联网络科技有限公司 一种采用智能识别技术的云智能语音辅助设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8423362B2 (en) * 2007-12-21 2013-04-16 General Motors Llc In-vehicle circumstantial speech recognition
US8126435B2 (en) * 2008-05-30 2012-02-28 Hewlett-Packard Development Company, L.P. Techniques to manage vehicle communications
US20150120296A1 (en) * 2013-10-29 2015-04-30 At&T Intellectual Property I, L.P. System and method for selecting network-based versus embedded speech processing
US9936434B2 (en) * 2016-06-27 2018-04-03 Ringcentral, Inc. Method and phone system for pre-call quality of service assessment of available networks
US20180075842A1 (en) * 2016-09-14 2018-03-15 GM Global Technology Operations LLC Remote speech recognition at a vehicle

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004045616A (ja) * 2002-07-10 2004-02-12 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
US8812326B2 (en) * 2006-04-03 2014-08-19 Promptu Systems Corporation Detection and use of acoustic signal quality indicators
CN102439661A (zh) * 2009-03-24 2012-05-02 Atx集团股份有限公司 用于车辆内自动交互的面向服务语音识别
CN102148865A (zh) * 2010-02-05 2011-08-10 福特全球技术公司 在车载计算系统与远程应用之间进行通信的方法和设备
CN103038818A (zh) * 2010-06-24 2013-04-10 本田技研工业株式会社 在车载语音识别系统与车外语音识别系统之间的通信系统和方法
EP2586026A1 (en) * 2010-06-24 2013-05-01 Honda Motor Co., Ltd. Communication system and method between an on-vehicle voice recognition system and an off-vehicle voice recognition system
CN103067443A (zh) * 2011-10-18 2013-04-24 通用汽车环球科技运作有限责任公司 用于接到移动设备的基于语音的接口的服务识别和启动
CN106228635A (zh) * 2016-07-15 2016-12-14 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的信息处理方法及装置
CN106782558A (zh) * 2016-12-27 2017-05-31 重庆峰创科技有限公司 一种带有图像理解的智能语音车载交互系统
CN107808671A (zh) * 2017-11-17 2018-03-16 广州智联网络科技有限公司 一种采用智能识别技术的云智能语音辅助设备

Also Published As

Publication number Publication date
FR3088473B1 (fr) 2021-05-28
CN112970060A (zh) 2021-06-15
EP3877974B1 (fr) 2024-04-03
WO2020094939A1 (fr) 2020-05-14
EP3877974A1 (fr) 2021-09-15
FR3088473A1 (fr) 2020-05-15

Similar Documents

Publication Publication Date Title
US8943438B2 (en) Vehicle-mounted device having portable-device detection capability
CN104972990B (zh) 用于移动装置功能集成的工作负荷估计
WO2016147174A1 (en) System and method for adapting the user-interface to the user attention and driving conditions
CN106537335B (zh) 操作系统启动加速
US20090184888A1 (en) Display control system and method thereof
CN106458111B (zh) 信息提示装置以及信息提示方法
US20170019503A1 (en) Method and apparatus for seamless application portability over multiple environments
CN113835570B (zh) 车辆中显示屏的控制方法、装置、设备、存储介质及程序
CN108417214B (zh) 智能车载语音辅助方法、智能语音设备、终端及存储介质
CN112970060B (zh) 对车辆中语音助理的使用进行辅助的辅助方法和装置
JP7272293B2 (ja) エージェント装置、エージェントシステム及びプログラム
EP4365733A1 (en) Management system, method and apparatus, and device and storage medium
CN108173561B (zh) 车载信息显示方法、装置、移动终端以及存储介质
US9456338B2 (en) Control apparatus and wireless communication system
EP4369186A1 (en) Control method and apparatus, device, and storage medium
CN113271330A (zh) 代理装置、代理系统以及非暂时性记录介质
CN115061762A (zh) 页面的展示方法、装置、电子设备和介质
US10831429B2 (en) Display mode adjustment based on number of estimated functions of a recommended content
CN109886199B (zh) 信息处理方法、装置、车辆及移动终端
CN116016578B (zh) 一种基于设备状态和用户行为的智能语音引导方法
JP7377043B2 (ja) 操作受付装置及びプログラム
CN113270093B (zh) 代理装置、代理系统以及非暂时性记录介质
CN114056283B (zh) 车辆拖移时制动自动解除的方法、智能汽车及存储介质
CN113192500B (zh) 代理装置、代理系统以及非暂时性记录介质
CN113183971B (zh) 驾驶员状态监测方法、装置、车载终端及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant