CN112601933A - 为车辆乘员提供对语音播报的交互式反馈 - Google Patents

为车辆乘员提供对语音播报的交互式反馈 Download PDF

Info

Publication number
CN112601933A
CN112601933A CN201980055449.9A CN201980055449A CN112601933A CN 112601933 A CN112601933 A CN 112601933A CN 201980055449 A CN201980055449 A CN 201980055449A CN 112601933 A CN112601933 A CN 112601933A
Authority
CN
China
Prior art keywords
vehicle
vehicle occupant
voice announcement
voice
announcement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980055449.9A
Other languages
English (en)
Inventor
S·赫格斯
F·诺约克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN112601933A publication Critical patent/CN112601933A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

提供了一种用于为车辆乘员提供交互式反馈的方法，其中，向在车辆中的车辆乘员、特别是驾驶员输出语音播报，并且借助于存在于车辆中的声学的反应检测器件进行检测：所述车辆乘员是否已理解所述语音播报，并且如果情况为否，则重复所述语音播报。

Description

为车辆乘员提供对语音播报的交互式反馈
技术领域
本发明涉及一种用于为车辆乘员提供交互式反馈的方法、一种控制单元、一种语音输出装置和一种车辆。
背景技术
如今，在车辆中的多种功能具有语音输出的可能性，所述语音输出借助于播报来向驾驶员告知指示和信息。这样的指示和信息例如由导航系统输出，但也通过语音播报输出警告和交通消息。可能经常发生驾驶员仅部分地注意到语音通知，或由于背景噪音或谈话而漏听所述语音通知。系统在没有要求的情况下不再重复所述未被注意到的通知。以往的可以重复播报的可行方案部分地非常复杂并且需要驾驶员的注意力，从而该驾驶员甚至可能从交通分心。
已经存在简化对重复的要求的方案。因此，在某些实施方案中存在如下可行方案：通过在方向盘上按键来要求重复例如导航播报。DE102011084664A1提出，在语音播报期间和之后不久监测驾驶员的视向。如果驾驶员在语音输出之后不久看向导航系统的显示器件，则可以认为所述驾驶员未理解播报，并且应重复包括导航信息的语音输出。不过仍然存在如下改进需求：识别驾驶员在何时未理解语音播报，以及以对驾驶员而言少的或无耗费或者说无分心地进行重复。
发明内容
因此本发明的目的是，提供克服这些缺点的一种相应的方法和一种相应的设备。根据本发明，所述目的通过各独立权利要求的特征来实现。有利的实施方案是各从属权利要求的技术方案。
提出一种用于为车辆乘员提供交互式反馈的方法，其中，向在车辆中的车辆乘员输出语音播报。借助于存在于车辆中的声学的反应检测器件进行检测：驾驶员是否已理解所述语音播报。如果情况为否，则重复所述语音播报。在此，特别是针对作为车辆乘员的驾驶员，因为所述驾驶员通常要被告知语音播报、例如导航指示、警告等。但根据语音播报的类型，也可以针对于任意其他车辆乘员。
为了检测车辆乘员是否已理解语音播报(所述语音播报是声学的输出)，可以使用已经存在于车辆中的检测器件、特别是麦克风作为声学的反应检测器件。但也可以使用能够接收车辆乘员的声学表达的其他检测器件。
为了进行处理，所检测的信号优选发送给控制单元，所述控制单元构造为用于根据语音播报向在车辆中的车辆乘员、特别是驾驶员的输出来从声学的反应检测器件获取信号。所述控制单元设置为用于将所接收的信号这样处理，使得能够确定出：所述车辆乘员未理解所述语音播报。如果情况为是，则控制单元可以向设置在车辆中的语音输出装置输出一信号，从而重复所述语音播报。
根据实施方案，这种语音输出装置可以属于输出方向说明、警告等的导航系统。但也可以属于信息娱乐系统或娱乐系统，所述信息娱乐系统或所述娱乐系统以声学的方式输出警告、指示或其他的沟通信息，并且等待车辆乘员的相应的反应。在此，反应的范围可以是从单纯的对输出信息的理解和可能的反应直至期望的回答。
如果没有反应或回答，则系统应相应地作出反应。不过也可能有意地不作出反应，从而重复播报会导致车辆乘员的不愉快。在某些情况下可能发生：尽管车辆乘员已尽力去理解并且语音播报是希望的，但所述车辆乘员就是未理解所述语音播报。对此，如已经提及的，已经存在追踪车辆乘员的视向的系统，以便识别目光是否朝视觉上可感知的信息单元(例如显示器)的方向移动。于是由此推断出：车辆乘员未理解或未完全地理解语音播报或信息，并且重复所述语音播报。
根据本发明，借助于语音识别来执行对车辆乘员未理解语音播报的识别。借助于已经构造在车辆中或附加地设置的声学的反应检测器件、如麦克风来记录驾驶员对语音播报的反应并且随后通过计算单元或控制单元进行评估。如果所述系统确定出：车辆乘员在声学上通过相应的话语要求重复通知，或经由相应的语音表明其不理解，则所述系统重复所述通知。声学上表明的不理解可通过短音如“啊？”、“什么？”或具有预定义的关键词如“请重复”的话语等来表明。通过在语音播报结束之后或在语音播报结束之前不久将用于语音识别的输入通道、例如麦克风接通或打开，可以对车辆乘员的需求进行检测、对其在控制单元中解读并且相应地作出反应。如果在预定的时间范围或时间间隔之内(例如在语音播报结束之后的2至5秒之内)车辆乘员没有作出反应，则可以认为所述语报已被理解，并且可以再次关闭所述输入通道、例如麦克风的输入通道。备选地或附加地，可以包括例如对反应的亦或对意味着理解消息的面部表情的检测，并且接着再次关闭所述输入通道。
附加地，也可以例如借助于例如视觉的反应检测器件进行检测：车辆乘员是否已理解语音播报，并且当情况为否时，重复所述语音播报。为此，可以使用已存在于车辆中的、可以检测所述一个或多个车辆乘员的姿态和/或表情的传感器、摄像机等。在此，所述信号也发送给相应的控制单元以进行进一步处理。
原则上，所述控制单元可以构成为单独的控制单元、集成在已有的控制单元中的控制单元、但也可以构成为集成在相应的反应检测器件中的控制单元，只要这在反应检测器件中可行。
有利地，所述方法实施为一种用于实施所述方法的、具有程序代码的软件。有利地，所述软件在此在一个或多个软件控制的装置、例如控制单元上运行。
为了在车辆中实施所述方法，车辆的相应的装备是前提。需要至少一个语音输出装置以及声学的反应检测器件、根据实施方案还有视觉的反应检测器件。同样需要可以处理信号并输出相应的指令的控制单元。
本发明的其他特征和优点从下面对本发明的实施例的描述中、参照示出根据本发明的细节的附图以及从权利要求书中得出。各个特征可以单独地或多个地以任意组合的形式在本发明的变型方案中实现。
附图说明
下面参照附图更详细地阐述本发明的优选的实施方式。
图1示出根据本发明的一种实施方案的、用于在车辆中实施所述方法的重要组件的示意图。
具体实施方式
图1中示出一个示意图，该示意图不仅示出用于实施所述方法的最重要的组件，而且使得所述方法可理解。语音输出装置构造在车辆中并且用于向车辆乘员1、例如驾驶员输出语音播报2。当所述车辆乘员未理解语音播报2并做出相应的、表明不理解的声学的反应(如图1中以具有“？？”的对话框所标示的那样)时，这被声学的反应检测器件3、例如麦克风检测。在此，优选在语音播报2结束之前不久或结束之后立即激活声学的反应检测器件3。如果已检测到声学的反应，则将所述声学的反应发送给控制单元4，所述控制单元设置为用于对声学的信号进行处理和解读：车辆乘员1是否以此表达了其不理解。如果情况为是，则控制单元4向语音输出装置输出一信号，以便所述语音输出装置重复所述语音播报2。如果车辆乘员1又未理解播报，则一直重复所述方法，直至不再检测出不理解的声学的表达。
为了提高对车辆乘员1是否已理解语音播报2的检测的精确性，可以使用附加的视觉的反应检测器件(未示出)，如已提及的那样。所述视觉的反应检测器件可以附加地检测表情和/或姿态，并且控制单元4可以使用这些附加的信息来判断：通过车辆乘员的声学的表达车辆乘员1是否已理解语音播报2。

Claims (10)

1.用于为车辆乘员(1)提供交互式反馈的方法，其中，向在车辆中的车辆乘员(1)、特别是驾驶员输出语音播报(2)，并且借助于存在于车辆中的声学的反应检测器件(3)来进行检测：所述车辆乘员(1)是否已理解所述语音播报(2)，并且如果情况为否，则重复所述语音播报(2)。
2.根据权利要求1所述的方法，其中，所述车辆乘员(1)的能由所述声学的反应检测器件(3)检测的声学的反应至少是声学上表明的不理解(？？)。
3.根据权利要求1或2所述的方法，其中，附加地借助于视觉的反应检测器件进行检测：车辆乘员(1)是否已理解语音播报(2)，并且如果情况为否，则重复所述语音播报(2)。
4.根据前述权利要求中任一项所述的方法，其中，在语音播报(2)结束时或在所述语音播报结束之前不久激活所述声学的反应检测器件(3)和所述视觉的反应检测器件(如果存在)，并且使其保持激活直至预定的时刻。
5.根据权利要求4所述的方法，其中，所述预定的时刻是固定的时间间隔或检测到已理解语音播报(2)的时刻。
6.控制单元(4)，所述控制单元构造用于根据语音播报(2)向在车辆中的车辆乘员(1)、特别是驾驶员的输出来从声学的反应检测器件(3)获取信号并且对所述信号进行处理，使得在确定出所述车辆乘员(1)未理解所述语音播报(2)的情况下输出一信号，从而重复所述语音播报(2)。
7.根据权利要求6所述的控制单元(4)，所述控制单元还构造用于从视觉的反应检测器件(3)获取信号并对所述信号进行处理，使得在确定出所述车辆乘员(1)未理解所述语音播报(2)的情况下输出一信号，从而重复所述语音播报(2)。
8.语音输出装置，所述语音输出装置设置在车辆中并且设置为用于至少向车辆的车辆乘员(1)输出语音播报(2)，其中，所述语音输出装置按照根据权利要求6或7所述的控制单元(4)的信号而重复已实行过的语音播报(2)。
9.车辆，包括：
-根据权利要6或7所述的语音输出装置，
-至少声学的反应检测器件(3)，所述声学的反应检测器件设置为用于检测车辆乘员(1)的语音，
-根据权利要求8所述的控制单元(4)。
10.具有程序代码的软件，用于当所述软件在一个或多个软件控制的装置上运行时，实施根据权利要求1至5中任一项所述的方法。
CN201980055449.9A 2018-09-27 2019-09-04 为车辆乘员提供对语音播报的交互式反馈 Pending CN112601933A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018216621.8A DE102018216621B3 (de) 2018-09-27 2018-09-27 Verfahren zum Bereitstellen eines interaktiven Feedbacks für Fahrzeuginsassen, eine Steuereinheit, eine Sprachausgabeeinrichtung und ein Fahrzeug
DE102018216621.8 2018-09-27
PCT/EP2019/073525 WO2020064281A1 (de) 2018-09-27 2019-09-04 Bereitstellen eines interaktiven feedbacks zu einer sprachansage für fahrzeuginsassen

Publications (1)

Publication Number Publication Date
CN112601933A true CN112601933A (zh) 2021-04-02

Family

ID=67874446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980055449.9A Pending CN112601933A (zh) 2018-09-27 2019-09-04 为车辆乘员提供对语音播报的交互式反馈

Country Status (4)

Country Link
US (1) US20220005469A1 (zh)
CN (1) CN112601933A (zh)
DE (1) DE102018216621B3 (zh)
WO (1) WO2020064281A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114812591A (zh) * 2022-03-14 2022-07-29 高德软件有限公司 语音导航方法、电子设备及计算机程序产品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7279622B2 (ja) * 2019-11-22 2023-05-23 トヨタ自動車株式会社 表示装置および表示プログラム
EP4002566A1 (en) * 2020-11-12 2022-05-25 Crompton Technology Group Limited Electrical housing
WO2023209888A1 (ja) * 2022-04-27 2023-11-02 パイオニア株式会社 情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007029862A1 (de) * 2007-06-28 2009-01-02 GM Global Technology Operations, Inc., Detroit Navigationsvorrichtung und Verfahren zunm Betreiben einer Navigationsvorrichtung
CN103063224A (zh) * 2011-10-18 2013-04-24 罗伯特·博世有限公司 用于操作导航系统的方法
US20170068423A1 (en) * 2015-09-08 2017-03-09 Apple Inc. Intelligent automated assistant in a media environment

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020105423A1 (en) * 2000-12-05 2002-08-08 Rast Rodger H. Reaction advantage anti-collision systems and methods
US8700332B2 (en) * 2008-11-10 2014-04-15 Volkswagen Ag Operating device for a motor vehicle
US9418674B2 (en) * 2012-01-17 2016-08-16 GM Global Technology Operations LLC Method and system for using vehicle sound information to enhance audio prompting
DE102014216208A1 (de) * 2014-08-14 2016-02-18 Robert Bosch Gmbh Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
US20160059775A1 (en) * 2014-09-02 2016-03-03 Nuance Communications, Inc. Methods and apparatus for providing direction cues to a driver
US20160267335A1 (en) * 2015-03-13 2016-09-15 Harman International Industries, Incorporated Driver distraction detection system
US10521512B2 (en) * 2017-05-26 2019-12-31 Bose Corporation Dynamic text-to-speech response from a smart speaker
DE102017213235A1 (de) * 2017-08-01 2019-02-07 Audi Ag Verfahren zum Ermitteln eines Benutzerfeedbacks bei einer Benutzung eines Geräts durch einen Benutzer sowie Steuervorrichtung zum Durchführen des Verfahrens
US10275043B2 (en) * 2017-08-23 2019-04-30 Ford Global Technologies, Llc Detection of lane conditions in adaptive cruise control systems
US10442432B2 (en) * 2017-11-14 2019-10-15 Ford Global Technologies, Llc Lead vehicle monitoring for adaptive cruise control
US10414336B1 (en) * 2018-05-22 2019-09-17 Zoox, Inc. Acoustic notifications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007029862A1 (de) * 2007-06-28 2009-01-02 GM Global Technology Operations, Inc., Detroit Navigationsvorrichtung und Verfahren zunm Betreiben einer Navigationsvorrichtung
CN103063224A (zh) * 2011-10-18 2013-04-24 罗伯特·博世有限公司 用于操作导航系统的方法
US20170068423A1 (en) * 2015-09-08 2017-03-09 Apple Inc. Intelligent automated assistant in a media environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114812591A (zh) * 2022-03-14 2022-07-29 高德软件有限公司 语音导航方法、电子设备及计算机程序产品

Also Published As

Publication number Publication date
DE102018216621B3 (de) 2020-03-05
WO2020064281A1 (de) 2020-04-02
US20220005469A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
CN112601933A (zh) 为车辆乘员提供对语音播报的交互式反馈
US7274287B2 (en) Warning and information system for a vehicle
US9466217B2 (en) Method for supporting a driver using a portable device in a vehicle
CN108696794B (zh) 自适应乘员会话感知系统
JP2000357300A (ja) 自動車内情報システム
KR20120094095A (ko) 발진 시 차량의 운전자를 지원하기 위한 비상 브레이크 지원 시스템
US10741076B2 (en) Cognitively filtered and recipient-actualized vehicle horn activation
JP2008149917A (ja) 車両用周囲音報知装置
CN111882822A (zh) 一种防止儿童被遗留于车内的提醒方法、装置以及服务器
KR102040918B1 (ko) 차량의 가상 사운드 발생장치
CN114495888A (zh) 车辆及其控制方法
US10689009B2 (en) Method, device and system for warning about a wrong-way drive situation for a vehicle
US20200198652A1 (en) Noise adaptive warning displays and audio alert for vehicle
US11184475B2 (en) Mobile apparatus, terminal apparatus, information processing system, information processing method, program for mobile apparatus, and program for terminal apparatus
KR101562234B1 (ko) 차량 운전 중 휴대단말 사용 위험 경고 장치 및 방법
CN112823383A (zh) 信息提供装置及信息提供方法
US9744906B2 (en) Vehicle information notification device
JPH1148886A (ja) 車載用緊急車両告知システム
JP3736003B2 (ja) 車両用警報装置
CN114834456A (zh) 向车辆的驾驶员提供辅助信息的方法和装置
CN111078350B (zh) 交互界面的设置方法和装置
JP2019109422A (ja) 車載音声出力装置
JP7192561B2 (ja) 音声出力装置および音声出力方法
EP3576435A1 (en) Speaker operation confirmation device
KR0173031B1 (ko) 자동차의 경적음레벨 표시장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination