CN111114477A - 车辆用声音输入输出装置 - Google Patents

车辆用声音输入输出装置 Download PDF

Info

Publication number
CN111114477A
CN111114477A CN201911017476.5A CN201911017476A CN111114477A CN 111114477 A CN111114477 A CN 111114477A CN 201911017476 A CN201911017476 A CN 201911017476A CN 111114477 A CN111114477 A CN 111114477A
Authority
CN
China
Prior art keywords
vehicle
output
occupant
unit
wakefulness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911017476.5A
Other languages
English (en)
Other versions
CN111114477B (zh
Inventor
平岩宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN111114477A publication Critical patent/CN111114477A/zh
Application granted granted Critical
Publication of CN111114477B publication Critical patent/CN111114477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/009—Signal processing in [PA] systems to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种车辆用声音输入输出装置，具有：收音部，其被设置于车厢内，且对乘员的语音进行收音；输出部，其被设置于车厢内，且对各个座椅输出声音或影像；清醒程度判断部，其对乘员的清醒程度进行判断；输出控制部，其在基于由收音部所收音到的语音而判断为发声出了与车辆或车辆周边有关的内容的情况下，使与车辆或车辆周边相关的信息从输出部仅向由清醒程度判断部所判断出的清醒程度高于预定值的乘员输出。

Description

车辆用声音输入输出装置
本申请要求于2018年10月31日提交的日本专利申请No.2018-205671的35USC 119的优先权，其公开内容通过引用整体而并入本文。
技术领域
本发明涉及一种车辆用声音输入输出装置。
背景技术
在日本特开2006-94389号公报中，公开了一种具备能够切换为话筒或扬声器的发音/收音元件的车内对话辅助装置。
在日本特开2006-94389号公报的技术中，通过根据需要而将发音/收音元件切换为话筒或扬声器，从而对车内中的对话进行辅助。另外，假设了如下场景，即，乘员为了获得车辆或车辆周边的信息，从而与搭载于车辆上的系统进行对话的场景。在这种情况下，存在成为处于睡眠中的乘员等清醒程度较低的乘员的妨碍的可能性。
发明内容
本公开内容考虑到上述事实，其目的在于，获得一种能够确保乘员的舒适性的车辆用声音输入输出装置。
用于解决课题的方法
本公开内容的第一方式所涉及的车辆用声音输入输出装置具有：收音部，其被设置于车厢内，且对乘员的语音进行收音；输出部，其被设置于车厢内，且对各个座椅输出声音或影像；清醒程度判断部，其对乘员的清醒程度进行判断；输出控制部，其在基于由所述收音部所收音到的语音而判断为发声出了与车辆或车辆周边有关的内容的情况下，使与车辆或车辆周边相关的信息从与清醒程度高于预定值的乘员所落座的座椅相对应的各输出部输出。
在本公开内容的第一方式所涉及的车辆用声音输入输出装置中，在车厢内设置有收音部和输出部，通过收音部而对乘员的语音进行收音，并通过输出部而对各个座椅输出声音或影像。此外，通过清醒程度判断部而对乘员的清醒程度进行判断。并且，在判断为发声出了与车辆或车辆周边相关的内容的情况下，输出控制部从输出部向乘员输出与车辆或车辆周边相关的信息。由此，即使乘员不实施特别的操作，也能够仅通过进行发声而获得车辆或车辆周边的信息。
此外，输出控制部使信息仅向由清醒程度判断部所判断出的清醒程度高于预定值的乘员输出。由此，能够抑制成为处于睡眠中的乘员等清醒程度较低的乘员的妨碍。
本公开内容的第二方式所涉及的车辆用声音输入输出装置为，在第一方式中，所述输出控制部使与车辆或车辆周边相关的信息以语音方式而从与清醒程度高于预定值的乘员所落座的座椅相对应的各输出部输出，并且，使反相声音从与清醒程度低于预定值的乘员所落座的座椅相对应的各输出部输出。
在本公开内容的第二方式所涉及的车辆用声音输入输出装置中，由于从与清醒程度低于预定值的乘员所落座的座椅相对应的输出部输出反相声音，因此能够使清醒程度较低的乘员听不到声音。
本公开内容的第三方式所涉及的车辆用声音输入输出装置为，在第一方式或第二方式中，在与所述车辆周边相关的信息中，包含有关于车辆正在行驶的位置的信息。
在本公开内容的第三方式所涉及的车辆用声音输入输出装置中，通过使乘员朝向收音部发声，从而从输出部对乘员输出关于车辆正在行驶的位置的信息。
本公开内容的第四方式所涉及的车辆用声音输入输出装置为，在第一方式至第三方式中的任意一个方式中，在与所述车辆周边相关的信息中，包含有关于车辆正在行驶的位置的周边的地形或建筑物的信息。
在本公开内容的第四方式所涉及的车辆用声音输入输出装置中，通过使乘员朝向收音部发声，从而从输出部对乘员输出关于车辆周边的地形或建筑物的信息。
如以上所说明的那样，根据第一方式所涉及的车辆用声音输入输出装置，能够确保乘员的舒适性。
根据第二方式所涉及的车辆用声音输入输出装置，能够有效地仅向欲获得信息的乘员传达信息。
根据第三方式所涉及的车辆用声音输入输出装置，能够使乘员迅速地掌握当前位置。
根据第四方式所涉及的车辆用声音输入输出装置，能够使乘员轻易地获得有关于车辆周边的地形或建筑物的信息。
附图说明
图1为示意性地表示搭载有一个实施方式所涉及的车辆用声音输入输出装置的车辆的车厢内的立体图。
图2为示意性地表示搭载有一个实施方式所涉及的车辆用声音输入输出装置的车辆的车厢内的侧视图。
图3为示意性地表示搭载有一个实施方式所涉及的车辆用声音输入输出装置的车辆的车厢内的俯视图。
图4为表示一个实施方式所涉及的车辆用声音输入输出装置的硬件结构的框图。
图5为表示ECU的硬件结构的框图。
图6为表示车辆用声音输入输出装置的功能结构的框图。
图7为表示语音入输出处理的流程的一个示例的流程图。
具体实施方式
参照附图而对一个实施方式所涉及的车辆用声音输入输出装置10进行说明。另外，为了便于说明，有时会夸大附图的尺寸比，从而与实际的尺寸比不同。此外，在各个附图中所适当标记的箭头标记FR、箭头标记UP及箭头标记RH分别表示车辆的前方向、上方向及宽度方向的右侧。以下，在仅使用前后、上下、左右的方向来进行说明的情况下，只要没有特别记载，则表示车辆前后方向的前后、车辆上下方向的上下、朝向车辆前方向的情况下的左右。
如图1所示，本实施方式的车辆用声音输入输出装置10被搭载于车辆12上。车辆12为，无需乘员P进行操纵而能够自动行驶的、所谓的自动驾驶车辆，且能够通过传感器类部件来掌握周围的状况从而进行自动驾驶。另外，本实施方式的车辆12被构成为，能够在乘员P进行驾驶的手动驾驶模式、与进行自动行驶的自动驾驶模式之间进行切换。
在车辆12的车厢内配置有多个座椅14。如图1及图3所示，在本实施方式中，作为一个示例而配置有座椅14A、座椅14B、座椅14C及座椅14D这四个座椅14。
在此，在车辆12的顶部上设置有多个声音输入输出部18。在本实施方式中，设置有四个声音输入输出部18A、声音输入输出部18B、声音输入输出部18C及声音输入输出部18D，且各自被构成为，包括：作为具备指向性的收音部的话筒32、和作为具备指向性的输出部的扬声器34(参照图4)。
声音输入输出部18A及声音输入输出部18B被设置于座椅14A及座椅14B的前斜上方的顶置控制台16上。而且，声音输入输出部18A朝向座椅14A。即，声音输入输出部18A的话筒32A以能够对落座于座椅14A上的乘员P1所发出的语音进行收音的方式而被构成。此外，声音输入输出部18A的扬声器34A以能够仅向乘员P1输出声音的方式而被构成。
声音输入输出部18B朝向座椅14B。即，声音输入输出部18B的话筒32B以能够对落座于座椅14B上的乘员P2所发出的语音进行收音的方式而被构成。此外，声音输入输出部18B的扬声器34B以能够仅向乘员P2输出声音的方式而被构成。
声音输入输出部18C及声音输入输出部18D被设置于座椅14C及座椅14D的前斜上方处，且声音输入输出部18C朝向座椅14C。即，声音输入输出部18C的话筒32C以能够对落座于座椅14C上的乘员P3所发出的语音进行收音的方式而被构成。此外，声音输入输出部18C的扬声器34C以能够仅向乘员P3输出声音的方式而被构成。
声音输入输出部18D朝向座椅14D。即，声音输入输出部18D的话筒32D以能够对落座于座椅14D上的乘员P4所发出的语音进行收音的方式而被构成。此外，声音输入输出部18D的扬声器34D以能够仅向乘员P4输出声音的方式而被构成。
除了声音输入输出部18A及声音输入输出部18B之外，在顶置控制台16上还设置有车厢内摄像机20。车厢内摄像机20朝向车厢内，且以能够对乘员P1～乘员P4的脸部进行拍摄的方式而被构成。
在车辆12的前部设置有ECU(Electronic Control Unit：电子控制装置)22。而且，车辆用声音输入输出装置10以包括声音输入输出部18、车厢内摄像机20及ECU22的方式而被构成。此外，如图2所示，ECU22以能够经由网络而与服务器24连接的方式被构成。此外，在座椅14A的座椅靠背的内部设置有用于对乘员P1的心率进行检测的心率检测部30。同样地，在座椅14C的座椅靠背的内部设置有用于对乘员P3的心率进行检测的心率检测部30。另外，虽然并未进行图示，但是在座椅14B及座椅14D中也各自设置有心率检测部30。
图4为表示车辆用声音输入输出装置10的硬件结构的框图。如该图4所示，车辆用声音输入输出装置10以包括ECU22、话筒放大器26、扬声器放大器28、四个话筒32(话筒32A、话筒32B、话筒32C、话筒32D)、四个监视器35(监视器35A、监视器35B、监视器35C、监视器35D)、四个扬声器34(扬声器34A、扬声器34B、扬声器34C、扬声器34D)、服务器24、车厢内摄像机20及心率检测部30的方式而被构成。
话筒32A为构成声音输入输出部18A的话筒，且经由话筒放大器26而与ECU22电连接。同样地，话筒32B、话筒32C及话筒32D分别为，构成声音输入输出部18B、声音输入输出部18C及声音输入输出部18D的话筒，且经由话筒放大器26而与ECU22电连接。
扬声器34A为构成声音输入输出部18A的扬声器，且经由扬声器放大器28而与ECU22电连接。同样地，扬声器34B、扬声器34C及扬声器34D分别为，构成声音输入输出部18B、声音输入输出部18C及声音输入输出部18D的扬声器，且经由扬声器放大器28而与ECU22电连接。
监视器35A为用于对从ECU22所输出的影像进行显示的监视器。此外，监视器35A被配置在座椅14A的周边，且以对乘员P1显示影像的方式而构成。同样地，监视器35B被配置在座椅14B的周边，且以对乘员P2显示影像的方式而构成。
监视器35C被配置在座椅14C的周边，且以对乘员P3显示影像的方式而构成。监视器35D被配置在座椅14D的周边，且以对乘员P4显示影像的方式而构成。
心率检测部30为对落座于座椅14上的乘员P的心率进行检测的装置，且如上文所述，被内置于各个座椅14的座椅靠背中。
图5为表示ECU22的硬件结构的框图。如该图5所示，ECU22以包括CPU(CentralProcessing Unit：处理器)36、ROM(Read Only Memory：只读存储器)38、RAM(RandomAccess Memory：随机存取存储器)40、存储器42及通信接口44的方式而被构成。此外，各结构经由总线45而以能够相互通信的方式被连接在一起。
CPU36为中央运算处理单元，其执行各种程序、或者对各个部分进行控制。即，CPU36从ROM38或存储器42读取程序，并将RAM40作为工作区来执行程序。CPU36根据被记录在ROM38或存储器42中的程序，而进行上述各结构的控制及各种运算处理。
ROM38对各种程序及各种数据进行存储。RAM40作为工作区而临时性地对程序或数据进行存储。存储器42通过HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid StateDrive：固态驱动器)而被构成，且对包括操作系统在内的各种程序及各种数据进行存储。
通信接口44为，用于使ECU22与服务器24及其他设备进行通信的接口，例如使用了以太网(注册商标)、FDDI、Wi-Fi(注册商标)等的规格。
车辆用声音输入输出装置10使用上述的硬件资源来实现各种功能。参照图6，而对车辆用声音输入输出装置10所实现的功能结构进行说明。
如图6所示，车辆用声音输入输出装置10作为功能结构而以包括语音记录部46、语音提取部48、清醒程度判断部50、输出位置确定部52、反相声音生成部54及输出控制部56的方式而被构成。各功能结构通过使CPU36读取并执行被存储在ROM38或存储器42中的程序，从而被实现。
语音记录部46对由话筒32所收音到的语音进行记录。此外，语音提取部48从由语音记录部46所记录的语音中提取确定的词语。作为语音提取部48所提取的词语，例如提取包括燃料的剩余量或车辆12的行驶状况等的与车辆12相关的询问在内的词语、或包括与车辆12所行驶的位置的周边的地形或建筑物相关的询问在内的词语。
清醒程度判断部50对乘员P的清醒程度进行判断。具体而言，清醒程度判断部50基于来自车厢内摄像机20及心率检测部30中的至少一方的信号，而对乘员P的清醒水平进行判断。在此，在清醒程度较低的情况下，表示乘员P处于入睡倾向中。
输出位置确定部52对输出信息的位置进行确定。具体而言，输出位置确定部52对座椅14A～座椅14D中的输出信息的座椅14进行确定。
反相声音生成部54根据由话筒32所收音到的语音而生成反相声音。输出控制部56使语音从与由输出位置确定部52所确定的座椅14相对应的扬声器34输出，或者使与由输出位置确定部52所确定的座椅14相对应的监视器35输出影像。另外，也可以采用如下方式，即，在使语音从扬声器34输出的同时，使监视器35输出影像。
接下来，参照图7的流程图，来对由车辆用声音输入输出装置10实现的语音入输出处理的流程的一个示例进行说明。通过使CPU36从ROM38或存储器42读取程序并在RAM40中展开而执行，从而实施语音输入输出处理。
如图7所示，在步骤S102中，CPU36通过语音记录部46的功能而对语音进行记录。在此，在收音到乘员P通过话筒32A～话筒32D所发声的内容的情况下，对语音进行记录。
在步骤S104中，CPU36对是否发声出了与车辆12或车辆12的周边相关的词语进行判断。具体而言，在CPU36通过语音提取部48的功能而从由语音记录部46所记录的语音中提取出了与车辆12相关的词语或与车辆12的周边相关的词语的情况下，转移至步骤S106。此外，在CPU36没有提取出与车辆12或车辆12的周边相关的信息的情况下，反复进行步骤S104的处理直至提取出这些信息。
在步骤S106中，CPU36对是否存在清醒程度低于预定值的乘员P进行判断。具体而言，在CPU36通过清醒程度判断部50的功能、并基于来自车厢内摄像机20及心率检测部30中的至少一方的信息而判断为存在清醒程度低于预定值的乘员的情况下，向步骤S108的处理转移。此外，在判断为不存在清醒程度低于预定值的乘员的情况下，向步骤S110的处理转移。
在步骤S108中，CPU36将与所确定的乘员P所落座的座椅14相对应的扬声器34及监视器35从信息的输出目标中除外。具体而言为，将与在步骤S106中被判断为清醒程度较低的乘员P所落座的座椅14相对应的扬声器34及监视器35从信息的输出目标中除外。例如，在被判断为图1中乘员P3的清醒程度较低的情况下，不实施从与座椅14C相对应的扬声器34C的语音的输出。此外，不实施向与座椅14C相对应的监视器35C的影像的输出。
在步骤S110中，CPU36通过语音及影像中的至少一方而对输出目标的座椅14输出如下信息，即，和在步骤104中通过语音提取部48的功能所提取出的、与车辆12或车辆12的周边相关的词语相关联的信息。具体而言，CPU36通过输出控制部56的功能，而使语音从与被设定为输出目标的座椅14相对应的扬声器34输出。此时，也可以使影像从与被设定为输出目标的座椅14相对应的监视器35输出。
如上文所述，在本实施方式中，能够使与车辆12或车辆12的周边相关的信息仅向由清醒程度判断部50所判断出的清醒程度高于预定值的乘员P输出。
(作用)
接下来，对本实施方式的作用进行说明。
在本实施方式的车辆用声音输入输出装置10中，输出控制部56从扬声器34及监视器35中的至少一方输出和通过语音提取部48所提取出的与车辆12或车辆12的周边相关的词语相关联的信息。由此，即使乘员P不实施特别的操作，也能够仅通过进行发声的方式来获得与车辆12或车辆12的周边相关的信息。例如，在乘员P对车辆12的行驶状况进行了发声的情况下，通过语音提取部48的功能而对与行驶状況相关的语音进行提取。而且，CPU36使有关于车辆12的行驶状况的信息从扬声器34及监视器35中的至少一方输出。
此外，在本实施方式中，并不向由清醒程度判断部50所判断出的清醒程度低于预定值的乘员P输出信息。即，仅向由清醒程度判断部50所判断出的清醒程度高于预定值的乘员P输出信息。由此，能够抑制成为处于睡眠中的乘员P等清醒程度较低的乘员P的妨碍的情况。其结果为，能够确保其他乘员P的舒适性。
以上，虽然对实施方式进行了说明，但在不脱离本发明的主旨的范围内，当然可以以各种各样的方式来实施。例如，虽然在上述实施方式中，并不向通过图6的清醒程度判断部50而被判断为清醒程度低于预定值的乘员P实施信息的输出，但并未被限定于此。输出控制部56也可以向通过清醒程度判断部50而被判断为清醒程度低于预定值的乘员P输出反相声音。
作为一个示例，也可以采用如下方式，即，通过反相声音生成部54的功能而生成反相声音，并使输出控制部56从与清醒程度较低的乘员P所落座的座椅14相对应的扬声器34输出反相声音。如果采用这种方式，则能够使清醒程度较低的乘员P听不到声音。由此，能够有效地仅向欲获得信息的乘员P传达信息。
此外，也可以使CPU36之外的各种处理器来执行在上述各实施方式中CPU36读取并执行了软件(程序)而实施的处理。作为这种情况下的处理器，可例示出专用电路等，所述专用电路为，具有在FPGA(Field-Programmable Gate Array：现场可编程逻辑门阵列)等的制造之后能够改变电路结构的PLD(programmable logic device：可编程逻辑器件)、及ASIC(Application Specific Integrated Circuit：特殊应用集成电路)等、为了执行确定的处理而专门被设计的电路结构的处理器。此外，既可以通过这些各种处理器中的一个来执行上述处理，也可以通过同种或不同种的两个以上的处理器的组合(例如，多个FPGA、及CPU与FPGA的组合等)来执行上述处理。此外，更具体而言，这些各种处理器的硬件结构为，对半导体元件等电路元件进行了组合而形成的电路。
并且，虽然在上述各实施方式中将存储器42设为记录部，但并未被限定于此。例如，也可以将CD(Compact Disk：光盘)、DVD(Digital Versatile Disk：数字多功能光盘)及USB(Universal Serial Bus：通用串行总线)存储器等记录介质设为记录部。

Claims (5)

1.一种车辆用声音输入输出装置，具有：
收音部，其被设置于车厢内，且对乘员的语音进行收音；
输出部，其被设置于车厢内，且对各个座椅输出声音或影像；
清醒程度判断部，其对乘员的清醒程度进行判断；
输出控制部，其在基于由所述收音部所收音到的语音而判断为发声出了与车辆或车辆周边有关的内容的情况下，使与车辆或车辆周边相关的信息从与清醒程度高于预定值的乘员所落座的座椅相对应的各输出部输出。
2.如权利要求1所述的车辆用声音输入输出装置，其中，
所述输出控制部使与车辆或车辆周边相关的信息以语音方式而从与清醒程度高于预定值的乘员所落座的座椅相对应的各输出部输出，并且，使反相声音从与清醒程度低于预定值的乘员所落座的座椅相对应的各输出部输出。
3.如权利要求1所述的车辆用声音输入输出装置，其中，
在与所述车辆周边相关的信息中，包含有关于车辆正在行驶的位置的信息。
4.如权利要求1所述的车辆用声音输入输出装置，其中，
在与所述车辆周边相关的信息中，包含有关于车辆正在行驶的位置的周边的地形或建筑物的信息。
5.如权利要求1所述的车辆用声音输入输出装置，其中，
还具备：
车厢内摄像机，其对所述乘员的脸部进行拍摄；
心率检测部，其对所述乘员的心率进行检测，
所述清醒程度判断部基于来自所述车厢内摄像机及所述心率检测部中的至少一方的信号，而对所述清醒程度进行判断。
CN201911017476.5A 2018-10-31 2019-10-24 车辆用声音输入输出装置 Active CN111114477B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018205671A JP7211013B2 (ja) 2018-10-31 2018-10-31 車両用音入出力装置
JP2018-205671 2018-10-31

Publications (2)

Publication Number Publication Date
CN111114477A true CN111114477A (zh) 2020-05-08
CN111114477B CN111114477B (zh) 2023-02-17

Family

ID=70325370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911017476.5A Active CN111114477B (zh) 2018-10-31 2019-10-24 车辆用声音输入输出装置

Country Status (3)

Country Link
US (1) US10922048B2 (zh)
JP (1) JP7211013B2 (zh)
CN (1) CN111114477B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112078498B (zh) * 2020-09-11 2022-03-18 广州小鹏汽车科技有限公司 一种车辆智能座舱的声音输出控制方法和智能座舱
WO2024086422A1 (en) * 2022-10-19 2024-04-25 Qualcomm Incorporated Adaptive audio system for occupant aware vehicles

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087107A (ja) * 2000-09-14 2002-03-26 Denso Corp 走行状態検出装置、覚醒度検出装置、覚醒度対応制御装置、及び記録媒体
JP2010124435A (ja) * 2008-11-21 2010-06-03 Panasonic Corp 車内会話補助装置
WO2016129276A1 (ja) * 2015-02-12 2016-08-18 パナソニックＩｐマネジメント株式会社 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム
CN106553653A (zh) * 2015-09-17 2017-04-05 丰田自动车株式会社 车辆用清醒控制系统
CN107031651A (zh) * 2016-01-14 2017-08-11 马自达汽车株式会社 驾驶辅助装置
US20180167044A1 (en) * 2016-12-09 2018-06-14 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Automatic vehicle occupant audio control

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653203B2 (en) * 2004-01-13 2010-01-26 Bose Corporation Vehicle audio system surround modes
JP2006094389A (ja) 2004-09-27 2006-04-06 Yamaha Corp 車内会話補助装置
US20060153398A1 (en) * 2005-01-13 2006-07-13 Deetz Kenneth L In-vehicle entertainment system
JP2006226872A (ja) 2005-02-18 2006-08-31 Denso Corp ナビゲーション装置およびプログラム
WO2009054039A1 (ja) 2007-10-22 2009-04-30 Pioneer Corporation 音量制御装置、音量制御方法、音量制御プログラムおよび記録媒体
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US20150249886A1 (en) * 2014-03-03 2015-09-03 Cvg Management Corporation Noise mitigation seating
JP2016133989A (ja) 2015-01-20 2016-07-25 パナソニックＩｐマネジメント株式会社 コミュニケーション装置と、それを搭載した自動車及びコミュニケーション方法
DE102016205996A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren zum Ausgeben einer Schläfrigkeitswarnung und Steuergerät

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087107A (ja) * 2000-09-14 2002-03-26 Denso Corp 走行状態検出装置、覚醒度検出装置、覚醒度対応制御装置、及び記録媒体
JP2010124435A (ja) * 2008-11-21 2010-06-03 Panasonic Corp 車内会話補助装置
WO2016129276A1 (ja) * 2015-02-12 2016-08-18 パナソニックＩｐマネジメント株式会社 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム
CN106553653A (zh) * 2015-09-17 2017-04-05 丰田自动车株式会社 车辆用清醒控制系统
CN107031651A (zh) * 2016-01-14 2017-08-11 马自达汽车株式会社 驾驶辅助装置
US20180167044A1 (en) * 2016-12-09 2018-06-14 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Automatic vehicle occupant audio control

Also Published As

Publication number Publication date
US10922048B2 (en) 2021-02-16
JP7211013B2 (ja) 2023-01-24
US20200133626A1 (en) 2020-04-30
JP2020072393A (ja) 2020-05-07
CN111114477B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
US10536791B2 (en) Vehicular sound processing system
CN110913313A (zh) 车辆用声音输入输出装置
US20180034951A1 (en) Earpiece with vehicle forced settings
CN111114477B (zh) 车辆用声音输入输出装置
JP7263733B2 (ja) 車両用障害物報知装置
US20190037363A1 (en) Vehicle based acoustic zoning system for smartphones
US11393444B2 (en) Noise suppressor for a vehicle and noise suppressing method for a vehicle
CN111076740B (zh) 车辆用通知系统
JP7287301B2 (ja) 死角情報取得装置、死角情報取得方法、車両及びプログラム
US20160134968A1 (en) Vehicle multimedia system and method
JP2020126551A (ja) 車両周辺監視システム
JP7267222B2 (ja) 処理装置、処理方法、報知システム及びプログラム
US20210018908A1 (en) Remote driving system
JP2022098864A (ja) 降車動作判定装置、車両、降車動作判定法及びプログラム
KR101575437B1 (ko) 차량 내부의 스피커를 통한 경고음 출력의 제어 방법 및 이를 위한 장치
JP6110617B2 (ja) 表示システム、表示制御装置及び表示制御方法
GB2555088A (en) Interface apparatus and method
US10812924B2 (en) Control apparatus configured to control sound output apparatus, method for controlling sound output apparatus, and vehicle
US11498517B2 (en) Restraining device control system
KR20200082463A (ko) 영상 기록 장치 및 그 동작 방법
US20230048800A1 (en) Vehicular sound processing system with enhanced recognition of audible alerts from other vehicles
US20230365030A1 (en) Occupant protection auxiliary device
CN116890743A (zh) 安全辅助装置
JP2019109422A (ja) 車載音声出力装置
KR20230019302A (ko) 시트 자세에 따른 차량 내 음향 제어 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant