CN113450788A - 声音输出的控制方法和声音输出控制装置 - Google Patents
声音输出的控制方法和声音输出控制装置 Download PDFInfo
- Publication number
- CN113450788A CN113450788A CN202110285056.6A CN202110285056A CN113450788A CN 113450788 A CN113450788 A CN 113450788A CN 202110285056 A CN202110285056 A CN 202110285056A CN 113450788 A CN113450788 A CN 113450788A
- Authority
- CN
- China
- Prior art keywords
- factor
- user
- stop instruction
- audio output
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000004044 response Effects 0.000 claims abstract description 23
- 230000007958 sleep Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 description 62
- 238000011156 evaluation Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供声音输出的控制方法和声音输出控制装置。将用户停止的声音输出在与该停止的要因相应的适当的条件下重新开始。具有如下步骤:在向用户进行的声音输出中,停止指示部响应于从用户接收到声音输出的停止指示的情况而使声音输出停止;要因估计部响应于接收到停止指示而估计用户进行了停止指示的要因;以及条件决定部根据估计出的要因决定停止的声音输出的重新开始条件。
Description
技术领域
本发明涉及声音输出的控制方法和声音输出控制装置。
背景技术
现有技术文献
以往,已知有根据用户的指示进行音乐等的再现、或者利用声音来提供用户所要求的各种信息的车载装置。例如,当用户针对车载装置在表示声音指示的开始的所谓唤醒词后接着发出“告诉我今天的头条新闻”等声音指示时,车载装置检索互联网上的新闻服务器并开始朗读头条新闻。
用户在由于某些原因而希望中途停止这些声音输出的情况下,例如能够通过声音指示而停止,然后,如果根据需要而重新给出声音指示,则能够重新指示所期望的声音输出。
然而,用户停止声音输出的要因各种各样,根据要因的不同,有时存在如下情况:希望不使声音输出完全结束而是暂时停止(即中断),在该要因消除后重新开始声音输出。
例如,在朗读比较长的新闻而进行声音输出的情况下,作为用户,可能希望:不由于来自用户的停止指示而结束朗读而是希望中断朗读,在排除了该停止指示的要因后从该中断的位置重新开始朗读,这样不需要重听相同的新闻部分。
此外,对话装置进行的与用户之间的声音对话中也期望这样的声音输出的适当的重新开始。特别是在通过多次对话给出一个用户指示这样的声音对话中,在来自用户的对话停止指示后,如果在适当的条件下重新开始该对话,则能够通过高效的对话而给出用户指示。
因此,在用户停止了声音输出时,如果在与该停止的要因相应的适当的时机或条件下重新开始该停止的声音输出,则对于用户而言是方便的。
作为现有技术,在专利文献1中公开了如下内容:在与驾驶员对话的车载的对话装置中,当驾驶员的驾驶负荷高时不对驾驶员进行讲话,当驾驶负荷低且驾驶员为漫不经心的状态(驾驶操作缓慢或进行了较大的修正操作这样的注意力低下的状态)时开始讲话。此外,在专利文献2中公开了如下内容:在车载的声音对话装置中,当根据制动传感器等的信号而判断出的驾驶员的驾驶裕度是能够识别声音消息的程度时,受理来自驾驶员的声音。
然而,在这些现有技术中,根据驾驶负荷来判断是否允许对驾驶员的讲话输出或是否允许接收来自驾驶员的讲话,针对上述那样的由用户进行声音输出的停止指示的场面下的用户的便利性提高,没有给出解决对策。
专利文献
专利文献1:日本特开2017-067849号公报
专利文献2:日本特开2018-063338号公报
发明内容
发明要解决的问题
根据上述背景,要求实现能够将用户停止的声音输出在与该停止的要因相应的适当的条件下重新开始的技术。
用于解决问题的手段
本发明的一个方式是声音输出的控制方法,所述声音输出的控制方法具有如下步骤:在向用户进行的声音输出中,停止指示部响应于从所述用户接收到声音输出的停止指示的情况而使所述声音输出停止;要因估计部响应于接收到所述停止指示的情况而估计所述用户进行了所述停止指示的要因;以及条件决定部根据所估计出的所述要因,决定停止的所述声音输出的重新开始条件。
根据本发明的另一个方式,在所述进行估计的步骤中,判断所述停止指示的要因是否是所述声音输出所提供的信息的内容,在所述进行决定的步骤中,当所述要因是所述内容时,将所述提供的内容的变更决定为所述重新开始条件。
根据本发明的另一个方式,在所述进行决定的步骤中,当在所述进行估计的步骤中未确定所述要因时,将规定时间的经过决定为所述重新开始条件。
根据本发明的另一个方式,所述用户是车辆的驾驶员,在所述进行估计的步骤中,所述停止指示的要因判断是否是所述驾驶员驾驶所述车辆的驾驶负荷的增大,在所述进行决定的步骤中,当所述驾驶负荷的增大是所述要因时,将成为所述驾驶负荷的所述增大的原因的驾驶场景的结束决定为所述重新开始条件。
根据本发明的另一个方式,在所述进行估计的步骤中,判断所述停止指示的要因是否是用户与所述车辆的同乘者之间的会话,在所述进行决定的步骤中,当所述会话是所述要因时,将所述会话的结束决定为所述重新开始条件。
根据本发明的另一个方式,在所述进行估计的步骤中,判断所述停止指示的要因是否是所述车辆的同乘者的睡眠,在所述进行决定的步骤中,当所述要因是所述睡眠时,将所述声音输出的音量的降低决定为所述重新开始条件。
根据本发明的另一个方式,在所述进行估计的步骤中,当接收到所述停止指示,相对于针对其他要因的判断,优先进行所述停止指示的要因是否是所述驾驶员的所述驾驶负荷的增大的判断。
本发明的另一个方式是声音输出控制装置,其对声音输出进行控制,所述声音输出控制装置具有:停止指示部,在向用户进行的声音输出中,该停止指示部响应于从所述用户接收到声音输出的停止指示的情况而使所述声音输出停止;要因估计部,其响应于接收到所述停止指示的情况而估计所述用户进行了所述停止指示的要因;以及条件决定部,其根据所估计出的所述要因,决定所停止的所述声音输出的重新开始条件。
发明的效果
根据本发明,能够将用户停止的声音输出在与该停止的要因相应的适当的条件下重新开始。
附图说明
图1是示出本发明的一个实施方式的UI控制装置的结构的图。
图2是示出图1所示的UI控制装置的控制处理的步骤的流程图。
图3是示出图2所示的控制处理的要因估计处理的步骤的流程图。
图4是示出图2所示的控制处理的条件决定处理的步骤的流程图。
图5是示出图2所示的控制处理的通知处理的步骤的流程图。
附图标记说明
100…UI控制装置,102…车辆,104…车载网络总线,106…摄像头控制装置,108…车辆信息取得装置,110…驾驶场景评价装置,112…驾驶技能评价装置,114…用户信息管理装置,116…驾驶负荷计算装置,118…AV输出装置,120…内容提供装置,122…车室内摄像头,124…车外摄像头,126…传感器组,128,136,150…处理装置,130,137,152…存储装置,132…驾驶技能DB,134…嗜好信息DB,138…新闻信息,139…观光信息,140…麦克风,142…扬声器,144…显示装置,146…触摸面板,156…UI控制部,158…输出控制部,160…声音输出部,162…声音识别部,164…显示控制部,166…输入处理部,170…停止指示部,172…场景判断部,174…要因估计部,176…条件决定部,178…通知部,180…重新开始指示部,186…负荷判断部,188…会话判断部,190…睡眠判断部,192…内容判断部。
具体实施方式
下面参照附图来说明本发明的实施方式。
[第1实施方式]
首先,对本发明的第1实施方式进行说明。图1是示出作为本发明的第1实施方式的声音输出控制装置的用户接口控制装置的结构的图。该用户接口控制装置(以下,UI控制装置)100搭载于作为移动体的车辆102。作为声音输出控制装置的UI控制装置100经由车载网络总线104,以能够通信的方式与摄像头控制装置106、车辆信息取得装置108、驾驶场景评价装置110、驾驶技能评价装置112、用户信息管理装置114、驾驶负荷计算装置116、AV(视听)输出装置118和内容提供装置120连接。
UI控制装置100将AV输出装置118和内容提供装置120作为客户端,对这些客户端装置与用户之间的经由通过麦克风140、扬声器142、显示装置144和触摸面板146构成的用户接口的交互进行中介。特别地,UI控制装置100对从这些客户端装置向用户的经由扬声器142的声音输出的停止和重新开始进行控制。
另外,以下,用户是指包括车辆102的驾驶员和同乘者在内的车辆102的利用者。
摄像头控制装置106通过车室内摄像头122来拍摄车辆102的车室内的图像。此外,摄像头控制装置106例如通过设于车辆102的外装的车外摄像头124来拍摄车辆102的外部环境。
车辆信息取得装置108根据传感器组126来检测车辆102的驾驶操作和运动状态(或力学的状态)。传感器组126中包含油门踏板传感器、制动器踏板传感器、转向传感器、换挡传感器、方向指示器传感器等用于取得针对与车辆操纵相关的各种操作器的用户操作的有无和操作量的传感器。此外,传感器组126中可以包含3轴加速传感器、偏航率传感器和速度传感器等检测车辆的运动状态或力学的状态的各种传感器。
驾驶场景评价装置110按照现有技术,评价车辆102行驶的交通环境的场景即驾驶场景(或交通场景)。在本实施方式中,驾驶场景是对在驾驶车辆时遇到的各种交通场面进行分类而得到的,例如能够通过交叉路口通过、交叉路口右转、交叉路口左转、窄路对向行驶、超越前车、车道变更、高速道路汇合、紧急车辆通过、二轮车并行、步行者拥挤、街道拥堵、暴风雨时行驶等中的一个或多个组合来表示。
驾驶场景评价装置110针对上述的各驾驶场景(候选场景),分别计算判断为与当前的驾驶场景一致的置信度(确定性、概率、或者可靠度)。根据计算出的各候选场景的置信度,可以将置信度最高的候选场景确定为当前的驾驶场景。这里,关于置信度,置信的程度越高则置信度的值越大,例如可以表示为0以上、1以下的范围的数值。
具体而言,驾驶场景评价装置110具有由CPU等处理器构成的计算机即处理装置,例如,根据车辆102的外部环境、车辆102的驾驶员的驾驶行动、和/或车辆102的运动状态,计算上述各驾驶场景的置信度。
这里,在上述外部环境中,可以包含车辆102的当前位置附近的地图信息(直行、拐弯、四岔路、高速道入口等道路的几何学的结构或车道构成)、可从车外摄像头124取得的其他车辆的存在、道路标识、道路设备的动作状态(信号灯的点亮颜色等)、以及天气的状态等。此外,在驾驶员的驾驶行动中,可以包含驾驶员的视线移动(用于安全确认的向侧视镜或室内镜的视线移动)、驾驶操作的种类(加减速操作、转向操作、方向指示灯的点亮)、和/或这些驾驶操作的操作量、操作顺序等。此外,车辆102的运动状态中可以包含速度、加速度、减速度、转速、行驶道路坡度等。
驾驶场景评价装置110从自身所具有的存储装置所存储的地图信息、由车外摄像头124得到的车辆环境的信息、由车室内摄像头122得到的驾驶员的视线信息、以及车辆信息取得装置108取得的各种车辆信息取得这些信息。
驾驶场景评价装置110例如可以对各候选场景各自特征性的外部环境、一系列的驾驶行动和车辆的运动状态、与车辆102的当前的外部环境、驾驶员的驾驶行动和车辆102的运动状态进行比较,根据他们的一致程度来计算上述置信度。
但是,置信度的计算方法不限于此。例如也可以是,驾驶场景评价装置110使用以根据上述外部环境、驾驶行动和/或运动状态概率性地估计当前的驾驶场景的方式进行机器学习后的学习完毕模型,计算与当前的外部环境、驾驶行动和/或驾驶状态对应的各候选场景的置信度。
驾驶场景评价装置110经由车载网络总线,将上述候选场景各自的置信度向其他装置输出,并且,将置信度最高的候选场景确定为当前的驾驶场景,将该特定的结果向其他装置输出。
驾驶技能评价装置112按照现有技术来评价车辆102的驾驶员的驾驶技巧,并存储评价结果。具体而言,驾驶技能评价装置112例如具有:由CPU等处理器构成的计算机、即处理装置;和存储装置。驾驶技能评价装置112对标准驾驶员在与从驾驶场景评价装置110取得的当前驾驶场景同样的驾驶场景中进行的标准操纵流程、与车辆102的当前的驾驶员进行的实际的执行操纵流程进行比较,从而评价该当前的驾驶员的驾驶技巧。
这些操纵流程可以通过一系列的操纵中的驾驶操作的种类、顺序、开始时机、该驾驶操作的速度、和/或该驾驶操作的操作量的大小等参数来表现。驾驶技能评价装置112评价当前的驾驶员的上述执行操纵流程中的上述各个参数相对于上述标准操纵流程的偏离的程度,将该评价的结果计算为驾驶技巧评价分。该驾驶技巧评价分例如可以将值1作为上限,并且计算为驾驶技巧越低(即,上述偏离的程度越大),则成为越小的值。
这里,假设构成上述执行操纵流程的各参数值能够从车辆信息取得装置108取得。此外,与上述标准操纵流程相关的各参数值能够按照每个驾驶场景而被预先存储。
驾驶技能评价装置112能够按照规定的时间间隔(例如,每隔半年),基于规定长度的驾驶期间(例如,3个月期间)内的驾驶操作的数据,计算上述驾驶技巧评价分。此外,驾驶技能评价装置112例如在车辆102由多个用户利用的情况下,按照每个用户来计算上述驾驶技巧评价分。
驾驶技能评价装置112将计算出的每个驾驶员的驾驶技巧评价分经由车载网络总线104而向其他装置输出。
用户信息管理装置114管理与作为驾驶员而利用车辆102的用户相关的信息(用户信息)。用户信息中可以包含各用户的驾驶技巧评价分和嗜好信息。具体而言,用户信息管理装置114具有处理装置128和存储装置130。处理装置128例如是具有CPU等处理器的计算机。存储装置130例如由易失性和/或非易失性的半导体存储器、和/或硬盘装置等构成。存储装置130存储驾驶技能数据库(驾驶技能DB)132、嗜好信息数据库(嗜好信息DB)134。
在驾驶技能DB 132中保存有每个用户的驾驶技巧评价分。处理装置128接收驾驶技能评价装置112输出的每个用户的驾驶技巧评价分,将其保存于驾驶技能DB132。
在嗜好信息DB 134中保存各用户的嗜好信息。嗜好信息例如由表示对应的用户喜好的嗜好类别的信息构成。嗜好类别例如可以由表示内容的领域(音乐、电影、新闻等)、该每个领域的小分类、和/或具体的内容等的词语构成。关于上述小分类,例如如果是音乐,则表示经典、流行等的区别,如果是电影,则表示动作、恐怖、Si-Fi等的区别,如果是新闻,则表示运动、特定的国家、特定的新闻源等的区别。
处理装置128例如从AV输出装置118和内容提供装置120取得用户通过后述的AV输出装置118再现的音乐或动画的信息、使用AV输出装置118提供的浏览器进行的检索的关键字、向后述的内容提供装置120指示输出的内容信息。然后,处理装置128基于取得的这些信息,生成对应的用户的嗜好信息,将其保存于嗜好信息DB134。
用户信息管理装置114还确定当前作为驾驶员而利用车辆102的用户。例如,处理装置128按照现有技术,通过认证处理等确定作为当前的驾驶员的用户,该认证处理使用从各用户使用的智能钥匙或便携终端取得的ID信息、或者从车室内摄像头122取得的驾驶员的面部图像。
驾驶负荷计算装置116估计驾驶员的当前的驾驶负荷。驾驶负荷计算装置116具有由CPU等处理器构成的处理装置和存储装置,根据车辆102的当前的驾驶场景、当前的驾驶员的驾驶技能的程度,计算该驾驶员的当前的驾驶负荷。
具体而言,驾驶负荷计算装置116从驾驶场景评价装置110取得车辆102的当前的驾驶场景。此外,驾驶负荷计算装置116从用户信息管理装置114取得表示车辆102的当前的驾驶员的驾驶技能的驾驶技巧评价分。
然后,驾驶负荷计算装置116例如将标准驾驶负荷与驾驶技巧评价分相乘,来计算当前的驾驶员的当前的驾驶负荷,其中,该标准驾驶负荷以数值来表示标准的驾驶员(标准驾驶员)在当前的驾驶场景行驶时该标准驾驶员受到的驾驶负荷。
这里,标准驾驶负荷例如能够通过驾驶负荷越高则取越大的值的数值来表现。此外,如上所述,该标准驾驶负荷例如能够按照被分类的每个驾驶场景而被预先决定并存储。
AV输出装置118例如具有具备CPU等处理器的计算机即处理装置,按照现有技术进行音乐或动画的再现。此外,AV输出装置118例如具有浏览器,对用户提供信息检索和/或信息阅览的功能。
AV输出装置118经由UI控制装置100进行与驾驶员之间的交互。例如,驾驶员能够经由麦克风140而通过声音指示来进行音乐或动画的再现的指示、或者信息检索等的指示。AV输出装置118经由UI控制装置100接收上述声音指示的声音识别结果,执行由该声音指示指定的动作。此外,AV输出装置118经由UI控制装置100将再现的声音或动画输出到扬声器142或显示装置144,和/或将检索到的信息显示于显示装置144。
此外,AV输出装置118按照现有技术,能够通过与驾驶员的多次交互而取得一个指示。例如,AV输出装置118从驾驶员接收指示再现特定的艺术家的歌曲的“请再现***的歌曲”(***为艺术家名)这样的声音指示。AV输出装置118根据该指示,例如从存储装置存储的音乐中检索对应的艺术家的歌曲,将其列表显示于显示装置144,指示UI控制装置100发出“请选择要再现的歌曲”等讲话。然后,AV输出装置118接收应答声音或者经由显示装置144的触摸面板的输入,作为驾驶员的选择结果。
内容提供装置120将新闻或观光信息等的文本信息以朗读的方式提供给用户。内容提供装置120具有由CPU等处理器构成的处理装置136和存储装置137。内容提供装置120例如与AV输出装置118协作,将AV输出装置118的浏览器根据来自用户的指示而检索到的信息中的文本信息存储于存储装置137。该文本信息例如按照每个类别作为新闻信息138或观光信息139而存储于存储装置137。
此外,处理装置136经由UI控制装置100,根据来自用户的指示,朗读存储装置137中存储的文本信息并作为声音从扬声器142输出。这里,能够按照现有技术利用各种方法来生成文本信息的朗读声音。另外,除了上述生成的朗读声音的声音信息以外,处理装置136还可以将朗读声音的提供所伴随的图像信息或显示信息经由UI控制装置100而显示于显示装置144。
UI控制装置100将AV输出装置118和内容提供装置120作为客户端,并将这些客户端装置输出的声音信息和图像信息从扬声器142和显示装置144输出。此外,UI控制装置100分别从麦克风140和触摸面板146取得用户的声音指示以及输入指示或输入数据,并向各自对应的客户端装置输出。如上所述,特别地,UI控制装置100控制从这些客户端装置向用户的、经由扬声器142的声音输出的停止和重新开始。
具体而言,UI控制装置100具有处理装置150和存储装置152。存储装置152例如通过易失性和/或非易失性的半导体存储器、和/或硬盘装置等构成。
处理装置150例如是具有CPU等处理器的计算机。处理装置150也可以构成为具有供程序写入的ROM、用于临时存储数据的RAM等。而且,处理装置150具有UI(用户接口)控制部156和输出控制部158,作为功能要素或功能单元。
UI控制部156包括作为功能要素或功能单元的声音输出部160、声音识别部162、显示控制部164、输入处理部166。此外,输出控制部158包括作为功能要素或功能单元的停止指示部170、场景判断部172、要因估计部174、条件决定部176、通知部178、重新开始指示部180。并且,要因估计部174包括作为功能要素或功能单元的负荷判断部186、会话判断部188、睡眠判断部190、内容判断部192。
处理装置150所具有的这些功能要素例如是通过作为计算机的处理装置150执行程序而实现的。另外,上述计算机程序能够预先存储于计算机可读取的任意的存储介质。取而代之,也能够分别通过包含具有一个以上的电子电路部件的硬件来构成处理装置150具有的上述功能要素的全部或一部分。
UI控制部156对作为用户接口的麦克风140、扬声器142、显示装置144和显示装置144的显示屏幕上设置的触摸面板146进行控制。
UI控制部156的声音输出部160根据来自作为客户端装置的AV输出装置118和内容提供装置120的指示,将这些客户端装置生成的声音信息从扬声器142输出。在声音信息中,除了包含客户端装置生成的声音以外,还可以包含附带于音乐或动画的声音信息。
声音识别部162按照现有技术通过麦克风140取得用户的讲话,对所取得的讲话进行声音识别处理,并将结果向AV输出装置118和内容提供装置120输出。取而代之,声音识别部162也可以按照现有技术,进一步对声音识别处理结果的含义进行解析,将该解析结果向AV输出装置118和内容提供装置120输出。
显示控制部164控制显示装置144,输出由AV输出装置118和内容提供装置120指示的图像或影像。此外,输入处理部166按照现有技术,从触摸面板146取得驾驶员的输入,将该取得的输入的处理结果向AV输出装置118和内容提供装置120输出。
输出控制部158控制来自扬声器142的声音输出。输出控制部158根据来自用户的停止指示,停止来自扬声器142的声音输出。此外,输出控制部158特别地对用户进行了停止指示的要因进行估计,根据该要因来决定上述停止的声音输出的重新开始条件。然后,输出控制部158按照该决定出的重新开始条件来重新开始声音输出。此外,特别地,输出控制部158在重新开始声音输出时,对用户进行与上述估计出的要因相应的通知。
输出控制部158的停止指示部170例如经由声音识别部162,取得指示声音输出的停止的用户的声音指示。该声音指示例如可以是“声音停”、“声音停止”等讲话。停止指示部170例如能够从UI控制部156取得上述声音指示的声音识别结果和该声音指示的音量信息。
场景判断部172与驾驶场景评价装置110协作来评价车辆102的驾驶场景。场景判断部172对驾驶场景的展开、即与时间一起变化的各种驾驶场景的开始和结束进行判断。具体而言,场景判断部172按照规定的时间间隔,取得驾驶场景评价装置110计算出的每个候选场景的置信度和当前的驾驶场景。
而且,场景判断部172在从驾驶场景评价装置110取得的当前的驾驶场景发生变化时,判断为开始了新的驾驶场景。此外,场景判断部172在开始了新的驾驶场景时,根据与其紧前面的驾驶场景对应的候选场景的置信度,计算判断为该紧前面的驾驶场景已经结束的置信度(场景结束置信度)。这里,如上所述,候选场景的置信度可以表现为置信的程度越高则值越大的例如0以上且1以下的范围的数值。而且,例如可以通过从1减去与上述紧前面的驾驶场景对应的候选场景的置信度来计算上述场景结束置信度。
要因估计部174在停止指示部170接收到来自用户的声音输出的停止指示时,对用户进行了该停止指示的要因进行估计。具体而言,要因估计部174通过负荷判断部186来判断上述停止指示的要因是否是当前的驾驶员驾驶车辆102的驾驶负荷的增大。
更具体而言,负荷判断部186按照规定的时间间隔,从驾驶负荷计算装置116取得当前的驾驶员的当前的驾驶负荷。此外,负荷判断部186判断接收到上述停止指示时的上述当前的驾驶负荷是否为规定的级别以上。而且,当接收到上述停止指示时的上述当前的驾驶负荷为规定的级别以上时,负荷判断部186将用户进行了上述停止指示的要因判断为是驾驶负荷的增大。
此外,要因估计部174通过会话判断部188来判断上述停止指示的要因是否是用户与车辆102的同乘者之间的会话。这里,用户与同乘者之间的会话可以包含驾驶员与同乘者之间的会话和同乘者之间的会话。
具体而言,会话判断部188根据经由摄像头控制装置106得到的车室内摄像头122的影像,检测包含驾驶员的乘员是否存在多个。此外,会话判断部188在检测到多个乘员时,经由UI控制部156从麦克风140取得车室内的讲话声音。然后,会话判断部188对上述取得的讲话声音进行分析,当在乘员之间轮流讲话(更替讲话人、交互讲话)的时间为规定时间以上时,判断为在乘员之间正在进行会话,判断为上述停止指示的要因是与同乘者之间的会话。
另外,也可以是,会话判断部188在判断为在乘员间之间正在进行会话、且驾驶员参加该会话的情况下,判断为上述停止指示的要因是与同乘者之间的会话。关于驾驶员是否参照了会话,能够通过在该会话中是否包含有驾驶员的声音来判断。这里,关于在会话中是否包含有驾驶员的声音,例如能够根据预先录音而存储于用户信息管理装置114的该驾驶员的声音样本来判断。
此外,要因估计部174通过睡眠判断部190,判断上述停止指示的要因是否是车辆102的同乘者的睡眠。具体而言,睡眠判断部190根据经由摄像头控制装置106得到的车室内摄像头122的影像,检测是否存在同乘者。此外,睡眠判断部190在检测到同乘者时,经由UI控制部156从麦克风140取得车室内的讲话声音。然后,睡眠判断部190在上述取得的讲话声音的音量为规定的级别以下时,判断为上述停止指示的要因是同乘者的睡眠。
此外,要因估计部174通过内容判断部192,判断上述停止指示的要因是否是作为该停止指示的对象的声音输出所提供的信息的内容。具体而言,内容判断部192根据用户信息管理装置114取得当前的利用者的嗜好信息,计算上述声音指示提供的信息的类别与上述取得的当前的利用者的嗜好信息所示的嗜好类别之间的偏离度。然后,内容判断部192在上述计算出的偏离度为规定的级别以上时,判断为上述停止指示的要因是上述声音输出提供的信息的内容。
上述偏离度能够按照现有技术,使用各种方法进行计算。例如,能够在由多个坐标轴构成的多维空间中,描绘声音输出提供的信息的类别和嗜好类别,将该多维空间中的类别间的距离计算为偏离度,其中,所述多个坐标轴依照任意的规定的定义。上述坐标轴能够任意地进行定义,例如将作为表示类别的特性的语言的“活动的”和“思索的”作为对极而被分度的轴、将“野外”和“室内”作为对极而被分度的轴等。
这里,要因估计部174在接收到来自用户的停止指示时,相对于针其他要因(例如,与同乘者之间的会话、同乘者的睡眠和信息的内容)的判断,优先进行该停止指示的要因是否是驾驶员的驾驶负荷的增大的判断。例如,要因估计部174依次进行负荷判断部186、会话判断部188、睡眠判断部190、内容判断部192中的判断,将与最先得到肯定的结果的判断相关的要因估计为上述停止指示的要因。
接着,输出控制部158的条件决定部176根据由要因估计部174估计出的用户的停止指示的要因,决定由于该停止指示而被停止的声音输出的重新开始条件。具体而言,条件决定部176例如在上述估计出的要因是驾驶负荷的增大时,将成为该驾驶负荷的增大的原因的驾驶场景的结束决定为重新开始条件。
此外,条件决定部176例如在要因估计部174估计出的要因是与同乘者之间的会话时,将该会话的结束决定为重新开始条件。此外,条件决定部176例如在要因估计部174估计出的要因是同乘者的睡眠时,将声音输出的音量的降低决定为重新开始条件。
或者,条件决定部176例如在要因估计部174估计出的要因是信息的内容时,将通过声音输出而提供的信息的内容的变更决定为重新开始条件。此外,条件决定部176在要因估计部174无法确定要因时,即,负荷判断部186、会话判断部188、睡眠判断部190、内容判断部192中的判断的结果都是否定时,将从上述停止指示起经过了规定时间决定为重新开始条件。
输出控制部158的通知部178在重新开始通过来自用户的停止指示而停止的声音输出时,例如通过扬声器142对用户进行与上述估计出的要因相应的通知。通知可以包含与要因估计部174估计出的要因相应的声音输出的重新开始理由。或者,通知能够包含与上述估计出的要因相应的声音输出的重新开始条件。进而,上述通知可以包含与可否重新开始已经停止的声音输出相关的对用户的询问。
通知部178例如在要因估计部174估计出的要因是与同乘者之间的会话时,进行“好像与同乘者的谈话已经结束,可以重新开始刚才的观光信息吗?”等通知。该情况下,“好像与同乘者的谈话已经结束”是表示与要因估计部174估计出的要因相应的声音输出的重新开始理由的语句,“可以重新开始刚才的观光信息吗?”是与可否重新开始通过用户的停止指示而停止的声音输出相关的对用户的询问。此外,“刚才的观光信息”的部分成为针对中断的声音输出的内容的提醒。通过将这样的提醒包含于通知,特别是如声音输出的中断时间超过规定时间而较长的情况下、或者在声音输出的中断时进行与同乘者之间的会话的情况下那样,用户的思考远离了声音输出的内容的情况下,能够使与上述可否重新开始的询问相关的用户的判断变得容易。
此外,通知部178例如在要因估计部174估计出的要因是同乘者的睡眠时,进行“同乘者好像睡着了,可以降低音量并重新开始刚才的观光信息吗?”等通知。该情况下,“同乘者好像睡着了”是表示与要因估计部174估计出的要因相应的声音输出的重新开始理由的语句。此外,“可以降低音量并重新开始刚才的观光信息吗?”是表示与上述估计出的要因相应的声音输出的重新开始条件的语句,并且是与可否重新开始通过来自用户的停止指示而停止的声音输出相关的对用户的询问。
此外,通知部178例如在要因估计部174估计出的要因是信息的内容时,进行“要改变话题吗?有您喜欢的篮球的信息,如何?”等通知。为了容易理解,上述通知中包含的一系列的语句包含有与要因估计部174估计出的要因相应的声音输出的重新开始理由和重新开始条件的提示,以及与可否重新开始声音输出相关的对用户的询问。该情况下,“要改变话题吗?”的语句部分可以省略。这是因为,在“有您喜欢的篮球的信息,如何?”的语句中暗示了“信息的内容”被估计为停止指示的要因。
通知部178从用户信息管理装置114取得当前的驾驶员的嗜好信息,以建议作为上述那样的重新开始条件的信息内容的变更。此外,通知部178基于所取得的嗜好信息,例如检索内容提供装置120的存储装置所存储的内容,提取与上述嗜好信息所示的任意嗜好类别之间的偏离距离为规定值以下的类别的内容。然后,能够提示所提取出的内容的再现作为上述再现条件,并建议执行该再现。
此外,通知部178在要因估计部174估计出的要因是“驾驶负荷的增大”时,进行如下通知,该通知包含造成驾驶负荷的增大的驾驶场景结束作为上述重新开始理由。例如,通知部178进行“由于紧急车辆已经通过,可以重新开始刚才的观光信息吗?”等通知。这里,“由于紧急车辆已经通过”是造成驾驶负荷的增大的驾驶场景的表现。
此外,通知部178在要因估计部174估计出的要因是“驾驶负荷的增大”、且从用户的停止指示起到造成上述驾驶负荷的增大的驾驶场景的结束为止的经过时间为规定时间以下、并且造成该驾驶负荷的增大的驾驶场景的结束的判断的可靠度为规定值以上时,对用户进行包含规定的通知音的通知。此外,在进行包含规定的通知音的通知时,在该通知中,可以不包含与可否重新开始声音输出相关的询问。即,该情况下,接着上述通知音,自动地重新开始声音输出。
由此,用户在由于驾驶负荷暂时增加而进行了声音输出的停止指示的情况下,不需要一次一次地接受针对该声音输出的重新开始的询问,能够在造成该驾驶负荷的暂时增加的驾驶场景结束后,立即重听上述声音输出。
这里,如上所述,将“驾驶场景的结束的判断的可靠度为规定值以上”作为条件是为了更可靠地地避免在驾驶场景实际上未结束时自动重新开始声音输出的情况。
另外,上述“驾驶场景的结束的判断的可靠度”对应于由上述的场景判断部172计算的场景结束置信度。此外,从停止指示起到驾驶场景结束为止的经过时间能够设为由通知部178计测的时间。
例如,通知部178在停止指示部170接收到来自用户的停止指示时,开始计测经过时间,并且在要因估计部174估计出的要因是“驾驶负荷的增大”时,取得场景判断部172在之后计算的场景结束置信度。然后,通知部178能够将从上述停止指示的接收起到上述场景结束置信度的接收为止的经过时间作为从该停止指示起到造成驾驶负荷的增大的驾驶场景的结束为止的经过时间。
在用户针对由通知部178进行的包含与可否重新开始声音输出相关的询问的通知而返回肯定的应答的情况下,输出控制部158的重新开始指示部180指示对应的客户端装置、即AV输出装置118或者内容提供装置120,进行依照该通知的声音输出的重新开始。
这里,关于“依照通知的声音输出的重新开始”,除了只是将停止的声音输出重新开始以外,在所估计出的要因是“同乘者的睡眠”或者“信息的内容”时,分别还意味着在该通知中建议的降低音量的声音输出、或者在该通知中建议的针对信息的声音输出。在估计出这些要因的情况下,例如,重新开始指示部180在对对应的客户端装置进行重新开始指示时,分别附加与重新开始的声音输出的音量的指定、和提供的信息的指定有关的指示。另外,关于重新开始的声音输出的音量的指定,可以由重新开始指示部180对UI控制部156的声音输出部进行。
具有上述的结构的UI控制装置100如果在正在进行声音内容等的声音输出时从用户受理到该声音输出的停止指示,则通过要因估计部174来估计导致用户进行该停止指示的要因。然后,条件决定部176根据要因估计部174估计出的要因,决定停止的声音输出的重新开始条件。由此,在UI控制装置100中,能够将用户停止的声音输出在与该停止的要因相应的适当条件下重新开始。
此外,在UI控制装置100中,在重新开始通过来自用户的停止指示而停止的声音输出时,对用户进行与上述估计出的要因相应的通知。在该通知中可以包含与上述估计出的要因相应的声音输出的重新开始理由和/或重新开始条件、和/或与可否重新开始声音输出相关的对用户的询问。由此,在UI控制装置100中,能够在确保用户的认可性的同时重新开始用户停止的声音输出。
接着,对UI控制装置100的输出控制部158执行的声音输出的控制处理进行说明。图2是示出控制处理的步骤的流程图。本处理在UI控制装置100的电源被接通时开始,在电源被断开时结束。
另外,与本处理并行地,UI控制装置100的UI控制部156通过来自作为客户端装置的AV输出装置118和/或内容提供装置120的指示,将声音和图像从扬声器142和显示装置144输出。此外,UI控制部156与本处理并行地,通过麦克风140和触摸面板取得来自用户的声音和输入,并发送到对应的客户端装置。
当开始处理时,输出控制部158开始基于场景判断部172的驾驶场景的评价(S100)。接着,输出控制部158的停止指示部170判断是否存在来自扬声器142的声音输出(S102)。例如,作为客户端装置的AV输出装置118和内容提供装置120在开始了伴有向用户的声音输出的动作时,向UI控制装置100通知声音输出动作的开始,停止指示部170能够根据是否接收到该通知来判断是否存在声音输出。
然后,停止指示部170在不存在声音输出时(S102,否),返回步骤S102而重复处理。另一方面,在存在声音输出时(S102,是),停止指示部170判断是否从用户进行了声音输出的停止指示(S104)。停止指示部170能够根据是否从UI控制部156的声音识别部162或输入处理部166接收到作为由麦克风140取得的声音指示或者经由触摸面板146而取得的输入的来自用户的停止指示,判断有无该停止指示。
然后,停止指示部170在不存在停止指示时(S104,否),判断声音输出是否已经结束(S106)。例如,在作为客户端装置的AV输出装置118和内容提供装置120结束了伴有向用户的声音输出的动作时,向UI控制装置100通知声音输出动作的结束,停止指示部170能够根据是否接收到该通知,来判断声音输出是否已经结束。
然后,在声音输出已经结束时(S106,是),停止指示部170使处理返回步骤S102。另一方面,在声音输出未结束时(S106,否),停止指示部170使处理返回步骤S104。
另一方面,在步骤S104中存在来自用户的停止指示时(S104,是),停止指示部170指示对应的客户端装置将当前的声音输出动作暂时中断(S108)。由此,对应的客户端装置中断对应的声音输出动作并进行等待。
接着,UI控制装置100的输出控制部158通过要因估计部174来执行用于估计用户进行了上述停止指示的要因的要因估计处理(S110)。接着,输出控制部158执行条件决定处理(S112),决定针对上述中断的声音输出的、与上述估计出的要因相应的重新开始条件。进而,输出控制部158执行通知处理(S114),在重新开始上述中断的声音输出时,对用户进行与上述估计出的要因相应的通知。后面叙述上述的要因估计处理、条件决定处理和通知处理的步骤。
接着,输出控制部158通过重新开始指示部180,根据用户对上述通知的应答等,对对应的客户端装置指示声音输出的重新开始或结束(S116),然后返回步骤S102而重复处理。
具体而言,重新开始指示部180在后述的上述通知处理中设定的重新开始标志是0时,对对应的客户端装置指示声音输出的结束。另一方面,在重新开始标志是1时,对对应的客户端装置指示声音输出的重新开始。此时,当存在在通知部178中设定的重新开始条件时,重新开始指示部180向对应的客户端装置指示该重新开始条件。
接着,对上述的要因估计处理(S110)中的处理的步骤进行说明。图3是示出要因估计处理的步骤的流程图。当开始处理时,输出控制部158的要因估计部174通过负荷判断部186,判断用户进行了停止指示的要因是否是车辆102的驾驶员的驾驶负荷的增大(S200)。然后,当判断为上述要因是驾驶负荷的增大时(S200,是),负荷判断部186将要因标志设定为1(S202),然后结束处理。
由此,要因估计部174相对于针对其他要因的判断而优先进行停止指示的要因是否是驾驶员的驾驶负荷的增大的判断。另外,在图3所示的本处理结束后,输出控制部158的处理向图2所示的步骤S112的条件决定处理转移。
另一方面,当判断为用户的停止指示的要因不是驾驶负荷的增大时(S200,否),要因估计部174通过会话判断部188,判断上述要因是否是驾驶员与车辆102的同乘者之间的会话(S204)。然后,当判断为上述要因是与同乘者之间的会话时(S204,是),会话判断部188将要因标志设定为2(S206),然后结束处理。
另一方面,当判断为用户的停止指示的要因不是与同乘者之间的会话时(S204,否),要因估计部174通过睡眠判断部190,判断上述要因是否是车辆102的同乘者的睡眠(S208)。然后,当判断为上述要因是同乘者的睡眠时(S208,是),睡眠判断部190将要因标志设定为3(S210),然后结束处理。
另一方面,当判断为用户的停止指示的要因不是同乘者的睡眠时(S208,否),要因估计部174通过内容判断部192,判断上述要因是否是通过声音输出而提供的信息的内容(S212)。然后,当判断为上述要因是信息的内容时(S212,是),内容判断部192将要因标志设定为4(S214),然后结束处理。
此外,另一方面,当判断为上述要因不是信息的内容时(S212,否),要因估计部174将要因标志设定为0(S216),然后结束处理。
接着,对图2所示的条件决定处理(S112)中的处理的步骤进行说明。图4是示出条件决定处理的步骤的流程图。当开始处理时,输出控制部158的条件决定部176判断上述的要因估计处理(图3)中设定的要因标志是否被设定为1(S300)。然后,条件决定部176在要因标志是1(驾驶负荷的增大)时(S300,是),将造成该驾驶负荷的增大的当前的驾驶场景的结束设定为声音输出的重新开始条件(S302),然后结束本处理。另外,在图4所示的本处理结束后,输出控制部158的处理向图2所示的步骤S114的通知处理转移。
另一方面,当在步骤S300中要因标志不是1时(S300,否),条件决定部176判断要因标志是否被设定为2(S304)。然后,条件决定部176在要因标志是2(与同乘者之间的会话)时(S304,是),将该会话的结束设定为声音输出的重新开始条件(S306),然后结束本处理。
另一方面,当在步骤S304中要因标志不是2时(S304,否),条件决定部176判断要因标志是否被设定为3(S308)。然后,条件决定部176在要因标志是3(同乘者的睡眠)时(S308,是),将声音输出的音量的降低设定为声音输出的重新开始条件(S310),然后结束本处理。
另一方面,当在步骤S308中要因标志不是3时(S308,否),条件决定部176判断要因标志是否被设定为4(S312)。然后,条件决定部176在要因标志是4(信息的内容)时(S312,是),将由声音输出提供的信息的内容的变更设定为声音输出的重新开始条件(S314),然后结束本处理。
此外,另一方面,当在步骤S312中要因标志不是4时(S312,否),条件决定部176将从接收到停止指示起经过规定时间设定为声音输出的重新开始条件(S316),然后结束本处理。
接着,对图2所示的通知处理(S114)中的处理的步骤进行说明。图5是示出通知处理的步骤的流程图。当开始处理时,输出控制部158的通知部178判断上述的要因估计处理(图3)中设定的要因标志是否被设定为1(驾驶负荷的增大)(S400)。然后,条件决定部176在要因标志是1时(S400,是),通知部178按照条件决定部176在条件决定处理中决定的重新开始条件,等待造成上述驾驶负荷的增大的当前的驾驶场景的结束(S402)。关于驾驶场景是否已经结束的判断,场景判断部172能够通过按照规定时间间隔从驾驶场景评价装置110取得的当前的驾驶场景是否发生了变化来进行判断。
接着,通知部178判断从停止指示起到驾驶场景的结束为止的经过时间是否为规定时间(例如5秒)以下(S404)。然后,当经过时间为规定时间以下时(S404,是),通知部178判断在步骤S402中判断为结束的驾驶场景的场景结束置信度是否为规定值以上(S406)。
然后,当场景结束置信度为规定值以上时(S406,是),通知部178输出通知音作为通知(S408),将重新开始标志设定为1(S410),然后结束本处理。另外,在图5所示的本处理结束后,输出控制部158的处理向图2所示的步骤S116转移。
另一方面,在步骤S404中经过时间超过了规定时间时(S404,否),或者,场景结束置信度小于规定值时(S406,否),通知部178输出如下通知,该通知包含将造成驾驶负荷的增大的驾驶场景已经结束表示为声音输出的重新开始理由的表现、以及可否重新开始声音输出的询问语句(S412)。
接着,通知部178判断用于对可否重新开始的询问的回答是否是肯定的,即,是否允许重新开始声音输出(S414)。然后,当用户回答不是肯定时(S414、否),即是否定时,通知部178将重新开始标志设定为0(S416),结束处理。另一方面,当用户回答是肯定时(S414,是),向步骤S410转移处理。
另一方面,当在S400中要因标志不是1时(S400,否),通知部178判断要因标志是否是2(与同乘者之间的会话)(S418)。然后,当要因标志是2时(S418,是),通知部178按照条件决定部176在条件决定处理中决定的重新开始条件,等待与同乘者之间的会话的结束(S420)。通知部178例如根据从麦克风140取得的车辆102内的声音,当不存在乘员的讲话声音的期间或者未进行轮流讲话的期间持续规定时间以上时,能够判断为与同乘者之间的会话已经结束。
接着,通知部178输出如下通知,该通知包含将会话已经结束表示为声音输出的重新开始理由的表现、以及可否重新开始声音输出的询问语句(S422),然后向步骤S414转移处理。
另一方面,当在S418中要因标志不是2时(S418,否),通知部178判断要因标志是否是3(同乘者的睡眠)(S424)。然后,当要因标志是3时(S424,是),通知部178输出包含条件决定部176在条件决定处理中决定的重新开始条件(音量的降低)、以及可否重新开始声音输出的询问语句的通知(S426),然后向步骤S414转移处理。
另一方面,当在S424中要因标志不是3时(S424,否),通知部178判断要因标志是否是4(信息的内容)(S428)。然后,当要因标志不是4时(S428,否),通知部178按照条件决定部176在条件决定处理中决定的重新开始条件,等待从接收到用户的停止指示起经过规定的时间(S430)。接着,通知部178输出包含可否重新开始声音输出的询问语句的通知(S432),然后向步骤S414转换处理。
另一方面,当在S428中要因标志是4时(S428,是),通知部178输出包含条件决定部176在条件决定处理中决定的重新开始条件(内容的变更)、以及可否重新开始声音输出的询问语句的通知(S434),然后向步骤S414转移处理。
另外,本发明不限于上述的实施方式和变形例的结构,能够在不脱离其主旨的范围内在各种方式中进行实施。
例如,在上述的实施方式中,作为声音输出控制装置的例子而示出了UI控制装置100,本发明的声音输出控制装置不限于UI控制装置100。声音输出控制装置可以被实现为对声音输出进行控制的任意的装置。例如,声音输出控制装置可以被实现为从UI控制装置100去除了UI控制部156后的装置。这样的声音输出控制装置可以与从UI控制装置100去除了输出控制部158后的装置协作,执行图2所示的控制方法。
此外,在UI控制装置100中,作为用户进行了停止指示的要因的候选,判断驾驶负荷的增大、用户与同乘者之间的会话、同乘者的睡眠、和所提供的信息的内容,但是,上述要因的候选不限于此。例如,作为要因的候选,也可以判断这些要因候选中的至少一个。此外,作为要因候选,也可以还判断其他事项。
例如,作为要因候选,还可以判断有无与车外的人之间的越过车窗的会话、或者驾驶员的更换、驾驶员的临时下车等能够成为声音输出的停止指示的要因的任意的事项。另外,在上述的要因候选的例中,与各个要因相应地,会话的结束、更换的完成、和驾驶员的再乘车可以分别成为声音输出的重新开始条件。
此外,在上述的实施方式中,作为从声音输出的停止指示起到该停止指示的要因消失为止的时间(以下,要因消失时间)短的情况的例子,示出驾驶负荷的增大(驾驶场景的展开),在要因消失时间短的情况下,示出了使用通知音作为与对用户的声音输出的重新开始有关的通知。但是,要因消失时间短的情况不限于上述的驾驶负荷的增大的情况。例如,在上述的驾驶员的更换或驾驶员的临时下车时,在要因消失时间短的情况下也能够使用通知音作为与对用户的声音输出的重新开始有关的通知。
此外,在上述的实施方式中,将作为声音输出控制装置的UI控制装置100设为是车载装置,但是,声音输出控制装置的实现方式不限于车载装置。声音输出控制装置也能够设为是对声音输出进行控制的任意的装置。这样的装置例如可以是智能手机等的便携终端。该情况下,便携终端中作为声音输出控制装置而发挥功能的部分可以被实现为该便携终端中的软件功能部。这样的声音输出控制装置的部分具有与图1所示的UI控制装置100的输出控制部158同样的结构,能够执行与图2至图5同样的控制方法。
由此,上述软件功能部能够根据来自用户的停止指示,使作为其他软件功能部的例如对AV输出进行控制的功能部所生成的声音输出停止,估计该停止指示的要因,决定与该估计出的要因相应的重新开始条件,进行与该估计出的要因相应的通知。在该情况下,作为便携终端的软件功能部的输出控制部中可以不包含与进行驾驶场景所涉及的动作的场景判断部172和负荷判断部186相当的部分。
如以上说明的那样,作为上述的声音输出控制装置的UI控制装置100为了对声音输出进行控制,执行图2至图5所示的控制方法。该控制方法具有如下的步骤(S108):在向用户进行的声音输出中,停止指示部170响应于从用户接收到声音输出的停止指示的情况而使声音输出停止。此外,该控制方法具有:要因估计部174响应于接收到上述停止指示的情况而估计用户进行了所述停止指示的要因的步骤(S110);以及条件决定部176根据上述估计出的要因来决定上述停止的声音输出的重新开始条件的步骤(S112)。
根据该结构,能够在与该停止的要因相应的适当的条件下重新开始用户停止的声音输出。
此外,在上述进行估计的步骤(S110)中,判断上述停止指示的要因是否是上述声音输出所提供的信息的内容(S212)。然后,在上述进行决定的步骤(S112)中,当上述要因是上述内容时,将上述提供的内容的变更决定为重新开始条件(S314)。
根据该结构,当上述停止指示的要因是声音输出所提供的信息的内容时,作为重新开始条件而例如根据用户的嗜好而建议输出一致的内容,能够在适当的条件下重新开始声音输出。
此外,在上述进行决定的步骤(S112)中,当上述进行估计的步骤(S110)中未确定上述要因时,将规定时间的经过决定为重新开始条件(S316)。
一般而言,认为停止声音输出的大多数要因并不是例如在时间单位长的期间内持续的要因。根据上述结构,在上述停止指示的要因不明确的情况下,也能够在与上述那样的一般的停止要因的特性一致的适当的条件下重新开始声音输出。
此外,在UI控制装置100中,用户包括车辆的驾驶员。而且,在上述进行估计的步骤(S110)中,判断上述停止指示的要因是否是驾驶员驾驶车辆102的驾驶负荷的增大(S200)。然后,在上述进行决定的步骤(S112)中,当上述驾驶负荷的增大是上述停止指示的要因时,将成为上述驾驶负荷的增大的原因的驾驶场景的结束决定为重新开始条件(S302)。
根据该结构,在车辆102中,能够判断上述停止指示的要因是否是由于驾驶场景的展开而引起的驾驶负荷的增大,在与该要因相应的适当的条件下重新开始声音输出。
此外,在上述进行估计的步骤(S110)中,判断上述停止指示的要因是否是用户与车辆102的同乘者之间的会话(S204)。然后,在上述进行决定的步骤(S112)中,当上述会话是上述要因时,将上述会话的结束决定为重新开始条件(S306)。
根据该结构,在车辆102中,能够判断上述停止指示的要因是否是驾驶员与同乘者之间的会话或同乘者之间的会话,在与该要因相应的适当的条件下重新开始声音输出。
此外,在上述进行估计的步骤(S110)中,判断上述停止指示的要因是否是车辆102的同乘者的睡眠(S208)。然后,在上述进行决定的步骤(S112)中,当上述要因是上述睡眠时,将上述声音输出的音量的降低决定为重新开始条件(S310)。
根据该结构,能够判断上述停止指示的要因是否是同乘者的睡眠,在与该要因相应的适当的条件下重新开始声音输出。
此外,在上述进行估计的步骤(S110)中,当接收到上述停止指示时,相对于针对其他要因的判断(S204,S208,S212),优先进行上述停止指示的要因是否是驾驶员的驾驶负荷的增大的判断(S200)。
根据该结构,作为上述停止指示的要因,最优先地判断在车辆中可能性最高且变化快的、作为外部的要因的驾驶场景的展开所引起的驾驶负荷的增大,因此,根据上述结构,能够快速捕捉上述停止指示的要因,在适当的条件下顺畅地进行声音输出的重新开始。
此外,作为上述的声音输出控制装置的UI控制装置100对声音输出进行控制。UI控制装置100具有停止指示部170,在向用户进行的声音输出中,该停止指示部170响应于从用户接收到声音输出的停止指示的情况而使该声音输出停止。此外,UI控制装置100具有:要因估计部174,其响应于接收到上述停止指示的情况而估计上述用户进行了上述停止指示的要因;以及条件决定部176,其根据估计出的上述要因,决定停止的上述声音输出的重新开始条件。
根据该结构,能够将用户停止的声音输出在与该停止的要因相应的适当的条件下重新开始。
Claims (8)
1.一种声音输出的控制方法,该声音输出的控制方法具有以下步骤:
在向用户进行的声音输出中,停止指示部响应于从所述用户接收到声音输出的停止指示的情况而使所述声音输出停止;
要因估计部响应于接收到所述停止指示的情况而估计所述用户进行了所述停止指示的要因;以及
条件决定部根据所估计出的所述要因,决定停止的所述声音输出的重新开始条件。
2.根据权利要求1所述的声音输出的控制方法,其中,
在进行所述估计的步骤中,判断所述停止指示的要因是否是所述声音输出所提供的信息的内容,
在进行所述决定的步骤中,当所述要因是所述内容时,将提供的所述内容的变更决定为所述重新开始条件。
3.根据权利要求1或2所述的声音输出的控制方法,其中,
在进行所述决定的步骤中,当在进行所述估计的步骤中未确定所述要因时,将规定时间的经过决定为所述重新开始条件。
4.根据权利要求1至3中的任意一项所述的声音输出的控制方法,其中,
所述用户是车辆的驾驶员,
在进行所述估计的步骤中,判断所述停止指示的要因是否是所述驾驶员驾驶所述车辆的驾驶负荷的增大,
在进行所述决定的步骤中,当所述驾驶负荷的增大是所述要因时,将成为所述驾驶负荷的所述增大的原因的驾驶场景的结束决定为所述重新开始条件。
5.根据权利要求4所述的声音输出的控制方法,其中,
在进行所述估计的步骤中,判断所述停止指示的要因是否是用户与所述车辆的同乘者之间的会话,
在进行所述决定的步骤中,当所述会话是所述要因时,将所述会话的结束决定为所述重新开始条件。
6.根据权利要求4或5所述的声音输出的控制方法,其中,
在进行所述估计的步骤中,判断所述停止指示的要因是否是所述车辆的同乘者的睡眠,
在进行所述决定的步骤中,当所述要因是所述睡眠时,将所述声音输出的音量的降低决定为所述重新开始条件。
7.根据权利要求4至6中的任意一项所述的声音输出的控制方法,其中,
在进行所述估计的步骤中,当接收到所述停止指示时,相对于针对其他要因的判断,优先进行所述停止指示的要因是否是所述驾驶员的所述驾驶负荷的增大的判断。
8.一种声音输出控制装置,其对声音输出进行控制,所述声音输出控制装置具有:
停止指示部,在向用户进行的声音输出中,该停止指示部响应于从所述用户接收到声音输出的停止指示的情况而使所述声音输出停止;
要因估计部,其响应于接收到所述停止指示的情况而估计所述用户进行了所述停止指示的要因;以及
条件决定部,其根据所估计出的所述要因,决定所停止的所述声音输出的重新开始条件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020055564A JP7407047B2 (ja) | 2020-03-26 | 2020-03-26 | 音声出力の制御方法および音声出力制御装置 |
JP2020-055564 | 2020-03-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113450788A true CN113450788A (zh) | 2021-09-28 |
Family
ID=77809030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110285056.6A Pending CN113450788A (zh) | 2020-03-26 | 2021-03-17 | 声音输出的控制方法和声音输出控制装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7407047B2 (zh) |
CN (1) | CN113450788A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024057420A1 (ja) * | 2022-09-13 | 2024-03-21 | パイオニア株式会社 | 情報処理装置、情報処理方法、および、情報処理プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002156241A (ja) * | 2000-11-16 | 2002-05-31 | Matsushita Electric Ind Co Ltd | ナビゲーション装置およびプログラムを記録した記録媒体 |
JP2011227236A (ja) * | 2010-04-19 | 2011-11-10 | Honda Motor Co Ltd | 音声対話装置 |
CN102473415A (zh) * | 2010-06-18 | 2012-05-23 | 松下电器产业株式会社 | 声音控制装置、声音控制程序及声音控制方法 |
JP2016050964A (ja) * | 2014-08-28 | 2016-04-11 | 株式会社デンソー | 読上げ制御装置および通話制御装置 |
WO2019026360A1 (ja) * | 2017-07-31 | 2019-02-07 | ソニー株式会社 | 情報処理装置および情報処理方法 |
-
2020
- 2020-03-26 JP JP2020055564A patent/JP7407047B2/ja active Active
-
2021
- 2021-03-17 CN CN202110285056.6A patent/CN113450788A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002156241A (ja) * | 2000-11-16 | 2002-05-31 | Matsushita Electric Ind Co Ltd | ナビゲーション装置およびプログラムを記録した記録媒体 |
JP2011227236A (ja) * | 2010-04-19 | 2011-11-10 | Honda Motor Co Ltd | 音声対話装置 |
CN102473415A (zh) * | 2010-06-18 | 2012-05-23 | 松下电器产业株式会社 | 声音控制装置、声音控制程序及声音控制方法 |
JP2016050964A (ja) * | 2014-08-28 | 2016-04-11 | 株式会社デンソー | 読上げ制御装置および通話制御装置 |
WO2019026360A1 (ja) * | 2017-07-31 | 2019-02-07 | ソニー株式会社 | 情報処理装置および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021156994A (ja) | 2021-10-07 |
JP7407047B2 (ja) | 2023-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106803423B (zh) | 基于用户情绪状态的人机交互语音控制方法、装置及车辆 | |
US20130325478A1 (en) | Dialogue apparatus, dialogue system, and dialogue control method | |
WO2017057173A1 (ja) | 対話装置及び対話方法 | |
JP6713490B2 (ja) | 情報提供装置及び情報提供方法 | |
JP2007086880A (ja) | 車両用情報提供装置 | |
CN110875940B (zh) | 基于虚拟机器人的应用程序调用方法、装置和设备 | |
CN111402925A (zh) | 语音调节的方法、装置、电子设备、车载系统和可读介质 | |
US11511755B2 (en) | Arousal support system and arousal support method | |
JP2003337039A (ja) | 対話型情報提供装置、対話型情報提供プログラム、及びそれを記憶した記憶媒体 | |
CN111681651B (zh) | 智能体装置、智能体系统、服务器装置、智能体装置的控制方法及存储介质 | |
US20130226990A1 (en) | Information processing system and information processing device | |
CN113879235A (zh) | 汽车多屏控制的方法、系统、设备及存储介质 | |
CN116153311A (zh) | 一种音频处理方法、装置、车辆及计算机可读存储介质 | |
JP7239366B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN113450788A (zh) | 声音输出的控制方法和声音输出控制装置 | |
JP7235554B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN109785861B (zh) | 基于行车数据的多媒体播放控制方法、存储介质及终端 | |
KR20220014943A (ko) | 주행 환경 연동 운전자 감정 판단 방법 및 시스템 | |
CN113516978A (zh) | 声音输出的控制方法和声音输出控制装置 | |
JP7294775B2 (ja) | 情報処理装置、プログラム、及び制御方法 | |
JP7039872B2 (ja) | 車両の走行記録装置及び閲覧装置 | |
JP3505982B2 (ja) | 音声対話装置 | |
US20220208187A1 (en) | Information processing device, information processing method, and storage medium | |
US20220207081A1 (en) | In-vehicle music system and method | |
US20200301654A1 (en) | On-vehicle device, method of controlling on-vehicle device, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |