CN117546137A - 语音引导装置、语音引导方法以及程序 - Google Patents
语音引导装置、语音引导方法以及程序 Download PDFInfo
- Publication number
- CN117546137A CN117546137A CN202280043796.1A CN202280043796A CN117546137A CN 117546137 A CN117546137 A CN 117546137A CN 202280043796 A CN202280043796 A CN 202280043796A CN 117546137 A CN117546137 A CN 117546137A
- Authority
- CN
- China
- Prior art keywords
- message
- image
- mobile device
- user
- voice guidance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 52
- 230000006870 function Effects 0.000 claims description 231
- 230000005540 biological transmission Effects 0.000 description 85
- 230000008569 process Effects 0.000 description 30
- 238000004891 communication Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 21
- 230000007704 transition Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Navigation (AREA)
Abstract
语音引导装置具有:消息决定部,其决定向用户提供的消息;声音选择部,其从多个声音中选择与消息相关的声音;以及提供部,其在消息的提供之前,向用户提供与消息相关的声音。与消息相关的声音的播放时间比消息的播放时间短。
Description
技术领域
本发明涉及语音引导装置、语音引导方法以及程序。
背景技术
提出了向用户提供语音信息的各种各样的装置。专利文献1提出了如下信息提供装置,其将主音频与副音频叠加输出,主音频通过将向用户提供的信息用声音语言来表现,副音频使用户联想向用户提供的信息。
现有技术文献
专利文献
专利文献1:日本特开2019-109780号公报
发明内容
发明所要解决的问题
在专利文献1的信息提供装置中,由于主音频与副音频被同时输出,因此用户不一定容易把握主音频的内容。本发明的一个方面提供能够使用户短时间把握消息的技术。
用于解决问题的手段
鉴于上述问题,本发明提供一种语音引导装置,其中,具有:消息决定单元,其决定向用户提供的消息;声音选择单元,其从多个声音中选择与所述消息相关的声音;以及提供单元,其在所述消息的提供之前,向所述用户提供与所述消息相关的声音,与所述消息相关的声音的播放时间比所述消息的播放时间短。
发明效果
通过上述手段,用户能够短时间把握消息。
本发明的其他特征以及优点,通过以附图为参照的以下说明而得以明确。此外,在附图中,对于相同或同样的结构,标注相同的附图标记。
附图说明
附图包含于说明书中且构成其一部分,表示本发明的实施方式并与其记述一起用于说明本发明的原理。
图1是对一部分实施方式的车辆的前侧的外观进行说明的图。
图2是对一部分实施方式的车辆的左侧开关组的外观进行说明的图。
图3是一部分实施方式的协作系统的功能框图。
图4是对一部分实施方式的车辆中的显示进行说明的图。
图5是对一部分实施方式的协作功能的菜单显示画面进行说明的图。
图6是对一部分实施方式的通信功能的显示画面进行说明的图。
图7是对一部分实施方式的路线引导功能的显示画面进行说明的图。
图8是对一部分实施方式的音乐播放功能的显示画面进行说明的图。
图9是对一部分实施方式的消息收发功能的显示画面进行说明的图。
图10是对一部分实施方式的车辆中的显示进行说明的图。
图11是对一部分实施方式的移动装置的动作进行说明的图。
图12是对一部分实施方式的先行声音的提供方式进行说明的图。
图13是对一部分实施方式的先行声音的提供动作进行说明的图。
图14A是对一部分实施方式的消息的类型进行说明的图。
图14B是对一部分实施方式的消息的类型进行说明的图。
图14C是对一部分实施方式的消息的类型进行说明的图。
图15是对一部分实施方式的每个熟练度的动作进行说明的图。
图16A是对一部分实施方式的熟练度的提高条件进行说明的图。
图16B是对一部分实施方式的熟练度的提高条件进行说明的图。
图16C是对一部分实施方式的熟练度的提高条件进行说明的图。
图17是对一部分实施方式的熟练度的提高方法进行说明的图。
具体实施方式
以下,参照附图对实施方式进行详细说明。需要说明的是,以下的实施方式并非对技术方案所涉及的发明进行限定,另外,在实施方式中说明的特征的组合未必全部都是发明所必须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外,对相同或者同样的构成标注相同的附图标记,并省略重复的说明。
参照图1,对一部分实施方式所涉及的车辆100的外观进行说明。车辆100是跨骑型的两轮机动车。除此之外,本发明也能够应用于其他两轮车或其他车辆,例如四轮车、三轮车。图1是车辆100的前方的后视图。
车辆100在车宽方向中央具有显示装置101。显示装置101显示面向车辆100的驾驶员(以下,仅表示为驾驶员)的信息。显示装置101既可以是液晶显示器、有机EL(electro-luminescence:电致发光)显示器那样的点阵型的显示装置,也可以是通过事先规定的标记的熄灭或者点亮(或者闪烁)来进行通知的指示器的集合。
车辆100在左侧的车把把手的车宽方向内侧具有左侧车把开关102。参照图2,对左侧车把开关102的外观进行说明。左侧车把开关102包含多个开关。这些多个开关中的至少一部分能够在驾驶员用左手握持左侧的车把的状态下通过左手拇指进行操作。以下,对在车辆100与移动装置的协作功能(后述)中使用的开关进行说明。关于左侧车把开关102中的其他开关(即,在协作功能以外的车辆100的功能中使用的开关),可以具有与以往相同的结构,因此省略其说明。
左侧车把开关102包含上开关200U、下开关200D以及左右开关200H。左右开关200H配置于左侧车把开关102的大致中央。左右开关200H是能够分别向左右方向倾斜的倾动式的开关。驾驶员能够通过使左右开关200H向左侧倾斜来输入左方向指示,能够通过使左右开关200H向右侧倾斜来输入右方向指示。上开关200U配置于左右开关200H的上侧。上开关200U是按压式的开关。驾驶员通过按下上开关200U,能够输入上方向指示。下开关200D配置于左右开关200H的下侧。下开关200D是按压式的开关。驾驶员通过按下下开关200D,能够输入下方向指示。将上开关200U、下开关200D、左右开关200H统称为方向开关200。方向开关200不限于图2的结构,可以具有能够输入四个方向的指示的任意的结构。
参照图3,对提供本发明的一部分实施方式所涉及的协作功能的协作系统的功能结构进行说明。该协作系统具有上述的车辆100、移动装置310和头戴式耳机320。
车辆100具有控制部301、显示部304、方向输入部305以及通信部306。控制部301进行车辆100整体的控制。控制部301例如由处理器302以及存储器303构成。在该情况下,控制部301所进行的动作通过由处理器302执行存储于存储器303中的程序来实现。控制部301的动作的一部分或者全部也可以通过ASIC(特定用途集成电路)、FPGA(现场可编程逻辑门阵列)那样的专用电路来实现。
显示部304显示面向驾驶员的信息。显示部304例如由显示装置101来实现。方向输入部305获取来自驾驶员的四个方向的指示。方向输入部305例如由上开关200U、下开关200D以及左右开关200H来实现。通信部306提供用于车辆100与外部进行通信的功能。通信部306也可以支持蓝牙(注册商标)那样的短距离无线通信。进一步地,通信部306也可以支持蜂窝通信、路车间通信等。
方向输入部305也可以使用方向开关200,针对各方向接受两个阶段的输入。例如,方向输入部305可以接受短按输入(例如,持续时间小于1秒的输入)和长按输入(例如,持续时间为1秒以上的输入)。取而代之地,方向输入部305也可以接受单击输入(例如,到后续的输入为止具有1秒以上的间隔的输入)和双击输入(例如,小于1秒的间隔的连续的两次输入)。
移动装置310具有控制部311、显示部314、输入部315以及通信部316。移动装置310例如可以是智能手机那样的移动电话装置。移动装置310的用户可以与驾驶员相同。以下,对驾驶员使用移动装置310的情况进行说明。移动装置310可以由驾驶员保持,也可以收容于车辆100。控制部311进行移动装置310整体的控制。控制部311例如由处理器312以及存储器313构成。在该情况下,控制部311所进行的动作通过由处理器312执行存储于存储器313中的程序来实现。程序可以包含操作系统以及应用程序。控制部311的动作的一部分或者全部也可以通过ASIC、FPGA那样的专用电路来实现。
显示部314显示面向驾驶员的信息。显示部314例如由液晶显示器、有机EL显示器那样的显示装置来实现。输入部315获取来自驾驶员的输入。输入部315例如由触摸面板、按钮那样的输入装置来实现。通信部316提供用于移动装置310与外部进行通信的功能。通信部316也可以支持蓝牙那样的短距离无线通信。进一步地,通信部306也可以支持蜂窝通信、WiFi(注册商标)通信等。
头戴式耳机320包含麦克风321、扬声器322以及通信部323。头戴式耳机320佩戴于驾驶员的头部。麦克风321获取来自驾驶员的语音输入。扬声器322进行面向驾驶员的语音输出。通信部323也可以支持蓝牙那样的短距离无线通信。
在本发明的一部分实施方式中,车辆100与移动装置310相互协作。具体而言,在车辆100与移动装置310之间,例如建立基于短距离无线通信的通信链路。车辆100和移动装置310经由该通信链路交换数据。另外,在移动装置310与头戴式耳机320之间,例如建立基于短距离无线通信的通信链路。移动装置310和头戴式耳机320通过通信链路交换数据。
移动装置310所提供的多个功能的至少一部分能够与车辆100协作。以下,将移动装置310所提供的功能中的能够与车辆100协作的功能称为协作功能。驾驶员通过车辆100的方向输入部305进行针对移动装置310的方向输入。该方向输入从车辆100发送至移动装置310。移动装置310根据来自驾驶员的方向输入而进行协作功能的动作,并且生成表示动作状况的图像。移动装置310将所生成的图像发送至车辆100。车辆100将接收到的图像显示于显示部304。
另外,移动装置310将针对驾驶员的语音输出发送至头戴式耳机320。头戴式耳机320将接收到的语音输出从扬声器322输出。针对驾驶员的语音输出可以包括基于语音的引导。这样,移动装置310由于具有语音引导功能,因此移动装置310也可以被称为语音引导装置。头戴式耳机320向移动装置310发送由麦克风321获取到的来自驾驶员的语音输入。移动装置310进行与来自驾驶员的语音输入相应的协作功能的动作。
对显示装置101为点阵型的情况下的实施方式进行说明。图4对车辆100与移动装置310的协作动作中的显示部304的显示例进行说明。画面400是显示于显示装置101的画面的一个例子。在画面400的中央显示行驶速度,在其下方显示燃料余量。在画面400的左侧显示转速表。
位于画面400的右侧的区域401是用于显示在车辆100与移动装置310协作中从移动装置310提供的图像的区域。以下,将这样的图像称为协作图像。在未从移动装置310提供协作图像的期间(即,车辆100未与移动装置310协作的期间),车辆100也可在区域401中显示其他图像,例如与协作功能无关的图像。例如,车辆100也可以在区域401显示驾驶模式参数(例如,ABS(防抱死制动系统)的工作状况那样的对车辆100设定的信息)、等级调整等选项图像。在区域401中,也可显示与协作功能无关的图像(例如,与车辆100的行驶相关的图像)中的重要度较低的图像。通过由与协作功能无关的重要度较低的图像和协作图像共用区域401,能够有效利用画面400的空间。
位于画面400的下侧的区域402是用于显示在车辆100未与移动装置310协作的状态下从移动装置310提供的图像的区域。以下,将这样的图像称为中断图像。在未从移动装置310提供中断图像的期间,车辆100也可在区域402显示其他图像,例如与协作功能无关的图像。
参照图5至图9,对协作功能的具体的动作例进行说明。移动装置310提供多个协作功能。多个协作功能可以包含天候信息提供功能、通话功能、消息收发功能、音乐播放功能、路线引导功能中的两个以上的功能。以下,对移动装置310提供该五个协作功能中的全部功能的情况进行说明。天候信息提供功能是指提供特定场所的天候的信息的功能。天候可以包含天气和气温中的至少一个。通话功能是指与他人进行通话的功能。消息收发功能是指与他人交换文本消息的功能。音乐播放功能是指播放音乐的功能。路线引导功能是指,对朝向所指定的目的地的路线进行引导的功能。
移动装置310从车辆100分别针对四个方向(上下左右)接收两种输入。在以下的例子中,对两种输入是短按以及长按的情况进行处理。在图5至图9中,用涂黑的三角形表示短按,用带有“^”的涂黑的三角形表示长按。在图5至图9中,除图像500以外的全部图像为协作图像,即在执行协作功能的过程中移动装置310发送至车辆100并显示于车辆100的显示装置101的图像。因此,在以下的图5至图9的说明中,记载到协作图像的发送为止,省略关于之后的协作图像的显示的记载。
在车辆100与移动装置310未协作的期间(即,移动装置310未执行任一协作功能的期间),在画面400的区域401中显示有协作功能以外的图像500。移动装置310在未与车辆100协作的状态下,在经由车辆100的方向输入部305从驾驶员获取到左长按输入的情况下,开始与车辆100的协作。方向输入在以下的说明中也同样地经由车辆100的方向输入部305从驾驶员获取,因此以下仅示出输入方向(上下左右)以及输入方式(短按/长按)。
多个协作功能分别具有首页图像。首页图像是指,在刚选择一个协作功能之后,移动装置310针对该协作功能向车辆100发送的图像。图像501是天候信息提供功能的首页图像。在图像501中,显示对车辆100的当前所在地的天候进行表示的图像以及当前所在地的气温。在对车辆100设定了目的地的情况下,也可以在图像501中显示对目的地的天候进行表示的图像以及目的地的气温。图像502是通话功能的首页图像。图像502包含表示通话功能的图像。图像503是路线引导功能的首页图像。图像503包含表示路线引导功能的图像。图像504是音乐播放功能的首页图像。图像504包含表示音乐播放功能的图像。图像505是消息收发功能的首页图像。图像505包含表示消息收发功能的图像。
当开始协作时,移动装置310选择多个协作功能中的任一个,并发送所选择的协作功能的首页图像。此处所选择的协作功能也可以是作为初始功能而事先设定的协作功能。将这样的协作功能称为初始协作功能。在以下的说明中,设为作为初始协作功能而设定有通话功能。因此,移动装置310在刚开始协作之后发送图像502。驾驶员也能够将其他协作功能设定为初始协作功能。移动装置310也可以通过语音通知开始了协作。
移动装置310在显示有初始协作功能的首页图像(在该例子中为图像502)的状态下获取到右长按输入的情况下,结束与车辆100的协作。在该情况下,移动装置310将结束协作的通知发送至车辆100,车辆100基于该通知而结束协作动作,在区域401中显示协作功能以外的图像500。移动装置310也可以通过语音通知协作已结束。
如上所述,协作图像被显示在画面400的右侧的区域401中。因此,当在协作开始时在区域401中显示协作图像时,驾驶员感觉到协作图像从画面400的外侧越过画面400的右端而进入区域401。用于开始协作动作的输入方向(左方向)与该协作图像的假想的移动方向一致,因此驾驶员能够直观地开始协作功能。为了使该效果更加显著,车辆100也可以以协作图像从右侧进入区域401那样的动画来进行显示。另外,当在协作结束时区域401的协作图像被消除时,驾驶员感觉到协作图像越过画面400的右端而向画面400的外侧离开。用于结束协作动作的输入方向(右方向)与该协作图像的假想的移动方向一致,因此驾驶员能够直观地结束协作功能。为了使该效果更加显著,车辆100也可以以协作图像从区域401向右侧离开那样的动画来进行显示。进一步地,车辆100在其他的协作图像的显示中,也可以将输入方向与图像的移动方向建立对应。即,车辆100也可以通过向该指示的方向移动的动画来显示作为向移动装置310发送上方向、下方向、左方向以及下方向的指示的响应而接收到的图像。
接着,对多个协作功能的切换进行说明。移动装置310在显示有多个协作功能中的任一个协作功能的首页图像(图像501~图像505中的任一个)的状态下获取到上短按输入或下短按输入的情况下,将当前选择的协作功能切换为其他协作功能,并发送切换后的协作功能的首页图像。例如,移动装置310在显示有当前选择的协作功能的首页图像的状态下获取到下短按输入的情况下,按照天候信息提供功能、通话功能、路线引导功能、音乐播放功能以及消息收发功能的顺序来切换当前选择的协作功能,并发送与切换后的协作功能相应的首页图像(图像501~图像505中的任一个)。另外,移动装置310根据在显示有当前选择的协作功能的首页图像的状态下获取到上短按输入这一情况,而以相反顺序切换当前选择的协作功能,并发送与切换后的协作功能相应的首页图像(图像501~图像505中的任一个)。虽未图示,但也可以能够进行从天候信息提供功能向消息收发功能的直接切换及其相反的切换。移动装置310也可以在协作功能的切换的同时,通过语音来通知切换后的协作功能。
即使正在显示图5至图9所示的任一个协作图像,移动装置310在获取到左长按输入的情况下,都转移到初始协作功能的首页图像(在该例子中为图像502)的发送。即使正在显示图5至图9所示的任一个协作图像,移动装置310在获取到下长按输入的情况下,都将向驾驶员输出的语音的音量设为零(即,消音)。另一方面,移动装置310在消音状态下获取到下长按输入的情况下,解除消音状态,返回到消音前的音量。即使正在显示图5至图9所示的任一个协作图像,移动装置310也可以在获取到右长按输入的情况下,结束协作动作。取而代之地,移动装置310既可以仅在显示有初始协作功能的首页图像(在本例中为图像502)的状态下,接受协作动作的结束指示,也可以仅在显示有任一个协作功能的首页图像的状态下,接受协作动作的结束指示。
参照图6,对通话功能的具体的动作例进行说明。移动装置310在显示有图像502的状态下获取到右短按输入的情况下,转移到图像602的发送。图像602是用于向驾驶员请求指定通话对象的图像。移动装置310也可以在发送图像602的同时,通过语音向驾驶员请求指定通话对象。移动装置310在显示有图像602的状态下获取到下短按输入、右短按输入以及左短按输入的情况下,分别转移到图像603的发送、图像604的发送以及图像502的发送。
图像603是包含事先设定的通话对象的名字的图像。移动装置310在转移到图像603的发送时,从存储器313读出作为通话对象而事先设定的名字,并包含在图像603中。移动装置310也可以在发送图像603的同时,将所读出的通话对象的名字通过语音通知给驾驶员。移动装置310在显示有图像603的状态下获取到上短按输入、右短按输入以及左短按输入的情况下,分别转移到图像602的发送、图像606的发送以及图像502的发送。
图像604是表示处于语音搜索的等待状态的图像。图像604也可以包含对用于结束语音搜索的输入方向进行表示的图像。移动装置310也可以在发送图像603的同时,通过语音向驾驶员通知正在等待进行语音搜索。移动装置310在图像604的发送后,等待经由头戴式耳机320的语音输入。移动装置310在获取到语音输入后,基于该语音输入,从存储器313内的联络对象列表中搜索通话对象。移动装置310在能够确定通话对象的情况下转移到图像605的发送,在未能确定通话对象的情况下不发送新的图像(即,车辆100继续图像604的显示)。移动装置310也可以在未能确定通话对象的情况下,通过语音将该意思通知给驾驶员。移动装置310在显示有图像604的状态下获取到左短按输入的情况下,转移到图像602的发送。
图像605是包含通过语音搜索而确定的通话对象的名字的图像。移动装置310也可以在发送图像605的同时,将所确定的通话对象的名字通过语音通知给驾驶员。移动装置310在显示有图像605的状态下获取到右短按输入以及左短按输入的情况下,分别转移到图像606的发送以及图像602的发送。
图像606是对通话功能的执行状况进行表示的图像。图像606可以包含通话对象以及通话状况(呼叫中或者通话中(在该情况下为通话时间))。图像606也可以包含对用于结束通话的输入方向进行表示的图像。移动装置310在发送图像606的同时,开始向通话对象的去电,并根据通话状况对图像606进行更新。通话的语音经由头戴式耳机320在移动装置310与驾驶员之间输入输出。移动装置310在显示有图像606的状态下获取到左短按输入的情况下,结束通话,并转移到图像502的发送。移动装置310在显示有图像606的状态下获取到上短按输入或下短按输入的情况下,增大或减小从头戴式耳机320输出的音量。移动装置310在显示有图像606的状态下获取到左长按输入的情况下,在继续通话的状态下转移到图像601的发送。
图像601是正在执行通话功能的通话功能的首页图像。另一方面,图像502是正在执行通话功能以外的情况下的通话功能的首页图像。正在执行通话功能可以是通话对象呼叫中或者与通话对象通话中。图像601可以包含通话对象以及通话状况(呼叫中、通话中(在该情况下为通话时间))。由于图像601是首页图像,因此移动装置310在显示有图像601的状态下获取到上短按输入或下短按输入的情况下,将通话功能切换为其他协作功能。移动装置310也可以在正在执行通话功能的期间内通话功能被切换为其他协作功能的情况下,维持通话状态。移动装置310在显示有图像601的状态下获取到右短按输入的情况下,在继续通话的状态下转移到图像606的发送。移动装置310在显示有图像601的状态下结束通话(通话对象结束通话)的情况下,转移到图像502的发送。移动装置310也可以在显示有图像601的状态下不接受来自驾驶员的通话的结束指示。
参照图7,对路线引导功能的具体的动作例进行说明。移动装置310在显示有图像503的状态下获取到右短按输入的情况下,转移到图像702的发送。图像702是用于向驾驶员请求指定目的地的图像。移动装置310也可以在发送图像702的同时,通过语音向驾驶员请求指定目的地。移动装置310在显示有图像702的状态下获取到下短按输入、右短按输入以及左短按输入的情况下,分别转移到图像703的发送、图像704的发送以及图像503的发送。
图像703是包含事先设定的目的地的图像。移动装置310在转移到图像703的发送时,从存储器313读出作为目的地而事先设定的场所,并包含在图像703中。移动装置310也可以在发送图像703的同时,将所读出的目的地通过语音通知给驾驶员。移动装置310在显示有图像703的状态下获取到上短按输入、右短按输入以及左短按输入的情况下,分别转移到图像702的发送、图像706的发送以及图像503的发送。
图像704是表示处于语音搜索的等待状态的图像。图像704也可以包含对用于结束语音搜索的输入方向进行表示的图像。移动装置310也可以在发送图像703的同时,通过语音向驾驶员通知正在等待进行语音搜索。移动装置310在图像704的发送后,等待经由头戴式耳机320的语音输入。移动装置310在获取到语音输入后,基于该语音输入,例如从地图信息中确定目的地。移动装置310在能够确定目的地的情况下转移到图像705的发送,在未能确定目的地的情况下不发送新的图像(即,车辆100继续图像704的显示)。移动装置310也可以在未能确定目的地的情况下,通过语音将该意思通知给驾驶员。移动装置310在显示有图像704的状态下获取到左短按输入的情况下,转移到图像702的发送。
图像705是包含通过语音搜索而确定的目的地的图像。移动装置310也可以在发送图像705的同时,将所确定的目的地通过语音通知给驾驶员。移动装置310在显示有图像705的状态下获取到右短按输入以及左短按输入的情况下,分别转移到图像706的发送以及图像702的发送。
图像706是表示路线引导功能的执行状况的图像。图像706也可以包含到应转弯的场所为止的距离以及转弯方向。图像706也可以包含对用于结束路线引导的输入方向进行表示的图像。移动装置310在发送图像706的同时,开始路线引导,并根据引导状况对图像706进行更新。路线引导的语音经由头戴式耳机320从移动装置310向驾驶员输出。移动装置310在显示有图像706的状态下获取到左短按输入的情况下,转移到图像707的发送。移动装置310在显示有图像706的状态下获取到上短按输入或下短按输入的情况下,增大或减小从头戴式耳机320输出的音量。
图像707是用于确认是否结束路线引导的图像。图像707可以包含请求确认的图像和对用于响应该确认的输入方向进行表示的图像。移动装置310在显示有图像707的状态下获取到右短按输入的情况下,结束路线引导,转移到图像503的发送。移动装置310在显示有图像707的状态下获取到右长按输入的情况下,在继续路线引导的状态下转移到图像706的发送。
图像701是正在执行路线引导功能的路线引导功能的首页图像。另一方面,图像503是正在执行路线引导功能以外的情况下的路线引导功能的首页图像。正在执行路线引导功能可以是向驾驶员引导路线的过程中。图像701也可以包含到应转弯的场所为止的距离以及转弯方向。如上所述,移动装置310在选择了路线引导功能(即,显示有图像503以及图像701~图像707中的任一个)的状态下获取到左长按输入的情况下,转移到初始协作功能的首页图像的发送。移动装置310在之后再次选择了路线引导功能的情况下,如果在上次的选择时处于正在执行路线引导的状态,则作为路线引导功能的首页图像而发送图像701。
由于图像701是首页图像,因此移动装置310在显示有图像701的状态下获取到上短按输入或下短按输入的情况下,将路线引导功能切换为其他协作功能。移动装置310在显示有图像701的状态下获取到右短按输入的情况下,在继续路线引导的状态下转移到图像706的发送。移动装置310在显示有图像701的状态下路线引导结束(到达目的地)的情况下,转移到图像503的发送。移动装置310也可以在显示有图像701的状态下不接受路线引导的结束指示。
参照图8,对音乐播放功能的具体的动作例进行说明。移动装置310在显示有图像504的状态下获取到右短按输入的情况下,转移到图像802的发送。图像802是用于搜索所播放的音乐的图像。移动装置310在发送图像802的同时,选择存储器313内的播放列表中的一曲,并包含在图像802中。移动装置310也可以在发送图像802的同时,将所选择的乐曲的名字通过语音通知给驾驶员。移动装置310在显示有图像802的状态下获取到右短按输入以及左短按输入的情况下,分别转移到图像803的发送以及图像504的发送。移动装置310在显示有图像802的状态下获取到上短按输入的情况下,选择播放列表内的上一曲,并与此相伴地对图像802进行更新。移动装置310在显示有图像802的状态下获取到下短按输入的情况下,选择播放列表内的下一曲,并与此相伴地对图像802进行更新。
图像803是对音乐播放功能的执行状况进行表示的图像。图像803也可以包含播放中的乐曲的名字以及播放状况(播放时间)。图像803也可以包含对用于结束播放的输入方向以及用于跳过正在播放的乐曲的输入方向进行表示的图像。移动装置310在发送图像803的同时,针对乐曲的播放,根据播放状况对图像803进行更新。播放中的乐曲经由头戴式耳机320从移动装置310向驾驶员输出。移动装置310在显示有图像803的状态下获取到左短按输入的情况下,结束播放,转移到图像802的发送。移动装置310在显示有图像803的状态下获取到右短按输入的情况下,选择播放列表内的下一曲,并与此相伴地对图像803进行更新。移动装置310在显示有图像803的状态下获取到上短按输入或下短按输入的情况下,增大或减小从头戴式耳机320输出的音量。移动装置310在显示有图像806的状态下获取到左长按输入的情况下,在继续播放的状态下,转移到初始协作功能的首页图像(在该例子中为图像502)的发送。
图像801是正在执行音乐播放功能的音乐播放功能的首页图像。另一方面,图像504是正在执行音乐播放功能以外的情况下的音乐播放功能的首页图像。正在执行音乐播放功能可以是向驾驶员播放音乐的过程中。图像801可以包含播放中的乐曲的名字以及播放状况(播放时间)。如上所述,移动装置310在选择了音乐播放功能(即,显示有图像504以及图像801~图像803中的任一个)的状态下获取到左长按输入的情况下,转移到初始协作功能的首页图像的发送。移动装置310在之后再次选择了音乐播放功能的情况下,如果在上次的选择时处于正在执行音乐播放的状态,则作为音乐播放功能的首页图像而发送图像801。
由于图像801是首页图像,因此移动装置310在显示有图像801的状态下获取到上短按输入或下短按输入的情况下,将音乐播放功能切换为其他协作功能。移动装置310在显示有图像801的状态下获取到右短按输入的情况下,在继续音乐播放的状态下转移到图像803的发送。移动装置310在显示有图像801的状态下音乐播放结束(播放列表完成)的情况下,转移到图像504的发送。移动装置310也可以在显示有图像801的状态下不接受音乐播放的结束指示。
参照图9,对消息收发功能的具体的动作例进行说明。移动装置310在显示有图像505的状态下获取到右短按输入的情况下,转移到图像901的发送。图像901是用于向驾驶员请求指定发送对象的图像。移动装置310也可以在发送图像901的同时,通过语音向驾驶员请求指定发送对象。移动装置310在显示有图像901的状态下获取到下短按输入、右短按输入以及左短按输入的情况下,分别转移到图像902的发送、图像903的发送以及图像505的发送。
图像902是包含事先设定的发送对象的名字的图像。移动装置310在转移到图像902的发送时,从存储器313读出作为发送对象而事先设定的名字,并包含在图像902中。移动装置310也可以在发送图像902的同时,将所读出的发送对象的名字通过语音通知给驾驶员。移动装置310在显示有图像902的状态下获取到上短按输入、右短按输入以及左短按输入的情况下,分别转移到图像901的发送、图像905的发送以及图像505的发送。
图像903是表示处于语音搜索的等待状态的图像。图像903也可以包含对用于结束语音搜索的输入方向进行表示的图像。移动装置310也可以在发送图像902的同时,通过语音向驾驶员通知正在等待进行语音搜索。移动装置310在图像903的发送后,等待经由头戴式耳机320的语音输入。移动装置310在获取到语音输入后,基于该语音输入,从存储器313内的联络对象列表中搜索发送对象。移动装置310在能够确定发送对象的情况下转移到图像904的发送,在未能确定发送对象的情况下不发送新的图像(即,车辆100继续图像903的显示)。移动装置310也可以在未能确定发送对象的情况下,通过语音将该意思通知给驾驶员。移动装置310在显示有图像903的状态下获取到左短按输入的情况下,转移到图像901的发送。
图像904是包含通过语音搜索而确定的发送对象的名字的图像。移动装置310也可以在发送图像904的同时,将所确定的发送对象的名字通过语音通知给驾驶员。移动装置310在显示有图像904的状态下获取到右短按输入以及左短按输入的情况下,分别转移到图像905的发送以及图像901的发送。
图像905是表示处于语音输入的等待状态的图像。图像905也可以包含对用于结束语音输入的输入方向以及用于开始发送的输入方向进行表示的图像。移动装置310也可以在发送图像905的同时,通过语音向驾驶员通知正在等待进行语音输入。移动装置310在图像905的发送后,等待经由头戴式耳机320的语音输入。移动装置310获取所输入的语音作为发送对象的消息。移动装置310在显示有图像903的状态下获取到左短按输入、右短按输入以及下短按输入的情况下,分别转移到图像904的发送、图像907的发送以及图像906的发送。
图像906是包含事先设定的消息的固定固定语句的图像。移动装置310在转移到图像906的发送时,从存储器313读出事先设定的消息的固定固定语句,并包含在图像906中。图像906还可以包含对用于取消发送的输入方向以及用于开始发送的输入方向进行表示的图像。移动装置310也可以在发送图像906的同时,将所读出的固定固定语句通过语音通知给驾驶员。移动装置310在显示有图像906的状态下获取到上短按输入、右短按输入以及左短按输入的情况下,分别转移到图像905的发送、图像907的发送以及图像904的发送。
图像907是对消息收发功能的执行状况进行表示的图像。图像907也可以包含表示处于消息发送中的图像。移动装置310在发送图像907的同时,开始向发送对象发送消息,在发送结束后转移到图像505的发送。
如图6至图9所示,在各个协作功能中发送的图像(即,协作图像)被分类为菜单层级、对象选择层级以及活动层级这三个层级。菜单层级中包含当前选择的协作功能的首页图像。对象选择层级中包含用于对当前选择的协作功能的执行对象进行选择的图像。活动层级中包含对当前选择的协作功能的执行状况进行表示的图像。
在具有对象选择层级的各协作功能中,从菜单层级向对象选择层级的转移基于右短按输入来进行。另外,在具有活动层级的各协作功能中,从对象选择层级向活动层级的转移基于右短按输入来进行。这样,由于任一层级的转移都是基于右短按输入来进行的,因此驾驶员能够直观地转移层级。另外,也不需要决定开关那样的方向开关以外的开关。进一步地,从活动层级向对象选择层级的转移以及从对象选择层级向菜单层级的转移基于与右短按输入相反方向的左短按输入来进行。因此,驾驶员能够直观地返回层级。另外,移动装置310在从菜单层级向对象选择层级的转移以及从对象选择层级向活动层级的转移时,不进行针对驾驶员的基于图像的确认。由此,能够减少到处理的执行为止的操作量。
在各层级中,上短按输入以及下短按输入用于同一层级内的处理的转移。如上所述,左右开关200H是倾动型开关,上开关200U以及下开关200D是独立的按压型开关。因此,与上下方向相比,左右方向上的驾驶员的手指的移动量较少。在上述的实施方式中,通过左右方向的输入来进行层级间的转移,由此能够减少驾驶员的手指的移动量。
在对象选择层级中,基于右短按输入进行向语音搜索的转移。这样,能够基于向与向较深的层级的转移相同的方向的输入(右短按输入)来进行向语音搜索的转移,由此提供统一的操作感觉。
参照图10,对基于协作功能的中断处理的具体例进行说明。中断处理是指,无论驾驶员的指示如何,移动装置310都向车辆100请求开始协作功能的处理。例如,移动装置310在有来自他人的来电的情况下或者从他人接收到消息的情况下,请求开始中断处理。
在移动装置310有来电的情况下,移动装置310将与通话功能的中断处理相关的图像(即,中断图像)发送至车辆100,车辆100将中断图像显示于画面400的区域402。中断图像也可以包含去电者的名字、用于指示响应来电的输入方向、以及用于指示不响应来电的输入方向。当在该时间点下处于当前选择通话功能以外的协作功能的状态的情况下,在区域401中显示有当前选择的协作功能的图像。另一方面,当在该时间点下未处于正在执行协作功能的情况下,则在区域401中显示除协作功能以外的图像。移动装置310在显示有中断图像的状态下获取到右短按输入的情况下,响应来电,并转移到图像606的发送。在该时间点下,在区域401中显示协作图像(具体而言为图像606)。在该时间点下,车辆100也可以从区域402删除中断图像,并显示基于非协作功能的图像。在移动装置310接收到消息的情况下,也进行同样的处理。
参照图11,对移动装置310的控制方法的动作例进行说明。该方法也可以在移动装置310被启动的情况下开始。以下的动作的各步骤由移动装置310的控制部311执行。
在步骤S1101中,控制部311建立与车辆100以及头戴式耳机320的通信链路。如上所述,该通信链路可以是蓝牙那样的短距离无线通信。控制部311可以与车辆100以及头戴式耳机320中的任一方先建立通信链路,也可以同时建立。另外,与头戴式耳机320之间的通信链路也可以在进行向头戴式耳机320的语音输出的时间点建立。
在步骤S1102中,控制部311判定是否获取到开始协作的指示。在获取到该指示的情况下(S1102中的“是”),控制部311使处理转移到步骤S1103,在除此以外的情况下(S1102中的“否”),控制部311重复步骤S1102。在上述的例子中,控制部311在从车辆100接收到左长按输入的情况下,判定为获取到开始协作的指示。
在步骤S1103中,控制部311将初始协作功能的首页图像(在上述的例子中为图像502)发送至车辆100。在该时间点下,选择初始协作功能(在上述的例子中为通话功能)。
在步骤S1104中,控制部311判定是否获取到对当前选择的协作功能进行变更的指示。在获取到该指示的情况下(S1104中的“是”),控制部311使处理转移到步骤S1105,在除此以外的情况下(S1104中的“否”),控制部311使处理转移到步骤S1106。在上述的例子中,控制部311在从车辆100接收到上短按输入或下短按输入的情况下,判定为获取到对协作功能进行变更的指示。
在步骤S1105中,控制部311对当前选择的协作功能进行变更,并将变更后的协作功能的首页图像发送至车辆100。控制部311也可以向用户提供通过语音对变更后的协作功能进行说明的消息。
在步骤S1106中,控制部311判定是否获取到与当前选择的协作功能相关的指示。在获取到该指示的情况下(S1106中的“是”),控制部311使处理转移到步骤S1107,在除此以外的情况下(S1106中的“否”),控制部311使处理转移到步骤S1108。
在步骤S1107中,控制部311根据获取到的指示来进行当前选择的协作功能的处理。关于协作功能的处理,由于已在图6至图9中进行了详细说明,在此不重复进行说明。控制部311也可以在协作功能的处理中对用户提供基于语音的消息。
在步骤S1108中,控制部311判定是否获取到结束协作的指示。在获取到该指示的情况下(S1108中的“是”),控制部311使处理转移到步骤S1102,在除此以外的情况下(S1108中的“否”),控制部311使处理转移到步骤S1104。在上述的例子中,控制部311在从车辆100接收到右长按输入的情况下,判定为获取到结束协作的指示。
接着,对移动装置310的语音引导功能进行说明。移动装置310针对多个协作功能中的至少任一个协作功能决定向用户(在上述的实施方式中为车辆100的驾驶员)提供的消息并向用户提供该消息。在上述的例子中,移动装置310分别针对五个协作功能提供消息。消息的提供例如通过从头戴式耳机320的扬声器322播放语音来执行。在一部分实施方式中,移动装置310在消息的提供之前向用户提供与消息相关的声音。如此,以下将在消息的提供之前被提供且与消息相关的声音称为先行声音。先行声音的播放时间比消息的播放时间短。因此,用户只听到先行声音就能短时间把握之后会被提供的消息的内容。
参照图12,对先行声音的具体例进行说明。在图12的例子中,分别针对五个协作功能分配不同音调的先行声音。移动装置310对与相同协作功能有关的消息选择并提供相同的先行声音,对与不同的协作功能有关的消息选择并提供不同的先行声音。具体而言,对于通话功能,分配“re”的声音。因此,移动装置310在与通话功能有关的消息(例如,表示选择了通话功能的消息、表示用于选择通话对象的语音搜索的结果的消息等)的提供之前提供“re”的声音作为先行声音。由此,用户只听到“re”的声音就能把握之后会被提供与通话功能有关的消息。先行声音的播放时间可以是事先设定的值(例如,0.5秒)。消息的播放时间因消息的内容而不同,但是任一消息的播放时间都比先行声音的播放时间长。
在图12的例子中,分配给多个协作功能的多个先行声音也可以具有同一音色(例如,蜂鸣音)的多种音调。除此之外,多个先行声音也可以具有多种音色。例如,可以针对五个协作功能分别分配同一音调的不同音色的声音,也可以针对五个协作功能分别分配不同音调的不同音色的声音。具体而言,可以是,对于通话功能分配钢琴的音色的“do”的声音,对于路线引导功能分配小提琴的音色的“do”的声音,对于其他功能也同样分配其他音色的“do”的声音。也可以是,在其他例中,对于通话功能分配钢琴的音色的“re”的声音,对于路线引导功能分配小提琴的音色的“mi”的声音,对于其他功能也同样分配其他音色的其他音调的声音。
在上述实施方式中,移动装置310针对具有多个层级的功能中的至少任一方的层级决定向用户提供的消息。在这样的情况下,移动装置310也可以在消息的提供之前重复提供与层级的等级相应的次数、先行声音。例如,移动装置310可以针对与菜单层级的处理有关的消息提供一次先行声音,针对与对象选择层级的处理有关的消息重复提供两次先行声音,针对与活动层级的处理有关的消息重复提供三次先行声音。连续的先行声音的时间间隔可以是事先设定的值(例如,0.3秒)。这样,通过使先行声音的提供次数不同,用户在消息的提供前只听先行声音就能把握与哪个层级有关的消息会被提供。协作功能的层级的分法不限于上述例。例如,层级的等级也可以是从首页图像起的深度(从首页图像转移所需的操作次数)。代替上述实施方式,移动装置310也可以不根据层级的等级而仅播放一次先行声音。由此,能够将使消息的提供开始的时刻提前。
参照图13,对用于执行移动装置310的语音引导功能的控制方法的动作例进行说明。该方法在移动装置310向用户提供消息时被执行。例如,移动装置310也可以在图11的步骤S1101(发送首页图像时)、步骤S1105(变更选择功能时)、步骤S1107(进行基于选择功能的处理时)、进行图10中说明的中断处理时执行语音引导功能。以下动作的各步骤通过移动装置310的控制部311来执行。
在步骤S1301中,控制部311决定向用户提供的消息。如上所述,消息的提供可以是消息的播放。以下说明的提供也同样。提供的消息由被执行的功能决定。例如,如图5所示,在显示图像503的状态下输入有上短按的情况下,移动装置310也可以决定显示作为通话功能的首页图像的图像502并且提供表示选择了通话功能的消息(例如,“选择了通话功能。”)。
在步骤S1302中,控制部311从多个声音选择与通过步骤S1301决定的消息相关的先行声音。与选择哪个先行声音有关的基准(例如,图12的表规定的基准)可以事先设定并存储于移动装置310的存储装置(例如,存储器313)。在该步骤中,控制部311可以从多种音调选择先行声音的音调,也可以从多种音色选择先行声音的音色,也可以选择双方。音调以及音色中的一方也可以与消息无关而不变。进一步地,控制部311也可以基于执行的功能的层级来决定提供先行声音的次数。
在步骤S1303中,控制部311向用户提供通过步骤S1302选择的先行声音。在提供先行声音的次数也通过步骤S1302被决定的情况下,控制部311与其次数对应地提供被选择的先行声音。在次数未被决定的情况下,控制部311仅提供一次被选择的先行声音。
在步骤S1304中,控制部311开始通过步骤S1301被决定的消息的提供。从先行声音的提供结束到消息的提供开始为止的间隔可以是事先设定的值(例如,0.3秒)。
在步骤S1305中,控制部311判定用户是否进行了移动装置310的操作。控制部311在用户进行了移动装置310的操作的情况下(步骤S1305中为“是”)将处理转移至步骤S1307,在除此以外的情况下(步骤S1305中为“否”)将处理转移至步骤1306。
在步骤S1306中,控制部311判定消息的提供是否结束(即,到最后为止,是否提供了消息)。控制部311在消息的提供结束的情况下(步骤S1306中的“是”)结束处理,在除此以外的情况下(步骤S1306中的“否”)使处理转移至步骤1305。这样,如果在消息的提供中没有用户进行的操作,则控制部311继续消息的提供。
在步骤S1306中,控制部311根据用户在消息的提供中进行了移动装置310的操作而判断为不需要消息的剩余部分的提供并结束消息的提供。之后,控制部311结束处理,等待提供消息的功能被重新执行。
参照图14A~图14C对提供给用户的消息的类型进行说明。提供给用户的消息可以是仅包括可变部分的消息、仅包括固定部分的消息、包括可变部分以及固定部分双方的消息中的任一个。可变部分是指根据提供消息的状况而变化的部分。固定部分是指与提供消息的状况无关而相同的部分。
图14A表示仅包括固定部分的消息1402的一个例子。例如在选择了音乐播放功能的情况下,移动装置310与提供消息的状况无关地提供相同消息(例如,“选择了音乐播放功能。”)。在图12中说明的例子中,由于针对音乐播放功能分配“fa”的声音,因此音调为“fa”的先行声音1401在消息1402之前被提供。另外,音乐播放功能的选择由于是菜单层级中的处理,因此先行声音1401在消息1402之前仅被提供一次。
图14B表示仅包括可变部分的消息1412的一个例子。例如在路线引导功能中表示前进路线的情况下,移动装置310提供与提供消息的状况相应的消息(例如,“请在下个交叉路口左转。”)。在图12中说明的例子中,由于针对路线引导功能分配“mi”的声音,因此音调为“mi”的先行声音1411在消息1412之前被提供。另外,路线引导的执行由于是活动层级中的处理,因此先行声音1411在消息1412之前被重复提供三次。
图14C表示包括可变部分1423以及固定部分1424双方的消息1422的一个例子。例如,在路线引导功能中表示语音输入的结果的情况下,移动装置310提供包括与提供消息的状况相应的可变部分1423(例如,“东京车站”)、不基于提供消息的状况的固定部分1424(例如,“输入了。”)的消息1422(例如,“输入了东京车站。”)。在图12中说明的例子中,由于针对路线引导功能分配“mi”的声音,因此音调为“mi”的先行声音1421在消息1422之前被提供。另外,路线引导的执行由于是对象选择层级中的处理,因此先行声音1421在消息1422之前被重复提供两次。在如消息1422那样,消息包括可变部分与变动部分双方的情况下,移动装置310也可以在固定部分之前提供可变部分、在可变部分之前提供先行声音。由此,用户能够提早把握消息中根据状况而变化的部分。消息的可变部分以及固定部分的例子也可以是其他。例如,消息的可变部分也可以是向移动装置310打电话的人的名字(“本田太郎”)等。
接着,对移动装置310的熟练度管理功能进行说明。移动装置310可以具有管理与用户对移动装置310的操作有关的熟练度的功能(即,熟练度管理功能)。例如,移动装置310在判断为用户不习惯移动装置310的操作的情况下,将用户的熟练度设定为低等级,在判断为用户习惯移动装置310的操作的情况下,将用户的熟练度设定为高等级。移动装置310也可以以与熟练度相应的方式提供消息与先行声音中的至少一方。
参照图15,对与熟练度相应的方式的具体例进行说明。在图15的例中,移动装置310以“0”~“3”的四个阶段的等级管理用户的熟练度。熟练度的数值越大,熟练度越高(即,习惯操作)。在图15的例中,移动装置310针对“消息内容”、“消息播放音量”、“消息播放速度”以及“先行声音播放音量”四个项目,使提供消息或者先行声音的方式不同。
对“消息内容”进行说明。如果熟练度低(例如,“0”或者“1”),移动装置310提供内容详细的消息(例如,“本田太郎来电。是否接听?”)。若熟练度比其高(例如,“2”),移动装置310提供简化后的内容的消息(例如,“本田太郎来电。”)。熟练度如果进一步高(例如,“3”),移动装置310提供省略了固定部分的消息(例如,“本田太郎先生”)。由于熟练度高的用户能够仅通过简洁的消息就能把握具体的内容,如此,通过使消息的内容不同而用户的操作感提升。
对“消息播放音量”进行说明。熟练度如果低(例如,“0”),移动装置310以较大的音量提供消息。熟练度如果比其高(例如,“1”~“3”),移动装置310以略微大的音量提供消息。由于熟练度高的用户以较小的音量也能把握消息的内容,如此,通过使消息的播放音量不同,用户的操作感提升。
对“消息播放速度”进行说明。熟练度如果低(例如,“0”),移动装置310以低速提供消息。移动装置310随着熟练度提高而使消息的播放速度提高。由于熟练度高的用户即使速度快也能把握消息的内容,如此,通过使消息的播放速度不同,用户的操作感提升。
对“先行声音播放音量”进行说明。熟练度如果低(例如,“0”),移动装置310以较大的音量提供先行声音。移动装置310随着熟练度提高而使先行声音的播放音量减小。由于熟练度高的用户即使是较小的音量也能把握先行声音,如此,通过使先行声音的音量不同,用户的操作感提升。
接着,参照图16A~图16C,对用于提高熟练度的条件进行说明。如图16A所示,在向用户提供的消息1402仅包括固定部分的情况下,移动装置310也可以在先行声音1401的提供结束后且为消息1402的提供结束前基于用户操作了移动装置310的情况提高熟练度。在消息1402仅包括固定部分的情况下,用户仅通过先行声音1401就能把握后续的消息的内容。因此,可考虑在用户不等待消息1402的提供的结束而操作了移动装置310的情况下,用户仅通过先行声音1401就把握了后续的消息的内容。移动装置310视为进行了上述操作的用户对移动装置310的操作熟练,提高熟练度。另一方面,移动装置310也可以是,即使用户在先行声音1401的提供结束前操作了移动装置310也不提高熟练度。在这样的情况下,用户有可能未把握后续的消息的内容地操作了移动装置310(例如,为了中止消息的提供)。因此,移动装置310在这样的情况下不提高熟练度。
如图16B所示,在向用户提供的消息1412仅包括可变部分的情况下,移动装置310也可以与用户是否操作了移动装置310无关地不提高熟练度。在消息1412仅包括可变部分的情况下,用户仅通过先行声音1411不能把握后续的消息的内容。在这样的情况下,用户有可能未把握后续的消息的内容地操作了移动装置310(例如为了中止消息的提供)。因此,移动装置310在这样的情况下不提高熟练度。
如图16C所示,在向用户提供的消息1422包括可变部分1423以及固定部分1424双方的情况下,移动装置310也可以不基于用户在可变部分1423的提供中操作了移动装置310,而基于用户在固定部分1424的提供中操作了移动装置310的情况提高熟练度。可考虑用户在固定部分1424的提供中操作了移动装置310的情况下,用户仅通过先行声音1421就把握了固定部分1424的内容。因此,移动装置310也可以基于用户在固定部分1424的提供中操作了移动装置310的情况提高熟练度。另一方面,用户不能仅通过先行声音1421把握后续的可变部分1423的内容。因此,移动装置310也可以是,即使用户在可变部分1423的提供中操作了移动装置310,也不提高熟练度。
参照图17,对用于执行移动装置310的熟练度管理功能的控制方法的动作例进行说明。该方法在每当移动装置310向用户提供消息时被执行。以下动作的各步骤通过移动装置310的控制部311来执行。用户的熟练度的初始值可以是最低等级(图15的例子中为“0”)。用户的熟练度存储于移动装置310的存储装置(例如存储器313),通过以下动作来更新。用户的熟练度也可以能够更新为用户指定的值。
在步骤S1701中,控制部311判定向用户提供的消息是否包括可变部分。控制部311在向用户提供的消息包括可变部分的情况下(步骤S1701中的“是”)使处理转移至步骤S1702,在除此以外的情况下(步骤S1701中的“否”)使处理转移至步骤S1703。
在步骤S1702中,控制部311判定用户是否在固定部分的提供中操作了移动装置310。控制部311在用户在固定部分的提供中操作了移动装置310的情况下(步骤S1702中的“是”)使处理转移至步骤S1704,在除此以外的情况下(步骤S1702中的“否”)结束处理。用户在提供消息中没有进行任何操作的情况下,用户有可能不习惯操作而直到最后才听到消息。因此,在这样的情况下移动装置310不提高熟练度。另外,即使用户在消息的提供中进行了操作,如果其操作不是固定部分的提供中,参照图16B以及图16C而如上所述,移动装置310不提高熟练度。
另一方面,用户在提供固定部分中操作了移动装置310的情况下,用户有可能习惯了移动装置310的操作。因此,在步骤S1704中,控制部311将计数值增量。计数值是指表示满足了用于提高熟练度的条件的次数的值,存储于移动装置310的存储装置(例如存储器313)。计数值的初始值为零,每当步骤S1704被执行时提高1。另外,若提高熟练度,则控制部311将计数值重置为零。
在步骤S1703中,控制部311判定用户是否在先行声音的提供结束后且为消息的提供集前操作了移动装置310。控制部311在用户在先行声音的提供结束后且为消息的提供集前操作了移动装置310的情况下(步骤S1703中的“是”)使处理向步骤S1704转移,在除此以外的情况下(步骤S1703中的“否”)结束处理。用户在提供消息中没有进行任何操作的情况下,用户有可能不习惯操作而直到最后才听到消息。因此,在这样的情况下移动装置310不提高熟练度。另一方面,用户在消息的提供结束前进行了操作的情况下,用户有可能习惯了移动装置310的操作。因此,在步骤S1704中,控制部311使计数值增量。
在步骤S1705中,控制部311判定计数值是否到达了阈值次数。控制部311在计数值到达阈值次数的情况下(步骤S1705中的“是”)使处理转移至步骤S1706,在除此以外的情况下(步骤S1705中的“否”)结束处理。在步骤S1706中,控制部311使用户的熟练度提高。例如,控制部311使用户的熟练度按一个阶段提高。在用户的熟练度已经是最高等级的情况下,控制部311不变更熟练度。在步骤S1705中使用的阈值次数可以是两次以上。如此,通过在多次满足用于提高熟练度的条件的情况下提高熟练度,能够抑制即使用户没有习惯操作、熟练度在偶然满足用于提高熟练度的条件的情况下提高的情况。阈值次数也可以按照熟练度是不同的值。例如,也可以是,使熟练度从“0”向“1”提高需要满足十次条件,使熟练度从“1”向“2”提高需要满足五次条件。
控制部311也可以能够判定用户是否正在驾驶车辆100。例如,控制部311可以针对车辆100询问用户是否正在驾驶车辆100并基于该响应进行该判定。控制部311也可以在车辆100的速度为阈值以下(例如,时速1km以下、时速0km以下)的情况下判定为用户正在驾驶车辆100。控制部311可以从车辆100获取车辆100的速度,也可以将移动装置310的移动速度视为车辆100的速度。
控制部311也可以针对在用户正在驾驶车辆100的情况、用户正在驾驶车辆100以外的情况(例如,使车辆100停止中的情况下)独立管理熟练度。用户即使习惯了正在驾驶车辆100以外的情况下的移动装置310的操作,也不一定能够在正在驾驶以同样的熟练度操作移动装置310。因此,通过在正在驾驶的情况下和正在驾驶以外的情况下独立管理熟练度,用户的操作感提升。
具体而言,移动装置310将针对正在驾驶的操作的熟练度、针对正在驾驶以外的操作的熟练度独立存储于自身的存储装置(例如,存储器313)。在图17的方法针对正在驾驶被提供的消息而被执行的情况下,控制部301在步骤S1706中使针对正在驾驶的操作的熟练度提高。另外,控制部301在向正在驾驶的用户提供消息的情况下,以与针对正在驾驶的操作的熟练度相应的方式提供消息。另一方面,在图17的方法针对正在驾驶以外被提供的消息而被执行的情况下,控制部301在步骤S1706中使针对正在驾驶以外的操作的熟练度提高。另外,控制部301在向正在驾驶以外的用户提供消息的情况下,以与针对正在驾驶以外的操作的熟练度相应的方式提供消息。在步骤S1704中被使用的计数值也在正在驾驶的情况下和不是正在驾驶的情况下被独立管理。
在上述的实施方式中,通过车辆100与移动装置310的协作功能的上下文对熟练度管理功能进行了说明。除此之外,本发明的熟练度管理功能可以用于车辆100与其他装置的协作功能,也可以用于车辆100独立的功能,也可以用于它们的组合。
<实施方式的总结>
<项目1>
一种语音引导装置(310),其中,
所述语音引导装置(310)具有:
消息决定单元(311),其决定向用户提供的消息(1402、1412、1422);
声音选择单元(311),其从多个声音中选择与所述消息相关的声音;以及
提供单元(311),其在所述消息的提供之前,向所述用户提供与所述消息相关的声音(1401、1411、1421),
与所述消息相关的声音的播放时间比所述消息的播放时间短。
根据该项目,由于能够通过在消息的声音之前把握消息,因此用户能够短时间把握消息。
<项目2>
根据项目1所述的语音引导装置,其中,所述多个声音具有多种音调。
根据该项目,用户能够通过音调的区别来把握消息。
<项目3>
根据项目1或2所述的语音引导装置,其中,所述多个声音具有多种音色。
根据该项目,用户能够通过音色的区别来把握消息。
<项目4>
根据项目1至3中任一项所述的语音引导装置,其中,
所述消息决定单元针对具有多个层级的功能中的至少任一方的层级决定所述向用户提供的消息,
所述提供单元在所述消息的提供之前以与所述层级的等级相应的次数重复提供与所述消息相关的声音。
根据该项目,用户能够把握提供消息的功能的层级。
<项目5>
根据项目1至4中任一项所述的语音引导装置,其中,
所述消息决定单元针对多个功能中的至少任一方的功能决定向所述用户提供的消息,
所述声音选择单元针对与相同的功能有关的消息选择相同的声音,针对与不同的功能有关的消息选择不同的声音。
根据该项目,用户能够通过音的区别把握提供哪个功能的消息。
<项目6>
根据项目1至5中任一项所述的语音引导装置,其中,在所述消息包括根据提供所述消息的状况而变化的可变部分(1423)和无关乎提供所述消息的状况而相同的固定部分(1424)的情况下,所述提供单元在所述固定部分之前提供所述可变部分,在所述可变部分之前提供与所述消息相关的声音。
根据该项目,用户能够短时间把握根据先行的声音不能把握的可变部分。
<项目7>
根据项目1至6中任一项所述的语音引导装置,其中,
所述语音引导装置还具备熟练度管理单元(311),其管理与所述用户对所述语音引导装置的操作有关的熟练度,
所述提供单元以与所述熟练度相应的方式提供所述消息和所述声音中的至少一方。
根据该项目,以与用户的熟练度相应的方式进行语音引导。
<项目8>
根据项目7所述的语音引导装置,其中,所述熟练度管理单元基于所述用户在所述声音的提供结束后且为所述消息的提供结束前操作了所述语音引导装置的情况提高所述熟练度。
根据该项目,能够在可考虑用户能够通过先行声音把握了消息的情况下提高熟练度。
<项目9>
根据项目7或8所述的语音引导装置,其中,在所述消息包括根据提供所述消息的状况而变化的可变部分和无关乎提供所述消息的状况而相同的固定部分的情况下,不基于所述用户在所述可变部分的提供过程中操作了所述语音引导装置的情况,而基于所述用户在所述固定部分的提供过程中操作了所述语音引导装置的情况提高所述熟练度。
根据该项目,能够在可考虑用户通过先行声音把握了消息的情况下提高熟练度。
<项目10>
根据项目8或9所述的语音引导装置,其中,所述熟练度管理单元在满足了用于提高所述熟练度的条件的次数达到两次以上即阈值次数的情况下提高所述熟练度。
根据该项目,能够高精度地判定用户习惯了操作。
<项目11>
根据项目7至10中任一项所述的语音引导装置,其中,
所述语音引导装置还具备驾驶判定单元(311),其判定所述用户是否正在驾驶车辆,
所述熟练度管理单元针对所述用户正在驾驶的情况和所述用户未在驾驶的情况独立管理所述熟练度。
根据该项目,即使熟练度通过正在驾驶以外的操作而提高,也能抑制对正在驾驶的操作的熟练度的影响。
<项目12>
根据项目11所述的语音引导装置,其中,所述驾驶判定单元在所述车辆的速度为阈值以下的情况下判定为所述用户未在驾驶。
根据该项目,能够通过简单的手法来判定是否正在驾驶。
<项目13>
一种语音引导方法,其中,
所述语音引导方法包括:
消息决定步骤(S1301),在所述消息决定步骤(S1301)中,决定向用户提供的消息;
声音选择步骤(S1302),在所述声音选择步骤(S1302)中,从多个声音中选择与所述消息相关的声音;以及
提供步骤(S1303),在所述提供步骤(S1303)中,在所述消息的提供之前,向所述用户提供与所述消息相关的声音,
与所述消息相关的声音的播放时间比所述消息的播放时间短。
根据该项目,由于能够通过在消息的声音之前把握消息,因此用户能够短时间把握消息。
<项目14>
一种程序,其用于使计算机作为项目1至12中任一项所述的语音引导装置的各单元而发挥功能。
根据该项目,提供实现上述的语音引导装置的程序。
本发明不限于上述的实施方式,可以在本发明的主旨的范围内进行各种变形、变更。
本申请以2021年6月29日提交的日本专利申请特愿2021-107786为基础主张先行权,将其记载内容全部援引于此。
附图标记说明
100:车辆;
310:移动装置;
320:头戴式耳机;
1401:先行声音;
1402:消息。
权利要求书(按照条约第19条的修改)
1.(修改后)一种语音引导装置,其中,
所述语音引导装置具有:
消息决定单元,其决定向用户提供的消息;
声音选择单元,其从多个声音中选择与所述消息相关的声音;
提供单元,其在所述消息的提供之前,向所述用户提供与所述消息相关的声音;以及
熟练度管理单元,其管理与所述用户对所述语音引导装置的操作有关的熟练度,
与所述消息相关的声音的播放时间比所述消息的播放时间短,
所述提供单元以与所述熟练度相应的方式提供所述消息与所述声音中的至少一方,
在所述消息包括根据提供所述消息的状况而变化的可变部分和无关乎提供所述消息的状况而相同的固定部分的情况下,不基于所述用户在所述可变部分的提供过程中操作了所述语音引导装置的情况,而基于所述用户在所述固定部分的提供过程中操作了所述语音引导装置的情况来提高所述熟练度。
2.根据权利要求1所述的语音引导装置,其中,所述多个声音具有多种音调。
3.根据权利要求1或2所述的语音引导装置,其中,所述多个声音具有多种音色。
4.根据权利要求1至3中任一项所述的语音引导装置,其中,
所述消息决定单元针对具有多个层级的功能中的至少任一方的层级决定向所述用户提供的消息,
所述提供单元在所述消息的提供之前以与所述层级的等级相应的次数重复提供与所述消息相关的声音。
5.根据权利要求1至4中任一项所述的语音引导装置,其中,
所述消息决定单元针对多个功能中的至少任一方的功能决定向所述用户提供的消息,
所述声音选择单元针对与相同的功能有关的消息选择相同的声音,针对与不同的功能有关的消息选择不同的声音。
6.根据权利要求1至5中任一项所述的语音引导装置,其中,在所述消息包括根据提供所述消息的状况而变化的可变部分和无关乎提供所述消息的状况而相同的固定部分的情况下,所述提供单元在所述固定部分之前提供所述可变部分,在所述可变部分之前提供与所述消息相关的声音。
7.(删除)
8.(修改后)根据权利要求1至6中任一项所述的语音引导装置,其中,所述熟练度管理单元基于所述用户在所述声音的提供结束后且所述消息的提供结束前操作了所述语音引导装置的情况来提高所述熟练度。
9.(删除)
10.(修改后)根据权利要求1至6、8中任一项所述的语音引导装置,其中,所述熟练度管理单元在满足了用于提高所述熟练度的条件的次数达到两次以上即阈值次数的情况下提高所述熟练度。
11.(修改后)根据权利要求1至6、8以及10中任一项所述的语音引导装置,其中,
所述语音引导装置还具备驾驶判定单元,该驾驶判定单元判定所述用户是否正在驾驶车辆,
所述熟练度管理单元针对所述用户正在驾驶的情况和所述用户未在驾驶的情况独立管理所述熟练度。
12.根据权利要求11所述的语音引导装置,其中,所述驾驶判定单元在所述车辆的速度为阈值以下的情况下判定为所述用户未在驾驶。
13.(修改后)一种语音引导方法,其中,
所述语音引导方法包括:
消息决定步骤,在所述消息决定步骤中,决定向用户提供的消息;
声音选择步骤,在所述声音选择步骤中,从多个声音中选择与所述消息相关的声音;
提供步骤,在所述提供步骤中,在所述消息的提供之前,向所述用户提供与所述消息相关的声音;以及
熟练度管理步骤,在所述熟练度管理步骤中,管理与所述用户对语音引导装置的操作有关的熟练度,
与所述消息相关的声音的播放时间比所述消息的播放时间短,
在所述提供步骤中,以与所述熟练度相应的方式提供所述消息与所述声音中的至少一方,
在所述消息包括根据提供所述消息的状况而变化的可变部分和无关乎提供所述消息的状况而相同的固定部分的情况下,不基于所述用户在所述可变部分的提供过程中操作了所述语音引导装置的情况,而基于所述用户在所述固定部分的提供过程中操作了所述语音引导装置的情况来提高所述熟练度。
14.(修改后)一种程序,其中,所述程序用于使计算机作为权利要求1至6、8以及10至12中任一项所述的语音引导装置的各单元而发挥功能。
Claims (14)
1.一种语音引导装置,其中,
所述语音引导装置具有:
消息决定单元,其决定向用户提供的消息;
声音选择单元,其从多个声音中选择与所述消息相关的声音;以及
提供单元,其在所述消息的提供之前,向所述用户提供与所述消息相关的声音,
与所述消息相关的声音的播放时间比所述消息的播放时间短。
2.根据权利要求1所述的语音引导装置,其中,所述多个声音具有多种音调。
3.根据权利要求1或2所述的语音引导装置,其中,所述多个声音具有多种音色。
4.根据权利要求1至3中任一项所述的语音引导装置,其中,
所述消息决定单元针对具有多个层级的功能中的至少任一方的层级决定向所述用户提供的消息,
所述提供单元在所述消息的提供之前以与所述层级的等级相应的次数重复提供与所述消息相关的声音。
5.根据权利要求1至4中任一项所述的语音引导装置,其中,
所述消息决定单元针对多个功能中的至少任一方的功能决定向所述用户提供的消息,
所述声音选择单元针对与相同的功能有关的消息选择相同的声音,针对与不同的功能有关的消息选择不同的声音。
6.根据权利要求1至5中任一项所述的语音引导装置,其中,在所述消息包括根据提供所述消息的状况而变化的可变部分和无关乎提供所述消息的状况而相同的固定部分的情况下,所述提供单元在所述固定部分之前提供所述可变部分,在所述可变部分之前提供与所述消息相关的声音。
7.根据权利要求1至6中任一项所述的语音引导装置,其中,
所述语音引导装置还具备熟练度管理单元,该熟练度管理单元管理与所述用户对所述语音引导装置的操作有关的熟练度,
所述提供单元以与所述熟练度相应的方式提供所述消息与所述声音中的至少一方。
8.根据权利要求7所述的语音引导装置,其中,所述熟练度管理单元基于所述用户在所述声音的提供结束后且所述消息的提供结束前操作了所述语音引导装置的情况来提高所述熟练度。
9.根据权利要求7或8所述的语音引导装置,其中,在所述消息包括根据提供所述消息的状况而变化的可变部分和无关乎提供所述消息的状况而相同的固定部分的情况下,不基于所述用户在所述可变部分的提供过程中操作了所述语音引导装置的情况,而基于所述用户在所述固定部分的提供过程中操作了所述语音引导装置的情况来提高所述熟练度。
10.根据权利要求8或9所述的语音引导装置,其中,所述熟练度管理单元在满足了用于提高所述熟练度的条件的次数达到两次以上即阈值次数的情况下提高所述熟练度。
11.根据权利要求7至10中任一项所述的语音引导装置,其中,
所述语音引导装置还具备驾驶判定单元,该驾驶判定单元判定所述用户是否正在驾驶车辆,
所述熟练度管理单元针对所述用户正在驾驶的情况和所述用户未在驾驶的情况独立管理所述熟练度。
12.根据权利要求11所述的语音引导装置,其中,所述驾驶判定单元在所述车辆的速度为阈值以下的情况下判定为所述用户未在驾驶。
13.一种语音引导方法,其中,
所述语音引导方法包括:
消息决定步骤,在所述消息决定步骤中,决定向用户提供的消息;
声音选择步骤,在所述声音选择步骤中,从多个声音中选择与所述消息相关的声音;以及
提供步骤,在所述提供步骤中,在所述消息的提供之前,向所述用户提供与所述消息相关的声音,
与所述消息相关的声音的播放时间比所述消息的播放时间短。
14.一种程序,其中,所述程序用于使计算机作为权利要求1至12中任一项所述的语音引导装置的各单元而发挥功能。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021107786 | 2021-06-29 | ||
JP2021-107786 | 2021-06-29 | ||
PCT/JP2022/014350 WO2023276347A1 (ja) | 2021-06-29 | 2022-03-25 | 音声案内装置、音声案内方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117546137A true CN117546137A (zh) | 2024-02-09 |
Family
ID=84692631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280043796.1A Pending CN117546137A (zh) | 2021-06-29 | 2022-03-25 | 语音引导装置、语音引导方法以及程序 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JPWO2023276347A1 (zh) |
CN (1) | CN117546137A (zh) |
WO (1) | WO2023276347A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05173587A (ja) * | 1991-12-25 | 1993-07-13 | Matsushita Electric Ind Co Ltd | 音声合成装置 |
JP2003084965A (ja) * | 2001-09-10 | 2003-03-20 | Ricoh Co Ltd | 機器操作装置、プログラムおよび記録媒体 |
JP2008233678A (ja) * | 2007-03-22 | 2008-10-02 | Honda Motor Co Ltd | 音声対話装置、音声対話方法、及び音声対話用プログラム |
JP5269668B2 (ja) * | 2009-03-25 | 2013-08-21 | 株式会社東芝 | 音声合成装置、プログラム、及び方法 |
JP7102681B2 (ja) * | 2018-08-07 | 2022-07-20 | 株式会社東京精密 | 三次元測定機の作動方法及び三次元測定機 |
-
2022
- 2022-03-25 CN CN202280043796.1A patent/CN117546137A/zh active Pending
- 2022-03-25 WO PCT/JP2022/014350 patent/WO2023276347A1/ja active Application Filing
- 2022-03-25 JP JP2023531436A patent/JPWO2023276347A1/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2023276347A1 (zh) | 2023-01-05 |
WO2023276347A1 (ja) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5906347B2 (ja) | 車載情報システム、車載装置 | |
CN104238874B (zh) | 车辆用信息显示装置 | |
US10029723B2 (en) | Input system disposed in steering wheel and vehicle including the same | |
JP5859969B2 (ja) | 車載情報システム、車載装置、情報端末 | |
KR20050077806A (ko) | 음성 대화 실행 방법 및 음성 대화 시스템 | |
US20130262999A1 (en) | Audio file edit method and apparatus for mobile terminal | |
JP2014046867A (ja) | 入力装置 | |
JPWO2003078930A1 (ja) | 車両用ナビゲーション装置 | |
US20090117945A1 (en) | Hands-Free Device Producing a Spoken Prompt with Spatial Effect | |
JP6119456B2 (ja) | 車両用情報表示装置 | |
WO2019146309A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2003223447A (ja) | 移動体用情報提示装置 | |
CN117546137A (zh) | 语音引导装置、语音引导方法以及程序 | |
GB2430116A (en) | Hands free device for personal Communications Systems | |
WO2023231538A1 (zh) | 一种驾驶状态的显示方法、相关装置、设备以及存储介质 | |
WO2023276293A1 (ja) | 音声案内装置、音声案内方法及びプログラム | |
CN114651226B (zh) | 车辆、移动装置及其控制方法 | |
JP4212592B2 (ja) | 移動通信端末装置 | |
JP2013250132A (ja) | 車載装置、車載情報システム | |
WO2023276381A1 (ja) | 車両 | |
WO2023276348A1 (ja) | 車両 | |
JP2020140420A (ja) | 表示制御システムおよび表示制御プログラム | |
JP6325231B2 (ja) | 情報表示システム、情報表示システムの制御方法およびプログラム | |
JP2004233175A (ja) | キャラクタを用いたカーナビゲーション装置 | |
JP2006010560A (ja) | ナビゲーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |