CN117396365A - 对话服务装置和对话系统控制方法 - Google Patents

对话服务装置和对话系统控制方法 Download PDF

Info

Publication number
CN117396365A
CN117396365A CN202180098910.6A CN202180098910A CN117396365A CN 117396365 A CN117396365 A CN 117396365A CN 202180098910 A CN202180098910 A CN 202180098910A CN 117396365 A CN117396365 A CN 117396365A
Authority
CN
China
Prior art keywords
dialogue system
dialogue
occupant
display
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180098910.6A
Other languages
English (en)
Inventor
田崎克
曽根崎詠二
松本达矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN117396365A publication Critical patent/CN117396365A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

在本实施方式所涉及的对话服务装置中,具备:对话系统控制部(110),其具有识别乘员的声音的功能,控制与乘员进行对话并提供服务的对话系统;以及启动部(120),其用于启动对话系统,其中,对话系统包括第一对话系统和第二对话系统,该第一对话系统通过车内通信路径来向车载设备输出控制指令,并且具有第一声音识别引擎,该第二对话系统具有与第一声音识别引擎不同的第二声音识别引擎,启动部(120)具有第一接口(121)和第二接口(122),该第一接口(121)根据对车辆的方向盘开关(30)的操作来向对话系统输出启动指令,该第二接口(122)根据由乘员说出的唤醒词来向对话系统输出启动指令,第一接口(122)向第一对话系统(112)和第二对话系统(32)中的某一方的系统发送启动指令,第二接口(122)向第一对话系统(112)和第二对话系统(32)中的某一方的系统发送启动指令。

Description

对话服务装置和对话系统控制方法
技术领域
本发明涉及一种对话服务装置和对话系统控制方法。
背景技术
已知一种根据车辆的乘员的讲话来提供包括应答在内的服务的代理装置(例如专利文献1)。该代理装置识别乘员的讲话中包含的请求,并将所识别出的请求输出到多个代理功能部,基于由多个代理功能部中的各个代理功能部执行得到的结果,来选择多个代理功能部中的、要进行针对乘员的讲话的应答的代理功能部。
现有技术文献
专利文献
专利文献1:日本特开2020-144274号公报
发明内容
发明要解决的问题
然而,在上述以往的代理装置中,在使用了多个用于识别乘员的声音的声音识别系统的情况下,若要根据所设定的唤醒词来将各系统区别地进行启动,则需要由用户区分使用唤醒词,因此存在混淆唤醒词的担忧。
本发明要解决的问题在于提供一种能够避免混淆唤醒词这样的事态的对话服务装置和对话系统控制方法。
用于解决问题的方案
本发明通过以下方案来解决上述问题:具有第一接口和第二接口,该第一接口根据对车辆的方向盘开关的操作来向对话系统输出启动指令,该第二接口根据由乘员说出的唤醒词来向对话系统输出启动指令,第一接口向对话系统中包括的第一对话系统和第二对话系统中的某一方的系统发送启动指令,第二接口向第一对话系统和第二对话系统中的某一方的系统发送启动指令。
发明的效果
根据本发明,能够避免混淆唤醒词这样的事态。
附图说明
图1是示出本发明的一个实施方式所涉及的对话服务系统的框图。
图2是具备图1的显示器的前围板的主视图。
图3A是用于说明方向盘开关的操作及唤醒词与对话系统的启动的切换之间的关系的表。
图3B是用于说明变形例中的方向盘开关的操作及唤醒词与对话系统的启动的切换之间的关系的表。
图4是示出图1的显示器的显示画面的图。
图5是示出图1的显示器的显示画面的图。
图6是示出图1的显示器的显示画面的图。
图7是示出图1的显示器的显示画面的图。
图8是示出图1的显示器的显示画面的图。
图9是用于说明动画“声音探测状态”的时间推移的动画图像和曲线图。
图10是用于说明动画的时间推移的动画图像和曲线图。
图11是用于说明动画的图像结构以及画面迁移时时的所选择的索引的概念图。
图12是示出图1的显示器的显示画面的图。
图13是示出图1的显示器的显示画面的图。
图14是示出图1的显示器的显示画面的图。
图15是示出图1的显示器的显示画面的图。
图16是示出图1的显示器的显示画面的图。
图17是示出图1的显示器的显示画面的图。
图18是示出图1的显示器的显示画面的图。
图19是示出图1的对话系统中的对话的模型流程的表。
图20是示出图1的对话系统中的对话的模型流程的表。
图21是示出图1的显示器的显示画面的图。
图22是示出图1的对话系统中的对话的模型流程的表。
图23是示出图1的对话系统中的对话的模型流程的表。
图24是示出图1的对话系统中的对话的模型流程的表。
图25是示出图1的对话系统中的对话的模型流程的表。
具体实施方式
下面,基于附图来说明本发明所涉及的对话服务系统的一个实施方式。图1是示出本发明的一个实施方式所涉及的对话服务系统的框图。对话服务系统是搭载于车辆的系统,具备显示器10、通信机20、方向盘开关30、ECU 40以及控制器100。本实施方式所涉及的对话服务系统包括使用声音处理功能来与乘员对话并向乘员提供服务的系统、以及控制显示器的显示画面的系统。
显示器10是触摸面板式的显示器,搭载于车辆。触摸面板式的显示器10具备感压传感器,通过根据电阻值、电压等测定在进行接触操作时对显示器10施加的按压力,来探测由用户进行的触摸操作。感压传感器的机构不被特别地限定,能够适当地使用在申请时就已被公知的方法。另外,触摸面板不限于是感压式的,也可以是静电式等其它方式。图2是具备触摸面板的前围板附近的主视图。如图2所示,显示器10是前围板的正面部分的显示器(中央显示器),配置于驾驶席与副驾驶席之间。显示器10设置在坐在驾驶席的状态下的乘员以及坐在副驾驶席的状态下的乘员分别能够触摸到的位置。另外,显示器10不是必须配置于驾驶员及副驾驶席乘员这两位乘员都能够触摸到的位置,例如也可以配置于仅驾驶员能够触摸到的位置。另外,显示器10不限于配置于前围板,例如也可以配置于后部座位的乘员触摸到的位置。
当乘员用手指或代替手指的操作设备通过触摸显示器10的触摸操作从菜单画面中选择了图标、按钮等时,显示器10的画面显示进行迁移。此外,在以下的说明中,主要说明使用手指进行的触摸操作,但是在本实施方式中,也可以代替手指而使用操作设备来进行触摸操作。触摸操作是使手指触摸显示器10中显示的图标或按钮、或者使手指靠近图标或按钮这样的通过使用手指进行的手势执行的指示操作。触摸操作有点击(对画面进行1次触摸)、双击(对画面进行2次触摸)、长点击(长按画面)、滑动(使触摸画面的手指保持此状态在画面上滑动(使手指进行描摹))、轻拂(使触摸画面的手指以在画面上快速弹动的方式进行动作)以及双指捏合(pinch in)/双指撑开(pinch out)(两根手指接触画面,并使两根手指靠近/远离)等。触摸操作不限于使手指触摸画面上的一个点或多个点的第一手势,也可以包括在触摸画面的状态下使手指的接触点移动的第二手势。另外,触摸操作也可以不直接触摸显示画面,也可以是使手指等靠近显示画面的所谓的悬停。此外,触摸操作的操作方法不限于此,也可以是其它方法。
通信机20是能够与车外的服务器2进行通信的通信装置。通信机20用于在控制器100与服务器2之间收发信号。方向盘开关(转向开关)30是用于开启(启动)对话系统的开关,如图2所示那样设置于方向盘。乘员(驾驶员)在想要通过对话系统接受服务的提供的情况下,操作方向盘开关30来启动对话系统。如后所述,对话系统包括:第一对话系统112,其主要使用设置于车辆1的声音识别引擎来进行声音处理,并提供服务;以及第二对话系统32,其主要使用服务器2中包括的声音识别引擎来进行声音处理,并从服务器2对乘员提供服务。而且,方向盘开关30被分配了启动哪一个对话系统,通过操作方向盘开关30来启动第一对话系统和第二对话系统中的某一个系统。此外,通信机20相当于本发明的“通信部”。
ECU 40是对空调设备41、天窗42等控制对象进行控制的控制单元,通过CAN通信网来对控制对象和控制器100进行控制。ECU 40不限于1个,而是多个控制单元,针对每个控制对象连接有ECU 40。
控制器100由具备硬件和软件的计算机构成,具有保存有程序的存储器以及执行该存储器中保存的程序的CPU等。另外,控制器100具有对话系统控制部110、启动部120以及显示控制部130作为功能块,用于实现对话系统控制部110、启动部120以及显示控制部130的各功能的程序被存储在存储器中。而且,控制器100中包括的计算机通过执行程序来实现功能块的各功能。另外,控制器100通过CAN通信网等来与显示器10、通信机20、方向盘开关30及ECU 40连接。控制器100不限于具有对话系统控制部110、启动部120以及显示控制部130,例如还具有对音响系统进行控制的功能等用于对车室内的各种系统进行控制的控制块,来控制其它车载设备。此外,具有控制器100的装置相当于本发明的“对话服务装置”。
对话系统控制部110具有识别乘员的声音的功能,控制对话系统。对话系统控制部110具有声音识别部111和第一对话系统112。声音识别部111探测乘员的声音输入,并使用第一对话系统112中包括的声音识别引擎,通过针对所探测到的声音的声音处理来识别声音。在第一对话系统112启动的状态下,当乘员对车内的麦克风说话时,声音识别部11探测被输入的声音。从声音输入开始到自声音输入结束起经过规定时间为止,执行声音探测。例如,在乘员发出了“将空调(air conditioner)的温度设定为25℃(原文是:エアコン(エアーコンディショナー)の温度を25℃に設定)”这样的消息的情况下,声音识别部11探测从消息的开始到结束为止的声音,在从消息的结束起经过规定时间的无音期间后,结束声音探测。声音识别部11通过使用声音识别引擎对所探测到的声音进行声音处理,来识别声音。
另外,声音识别部111在识别出用于启动对话系统的唤醒词的情况下,向后述的第二接口122输出表示识别到唤醒词的控制信号。唤醒词是例如“你好○○(原文是:Hello○○)(车辆制造商的名称、对话系统的相性等)”这样的呼唤消息,是预先决定的。此外,唤醒词也可以通过乘员的设定而变更。
第一对话系统112是车载用声音处理系统,主要以与车载设备的协作为目的,利用声音识别引擎来在乘员与控制器100之间进行对话,并向乘员提供与对话内容相应的服务。第一对话系统112为了与空调设备41、天窗42、导航系统、音响系统、免提系统等车载设备协作而与ECU 40连接。第一对话系统112搭载有用于与各种ECU进行通信的通信功能。例如,在乘员向对话系统说出变更空调设备41的温度设定的意思的情况下,声音识别部111进行声音处理,基于由声音识别部111识别出的声音数据,来确定成为控制对象的空调设备41,在此基础上生成控制指令,并通过车内通信路径(CAN通信网)向ECU 40输出控制指令。此外,在从第一对话系统112经由ECU 40向空调设备41等车载设备发送控制信号的情况下,控制信号所经过的车内通信路径不包含将控制器100与通信机20之间连接的通信路径。ECU 40根据控制指令来控制空调设备41,变更空调设备41的设定温度。由此,第一对话系统112通过对话来向乘员提供服务。通过第一对话系统112提供的服务不限于是空调设备41的设定,也可以是空调设备41的风向调整、风量调整等。另外,在其它服务的例子中,是由导航系统进行的路径引导、音响系统的设定、由免提系统进行的电话操作、电话号码检索、短消息服务(SMS)、天窗42、窗户、后备箱门、滑动门等的开闭操作等车载设备的操作等。
另一方面,服务器2中包括的第二对话系统32是使用外部的声音识别引擎来进行声音处理的系统,车辆1与服务器2连接来访问外部的信息,向乘员提供服务。通过第二对话系统32提供的服务是利用互联网进行的购物、远程操作自家的家电设备等多种多样的服务。第二对话系统32不同于第一对话系统112,不是以与车载设备的协作为目的。另外,关于第一对话系统112与第二对话系统32的不同,第一对话系统和第二对话系统是独立的对话系统,第一对话系统通过车内通信路径来向车载设备发送控制指令,具有声音识别引擎(相当于本发明的“第一声音识别引擎”),第二对话系统具有与第一对话系统中包括的声音识别引擎不同的声音识别引擎(相当于本发明的“第二声音识别引擎”)。另外,在其它观点上,第一对话系统112与第二对话系统32的不同在于,第一对话系统112通过车内通信路径来向车载设备输入或输出控制指令,但第二对话系统32也可以是不通过车内通信路径向除了通信机20以外的车载设备输入及输出控制指令的系统。并且,作为其它观点,第一对话系统112与第二对话系统32的不同在于,第一对话系统也可以是如下系统:通过除了用于将通信机20与第一对话系统112之间连接的通信路径以外的车内通信路径来向所述车载设备输出控制指令,而不通过除了用于将通信机20与第一对话系统112之间连接的通信路径以外的车内通信路径输出控制指令。
声音识别部111在使用第二对话系统32来与乘员进行对话的情况下,探测乘员的声音输入,并将探测到的声音数据经由通信机20发送到服务器2。服务器2的第二对话系统32对被输入的声音数据进行声音处理,并将处理结果发送到车辆1。声音识别部111通过从车载扬声器进行的声音输出或显示器10的显示画面来输出由第二对话系统32得到的处理结果。
第一对话系统112不限于与车内的ECU 40连接,也可以与车辆外部的服务器2连接。例如,第一对话系统112也可以与车外的服务器2连接,使用车外的声音识别引擎来进行声音识别处理。例如,由于店铺的名称等信息众多,因此有时使用车外的声音识别引擎比使用车载的声音识别引擎更好。在这种情况下,第一对话系统112使用车外的声音识别引擎来进行声音识别处理。
启动部120是用于启动第一对话系统112和第二对话系统32的功能块,具有第一接口121和第二接口122。第一接口121根据方向盘开关30的操作来向对话系统发送启动指令,也就是说,第一接口121成为将方向盘开关30与第一对话系统112之间连接、以及将方向盘开关30与第二对话系统32之间连接的连接部。第一接口121向第一对话系统112和第二对话系统32中的某一方的系统发送启动指令。第一接口121不会向第一对话系统112和第二对话系统32双方同时发送控制指令。第一接口121发送的控制指令的发送目的地是通过乘员的设定和/或出厂时的初始设定决定的。在方向盘开关30被分配为启动第一对话系统112的情况下,第一接口121在接收到基于方向盘开关30的操作的操作指令时,向第一对话系统112发送启动指令。在方向盘开关30被分配为启动第二对话系统32的情况下,第二接口122向第二对话系统32发送启动指令。此外,第二对话系统32的启动指令是用于将车辆1与服务器2之间设为能够通信的状态、并将车辆1设为能够利用服务器2的对话系统的状态的指令。
第二接口122根据唤醒词来向对话系统发送启动指令。第二接口122是声音识别部111与对话系统之间的连接部。第二接口122向第一对话系统112和第二对话系统32中的某一方的系统发送启动指令。第一接口121不会向第一对话系统112和第二对话系统32双方同时发送控制指令。在图1的例子中,第二接口122向第一对话系统112发送启动指令。第二接口122发送的控制指令的发送目的地是通过出厂时的初始设定决定的。在图1的例子中,由于唤醒词被分配为启动第一对话系统112,因此在由声音识别部111识别出唤醒词的情况下,第二接口122向第一对话系统112发送启动指令。也就是说,第一对话系统112中包括的声音识别引擎以至少能够识别唤醒词的状态待机,在由声音识别部111识别出唤醒词的情况下,第二接口122向第一对话系统112发送启动指令,第一对话系统112启动声音识别引擎,以能够识别唤醒词以外的各种词语。此外,在唤醒词被分配为启动第二对话系统32的情况下,第二接口122向第二对话系统32发送启动指令。
另外,启动部120基于乘员的操作来将启动指令的发送目的地设定为第一对话系统112和第二对话系统32中的某一方的系统。乘员进行的用于设定启动指令的发送目的地的操作是显示器10的触摸操作、方向盘开关30以外的开关操作等。例如,在显示器10的触摸操作的例子中,控制器100使得在显示器10中显示对话系统的设定画面,乘员从所显示的设定画面中触摸用于选择第一对话系统112和第二对话系统32中的某一方的系统的选择菜单,在选择菜单上选择想要利用的对话系统。启动部120为了向通过显示器10的触摸操作而选择的对话系统发送启动信号,设定第一接口121的启动信号的发送目的地。例如,在乘员通过显示器10的触摸操作将在方向盘开关30的操作时被启动的对象系统从第一对话系统112变更为第二对话系统32的情况下,启动部120将第一接口121发送的启动信号的发送目的地设定为第二对话系统32。由此,乘员能够根据喜好来从第一对话系统112和第二对话系统32中选择在方向盘开关30的操作时启动的对话系统。
另外,在能够通过与乘员使用对话系统进行的对话来改变对话系统的设定的情况下,启动部120也可以基于由对话系统控制部110识别出的声音,来将第一接口121发送的启动指令的发送目的地设定为第一对话系统112和第二对话系统32中的某一方的系统。例如,在乘员利用第一对话系统112来与控制器100对话的状态下,设为乘员发出了想要将方向盘开关30的分配从第一对话系统112变更为第二对话系统32的意思。对话系统控制部110识别乘员的声音,并对启动部120发送用于将方向盘开关30分配为启动第二对话系统32的控制指令。启动部120基于控制指令,来将第一接口121发送的启动信号的发送目的地设定为第二对话系统32。由此,乘员能够通过利用对话系统进行的对话,来将在方向盘开关30的操作时启动的对象系统选择为第一对话系统112或第二对话系统32。
在本实施方式中,能够通过方向盘开关30的操作而启动的对话系统能够由乘员选择为第一对话系统112和第二对话系统32中的任一方的系统,但是能够通过唤醒词而启动的对话系统被固化为第一对话系统112。由于第一对话系统112主要以与车载设备的协作为目的,因此第一对话系统112的利用频度高于第二对话系统32的利用频度。因此,通过将基于唤醒词的启动固化为第一对话系统112,能够提高乘员的便利性。另外,由于方向盘开关30的分配能够由乘员进行选择,因此还能够确保对话系统的选择自由度。
图3A是用于说明是否能够切换第一对话系统/第二对话系统的启动的表。如图3A所示,在本实施方式所涉及的对话服务系统中,“唤醒词”能够启动第一对话系统112,而不能启动第二对话系统32。“方向盘开关”根据用户的设定能够启动第一对话系统112和第二对话系统32中的某一方的系统。也就是说,能够排他地选择通过方向盘开关30进行的对话系统的启动。此外,在方向盘开关30被分配为第一对话系统112的情况下,第二对话系统32无法通过方向盘开关30的操作和唤醒词而启动,但是第二对话系统32例如能够通过显示器10中显示的菜单画面上的选择、或者方向盘开关30以外的开关操作而被启动。
图3B是用于说明在本实施方式的变形例所涉及的对话服务系统中与第一对话系统/第二对话系统的启动的相关性的表。在变形例所涉及的对话服务系统中,能够通过用户设定排他地选择能够根据唤醒词启动的对话系统。启动部120将识别出唤醒词时的启动指令的发送目的地设定为第一对话系统112和第二对话系统32中的某一方的系统。乘员能够通过显示器10的触摸操作、方向盘开关30以外的开关操作以及利用对话系统来与控制器100进行的对话,来从第一对话系统112和第二对话系统32中选择启动的对话系统。由此,能够避免在说出唤醒词时启动多个对话系统这一情况,能够根据用户的喜好来从第一对话系统112和第二对话系统32中选择在方向盘开关30的操作时被启动的对话系统。
另外,对话系统有时具有与系统的启动有关的专有标准。专有标准是“在能够启动特定的对话系统的状态时,必须使其它对话系统为关闭状态(无效化状态)”等。在第一对话系统112中使用了具有这种标准的对话系统的情况下,如本实施方式这样,只要设为能够通过用户设定来变更方向盘开关30的分配,或者能够排他地选择对话系统即可。另外,在设为能够通过用户设定来变更通过唤醒词进行的对话系统的启动的情况下,如变形例这样,只要设为能够通过用户设定来变更通过唤醒词进行的启动的分配,或者设为能够排他地选择对话系统即可。即,根据第一对话系统的标准,需要使第一对话系统112和第二对话系统32排他地启动。因此,如本实施方式这样,通过设为能够通过用户设定来变更方向盘开关30的分配及通过唤醒词进行的启动的分配,能够遵守对话系统的标准,并且还能够确保对话系统的选择的自由度。
此外,在本实施方式中,在通过乘员的操作或者使用对话系统来与乘员进行的对话变更了第一接口121和/或第二接口122发送的启动指令的发送目的地的情况下,对话系统控制部110也可以通过声音向乘员输出变更内容。
显示控制部130控制显示器10的显示画面。另外,在由显示器探测到了触摸操作的情况下,显示控制部130接受与显示画面上的触摸操作的位置、触摸操作的种类相应的操作指令。显示控制部130使显示器10显示用于操作对话系统的操作画面、对话系统的设定画面以及用于显示从对话系统提供的信息的画面等。另外,显示控制部130将根据显示器10的触摸操作而接受到的操作指令输出到对话系统控制部110和启动部120。
对话系统控制部110对对话系统的控制以及显示控制部130对显示画面的控制通过应用程序(软件)而相互关联。由对话系统控制部110控制的对话系统的动作状态被显示在显示器10中。另外,显示控制部130根据通过对话系统进行的对话来控制显示器10的显示画面。当乘员通过对话系统来与控制器100进行对话时,对话系统控制部110将与对话的内容相应的控制指令发送到显示控制部130,显示控制部130根据控制指令来使显示器10的显示画面迁移。
接着,参照图4来说明控制器100的控制方法以及显示器10的显示画面。图4是显示器10的显示画面,示出包括对话服务系统在内的整个系统的主画面。
当乘员开启显示器10的主开关时,显示控制部130使得在显示器10中显示主画面。如图4所示,主画面是用于选择导航系统、音乐、第一对话系统112以及第二对话系统32的菜单画面。各菜单画面中包含表现内容的图标,例如,第一对话系统112的菜单图像包含第一图标101,第二对话系统32的菜单图像包含第二图标102。第一图标101是将用于启动第一对话系统112的触摸操作设为有效的图标,第二图标102是将用于启动第二对话系统32的触摸操作设为有效的图标。在乘员触摸了第一图标101的情况下,启动部120向第一对话系统112发送启动信号。在乘员触摸了第二图标102的情况下,启动部120向第二对话系统32发送启动信号。由此,能够通过显示器10的触摸操作来排他地在第一对话系统112和第二对话系统32中进行选择。
接着,说明根据第一对话系统112的动作状态而显示的显示画面。图5~图8示出针对第一对话系统112的各动作状态而在显示器10中显示的显示画面。当乘员在图4所示的主画面中触摸了第一图标101或第一图标101的周围时,显示控制部130使得显示图5所示的画面。第一对话系统112的动作状态有“初始状态”、“可受理声音状态”、“声音探测状态”以及“声音处理状态”这4个状态。初始状态是从声音识别引擎基于启动信号而启动起直到变为能够探测声音的状态为止的状态。声音识别部111在初始状态下进行初始化处理,该初始化处理是进行声音处理之前的处理。当初始化处理完成时,第一对话系统112的动作状态从初始状态变为可受理声音状态。可受理声音状态是能够受理声音的状态,表示乘员未发出声音的状态。声音探测状态是能够受理声音的状态,是乘员发出声音并且正在探测该声音的状态。也就是说,在能够探测声音的状态下,在未被输入声音的情况下,第一对话系统112的动作状态处于声音输入受理状态,在正在被输入声音的情况下,第一对话系统112的动作状态变为声音探测状态。然后,当声音探测状态结束且经过了规定时间时,第一对话系统112的动作状态变为声音处理状态。声音处理状态是通过声音识别引擎进行声音处理的状态。
图5~图8的显示画面表现通过对话系统提供的服务中的主图像,包含示出对话系统的动作状态的动作状态图像。动作状态图像通过图像来对乘员示出对话系统处于怎样的状态(status),相当于文本、动画、图案等。在本实施方式中,主消息50和/或动画70相当于动作状态图像。
图5示出在第一对话系统112的动作状态为“初始状态”的情况下显示器10中显示的显示画面。如图5所示,“初始状态”的显示画面包含主消息50、示例消息60以及动画70。主消息50是从第一对话系统112向乘员发送的消息,是促使乘员进行声音输入的标题。乘员能够通过确认主消息50来确认对话系统已启动。即,主消息50相当于表示对话系统已启动的动作状态图像。示例消息60示出乘员为了利用第一对话系统112而应发出的声音的例文,包含命令61和设定值62。命令61是表现乘员想要通过对话系统接受的服务的动作、状态的词语,表现从乘员向对话系统发出的操作指令。设定值62是表现服务的对象的语句,以数值、名称等名词来表现。例如,在示例消息60的第2行的消息“播放AAA广播电台”中的“播放”表示命令,“AAA广播电台”表示设定值。命令“播放”表示操作音响系统,“AAA广播电台”表示由音响系统播放的对象(广播台的名称)。此外,示例消息60兼用作功能按钮,例如在乘员触摸了第3行的消息“输入号码”的情况下,迁移至用于输入电话号码的画面。
动画70是以周期性运动来表现规定的功能中的状态的图像。在图5的例子中,规定的功能相当于对话系统中的声音探测处理功能,状态相当于对话系统的动作状态。周期性运动通过波形的运动来表现。也就是说,为了表现第一对话系统112的4个动作状态,动画70中存在4个动画71~74。也就是说,通过4个动画71~74来表现由第一对话系统112进行的声音处理的进展情况。动画70通过波的形状、波的颜色、波的大小等来区别每个动作状态,以使观看动画的乘员能够看明白。而且,控制器100通过根据乘员的声音输入使动画70动作,来使声音处理的进展情况显示于显示器10的显示画面。图5的动画71表现“初始状态”。动画71是灰色的波形,是振幅小的波。动画70被显示在主消息50与示例消息60之间的位置。此外,表示对话系统的动作状态的动作状态图像只要包含主消息50和动画70中的至少任一方的图像即可。在后述的图6~图8所示的主画面中也是同样的,动作状态图像只要包含主消息50和动画70中的至少任一方的图像即可。
图6示出在第一对话系统112的动作状态为“可受理声音状态”的情况下显示器10中显示的显示画面。如图6所示,“可受理声音状态”的显示画面包含主消息50、示例消息60以及动画70。主消息50及示例消息60的显示位置、显示图像与图5相同。图6的动画72表现“可受理声音状态”。动画72是蓝色的波形,动画72的振幅大于动画71的波的振幅。在显示“可受理声音状态”的期间探测到声音的情况下,显示器10的显示画面切换为图7的画面。在显示“可受理声音状态”的期间未探测到声音的情况下,显示器10的显示画面维持图6的状态。
图7示出在第一对话系统112的动作状态为“声音探测状态”的情况下显示器10中显示的显示画面。如图7所示,“声音探测状态”的显示画面包含主消息50、示例消息60以及动画70。主消息50及示例消息60的显示位置、显示图像与图5及图6相同。图7的动画73表现“声音探测状态”。动画73是蓝色的波形,动画73的波的振幅大于动画72的波的振幅。通过使动画73的波的振幅大于动画72的波的振幅,来使乘员能够根据显示画面确认探测到声音。
此外,显示控制部130也可以根据所探测到的声音的音量的大小来改变动画73的振幅。例如,显示控制部130以所探测到的声音的音量越大则使动画73的振幅越大的方式,根据声音输入来控制动画73的振幅。乘员通过一边发出声音一边观看动画73的振幅的运动,能够根据显示画面确认声音识别系统探测到声音。另外,也可以将动画73设为将多个波重合所得到的动画,使动作具有跃动感。
图8示出在第一对话系统112的动作状态为“声音处理状态”的情况下显示器10中显示的显示画面。如图8所示,“声音处理状态”的显示画面包含主消息50、示例消息60以及动画70。主消息50及示例消息60的显示位置、显示图像与图5~图7相同。图8的动画74表现“声音处理状态”。动画74是红色、白色、绿色的波形,在区域中以颜色来区分波。例如,在某个时间,在图8的图纸上从左到右以红色、白色、绿色的顺序来显示动画74。而且,波的振幅、被划分了颜色的部分随着时间经过而变化。动画74的振幅小于动画73的波的振幅。乘员通过看到波的颜色从“蓝色”变为“红色、白色、绿色”,能够根据显示画面确认声音处理已开始。也可以将动画74设为将多个波重合所得到的动画,使动作具有跃动感。另外,不限于动画74,也可以将动画71~73也设为将多个波重合所得到的动画。
另外,对动画74赋予的颜色的数量为3个,比对动画71~73赋予的颜色的数量多。由此,乘员根据动画70的显示方式能够更明确地判别出第一对话系统112的动作状态为“声音处理状态”或者第一对话系统112的动作状态为“声音处理状态”以外的状态。此外,在本实施方式中,根据声音处理功能的动作状态将动画40设为了4种,但是动画的种类不限于4种,也可以是2种、3种或5种以上。另外,动画中显示的动作不限于是波,例如也可以是图案变化、棒状的图的高低的变化等,只要至少具有周期性即可。
图9是用于说明表现“声音探测状态”的动画73的时间推移的图。动画73在1个周期(2π)中改变波的形状。动画73中示出的波包含周期性运动的特征点。特征点由波腹/波节的位置、波的顶点的位置或者颜色的变化点等来表现。特征点是作为用于与其它动画71、72、74之间取得对应的标识的点。在图9中,(а)表现时间(0)时的动画73,(b)、(c)及(d)表现时间(π/2、π、3π/2)时的动画73。图9的左侧是显示画面中显示的波的图像。图9的右侧概念性地示出动画73的波形中包含的特征点的运动。例如也可以通过波(周期函数)来表现波的形状、颜色、色彩、坐标等的变化,并利用将该波重合所得到的驻波来表现特征点的运动。例如,表现动画73的波的中心点(位置=λ)处的特征点在时间(0、π、2π…)时变为0,在时间(π/2、5π/2、9π/2…)时最大,在时间(3π/2、7π/2、11π/2…)时最小。也就是说,特征点也与动画73的周期性运动相应地以相同的周期运动。此外,未必一定用乘员能够通过视觉确认的动作、颜色来表现特征点的变化,也可以设为在运算上计算出的点。
图10是用于说明周期中的某个时间点的动画71~74的静止图像与各动画71~74中的特征点的相关性的图。在图10中,(а)表现动画71的静止图像,(b)~(d)表现动画72~74的静止图像。(e)是动画71~74中的特征点的图。在动画71~74中,即使在周期中的相同时刻,波的形状、波的颜色等也根据各个动画而不同。动画71~74为相同的周期。例如,时间(π/2)时的动画71的波形与动画72的波形的颜色不同、且形状不同。另一方面,只要在周期中的相同时刻,则动画71~74的周期性运动的特征点通过相同的波形来表现。
接着,使用图11来说明用于显示动画71~74的图像结构以及显示器10的画面迁移。图11是用于说明用于显示动画71~74的图像结构以及在画面迁移之前和之后播放的静止图像的概念图。在图11中,第一显示画面和第二显示画面是与第一对话系统112的各动作状态相应地显示的显示画面,第一显示画面表示迁移前的画面,第二显示画面表示迁移后的画面。例如,在第一对话系统112的动作状态从“初始状态”切换为“可受理声音状态”从而显示器10的显示画面迁移的情况下,第一显示画面相当于“初始状态”的显示画面,第二显示画面相当于“可受理声音状态”的显示画面。
通过多个静止图像的连续播放来显示动画71~74。用于显示动画71~74的图像由60张静止图像构成,各个图像被赋予了0至59的索引。在每个动画71~74中,静止图像的张数为相同的数量。索引是静止图像的识别符,并且表现播放顺序。关于索引,索引以使在动画71~74中包含的图像之间周期性运动的特征点相对应的方式被赋予给静止图像。例如,在图10的例子中,动画71~74的静止图像表现周期中的相同时刻的图像,因此被赋予相同的索引。换言之,当在动画71~74之间比较静止图像的情况下,特征点相对应的静止图像被赋予相同的索引。
显示控制部130在显示动画71~74时,以1秒播放30张静止图像的播放率来向显示器10发送图像。也就是说,每1张静止图像的时隙(显示间隔)为20msec。显示控制部130开始按照被赋予索引的顺序来播放静止图像。这样,在本实施方式中,由于通过播放多张静止图像来显示动画71~74,因此能够减轻CPU的处理负荷。另外,在执行从第一显示画面向第二显示画面迁移的画面迁移的情况下,显示控制部130显示至作为紧挨着画面迁移之前的静止图像的迁移前图像,选择与对迁移前图像赋予的第一索引对应的第二索引。然后,显示控制部130从所选择的第二索引起开始播放第二静止图像。
在图11的例子中,显示控制部130为了用动画71显示第一对话系统112的“初始状态”而从被赋予了索引“#0”的静止图像起开始图像播放。然后,设为在显示被赋予了索引“#9”的静止图像的状态下,第一对话系统112的动作状态从“初始状态”迁移至“可受理声音状态”。显示控制部130从用于显示动画72的60张静止图像中选择被赋予了与对迁移前的静止图像赋予的索引相同的“#9”的索引的静止图像。显示控制部130使显示器10显示迁移前的静止图像直到经过迁移前静止图像的时隙为止,在经过了迁移前静止图像的时隙的时间点,从所选择的索引“#9”起开始进行用于显示动画72的图像播放。也就是说,显示控制部130在执行画面迁移的情况下,以使动画71中显示的周期性运动的特征点与动画72中显示的周期性运动的特征点保持连续性的方式来选择索引,并从所选择的索引起开始播放静止图像。
另外,在第一对话系统112的动作状态发生变化从而显示器10的显示画面进行了迁移的情况下在画面迁移的时刻从第一个索引“#0”起进行静止图像的播放的情况下,会变为波的运动在中途被间断这样的显示,会导致动画的运动看起来发生了间断。也就是说,在图11的例子中,在从第一显示画面向第二显示画面迁移的时刻,若不使索引连续而重置播放顺序,则在迁移前的静止图像与迁移后的静止图像之间特征点不对应,因此动画变为不自然的演示。
在本实施方式中,以在每个动画71~74中包含的图像之间周期性运动的特征点相对应的方式赋予索引,在画面迁移时,使索引连续地播放静止图像。由此,即使动画的演示方法改变,也能够保持动画的显示的连续性,因此能够使画面迁移之前与之后的动画为自然的演示。另外,在本实施方式中,在画面迁移时,维持使显示器10显示迁移前的静止图像的状态,在经过了迁移前静止图像的时隙的时间点切换为第二显示画面。由此,能够保持动画的连续性。
接着,说明正常地完成了由第一对话系统112进行的声音识别处理之后的显示画面。图12表示第一对话系统112识别到与POI有关的声音之后的显示器10的显示画面。例如,设为在启动第一对话系统112之后显示器10显示图6的显示画面的状态下乘员说出“咖啡厅(原文是:coffee shop)”作为与POI有关的声音。声音识别部111探测到声音“咖啡厅(原文是:coffee shop)”,执行声音识别处理。当正常地完成了声音识别处理时,对话系统控制部110根据通过声音输入的与POI(Point of Interst:兴趣点)有关的词语,判断为乘员正在寻找当前地点附近的“咖啡厅”,并向显示控制部130输出控制指令,以使显示器10显示与POI有关的引导图像80以及当前地点周边的地图90。如图12所示,引导图像80包含表示声音识别的结果的字符串81、POI信息82。字符串81是由第一对话系统112识别到的声音的字符串。在图12的例子中,显示“咖啡厅”。由此,乘员能够确认由系统识别到了怎样的声音。POI信息82示出当前地点附近的POI的名称、距当前地点的距离等与POI有关的信息。
当从显示有字符串81的图12的显示画面的状态经过了规定时间时,显示器10的显示画面迁移至图13的画面。当第一对话系统112结束了基于声音“咖啡厅(原文是:coffeeshop)”的声音识别处理时,再次变为能够受理声音的状态。在显示器10的显示画面中,在原本显示字符串81的位置显示表现“可受理声音状态”的动画72。也就是说,乘员通过在原本显示“咖啡厅”的字符串81的位置看到动画72的显示,能够确认可以发出“咖啡厅(原文是:coffee shop)”的下个声音。
当乘员例如从图13的显示画面的状态朗读POI信息82中包含的店名等时,第一对话系统112探测乘员的声音。如图14所示,在显示器10的显示画面中,随着声音探测,动画70的显示变为表现“声音探测状态”的动画73。之后,当结束声音探测并变为声音处理状态时,如图15所示,动画70的显示变为表现“声音处理状态”的动画74。由此,乘员能够一边观看POI的引导信息、地图信息,一边通过显示器10的显示来确认第一对话系统的处理状况。
在从图14的显示画面的状态未正常地完成声音处理的情况下,第一对话系统112将表示声音识别失败的意思的控制信号输出到显示控制部130。显示控制部130在图14的显示画面中的动画73的位置显示灰色的波形的动画71。由此,乘员能够通过显示器10的显示来确认声音识别失败。此外,在声音识别失败的情况下,为了促使乘员进行讲话,也可以输出“请再次输入声音(原文是:もう1度音声を入力してください)”这样的声音。
如上所述,在本实施方式中,显示控制部130根据第一对话系统112的状态来切换显示画面。也就是说,显示控制部130使如图5~图8所示那样的包含显示主消息50和示例消息的图像(相当于本发明的“第一信息显示图像”)的画面与如图12~图15所示那样的包含显示与POI有关的信息和地图信息的图像(相当于本发明的“第二信息显示图像”)的画面切换地显示于显示器10。此时,各显示画面中包含动画70的图像。而且,若将迁移前画面(相当于图5~图8所示的显示画面)与迁移后画面(相当于图12~图15所示的显示画面)进行比较,则迁移前图像中包含的动画70的显示的位置和大小与迁移后图像中包含的动画70的显示的位置和大小不同。由此,能够同时实现利用第一对话系统112进行的信息呈现和第一对话系统112的动作状态的显示。
接着,说明从第一对话系统112的“可受理声音状态”未正常地完成声音处理的情况下的显示器10的显示画面的迁移。未正常地完成声音处理的情况是指在“可受理声音状态”的状态下经过了规定时间的情况。例如,在显示器10的显示画面变为图6的画面之后乘员未说话的情况下,声音识别部111探测不到声音。在这样的状态持续了规定时间的情况下,声音识别部111判定为未正常地完成声音处理。另外,未正常地完成声音处理的情况还包括声音处理发生了异常的情况。声音识别部111对所探测到的声音执行声音识别处理。然后,声音识别部111在无法解析所输入的声音的情况下、或者在不存在符合所解析出的声音的命令61的情况下,判定为声音处理异常。这样的声音处理的异常判定的情况也符合未正常地完成声音处理的情况。
如上所述,在第一对话系统112为“可受理声音状态”的情况下,显示器10显示如图6所示的主画面。而且,在判定为未正常地完成声音处理的情况下,显示器10的显示画面变为图16所示的画面。图16示出从“可受理声音状态”未正常地完成声音处理的情况下的显示器10的显示画面。
在未正常地完成声音处理的情况下,显示控制部130使得显示如图16所示的类别画面。类别画面包含将命令进行分组而得到的类别图像。类别图像是在将多个命令进行分组的基础上用文本、图标表现组名的图像。类别图像包含类别的名称201和类别的图标202。例如,作为命令的一例,将“打电话(呼叫和/或拨号)”、“拨号(redial)”、“电话”等与电话有关的多个命令分组到1个类别“电话”中。另外,在类别的名称201的旁边显示类别的图标202。命令61的分组不限于电话,还有导航、音响等,被分组到的类别的名称和图标包含在类别画面中。另外,包含类别的名称201的图像及图标202表示使触摸操作有效的区域。也就是说,包含类别的名称201的图像和图标202兼具用于使乘员选择类别的按钮功能。例如,在乘员触摸了包含类别“电话”的名称201的图像或类别“电话”的图标的情况下,显示控制部130使显示画面从类别画面迁移至后述的列表画面。此外,主画面中显示的类别图像只要包含名称201和图标202中的至少一方的图像即可。
类别画面除了包含类别的名称201和图标202之外,还包含主消息50和动画70。动画70是表现“声音探测状态”的动画72。由声音识别部111进行的声音识别处理在显示类别画面时也有效地发挥功能,乘员能够根据动画72的显示来确认第一对话系统112的动作状态是“可受理声音状态”。
乘员在未掌握用于操作第一对话系统的声音的情况下,能够根据类别的名称201及图标202的显示来推进对话系统。另外,即使在由于噪音等而无法正常地处理声音的情况下,通过显示兼具按钮功能的类别图像(图标),乘员也能够操作对话系统。另外,兼具按钮功能的类别图像被作为利用频度高的图像显示,因此还提高便利性。并且,由于类别画面包含主消息50和动画72,因此乘员能够根据画面显示来确认能够通过与控制器100的对话推进系统。
此外,关于乘员对类别和/或列表的选择,既可以通过声音输入来进行,也可以通过其它开关操作来进行。即,在显示器10中显示类别画面的状态下,控制器100基于乘员的声音、乘员对显示器10的触摸操作以及乘员进行的开关操作中的任一者,来判定有无类别的选择即可。
在用户在类别画面中选择了类别的情况下,显示控制部130使显示器10显示如图17所示的列表画面。图17示出显示器10中显示的列表画面。
列表画面是包含被进行了分组的命令的图像,包含具有多个命令的列表300。列表300具有多个结构句310,结构句310至少具有命令61,除命令之外,还具有示例文本311。列表画面不包含动画70。结构句310以文本来显示命令61与设定值62的组合。示例文本311显示接在命令之后的设定值62的任意文本,示出分配给结构句310的字符串和数字列中的任一方的信息。例如,列表中的最上行的结构句由命令“呼叫”和示例文本“<名称>”构成。“<名称>”表示在命令之后输入人名、店铺名等设定值62。在乘员触摸了列表中的结构句310的显示的情况下,列表300的右侧显示示例文本311处输入的设定值62的例子。并且,当乘员通过双击等触摸列表中的结构句310的显示时,显示如图18所示的示例文本311处输入的设定列表。例如,在图17的显示画面中选择了列表中的最上行的结构句“呼叫<名称>”的情况下,显示如图18所示的分配给结构句310的字符串和数字列中的任一方的信息。乘员能够通过在图18的列表画面中触摸号码显示,来选择命令61以及被分配给结构句310的示例。在图18的例子中,在选择了列表中的最上行的结构句“呼叫<名称>”的情况下,控制器100既可以向列表中的被触摸的号码打电话,或者也可以使显示器10显示打电话的意思的通知。
接着,说明对话系统中的对话的模型流程的例子。图19、图20、图22~图25表示控制器100针对乘员发出的声音所回答的回答消息。在图19、图20、图22~图25中,“客户”示出由乘员发出的消息例,“INI”示出由对话系统产生的消息例。此外,图19、图20、图22~图25仅是一例,对话系统在其它模型流程下也执行对话。
图19是与空调设备41的温度设定有关的对话的模型流程。例如在乘员说出“嗨○○(原文是:ヘイ○○)”的情况下,控制器100通过机械音发出“请选择是否声音输入命令(日语消息是:コマンドを音声入力するか選択して下さい)”这样的日语消息。图19的模型流程为:例如通过在显示器10中显示图6的显示画面的状态下发出图19的“客户”一栏所示的消息,对话系统进行动作来变更空调设备41的设定温度。
图20是与POI检索有关的对话的模型流程。例如,当乘员说出唤醒词且声音被正常地进行了处理时,控制器100回答消息“请选择是否声音输入命令(原文是:コマンドを音声入力するか選択して下さい)”。接着,乘员发出包含店铺的类型等能够确定POI的词语的消息“想去目的地附近的咖啡厅(原文是:目的地近くのカフェへ行きたい)”。控制器100在识别到该消息之后,使用导航系统来进行检索,并回答消息“请从显示的列表中通过声音输入项目编号或者选择别的标签(原文是:表示されたリストから項目番号を音声入力するか、別のタブを選択してください)”。此时,显示器10中显示图21所示的显示画面。控制器100使显示器10显示与POI有关的引导图像80。控制器100也可以还一并显示地图。引导图像80包含表现“可受理声音状态”的动画72以及根据检索结果得到的POI信息82。POI信息被赋予了项目编号。乘员能够通过说出项目编号来选择POI。在图21的例子中,乘员通过说出“1(原文是:イチ)”,来选择POI“AAA”。控制器100在复述乘员所发出的声音“1(原文是:イチ)”的基础上,回答下面的选择用消息“是否变更目的地(原文是:目的地を変更しますか)”等。
图22是与目的地设定有关的对话的模型流程。图23是与声音播放有关的对话的模型流程。图24是与SMS(短消息)的发送有关的对话的模型流程。图25是与SMS(短消息)的收发有关的对话的模型流程。
如上所述,在本实施方式中,控制器100具备:对话系统控制部111,其具有识别乘员的声音的功能,控制与乘员进行对话并提供服务的对话系统;以及启动部120,其用于启动对话系统,其中,启动部120具有第一接口121和第二接口122,该第一接口121根据对方向盘开关30的操作来向对话系统输出启动指令,该第二接口122根据由乘员说出的唤醒词来向对话系统输出启动指令,第一接口121向第一对话系统112和第二对话系统32中的某一方的系统发送启动指令,第二接口122向第一对话系统112和第二对话系统32中的某一方的系统发送启动指令。由此,能够避免乘员混淆唤醒词这样的事态。
另外,在本实施方式中,由控制器100执行的对话系统控制方法包括以下步骤:基于对方向盘开关30的操作,来从第一接口121向对话系统发送启动指令;进行识别乘员的声音的声音识别处理;基于唤醒词来从第二接口122向对话系统发送启动指令;以及通过被启动的对话系统,来与乘员进行对话并提供所述服务。而且,在对话系统控制方法中,在从第一接口121发送启动指令的情况下,向第一对话系统112和第二对话系统32中的某一方的系统发送启动指令,在从第二接口122发送启动指令的情况下,向第一对话系统112和第二对话系统32中的某一方的系统发送启动指令。由此,能够避免乘员混淆唤醒词这样的事态。
另外,在本实施方式中,启动部120基于乘员的操作来将启动指令的发送目的地设定为第一对话系统112和第二对话系统32中的某一方的系统,在初始设定中,第二对话系统32被设定为启动指令的发送目的地。由此,能够不会发生混乱地启动第二对话服务。另外,在初始设定中,通过将由第一接口121和第二接口122发送的启动指令的发送目的地双方均设为第二对话系统32,更加能够不会发生混乱地启动第二对话服务。
另外,在本实施方式中,启动部120基于乘员的操作来将启动指令的发送目的地设定为第一对话系统112和第二对话系统32中的某一方的系统,在初始设定中,第一对话系统112被设定为启动指令的发送目的地。由此,能够可靠地启动重要的第一对话系统112。另外,在初始设定中,通过将由第一接口121和第二接口122发送的启动指令的发送目的地双方均设为第一对话系统112,能够更可靠地启动重要的第一对话系统112。
此外,在本实施方式中,也可以设为通信机20是控制器100的一部分,设为声音识别部111与通信机20之间的通信路径不是车内通信路径,而是声音识别部111内的通信路径。另外,第二对话系统32也可以使用声音识别引擎(相当于本发明的“第二声音识别引擎”)来进行声音处理。
此外,以上说明的实施方式是为了使本发明易于理解而记载的,并不是为了对本发明进行限定而记载的。因而,上述的实施方式中公开的各要素旨在还包括属于本发明的技术范围的全部设计变更、等同物。
附图标记说明
1:车辆;2:服务器;20:通信机;30:方向盘开关;32:第二对话系统;70:动画;100:控制器;110:对话系统控制部;111:声音识别部;112:第一对话系统;120:启动部;121:第一接口;122:第二接口;130:显示控制部。

Claims (12)

1.一种对话服务装置,用于识别车辆的乘员的声音并提供服务,所述对话服务装置具备:
对话系统控制部,其具有识别所述乘员的声音的功能,控制与所述乘员进行对话并提供所述服务的对话系统;以及
启动部,其用于启动所述对话系统,
其中,所述对话系统包括第一对话系统和第二对话系统,所述第一对话系统通过车内通信路径来向车载设备输出控制指令,并且具有第一声音识别引擎,所述第二对话系统具有与所述第一声音识别引擎不同的第二声音识别引擎,
所述启动部具有第一接口和第二接口,所述第一接口根据对所述车辆的方向盘开关的操作来向所述对话系统输出启动指令,所述第二接口根据由所述乘员说出的唤醒词来向所述对话系统输出启动指令,
所述第一接口向所述第一对话系统和所述第二对话系统中的某一方的系统发送所述启动指令,
所述第二接口向所述第一对话系统和所述第二对话系统中的某一方的系统发送所述启动指令。
2.根据权利要求1所述的对话服务装置,其中,
还具备能够与车外进行通信的通信部,
所述第一对话系统通过除了用于将所述通信部与所述对话系统之间连接的通信路径以外的所述车内通信路径来向所述车载设备输出所述控制指令,
所述第二对话系统不通过除了用于将所述通信部与所述对话系统之间连接的所述通信路径以外的所述车内通信路径向所述车载设备输出所述控制指令。
3.根据权利要求1或2所述的对话服务装置,其中,
所述第一声音识别引擎设置于所述车辆,
所述第二声音识别引擎设置于所述车辆的外部。
4.根据权利要求1~3中的任一项所述的对话服务装置,其中,
所述第一接口向所述第一对话系统发送所述启动指令。
5.根据权利要求1~4中的任一项所述的对话服务装置,其中,
所述启动部基于所述乘员的操作来将所述启动指令的发送目的地设定为所述第一对话系统和所述第二对话系统中的某一方的系统,
在初始设定中,所述第二对话系统被设定为所述启动指令的发送目的地。
6.根据权利要求1~4中的任一项所述的对话服务装置,其中,
所述启动部基于所述乘员的操作来将所述启动指令的发送目的地设定为所述第一对话系统和所述第二对话系统中的某一方的系统,
在初始设定中,所述第一对话系统被设定为所述启动指令的发送目的地。
7.根据权利要求1~4中的任一项所述的对话服务装置,其中,
所述启动部基于所述乘员的操作来将由所述第一接口发送的所述启动指令的发送目的地设定为所述第一对话系统和所述第二对话系统中的某一方的系统。
8.根据权利要求1~7中的任一项所述的对话服务装置,其中,
所述启动部基于通过所述对话系统控制部识别出的所述声音来将由所述第一接口发送的所述启动指令的发送目的地设定为所述第一对话系统和所述第二对话系统中的某一方的系统。
9.根据权利要求4~8中的任一项所述的对话服务装置,其中,
在所述启动指令的发送目的地被进行了变更的情况下,所述对话系统控制部通过声音来向所述乘员输出输出变更内容。
10.根据权利要求1~9中的任一项所述的对话服务装置,其中,
还具备控制设置于所述车辆的触摸面板式显示器的显示画面的显示控制部,
所述显示画面包含第一图标和第二图标,所述第一图标用于将用于启动所述第一对话系统的触摸操作设为有效,所述第二图标用于将用于启动所述第二对话系统的触摸操作设为有效。
11.根据权利要求1~10中的任一项所述的对话服务装置,其中,
所述对话系统控制部对控制所述车载设备中包括的空调设备、窗户、后备箱门、天窗以及滑动门中的任一者的控制单元输出所述控制指令。
12.一种对话系统控制方法,用于控制识别车辆的乘员和声音并提供服务的对话系统,所述对话系统控制方法包括以下步骤:
基于对所述车辆的方向盘开关的操作,来从第一接口向对话系统发送启动指令;
进行识别乘员的声音的声音识别处理;
基于通过所述声音识别处理识别出的唤醒词,来从第二接口向所述对话系统发送所述启动指令;以及
通过被启动的所述对话系统,来与所述乘员进行对话并提供所述服务,
其中,所述对话系统包括第一对话系统和第二对话系统,所述第一对话系统通过车内通信路径来向车载设备输出控制指令,并且具有第一声音识别引擎,所述第二对话系统具有与所述第一声音识别引擎不同的第二声音识别引擎,
在从所述第一接口发送所述启动指令的情况下,向所述第一对话系统和所述第二对话系统中的某一方的系统发送所述启动指令,
在从所述第二接口发送所述启动指令的情况下,向所述第一对话系统和所述第二对话系统中的某一方的系统发送所述启动指令。
CN202180098910.6A 2021-06-03 2021-06-03 对话服务装置和对话系统控制方法 Pending CN117396365A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021236 WO2022254669A1 (ja) 2021-06-03 2021-06-03 対話サービス装置及び対話システム制御方法

Publications (1)

Publication Number Publication Date
CN117396365A true CN117396365A (zh) 2024-01-12

Family

ID=84324040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180098910.6A Pending CN117396365A (zh) 2021-06-03 2021-06-03 对话服务装置和对话系统控制方法

Country Status (4)

Country Link
EP (1) EP4350688A4 (zh)
JP (1) JPWO2022254669A1 (zh)
CN (1) CN117396365A (zh)
WO (1) WO2022254669A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11164570B2 (en) * 2017-01-17 2021-11-02 Ford Global Technologies, Llc Voice assistant tracking and activation
JP7233918B2 (ja) * 2018-12-26 2023-03-07 アルパイン株式会社 車載装置、通信システム
JP7266418B2 (ja) * 2019-02-14 2023-04-28 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP7198122B2 (ja) * 2019-03-07 2022-12-28 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP2020144274A (ja) 2019-03-07 2020-09-10 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP7266432B2 (ja) * 2019-03-14 2023-04-28 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP2020152298A (ja) * 2019-03-22 2020-09-24 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
EP4350688A1 (en) 2024-04-10
EP4350688A4 (en) 2024-04-10
JPWO2022254669A1 (zh) 2022-12-08
WO2022254669A1 (ja) 2022-12-08

Similar Documents

Publication Publication Date Title
US10466800B2 (en) Vehicle information processing device
RU2466038C2 (ru) Система транспортного средства с функциональной возможностью помощи
KR101647848B1 (ko) 정보 입력 및 표시를 위한 운전자 보조 시스템의 멀티모드 사용자 인터페이스
EP3165994B1 (en) Information processing device
US10029723B2 (en) Input system disposed in steering wheel and vehicle including the same
WO2015128960A1 (ja) 車載制御装置および車載制御方法
CN109804429B (zh) 机动车中的多模式对话
WO2007145003A1 (ja) 車載情報装置
JP2001255890A (ja) 音声制御するための装置および方法
CN117396365A (zh) 对话服务装置和对话系统控制方法
CN117396956A (zh) 显示控制装置和显示控制方法
JP2013191979A (ja) 車載器、携帯端末および携帯端末用のプログラム
JP7323050B2 (ja) 表示制御装置及び表示制御方法
JP2005208798A (ja) 情報提供端末、および情報提供方法
WO2023272629A1 (zh) 界面的控制方法、装置和系统
WO2021234839A1 (ja) 対話予兆検知装置、および、対話予兆検知方法
US11209960B2 (en) Control method of terminal device
JP2000267695A (ja) 車載機器のリモートコントロール装置
CN116176432B (zh) 车载设备控制方法、装置、车辆和存储介质
KR20190074344A (ko) 대화 시스템 및 대화 처리 방법
US20230091894A1 (en) Display control device, display control method, and recording medium having display control program recorded thereon
JPH05207549A (ja) 車両用操作スイッチ装置
JP2002013942A (ja) 車載電子ユニット

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination