CN111824174B - 智能体装置、智能体装置的控制方法及存储介质 - Google Patents
智能体装置、智能体装置的控制方法及存储介质 Download PDFInfo
- Publication number
- CN111824174B CN111824174B CN202010215594.3A CN202010215594A CN111824174B CN 111824174 B CN111824174 B CN 111824174B CN 202010215594 A CN202010215594 A CN 202010215594A CN 111824174 B CN111824174 B CN 111824174B
- Authority
- CN
- China
- Prior art keywords
- conversation
- agent
- driver
- occupant
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 32
- 238000004378 air conditioning Methods 0.000 claims description 2
- 239000003795 chemical substances by application Substances 0.000 description 269
- 230000006870 function Effects 0.000 description 99
- 238000010586 diagram Methods 0.000 description 34
- 238000004891 communication Methods 0.000 description 23
- 239000008186 active pharmaceutical agent Substances 0.000 description 8
- 238000003058 natural language processing Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
提供一种智能体装置、智能体装置的控制方法及存储介质。智能体装置(100)具备:智能体功能部(150),其根据车辆(M)的乘员的讲话,提供包含使输出部输出通过声音进行的响应的服务;以及控制部(122),其在所述车辆的乘员中的驾驶员与所述智能体功能部正在进行会话的情况下,在与所述驾驶员不同的同乘者进行了使车室内的声响环境变化的特定设备工作的操作时,在所述会话的结束后使所述特定设备工作。
Description
技术领域
本发明涉及智能体装置、智能体装置的控制方法及存储介质。
背景技术
以往,公开了与智能体功能相关的技术,该智能体功能一边与车辆的乘员进行对话,一边提供与乘员的要求相应的驾驶支援相关的信息、车辆的控制、其他应用程序等(例如,参照日本特开2006-335231号公报)。
发明内容
发明要解决的课题
近年来,关于智能体功能向车辆的搭载,正在推进实用化,但是,关于智能体功能中的服务的提供和搭载于车辆的设备的控制,没有充分进行研究。因此,在以往的技术中,存在以对于乘员而言不优选的方案进行搭载于车辆的设备的控制的情况。
本发明的目的之一在于,提供一种能够以对于利用者而言优选的方案实现搭载于车辆的设备的控制的智能体装置、智能体装置的控制方法及存储介质。
用于解决课题的方案
本发明的智能体装置、智能体装置的控制方法及存储介质采用了以下的结构。
(1):本发明的一方案的智能体装置具备:智能体功能部,其根据车辆的乘员的讲话,提供包含使输出部输出通过声音进行的响应的服务;以及控制部,其在所述车辆的乘员中的驾驶员与所述智能体功能部正在进行会话的情况下,在与所述驾驶员不同的同乘者进行了使车室内的声响环境变化的特定设备工作的操作时,在所述会话的结束后使所述特定设备工作。
(2):在上述(1)的方案中,智能体装置还具备会话状态识别部,所述会话状态识别部识别所述驾驶员与所述智能体功能部是否正在进行会话。
(3):在上述(1)或(2)的方案中,智能体装置还具备会话状态识别部,所述会话状态识别部识别与所述智能体功能部正在进行会话的乘员是否是驾驶员。
(4):在上述(1)~(3)中的任一方案中,智能体装置还具备会话状态识别部,所述会话状态识别部委托服务器装置进行所述驾驶员与所述智能体功能部是否正在进行会话的会话识别,并基于由所述服务器装置发送的会话识别的结果,进行所述驾驶员与所述智能体功能部是否正在进行会话的识别。
(5):在上述(2)~(4)中的任一方案中,所述智能体装置还具备会话状态识别部,所述会话状态识别部委托服务器装置进行与所述智能体功能部正在进行会话的乘员是否是驾驶员的乘员识别,并基于由所述服务器装置发送的乘员识别的结果,进行所述乘员是否是驾驶员的识别。
(6):在上述(2)~(4)中的任一方案中,所谓使所述声响环境变化的所述特定设备工作的操作,是使车室内的声响环境成为难以对所述智能体功能部传递声音的环境的操作。
(7):在上述(1)~(6)中的任一方案中,在所述同乘者与所述智能体功能部正在进行会话的情况下,在所述驾驶员进行了使所述声响环境变化的特定设备工作的操作时,所述控制部不论所述会话是否结束,均使所述特定设备工作。
(8):在上述(1)~(7)中的任一方案中,所述特定设备包括空调装置、电动车窗及音响设备中的一个以上的设备。
(9):在上述(1)~(8)中的任一方案中,所述操作是通过声音输入进行的操作或对规定的开关进行的操作。
(10):在上述(1)~(9)中的任一方案中,在所述驾驶员与所述智能体功能部正在进行会话的情况下,在所述同乘者进行了使电动车窗成为打开状态或接近完全打开状态的操作时,所述控制部在所述会话的结束后使所述电动车窗工作,以使所述电动车窗成为打开状态或接近完全打开状态。
(11):在上述(1)~(10)中的任一方案中,在所述同乘者与所述智能体功能部正在进行会话的情况下,在所述驾驶员进行了使电动车窗成为打开状态或接近完全打开状态的操作时,所述控制部不论所述会话是否结束,均使所述电动车窗工作,以使所述电动车窗成为打开状态或接近完全打开状态。
(12):在上述(1)~(11)中的任一方案中,在所述驾驶员与所述智能体功能部正在进行会话的情况下,在所述同乘者进行了使空调装置运行或使所述空调装置的输出程度上升的操作时,所述控制部在所述会话的结束后使所述空调装置运行或使所述输出程度上升。
(13):在上述(1)~(12)中的任一方案中,在所述同乘者与所述智能体功能部正在进行会话的情况下,在所述驾驶员进行了使空调装置运行或使所述空调装置的输出程度上升的操作时,所述控制部不论所述会话是否结束,均使所述空调装置运行或使所述输出程度上升。
(14):在上述(1)~(13)中的任一方案中,在所述驾驶员与所述智能体功能部正在进行会话的情况下,在所述同乘者进行了使音响设备运行或使由音响设备输出的声音上升的操作时,所述控制部在所述会话的结束后根据所述操作而使所述音响设备工作。
(15):在上述(1)~(14)中的任一方案中,在所述同乘者与所述智能体功能部正在进行会话的情况下,在所述驾驶员进行了使音响设备运行或使由所述音响设备输出的声音上升的操作时,所述控制部不论所述会话是否结束,均根据所述操作而使所述音响设备工作。
(16):本发明的一方案的智能体装置的控制方法使计算机进行如下处理:使智能体功能部根据车辆的乘员的讲话而提供包含使输出部输出通过声音进行的响应的服务;以及在所述车辆的乘员中的驾驶员与所述智能体功能部正在进行会话的情况下,在与所述驾驶员不同的同乘者进行了使车室内的声响环境变化的特定设备工作的操作时,在所述会话的结束后使所述特定设备工作。
(17):本发明的一方案的存储介质存储有程序,所述程序使计算机进行如下处理:使用智能体功能部根据车辆的乘员的讲话而提供包含使输出部输出通过声音进行的响应的服务;以及在所述车辆的乘员中的驾驶员与所述智能体功能部正在进行会话的情况下,在与所述驾驶员不同的同乘者进行了使车室内的声响环境变化的特定设备工作的操作时,在所述会话的结束后使所述特定设备工作。
发明效果
根据上述(1)-(17)的方案,通过控制部在会话的结束后使特定设备工作,能够以对利用者而言优选的方案实现搭载于车辆的设备的控制。
附图说明
图1是包含智能体装置的智能体系统的结构图。
图2是示出第一实施方式的智能体装置的结构和搭载于车辆的设备的图。
图3是示出显示·操作装置的配置例的图。
图4是示出扬声器单元的配置例的图。
图5是示出智能体服务器的结构和智能体装置的结构的一部分的图。
图6是示出由智能体装置执行的处理的流程的一例的流程图。
图7是示出由驾驶员进行的特定操作和电动车窗的工作的时机的一例的图。
图8是示出由同乘者进行的特定操作和电动车窗的工作的时机的一例的图。
图9是示出由驾驶员进行的特定操作和空调装置的工作(启动)的时机的一例的图。
图10是示出由同乘者进行的特定操作和空调装置的工作的时机的一例的图。
图11是示出由驾驶员进行的特定操作和空调装置的工作的时机(使输出程度上升的时机)的一例的图。
图12是示出由同乘者进行的特定操作和空调装置的工作的时机(使输出程度上升的时机)的一例的图。
图13是示出由驾驶员进行的特定操作和音响设备的工作的时机的一例的图。
图14是示出由同乘者进行的特定操作和音响设备的工作的时机的一例的图。
图15是示出由驾驶员进行的特定操作和音响设备的工作的时机(使输出程度上升的时机)的一例的图。
图16是示出由同乘者进行的特定操作和音响设备的工作的时机(使输出程度上升的时机)的一例的图。
图17是示出由驾驶员进行的特定操作和音响设备的工作的时机(使输出程度上升的时机)的一例的图。
图18是示出第一实施方式的变形例的车辆的结构的一例的图。
图19是示出由智能体装置和智能体服务器执行的处理的一例的流程图。
附图标记说明:
1··智能体系统,20··显示·操作装置,30··扬声器单元,100··智能体装置,110··管理部,113··取得部,120··会话状态识别部,122··控制部,150··智能体功能部,152··会话状态识别部,154··控制部,200··智能体服务器。
具体实施方式
以下,参照附图,对本发明的智能体装置、智能体装置的控制方法及存储介质的实施方式进行说明。
<第一实施方式>
智能体装置是实现智能体系统的一部分或全部的装置。以下,作为智能体装置的一例,对搭载于车辆(以下,车辆M)并具备多个种类的智能体功能的智能体装置进行说明。所谓智能体功能,例如是如下功能:一边与车辆M的乘员进行对话,一边进行基于乘员的讲话中所包含的要求(指令)的各种信息提供,或者居间于网络服务。另外,智能体功能中,可以存在具有进行车辆内的设备(例如与驾驶控制、车身控制相关的设备)的控制等的功能的智能体功能。
智能体功能例如除了识别乘员的声音的声音识别功能(将声音文本化的功能)之外,还统合地利用自然语言处理功能(理解文本的构造、意思的功能)、对话管理功能、经由网络而检索其他装置或检索自身装置所持有的规定的数据库的网络检索功能等来实现。这些功能的一部分或全部可以利用AI(Artificial Intelligence)技术来实现。另外,用于进行这些功能的结构的一部分(尤其是,声音识别功能、自然语言处理解释功能)也可以搭载于能够与车辆M的车载通信装置或被带入到车辆M中的通用通信装置通信的智能体服务器(外部装置)。在以下的说明中,将结构的一部分搭载于智能体服务器且智能体装置与智能体服务器协同配合而实现智能体系统作为前提。另外,将智能体装置与智能体服务器协同配合而假想地出现的服务提供主体(服务·实体)称作智能体。
<整体结构>
图1是包含智能体装置100的智能体系统1的结构图。智能体系统1例如具备智能体装置100和多个智能体服务器200-1、200-2、200-3、…。附图标记的末尾的连字符以下的数字设为用于对智能体进行区分的标识符。在不对是哪一个智能体服务器进行区分的情况下,存在简称作智能体服务器200的情况。在图1中示出了3个智能体服务器200,但是智能体服务器200的数既可以是2个,也可以是4个以上。各智能体服务器200由互不相同的智能体系统的提供者运营。因此,本发明中的智能体是由互不相同的提供者实现的智能体。作为提供者,例如可以举出机动车制造商、网络服务商、电子商贸商、便携终端的销售者等,任意的主体(法人、团体、个人等)都能够成为智能体系统的提供者。
智能体装置100经由网络NW而与智能体服务器200通信。网络NW例如包括互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(Local Area Network)、公用线路、电话线、无线基地站等中的一部分或全部。网络NW连接有各种网页服务器300,智能体服务器200或智能体装置100能够经由网络NW而从各种网页服务器300取得网页。
智能体装置100与车辆M的乘员进行对话,将来自乘员的声音向智能体服务器200发送,将从智能体服务器200得到的回答以声音输出、图像显示的形式向乘员提示。
<第一实施方式>
[车辆]
图2是示出第一实施方式的智能体装置100的结构和搭载于车辆M的设备的图。在车辆M例如搭载有一个以上的话筒10、显示·操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员识别装置80及智能体装置100。另外,存在智能手机等通用通信装置70被带入到车室内,作为通信装置而被使用的情况。这些装置通过CAN(ControllerArea Network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。需要说明的是,图2所示的结构只不过是一例,既可以省略结构的一部分,也可以还追加别的结构。
话筒10是收集在车室内产生的声音的收音部。显示·操作装置20是显示图像并且能够接受输入操作的装置(或装置群)。显示·操作装置20例如包括作为触摸面板而构成的显示器装置。显示·操作装置20也可以还包括HUD(Head Up Display)、机械式的输入装置。扬声器单元30例如包括配设于车室内的互不相同的位置的多个扬声器(声音输出部)。显示·操作装置20也可以在智能体装置100和导航装置40间共用。关于它们的详情后述。
导航装置40具备导航HMI(Human machine Interface)、GPS(Global PositioningSystem)等位置测定装置、存储有地图信息的存储装置、及进行路径搜索等的控制装置(导航控制器)。话筒10、显示·操作装置20及扬声器单元30中的一部分或全部也可以作为导航HMI而被使用。导航装置40搜索用于从由位置测定装置确定出的车辆M的位置移动至由乘员输入的目的地的路径(导航路径),使用导航HMI而输出引导信息,以便车辆M能够沿着路径行驶。路径搜索功能也可以处于能够经由网络NW访问的导航服务器中。在该情况下,导航装置40从导航服务器取得路径而输出引导信息。需要说明的是,智能体装置100也可以以导航控制器为基础而构筑,在该情况下,导航控制器与智能体装置100硬件上构成为一体。
车辆设备50例如包括电动车窗51、空调装置52、音响设备53、开关1、开关2及开关3。以下,在不对开关1~开关3进行区分的情况下,存在称作“开关”的情况。开关1是用于操作电动车窗的开关。开关2是用于操作空调装置52的开关。开关3是用于操作音响设备53的开关。
电动车窗51基于包含乘员的指示的讲话或针对开关1所进行的操作,使车辆的车窗打开或关闭。空调装置52基于包含乘员的指示的讲话或针对开关2所进行的操作,启动或控制车室内的温度、湿度。音响设备53基于包含乘员的指示的讲话或针对开关3所进行的操作,使音响设备启动,或控制音响设备的输出。另外,车辆设备50例如包括发动机、行驶用马达等驱动力输出装置、发动机的启动马达、车门锁定装置、车门开闭装置等。
车载通信装置60例如是能够利用蜂窝网、Wi-Fi网而访问网络NW的无线通信装置。
乘员识别装置80例如包括就座传感器、车室内相机、图像识别装置等。就座传感器包括设置于座位的下部的压力传感器、安装于座椅安全带的张力传感器等。车室内相机是设置于车室内的CCD(Charge Coupled Device)相机、CMOS(Complementary Metal OxideSemiconductor)相机。图像识别装置对车室内相机的图像进行解析,识别每个座位的乘员的有无、面部朝向等。
图3是示出显示·操作装置20的配置例的图。显示·操作装置20例如包括第一显示器22、第二显示器24、操作开关ASSY26。显示·操作装置20也可以还包括HUD28。
在车辆M中,例如存在设置有转向盘SW的驾驶员座DS、和相对于驾驶员座DS设置于车宽方向(图中Y方向)的副驾驶员座AS。第一显示器22是从仪表板中的驾驶员座DS与副驾驶员座AS的中间附近延伸至与副驾驶员座AS的左端部对置的位置的横长形状的显示器装置。第二显示器24设置于驾驶员座DS与副驾驶员座AS的车宽方向上的中间附近且第一显示器22的下方。例如,第一显示器22和第二显示器24均作为触摸面板而构成,具备LCD(LiquidCrystal Display)、有机EL(Electroluminescence)、等离子体显示器等作为显示部。操作开关ASSY26是拨码开关、按钮式开关等聚集而成的。显示·操作装置20将由乘员进行了的操作的内容向智能体装置100输出。第一显示器22或第二显示器24显示的内容可以由智能体装置100决定。
图4是示出扬声器单元30的配置例的图。扬声器单元30例如包括扬声器30A~30H。扬声器30A设置于驾驶员座DS侧的窗柱(所谓的A柱)。扬声器30B设置于靠近驾驶员座DS的车门的下部。扬声器30C设置于副驾驶员座AS侧的窗柱。扬声器30D设置于靠近副驾驶员座AS的车门的下部。扬声器30E设置于靠近右侧后部座位BS1侧的车门的下部。扬声器30F设置于靠近左侧后部座位BS2侧的车门的下部。扬声器30G设置于第二显示器24的附近。扬声器30H设置于车室的顶棚(roof)。
在该配置中,例如,在专门使扬声器30A及30B输出了声音的情况下,声像会定位于驾驶员座DS附近。另外,在专门使扬声器30C及30D输出了声音的情况下,声像会定位于副驾驶员座AS附近。另外,在专门使扬声器30E输出了声音的情况下,声像会定位于右侧后部座位BS1附近。另外,在专门使扬声器30F输出了声音的情况下,声像会定位于左侧后部座位BS2附近。另外,在专门使扬声器30G输出了声音的情况下,声像会定位于车室的前方附近,在专门使扬声器30H输出了声音的情况下,声像会定位于车室的上方附近。不限定于此,扬声器单元30能够通过使用混音器、放大器调整各扬声器输出的声音的分配,来使声像定位于车室内的任意的位置。
[智能体装置]
返回图2,智能体装置100具备管理部110、智能体功能部150-1、150-2、150-3、配对应用执行部156。管理部110例如具备声响处理部112、按每个智能体WU(Wake Up)判定部114、显示控制部116、声音控制部118、会话状态识别部120、控制部122。在不对是哪一个智能体功能部进行区分的情况下,简称作智能体功能部150。示出了3个智能体功能部150,这不过是与图1中的智能体服务器200的数量对应的一例,智能体功能部150的数量既可以是2个,也可以是4个以上。图2所示的软件配置是为了说明而简易地示出,实际上,例如既可以在智能体功能部150与车载通信装置60之间介入有管理部110,也可以任意地改变。
智能体装置100的各构成要素例如通过由CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI(LargeScale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部;circuitry)来实现,也可以通过软件与硬件的协同配合来实现。程序既可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)中,也可以保存于DVD、CD-ROM等可装卸的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置而安装。
管理部110通过执行OS(Operating System)、中间件等程序而发挥功能。
管理部110的声响处理部112对被输入的声音进行声响处理,以使得成为适于识别针对每个智能体预先设定的唤醒词的状态。
按每个智能体WU判定部114与智能体功能部150-1、150-2、150-3分别对应地存在,识别针对每个智能体预先设定的唤醒词。按每个智能体WU判定部114从进行了声响处理的声音(声音流)识别声音的意思。首先,按每个智能体WU判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。按每个智能体WU判定部114也可以进行通过基于混合高斯分布模型(GMM;Gaussian mixture model)的帧单位的声音识别及非声音识别而实现的区间检测。
接着,按每个智能体WU判定部114将检测到的声音区间中的声音文本化,设为文字信息。然后,按每个智能体WU判定部114判定文本化了的文字信息是否符合唤醒词。在判定为是唤醒词的情况下,按每个智能体WU判定部114使对应的智能体功能部150启动。需要说明的是,与按每个智能体WU判定部114相当的功能也可以搭载于智能体服务器200。在该情况下,管理部110将由声响处理部112进行了声响处理的声音流向智能体服务器200发送,在智能体服务器200判定为是唤醒词的情况下,按照来自智能体服务器200的指示而智能体功能部150启动。需要说明的是,各智能体功能部150可以始终启动且自行进行唤醒词的判定。在该情况下,无需管理部110具备按每个智能体WU判定部114。
智能体功能部150与对应的智能体服务器200协同配合而使智能体出现,根据车辆M的乘员的讲话,提供包含使输出部输出通过声音进行的响应的服务。在智能体功能部150中可以包含被赋予了控制车辆设备50的权限的功能部。另外,智能体功能部150中可以存在经由配对应用执行部156而与通用通信装置70协作来与智能体服务器200通信的功能部。例如,对智能体功能部150-1赋予了控制车辆设备50的权限。智能体功能部150-1例如在控制车辆设备50的情况下,将与车辆设备50的控制相关的信息向控制部122发送,使控制部122控制车辆设备50。智能体功能部150-1经由车载通信装置60而与智能体服务器200-1通信。智能体功能部150-2经由车载通信装置60而与智能体服务器200-2通信。智能体功能部150-3经由配对应用执行部156而与通用通信装置70协作来与智能体服务器200-3通信。
配对应用执行部156例如通过Bluetooth(注册商标)与通用通信装置70进行配对,使智能体功能部150-3与通用通信装置70连接。需要说明的是,智能体功能部150-3也可以通过利用了USB(Universal Serial Bus)等的有线通信而连接于通用通信装置70。以下,存在将智能体功能部150-1与智能体服务器200-1协同配合而出现的智能体称作智能体1,将智能体功能部150-2与智能体服务器200-2协同配合而出现的智能体称作智能体2,将智能体功能部150-3与智能体服务器200-3协同配合而出现的智能体称作智能体3的情况。
显示控制部116根据由智能体功能部150进行的指示而使第一显示器22或第二显示器24显示图像。以下,设为使用第一显示器22。显示控制部116通过一部分的智能体功能部150的控制,例如生成在车室内进行与乘员的交流的拟人化了的智能体的图像(以下,称作智能体图像),使第一显示器22显示所生成的智能体图像。智能体图像例如是对乘员搭话的形态的图像。智能体图像例如可以包含至少由观看者(乘员)识别表情、面部朝向的程度的面部图像。例如,智能体图像可以是,在面部区域中呈现模仿眼睛、鼻子的部件,基于面部区域中的部件的位置而被识别表情、面部朝向。另外,智能体图像也可以是,由观看者立体地感受,通过包含三维空间的头部图像而被识别智能体的面部朝向的图像。智能体图像也可以是智能体的动作、举止、姿态等被识别并包含主体(身躯、手脚)的图像。另外,智能体图像也可以是动画图像。
声音控制部118根据由智能体功能部150进行的指示,使扬声器单元30所包含的扬声器中的一部分或全部输出声音。声音控制部118也可以进行使用多个扬声器单元30而使智能体声音的声像定位于与智能体图像的显示位置对应的位置的控制。所谓与智能体图像的显示位置对应的位置,例如是被预测为乘员感到智能体图像正在讲出智能体声音的位置,具体而言,是智能体图像的显示位置附近(例如,2~3[cm]以内)的位置。另外,所谓声像定位,例如是通过调节向乘员的左右耳传递的声音的大小来设定乘员感到的声源的空间上的位置。
会话状态识别部120识别与智能体功能部150正在进行会话的乘员是否是驾驶员。会话状态识别部120例如基于从多个话筒10分别取得且由声响处理部112进行了声响处理的声音数据(多个声音流),判定与智能体正在进行会话的用户。会话状态识别部120判定就座于哪个座位的乘员与智能体正在进行会话。例如,会话状态识别部120判定是就座于驾驶员座的驾驶员与智能体正在进行会话,还是驾驶员以外的同乘者与智能体正在进行会话。
例如,设为从与驾驶员座DS对应的话筒10A、与副驾驶员座AS对应的话筒10B、与后部座位BS1对应的话筒10C、及与后部座位BS2对应的话筒10D分别取得了声音数据。在该情况下,会话状态识别部120从4个声音数据分别提取乘员进行了讲话的声音数据。会话状态识别部120将提取出的4个声音数据进行比较,基于比较结果,判定与智能体正在进行会话的乘员。
例如设为,在车内多个用户就座于各座位的状况下,就座于后部座位BS1的乘员进行了讲话。在该情况下,离后部座位BS1的用户最近的话筒10D与其他话筒10相比,将与讲话对应的声音作为大的声音而收集的可能性高。会话状态识别部120例如将存在于与讲话对应的声音作为最大的声音而被收集到的话筒10所对应的座位的利用者,判定为与智能体正在进行会话的利用者。
另外,会话状态识别部120也可以从由声响处理部112取得了声音数据的多个话筒10中,将存在于与最快(响应速度最好)取得了声音数据的话筒对应的座位的用户,判定为与智能体正在进行会话的乘员。
例如,在由利用者向话筒10输入了用于控制车辆设备50的声音的情况下,智能体功能部150基于会话状态识别部120的判定结果,能够确定指示了车辆设备50的控制的利用者。
另外,会话状态识别部120判定操作了用于操作车辆设备50的开关的乘员。例如,会话状态识别部120基于由乘员识别装置80取得的信息,判定操作了开关的乘员。由乘员识别装置80取得的信息是表示乘员进行了针对开关的操作的信息、及表示进行了针对开关的操作的乘员的信息。例如,乘员识别装置80例如基于乘员识别装置80对车室内的情形进行拍摄而得到的图像,监视乘员的动作,在乘员进行了操作设置于规定的位置的开关的动作的情况下,向会话状态识别部120提供表示被操作了的开关及操作了开关的乘员的信息。在就座于驾驶员座的乘员针对开关进行了操作的情况下,会话状态识别部120从乘员识别装置80取得表示就座于驾驶员座的乘员操作了设置于规定的位置的开关的信息,基于所取得的信息,判定被操作了的开关和操作了开关的乘员。需要说明的是,会话状态识别部120也可以当开关被操作时由开关取得输出信号,将所取得的信号加进上述的判定中。另外,会话状态识别部120也可以进行由乘员识别装置80进行的一部分或全部的处理。
会话状态识别部120识别驾驶员与智能体功能部150是否正在进行会话。会话状态识别部120例如判定乘员与智能体的会话是否开始了。另外,会话状态识别部120例如判定乘员与智能体的会话是否结束了。例如,会话状态识别部120在由智能体功能部150提供了开始标志的情况下,判定为智能体开始会话,在由智能体功能部150提供了结束标志的情况下,判定为智能体结束会话。另外,会话状态识别部120也可以在由乘员进行的讲话或由智能体进行的讲话从最后由乘员或智能体进行了讲话时起经过了规定时间的情况下,判定为会话结束了。
控制部122基于由智能体功能部150-1提供的信息或通过开关输出的信号,使车辆设备50工作。
[智能体服务器]
图5是示出智能体服务器200的结构和智能体装置100的结构的一部分的图。以下,与智能体服务器200的结构一起,对智能体功能部150等的动作进行说明。在此,省略关于从智能体装置100到网络NW的物理上的通信的说明。
智能体服务器200具备通信部210。通信部210例如是NIC(Network InterfaceCard)等网络接口。而且,智能体服务器200例如具备声音识别部220、自然语言处理部222、对话管理部224、网络检索部226、响应文生成部228。这些构成要素例如通过由CPU等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部;circuitry)来实现,也可以通过软件与硬件的协同配合来实现。程序既可以预先保存于HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)中,也可以保存于DVD、CD-ROM等可装卸的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置而安装。
智能体服务器200具备存储部250。存储部250通过上述各种存储装置来实现。在存储部250中保存有个人简介252、字典DB(数据库)254、知识库DB256、响应规则DB258等数据、程序。
在智能体装置100中,智能体功能部150将声音流或进行了压缩、编码等处理的声音流向智能体服务器200发送。智能体功能部150在识别到能够进行本地处理(不经由智能体服务器200的处理)的声音指令的情况下,可以进行通过声音指令要求的处理。所谓能够进行本地处理的声音指令,是通过参照智能体装置100所具备的存储部(未图示)而能够回答的声音指令,在智能体功能部150-1的情况下是控制车辆设备50的声音指令(例如,打开空调装置的指令等)。因此,智能体功能部150也可以具有智能体服务器200所具备的功能的一部分。
智能体装置100当取得声音流后,声音识别部220进行声音识别并将文本化了的文字信息输出,自然语言处理部222针对文字信息一边参照字典DB254一边进行意思解释。字典DB254中,对于文字信息,抽象化了的意思信息建立了对应关系。字典DB254也可以包含同义词、近义词的一览信息。声音识别部220的处理和自然语言处理部222的处理可以不明确分阶段,而是接受自然语言处理部222的处理结果而声音识别部220修正识别结果等相互影响地进行。
自然语言处理部222例如在识别到“今天的天气是”、“天气怎么样”等意思作为识别结果的情况下,生成置换为标准文字信息“今天的天气”的指令。由此,在请求的声音存在了表述差异的情况下,也能够容易进行与要求相符的对话。另外,自然语言处理部222例如也可以使用利用了概率的机器学习处理等人工智能处理来识别文字信息的意思,或者生成基于识别结果的指令。
对话管理部224基于自然语言处理部222的处理结果(指令),一边参照个人简介252、知识库DB256、响应规则DB258,一边决定针对车辆M的乘员的讲话的内容。个人简介252包含针对每个乘员保存着的乘员的个人信息、兴趣偏好、过去的对话的履历等。知识库DB256是规定了事物的关系性的信息。响应规则DB258是规定了针对指令而智能体应该进行的动作(回答、设备控制的内容等)的信息。
另外,对话管理部224也可以通过使用从声音流得到的特征信息而与个人简介252进行对照,来确定乘员。在该情况下,个人简介252中,例如声音的特征信息与个人信息建立了对应关系。所谓声音的特征信息,例如是与声音的高度、语调、节奏(声音的高低的模式)等说话方式的特征、基于梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficients)等的特征量相关的信息。声音的特征信息例如是在乘员的初始登记时使乘员对规定的单词、文章等进行发声,通过识别发出的声音而得到的信息。
对话管理部224在指令是要求能够经由网络NW而检索的信息的指令的情况下,使网络检索部226进行检索。网络检索部226经由网络NW而访问各种网页服务器300,取得期望的信息。所谓“能够经由网络NW而检索的信息”,例如是处于车辆M的周边的餐厅的由一般用户评价的评价结果,或者是与当天的车辆M的位置相应的天气预报。
响应文生成部228以使得由对话管理部224决定出的讲话的内容向车辆M的乘员传达的方式生成响应文,并将所生成的响应文向智能体装置100发送。响应文生成部228也可以在确定了乘员是在个人简介中登记了的乘员的情况下,呼叫乘员的名字,或者生成模仿乘员的说话方式的说话方式的响应文。
智能体功能部150当取得响应文后,指示声音控制部118进行声音合成并输出声音。另外,智能体功能部150指示显示控制部116与声音输出相配合地显示智能体的图像。这样,假想地出现的智能体对车辆M的乘员进行响应的智能体功能得以实现。
[特定设备的控制的概要]
控制部122在车辆M的乘员中的驾驶员与智能体功能部150正在进行会话的情况下,在与驾驶员不同的同乘者进行了使车室内的声响环境变化的特定设备工作的操作时,在会话的结束后使特定设备工作。存在将该控制称作“特定控制”的情况。
所谓“特定设备”,例如是存在使车室内的声响环境变化的可能性的设备。所谓“车室内的声响环境”,例如是车室内的声音的回响程度、回响着的声音的分布、声音的大小的分布等与声响相关的环境。所谓“使声响环境变化的特定设备工作的操作”,是存在通过特定设备运行或特定设备的运行状态变化而特定设备运行或特定设备的运行状态变化之前的车辆内的声响环境变化的可能性的操作(以下称作特定操作)。
“特定操作”例如是使车室内的声响环境变化为声音难以向智能体功能部150传递的环境的操作。特定操作例如是使车室内的声音上升的操作。另外,“特定操作”既可以是基于声音输入的操作,也可以是针对规定的开关的操作。所谓特定设备,例如包括空调装置、电动车窗或音响设备等。
[流程图]
图6是示出由智能体装置100执行的处理的流程的一例的流程图。本处理既可以在智能体功能部150-1启动着时进行,也可以在多个智能体功能部150中的一个以上的智能体功能部150启动着的情况下进行。
首先,控制部122判定是否进行了特定设备的特定操作(步骤S100)。例如,在进行了使用开关的特定操作的情况下,控制部122基于根据针对开关的特定操作而发送的信号,判定为进行了特定操作。例如,在进行了基于声音的输入的特定操作的情况下,控制部122基于由智能体功能部150发送的信息而判定为进行了特定操作。
会话状态识别部120判定操作是否是由同乘者进行的操作(步骤S102)。在判定为不是由同乘者进行的操作的情况下(是驾驶员的操作的情况下),进入步骤S110的处理。在同乘者与智能体会话中,驾驶员要使声响环境变化的特定设备工作的情况下,不论会话是否结束,特定设备均工作。
在判定为是由同乘者进行的操作的情况下,会话状态识别部120判定由同乘者进行的操作是否是特定操作(步骤S104)。在由同乘者进行的操作不是特定操作的情况下,进入步骤S110的处理。
在由同乘者进行的操作是特定操作的情况下,会话状态识别部120判定乘员与智能体是否正在进行会话(步骤S106)。在乘员没有与智能体正在进行会话的情况下,进入步骤S110的处理。
在乘员与智能体正在进行会话的情况下,会话状态识别部120判定乘员与智能体的会话是否结束了(步骤S108)。在乘员与智能体的会话结束了的情况下,控制部122针对操作对象执行与步骤S100的操作相应的控制(步骤S110)。由此本流程图的处理结束。
通过上述的处理,控制部122在驾驶员进行了特定操作的情况下,无论有无乘员与智能体的会话,都执行与特定操作相应的控制,在驾驶员与智能体正在进行会话的情况下,在乘员与智能体的会话结束了之后,执行与特定操作相应的控制。
例如,在驾驶员对智能体进行了包含与车辆的控制相关的指示的讲话的情况下,若该会话被妨碍,则存在给车辆的控制带来影响的情况。与此相对,在本实施方式中,以不会给驾驶员与智能体的会话带来影响的方式,特定设备工作。其结果是,以对于驾驶员而言优选的方案进行电动车窗的控制。
以下,对电动车窗、空调装置及音响设备被控制的情况进行说明。
[电动车窗的控制]
图7是示出由驾驶员进行的特定操作和电动车窗的工作的时机的一例的图。图7的横轴示出了时间。图7的纵轴示出了与(A)~(C)相关的事项。(A)表示智能体与驾驶员(或智能体与同乘者)是正在会话中,还是处于没有正在会话的状态。(B)表示是由驾驶员进行了特定操作还是没有进行。图7中的特定操作是使电动车窗的车窗自动(一键式)完全打开的操作。例如是驾驶员以声音向话筒10输入“将车窗完全打开”的操作。(C1)表示电动车窗是正在工作还是没有正在工作。
设为从时刻T1以前,智能体与驾驶员的会话正在进行。当在时刻T1进行特定操作后,在时刻T+1电动车窗工作,之后,车窗成为完全打开。即,不论会话是否结束,电动车窗41均进行工作以成为打开状态或接近完全打开状态。
这样,在驾驶员与智能体正在进行会话的情况下,由驾驶员进行的针对电动车窗的特定操作不受限制。以对于驾驶员而言优选的方案进行电动车窗的控制。
图8是示出由同乘者进行的特定操作和电动车窗的工作的时机的一例的图。关于与图7同样的说明省略。图7的纵轴示出与(a)~(c)相关的事项。(a)表示智能体与驾驶员是正在会话中,还是处于没有正在会话的状态。(b)表示是由同乘者进行了特定操作还是没有进行。图8中的特定操作与图7的特定操作同样。(c1)与图7的(C1)同样。
当在时刻T1进行特定操作后,在会话刚结束后的时刻T1+2,电动车窗工作,之后,车窗成为完全打开。即,在会话的结束后,电动车窗41进行工作以成为打开状态或接近完全打开状态。
这样,在驾驶员与智能体正在进行会话的情况下,在驾驶员与智能体的会话的结束后控制电动车窗。即,以对于驾驶员而言优选的方案进行电动车窗的控制。
[空调装置的控制(其一)]
图9是示出由驾驶员进行的特定操作和空调装置的工作(启动)的时机的一例的图。关于与图7同样的说明省略。图9中的特定操作是使空调装置工作的操作(成为打开状态的操作)。例如是驾驶员以声音向话筒10输入“打开制冷”或“车室内热”的操作。(C2)表示空调装置是正在工作还是没有正在工作。
设为从时刻T2以前,智能体与驾驶员的会话正在进行。当在时刻T2进行特定操作后,在时刻T2+1空调装置开始工作。即,不论会话是否结束,空调装置42均运行。
图10是示出由同乘者进行的特定操作和空调装置的工作的时机的一例的图。关于与图9同样的说明省略。图10中的特定操作与图9的特定操作同样。(c2)与图9的(C2)同样。
当在时刻T2进行特定操作后,在会话刚结束后的时刻T2+2,空调装置工作。即,在会话的结束后,空调装置42运行。
这样,在驾驶员与智能体正在进行会话的情况下,由驾驶员进行的针对空调装置的特定操作不受限制,由同乘者进行的针对空调装置的特定操作受到限制,在驾驶员与智能体的会话的结束后,空调装置被控制。即,以对于驾驶员而言优选的方案进行空调装置的控制。
[空调装置的控制(其二)]
图11是示出由驾驶员进行的特定操作和空调装置的工作的时机(使输出程度上升的时机)的一例的图。关于与图9同样的说明省略。图11中的特定操作是在使空调装置工作着的状态下使空调装置的输出程度上升的操作。例如是驾驶员以声音向话筒10输入“将制冷的设定温度降低ο度”或“将制热的温度提高Δ度”的操作。(C3)表示空调装置是正在工作还是没有正在工作。另外,(C3)中的带的粗细表示输出程度的大小。带越粗则输出程度越大。
设为从时刻T3以前,智能体与驾驶员的会话正在进行。当在时刻T3进行特定操作后,在时刻T3+1空调装置的输出程度上升。即,不论会话是否结束,空调装置42的输出程度均上升。
图12是示出由同乘者进行的特定操作和空调装置的工作的时机(使输出程度上升的时机)的一例的图。关于与图11同样的说明省略。图12中的特定操作与图11的特定操作同样。(c3)与图11的(C3)同样。
当在时刻T3进行特定操作后,在会话刚结束后的时刻T3+2,空调装置的输出程度上升。即,在会话的结束后,空调装置42的输出程度上升。
这样,在驾驶员与智能体正在进行会话的情况下,由驾驶员进行的针对空调装置的特定操作不受限制,由同乘者进行的针对空调装置的特定操作受到限制,在驾驶员与智能体的会话的结束后,空调装置被控制。即,以对于驾驶员而言优选的方案进行空调装置的控制。
[音响设备的控制(其一)]
图13是示出由驾驶员进行的特定操作和音响设备的工作的时机的一例的图。关于与图7同样的说明省略。图13中的特定操作是使音响设备工作而向车室内放音乐的操作。例如是驾驶员以声音向话筒10输入“用音响设备放音乐”的操作。(C4)表示音响设备是正在工作而放音乐还是没有正在放音乐。
设为从时刻T4以前,智能体与驾驶员的会话正在进行。当在时刻T4进行特定操作后,在时刻T4+1音响设备工作而向车室内放音乐。即,不论会话是否结束,音响设备43均运行而输出声音。
图14是示出由同乘者进行的特定操作和音响设备的工作的时机的一例的图。关于与图11同样的说明省略。图14中的特定操作与图13的特定操作同样。(c4)与图13的(C4)同样。
当在时刻T4进行特定操作后,在会话刚结束后的时刻T4+2,音响设备工作而向车室内放音乐。即,在会话的结束后,音响设备43运行而输出声音。
这样,在驾驶员与智能体正在进行会话的情况下,由驾驶员进行的针对音响设备的特定操作不受限制,由同乘者进行的针对音响设备的特定操作受到限制,在驾驶员与智能体的会话的结束后,音响设备工作。即,以对于驾驶员而言优选的方案进行音响设备的控制。
[音响设备的控制(其二)]
图15是示出由驾驶员进行的特定操作和音响设备的工作的时机(使输出程度上升的时机)的一例的图。关于与图13同样的说明省略。图15中的特定操作是在使音响设备工作着的状态下使音响设备输出的音乐的声音上升的操作。例如是驾驶员以声音向话筒10输入“增大音乐的声音”的操作。(C5)表示音响设备是正在工作还是没有正在工作。另外,(C5)中的带的粗细表示音响设备输出的声音的大小。带越粗则输出程度越大。
设为从时刻T5以前,智能体与驾驶员的会话正在进行。当在时刻T5进行特定操作后,在时刻T5+1音响设备输出的声音变大。即,不论会话是否结束,音响设备均使输出程度上升,放出更大的声音。
图16是示出由同乘者进行的特定操作和音响设备的工作的时机(使输出程度上升的时机)的一例的图。关于与图15同样的说明省略。图16中的特定操作与图15的特定操作同样。(c5)与图15的(C5)同样。
当在时刻T5进行特定操作后,在会话刚结束后的时刻T5+2,音响设备输出的声音变大。即,会话的结束后,音响设备43使输出程度上升,放出更大的声音。
这样,在驾驶员与智能体正在进行会话的情况下,由驾驶员进行的针对音响设备的特定操作不受限制,由同乘者进行的针对音响设备的特定操作受到限制,在驾驶员与智能体的会话的结束后,音响设备被控制。即,以对于驾驶员而言优选的方案进行音响设备的控制。
[音响设备的控制(其三)]
图17是示出由驾驶员进行的特定操作和音响设备的工作的时机(使输出程度上升的时机)的一例的图。关于与图16同样的说明省略。当在时刻T5进行特定操作后,在时刻T5+2音响设备输出的声音变大。之后,当在时刻T5+3智能体与驾驶员的会话开始后,在刚过时刻T5+3之后,由音响设备输出的声音的大小变得比到时刻T5+2~T5+3为止的声音的大小小。例如,在刚过时刻T5+3之后由音响设备输出的声音的大小是智能体能够精度良好地识别驾驶员的讲话的内容那样的声音的大小。另外,在刚过时刻T5+3之后由音响设备输出的声音的大小是乘员能够识别由智能体提供的声音那样的声音的大小。
这样,在驾驶员与智能体正在进行会话的情况下,由同乘者进行的针对音响设备的特定操作受到限制,在驾驶员与智能体没有正在进行会话的情况下,音响设备的输出程度上升。即,以对于驾驶员而言优选的方案进行音响设备的控制。
在图17的例子中,设为进行针对音响设备的特定操作来进行了说明,但是,也可以取代此(除此之外还)在进行了针对车窗的特定操作或针对空调装置的特定操作的情况下,也进行如图17所示的处理。例如,在车窗正在进行工作的情况下,在会话刚开始之后,车窗的动作也可以停止。另外,例如,在空调装置正在以阈值以上的输出程度工作的情况下,在会话刚开始之后,空调装置也可以以小于阈值的输出程度工作。
需要说明的是,在如上述那样进行特定控制的情况下,也可以以进行了特定操作的驾驶员以外的特定乘员能够识别那样的方案(驾驶员无法识别那样的方案或不妨碍驾驶员与智能体的会话那样的方案),向进行了特定操作的特定乘员提供表示特定操作会在会话结束后进行的信息。例如,智能体功能部150也可以使与进行了特定操作的特定乘员对应的扬声器(离进行了特定操作的特定乘员最近地设置的扬声器)向特定乘员提供表示与特定操作相应的控制会在会话结束后进行的信息。
另外,在车室内针对每个座位设置有显示部的情况下,也可以使在进行了特定操作的特定乘员所就座的座位设置的显示部显示表示在会话结束后会进行与特定操作相应的控制的信息。
另外,驾驶员也可以设定是否进行特定控制。例如,也可以在驾驶员对车辆设定了不进行特定控制的情况下,不进行特定控制。另外,驾驶员也可以针对就座于规定的座位的乘员进行的特定操作设定为不执行特定控制。
根据以上说明的第一实施方式,控制部122在驾驶员与智能体功能部150的会话中,在同乘者进行了使车室内的声响环境变化的特定设备工作的操作的情况下,在会话的结束后使特定设备工作,由此,以对于利用者而言优选的方案进行搭载于车辆的设备的控制。
<第一实施方式的变形例(1)>
在第一实施方式的变形例中,智能体功能部150-1具备会话状态识别部152和控制部154。另外,在管理部110A中省略了会话状态识别部120和控制部122。以下,对与第一实施方式的车辆M的不同点进行说明。
图18是示出第一实施方式的变形例的车辆M1的结构的一例的图。会话状态识别部152与会话状态识别部120具有同样的功能,控制部152与控制部122具有同样的功能。例如,控制部154在驾驶员与智能体功能部150正在进行会话的情况下,在与驾驶员不同的同乘者进行了使车室内的声响环境变化的特定设备工作的操作时,在会话的结束后使特定设备工作。
根据以上说明的第一实施方式的变形例,起到与第一实施方式同样的效果。
<第一实施方式的变形例(2)>
会话状态识别部152也可以委托智能体服务器200或其他服务器装置进行与智能体功能部150正在进行会话的乘员是否是驾驶员的识别。会话状态识别部120也可以将驾驶员与智能体功能部150是否正在进行会话的识别委托。在该情况下,智能体服务器或其他服务器装置具有与在第一实施方式中进行了说明的会话状态识别部120所具有的功能同样的功能。存在将是否是驾驶员的识别的委托或驾驶员与智能体功能部150是否正在进行会话的识别的委托称作“识别委托”的情况。
图19是示出由智能体装置100和智能体服务器200执行的处理的一例的流程图。对以声音进行了特定操作的情况下的处理进行说明。另外,图19的步骤S100、步骤S102~S110的处理是与图6的处理同样的说明,所以省略说明。
首先,当以声音进行了特定操作时,会话状态识别部120将基于所取得的声音(或在没有进行讲话的情况下是车室内的环境音)的声音数据向智能体服务器200发送(步骤S101)。接着,智能体服务器200对在步骤S101中发送的声音数据进行解析,导出与识别委托相应的识别结果,将所导出的识别结果向智能体装置100发送(步骤S200)。接着,智能体装置100基于在步骤S200中发送的识别结果,进行以后的处理。
根据以上说明的第二实施方式,智能体装置100委托智能体服务器200进行特定操作的操作主体或会话是否结束了的判定,基于由智能体服务器200提供的识别结果,执行特定控制,由此,以对于利用者而言优选的方案实现搭载于车辆的设备的控制。
以上使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。
Claims (17)
1.一种智能体装置,其中,
所述智能体装置具备:
智能体功能部,其根据车辆的乘员的讲话,提供包含使输出部输出通过声音进行的响应的服务;以及
控制部,其在所述车辆的乘员中的驾驶员与所述智能体功能部正在进行会话的情况下,在与所述驾驶员不同的同乘者进行了使车室内的声响环境变化的特定设备工作的操作时,在所述会话的结束后使所述特定设备工作。
2.根据权利要求1所述的智能体装置,其中,
所述智能体装置还具备会话状态识别部,所述会话状态识别部识别所述驾驶员与所述智能体功能部是否正在进行会话。
3.根据权利要求1或2所述的智能体装置,其中,
所述智能体装置还具备会话状态识别部,所述会话状态识别部识别与所述智能体功能部正在进行会话的乘员是否是驾驶员。
4.根据权利要求1或2所述的智能体装置,其中,
所述智能体装置还具备会话状态识别部,所述会话状态识别部委托服务器装置进行所述驾驶员与所述智能体功能部是否正在进行会话的会话识别,并基于由所述服务器装置发送的会话识别的结果,进行所述驾驶员与所述智能体功能部是否正在进行会话的识别。
5.根据权利要求1或2所述的智能体装置,其中,
所述智能体装置还具备会话状态识别部,所述会话状态识别部委托服务器装置进行与所述智能体功能部正在进行会话的乘员是否是驾驶员的乘员识别,并基于由所述服务器装置发送的乘员识别的结果,进行所述乘员是否是驾驶员的识别。
6.根据权利要求1或2所述的智能体装置,其中,
所谓使所述声响环境变化的所述特定设备工作的操作,是使车室内的声响环境成为难以对所述智能体功能部传递声音的环境的操作。
7.根据权利要求1或2所述的智能体装置,其中,
在所述同乘者与所述智能体功能部正在进行会话的情况下,在所述驾驶员进行了使所述声响环境变化的特定设备工作的操作时,所述控制部不论所述会话是否结束,均使所述特定设备工作。
8.根据权利要求1或2所述的智能体装置,其中,
所述特定设备包括空调装置、电动车窗及音响设备中的一个以上的设备。
9.根据权利要求1或2所述的智能体装置,其中,
所述操作是通过声音输入进行的操作或对规定的开关进行的操作。
10.根据权利要求1或2所述的智能体装置,其中,
在所述驾驶员与所述智能体功能部正在进行会话的情况下,在所述同乘者进行了以使车室内的声音上升的方式使电动车窗成为打开状态的电动车窗打开操作时,所述控制部在所述会话的结束后使所述电动车窗工作而进行所述电动车窗打开操作,以使所述电动车窗成为打开状态。
11.根据权利要求1或2所述的智能体装置,其中,
在所述同乘者与所述智能体功能部正在进行会话的情况下,在所述驾驶员进行了以使车室内的声音上升的方式使电动车窗成为打开状态的电动车窗打开操作时,所述控制部不论所述会话是否结束,均使所述电动车窗工作而进行所述电动车窗打开操作,以使所述电动车窗成为打开状态。
12.根据权利要求1或2所述的智能体装置,其中,
在所述驾驶员与所述智能体功能部正在进行会话的情况下,在所述同乘者进行了使空调装置运行或使所述空调装置的输出程度上升的操作时,所述控制部在所述会话的结束后使所述空调装置运行或使所述输出程度上升。
13.根据权利要求1或2所述的智能体装置,其中,
在所述同乘者与所述智能体功能部正在进行会话的情况下,在所述驾驶员进行了使空调装置运行或使所述空调装置的输出程度上升的操作时,所述控制部不论所述会话是否结束,均使所述空调装置运行或使所述输出程度上升。
14.根据权利要求1或2所述的智能体装置,其中,
在所述驾驶员与所述智能体功能部正在进行会话的情况下,在所述同乘者进行了使音响设备运行或使由音响设备输出的声音上升的操作时,所述控制部在所述会话的结束后根据所述操作而使所述音响设备工作。
15.根据权利要求1或2所述的智能体装置,其中,
在所述同乘者与所述智能体功能部正在进行会话的情况下,在所述驾驶员进行了使音响设备运行或使由所述音响设备输出的声音上升的操作时,所述控制部不论所述会话是否结束,均根据所述操作而使所述音响设备工作。
16.一种智能体装置的控制方法,其中,
所述智能体装置的控制方法使计算机进行如下处理:
使智能体功能部根据车辆的乘员的讲话而提供包含使输出部输出通过声音进行的响应的服务;以及
在所述车辆的乘员中的驾驶员与所述智能体功能部正在进行会话的情况下,在与所述驾驶员不同的同乘者进行了使车室内的声响环境变化的特定设备工作的操作时,在所述会话的结束后使所述特定设备工作。
17.一种存储介质,其中,
所述存储介质存储有程序,所述程序使计算机进行如下处理:
使用智能体功能部根据车辆的乘员的讲话而提供包含使输出部输出通过声音进行的响应的服务;以及
在所述车辆的乘员中的驾驶员与所述智能体功能部正在进行会话的情况下,在与所述驾驶员不同的同乘者进行了使车室内的声响环境变化的特定设备工作的操作时,在所述会话的结束后使所述特定设备工作。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057644A JP2020157854A (ja) | 2019-03-26 | 2019-03-26 | エージェント装置、エージェント装置の制御方法、およびプログラム |
JP2019-057644 | 2019-03-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111824174A CN111824174A (zh) | 2020-10-27 |
CN111824174B true CN111824174B (zh) | 2024-07-19 |
Family
ID=72641341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010215594.3A Active CN111824174B (zh) | 2019-03-26 | 2020-03-24 | 智能体装置、智能体装置的控制方法及存储介质 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020157854A (zh) |
CN (1) | CN111824174B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016161754A (ja) * | 2015-03-02 | 2016-09-05 | クラリオン株式会社 | 車載装置 |
CN108399916A (zh) * | 2018-01-08 | 2018-08-14 | 蔚来汽车有限公司 | 车载智能语音交互系统和方法、处理装置和存储装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3446805B2 (ja) * | 1997-08-18 | 2003-09-16 | 本田技研工業株式会社 | 車両用音声入力装置 |
DE602004017955D1 (de) * | 2004-01-29 | 2009-01-08 | Daimler Ag | Verfahren und System zur Sprachdialogschnittstelle |
JP6558180B2 (ja) * | 2015-09-28 | 2019-08-14 | 株式会社デンソー | 情報提供装置及び情報提供制御プログラム |
-
2019
- 2019-03-26 JP JP2019057644A patent/JP2020157854A/ja active Pending
-
2020
- 2020-03-24 CN CN202010215594.3A patent/CN111824174B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016161754A (ja) * | 2015-03-02 | 2016-09-05 | クラリオン株式会社 | 車載装置 |
CN108399916A (zh) * | 2018-01-08 | 2018-08-14 | 蔚来汽车有限公司 | 车载智能语音交互系统和方法、处理装置和存储装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020157854A (ja) | 2020-10-01 |
CN111824174A (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111661068B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP7266432B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111661065B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111667824A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP2020144081A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020149106A (ja) | エージェント装置、エージェントシステム、サーバ装置、エージェント装置の制御方法、およびプログラム | |
CN111559328B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US11542744B2 (en) | Agent device, agent device control method, and storage medium | |
CN111746435B (zh) | 信息提供装置、信息提供方法及存储介质 | |
JP7340943B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111717142A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111724777A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP2020144264A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111724778B (zh) | 车载装置、车载装置的控制方法及存储介质 | |
CN111559317B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111667823B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111754999B (zh) | 智能体装置及其控制方法、智能体系统、存储介质 | |
CN111824174B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP2020152298A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020160848A (ja) | サーバ装置、情報提供システム、情報提供方法、およびプログラム | |
JP2020160133A (ja) | エージェントシステム、エージェントシステムの制御方法、およびプログラム | |
JP2020157853A (ja) | 車載エージェントシステム、車載エージェントシステムの制御方法、およびプログラム | |
JP2020148583A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020142758A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020160108A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |