CN111559328B - 智能体装置、智能体装置的控制方法及存储介质 - Google Patents
智能体装置、智能体装置的控制方法及存储介质 Download PDFInfo
- Publication number
- CN111559328B CN111559328B CN202010087592.0A CN202010087592A CN111559328B CN 111559328 B CN111559328 B CN 111559328B CN 202010087592 A CN202010087592 A CN 202010087592A CN 111559328 B CN111559328 B CN 111559328B
- Authority
- CN
- China
- Prior art keywords
- agent
- unit
- vehicle
- occupant
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 175
- 230000004044 response Effects 0.000 claims abstract description 26
- 239000003795 chemical substances by application Substances 0.000 claims description 267
- 238000012545 processing Methods 0.000 claims description 24
- 239000013543 active substance Substances 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 238000004891 communication Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 238000003058 natural language processing Methods 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/20—Steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/21—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/215—Selection or confirmation of options
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
提供一种智能体装置、智能体装置的控制方法及存储介质。智能体装置具备:多个智能体功能部,各智能体功能部根据车辆的乘员的讲话,将包含通过声音进行的响应的服务向所述乘员提供;以及管理部,其在所述多个智能体功能部中的任意智能体功能部处于起动中、且由所述车辆的乘员进行了在所述多个智能体功能部之间共通的规定的操作的情况下,使起动中的所述智能体功能部停止。
Description
相关申请的交叉引用
本申请基于在2019年2月14日申请的日本专利申请第2019-024647号来主张优先权,将其内容援用于此。
技术领域
本发明涉及智能体装置、智能体装置的控制方法及存储介质。
背景技术
以往,公开了与智能体功能相关的技术,该智能体功能一边与车辆的乘员进行对话,一边提供与乘员的要求相应的驾驶支援相关的信息、车辆的控制、其他应用等(日本特开2006-335231号公报)。
发明内容
近年来,关于多个智能体功能向车辆的搭载,正在推进实用化,但是,关于该情况下的智能体功能的停止的方法,研究得不够充分。因此,在以往的技术中,特别是在停止的方法针对每个智能体功能而不同的情况下,存在要求乘员进行繁杂的操作的情况。
本发明的方案是考虑这样的情形而完成的,其目的之一在于,提供一种能够提高操作性的智能体装置、智能体装置的控制方法及存储介质。
本发明的智能体装置、智能体装置的控制方法及存储介质采用了以下的结构。
(1):本发明的一方案的智能体装置,具备:多个智能体功能部,各智能体功能部根据车辆的乘员的讲话,提供包含通过声音进行的响应的服务;以及管理部,其在所述多个智能体功能部中的任意智能体功能部处于起动中、且由所述车辆的乘员进行了在所述多个智能体功能部之间共通的规定的操作的情况下,使起动中的所述智能体功能部停止。
(2):在上述(1)的方案中,对所述多个智能体功能部分别设定有单独的结束方法,所述管理部在由所述车辆的乘员进行了所述规定的操作的情况下,通过模拟地执行与起动中的所述智能体功能部关联的单独的结束方法,来使起动中的所述智能体功能部停止。
(3):在上述(1)的方案中,所述管理部在所述多个智能体功能部均未起动、且由所述车辆的乘员进行了所述规定的操作的情况下,使所述多个智能体功能部中的一部分或全部成为接受所述乘员的讲话的状态。
(4):在上述(1)的方案中,所述规定的操作是对车室内的物理的操作部进行的操作。
(5):在上述(4)的方案中,所述操作部设置于所述车辆的转向盘。
(6):在上述(1)的方案中,在所述车辆设置有显示与起动中的所述智能体功能部关联的图像的显示部。
(7):本发明的另一方案的智能体装置具备多个智能体功能部,所述多个智能体功能部分别根据车辆的乘员的讲话,提供包含通过声音进行的响应的服务,所述多个智能体功能部分别在自身处于起动中的情况下,在由所述车辆的乘员进行了在所述多个智能体功能部之间共通的规定的操作时,停止动作。
(8):本发明的另一方案的智能体装置的控制方法使计算机执行如下处理:使多个智能体功能部中的任意智能体功能部起动;作为起动了的所述智能体功能部的功能,根据车辆的乘员的讲话,提供包含通过声音进行的响应的服务;以及在所述多个智能体功能部中的任意智能体功能部处于起动中、且由所述车辆的乘员进行了在所述多个智能体功能部之间共通的规定的操作的情况下,使起动中的所述智能体功能部停止。
(9):本发明的另一方案的存储介质存储有如下程序,所述程序使计算机执行如下处理:使多个智能体功能部中的任意智能体功能部起动;作为起动了的所述智能体功能部的功能,根据车辆的乘员的讲话,提供包含通过声音进行的响应的服务;以及在所述多个智能体功能部中的任意智能体功能部处于起动中、且由所述车辆的乘员进行了在所述多个智能体功能部之间共通的规定的操作的情况下,使起动中的所述智能体功能部停止。
根据(1)~(9)的方案,能够提高操作性。
附图说明
图1是示出包含智能体装置的智能体系统的结构的图。
图2是示出实施方式的智能体装置的结构和搭载于车辆的设备的图。
图3是示出显示·操作装置的配置例的图。
图4是示出针对每个智能体设定的睡眠词的一例的图。
图5是用于说明智能体图像的一例的图。
图6是示出智能体服务器的结构和智能体装置的结构的一部分的图。
图7是用于说明实施方式的智能体装置的一系列处理的流程的流程图。
图8是用于说明实施方式的智能体装置的动作的图。
具体实施方式
以下,参照附图,对本发明的智能体装置、智能体装置的控制方法及程序的实施方式进行说明。智能体装置是实现智能体系统的一部分或全部的装置。以下,作为智能体装置的一例,对搭载于车辆(以下,车辆M)并具备多个种类的智能体功能的智能体装置进行说明。所谓智能体功能,例如是如下功能:一边与车辆M的乘员进行对话,一边执行基于乘员的讲话中所包含的要求(指令)进行的各种信息提供,或者居间纳入网络服务。多个种类的智能体各自起到的功能、处理步骤、控制、输出形态·内容也可以分别不同。智能体功能中,也可以具有进行车辆内的设备(例如与驾驶控制、车身控制相关的设备)的控制等的功能。
智能体功能例如除了识别乘员的声音的声音识别功能(将声音文本化的功能)之外,还综合地利用自然语言处理功能(理解文本的构造、意思的功能)、对话管理功能、经由网络而检索其他装置或检索自身装置所持有的规定的数据库的网络检索功能等来实现。这些功能的一部分或全部可以利用AI(Artificial Intelligence)技术来实现。用于发挥这些功能的结构的一部分(尤其是,声音识别功能、自然语言处理解释功能)也可以搭载于能够与车辆M的车载通信装置或带入到车辆M的通用通信装置进行通信的智能体服务器(外部装置)。在以下的说明中,将结构的一部分搭载于智能体服务器且智能体装置与智能体服务器协同配合地实现智能体系统作为前提。将智能体装置与智能体服务器协同配合而假想地出现的服务提供主体(服务·实体)称作智能体。该智能体服务的提供主体既可以是1个以上的智能体的提供主体,也可以是针对每个智能体而不同的提供主体。
<整体结构>
图1是包含智能体装置100的智能体系统1的结构图。智能体系统1例如具备智能体装置100和多个智能体服务器200-1、200-2、200-3、…。附图标记的末尾的连字符以下数字设为用于区分智能体的标识符。在不对是哪一个智能体服务器进行区分的情况下,有时简称作智能体服务器200。在图1中示出了3个智能体服务器200,但是,智能体服务器200的数既可以是2个,也可以是4个以上。各智能体服务器200由互不相同的智能体系统的提供者运营。因此,本发明中的智能体是由互不相同的提供者实现的智能体。作为提供者,例如可以举出机动车制造商、网络服务商、电子商贸商、便携终端的销售者、制造者等,任意主体(法人、团体、个人等)都能够成为智能体系统的提供者。
智能体装置100经由网络NW而与智能体服务器200通信。网络NW例如包括互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(Local Area Network)、公用线路、电话线、无线基地站等中的一部分或全部。网络NW连接有各种网页服务器300,智能体服务器200或智能体装置100能够经由网络NW而从各种网页服务器300取得网页。
智能体装置100与车辆M的乘员进行对话,将来自乘员的声音向智能体服务器200发送,将从智能体服务器200得到的回答以声音输出、图像显示的形式向乘员提示。
[车辆]
图2是示出实施方式的智能体装置100的结构和搭载于车辆M的设备的图。在车辆M例如搭载有一个以上的话筒10、显示·操作装置20、扬声器单元40、导航装置50、车辆设备60、车载通信装置70及智能体装置100。有时,智能手机等通用通信装置80被带入车室内,作为通信装置而被使用。这些装置通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。图2所示的结构不过是一例,既可以省略结构的一部分,也可以还追加别的结构。
话筒10是收集在车室内发出的声音的收音部。显示·操作装置20是显示图像并且能够接受输入操作的装置(或装置群)。显示·操作装置20例如包括作为触摸面板而构成的显示器装置。显示·操作装置20也可以还包括HUD(Head Up Display)、机械式的输入装置。扬声器单元40例如包括配设于车室内的互不相同的位置的多个扬声器(声音输出部)。显示·操作装置20也可以在智能体装置100和导航装置50中共用。关于它们的详情后述。
导航装置50具备导航HMI(Human machine Interface)、GPS(Global PositioningSystem)等位置测定装置、存储有地图信息的存储装置、及进行路径搜索等的控制装置(导航控制器)。话筒10、显示·操作装置20及扬声器单元40中的一部分或全部也可以作为导航HMI而被使用。导航装置50搜索用于从由位置测定装置确定出的车辆M的位置移动到由乘员输入的目的地的路径(导航路径),使用导航HMI输出引导信息,以使得车辆M能够沿着路径行驶。路径搜索功能也可以处于能够经由网络NW而访问的导航服务器中。在该情况下,导航装置50从导航服务器取得路径而输出引导信息。智能体装置100也可以将导航控制器作为基础而构筑,在该情况下,导航控制器与智能体装置100硬件上构成为一体。
车辆设备60例如包括发动机、行驶用马达等驱动力输出装置、发动机的起动马达、门锁装置、门开闭装置、窗、窗的开闭装置及窗的开闭控制装置、座椅、座椅位置的控制装置、车室内后视镜及其角度位置控制装置、车辆内外的照明装置及其控制装置、刮水器、除雾器及它们各自的控制装置、方向指示灯及其控制装置、空调装置、行驶距离、轮胎的空气压的信息、燃料的剩余量信息等车辆信息装置等。
车载通信装置70例如是能够利用蜂窝网、Wi-Fi网来访问网络NW的无线通信装置。
图3是示出显示·操作装置20的配置例的图。显示·操作装置20例如包括第一显示器22、第二显示器24、操作开关ASSY26、转向开关28。显示·操作装置20也可以还包括HUD30。
在车辆M中,例如存在设置有转向盘SW的驾驶员座DS、和相对于驾驶员座DS设置于车宽方向(图中Y方向)上的副驾驶员座AS。第一显示器22是从仪表板中的驾驶员座DS与副驾驶员座AS的中间附近延伸到与副驾驶员座AS的左端部对置的位置的横长形状的显示器装置。第二显示器24设置于驾驶员座DS与副驾驶员座AS的车宽方向上的中间附近且第一显示器22的下方。例如,第一显示器22和第二显示器24均作为触摸面板而构成,作为显示部而具备LCD(Liquid Crystal Display)、有机EL(Electroluminescence)、等离子体显示器等。操作开关ASSY26是拨码开关、按钮式开关等集聚而成的。转向开关28设置于车辆M的转向盘SW。转向开关28是车室内的物理的操作部的一例。显示·操作装置20将由乘员进行的操作的内容向智能体装置100输出。第一显示器22或第二显示器24显示的内容可以由智能体装置100决定。
[智能体装置]
返回图2,智能体装置100具备管理部110、智能体功能部150-1、150-2、150-3、配对应用执行部152。管理部110例如具备声响处理部112、每个智能体WU(Wake Up:唤醒)/SL(Sleep:睡眠)判定部114、显示控制部116、声音控制部118、共通控制部120。在不对是哪个智能体功能部进行区分的情况下,简称作智能体功能部150。示出了3个智能体功能部150,这不过是与图1中的智能体服务器200的数量对应的一例,智能体功能部150的数量也可以是2个,还可以是4个以上。图2所示的软件配置是为了说明而简易地示出,实际上,例如也可以在智能体功能部150与车载通信装置70之间存在管理部110那样任意地改变。
智能体装置100的各构成要素例如通过由CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI(LargeScale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部:circuitry)来实现,也可以通过软件与硬件的协同配合来实现。程序既可以预先储存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)中,也可以储存于DVD、CD-ROM等可装卸的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置而安装。
管理部110通过执行OS(Operating System)、中间软件等程序而发挥功能。
管理部110的声响处理部112对被输入的声音进行声响处理,以使得成为适于识别针对每个智能体而预先设定的唤醒词或睡眠词的状态。
每个智能体WU/SL判定部114与智能体功能部150-1、150-2、150-3分别相对应地存在,识别针对每个智能体预先设定的唤醒词或睡眠词。睡眠词是对多个智能体功能部150分别设定的单独的结束方法的一例。每个智能体WU/SL判定部114从进行了声响处理的声音(声音流)识别声音的意思。首先,每个智能体WU/SL判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。每个智能体WU/SL判定部114也可以进行通过基于混合高斯分布模型(GMM;Gaussian mixture model)的帧单位的声音识别及非声音识别实现的区间检测。
接着,每个智能体WU/SL判定部114将检测到的声音区间中的声音文本化,设为文字信息。然后,每个智能体WU/SL判定部114判定文本化了的文字信息是否属于唤醒词。在判定为是唤醒词的情况下,每个智能体WU/SL判定部114使对应的智能体功能部150起动。每个智能体WU/SL判定部114判定文本化了的文字信息是否属于睡眠词。在判定为是睡眠词的情况下,每个智能体WU/SL判定部114将对应的智能体功能部150的功能停止。相当于每个智能体WU/SL判定部114的功能也可以搭载于智能体服务器200。在该情况下,管理部110将由声响处理部112进行了声响处理的声音流向智能体服务器200发送,在智能体服务器200判定为是唤醒词或睡眠词的情况下,按照来自智能体服务器200的指示控制智能体功能部150的起动。各智能体功能部150可以始终起动且自行进行唤醒词或睡眠词的判定。在该情况下,无需管理部110具备每个智能体WU/SL判定部114。
智能体功能部150与对应的智能体服务器200协同配合而使智能体出现,与车辆的乘员的讲话相应地,提供包含基于声音的响应的服务。智能体功能部150中可以包含被赋予了控制车辆设备60的权限的功能部。智能体功能部150中可以存在经由配对应用执行部152而与通用通信装置80协作来与智能体服务器200通信的功能部。例如,对智能体功能部150-1赋予了控制车辆设备60的权限。智能体功能部150-1经由车载通信装置70而与智能体服务器200-1通信。智能体功能部150-2经由车载通信装置70而与智能体服务器200-2通信。智能体功能部150-3经由配对应用执行部152而与通用通信装置80协作,来与智能体服务器200-3通信。配对应用执行部152例如通过Bluetooth(注册商标)与通用通信装置80进行配对,使智能体功能部150-3与通用通信装置80连接。智能体功能部150-3也可以通过利用了USB(Universal Serial Bus)等的有线通信而连接于通用通信装置80。以下,有时,将智能体功能部150-1与智能体服务器200-1协同配合而出现的智能体称作智能体1,将智能体功能部150-2与智能体服务器200-2协同配合而出现的智能体称作智能体2,将智能体功能部150-3与智能体服务器200-3协同配合而出现的智能体称作智能体3。
显示控制部116根据来自智能体功能部150的指示,使第一显示器22或第二显示器24显示图像。以下,设为使用第一显示器22。显示控制部116通过智能体功能部150的控制,例如生成在车室内进行与乘员的交流的拟人化了的智能体的图像(以下,称作智能体图像),使所生成的智能体图像显示于第一显示器22。智能体图像是与起动中的智能体功能部150关联的图像的一例。智能体图像例如是对乘员搭话的形态的图像。智能体图像例如可以包含至少由观看者(乘员)识别表情、面部朝向的程度的面部图像。例如,智能体图像可以是,在面部区域中呈现模仿眼睛、鼻子的部件,基于面部区域中的部件的位置而识别表情、面部朝向。智能体图像也可以是,被立体地感受,通过包含三维空间中的头部图像而由观看者识别智能体的面部朝向,通过包含主体(身躯、手脚)的图像而由观看者识别智能体的动作、举止、姿态等。智能体图像也可以是动画图像。
声音控制部118根据来自智能体功能部150的指示,使扬声器单元40所包含的扬声器中的一部分或全部输出声音。声音控制部118也可以进行使用多个扬声器单元40而使智能体声音的声像定位于与智能体图像的显示位置对应的位置的控制。所谓与智能体图像的显示位置对应的位置,例如是被预测为乘员感到智能体图像正在讲出智能体声音的位置,具体而言,是智能体图像的显示位置附近的位置。所谓声像定位,例如是通过调节向乘员的左右耳传递的声音的大小而设定乘员感到的声源的空间上的位置。
共通控制部120在多个智能体功能部150均未起动的情况下,在由车辆M的乘员进行了规定的共通指令操作时,对智能体功能部150输出指令。智能体功能部150在从共通控制部120取得了指令的情况下,使得成为接受乘员的讲话的状态。在该情况下,要起动的智能体也可以设为最后起动了的智能体。共通控制部120在任一智能体功能部150的起动中,由车辆M的乘员进行了规定的共通指令操作的情况下,停止起动中的智能体功能部150的功能。规定的共通指令操作例如是转向开关28的操作等与智能体功能部150的种类无关而共通的操作。规定的共通指令操作是接受来自乘员的对多个智能体功能部150的指示的操作,与在智能体功能部150的起动时执行的操作共通。即便是相同的共通指令操作,根据智能体功能部150的起动状态,共通控制部120执行的控制内容也不同。在起动中的智能体功能部150为多个的情况下,共通控制部120停止起动中的全部智能体功能部150的功能。共通控制部120例如通过停止起动中的智能体功能部150的功能,停止通过智能体功能部150的控制而由显示控制部116之前生成的智能体图像的显示。在多个智能体功能部150分别自身处于起动中的情况下,在由车辆M的乘员进行了规定的共通指令操作时,也可以停止动作。
图4是示出对多个智能体功能部150分别设定的睡眠词的一例的图。在该图所示的例子中,与智能体1对应的睡眠词是“智能体1停止”,与智能体2对应的睡眠词是“拜拜,智能体2”,与智能体3对应的睡眠词是“结束对话”。在该例子中,与智能体1~3分别对应的睡眠词互不相同。
在进行了规定的共通指令操作的情况下,共通控制部120例如通过模拟地执行单独的结束方法,从而使起动中的智能体功能部150的功能停止。作为关于单独的结束方法的模拟的执行,共通控制部120首先确定多个智能体功能部150中的起动中的智能体功能部150。接着,共通控制部120取得与确定出的智能体功能部150对应的睡眠词。然后,共通控制部120将所取得的睡眠词的声音合成并控制声音控制部118以便通过扬声器单元40将其输出。通过扬声器单元40输出的睡眠词的声音通过话筒10而向管理部110输入。然后,每个智能体WU/SL判定部114通过识别所输入的睡眠词,使起动中的智能体功能部150的功能停止。作为关于单独的结束方法的模拟的执行,共通控制部120也可以作为识别到与起动中的智能体功能部150对应的睡眠词而对每个智能体WU/SL判定部114输出指令以便使处理前进。在起动中的智能体功能部150的功能停止了的情况下,显示控制部116停止通过智能体功能部150的控制而生成的智能体图像的显不。
图5是用于说明智能体图像的一例的图。在该图所示的例子中,显示控制部116例如在第一智能体功能部150-1处于起动中的情况下,将对智能体1进行了拟人化的智能体图像G-1显示于第一显示器22。接着,在与第一智能体功能部150-1一并地第二智能体功能部150-2起动了的情况下,显示控制部116将对智能体2进行了拟人化的智能体图像G-2与对智能体1进行了拟人化的智能体图像G-1一并显示于第一显示器22。即,显示控制部116在多个智能体功能部150-1、150-2处于起动中的情况下,将与各智能体功能部150-1、150-2对应的智能体图像G-1、G-2显示于第一显示器22。接着,显示控制部116在由车辆M的乘员进行了规定的共通指令操作的情况下,与起动中的智能体功能部150-1、150-2的功能的停止一并地,停止与起动中的智能体功能部150-1、150-2对应的智能体图像G-1、G-2的显示。
[智能体服务器]
图6是示出智能体服务器200的结构和智能体装置100的结构的一部分的图。以下,与智能体服务器200的结构一起,对智能体功能部150等的动作进行说明。在此,省略关于从智能体装置100到网络NW的物理上的通信的说明。
智能体服务器200具备通信部210。通信部210例如是NIC(Network InterfaceCard)等网络接口。而且,智能体服务器200例如具备声音识别部220、自然语言处理部222、对话管理部224、网络检索部226、响应文生成部228。这些构成要素例如通过由CPU等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部;circuitry)来实现,也可以通过软件与硬件的协同配合来实现。程序既可以预先储存于HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)中,也可以储存于DVD、CD-ROM等可装卸的存储介质(非暂时性的存储介质)中并通过将存储介质装配于驱动装置而进行安装。
智能体服务器200具备存储部250。存储部250通过上述的各种存储装置来实现。在存储部250中储存有个人资料252、字典DB(数据库)254、知识库DB256、响应规则DB258等数据、程序。
在智能体装置100中,智能体功能部150将声音流、或进行了压缩、编码等处理的声音流向智能体服务器200发送。智能体功能部150在识别到能够进行本地处理(不经由智能体服务器200的处理)的声音指令的情况下,可以进行通过声音指令要求的处理。所谓能够进行本地处理的声音指令,是通过参照智能体装置100所具备的存储部(未图示)而能够回答的声音指令,或者在智能体功能部150-1的情况下是控制车辆设备60的声音指令(例如,将空调装置开启的指令等)。因此,智能体功能部150也可以具有智能体服务器200所具备的功能的一部分。
当取得声音流后,声音识别部220进行声音识别并将文本化了的文字信息输出,自然语言处理部222针对文字信息一边参照字典DB254一边进行意思解释。字典DB254中,抽象化了的意思信息与文字信息建立了对应关系。字典DB254也可以包含同义词、近义词的一览信息。声音识别部220的处理和自然语言处理部222的处理,可以不明确分阶段地进行,而是接受自然语言处理部222的处理结果而声音识别部220修正识别结果等相互影响地进行。
自然语言处理部222例如在识别到“今日的天气是”、“天气怎么样”等意思作为识别结果的情况下,生成置换为标准文字信息“今日的天气”的指令。由此,即便请求的声音存在表述差异,也能够容易进行与要求相符的对话。自然语言处理部222例如也可以使用利用了概率的机械学习处理等人工智能处理来识别文字信息的意思,或者生成基于识别结果的指令。
对话管理部224基于自然语言处理部222的处理结果(指令),一边参照个人资料252、知识库DB256、响应规则DB258一边决定针对车辆M的乘员进行的讲话的内容。个人资料252包含针对每个乘员保存着的乘员的个人信息、兴趣偏好、过去的对话的履历等。知识库DB256是规定了事物的关系性的信息。响应规则DB258是规定了针对指令而智能体应该进行的动作(回答、设备控制的内容等)的信息。
对话管理部224通过使用从声音流得到的特征信息而与个人资料252进行对照,来确定乘员。在该情况下,个人资料252中,例如声音的特征信息与个人信息建立了对应关系。所谓声音的特征信息,例如是与声音的高度、语调、节奏(声音的高低的模式)等说话方式的特征、基于梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficients)等的特征量相关的信息。声音的特征信息例如是在乘员的初始登记时使乘员对规定的单词、句子等进行发声,通过识别发出的声音而得到的信息。
对话管理部224在指令是要求能够经由网络NW而检索的信息的指令的情况下,使网络检索部226进行检索。网络检索部226经由网络NW而访问各种网页服务器300,取得期望的信息。所谓“能够经由网络NW而检索的信息”,例如是处于车辆M的周边的餐厅的由一般用户评价的评价结果、与那一天的车辆M的位置相应的天气预报。
响应文生成部228以使得由对话管理部224决定的讲话的内容向车辆M的乘员传达的方式,生成响应文,并向智能体装置100发送。响应文生成部228在确定了乘员是在个人资料中登记的乘员的情况下,也可以生成称呼乘员的名字、设为模仿乘员的说话方式的说话方式的响应文。
智能体功能部150当取得响应文后,指示声音控制部118进行声音合成并输出声音。智能体功能部150与声音输出相配合地指示显示控制部116显示智能体的图像。这样,假想地出现的智能体对车辆M的乘员进行响应的智能体功能得以实现。
[智能体装置的处理流程]
以下,使用流程图,对实施方式的智能体装置100的一系列处理的流程进行说明。图7是示出实施方式的智能体装置100的处理的流程的流程图。本流程图的处理也可以以规定的周期反复进行。
首先,共通控制部120判定是否检测到规定的共通指令操作(步骤S10)。共通控制部120在判定为检测到规定的共通指令操作的情况下,判定智能体功能部150是否处于起动中(步骤S12)。共通控制部120在判定为智能体功能部150处于起动中的情况下,停止起动中的智能体功能部150的功能(步骤S14)。由此,本流程图的处理结束。
另一方面,共通控制部120在判定为智能体功能部150不处于起动中的情况下,使一部分或全部的智能体功能部150开始接受来自车辆M的乘员的讲话(步骤S18)。在检测到共通指令操作的情况下,也可以优先使最后起动了的智能体起动。由此,本流程图的处理结束。
图8是用于说明实施方式的智能体装置100的动作的图。
(1)在智能体1处于起动中的情况下,(2)当车辆M的乘员执行规定的共通指令操作时,(3)与智能体1对应的睡眠词的声音从扬声器单元40输出。于是,从扬声器单元40输出的睡眠词的声音被输入到智能体装置100。(4)然后,智能体装置100通过识别从扬声器单元40输入的睡眠词,使与睡眠词对应的智能体1的功能停止。
根据上述说明的实施方式的智能体装置100,能够提高操作性。例如,设为对多个智能体功能部150分别设定有单独的结束方法。在该情况下,车辆M的乘员不仅需要掌握多个智能体功能部150中的哪一个处于起动,还需要一并掌握与起动中的智能体功能部150对应的结束方法。因此,尤其是,在成为起动的对象的智能体功能部150的数量多的情况下,车辆M的乘员为了结束起动中的智能体功能部150,需要进行繁杂的操作。与此相对,在实施方式的智能体装置100中,即便是对多个智能体功能部150分别设定有单独的结束方法的情况下,通过在多个智能体功能部150之间共通的操作,使起动中的智能体功能部150的功能停止。因此,能够提高使起动中的智能体功能部150的功能停止时的操作性。
根据智能体装置100,能够更进一步提高操作性。例如,在另行设置用于使智能体功能部150的功能停止的操作部的情况下,与成为操作的对象的操作部的数量的增大相应地,用于结束起动中的智能体功能部150的操作更进一步变得繁杂。与此相对,在实施方式的智能体装置100中,为了在车辆M的驾驶中进行各种操作而使用的转向开关28被作为用于使智能体功能部150的功能停止的操作部来使用。因此,无需另行设置用于使智能体功能部150的功能停止的操作部,能够更进一步提高使起动中的智能体功能部150的功能停止时的操作性。尤其是,在实施方式的智能体装置100中,同与车辆M的乘员的讲话关联的转向开关28被作为用于使智能体功能部150的功能停止的操作部而使用。因此,车辆M的乘员能够通过直观的操作使起动中的智能体功能部150的功能停止。
以上使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。
Claims (7)
1.一种智能体装置,其中,
所述智能体装置具备:
多个智能体功能部,各智能体功能部根据车辆的乘员的讲话,将包含通过声音进行的响应的服务向所述乘员提供;以及
管理部,其在所述多个智能体功能部中的任意智能体功能部处于起动中、且由所述车辆的乘员进行了在所述多个智能体功能部之间共通的规定的操作的情况下,使起动中的所述智能体功能部停止,
对所述多个智能体功能部分别设定有单独的睡眠词,
所述管理部在由所述车辆的乘员进行了所述规定的操作的情况下,控制声音控制部以便合成与起动中的所述智能体功能部关联的单独的睡眠词的声音并通过扬声器单元输出所述睡眠词的声音,由此使起动中的所述智能体功能部停止。
2.根据权利要求1所述的智能体装置,其中,
所述管理部在所述多个智能体功能部均未起动、且由所述车辆的乘员进行了所述规定的操作的情况下,使所述多个智能体功能部中的一部分或全部成为接受所述乘员的讲话的状态。
3.根据权利要求1所述的智能体装置,其中,
所述规定的操作是对车室内的物理的操作部进行的操作。
4.根据权利要求3所述的智能体装置,其中,
所述操作部设置于所述车辆的转向盘。
5.根据权利要求1所述的智能体装置,其中,
在所述车辆设置有显示与起动中的所述智能体功能部关联的图像的显示部。
6.一种智能体装置的控制方法,其中,
所述智能体装置的控制方法使计算机执行如下处理:
使多个智能体功能部中的任意智能体功能部起动;
作为起动了的所述智能体功能部的功能,根据车辆的乘员的讲话,提供包含通过声音进行的响应的服务;以及
在所述多个智能体功能部中的任意智能体功能部处于起动中、且由所述车辆的乘员进行了在所述多个智能体功能部之间共通的规定的操作的情况下,使起动中的所述智能体功能部停止,
对所述多个智能体功能部分别设定有单独的睡眠词,
在由所述车辆的乘员进行了所述规定的操作的情况下,进行控制以便合成与起动中的所述智能体功能部关联的单独的睡眠词的声音并通过扬声器单元输出所述睡眠词的声音,由此使起动中的所述智能体功能部停止。
7.一种存储介质,其中,
所述存储介质存储有如下程序,所述程序使计算机执行如下处理:
使多个智能体功能部中的任意智能体功能部起动;
作为起动了的所述智能体功能部的功能,根据车辆的乘员的讲话,提供包含通过声音进行的响应的服务;以及
在所述多个智能体功能部中的任意智能体功能部处于起动中、且由所述车辆的乘员进行了在所述多个智能体功能部之间共通的规定的操作的情况下,使起动中的所述智能体功能部停止,
对所述多个智能体功能部分别设定有单独的睡眠词,
在由所述车辆的乘员进行了所述规定的操作的情况下,进行控制以便合成与起动中的所述智能体功能部关联的单独的睡眠词的声音并通过扬声器单元输出所述睡眠词的声音,由此使起动中的所述智能体功能部停止。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-024647 | 2019-02-14 | ||
JP2019024647A JP7266418B2 (ja) | 2019-02-14 | 2019-02-14 | エージェント装置、エージェント装置の制御方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111559328A CN111559328A (zh) | 2020-08-21 |
CN111559328B true CN111559328B (zh) | 2023-12-19 |
Family
ID=72041261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010087592.0A Active CN111559328B (zh) | 2019-02-14 | 2020-02-11 | 智能体装置、智能体装置的控制方法及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11608076B2 (zh) |
JP (1) | JP7266418B2 (zh) |
CN (1) | CN111559328B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022254669A1 (ja) * | 2021-06-03 | 2022-12-08 | 日産自動車株式会社 | 対話サービス装置及び対話システム制御方法 |
WO2024047708A1 (ja) * | 2022-08-29 | 2024-03-07 | ファナック株式会社 | 音声認識装置及び記憶媒体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005025100A (ja) * | 2003-07-02 | 2005-01-27 | Nissan Motor Co Ltd | 車載機器制御装置 |
JP2013257700A (ja) * | 2012-06-12 | 2013-12-26 | Ntt Comware Corp | 要求コントロールサーバ、エージェント装置、要求コントロールサーバの動作方法およびコンピュータプログラム |
CN106155781A (zh) * | 2015-04-08 | 2016-11-23 | 中国科学院软件研究所 | 一种多智能体平台中的实时任务调度方法 |
WO2018085671A1 (en) * | 2016-11-03 | 2018-05-11 | Google Llc | Focus session at a voice interface device |
CN108153802A (zh) * | 2016-12-06 | 2018-06-12 | 卡西欧计算机株式会社 | 对话代理、响应语句生成方法、以及计算机可读取的非易失性存储介质 |
CN109087637A (zh) * | 2017-06-13 | 2018-12-25 | 哈曼国际工业有限公司 | 语音代理转发 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3965538B2 (ja) * | 1998-02-27 | 2007-08-29 | 株式会社エクォス・リサーチ | エージェント装置 |
US7693720B2 (en) * | 2002-07-15 | 2010-04-06 | Voicebox Technologies, Inc. | Mobile systems and methods for responding to natural language speech utterance |
JP4645310B2 (ja) | 2005-06-02 | 2011-03-09 | 株式会社デンソー | エージェントキャラクタ表示を利用した表示システム |
ATE555433T1 (de) * | 2007-04-26 | 2012-05-15 | Ford Global Tech Llc | Emotives beratungssystem und verfahren |
WO2012101909A1 (ja) | 2011-01-26 | 2012-08-02 | 日産自動車株式会社 | 車載情報機器の操作装置 |
US9576574B2 (en) * | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9085303B2 (en) * | 2012-11-15 | 2015-07-21 | Sri International | Vehicle personal assistant |
JP5762660B2 (ja) | 2013-05-21 | 2015-08-12 | 三菱電機株式会社 | 音声認識装置、認識結果表示装置および表示方法 |
US20150058006A1 (en) * | 2013-08-23 | 2015-02-26 | Xerox Corporation | Phonetic alignment for user-agent dialogue recognition |
WO2017112813A1 (en) * | 2015-12-22 | 2017-06-29 | Sri International | Multi-lingual virtual personal assistant |
US11164570B2 (en) * | 2017-01-17 | 2021-11-02 | Ford Global Technologies, Llc | Voice assistant tracking and activation |
DE102018212902A1 (de) * | 2018-08-02 | 2020-02-06 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Bestimmen eines digitalen Assistenten zum Ausführen einer Fahrzeugfunktion aus einer Vielzahl von digitalen Assistenten in einem Fahrzeug, computerlesbares Medium, System, und Fahrzeug |
-
2019
- 2019-02-14 JP JP2019024647A patent/JP7266418B2/ja active Active
-
2020
- 2020-02-10 US US16/785,697 patent/US11608076B2/en active Active
- 2020-02-11 CN CN202010087592.0A patent/CN111559328B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005025100A (ja) * | 2003-07-02 | 2005-01-27 | Nissan Motor Co Ltd | 車載機器制御装置 |
JP2013257700A (ja) * | 2012-06-12 | 2013-12-26 | Ntt Comware Corp | 要求コントロールサーバ、エージェント装置、要求コントロールサーバの動作方法およびコンピュータプログラム |
CN106155781A (zh) * | 2015-04-08 | 2016-11-23 | 中国科学院软件研究所 | 一种多智能体平台中的实时任务调度方法 |
WO2018085671A1 (en) * | 2016-11-03 | 2018-05-11 | Google Llc | Focus session at a voice interface device |
CN108153802A (zh) * | 2016-12-06 | 2018-06-12 | 卡西欧计算机株式会社 | 对话代理、响应语句生成方法、以及计算机可读取的非易失性存储介质 |
CN109087637A (zh) * | 2017-06-13 | 2018-12-25 | 哈曼国际工业有限公司 | 语音代理转发 |
Also Published As
Publication number | Publication date |
---|---|
JP2020131805A (ja) | 2020-08-31 |
CN111559328A (zh) | 2020-08-21 |
US11608076B2 (en) | 2023-03-21 |
JP7266418B2 (ja) | 2023-04-28 |
US20200262445A1 (en) | 2020-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7266432B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7198122B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111559328B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111752686A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111739525B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US20200320998A1 (en) | Agent device, method of controlling agent device, and storage medium | |
US20200317055A1 (en) | Agent device, agent device control method, and storage medium | |
CN111724778B (zh) | 车载装置、车载装置的控制方法及存储介质 | |
CN111667823B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US11518398B2 (en) | Agent system, agent server, method of controlling agent server, and storage medium | |
CN111661065B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US11542744B2 (en) | Agent device, agent device control method, and storage medium | |
US11437035B2 (en) | Agent device, method for controlling agent device, and storage medium | |
JP2020152298A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111559317B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111726772B (zh) | 智能体系统及其控制方法、服务器装置、存储介质 | |
US11518399B2 (en) | Agent device, agent system, method for controlling agent device, and storage medium | |
CN111724777A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP2020160108A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |