CN111731320B - 智能体系统、智能体服务器及其控制方法、存储介质 - Google Patents

智能体系统、智能体服务器及其控制方法、存储介质 Download PDF

Info

Publication number
CN111731320B
CN111731320B CN202010189080.5A CN202010189080A CN111731320B CN 111731320 B CN111731320 B CN 111731320B CN 202010189080 A CN202010189080 A CN 202010189080A CN 111731320 B CN111731320 B CN 111731320B
Authority
CN
China
Prior art keywords
agent
unit
response
user
smart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010189080.5A
Other languages
English (en)
Other versions
CN111731320A (zh
Inventor
本田裕
仓持俊克
大井裕介
久保田基嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111731320A publication Critical patent/CN111731320A/zh
Application granted granted Critical
Publication of CN111731320B publication Critical patent/CN111731320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供智能体系统、智能体服务器及其控制方法、存储介质。智能体系统具备:多个智能体功能部,其搭载于不同的多个物体,分别根据用户的讲话,提供包含使输出部输出利用声音进行的响应的服务;及信息提供部,其在所述多个智能体功能部中的同一种类的智能体功能部存在于所述多个物体的情况下,将与所述同一种类的智能体功能部分别建立了对应的属性信息包含于所述同一种类的智能体功能部的响应内容,向所述用户的移动式的便携终端提供。

Description

智能体系统、智能体服务器及其控制方法、存储介质
技术领域
本发明涉及智能体系统、智能体服务器、智能体服务器的控制方法及存储介质。
背景技术
以往,公开了关于如下的智能体功能的技术,所述智能体功能是指一边与车辆的乘员进行对话,一边提供与乘员的要求相应的驾驶支援涉及的信息、进行车辆的控制、提供其他的应用等(例如,日本特开2006-335231号公报)。
发明内容
近年来,关于将多个智能体功能搭载于车辆等物体已被推进实用化,但是在某用户拥有多个搭载有智能体功能的物体的情况下,有时无法判断是来自搭载于哪个物体的智能体功能的信息提供。
本发明考虑到这样的情况而作出,目的之一在于提供一种能够使用户容易判别智能体功能的智能体系统、智能体服务器、智能体服务器的控制方法及存储介质。
本发明的智能体系统、智能体服务器、智能体服务器的控制方法及存储介质采用了以下的构成。
(1):本发明的一方案的智能体系统具备:多个智能体功能部,其搭载于不同的多个物体,分别根据用户的讲话,提供包含使输出部输出利用声音进行的响应的服务;及信息提供部,其在所述多个智能体功能部中的同一种类的智能体功能部存在于所述多个物体的情况下,将与所述同一种类的智能体功能部分别建立了对应的属性信息包含于所述同一种类的智能体功能部的响应内容,向所述用户的移动式的便携终端提供。
(2):在上述(1)的方案中,所述多个物体包括与所述用户建立了对应的车辆。
(3):在上述(2)的方案中,所述属性信息包含与所述车辆相关的信息。
(4):在上述(2)的方案中,所述智能体系统还具备设定部,该设定部用于对所述多个智能体功能部中的规定的智能体功能部的所述响应的输出形态进行设定。
(5):在上述(4)的方案态中,所述规定的智能体功能部是能够进行所述车辆的控制的智能体功能部。
(6):在上述(4)的方案中,所述规定的智能体功能部取得所述多个智能体功能部所包含的其他的智能体功能部的响应内容。
(7):在上述(4)的方案中,所述规定的智能体功能部将从其他的智能体功能部取得的响应内容代理给所述其他的智能体功能部而向所述便携终端输出。
(8):本发明的另一方案的智能体服务器具备:智能体功能部,其根据用户的讲话,提供包含使输出部输出利用声音进行的响应的服务;及信息提供部,其在所述智能体功能部搭载于与所述用户建立了对应的多个物体且分别搭载于所述多个物体的智能体功能部为同一种类的智能体功能部的情况下,将与所述同一种类的智能体功能部分别建立了对应的属性信息包含于所述同一种类的智能体功能部的响应内容,向所述用户的移动式的便携终端提供。
(9):本发明的另一方案的智能体服务器的控制方法使计算机进行如下处理:使智能体功能部起动;作为所述起动的智能体功能部的功能,根据用户的讲话,提供包含响应的服务;在所述智能体功能部搭载于与所述用户建立了对应的多个物体且分别搭载于所述多个物体的智能体功能部为同一种类的智能体功能部的情况下,将与所述同一种类的智能体功能部分别建立了对应的属性信息包含于所述同一种类的智能体功能部的响应内容,向所述用户的移动式的便携终端提供。
(10):本发明的另一方案的存储介质存储有程序,所述程序使计算机进行如下处理:使智能体功能部起动;作为所述起动的智能体功能部的功能,根据用户的讲话,提供包含响应的服务;在所述智能体功能部搭载于与所述用户建立了对应的多个物体且分别搭载于所述多个物体的智能体功能部为同一种类的智能体功能部的情况下,将与所述同一种类的智能体功能部分别建立了对应的属性信息包含于所述同一种类的智能体功能部的响应内容,向所述用户的移动式的便携终端提供。
根据上述(1)~(10)的方案,能够使用户容易判别智能体功能。
附图说明
图1是包含智能体装置的智能体系统的构成图。
图2是表示第一实施方式的智能体装置的构成和搭载于车辆的设备的图。
图3是表示显示/操作装置及扬声器单元的配置例的图。
图4是表示第一实施方式的智能体服务器及便携终端的构成和智能体装置的构成的一部分的图。
图5是表示智能体管理信息的内容的一例的图。
图6是表示用于设定智能体的输出形态的图像的一例的图。
图7是表示经由便携终端进行信息提供的内容的一例的图。
图8是表示通过第一实施方式的智能体系统执行的处理的流程的一例的流程图。
图9是表示第二实施方式的智能体服务器的构成的一例的图。
图10是表示在第二实施方式中从便携终端输出的信息的一例的图。
图11是表示智能体服务器使其他的智能体服务器进行代理响应的处理的流程的一例的流程图。
图12是表示基于从其他的智能体服务器接收到的响应内容而自身的智能体进行代理响应的处理的流程的一例的流程图。
具体实施方式
以下,参照附图,说明本发明的智能体系统、智能体服务器、智能体服务器的控制方法及存储介质的实施方式。智能体装置是实现智能体系统的一部分或全部的装置。以下,作为智能体装置的一例,说明搭载于车辆且具备多个种类的智能体功能的智能体装置。车辆是物体的一例。所谓智能体功能,例如是如下功能:一边与车辆的用户进行对话,一边进行基于用户的讲话之中包含的要求(命令)的各种信息提供,或管理用户的日程,或对网络服务发挥居间作用。多个种类的智能体分别发挥的功能、处理次序、控制、输出形态/内容可以各不相同。智能体功能之中可以存在具有进行车辆内的设备(例如驾驶控制或车身控制涉及的设备)的控制等的功能的智能体功能。
智能体功能例如除了识别用户的声音的声音识别功能(对声音进行文本化的功能)之外,还综合地利用自然语言处理功能(理解文本的结构、意思的功能)、对话管理功能、经由网络检索其他装置或检索本装置保有的规定的数据库的网络检索功能等来实现。上述的功能的一部分或全部可以通过AI(Artificial Intelligence)技术实现。用于进行上述的功能的构成的一部分(特别是声音识别功能或自然语言处理解释功能)可以搭载于与车辆M的车载通信装置或带入车辆M内的通用通信装置能够通信的智能体服务器(外部装置)。在以下的说明中,以构成的一部分搭载于智能体服务器且智能体装置与智能体服务器协作而实现智能体系统的情况为前提。将智能体装置与智能体服务器协作而假想地出现的服务提供主体(服务实体)称为智能体。
<整体构成>
图1是包含智能体装置100的智能体系统1的构成图。智能体系统1例如具备:在与用户U1建立了对应的多个车辆MA、MB、…上分别搭载的智能体装置100A、100B、…;多个智能体服务器200-1、200-2、200-3、…;以及与用户U1建立了对应的便携终端300。“与用户U1建立了对应”相当于例如用户U1所拥有、用户U1所管理、或向用户U1分配的情况。在上述中,符号的末尾的连字符以后的数字是用于区分智能体的标识符。在不区分是哪个智能体服务器的情况下,有时简称为智能体服务器200,关于其他的构成也同样。在图1中示出三个智能体服务器200,但是智能体服务器200的个数可以为两个,也可以为四个以上。各个智能体服务器200例如由互不相同的智能体系统的提供者运营。因此,本实施方式的智能体是通过互不相同的提供者实现的智能体。作为提供者,例如,可列举机动车制造商、网络服务企业者、电子商务交易企业者、便携终端的销售者、制造者等,任意的主体(法人、团体、个人等)可成为智能体系统的提供者。
智能体装置100A、100B、…除了分别搭载于不同的车辆MA、MB、…之外具备大致同样的功能,因此在不区分是哪个智能体装置的情况下,简称为智能体装置100。关于车辆,在不区分是哪个车辆的情况下,也简称为车辆M。在图1中示出两个智能体装置100,但是智能体装置的个数可以为三个以上。智能体装置100经由网络NW与智能体服务器200通信。智能体服务器200经由网络NW与便携终端300通信。智能体装置100可以经由网络NW与便携终端300通信。网络NW包括例如互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(LocalArea Network)、公共线路、电话线路、无线基地站等中的一部分或全部。在网络NW连接各种网页服务器400,智能体装置100、智能体服务器200或便携终端300经由网络NW从各种网页服务器400能够取得网页。
智能体装置100与用户U1进行对话,将来自用户U1的声音向智能体服务器200发送,将基于从智能体服务器200得到的回答的响应内容以声音输出或图像显示的方式向用户U1提供。在此,智能体装置100可以在用户U1存在于车辆内的情况下,使用搭载于车辆M的显示部或扬声器单元进行信息提供,在用户U1不存在于车辆M的情况下,向用户U1的便携终端300进行信息提供。智能体装置100可以基于来自用户的要求进行对车辆设备50的控制等。
<第一实施方式>
[车辆]
图2是表示第一实施方式的智能体装置100的构成和搭载于车辆M的设备的图。在车辆M搭载有例如一个以上的麦克风10、显示/操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员识别装置80、智能体装置100。有时智能手机等通用通信装置70被带入车室内,作为通信装置使用。这些装置通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而相互连接。图2所示的构成只不过为一例,可以省略构成的一部分,也可以还追加另外的构成。显示/操作装置20与扬声器单元30合在一起的构成是“输出部”的一例。
麦克风10是收集在车室内发出的声音的声音输入部。显示/操作装置20是显示图像并能够受理输入操作的装置(或装置组)。显示/操作装置20包含例如构成作为触摸面板的显示器装置。显示/操作装置20还可以包括HUD(Head Up Display)或机械式的输入装置。扬声器单元30包含例如在车室内的互不相同的位置配设的多个扬声器(声音输出部)。显示/操作装置20可以在智能体装置100和导航装置40中共用。关于它们的详情在后文叙述。
导航装置40具备导航HMI(Human Machine Interface)、GPS(Global PositioningSystem)等位置测位装置、存储地图信息的存储装置、进行路径搜索等的控制装置(导航控制器)。麦克风10、显示/操作装置20及扬声器单元30中的一部分或全部可以作为导航HMI使用。导航装置40搜索用于从通过位置测位装置确定的车辆M的位置移动至由用户输入的目的地为止的路径(导航路径),以使车辆M能够沿着路径行驶的方式使用导航HMI输出引导信息。路径搜索功能可以存在于经由网络NW能够访问的导航服务器。在该情况下,导航装置40从导航服务器取得路径而输出引导信息。智能体装置100可以将导航控制器作为基础来构筑,在该情况下,导航控制器和智能体装置100在硬件上一体构成。
车辆设备50例如是搭载于车辆M的设备。车辆设备50例如包括发动机或行驶用电动机等驱动力输出装置、发动机的起动电动机、门锁装置、门开闭装置、窗、窗的开闭装置及窗的开闭控制装置、座椅、座椅位置的控制装置、车室内后视镜及其角度位置控制装置、车辆内外的照明装置及其控制装置、雨刷器或除雾器及各自的控制装置、方向指示灯及其控制装置、空调装置、行驶距离或轮胎的空气压的信息或燃料的剩余量信息等的车辆信息装置等。
车载通信装置60例如是利用蜂窝网或Wi-Fi网能够访问网络NW的无线通信装置。
乘员识别装置80例如包括就座传感器、车室内相机、图像识别装置等。就座传感器包括设置于座位的下部的压力传感器、安装于座椅安全带的张力传感器等。车室内相机是设置于车室内的CCD(Charge Coupled Device)相机或CMOS(Complementary Metal OxideSemiconductor)相机。图像识别装置对车室内相机的图像进行解析,来识别各座位的乘员(用户)的有无、面部朝向等。乘员识别装置80的识别结果向智能体装置100、智能体服务器200输出。
图3是表示显示/操作装置20及扬声器单元30的配置例的图。显示/操作装置20例如包括第一显示器22、第二显示器24、操作开关ASSY26。显示/操作装置20可以还包括HUD28。显示/操作装置20还可以包含在仪表板中的面对驾驶员座DS的部分设置的仪表显示器29。将第一显示器22、第二显示器24、HUD28、仪表显示器29合在一起的构成是“显示部”的一例。
在车辆M存在例如设有方向盘SW的驾驶员座DS、相对于驾驶员座DS而沿车宽方向(图中Y方向)设置的副驾驶员座AS。第一显示器22是从仪表板中的驾驶员座DS与副驾驶员座AS的中间附近延伸至与副驾驶员座AS的左端部对置的位置的横长形状的显示器装置。第二显示器24处于驾驶员座DS与副驾驶员座AS的车宽方向上的中间,且设置在第一显示器22的下方。例如,第一显示器22与第二显示器24一起构成作为触摸面板,具备LCD(LiquidCrystal Display)、有机EL(Electroluminescence)、等离子体显示器等作为显示部。操作开关ASSY26是集成有拨号盘式开关、按钮式开关等的结构。HUD28例如是使图像重叠于风景地观察的装置,作为一例,通过向车辆M的前风挡玻璃或组合器投射包含图像的光而使乘员观察虚像。仪表显示器29例如是LCD或有机EL等,显示速度计或旋转速度计等仪器类。显示/操作装置20将由乘员作出的操作的内容向智能体装置100输出。上述的各显示部显示的内容可以由智能体装置100决定。
扬声器单元30例如包括扬声器30A~30F。扬声器30A设置于驾驶员座DS侧的窗柱(所谓的A柱)。扬声器30B设置于与驾驶员座DS接近的门的下部。扬声器30C设置于副驾驶员座AS侧的窗柱。扬声器30D设置于与副驾驶员座AS接近的门的下部。扬声器30E设置于第二显示器24的附近。扬声器30F设置于车室的顶棚(车顶)。扬声器单元30也可以设置于与右侧后部座位或左侧后部座位接近的门的下部。
在上述配置中,例如,在专门使扬声器30A及30B输出声音的情况下,声像定位于驾驶员座DS附近。“声像定位”是指例如通过调节向乘员的左右的耳传递的声音的大小来确定乘员感到的声源的空间性的位置的情况。在专门使扬声器30C及30D输出声音的情况下,声像定位于副驾驶员座AS附近。在专门使扬声器30E输出声音的情况下,声像定位于车室的前方附近,在专门使扬声器30F输出声音的情况下,声像定位于车室的上方附近。并不局限于此,扬声器单元30通过使用混合器或放大器来调整各扬声器输出的声音的分配,能够使声像定位于车室内的任意的位置。
[智能体装置]
返回图2,智能体装置100具备管理部110、智能体功能部150-1、150-2、150-3、配对应用执行部160、存储部170。管理部110例如具备音响处理部112、按智能体区分的WU(WakeUp)判定部114、智能体设定部116、输出控制部120。以下,在不区分是哪个智能体功能部的情况下,简称为智能体功能部150。示出三个智能体功能部150只不过是与图1中的智能体服务器200的个数对应的一例,智能体功能部150的个数可以为两个,也可以为四个以上。图2所示的软件配置为了说明而简易表示,实际上,例如,像可以在智能体功能部150与车载通信装置60之间夹设管理部110那样,能够任意改变。以下,有时将智能体功能部150-1与智能体服务器200-1协作而出现的智能体称为“智能体1”,将智能体功能部150-2与智能体服务器200-2协作而出现的智能体称为“智能体2”,将智能体功能部150-3与智能体服务器200-3协作而出现的智能体称为“智能体3”。
智能体装置100的各构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部可以通过LSI(Large ScaleIntegration)或ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部;circuitry)实现,也可以通过软件与硬件的协作实现。程序可以预先保存于HDD(Hard DiskDrive)或闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD或CD-ROM等能够拆装的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置来安装。
存储部170通过上述的各种存储装置实现。在存储部170保存各种数据、程序。
管理部110通过OS(Operating System)或中间软件等程序被执行而发挥功能。
管理部110的音响处理部112受理从麦克风10收集的声音,对于受理的声音以成为适合于识别按照各智能体预先设定的唤醒词(起动词)的状态的方式进行音响处理。音响处理是例如基于带通滤波器等的滤波的噪声除去或声音的放大等。音响处理部112将音响处理后的声音向按智能体区分的WU判定部114或起动中的智能体功能部输出。
按智能体区分的WU判定部114与智能体功能部150-1、150-2、150-3分别对应地存在,识别按照各智能体而预先确定的唤醒词。按智能体区分的WU判定部114从进行了音响处理的声音(声音流)识别声音的意思。首先,按智能体区分的WU判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。按智能体区分的WU判定部114也可以进行基于根据混合高斯分布模型(GMM;Gaussian mixture model)的帧单位的声音辨别及非声音辨别的区间检测。
接下来,按智能体区分的WU判定部114对检测到的声音区间的声音进行文本化,形成为文字信息。然后,按智能体区分的WU判定部114判定文本化的文字信息是否符合唤醒词。在判定为是唤醒词的情况下,按智能体区分的WU判定部114使对应的智能体功能部150起动。也可以将相当于按智能体区分的WU判定部114的功能搭载于智能体服务器200。在该情况下,管理部110将通过音响处理部112进行了音响处理后的声音流向智能体服务器200发送,在智能体服务器200判定为是唤醒词的情况下,按照来自智能体服务器200的指示而智能体功能部150起动。各智能体功能部150可以是常时起动且自己进行唤醒词的判定的功能部。在该情况下,管理部110不需要具备按智能体区分的WU判定部114。
按智能体区分的WU判定部114在按照与上述的次序同样的次序识别到讲话的声音所包含的结束词时且与结束词对应的智能体起动的状态(以下,根据需要而称为“起动中”)时,使起动的智能体功能部停止(结束)。需要说明的是,起动中的智能体也可以在未受理到声音的输入为规定时间以上时或受理了使智能体结束的规定的指示操作时,使智能体停止。
智能体设定部116设定各智能体的响应时的输出形态。输出形态是例如后述的智能体图像或疑似地智能体图像产生时用于供听者(乘员)识别的声音(以下,称为智能体声音)中的一方或双方。智能体设定部116可以是仅能够设定与多个智能体功能部150-1~150-3中的规定的智能体功能部建立了对应的智能体图像或智能体声音。规定的智能体功能部包括例如能够进行车辆M的控制的智能体功能部150-1。“能够进行车辆M的控制”是指例如能够进行对于车辆设备50的控制、对于导航装置40、显示/操作装置20的控制。关于智能体设定部116中的设定内容的详情在后文叙述。
输出控制部120根据来自管理部110或智能体功能部150的指示而使显示部或扬声器单元30输出响应内容等信息,由此向乘员提供服务等。输出控制部120例如具备显示控制部122、声音控制部124。
显示控制部122按照来自输出控制部120的指示而使显示部的至少一部分的区域显示图像。以下,说明使第一显示器22显示与智能体相关的图像的情况。显示控制部122通过输出控制部120的控制,生成智能体图像,并使生成的智能体图像显示于第一显示器22。智能体图像例如是在车室内进行与乘员的交流的拟人化的智能体的图像。智能体图像例如是对于乘员进行搭话的形态的图像。智能体图像可以包含例如至少通过观察者(乘员)能识别表情、面部朝向的程度的面部图像。例如,智能体图像可以是在面部区域之中呈现出模拟了眼、鼻的部位,基于面部区域之中的部位的位置来识别表情、面部朝向的图像。智能体图像可以是能由观察者立体地感觉到、通过包含三维空间的头部图像而识别智能体的面部朝向的图像,或者通过包含身体(躯体、手脚)的图像而识别智能体的动作、举止、姿势等的图像。智能体图像可以是动画图像。例如,显示控制部122可以使与通过乘员识别装置80识别的乘员的位置接近的显示区域显示智能体图像,或者生成并显示面部朝向乘员的位置的智能体图像。
声音控制部124根据来自输出控制部120的指示,使扬声器单元30所包含的扬声器中的一部分或全部输出声音。声音控制部124可以使用多个扬声器单元30,进行使智能体声音的声像定位于与智能体图像的显示位置对应的位置的控制。与智能体图像的显示位置对应的位置例如是智能体图像发出智能体声音时,预测为乘员感觉到的位置,具体而言,是智能体图像的显示位置附近(例如,2~3[cm]以内)的位置。
智能体功能部150与对应的智能体服务器200协作而使智能体出现,根据车辆的乘员的讲话,提供包含使输出部输出利用声音进行的响应的情况的服务。智能体功能部150可以包括被赋予了对车辆M(例如,车辆设备50)进行控制的权限的功能部。智能体功能部150可以具有经由配对应用执行部160与通用通信装置70协作、与智能体服务器200通信的功能部。例如,向智能体功能部150-1赋予对车辆M(例如,车辆设备50)进行控制的权限。智能体功能部150-1经由车载通信装置60与智能体服务器200-1通信。智能体功能部150-2经由车载通信装置60与智能体服务器200-2通信。智能体功能部150-3经由配对应用执行部160与通用通信装置70协作,与智能体服务器200-3通信。
配对应用执行部160例如通过Bluetooth(注册商标)与通用通信装置70进行配对,使智能体功能部150-3与通用通信装置70连接。智能体功能部150-3通过利用了USB(Universal Serial Bus)等的有线通信而连接于通用通信装置70。
[智能体服务器及便携终端]
图4是表示第一实施方式的智能体服务器200及便携终端300的构成和智能体装置100的构成的一部分的图。以下,与智能体服务器200及便携终端300的构成一起,说明与车辆MA及车辆MB上分别搭载的同一种类的智能体对应的智能体功能部等的动作。
以下,使用智能体1作为同一种类的智能体的一例,对于智能体装置100A及100B的各自的构成部的符号赋予“A”或“B”的文字,来辨别各自的构成。以下,省略关于使用了网络NW的物理性的通信的说明。以下,主要以智能体装置100A及智能体服务器200-1的动作为中心进行说明。
智能体服务器200-1具备服务器侧通信部210。服务器侧通信部210例如是NIC(Network Interface Card)等网络接口。此外,智能体服务器200-1例如具备声音识别部220、自然语言处理部222、对话管理部224、网络检索部226、响应内容生成部228、信息提供部230、存储部250。这些构成要素例如通过CPU等硬件处理器执行程序(软件)而实现。这些构成要素中的一部分或全部可以通过LSI或ASIC、FPGA、GPU等硬件(包括电路部;circuitry)实现,也可以通过软件与硬件的协作实现。程序可以预先保存于HDD或闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD或CD-ROM等能够拆装的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置来安装。声音识别部220与自然语言处理部222合在一起的构成是“识别部”的一例。
存储部250通过上述的各种存储装置实现。在存储部250保存有例如词典DB(数据库)252、个人资料254、知识库DB256、响应规则DB258、智能体管理信息260等的数据或程序。
在智能体装置100中,智能体功能部150A-1例如将从音响处理部112等输入的声音流或进行了压缩、编码等处理的声音流向智能体服务器200-1发送。智能体功能部150A-1在能够识别到可进行本地处理(不经由智能体服务器200-1的处理)的命令(要求内容)的情况下,可以执行由命令要求的处理。可进行本地处理的命令例如是通过参照智能体装置100A分别具备的存储部170A而能够响应的命令。更具体而言,可进行本地处理的命令例如是从存储部170A内存在的电话号码本数据中检索特定者的名字,向与一致的名字建立了对应的电话号码打电话(传呼对方)的命令。因此,智能体功能部150A-1可以具有智能体服务器200-1所具备的功能的一部分。
当取得声音流时,声音识别部220进行声音识别而输出文本化的文字信息,自然语言处理部222对于文字信息一边参照词典DB252一边进行意思解释。词典DB252例如是对于文字信息将抽象化的意思信息建立了对应的DB。词典DB252可以包含同义词或近义词的一览信息。声音识别部220的处理与自然语言处理部222的处理可以不是明确地区分阶段的处理,而是相互影响地进行处理:如接受自然语言处理部222的处理结果而声音识别部220对识别结果加以修正等。
自然语言处理部222例如在识别到“今天的天气”、“天气如何”等的意思作为识别结果的情况下,生成置换成标准文字信息“今天的天气”的命令。由此,即使在要求的声音存在文字波动的情况下,也能够容易进行符合要求的对话。自然语言处理部222可以使用例如利用了概率的机械学习处理等人工智能处理来识别文字信息的意思,或生成基于识别结果的命令。
对话管理部224基于输入的命令,一边参照个人资料254或知识库DB256、响应规则DB258,一边决定对于车辆M的乘员的响应内容(例如,向乘员的讲话内容或从输出部输出的图像、声音)。个人资料254包括按照各用户(乘员)保存的用户的个人信息、兴趣嗜好、过去的对话的历史等。用户的个人信息包括例如用于与用户的便携终端300进行通信的地址信息等。知识库DB256是规定了事物的关联性的信息。响应规则DB258是规定了相对于命令而智能体应进行的动作(回答或设备控制的内容等)的信息。
对话管理部224可以使用从声音流得到的特征信息,通过与个人资料254进行比对,来确定用户。在该情况下,在个人资料254中,例如,将个人信息与声音的特征信息建立对应。声音的特征信息是例如与声音的高低、语调、节奏(声音的高低的模式)等的说话方式的特征、梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficients)等的特征量相关的信息。声音的特征信息例如是通过在用户的初始登记时使用户发出规定的单词、语句等并识别发出的声音而得到的信息。
对话管理部224在命令是要求经由网络NW能够检索的信息的命令的情况下,使网络检索部226进行检索。网络检索部226经由网络NW访问各种网页服务器400,取得所希望的信息。“经由网络NW能够检索的信息”例如是处于车辆M的周边的餐厅的一般用户的评价的结果,或者当天的与车辆M的位置相应的天气预报。
响应内容生成部228以将通过对话管理部224决定的讲话的内容向车辆M的乘员传递的方式,生成响应内容,将生成的响应内容向智能体装置100发送。响应内容例如包含向乘员提供的响应文或对于各控制对象设备的控制命令等。响应内容生成部228从智能体装置100取得乘员识别装置80的识别结果,在通过取得的识别结果而确定到进行了包含命令的讲话的乘员为个人资料254中登记的乘员的情况下,可以称呼乘员的名字,或生成与乘员的说话方式相似的说话方式的响应内容。
信息提供部230对于通过响应内容生成部228生成的响应内容,参照存储部250存储的智能体管理信息260,生成与智能体的输出形态对应的响应内容。图5是表示智能体管理信息260的内容的一例的图。在智能体管理信息260中,例如,将作为辨别用户的辨别信息的用户ID及作为辨别车辆M的辨别信息的车辆ID与属性信息及智能体设定信息建立对应。属性信息例如是用于辨别与用户建立了对应的多个车辆上分别搭载的同一种类的智能体的辨别信息。属性信息包括例如车名或汽车牌照记载的机动车登记编号。属性信息只要是用户能够确定多个车辆中的哪个车辆的信息即可,具体而言,可以包含机动车制造商、车身的颜色信息或形状信息、购入时期等信息。智能体设定信息包含例如通过智能体设定部116设定的智能体图像信息及智能体声音信息。
例如,信息提供部230使用从智能体功能部150A-1与声音一起发送来的用户ID及车辆ID,参照存储部250所存储的智能体管理信息260,取得与用户ID及车辆ID建立了对应的智能体设定信息。并且,信息提供部230生成与智能体设定信息的智能体图像及智能体声音对应的响应内容,将生成的响应内容向发送了声音的智能体功能部150A-1发送。
智能体功能部150A-1当从智能体服务器200-1取得响应内容时,以进行声音合成等而输出声音的方式对声音控制部124作出指示。智能体功能部150A-1对应于声音输出而生成智能体图像,以显示生成的智能体图像或响应结果包含的图像等的方式对显示控制部122作出指示。这样,假想地出现的智能体实现对车辆M的乘员进行响应的智能体功能。
信息提供部230从例如从智能体功能部150-1取得的向用户U1提供的信息、且是在根据来自乘员识别装置80的识别结果而用户U1未乘坐于车辆MA、MB的情况下在个人资料254存储的个人信息中取得便携终端300的地址信息,基于取得的地址信息向便携终端300输出响应内容。向用户U1提供的信息例如是与车辆相关的信息或通过与用户U1的对话而预约的信息等的推定为应向用户U1提前通知的信息。关于向便携终端300进行信息提供时的信息提供部230的功能的详细,在后文叙述。
智能体服务器200-1对于车辆MA上搭载的智能体装置100A所具备的智能体功能部150A-1和车辆MB上搭载的智能体装置100B所具备的智能体功能部150B-1分别执行上述的功能。
[便携终端]
便携终端300例如是未搭载智能体功能的移动式的终端装置。便携终端300例如是智能手机或平板终端、可穿戴终端。便携终端300例如具备终端侧通信部310、终端侧麦克风320、终端侧显示/操作装置330、终端侧扬声器340、终端侧音响处理部350、终端侧输出控制部360。这些构成要素例如通过CPU等硬件处理器执行程序(软件)实现。这些构成要素中的一部分或全部可以通过LSI或ASIC、FPGA、GPU等硬件(包括电路部;circuitry)实现,也可以通过软件与硬件的协作实现。程序可以预先保存于HDD或闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD或CD-ROM等能够拆装的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置来安装。
终端侧通信部310经由网络NW与智能体服务器200或其他的外部装置进行通信。终端侧麦克风320是对用户U1发出的声音进行收集的声音输入部。终端侧显示/操作装置330是显示图像并能够受理输入操作的装置。终端侧显示/操作装置330例如包括构成作为触摸面板的显示器装置。在终端侧显示/操作装置330,作为显示部而具备LCD或有机EL、等离子体显示器等,在各种按钮或画面上,作为操作部而具备GUI(Graphical User Interface)开关。终端侧扬声器340是输出声音的声音输出部。
终端侧音响处理部350受理从终端侧麦克风320收集的声音,对于受理的声音进行能够进行智能体服务器200-1侧的声音识别那样的音响处理。终端侧音响处理部350将音响处理后的声音经由终端侧通信部310向智能体服务器200-1发送。
终端侧输出控制部360基于从智能体服务器200-1输入的响应内容,使终端侧显示/操作装置330的显示部或终端侧扬声器340输出信息。终端侧输出控制部360例如具备显示控制部362、声音控制部364。显示控制部362按照来自终端侧输出控制部360的指示而使显示部的至少一部分的显示区域显示智能体图像等各种图像。声音控制部364按照来自终端侧输出控制部360的指示,使终端侧扬声器340输出智能体声音等各种声音。
[智能体设定部的功能]
以下,具体说明智能体设定部116的功能。智能体设定部116例如在通过向显示/操作装置20的用户操作而受理了智能体的设定指示的情况下,或者用户最初使用智能体的情况下,使显示控制部122生成用于设定智能体的输出形态的图像,使显示/操作装置20的显示部将生成的图像作为智能体设定画面输出。
图6是表示用于设定智能体的输出形态的图像IM1的一例的图。关于图像IM1显示的内容、布局等,没有限定于此。图像IM1例如包括智能体选择区域A11、智能体图像选择区域A12、声音选择区域A13、GUI开关选择区域A14。在图像IM1中,除了上述的区域之外,还可以包括对用户的ID或车辆ID、车辆的颜色、形状进行设定的设定区域、对属性信息进行设定的设定区域、对智能体的名称进行设定的设定区域等。
在智能体选择区域A11显示例如用于供用户U1选择对输出形态进行设定的智能体的信息。例如,在智能体1~智能体3中的、智能体1及智能体2能够设定而智能体3不能设定的情况下,在智能体选择区域A11仅显示智能体1及智能体2的选择项。能够进行智能体的输出形态的设定(变更)的智能体包括能够进行车辆M的控制的智能体(在此,为智能体1)。智能体1从能进行车辆的控制这样的特殊性出发,比其他的智能体与车辆M的关联性高,因此在将与车辆相关的信息向便携终端300通知的情况下,预测为使用智能体1的频度高。因此,通过能够按照各车辆来变更智能体1的输出形态,从而能够使用户U1从向便携终端300输出的信息中容易辨别车辆。在图6的例子中,在智能体选择区域A11显示下拉菜单(下拉式菜单),但也可以取代于此,使用列表框或单选按钮等的GUI能够选择地显示智能体。
在智能体图像选择区域A12显示例如预先决定的一个以上的智能体图像。在图6的例子中,在智能体图像选择区域A12显示智能体图像EI1~EI3(CharacterA~C)。用户U1通过触摸智能体图像EI1~EI3中的任一图像的显示区域来选择智能体图像。在图6的例子中,示出在智能体图像选择区域A12选择了智能体图像EI1的状态。
在声音选择区域A13显示例如预先决定的一个以上的智能体声音。智能体声音包括例如对合成声音、配音演员或知名人士、天才等的实际的人物的声音等进行辨别的信息。在图6的例子中,在声音选择区域A13显示下拉菜单(下拉式菜单),但也可以取代于此,使用列表框或单选按钮等的GUI能够选择地显示智能体声音。
在GUI开关选择区域A14显示用户能够选择的各种GUI按钮。在图6的例子中,在GUI开关选择区域A14包括例如许可在各区域A11~A13选择的内容的设定的设定许可按钮(OK按钮)Ic1、不许可设定的取消按钮IC2。用户U1在选择了设定许可按钮IC1的情况下,以在各区域A11~A13选择的内容来设定智能体的输出形态。在该情况下,智能体设定部116将设定信息与预先决定(或设定)的用户ID、车辆ID及属性信息等建立对应,向与通过智能体选择区域A11选择的智能体对应的智能体服务器200发送。在图6的例子中,由于选择智能体1,因此设定信息(智能体图像“characterA”、智能体声音“VoiceA”)与用户U1的用户ID(例如,“U1”)、车辆MA的车辆ID(例如,“V001”)、属性信息(例如,车名“AAA”)一起向智能体服务器200-1发送。智能体服务器200-1将通过智能体设定部116发送的信息作为智能体管理信息260存储于存储部250。
智能体设定部116可以在例如与用户ID建立对应而设定的输出形态(智能体图像、智能体声音)与同一车辆的其他的智能体的输出形态重复的情况下,中止该设定信息的登记,以不同的内容再次设定地向用户U1通知。由此,能够抑制搭载于同一车辆的多个智能体难以区分的情况。智能体设定部116即使在与已经登记的其他的车辆的同一种类的智能体的输出形态重复的情况下,也可以进行同样地再次设定的控制。
在选择了取消按钮IC2的情况下,智能体设定部116将通过图像IM1设定的内容清除。在上述的例子中,说明了进行智能体图像及智能体声音的设定的例子,但是例如也可以显示设定智能体图像或智能体声音的任一方的图像,进行相对于显示的内容的设定。
[信息提供部的功能]
接下来,具体说明信息提供部230的功能。以下,也说明与信息提供部230的功能关联的响应内容生成部228的功能。响应内容生成部228例如在被输入了与车辆MA相关的信息作为从智能体功能部150A-1向用户提供的信息的情况下,生成将与车辆MA相关的信息向用户U1通知的响应内容。“与车辆相关的信息”包括例如车辆M的窗或门的开闭状态、燃料或蓄电池的状态(例如,剩余量)、灯或室内照明的开启/关闭状态、或乘员识别装置80的识别结果中的至少一个。
在此,例如,智能体服务器200-1从车辆MA的智能体功能部150A-1取得了“后部座位的窗开着”这样的信息。智能体服务器200-1通过搭载于车辆MA、MB的乘员识别装置80A、80B的识别结果,取得车辆MA、MB不存在乘员这样的信息。
在该情况下,信息提供部230使用户U1的便携终端300输出与车辆MA相关的信息。在该情况下,信息提供部230从存储部250所存储的智能体管理信息260取得与用户ID及车辆ID对应的属性信息,生成包含取得的属性信息的响应内容。在图5的例子中,在用户U1的用户ID为“U1”,车辆MA的车辆ID为“V001”的情况下,响应内容生成部228生成输出形态为智能体图像“characterA”、智能体声音“VoiceA”的响应内容,并生成包含属性信息(例如,车名“AAA”)的信息的响应内容,将生成的响应内容向便携终端300发送。
终端侧输出控制部360将与通过智能体服务器200-1发送来的响应内容对应的图像向终端侧显示/操作装置330的显示部输出,或者将与响应内容对应的声音通过终端侧扬声器340输出。
图7是表示经由便携终端300进行信息提供的内容的一例的图。在图7的例子中,示出通过显示控制部362生成而显示于终端侧显示/操作装置330的显示部的图像IM2和通过终端侧扬声器340输出的声音的例子。图像IM2包括例如文字信息显示区域A21和智能体显示区域A22。在文字信息显示区域A21显示例如和与用户U1进行对话的智能体相关的信息。在图7的例子中,在文字信息显示区域A21显示“‘AAA’的智能体1处于对话中”这样的文字信息。
在智能体显示区域A22显示例如与对话中的智能体建立了对应的智能体图像或智能体的响应内容。在图7的例子中,在智能体显示区域A22显示与用户U1及车辆MA的智能体1建立了对应的智能体图像EI1。在该情况下,智能体图像EI1显示按照各车辆设定的智能体设定信息的智能体图像。在智能体显示区域A22,作为与响应内容对应的文字信息,显示“后部座位的窗开着。关闭吗?”这样的文字信息。声音控制部364生成“是‘AAA’的智能体1。‘AAA’的后部座位的窗开着。关闭吗?”这样的声音来作为与响应内容对应的声音,并使生成的声音输出。在该情况下,声音以与用户U1及车辆MA建立了对应的智能体声音输出。这样,通过图像上显示的文字信息、智能体图像、智能体声音,将智能体自身为哪个车辆的智能体向用户U1传达,由此能够使用户U1容易判别正在对话的智能体。
在向便携终端300作出了上述的图7所示那样的信息提供之后,用户U1讲出“关闭”的情况下,相对于通过终端侧麦克风320取得的上述的讲话的声音进行音响处理,将音响处理后的声音从终端侧通信部310向智能体服务器200-1发送。智能体服务器200-1相对于从便携终端300接收到的声音进行声音识别,作为基于识别结果的响应,生成将车辆MA的后部座位的窗关闭的命令等,并将生成的命令从服务器侧通信部210向智能体功能部150A-1发送。智能体功能部150A-1按照接收到的命令对车辆设备50进行控制,执行将后部座位的窗关闭的控制。由此,用户U1能够对确定的车辆进行适当的指示。
[处理流程]
图8是表示通过第一实施方式的智能体系统1执行的处理的流程的一例的流程图。以下,用户U1设为拥有分别搭载有具备同一种类的智能体功能的多个智能体装置100A、100B的两台车辆MA、MB以及便携终端300。以下,主要以便携终端300进行来自车辆MA的智能体的信息提供的处理为中心进行说明。以下,设为已经通过智能体设定部116按照各车辆设定了各智能体的智能体图像及智能体声音。以下的处理以规定的定时或周期反复执行。
在图8的例子中,首先,智能体功能部150判定是否进行向用户U1的响应(步骤S100)。响应也包括不是对话中而仅进行信息提供的情况。在判定为进行向用户U1的响应的情况下,响应内容生成部228基于信息提供的内容,生成与智能体设定信息(智能体图像、智能体声音)对应的输出形态的响应内容(步骤S102)。接下来,信息提供部230判定是否将生成的响应内容向用户U1的便携终端300发送(步骤S104)。例如,在用户U1未乘坐于车辆MA或MB的情况下,信息提供部230判定为将响应内容向便携终端300发送。
在判定为将响应内容向便携终端300发送的情况下,信息提供部230生成包含智能体的属性信息的响应内容(步骤S106),并将生成的响应内容向便携终端300发送(步骤S108)。其结果是,从便携终端300输出包含智能体的属性信息的响应内容,能够使用户U1容易判别是来自哪个车辆的智能体的信息提供。
在步骤S104的处理中判定为不向便携终端300发送的情况下,信息提供部230将通过响应内容生成部228生成的响应内容向乘员乘坐的车辆发送(步骤S110)。在向用户U1的响应是从车辆MA的智能体提供的信息、用户U1乘坐于车辆MB(另一车辆)的情况下,可以是以另一车辆MB的同一种类的智能体的输出形态输出响应内容,也可以生成包含属性信息的响应内容并将生成的响应内容输出。由此,本流程图的处理结束。在步骤S100的处理中,在判定为不进行向用户的响应的情况下,本流程图的处理结束。
根据上述的第一实施方式的智能体系统1,在用户拥有搭载有多个智能体功能的多个车辆的情况下,向来自智能体的信息提供中赋予智能体的属性信息,由此能够使用户容易区分是搭载于哪个车辆的智能体。根据第一实施方式的智能体系统1,即使在便携终端300未搭载智能体功能的情况下也能够实现与车辆侧的智能体协同的对话。
<第二实施方式>
接下来,说明第二实施方式的智能体系统。例如,根据搭载于物体的智能体的不同,由于按照各智能体提供者决定的制约或权限等,有时无法变更智能体图像或智能体的声音。在该状况下,在进行向便携终端300的信息提供的情况下,搭载于多个物体的同一种类的智能体的输出形态相同,因此有时难以区分是哪个物体的智能体。因此,在第二实施方式中,在提供来自智能体图像或智能体声音未按照各车辆能够区分地设定的智能体的信息的情况下,搭载于该物体的其他的智能体即设定智能体图像或智能体声音的智能体(代理响应智能体)代替地进行信息提供。第二实施方式的智能体系统与第一实施方式的智能体系统1相比,仅智能体服务器的构成不同。因此,以下,主要以智能体服务器的功能为中心进行说明。在以下的说明中,关于与第一实施方式的构成同样的构成,标注同一名称及符号,省略具体的说明。
图9是表示第二实施方式的智能体服务器的构成的一例的图。在图9的例子中,作为一例,示出与搭载于车辆MA的多个不同的智能体1~3建立了对应的智能体功能部150A-1~150A-3及智能体服务器200#-1~200#-3。智能体服务器200#-1~200#-3虽然在各自能够执行的功能或数据库等上存在差异,但是大体的处理相同,因此以下使用智能体服务器200#-1进行说明。
智能体服务器200#-1例如与第一实施方式的智能体服务器200相比,在取代信息提供部230而具备信息提供部230#这一点不同。因此,以下,主要以信息提供部230#为中心进行说明。信息提供部230#除了具备与信息提供部230同样的功能之外,在将响应内容向便携终端300输出的情况且智能体管理信息260没有按各车辆的智能体设定信息的情况下,使搭载于同一车辆的其他的智能体且存在按各车辆的智能体设定信息的智能体代理输出响应内容。
具体而言,智能体服务器200#-1的信息提供部230#在将响应内容向便携终端300输出的情况且智能体管理信息260没有按各车辆的智能体设定信息的情况下,向其他的智能体服务器(例如,智能体服务器200#-2、200#-3)发送用户ID及车辆ID而进行与代理响应的可否相关的询问。
其他的智能体服务器200#-2、200#-3的信息提供部230#使用接收的用户ID及车辆ID,参照自身的智能体管理信息260,在存在一致的智能体管理信息的情况下,判定为能够进行代理响应,在不存在一致的智能体管理信息的情况下,判定为不能进行代理响应。关于代理响应的可否判定,可以取代上述的例子(或在此基础上),基于用户预先设定的可否标志进行可否判定,也可以基于是否能够向便携终端300发送进行可否判定,还可以通过其他的条件进行可否判定。其他的智能体服务器200#-2、200#-3的信息提供部230#将询问结果向智能体服务器200#-1发。
智能体服务器200#-1的信息提供部230#向其他的智能体服务器200#-2、200#-3中的存在代理响应的许可的智能体服务器发送响应内容,使与发送目的地的智能体服务器建立了对应的智能体执行向便携终端300的响应内容的输出。在从多个智能体服务器存在响应许可的情况下,信息提供部230#向首先发送了响应许可的智能体服务器或预先决定的优先度高的智能体服务器发送响应内容。信息提供部230#也可以不向其他的智能体服务器进行上述的询问而强制地向特定的智能体服务器发送响应内容并使其进行代理输出。
从智能体服务器200#-1接收到响应内容的智能体服务器的信息提供部230#将向响应内容赋予了智能体的属性信息、智能体类别等的响应内容以自身的智能体的输出形态向便携终端300输出。
图10是表示在第二实施方式中从便携终端300输出的信息的一例的图。图10示出在便携终端300的终端侧显示/操作装置330的显示部显示的图像IM3的一例。在图10的例子中,示出与智能体服务器200#-1建立了对应的智能体1提供通过智能体3的智能体服务器200#-3生成的响应内容的场景。图像IM3包括例如文字信息显示区域A31和智能体显示区域A32。在文字信息显示区域A31显示与当前对话中的智能体相关的信息。在图10的例子中,在文字信息显示区域A31显示“‘AAA’的智能体1处于对话中”这样的文字信息。
在智能体显示区域A32显示例如对话中的智能体图像或响应结果(提供的信息)。在图10的例子中,在智能体显示区域A32显示有将响应内容取代智能体3而向用户U1通知的智能体1所对应的智能体图像EI1、作为智能体3生成的响应结果的“本日15:00到○○去。”这样的文字信息。在该场景下输出的响应结果包括:与包含属性信息的自身的智能体相关的信息;与生成了响应内容的智能体相关的信息;以及智能体生成的响应内容。在图10的例子中,在智能体显示区域A32,作为响应结果的声音信息,输出“是‘AAA’的智能体1。”及“从智能体3收到关于从本日15点到○○去的预定的联络。”这样的声音。
在第二实施方式中,代理响应智能体可以设定为仅规定智能体能够进行。在该情况下,规定的智能体是例如能够设定智能体的输出形态的智能体。规定的智能体包括能够进行车辆M的控制的智能体(在此,为智能体1)。智能体1选择为例如与其他的智能体相比进行代理响应的优先度高,或强制地进行代理响应的特定的智能体。通过使与车辆M的关联性高的智能体1进行代理响应,能够使用户容易判别是从哪个车辆提供的信息。
[处理流程]
以下,说明通过第二实施方式的智能体系统执行的处理的流程。通过第二实施方式的智能体系统执行的处理大体分为例如智能体服务器200#的信息提供部230#使其他的智能体服务器进行代理响应的处理和基于从其他的智能体服务器接收的响应内容而自身的智能体进行代理响应的处理,因此分别分开地进行说明。
图11是表示智能体服务器200#使其他的智能体服务器进行代理响应的处理的流程的一例的流程图。图11的流程图与上述的图8所示的第一实施方式的流程图相比,在追加步骤S120~S128的处理这一点上不同。因此,以下,主要以步骤S120~S128的处理为中心进行说明。在步骤S100的处理中,在判定为进行向用户的信息提供的情况下,信息提供部230#判定智能体管理信息260是否存在与用户ID及车辆ID对应的智能体设定信息(步骤S120)。在判定为存在智能体设定信息的情况下,执行步骤S102~S110的处理。
在判定为不存在智能体设定信息的情况下,响应内容生成部228生成响应内容(步骤S122)。接下来,信息提供部230#向搭载于同一车辆的其他的智能体(更具体而言,其他的智能体服务器)询问代理响应的可否(步骤S124)。接下来,信息提供部230#根据对步骤S124的询问结果来判定是否存在代理响应智能体(步骤S126)。在判定为不存在代理响应智能体的情况下,执行步骤S104~S110的处理。在判定为存在代理响应智能体的情况下,信息提供部230#向代理响应智能体发送响应内容(步骤S128)。
图12是表示基于从其他的智能体服务器接收到的响应内容,自身的智能体进行代理响应的处理的流程的一例的流程图。在图12的例子中,信息提供部230#判定从其他的智能体服务器是否受理了代理响应的可否的询问(步骤S200)。在判定为受理了代理响应的可否的询问的情况下,信息提供部230#基于作为询问信息而取得的用户ID及车辆ID,参照智能体管理信息260,判定是否存在与用户ID及车辆ID对应的智能体设定信息(步骤S202)。
在判定为存在智能体设定信息的情况下,信息提供部230#判断为能够进行代理响应,将能够进行代理响应的情况向存在询问的智能体服务器通知(步骤S204)。接下来,信息提供部230#判定是否从通知了能够进行代理响应的情况的智能体服务器接收到响应内容(步骤S206)。在判定为接收到响应内容的情况下,信息提供部230#判定是否将接收到的响应内容向用户U1的便携终端300发送(步骤S208)。在判定为将响应内容向便携终端300发送的情况下,信息提供部230#生成包含智能体的属性信息及生成了响应内容的智能体类别的响应内容(步骤S210),将生成的响应内容向便携终端300发送(步骤S212)。其结果是,通过便携终端300输出的提供信息也包含智能体的属性信息、智能体类别,能够使用户U1容易判别车辆及智能体。
在步骤S208的处理中,在判定为不向便携终端300发送的情况下,信息提供部230#将通过响应内容生成部228生成的响应内容向乘员乘坐的车辆发送(步骤S214)。在步骤S02的处理中判定为不存在智能体设定信息的情况下,信息提供部230#将不能进行代理响应的情况向存在询问的智能体服务器通知(步骤S216)。由此,本流程图的处理结束。在步骤S200的处理中判定为未受理代理响应的可否的询问的情况下,或者在步骤S206的处理中判定为未接收到响应内容的情况下,本流程图的处理结束。
根据上述的第二实施方式的智能体系统,除了起到与第一实施方式的智能体系统同样的效果之外,通过根据相对于在用户拥有的多个车辆上搭载的智能体的输出形态的设定状况而使同一车辆的其他的智能体进行代理响应,由此能够使用户容易区分是来自哪个车辆上搭载的哪个智能体的信息。
上述的第一实施方式及第二实施方式分别可以组合其他的实施方式的一部分或全部。智能体装置100的功能中的一部分或全部可以包含于智能体服务器200(200#)。智能体服务器200(200#)的功能中的一部分或全部可以包含于智能体装置100。即,智能体装置100及智能体服务器200(200#)中的功能的划分可以根据各装置的构成要素、智能体服务器200(200#)或智能体系统的规模等而适当变更。智能体装置100及智能体服务器200(200#)中的功能的划分也可按照各车辆M设定。
作为第一实施方式及第二实施方式中的物体的一例,使用车辆进行了说明,但是也可以取代车辆(或者在此基础上),而为例如在自家或公司等特定的地点设置的终端装置、或车辆以外的具备输出部的移动体(例如,船舶、飞机、无人机、机动二轮车)。上述的实施方式的便携终端300作为未搭载智能体功能的便携终端进行了说明,但是没有限定于此,可以在便携终端300搭载一个以上的智能体功能。在该情况下,在便携终端300搭载与上述的智能体功能部150同样的功能,经由智能体服务器200等实现与上述的智能体同样的功能。
以上,使用实施方式说明了用于实施本发明的方式,但是本发明不受这样的实施方式的任何限定,在不脱离本发明的主旨的范围内能够施加各种变形及置换。

Claims (11)

1.一种智能体系统,其具备:
多个智能体功能部,其搭载于不同的多个物体,分别根据用户的讲话,提供包含使输出部输出利用声音进行的响应的服务;及
信息提供部,其在所述多个智能体功能部中的同一种类的智能体功能部存在于所述多个物体的情况下,将与所述同一种类的智能体功能部分别建立了对应的属性信息包含于所述同一种类的智能体功能部的响应内容,向所述用户的移动式的便携终端提供,
所述多个智能体功能部分别以与所述用户进行对话的拟人化智能体图像或声音中的一方或双方与其他智能体功能部不同的输出形态设定,
所述信息提供部在将所述响应内容向所述便携终端提供的情况下,使用在与所述响应内容建立了对应的智能体功能部设定的输出形态的所述拟人化智能体图像及所述声音从所述便携终端输出所述响应内容。
2.根据权利要求1所述的智能体系统,其中,
所述多个物体包括与所述用户建立了对应的车辆。
3.根据权利要求2所述的智能体系统,其中,
所述属性信息包含与所述车辆相关的信息。
4.根据权利要求2所述的智能体系统,其中,
所述智能体系统还具备设定部,该设定部用于对所述多个智能体功能部中的规定的智能体功能部的所述响应的输出形态进行设定。
5.根据权利要求4所述的智能体系统,其中,
所述规定的智能体功能部是能够进行所述车辆的控制的智能体功能部。
6.根据权利要求4所述的智能体系统,其中,
所述规定的智能体功能部取得所述多个智能体功能部所包含的其他的智能体功能部的响应内容。
7.根据权利要求4所述的智能体系统,其中,
所述规定的智能体功能部将从其他的智能体功能部取得的响应内容代理给所述其他的智能体功能部而向所述便携终端输出。
8.根据权利要求1所述的智能体系统,其中,
所述信息提供部提供与所述用户对话中的智能体功能部的信息及生成了所述响应内容的智能体功能部的信息。
9.一种智能体服务器,其具备:
智能体功能部,其根据用户的讲话,提供包含使输出部输出利用声音进行的响应的服务;及
信息提供部,其在所述智能体功能部搭载于与所述用户建立了对应的多个物体且分别搭载于所述多个物体的智能体功能部为同一种类的智能体功能部的情况下,将与所述同一种类的智能体功能部分别建立了对应的属性信息包含于所述同一种类的智能体功能部的响应内容,向所述用户的移动式的便携终端提供,
多个所述智能体功能部分别以与所述用户进行对话的拟人化智能体图像或声音中的一方或双方与其他智能体功能部不同的输出形态设定,
所述信息提供部在将所述响应内容向所述便携终端提供的情况下,使用在与所述响应内容建立了对应的智能体功能部设定的输出形态的所述拟人化智能体图像及所述声音从所述便携终端输出所述响应内容。
10.一种智能体服务器的控制方法,其中,
所述控制方法使计算机进行如下处理:
使智能体功能部起动;
作为所述起动的智能体功能部的功能,根据用户的讲话,提供包含响应的服务;
在所述智能体功能部搭载于与所述用户建立了对应的多个物体且分别搭载于所述多个物体的智能体功能部为同一种类的智能体功能部的情况下,将与所述同一种类的智能体功能部分别建立了对应的属性信息包含于所述同一种类的智能体功能部的响应内容,向所述用户的移动式的便携终端提供,
多个所述智能体功能部分别以与所述用户进行对话的拟人化智能体图像或声音中的一方或双方与其他智能体功能部不同的输出形态设定,
在将所述响应内容向所述便携终端提供的情况下,使用在与所述响应内容建立了对应的智能体功能部设定的输出形态的所述拟人化智能体图像及所述声音从所述便携终端输出所述响应内容。
11.一种存储介质,其存储有程序,其中,
所述程序使计算机进行如下处理:
使智能体功能部起动;
作为所述起动的智能体功能部的功能,根据用户的讲话,提供包含响应的服务;
在所述智能体功能部搭载于与所述用户建立了对应的多个物体且分别搭载于所述多个物体的智能体功能部为同一种类的智能体功能部的情况下,将与所述同一种类的智能体功能部分别建立了对应的属性信息包含于所述同一种类的智能体功能部的响应内容,向所述用户的移动式的便携终端提供,
多个所述智能体功能部分别以与所述用户进行对话的拟人化智能体图像或声音中的一方或双方与其他智能体功能部不同的输出形态设定,
在将所述响应内容向所述便携终端提供的情况下,使用在与所述响应内容建立了对应的智能体功能部设定的输出形态的所述拟人化智能体图像及所述声音从所述便携终端输出所述响应内容。
CN202010189080.5A 2019-03-22 2020-03-17 智能体系统、智能体服务器及其控制方法、存储介质 Active CN111731320B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019054880A JP2020154994A (ja) 2019-03-22 2019-03-22 エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラム
JP2019-054880 2019-03-22

Publications (2)

Publication Number Publication Date
CN111731320A CN111731320A (zh) 2020-10-02
CN111731320B true CN111731320B (zh) 2024-04-12

Family

ID=72559340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010189080.5A Active CN111731320B (zh) 2019-03-22 2020-03-17 智能体系统、智能体服务器及其控制方法、存储介质

Country Status (3)

Country Link
US (1) US11518398B2 (zh)
JP (1) JP2020154994A (zh)
CN (1) CN111731320B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7354888B2 (ja) * 2020-03-17 2023-10-03 トヨタ自動車株式会社 情報処理装置、プログラム、及び、情報処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101716932A (zh) * 2008-10-08 2010-06-02 通用汽车环球科技运作公司 使用车载车辆系统设置的车辆驾驶员识别和定制的设备和方法
CN102120455A (zh) * 2010-01-08 2011-07-13 福特全球技术公司 车辆保养提示系统和车辆保养提示方法
CN103687772A (zh) * 2011-05-20 2014-03-26 法雷奥开关和传感器有限责任公司 使用车辆中的便携式装置支持驾驶员的方法
CN105026238A (zh) * 2012-09-28 2015-11-04 英特尔公司 对一组车辆访问的分层等级
CN107491188A (zh) * 2016-06-09 2017-12-19 现代自动车美国技术研究所 使用多点触摸智能电话显示器作为机动车辆中的触控板
CN108058712A (zh) * 2016-11-07 2018-05-22 Lg电子株式会社 车辆及其控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4645310B2 (ja) 2005-06-02 2011-03-09 株式会社デンソー エージェントキャラクタ表示を利用した表示システム
DE202017102495U1 (de) * 2016-05-02 2017-08-07 Google Inc. Teilen von Fahrzeugeinstellungsdaten
JP6822325B2 (ja) * 2017-06-21 2021-01-27 日本電気株式会社 操縦支援装置、操縦支援方法、プログラム
WO2019087349A1 (ja) * 2017-11-02 2019-05-09 株式会社Leis 金融取引制御システム、そのアプリケーション、それを用いた金融取引方法、および金融取引制御方法
CN112805182B (zh) * 2018-10-05 2024-01-12 本田技研工业株式会社 智能体装置、智能体控制方法及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101716932A (zh) * 2008-10-08 2010-06-02 通用汽车环球科技运作公司 使用车载车辆系统设置的车辆驾驶员识别和定制的设备和方法
CN102120455A (zh) * 2010-01-08 2011-07-13 福特全球技术公司 车辆保养提示系统和车辆保养提示方法
CN103687772A (zh) * 2011-05-20 2014-03-26 法雷奥开关和传感器有限责任公司 使用车辆中的便携式装置支持驾驶员的方法
CN105026238A (zh) * 2012-09-28 2015-11-04 英特尔公司 对一组车辆访问的分层等级
CN107491188A (zh) * 2016-06-09 2017-12-19 现代自动车美国技术研究所 使用多点触摸智能电话显示器作为机动车辆中的触控板
CN108058712A (zh) * 2016-11-07 2018-05-22 Lg电子株式会社 车辆及其控制方法

Also Published As

Publication number Publication date
US20200317215A1 (en) 2020-10-08
CN111731320A (zh) 2020-10-02
JP2020154994A (ja) 2020-09-24
US11518398B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
CN111661068B (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111681651B (zh) 智能体装置、智能体系统、服务器装置、智能体装置的控制方法及存储介质
CN111667824A (zh) 智能体装置、智能体装置的控制方法及存储介质
JP7239366B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN111746435B (zh) 信息提供装置、信息提供方法及存储介质
CN111731320B (zh) 智能体系统、智能体服务器及其控制方法、存储介质
US20200317055A1 (en) Agent device, agent device control method, and storage medium
CN111559328B (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111667333A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111661065B (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111667823B (zh) 智能体装置、智能体装置的控制方法及存储介质
US11797261B2 (en) On-vehicle device, method of controlling on-vehicle device, and storage medium
CN111754288A (zh) 服务器装置、信息提供系统、信息提供方法及存储介质
JP2020142758A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP2020160133A (ja) エージェントシステム、エージェントシステムの制御方法、およびプログラム
CN111559317B (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111726772B (zh) 智能体系统及其控制方法、服务器装置、存储介质
US11518399B2 (en) Agent device, agent system, method for controlling agent device, and storage medium
JP7280074B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN111824174A (zh) 智能体装置、智能体装置的控制方法及存储介质
JP2020160108A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant