CN111746434A - 智能体装置、智能体装置的控制方法及存储介质 - Google Patents

智能体装置、智能体装置的控制方法及存储介质 Download PDF

Info

Publication number
CN111746434A
CN111746434A CN202010210387.9A CN202010210387A CN111746434A CN 111746434 A CN111746434 A CN 111746434A CN 202010210387 A CN202010210387 A CN 202010210387A CN 111746434 A CN111746434 A CN 111746434A
Authority
CN
China
Prior art keywords
vehicle
agent
connection state
terminal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010210387.9A
Other languages
English (en)
Inventor
内木贤吾
古屋佐和子
我妻善史
久保田基嗣
中山裕贵
仓持俊克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111746434A publication Critical patent/CN111746434A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

本发明提供智能体装置、智能体装置的控制方法及存储介质。智能体装置具备:车载智能体功能部,其搭载于车辆,根据用户的讲话,提供包含使输出部输出利用声音进行的响应的服务;车载通信部,其经由车载通信装置使所述车载智能体功能部连接于网络;及终端通信部,其经由通用终端使所述车载智能体功能部连接于所述网络,所述智能体装置从经由所述车载通信部实现的第一连接状态和经由所述终端通信部实现的第二连接状态中选择所述车载智能体功能部连接于所述网络的状态。

Description

智能体装置、智能体装置的控制方法及存储介质
技术领域
本发明涉及智能体装置、智能体装置的控制方法及存储介质。
背景技术
以往,公开了关于如下的智能体功能的技术,所述智能体功能是指一边与车辆的乘员进行对话,一边提供与乘员的要求相应的驾驶支援涉及的信息、进行车辆的控制、提供其他的应用等(例如,参照日本特开2006-335231号)。
发明内容
由智能体功能产生的信息例如将至少一部分通过无线通信在车辆与网络之间收发,但是无线通信的状态并非始终稳定,而且通信的协议等规约也根据通信形态而存在各种。因此,在仅利用一个通信手段的情况下,有时会产生未预期的不良情况,有时用户无法安心利用。
本发明的方案考虑这样的情况而作出,目的之一在于提供能够进行更安心的支援的智能体装置、智能体装置的控制方法及存储介质。
为了解决上述课题并实现所述目的,本发明采用了以下的方案。
(1):本发明的一方案的智能体装置具备:车载智能体功能部,其搭载于车辆,根据用户的讲话,提供包含使输出部输出利用声音进行的响应的服务;车载通信部,其经由车载通信装置使所述车载智能体功能部连接于网络;及终端通信部,其经由通用终端使所述车载智能体功能部连接于所述网络,所述智能体装置从经由所述车载通信部实现的第一连接状态和经由所述终端通信部实现的第二连接状态中选择所述车载智能体功能部连接于所述网络的状态。
(2):在上述(1)的方案中,可以是,在所述通用终端安装有终端智能体功能部,该终端智能体功能部根据用户的讲话,利用所述通用终端的硬件来提供包含使输出部输出利用声音进行的响应的服务,所述终端通信部经由所述通用终端的终端智能体功能部使所述车载智能体功能部连接于所述网络。
(3):在上述(2)的方案中,可以是,所述车载智能体功能部与所述终端智能体功能部在所述车辆内或经由相互的母服务器能够通信。
(4):在上述(3)的方案中,可以是,所述车载智能体功能部与所述终端智能体功能部通过近距离无线通信交接信息。
(5):在上述(1)~(4)的任一方案中,可以是,所述智能体装置在选择所述第二连接状态的情况下,将经由网络提供的信息经由所述终端通信部向所述车载智能体功能部提供。
(6):在上述(1)~(5)的任一方案中,可以是,所述智能体装置选择所述第一连接状态及所述第二连接状态中的电波强度强的一方。
(7):在上述(1)~(5)的任一方案中,可以是,所述智能体装置根据所述车辆的所在地,选择所述第一连接状态及所述第二连接状态中的任一个。
(8):在上述(1)~(5)的任一方案中,可以是,所述智能体装置基于所述第一连接状态产生的通信量,选择所述第一连接状态及所述第二连接状态中的任一个。
(9):在上述(8)的方案中,可以是,所述智能体装置在所述第一连接状态产生的通信量超过了规定通信量的情况下,选择所述第二连接状态。
(10):在上述(1)~(5)的任一方案中,可以是,所述智能体装置基于用户的指定,来选择所述第一连接状态及所述第二连接状态。
(11):在上述(1)~(10)的任一方案中,可以是,所述智能体装置提示所述车载智能体功能部连接于所述网络的状态是所述第一连接状态和所述第二连接状态中的哪一个。
(12):在上述(1)~(11)的任一方案中,可以是,所述智能体装置在选择所述第二连接状态作为所述车载智能体功能部连接于所述网络的状态的情况下,催促用户对所述通用终端进行充电。
(13):本发明的一方案的智能体装置的控制方法中,使计算机进行如下处理:使搭载于车辆的车载智能体功能部及安装于通用终端的终端智能体功能部起动;经由车载通信装置能够将所述车载智能体功能部连接于网络;经由通用终端能够将所述车载智能体功能部连接于网络;选择经由车载通信部实现的第一连接状态与经由终端通信部实现的第二连接状态作为所述车载智能体功能部连接于所述网络的状态。
(14):本发明的一方案的存储介质为计算机能够读取的非暂时存储介质,存储有程序,其中,所述程序使计算机进行如下处理:使搭载于车辆的车载智能体功能部及安装于通用终端的终端智能体功能部起动;经由车载通信装置能够将所述车载智能体功能部连接于网络;经由通用终端能够将所述车载智能体功能部连接于网络;选择经由车载通信部实现的第一连接状态与经由终端通信部实现的第二连接状态作为所述车载智能体功能部连接于所述网络的状态。
根据本发明的方案,能够进行能够更安心的支援。
附图说明
图1是包含智能体装置的智能体系统的构成图。
图2是表示第一实施方式的智能体装置的构成和搭载于车辆的设备的图。
图3是表示显示/操作装置的配置例的图。
图4是表示扬声器单元的配置例的图。
图5是用于说明确定声像定位的位置的原理的图。
图6是表示车载智能体服务器的构成、智能体装置的构成的一部分的图。
图7是表示包含终端智能体装置的通用通信终端的构成的一例的图。
图8是表示在智能体装置中执行的处理的流程的一例的流程图。
图9是表示在智能体装置中执行的处理的流程的一例的流程图。
图10是表示在智能体装置中执行的处理的流程的一例的流程图。
图11是表示在智能体装置中执行的处理的流程的一例的流程图。
图12是表示在智能体装置中执行的处理的流程的一例的流程图。
图13是说明智能体装置与智能体服务器之间的信息的收发的状态的一例的图。
具体实施方式
以下,参照附图,说明本发明的智能体装置、智能体装置的控制方法及存储介质的实施方式。智能体装置是实现智能体系统的一部分或全部的装置。以下,作为智能体装置的一例,说明搭载于车辆(以下,称为车辆M)且具备多个种类的智能体功能的智能体装置。所谓智能体功能,例如是如下功能:一边与车辆M的用户即乘员进行对话,一边进行基于乘员的讲话之中包含的要求(命令)的各种信息提供,或对网络服务发挥居间作用。多个种类的智能体分别发挥的功能、处理次序、控制、输出形态/内容可以各不相同。智能体功能之中可以存在具有进行车辆内的设备(例如驾驶控制或车身控制涉及的设备)的控制等的功能的智能体功能。
智能体功能例如除了识别乘员的声音的声音识别功能(对声音进行文本化的功能)之外,还综合地利用自然语言处理功能(理解文本的结构、意思的功能)、对话管理功能、检索其他装置或检索本装置保有的规定的数据库的网络检索功能等来实现。上述的功能的一部分或全部可以通过AI(Artificial Intelligence)技术实现。用于进行上述的功能的构成的一部分(特别是声音识别功能或自然语言处理解释功能)可以搭载于与车辆M的车载通信装置或带入车辆M内的通用通信终端MT能够通信的智能体服务器(外部装置),例如车载智能体服务器200或终端智能体服务器400。在以下的说明中,以构成的一部分搭载于智能体服务器、智能体装置与智能体服务器协作而实现智能体系统的情况为前提。将智能体装置与智能体服务器协作而假想地出现的服务提供主体(服务实体)称为智能体。
<整体构成>
图1是包含智能体装置100的智能体系统1的构成图。智能体系统1例如具备智能体装置100、车载智能体服务器200、终端智能体服务器400。车载智能体服务器200和终端智能体服务器400由互不相同的智能体系统的提供者来运营。因此,本发明的智能体由互不相同的智能体系统的提供者运营。智能体装置100由具有车载智能体服务器200的智能体系统的提供者提供,终端智能体装置300由具有终端智能体服务器400的智能体系统的提供者提供。车载智能体服务器200是车载智能体功能部150的母服务器,终端智能体服务器400是终端智能体功能部350(参照图7)的母服务器。作为智能体系统的提供者,例如,可列举机动车制造商、网络服务企业者、电子商务交易企业者、便携终端的销售者、制造者等,任意的主体(法人、团体、个人等)可成为智能体系统的提供者。
智能体装置100经由网络NW与车载智能体服务器200通信。网络NW包括例如互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(Local Area Network)、公共线路、电话线路、无线基地站等中的一部分或全部。在网络NW连接有各种网页服务器500。智能体装置100、车载智能体服务器200、终端智能体装置300及终端智能体服务器400都能够经由网络NW从各种网页服务器500取得网页。
智能体装置100与车辆M的乘员进行对话,将来自乘员的声音向车载智能体服务器200发送,将从车载智能体服务器200得到的回答以声音输出或图像显示的方式向乘员提示。智能体装置100将与乘员的对话产生的声音的信息向终端智能体装置300发送。终端智能体装置300经由网络NW与终端智能体服务器400通信。终端智能体装置300搭载于通用终端。终端智能体装置300与通用通信终端MT的用户进行对话,将来自乘员的声音向终端智能体服务器400发送,将从终端智能体服务器400得到的回答以声音输出或图像显示的形式向用户提示。此外,终端智能体装置300将由智能体装置100发送的声音的信息向终端智能体服务器400发送,将从终端智能体服务器400得到的回答的信息向智能体装置100发送。在通用通信终端MT由用户带入车辆M的情况下,例如,通用通信终端MT的用户成为车辆M的乘员。
<第一实施方式>
[车辆]
图2是表示第一实施方式的智能体装置100的构成和搭载于车辆M的设备的图。在车辆M搭载有例如一个以上的麦克风10、显示/操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员识别装置80、电波强度测定装置92、通信量计测装置94、智能体装置100。通用通信终端MT被带入车室内,作为通信装置使用。这些装置通过CAN(Controller Area Network)通信线等多重通信线、串行通信线、无线通信网等而相互连接。图2所示的构成只不过为一例,可以省略构成的一部分,也可以还追加另外的构成。
麦克风10是收集在车室内发出的声音的收音部。显示/操作装置20是显示图像并能够受理输入操作的装置(或装置组)。显示/操作装置20包含例如构成作为触摸面板的显示器装置。显示/操作装置20还可以包括HUD(Head Up Display)或机械式的输入装置。扬声器单元30包含例如在车室内的互不相同的位置配设的多个扬声器(声音输出部)。显示/操作装置20可以在智能体装置100和导航装置40中共用。关于它们的详情在后文叙述。
导航装置40具备导航HMI(Human machine Interface)、GPS(Global PositioningSystem)等位置测位装置、存储地图信息的存储装置、进行路径搜索等的控制装置(导航控制器)。麦克风10、显示/操作装置20及扬声器单元30中的一部分或全部可以作为导航HMI使用。导航装置40搜索用于从通过位置测位装置确定的车辆M的位置移动至由乘员输入的目的地为止的路径(导航路径),以使车辆M能够沿着路径行驶的方式使用导航HMI输出引导信息。
路径搜索功能可以存在于经由网络NW能够访问的导航服务器。在该情况下,导航装置40从导航服务器取得路径而输出引导信息。智能体装置100可以将导航控制器作为基础来构筑,在该情况下,导航控制器和智能体装置100在硬件上一体构成。导航装置40将车辆M的所在地及存储装置保存的地图信息向智能体装置100发送。地图信息包含表示各地点的车载通信装置60的电波强度(以下,称为车辆电波强度)的分布的电波强度映射的信息。导航装置40在规定的定时、例如车辆M的所在地的电波强度的分布改变的定时,将车辆M的所在地的信息及地图信息向智能体装置100发送。导航装置40可以取代车辆M的所在地的信息及地图信息或在此基础上,发送车辆M的所在地的电波强度的信息。
车辆设备50例如包括发动机或行驶用电动机等驱动力输出装置、发动机的起动电动机、门锁装置、门开闭装置、窗、窗的开闭装置及窗的开闭控制装置、座椅、座椅位置的控制装置、车室内后视镜及其角度位置控制装置、车辆内外的照明装置及其控制装置、雨刷器、除雾器及各自的控制装置、方向指示灯及其控制装置、空调装置、行驶距离、轮胎的空气压的信息、燃料的剩余量信息等的车辆信息装置等。
车载通信装置60例如是利用蜂窝网或Wi-Fi网能够访问网络NW的无线通信装置。
乘员识别装置80例如包括就座传感器、车室内相机、图像识别装置等。
就座传感器包括设置于座位的下部的压力传感器、安装于座椅安全带的张力传感器等。车室内相机是设置于车室内的CCD(Charge Coupled Device)相机或CMOS(Complementary Metal Oxide Semiconductor)相机。图像识别装置对车室内相机的图像进行解析,来识别各座位的乘员的有无、面部朝向等。
电波强度测定装置92是测定车载电波强度的装置。电波强度测定装置92将测定到的电波强度的信息向智能体装置100发送。通信量计测装置94是计测车载通信装置60的通信量的装置。通信量计测装置94将计测到的通信量的信息向智能体装置100发送。
图3是表示显示/操作装置20的配置例的图。显示/操作装置20例如包括第一显示器22、第二显示器24、操作开关ASSY26。显示/操作装置20可以还包括HUD28。
在车辆M存在例如设有方向盘SW的驾驶员座DS、相对于驾驶员座DS而沿车宽方向(图中Y方向)设置的副驾驶员座AS。第一显示器22是从仪表板中的驾驶员座DS与副驾驶员座AS的中间附近延伸至与副驾驶员座AS的左端部对置的位置的横长形状的显示器装置。
第二显示器24处于驾驶员座DS与副驾驶员座AS的车宽方向上的中间,且设置在第一显示器22的下方。例如,第一显示器22与第二显示器24一起构成作为触摸面板,具备LCD(Liquid Crystal Display)、有机EL(Electroluminescence)、等离子体显示器等作为显示部。操作开关ASSY26是集成有拨号盘式开关、按钮式开关等的结构。显示/操作装置20将由乘员作出的操作的内容向智能体装置100输出。第一显示器22或第二显示器24显示的内容可以由智能体装置100决定。
图4是表示扬声器单元30的配置例的图。扬声器单元30例如包括扬声器30A~30H。扬声器30A设置于驾驶员座DS侧的窗柱(所谓的A柱)。扬声器30B设置在与驾驶员座DS接近的门的下部。扬声器30C设置于副驾驶员座AS侧的窗柱。扬声器30D设置在与副驾驶员座AS接近的门的下部。扬声器30E设置在与右侧后部座位BS1侧接近的门的下部。扬声器30F设置在与左侧后部座位BS2侧接近的门的下部。扬声器30G设置在第二显示器24的附近。扬声器30H设置于车室的顶棚(车顶)。
在上述配置中,例如,在专门使扬声器30A及30B输出声音的情况下,声像定位于驾驶员座DS附近。在专门使扬声器30C及30D输出声音的情况下,声像定位于副驾驶员座AS附近。在专门使扬声器30E输出声音的情况下,声像定位于右侧后部座位BS1附近。在专门使扬声器30F输出声音的情况下,声像定位于左侧后部座位BS2附近。在专门使扬声器30G输出声音的情况下,声像定位于车室的前方附近,在专门使扬声器30H输出声音的情况下,声像定位于车室的上方附近。并不局限于此,扬声器单元30使用混合器、放大器来调整各扬声器输出的声音的分配,由此能够使声像定位于车室内的任意的位置。
[智能体装置]
返回图2,智能体装置100具备管理部110、车载智能体功能部150、车载通信部152、终端通信部154。管理部110例如具备音响处理部112、WU(Wake Up)判定部114、显示控制部116、声音控制部118、取得部120、选择部122、信息提供部124、存储部126。图2所示的软件配置为了说明而简易表示,实际上,例如可以像在车载智能体功能部150与车载通信装置60之间夹设管理部110那样,能够任意改变。
智能体装置100的各构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部可以通过LSI(Large ScaleIntegration)或ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部;circuitry)实现,也可以通过软件与硬件的协作实现。程序可以预先保存于HDD(Hard DiskDrive)或闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD或CD-ROM等能够拆装的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置来安装。存储部126通过前述的存储装置实现。
管理部110通过OS(Operating System)或中间软件等程序被执行而发挥功能。
管理部110的音响处理部112对输入的声音进行音响处理,以成为适合于识别对于智能体装置100预先设定的唤醒词的状态。
WU判定部114识别对于智能体装置100预先确定的唤醒词。WU判定部114从进行了音响处理的声音(声音流)来识别声音的意思。首先,WU判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。WU判定部114可以进行基于根据混合高斯分布模型(GMM;Gaussian mixture model)的帧单位的声音辨别及非声音辨别的区间检测。
接下来,WU判定部114对检测到的声音区间的声音进行文本化,形成为文字信息。然后,WU判定部114判定文本化的文字信息是否符合唤醒词。在判定为是唤醒词的情况下,WU判定部114使车载智能体功能部150起动。相当于WU判定部114的功能可以搭载于车载智能体服务器200。在该情况下,管理部110将通过音响处理部112进行了音响处理后的声音流向车载智能体服务器200发送,在车载智能体服务器200判定为是唤醒词的情况下,按照来自车载智能体服务器200的指示而车载智能体功能部150起动。车载智能体功能部150可以是常时起动且自已进行唤醒词的判定的功能部。在该情况下,管理部110不需要具备WU判定部114。
显示控制部116按照来自车载智能体功能部150的指示而使第一显示器22或第二显示器24显示图像。以下,设为使用第一显示器22的情况。显示控制部116通过车载智能体功能部150的控制,生成例如在车室内进行与乘员的交流的拟人化的智能体的图像(以下,称为智能体图像),并使生成的智能体图像显示于第一显示器22。智能体图像是例如对于乘员进行搭话的形态的图像。智能体图像可以包含例如至少通过观察者(乘员)能识别表情、面部朝向的程度的面部图像。例如,智能体图像可以是在面部区域之中呈现出模拟了眼、鼻的部位,基于面部区域之中的部位的位置来识别表情、面部朝向的图像。智能体图像可以是能由观察者立体地感觉到、通过包含三维空间的头部图像而识别智能体的面部朝向的图像,或者通过包含身体(躯体、手脚)的图像而识别智能体的动作、举止、姿势等的图像。智能体图像可以是动画图像。
声音控制部118按照来自车载智能体功能部150的指示而使扬声器单元30包含的扬声器中的一部分或全部输出声音。声音控制部118可以使用多个扬声器单元30,进行使智能体声音的声像定位于与智能体图像的显示位置对应的位置的控制。与智能体图像的显示位置对应的位置例如是智能体图像发出智能体声音时,预测为乘员感觉到的位置,具体而言,是智能体图像的显示位置附近(例如,2~3[cm]以内)的位置。声像定位是指例如通过调节向乘员的左右的耳传递的声音的大小来确定乘员感觉到的声源的空间性的位置的情况。
图5是用于说明确定声像定位的位置的原理的图。在图5中,为了简化说明而示出使用上述的扬声器30B、30D及30G的例子,但是可以使用扬声器单元30包含的任意的扬声器。声音控制部118控制与各扬声器连接的放大器(AMP)32及混合器34而使声像定位。例如,在使声像定位于图5所示的空间位置MP1的情况下,声音控制部118通过控制放大器32及混合器34而使扬声器30B进行最大强度的5%的输出,使扬声器30D进行最大强度的80%的输出,使扬声器30G进行最大强度的15%的输出。其结果是,从乘员P的位置感觉为声像定位于图5所示的空间位置MP1。
在使声像定位于图5所示的空间位置MP2的情况下,声音控制部118通过控制放大器32及混合器34而使扬声器30B进行最大强度的45%的输出,使扬声器30D进行最大强度的45%的输出,使扬声器30G进行最大强度的45%的输出。其结果是,从乘员P的位置感觉为声像定位于图5所示的空间位置MP2。这样,通过调整设置在车室内的多个扬声器和从各个扬声器输出的声音的大小,能够使声像被定位的位置变化。更详细而言,声像定位的位置基于声源原本保有的声音特性、车室内环境的信息、头部传递函数(HRTF;Head-relatedtransfer function)来确定,因此声音控制部118通过以预先通过器官功能试验等而得到的最佳的输出分配来控制扬声器单元30,使声像定位于规定的位置。
取得部120取得通过显示/操作装置20、车载通信部152、终端通信部154、电波强度测定装置92、通信量计测装置94发送的各种信息。取得部120将取得的信息保存于存储部126。
选择部122将通过取得部120取得的各种信息从存储部126读出,基于读出的信息,从第一连接状态和第二连接状态中选择智能体装置100的连接状态。第一连接状态及第二连接状态都是车载智能体功能部150连接于网络NW的状态即智能体装置100的连接状态的一形态。第一连接状态是经由车载通信部152实现车载智能体功能部150与网络NW的连接的连接状态,第二连接状态是经由终端通信部154实现车载智能体功能部150与网络NW的连接的连接状态。在选择第二连接状态的情况下,通过终端智能体服务器400经由网络NW提供的信息经由终端通信部154向车载智能体功能部150提供。选择部122将选择的连接状态的信息保存于存储部126并向车载智能体功能部150输出。车载智能体功能部150以通过选择部122选择的连接状态连接于网络NW。
信息提供部124读出在存储部126中保存的智能体装置100的连接状态的信息,将读出的智能体装置100的连接状态的信息向显示控制部116及声音控制部118输出。显示控制部116基于输出的智能体装置100的连接状态的信息,对显示/操作装置20进行控制,使当前的连接状态显示于第一显示器22或第二显示器24。例如,在智能体装置100的连接状态为第一连接状态时,显示控制部116使表示连接目的地的车载智能体服务器200的文字或记号等显示于第一显示器22或第二显示器24。在智能体装置100的连接状态为第二连接状态时,显示控制部116使表示连接目的地的终端智能体服务器400的文字或记号等显示于第一显示器22或第二显示器24。声音控制部118例如使扬声器单元30输出当前的连接状态。这样,信息提供部124将连接状态的信息向乘员提示。
车载智能体功能部150通过执行用于提供包含利用声音进行的响应的服务的车载用的应用程序(以下,称为车载智能体应用)而与车载智能体服务器200协作地使智能体出现,根据车辆的乘员的讲话来提供包含利用声音进行的响应的服务。车载智能体功能部150可以包含被赋予对车辆设备50进行控制的权限的功能部。
车载智能体功能部150能够连接于网络NW,以通过选择部122选择的第一连接状态或第二连接状态连接于网络NW。车载智能体功能部150向管理部110输出用于使用户指定智能体装置100的连接状态的指定要求指示的信息。管理部110基于通过车载智能体功能部150输出的指定要求指示的信息,在显示控制部116中,使显示/操作装置20显示对连接状态进行指定的信息。显示/操作装置20向选择部122输出对于指定显示的连接状态的信息的指定结果的信息。选择部122例如在通过显示/操作装置20输出了指定结果的信息的情况下,基于输出的指定结果的信息,选择智能体装置100的连接状态。
车载通信部152将智能体装置100的连接状态为第一连接状态时的车载智能体功能部150与车载通信装置60连接。车载通信部152经由车载通信装置60使车载智能体功能部150连接于网络NW。车载通信部152将通过车载智能体功能部150输出的信息向车载通信装置60发送。车载通信部152将通过车载通信装置60发送的信息向车载智能体功能部150输出。
终端通信部154通过执行配对应用,而通过例如Bluetooth(注册商标)等近距离无线通信与通用通信终端MT进行配对,使车载智能体功能部150与通用通信终端MT连接。终端通信部154经由通用通信终端MT的终端智能体功能部350(参照图7)使车载智能体功能部150连接于网络NW。终端通信部154将智能体装置100的连接状态为第二连接状态时的车载智能体功能部150与通用通信终端MT连接。终端通信部154将通过车载智能体功能部150输出的信息向通用通信终端MT发送。终端通信部154将通过通用通信终端MT发送的信息、例如响应信息向车载智能体功能部150输出。
车载智能体功能部150可以通过利用了USB(Universal Serial Bus)等的有线通信而连接于通用通信终端MT。
[车载智能体服务器]
图6是表示车载智能体服务器200的构成和智能体装置100的构成的一部分的图。以下,与车载智能体服务器200的构成一起说明车载智能体功能部150等的动作。在此,省略关于从智能体装置100至网络NW的物理性的通信的说明。
车载智能体服务器200具备通信部210。通信部210例如是NIC(Network InterfaceCard)等网络接口。此外,车载智能体服务器200例如具备声音识别部220、自然语言处理部222、对话管理部224、网络检索部226、响应文生成部228。
这些构成要素例如通过CPU等硬件处理器执行程序(软件)而实现。这些构成要素中的一部分或全部可以通过LSI或ASIC、FPGA、GPU等硬件(包括电路部;circuitry)实现,也可以通过软件与硬件的协作实现。程序可以预先保存于HDD或闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD或CD-ROM等能够拆装的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置来安装。
车载智能体服务器200具备存储部250。存储部250通过车载智能体服务器200包含的上述的各种存储装置实现。在存储部250保存有个人资料252、词典DB(数据库)254、知识库DB256、响应规则DB258等的数据或程序。个人资料252、词典DB(数据库)254、知识库DB256、响应规则DB258等的数据或程序是与车载智能体应用对应的程序或数据,可以保存于智能体装置100具备的存储部126。
在智能体装置100中,车载智能体功能部150将声音流或进行了压缩、编码等处理的声音流向车载智能体服务器200发送。车载智能体功能部150在识别到能够进行本地处理(不经由车载智能体服务器200的处理)的声音命令的情况下,可以进行由声音命令要求的处理。能够进行本地处理的声音命令是通过参照智能体装置100具备的存储部126能够回答的声音命令,或对车辆设备50进行控制的声音命令(例如,将空调装置开启的命令等)。因此,车载智能体功能部150可以具有车载智能体服务器200所具备的功能的一部分。
当取得声音流时,声音识别部220进行声音识别而输出文本化的文字信息,自然语言处理部222对于文字信息一边参照词典DB254一边进行意思解释。词典DB254是对于文字信息将抽象化的意思信息建立了对应的词典。词典DB254可以包含同义词或近义词的一览信息。
声音识别部220的处理与自然语言处理部222的处理可以不是明确地区分阶段的处理,而是相互影响地进行处理:如接受自然语言处理部222的处理结果而声音识别部220对识别结果加以修正等。
自然语言处理部222例如在作为识别结果而识别到“今天的天气”、“天气如何”等意思的情况下,生成置换成标准文字信息“今天的天气”的命令。由此,即使在要求的声音存在文字波动的情况下也能够容易进行符合要求的对话。自然语言处理部222例如可以使用利用了概率的机械学习处理等人工智能处理来识别文字信息的意思,或生成基于识别结果的命令。
对话管理部224基于自然语言处理部222的处理结果(命令),一边参照个人资料252、知识库DB256、响应规则DB258一边决定对车辆M的乘员的讲话的内容。个人资料252包括按照各乘员保存的乘员的个人信息、兴趣嗜好、过去的对话的历史等。知识库DB256是规定了事物的关联性的信息。响应规则DB258是规定了相对于命令而智能体应进行的动作(回答或设备控制的内容等)的信息。
对话管理部224可以使用从声音流得到的特征信息,通过与个人资料252进行比对,来确定乘员。在该情况下,在个人资料252中,例如,将个人信息与声音的特征信息建立对应。声音的特征信息是例如与声音的高低、语调、节奏(声音的高低的模式)等的说话方式的特征、梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficients)等的特征量相关的信息。声音的特征信息例如是通过在乘员的初始登记时使乘员讲出规定的单词、语句等并识别讲出的声音而得到的信息。
对话管理部224在命令是要求经由网络NW能够检索的信息的命令的情况下,使网络检索部226进行检索。网络检索部226经由网络NW访问各种网页服务器500,取得所希望的信息。“经由网络NW能够检索的信息”例如是处于车辆M的周边的餐厅的一般用户的评价结果,或者当天的与车辆M的位置相应的天气预报。
响应文生成部228以将通过对话管理部224决定的讲话的内容向车辆M的乘员传递的方式生成响应文,向智能体装置100发送。响应文生成部228在确定为乘员是登记于个人资料的乘员的情况下,可以称呼乘员的名字或者生成与乘员的说话方式相似的说话方式的响应文。
车载智能体功能部150当取得响应文时,以进行声音合成而输出声音的方式对声音控制部118作出指示。车载智能体功能部150以对应于声音输出地显示智能体的图像的方式对显示控制部116作出指示。这样,假想地出现的智能体实现对车辆M的乘员进行响应的智能体功能。
[通用通信终端]
图7是表示包含终端智能体装置300的通用通信终端MT的构成的一例的图。通用通信终端MT例如是智能手机或平板等的用户便携的通信装置,具备麦克风332、触摸面板334、扬声器336、终端智能体装置300。在通用通信终端MT安装有对包含利用声音进行的响应的服务进行支援的通用的应用程序(通用智能体应用)。通用通信终端MT通过通用智能体应用的起动而作为终端智能体装置300发挥功能,通用智能体应用、浏览器等UA(User Agent)进行动作,对包含利用声音进行的响应的服务进行支援。安装于通用通信终端MT的通用智能体应用是与智能体装置100包含的车载智能体应用不同的种类的应用。
麦克风332例如是设置于通用通信终端MT的框体中的外侧表面的端部、对朝向通用通信终端MT发出的声音进行收集的收音部。触摸面板334例如是设置于通用通信终端MT的框体中的外侧正面、显示各种信息并受理用户的操作的装置。扬声器336例如是设置于通用通信终端MT的框体中的外侧表面的端部、从通用通信终端MT输出声音的装置。
终端智能体装置300具备管理部310、终端智能体功能部350、终端安装通信部352、对车辆通信部354、终端电波强度测定部392、终端通信量计测部394。管理部310通过执行OS(Operating System)或中间软件等程序而发挥功能。管理部310具备与智能体装置100的管理部110同样的音响处理部、WU判定部及各种控制部。管理部310在音响处理部以成为适合于识别对于终端智能体装置300预先设定的唤醒词的状态的方式对输入的声音进行音响处理,并进行WU判定部及各种控制部中的WU判定、音响处理、显示控制、声音控制等各种处理。终端智能体装置的WU判定使用的WU词可以是与智能体装置100的WU判定使用的WU词不同的WU词,也可以是相同的WU词。
终端智能体功能部350安装于终端智能体装置300。终端智能体功能部350与终端智能体服务器400协作而使智能体出现,根据用户的讲话,提供包含利用声音进行的响应的服务。此外,终端智能体功能部350与终端智能体服务器400协作,生成与通过智能体装置100发送的信息相应的利用声音进行的响应等的响应信息。车载智能体功能部150与终端智能体功能部350在车辆M内能够通信。车载智能体功能部150与终端智能体功能部350可以经由相互的母服务器能够通信。
终端安装通信部352具备例如利用蜂窝网或Wi-Fi网能够访问网络NW的功能。终端安装通信部352将通过终端智能体功能部350生成的信息向终端智能体服务器400发送,接收通过终端智能体服务器400发送的信息。
对车辆通信部354具备例如能够利用Bluetooth(注册商标)等近距离无线通信的功能。对车辆通信部354接收通过智能体装置100发送的信息,将通过终端智能体功能部350等生成的信息等向智能体装置100发送。车载智能体功能部150与终端智能体功能部350通过近距离无线通信来交接信息。
终端电波强度测定部392具有测定通用通信终端MT的周围的通用通信终端MT的电波强度(以下,称为终端电波强度)的功能。终端电波强度测定部392将测定出的电波强度的信息向管理部310输出。终端通信量计测部394具有计测通用通信终端MT的通信量的功能。终端通信量计测部394将计测出的通信量的信息向管理部310输出。管理部310将输出的电波强度的信息及通信量的信息分别作为终端强度及终端通信量的信息向智能体装置100发送。
[终端智能体服务器]
终端智能体服务器400例如具有与车载智能体服务器200同样的构成,但是存储部存储的个人资料、词典DB、知识库DB、响应规则DB等的数据或程序是与通用智能体应用对应的数据或程序。终端智能体服务器400在将声音流或进行了压缩、编码等处理的声音流向终端智能体服务器400发送了的情况下进行与车载智能体功能部150将这些信息向车载智能体服务器200发送了的情况同样的处理。终端智能体服务器400决定讲话的内容,以将决定的讲话的内容向用户传递的方式生成响应文,向终端智能体装置300发送。
终端智能体装置300接收到响应文时,终端智能体功能部350以进行声音合成而输出声音的方式对管理部310作出指示。或者,终端智能体装置300基于接收到的响应文而生成响应信息,将生成的响应信息通过对车辆通信部354向搭载于车辆M的智能体装置100发送。智能体装置100接收到响应信息时,通过车载智能体功能部150以进行声音合成并通过声音输出响应文的方式对声音控制部118作出指示。
[智能体装置的处理]
接下来,说明智能体装置100的处理的一例。智能体装置100在车辆M的乘员开始对话之际与车载智能体服务器200开始通信,或者,将通过车载智能体功能部150输出的信息向通用通信终端MT发送。通用通信终端MT的终端智能体装置300与终端智能体服务器400开始通信,取得回答而向智能体装置100提供。智能体装置100将从车载智能体服务器200或终端智能体服务器400得到的回答以声音输出或图像显示的形式向乘员提示。
图8是表示在智能体装置100中执行的处理的流程的一例的流程图。在智能体装置100中,WU判定部114检测乘员讲出的声音的声音区间,判定将检测到的声音区间进行了文本化的文字信息是否为唤醒词(WU词)(步骤S100)。
在判定为文本化的文字信息是唤醒词的情况下,选择部122从第一连接状态和第二连接状态中选择智能体装置100的连接状态(步骤S110)。智能体装置100的连接状态基于车辆M的所在地、电波强度、通信量等信息进行选择。智能体装置100的连接状态的选择可以通过各种方法进行。关于智能体装置100的连接状态的选择,在后文依次说明。选择部122通过选择智能体装置100的连接状态,将智能体装置100发送声音流的智能体服务器决定为车载智能体服务器200或终端智能体服务器400。
第一连接状态时的成为连接目的地的智能体服务器是车载智能体服务器200,第二连接状态时的成为连接目的地的智能体服务器是终端智能体服务器400。例如,当选择部122选择第一连接状态时,发送声音流的智能体服务器成为车载智能体服务器200,当选择部122选择第二连接状态时,发送声音流的智能体服务器成为终端智能体服务器400。
接下来,信息提供部124将智能体装置100的连接状态的信息向用户提示(步骤S120)。例如,信息提供部124将智能体装置100的连接状态的信息向显示控制部116及声音控制部118输出。显示控制部116基于输出的智能体装置100的连接状态的信息,对显示/操作装置20进行控制,使与当前的连接状态相应的连接目的地的智能体服务器的标记或名称等显示于第一显示器22或第二显示器24。声音控制部118使扬声器单元30输出与当前的连接状态相应的连接目的地的智能体服务器的名称等声音。
接下来,信息提供部124判定智能体装置100的连接状态是否为第二连接状态(步骤S130)。在判定为智能体装置100的连接状态是第二连接状态的情况下,信息提供部124将促进通用通信终端MT的充电的信息向乘员提示(步骤S140)。例如,信息提供部124将促进通用通信终端MT的充电的信息向显示控制部116及声音控制部118输出。显示控制部116基于输出的通用通信终端MT的充电的促进的信息,对显示/操作装置20进行控制,使催促通用通信终端MT的充电的信息显示于第一显示器22或第二显示器24。声音控制部118使扬声器单元30输出催促通用通信终端MT的充电的声音。在判定为智能体装置100的连接状态不是第二连接状态的情况下,智能体装置100直接进入步骤S150。
接下来,车载智能体功能部150判定与乘员的对话是否存在(步骤S150)。在判定为与乘员的对话存在的情况下,车载智能体功能部150向选择部122决定的连接状态时的成为连接目的地的智能体服务器发送声音流(步骤S160)。
在将声音流向车载智能体服务器200发送的情况下,智能体装置100使用车载通信装置60直接向车载智能体服务器200发送。在将声音流向终端智能体服务器400发送的情况下,智能体装置100将声音流先向通用通信终端MT发送,通用通信终端MT的终端智能体装置300向终端智能体服务器400发送声音流。这样,智能体装置100在将声音流向终端智能体服务器400发送的情况下,经由通用通信终端MT发送。
接下来,智能体装置100判定是否通过连接目的地的智能体服务器接收到发送的响应文(步骤S170)。在判定为通过连接目的地的智能体服务器未接收到发送的响应文的情况下,智能体装置100反复进行步骤S170的处理直至接收到响应文为止。在反复进行步骤S170期间,在即使经过相应的响应时间也未接收到响应文的情况下,可以直接结束图8所示的处理。
在判定为通过连接目的地的智能体服务器接收到响应文的情况下,信息提供部124生成与响应文相应的响应信息而向显示控制部116及声音控制部118输出,将响应文向用户提供(步骤S180)。接下来,返回步骤S150,车载智能体功能部150重复进行判定与乘员的对话是否存在的处理。
在步骤S150中,在判定为与乘员的对话不存在的情况下,车载智能体功能部150计测对话不存在的时间,判定计测的时间是否成为了结束判定时间以上(步骤S190)。结束判定时间可以设定为任意的时间。例如,可以设为5秒或10秒等的短时间,也可以设为30秒或1分钟、甚至30分钟等的长时间。
在判定为未经过结束判定时间的情况下,智能体装置100返回步骤S150,车载智能体功能部150重复进行判定与乘员的对话是否存在的处理。判定为经过了结束判定时间的智能体装置100结束图8所示的处理。
[智能体装置100的连接状态的选择的形态]
接下来,说明智能体装置100的连接状态的选择的形态。图9~图12都是表示在智能体装置100中执行的处理的流程的一例的流程图。在图9~图12中,主要说明在图8的步骤S120中执行的连接状态的选择的一例。以下的各连接形态的选择可以分别组合进行。
[智能体装置100的连接状态的选择的形态(1)]
首先,说明智能体装置100的连接状态的选择中的第一形态。在第一形态中,智能体装置100选择第一连接状态及第二连接状态中的电波强度强的一方作为与网络NW连接的状态。
取得部120取得通过电波强度测定装置92发送的车辆电波强度(步骤S210)。接下来,取得部120取得终端电波强度测定部392测定并通过通用通信终端MT发送的终端电波强度(步骤S220)。选择部122将取得部120取得的车辆电波强度与终端电波强度进行比较,判定车辆电波强度是否较强(步骤S230)。
其结果是,在判定为车辆电波强度较强的情况下,选择部122选择第一连接状态作为智能体装置100的连接状态(步骤S240)。另一方面,在判定为车辆电波强度不是较强(车辆电波强度为终端电波强度以下)的情况下,选择部122选择第二连接状态作为智能体装置100的连接状态(步骤S250)。这样,智能体装置100结束图9所示的处理。
这样,在智能体装置100的连接状态的选择的第一形态中,选择部122基于将车辆电波强度与终端电波强度进行了比较的比较结果来选择智能体装置100的连接状态。具体而言,选择部122将车辆电波强度与终端电波强度进行比较,选择在电波强度高的一方的智能体服务器连接智能体装置100的连接状态。因此,能够以强的电波强度与智能体服务器连接,因此能够有助于稳定的服务的提供。
[智能体装置100的连接状态的选择的形态(2)]
接下来,说明智能体装置100的连接状态的选择中的第二形态。在第二形态中,智能体装置100根据车辆M的所在地而选择第一连接状态及第二连接状态中的任一个作为车载智能体功能部150与网络NW连接的状态。
取得部120取得通过导航装置40发送的车辆M的所在地的信息及地图信息包含的电波强度映射(步骤S310)。接下来,取得部120将车辆M的所在地的信息与电波强度映射进行对照,取得车辆M的所在地的电波强度(步骤S320)。
接下来,选择部122判定车辆M的所在地的电波强度是否超过规定电波强度(步骤S330)。规定电波强度是预先设定的任意的电波强度,规定电波强度可以设定为任意的值,例如可以设定为0,也可以设定为超过0的数值。可以是基于规定的条件、例如时刻或地理的条件等而使规定电波强度变动。
其结果是,在判定为车辆M的所在地的电波强度超过规定电波强度的情况下,选择部122选择第一连接状态作为智能体装置100的连接状态(步骤S340)。另一方面,在判定为车辆M的所在地的电波强度未超过规定电波强度(车辆M的所在地的电波强度为规定电波强度以下)的情况下,选择部122选择第二连接状态作为智能体装置100的连接状态(步骤S350)。这样,智能体装置100结束图10所示的处理。
这样,在智能体装置100的连接状态的选择的第二形态中,选择部122基于车辆M的所在地的电波强度来选择智能体装置100的连接状态。具体而言,选择部122根据车辆M的所在地的电波强度是否超过规定电波强度,选择在智能体服务器连接智能体装置100的连接状态。因此,能够以强的电波强度与智能体服务器连接,因此能够有助于稳定的服务的提供。
也可以取代车辆M的所在地的电波强度是否超过规定电波强度的判定或在此基础上,基于车辆M的所在地的电波强度与终端电波强度的比较结果来选择智能体装置100的连接状态。例如可以是通用通信终端MT存储终端电波强度映射,基于在车辆电波强度映射及终端电波强度映射分别对照车辆M的所在地而取得的电波强度的比较结果来选择智能体装置100的连接状态。也可以基于车辆电波强度与在终端电波强度映射对照车辆M的所在地而取得的电波强度的比较结果来选择智能体装置100的连接状态。
[智能体装置100的连接状态的选择的形态(3)]
接下来,说明智能体装置100的连接状态的选择中的第三形态。在第三形态中,智能体装置100基于第一连接状态产生的通信量,选择第一连接状态及第二连接状态中的任一个作为车载智能体功能部150与网络NW连接的状态。此外,智能体装置100在第一连接状态产生的通信量超过了规定通信量的情况下,选择第二连接状态作为车载智能体功能部150与网络NW连接的状态。
取得部120取得通过通信量计测装置94发送的车载通信装置60的通信量的信息(步骤S410)。
接下来,选择部122判定车载通信装置60的通信量是否超过了规定通信量(步骤S420)。规定通信量是预先设定的任意的通信量,规定通信量可以设定为任意的值。例如,规定通信量可以是与基于在用户与智能体系统的提供者之间交换的协议的通信量相同的量,也可以是比该通信量少的量。
其结果是,在判定为车载通信装置60的通信量超过了规定通信量的情况下,选择部122选择第一连接状态作为智能体装置100的连接状态(步骤S430)。另一方面,在判定为车载通信装置60的通信量未超过规定通信量(车载通信装置60的通信量为规定通信量以下)的情况下,选择部122选择第二连接状态作为智能体装置100的连接状态(步骤S440)。这样,智能体装置100结束图11所示的处理。
这样,在智能体装置100的连接状态的选择的第三形态中,选择部122基于车载通信装置60的通信量来选择智能体装置100的连接状态。具体而言,选择部122根据车载通信装置60的通信量是否超过规定通信量来选择在智能体服务器连接智能体装置100的连接状态。因此,能够抑制车辆M的通信量,并能够防止通信量超过了极限值的车辆M的通信。
可以取代车辆M的所在地的电波强度是否超过规定电波强度的判定或者在此基础上,基于和通用通信终端MT的与终端智能体服务器400之间的通信量的比较结果来选择智能体装置100的连接状态。例如,可以基于通用通信终端MT的与终端智能体服务器400之间的通信量和规定通信量的比较结果来选择智能体装置100的连接状态。
[智能体装置100的连接状态的选择的形态(4)]
接下来,说明智能体装置100的连接状态的选择中的第四形态。在第四形态中,智能体装置100基于用户的指定来选择第一连接状态及第二连接状态作为车载智能体功能部150与网络NW连接的状态。
取得部120取得通过显示/操作装置20发送的指定结果的信息(步骤S510)。接下来,选择部122判定通过取得部120取得的指定结果的信息指定的连接状态是第一连接状态还是第二连接状态(步骤S520)。
其结果是,在判定为通过取得部120取得的指定结果的信息指定的连接状态是第一连接状态的情况下,选择部122选择第一连接状态作为智能体装置100的连接状态(步骤S530)。另一方面,在判定为通过取得部120取得的指定结果的信息指定的连接状态是第二连接状态的情况下,选择部122选择第二连接状态作为智能体装置100的连接状态(步骤S540)。这样,智能体装置100结束图12所示的处理。
这样,在智能体装置100的连接状态的选择的第四形态中,选择部122基于通过取得部120取得的指定结果的信息指定的连接状态来选择智能体装置100的连接状态。指定结果的信息指定的连接状态是乘员指定的连接状态,因此选择部122基于乘员的指定来选择在智能体服务器连接智能体装置100的连接状态。因此,能够接受来自用户所想的智能体的服务的提供。
根据上述第一实施方式,智能体装置100以经由车载通信部152实现的第一连接状态或经由终端通信部154实现的第二连接状态,与智能体服务器之间进行信息的收发。因此,由于利用多个在此为两个通信手段,因此即使一个通信手段产生不良情况,也能够进行基于其他的通信手段的通信,因此能够进行用户能够更安心的支援。
在第二连接状态下,智能体装置100经由通用通信终端MT与智能体服务器进行信息的收发。因此,能够进一步减少搭载智能体装置100的车辆M的通信量。因此,能够将车辆M的通信量的极限值设定得稍低。
智能体装置100将连接状态是第一连接状态还是第二连接状态通过连接目的地的智能体服务器的名称等向用户提示。因此,用户能够识别利用中的智能体,因此例如能够容易判别希望使用的智能体。在智能体装置100为第二连接状态时,促进通用通信终端MT的充电。因此,通过使第二连接状态继续而能够抑制通用通信终端MT的充电不足。
<第二实施方式>
以下,说明第二实施方式。在第二实施方式的通用通信终端MT安装有与智能体装置100所具备的车载智能体应用同种的应用(以下,称为车载智能体同种应用),且是通过与在智能体装置100注册的用户ID相同的用户ID能够注册的应用。用户例如无论是在智能体装置100中进行了注册的情况下,还是在终端智能体装置300中进行了注册的情况下,都能够通过相同的智能体服务器(车载智能体服务器200),以共用的账户接受服务。通用通信终端MT通过车载智能体应用同种应用的起动而作为终端智能体装置300发挥功能。图13是说明智能体装置100与智能体服务器之间的信息的收发的状态的一例的图。
在第一实施方式的智能体系统1中,如图13的实线所示,智能体装置100与车载智能体服务器200之间直接进行信息的收发,或者经由通用通信终端MT与终端智能体服务器400之间进行信息的收发。相对于此,在第二实施方式的智能体系统1中,如图13的虚线所示,智能体装置100与车载智能体服务器200之间直接进行信息的收发,或者经由通用通信终端MT与车载智能体服务器200之间进行信息的收发。
在经由通用通信终端MT与车载智能体服务器200之间进行信息的收发的情况下,智能体装置100经由安装于通用通信终端MT的车载智能体应用同种应用,接收通过车载智能体服务器200发送的信息。在第二实施方式的智能体系统1中,不需要通用智能体应用及终端智能体服务器400,因此即使在通用通信终端MT不具备智能体功能的情况下,经由通用通信终端MT也能够进行智能体装置100与车载智能体服务器200之间的信息的收发。
搭载有以上的第二实施方式的智能体装置100的车辆M也可以经由通用通信终端MT,与车载智能体服务器200进行信息的收发而接受智能体的服务。因此,能够进行用户能够更安心的支援,并且既能够减少通信量又能够接受利用了车载智能体应用的服务。
在上述的各实施方式中,车载智能体服务器仅为1个,但是车载智能体服务器也可以为多个。在该情况下,只要在智能体装置100设置与多个智能体服务器分别对应的智能体功能部即可。在多个智能体功能部之中,也可以设置例如对于车载通信装置60或通用通信终端MT专用地连接的智能体功能部。在多个智能体功能部之中,也可以包含例如被赋予对车辆设备50进行控制的权限的功能部和未被赋予对车辆设备50进行控制的权限的功能部。
选择部122在选择第一连接状态与第二连接状态时,优先选择第一连接状态和第二连接状态中的任一个,在某种条件成立的情况下,选择不优先的连接状态。例如,选择部122可以优先选择第一连接状态,在车辆M的通信量超过了规定通信量的情况下选择第二连接状态。例如,可以在容易成为第二连接状态的环境、例如用户(乘员)能够定额无限制地使用通用通信终端MT的通信量的情况下,选择部122优先选择第二连接状态。
以上,使用实施方式说明了用于实施本发明的方式,但是本发明不受这样的实施方式的任何限定,在不脱离本发明的主旨的范围内能够施加各种变形及置换。

Claims (14)

1.一种智能体装置,其具备:
车载智能体功能部,其搭载于车辆,根据用户的讲话,提供包含使输出部输出利用声音进行的响应的服务;
车载通信部,其经由车载通信装置使所述车载智能体功能部连接于网络;及
终端通信部,其经由通用终端使所述车载智能体功能部连接于所述网络,
所述智能体装置从经由所述车载通信部实现的第一连接状态和经由所述终端通信部实现的第二连接状态中选择所述车载智能体功能部连接于所述网络的状态。
2.根据权利要求1所述的智能体装置,其中,
在所述通用终端安装有终端智能体功能部,该终端智能体功能部根据用户的讲话,利用所述通用终端的硬件来提供包含使输出部输出利用声音进行的响应的服务,
所述终端通信部经由所述通用终端的终端智能体功能部使所述车载智能体功能部连接于所述网络。
3.根据权利要求2所述的智能体装置,其中,
所述车载智能体功能部与所述终端智能体功能部在所述车辆内或经由相互的母服务器能够通信。
4.根据权利要求3所述的智能体装置,其中,
所述车载智能体功能部与所述终端智能体功能部通过近距离无线通信交接信息。
5.根据权利要求1所述的智能体装置,其中,
所述智能体装置在选择所述第二连接状态的情况下,将经由网络提供的信息经由所述终端通信部向所述车载智能体功能部提供。
6.根据权利要求1所述的智能体装置,其中,
所述智能体装置选择所述第一连接状态及所述第二连接状态中的电波强度强的一方。
7.根据权利要求1所述的智能体装置,其中,
所述智能体装置根据所述车辆的所在地,选择所述第一连接状态及所述第二连接状态中的任一个。
8.根据权利要求1所述的智能体装置,其中,
所述智能体装置基于所述第一连接状态产生的通信量,选择所述第一连接状态及所述第二连接状态中的任一个。
9.根据权利要求8所述的智能体装置,其中,
所述智能体装置在所述第一连接状态产生的通信量超过了规定通信量的情况下,选择所述第二连接状态。
10.根据权利要求1所述的智能体装置,其中,
所述智能体装置基于用户的指定,来选择所述第一连接状态及所述第二连接状态。
11.根据权利要求1所述的智能体装置,其中,
所述智能体装置提示所述车载智能体功能部连接于所述网络的状态是所述第一连接状态和所述第二连接状态中的哪一个。
12.根据权利要求1~11中任一项所述的智能体装置,其中,
所述智能体装置在选择所述第二连接状态作为所述车载智能体功能部连接于所述网络的状态的情况下,催促用户对所述通用终端进行充电。
13.一种智能体装置的控制方法,其中,
所述控制方法使计算机进行如下处理:
使搭载于车辆的车载智能体功能部及安装于通用终端的终端智能体功能部起动;
经由车载通信装置能够将所述车载智能体功能部连接于网络;
经由通用终端能够将所述车载智能体功能部连接于网络;
选择经由车载通信部实现的第一连接状态与经由终端通信部实现的第二连接状态作为所述车载智能体功能部连接于所述网络的状态。
14.一种存储介质,其为计算机能够读取的非暂时存储介质,存储有程序,其中,
所述程序使计算机进行如下处理:
使搭载于车辆的车载智能体功能部及安装于通用终端的终端智能体功能部起动;
经由车载通信装置能够将所述车载智能体功能部连接于网络;
经由通用终端能够将所述车载智能体功能部连接于网络;
选择经由车载通信部实现的第一连接状态与经由终端通信部实现的第二连接状态作为所述车载智能体功能部连接于所述网络的状态。
CN202010210387.9A 2019-03-27 2020-03-23 智能体装置、智能体装置的控制方法及存储介质 Pending CN111746434A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-059875 2019-03-27
JP2019059875A JP7340943B2 (ja) 2019-03-27 2019-03-27 エージェント装置、エージェント装置の制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN111746434A true CN111746434A (zh) 2020-10-09

Family

ID=72640031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010210387.9A Pending CN111746434A (zh) 2019-03-27 2020-03-23 智能体装置、智能体装置的控制方法及存储介质

Country Status (3)

Country Link
US (1) US20200319634A1 (zh)
JP (1) JP7340943B2 (zh)
CN (1) CN111746434A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7226393B2 (ja) * 2020-05-18 2023-02-21 トヨタ自動車株式会社 エージェント制御装置、エージェント制御方法及びエージェント制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120231821A1 (en) * 2011-03-08 2012-09-13 General Motors Llc Vehicle telematics communication for providing hands-free wireless communication
JP2013005151A (ja) * 2011-06-15 2013-01-07 Fujitsu Ltd 情報通信機器、情報通信方法、および情報通信プログラム
US20140310610A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle occupant impairment assisted vehicle
US20170325111A1 (en) * 2016-05-09 2017-11-09 Honeywell International Inc. Methods and apparatus for providing network connectivity data for a computing device onboard a vehicle
JP2019009721A (ja) * 2017-06-28 2019-01-17 シャープ株式会社 通信システム、制御装置、車両、通信方法およびプログラム
US20190028592A1 (en) * 2017-07-21 2019-01-24 Toyota Jidosha Kabushiki Kaisha Voice recognition system and voice recognition method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005179948A (ja) * 2003-12-17 2005-07-07 Nissan Motor Co Ltd キーレスエントリシステムおよびその端末充電報知方法
US8392560B2 (en) * 2006-04-28 2013-03-05 Microsoft Corporation Offering and provisioning secured wireless virtual private network services
JP5331710B2 (ja) * 2006-10-11 2013-10-30 ジョンソン コントロールズ テクノロジー カンパニー 無線ネットワーク選択
JP2014036340A (ja) * 2012-08-08 2014-02-24 Yazaki Energy System Corp 車両用通信装置
JP6619316B2 (ja) * 2016-09-30 2019-12-11 本田技研工業株式会社 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体
CN107888653A (zh) * 2016-09-30 2018-04-06 本田技研工业株式会社 发话装置、沟通装置和移动体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120231821A1 (en) * 2011-03-08 2012-09-13 General Motors Llc Vehicle telematics communication for providing hands-free wireless communication
JP2013005151A (ja) * 2011-06-15 2013-01-07 Fujitsu Ltd 情報通信機器、情報通信方法、および情報通信プログラム
US20140310610A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle occupant impairment assisted vehicle
US20170325111A1 (en) * 2016-05-09 2017-11-09 Honeywell International Inc. Methods and apparatus for providing network connectivity data for a computing device onboard a vehicle
JP2019009721A (ja) * 2017-06-28 2019-01-17 シャープ株式会社 通信システム、制御装置、車両、通信方法およびプログラム
US20190028592A1 (en) * 2017-07-21 2019-01-24 Toyota Jidosha Kabushiki Kaisha Voice recognition system and voice recognition method

Also Published As

Publication number Publication date
JP2020162003A (ja) 2020-10-01
JP7340943B2 (ja) 2023-09-08
US20200319634A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
CN111661068B (zh) 智能体装置、智能体装置的控制方法及存储介质
US11380325B2 (en) Agent device, system, control method of agent device, and storage medium
CN111681651A (zh) 智能体装置、智能体系统、服务器装置、智能体装置的控制方法及存储介质
CN111757300A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111559328A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111739525A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111717142A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111746434A (zh) 智能体装置、智能体装置的控制方法及存储介质
JP2020144264A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN111667823B (zh) 智能体装置、智能体装置的控制方法及存储介质
US11437035B2 (en) Agent device, method for controlling agent device, and storage medium
CN111724778B (zh) 车载装置、车载装置的控制方法及存储介质
CN111661065B (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111754288A (zh) 服务器装置、信息提供系统、信息提供方法及存储介质
CN111752235A (zh) 服务器装置、智能体装置、信息提供方法及存储介质
CN111731323A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111559317B (zh) 智能体装置、智能体装置的控制方法及存储介质
JP2020142721A (ja) エージェントシステム、車載機器の制御方法、及びプログラム
CN111731320A (zh) 智能体系统、智能体服务器及其控制方法、存储介质
CN111660966A (zh) 智能体装置、智能体装置的控制方法及存储介质
JP2020152298A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN111726772B (zh) 智能体系统及其控制方法、服务器装置、存储介质
CN111754999B (zh) 智能体装置及其控制方法、智能体系统、存储介质
CN111824174A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111739524A (zh) 智能体装置、智能体装置的控制方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201009