CN111660955A - 车载智能体系统、车载智能体系统的控制方法及存储介质 - Google Patents

车载智能体系统、车载智能体系统的控制方法及存储介质 Download PDF

Info

Publication number
CN111660955A
CN111660955A CN202010149143.4A CN202010149143A CN111660955A CN 111660955 A CN111660955 A CN 111660955A CN 202010149143 A CN202010149143 A CN 202010149143A CN 111660955 A CN111660955 A CN 111660955A
Authority
CN
China
Prior art keywords
unit
agent
vehicle
agent function
operation mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010149143.4A
Other languages
English (en)
Inventor
古屋佐和子
我妻善史
中山裕贵
内木贤吾
大井裕介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111660955A publication Critical patent/CN111660955A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

提供一种车载智能体系统、车载智能体系统的控制方法及存储介质。车载智能体系统具备：多个智能体功能部，它们根据车辆的乘员的讲话，提供包含使输出部输出通过声音进行的响应的服务；以及共用操作部，其在所述多个智能体功能部中共用地设置于所述车辆，在对所述共用操作部以与所述多个智能体功能部分别对应地设定的操作模式执行了操作的情况下，与执行了的所述操作的操作模式对应的智能体功能部启动。

Description

车载智能体系统、车载智能体系统的控制方法及存储介质
技术领域
本申请基于2019年3月7日申请的日本国专利申请第2019-041564号来主张优先权，将其内容援引于此。
本发明涉及车载智能体系统、车载智能体系统的控制方法及存储介质。
背景技术
以往，公开了与智能体功能相关的技术，该智能体功能一边与车辆的乘员进行对话，一边提供与乘员的要求相应的驾驶支援相关的信息、车辆的控制、其他应用程序等(日本特开2006-335231号公报)。
发明内容
近年来，关于多个智能体功能向车辆的搭载，正在推进实用化，但是，在该情况下，关于如何设定各个智能体功能的启动方法，没有充分进行研究。因此，在以往的技术中，存在乘员的操作繁杂而便利性不充分的情况。
本发明是考虑这样的情形而完成的，目的之一在于，提供一种能够提高便利性的车载智能体系统、车载智能体系统的控制方法及存储介质。
本发明的车载智能体系统、车载智能体系统的控制方法及存储介质采用了以下的结构。
(1)：本发明的一方案的车载智能体系统，其具备：多个智能体功能部，它们根据车辆的乘员的讲话，提供包含使输出部输出通过声音进行的响应的服务；以及共用操作部，其在所述多个智能体功能部中共用地设置于所述车辆，在对所述共用操作部以与所述多个智能体功能部分别对应地设定的操作模式执行了操作的情况下，与执行了的所述操作的操作模式对应的智能体功能部启动。
(2)：在上述(1)的方案中，所述车载智能体系统还具备管理部，所述管理部控制所述多个智能体功能部各自的启动，在针对所述共用操作部的操作被执行了的情况下，所述管理部使与执行了的所述操作模式对应的智能体功能部启动。
(3)：在上述(2)的方案中，在针对每个所述智能体功能部而执行了用于启动的所述共用操作部的操作模式的设定操作的情况下，所述管理部将执行了所述设定操作的操作模式与成为启动的对象的智能体功能部建立了对应关系的对应信息存储于存储部，在针对所述共用操作部的操作被执行了的情况下，所述管理部参照存储于所述存储部的对应信息，确定与执行了的所述操作的操作模式对应的智能体功能部。
(4)：在上述(2)或(3)的方案中，在针对所述共用操作部的操作被执行了的情况下，即便与执行了的所述操作的操作模式对应的智能体功能部以外的智能体功能部处于启动中，所述管理部也使与执行了的所述操作的操作模式对应的智能体功能部启动。
(5)：在上述(2)～(4)的方案中，在所述多个智能体功能部中任意智能体功能部正在输出声音的期间，针对所述共用操作部的操作被执行了的情况下，所述管理部将所述车辆的乘员的讲话存储于存储部，通过针对所述共用操作部的操作而启动了的智能体功能部根据从所述存储部取得的所述车辆的乘员的讲话而执行处理。
(6)：在上述(1)的方案中，所述多个智能体功能部分别在针对所述共用操作部的操作被执行了的情况下，将执行了的所述操作的操作模式和与自身对应地设定的操作模式进行对照，以对照成立为条件而启动。
(7)：在上述(6)的方案中，所述多个智能体功能部分别在用于自身的启动的所述共用操作部的操作模式的设定操作被执行了的情况下，将与执行了所述设定操作的操作模式相关的信息存储于存储部，且在针对所述共用操作部的操作被执行了的情况下，参照存储于所述存储部的与操作模式相关的信息，决定自身是否启动。
(8)：本发明的另一方案的车载智能体系统的控制方法使计算机进行如下处理：使多个智能体功能部中的任意智能体功能部启动；作为启动了的所述智能体功能部的功能，根据车辆的乘员的讲话，提供包含使输出部输出通过声音进行的响应的服务；以及在对共用操作部以与所述多个智能体功能部分别对应地设定的操作模式执行了操作的情况下，将与执行了的所述操作的操作模式对应的智能体功能部启动。
(9)：本发明的另一方案的存储介质存储有程序，所述程序使计算机执行如下处理：使多个智能体功能部中的任意智能体功能部启动；作为启动了的所述智能体功能部的功能，根据车辆的乘员的讲话，提供包含使输出部输出通过声音进行的响应的服务；以及在对共用操作部以与所述多个智能体功能部分别对应地设定的操作模式执行了操作的情况下，将与执行了的所述操作的操作模式对应的智能体功能部启动。
根据上述(1)～(9)的方案，能够提高便利性。
附图说明
图1是示出包含智能体装置的智能体系统的结构的图。
图2是示出第一实施方式的车载智能体系统的结构和搭载于车辆的设备的图。
图3是示出显示·操作装置的配置例的图。
图4是用于说明存储于存储部的对应信息的一例的图。
图5是示出智能体服务器的结构和智能体装置的结构的一部分的图。
图6是用于说明第一实施方式的车载智能体系统的一系列处理的流程的流程图。
图7是用于说明第一实施方式的车载智能体系统的动作的图。
图8是用于说明第一实施方式的车载智能体系统的动作的图。
图9是用于说明第二实施方式的车载智能体系统的一系列处理的流程的流程图。
图10是用于说明第二实施方式的车载智能体系统的动作的图。
图11是示出第三实施方式的车载智能体系统的结构和搭载于车辆M的设备的图。
图12是用于说明存储于存储部的每个存储区域的对应信息的一例的图。
图13是用于说明第三实施方式的车载智能体系统的一系列处理的流程的流程图。
图14是用于说明第三实施方式的车载智能体系统的动作的图。
具体实施方式
以下，参照附图，对本发明的车载智能体系统、车载智能体系统的控制方法及存储介质的实施方式进行说明。车载智能体系统是实现智能体系统的一部分或全部的系统。以下，作为一例，对车载智能体系统包括搭载于车辆(以下，车辆M)(处于能够在车辆中使用的状态)并具备多个种类的智能体功能的智能体装置、和在与智能体装置之间输入或输出各种信息的接口装置的情况进行说明。所谓智能体功能，例如是如下功能：一边与车辆M的乘员进行对话，一边进行基于乘员的讲话中所包含的要求(指令)的各种信息提供，或者居间于网络服务。多个种类的智能体各自起到的功能、处理步骤、控制、输出形态·内容也可以分别不同。智能体功能中，可以存在具有进行车辆内的设备(例如与驾驶控制、车身控制相关的设备)的控制等的功能的智能体功能。
智能体功能例如除了识别乘员的声音的声音识别功能(将声音文本化的功能)之外，还综合地利用自然语言处理功能(理解文本的构造、意思的功能)、对话管理功能、经由网络而检索其他装置或检索自身装置所持有的规定的数据库的网络检索功能等来实现。这些功能的一部分或全部可以利用AI(Artificial Intelligence)技术来实现。用于进行这些功能的结构的一部分(尤其是，声音识别功能、自然语言处理解释功能)也可以搭载于能够与车辆M的车载通信装置或被带入到车辆M中的通用通信装置进行通信的智能体服务器(外部装置)。在以下的说明中，将结构的一部分搭载于智能体服务器且智能体装置与智能体服务器协同配合而实现智能体系统作为前提。将智能体装置与智能体服务器协同配合而假想地出现的服务提供主体(服务·实体)称作智能体。
<整体结构>
图1是包含智能体装置100的智能体系统1的结构图。智能体系统1例如具备智能体装置100和多个智能体服务器200-1、200-2、200-3、…。附图标记的末尾的连字符以下数字设为用于区分智能体的标识符。在不对是哪一个智能体服务器进行区分的情况下，存在简称作智能体服务器200的情况。在图1中示出了3个智能体服务器200，但是，智能体服务器200的数量既可以是2个，也可以是4个以上。各智能体服务器200由互不相同的智能体系统的提供者运营。因此，本发明中的智能体是由互不相同的提供者实现的智能体。作为提供者，例如可以举出机动车制造商、网络服务商、电子商贸商、便携终端的销售者、制造者等，任意的主体(法人、团体、个人等)都能够成为智能体系统的提供者。
智能体装置100经由网络NW而与智能体服务器200通信。网络NW例如包括互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(Local Area Network)、公用线路、电话线、无线基地站等中的一部分或全部。网络NW连接有各种网页服务器300，智能体服务器200或智能体装置100能够经由网络NW而从各种网页服务器300取得网页。
智能体装置100与车辆M的乘员进行对话，将来自乘员的声音向智能体服务器200发送，将从智能体服务器200得到的回答以声音输出、图像显示的形式向乘员提示。
<第一实施方式>
[车辆]
图2是示出第一实施方式的车载智能体系统VAS的结构和搭载于车辆M的设备的图。在车辆M例如搭载有一个以上的话筒10、显示·操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60及智能体装置100。车载智能体系统VAS例如包括显示·操作装置20和智能体装置100。存在智能手机等通用通信装置70被带入到车室内，作为通信装置而被使用的情况。这些装置通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。图2所示的结构只不过是一例，既可以省略结构的一部分，也可以还追加别的结构。
话筒10是收集在车室内产生的声音的收音部。显示·操作装置20是显示图像并且能够接受输入操作的装置(或装置群)。显示·操作装置20例如包括作为触摸面板而构成的显示器装置。显示·操作装置20也可以还包括HUD(Head Up Display)、机械式的输入装置。扬声器单元30例如包括配设于车室内的互不相同的位置的多个扬声器(音输出部)。显示·操作装置20也可以在智能体装置100和导航装置40中共用。关于它们的详情后述。
导航装置40具备导航HMI(Human machine Interface)、GPS(Global PositioningSystem)等位置测定装置、存储有地图信息的存储装置、进行路径搜索等的控制装置(导航控制器)。话筒10、显示·操作装置20及扬声器单元30中的一部分或全部也可以作为导航HMI而被使用。导航装置40搜索用于从由位置测定装置确定出的车辆M的位置移动至由乘员输入的目的地的路径(导航路径)，使用导航HMI输出引导信息，以便车辆M能够沿着路径行驶。路径搜索功能也可以处于能够经由网络NW访问的导航服务器中。在该情况下，导航装置40从导航服务器取得路径而输出引导信息。智能体装置100也可以以导航控制器为基础而构成，在该情况下，导航控制器与智能体装置100硬件上构成为一体。
车辆设备50例如包括发动机、行驶用马达等驱动力输出装置、发动机的启动马达、车门锁定装置、车门开闭装置、车窗、车窗的开闭装置及车窗的开闭控制装置、座椅、座椅位置的控制装置、车室内后视镜及其角度位置控制装置、车辆内外的照明装置及其控制装置、刮水器、除雾器及各自的控制装置、方向指示灯及其控制装置、空调装置、行驶距离、轮胎的空气压的信息、燃料的剩余量信息等的车辆信息装置等。
车载通信装置60例如是能够利用蜂窝网、Wi-Fi网访问网络NW的无线通信装置。
图3是示出显示·操作装置20的配置例的图。显示·操作装置20例如包括第一显示器22、第二显示器24、操作开关ASSY26、转向开关28。显示·操作装置20也可以还包括HUD30。
在车辆M中，例如存在设置有转向盘SW的驾驶员座DS、和相对于驾驶员座DS设置于车宽方向(图中Y方向)的副驾驶员座AS。第一显示器22是设置于从仪表板中的驾驶员座DS与副驾驶员座AS的中间附近延伸至与副驾驶员座AS的左端部对置的位置的横长形状的显示器装置。第二显示器24设置于驾驶员座DS与副驾驶员座AS的车宽方向上的中间附近且第一显示器的下方。例如，第一显示器22和第二显示器24均作为触摸面板而构成，作为显示部而具备LCD(Liquid Crystal Display)、有机EL(Electroluminescence)、等离子体显示器等。操作开关ASSY26是拨码开关、按钮式开关等集聚而成的。转向开关28例如是按钮式的开关，能够检测被按下的操作量。转向开关28也可以是能够切换多个模式的钮子开关。转向开关28设置于车辆M的转向盘SW。转向开关28是“共用操作部”的一例。显示·操作装置20将由乘员进行了的操作的内容向智能体装置100输出。第一显示器22或第二显示器24显示的内容可以由智能体装置100决定。
[智能体装置]
返回图2，智能体装置100具备管理部110、智能体功能部150-1、150-2、150-3、配对应用执行部152。管理部110例如具备声响处理部112、按每个智能体WU(Wake Up)判定部114、操作判定部116、智能体设定部118、智能体启动部120、显示控制部122、声音控制部124、存储部130。在不对是哪一个智能体功能部进行区分的情况下，简称作智能体功能部150。示出了3个智能体功能部150，这不过是与图1中的智能体服务器200的数量对应的一例，智能体功能部150的数量也可以是2个，还可以是4个以上。图2所示的软件配置是为了说明而简易地示出，实际上，能够像例如也可以在智能体功能部150与车载通信装置60之间介入有管理部110那样任意地改变。
智能体装置100的存储部130以外的各构成要素例如通过由CPU(CentralProcessing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI(Large Scale Integration)、ASIC(Application Specific IntegratedCircuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部；circuitry)来实现，也可以通过软件与硬件的协同配合来实现。程序既可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)中，也可以保存于DVD、CD-ROM等可装卸的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置而安装。存储部130通过HDD、闪存器、RAM(Random AccessMemory)等来实现。存储部130储存将转向开关28的操作模式与成为启动的对象的智能体功能部150建立了对应关系的对应信息132。
管理部110通过执行OS(Operating System)、中间件等程序而发挥功能。
管理部110的声响处理部112在通过话筒10而被输入了车辆M的乘员的讲话的情况下，检测获知车辆M的乘员的讲话。然后，声响处理部112对被输入的车辆M的乘员的讲话进行声响处理，以使得成为适于识别针对每个智能体预先设定的唤醒词的状态。
按每个智能体WU判定部114与智能体功能部150-1、150-2、150-3分别对应地存在，识别针对每个智能体预先设定的唤醒词。按每个智能体WU判定部114从进行了声响处理的声音(声音流)识别声音的意思。首先，按每个智能体WU判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。按每个智能体WU判定部114也可以进行通过基于混合高斯分布模型(GMM；Gaussian mixture model)的帧单位的声音识别及非声音识别而实现的区间检测。
接着，按每个智能体WU判定部114将检测到的声音区间中的声音文本化，设为文字信息。然后，按每个智能体WU判定部114判定文本化了的文字信息是否符合唤醒词。在判定为是唤醒词的情况下，按每个智能体WU判定部114通知智能体启动部120产生了向对应的智能体功能部150的启动指示。与按每个智能体WU判定部114相当的功能也可以搭载于智能体服务器200。在该情况下，管理部110将由声响处理部112进行了声响处理的声音流向智能体服务器200发送，在智能体服务器200判定为是唤醒词的情况下，按照来自智能体服务器200的指示，智能体功能部150启动。各智能体功能部150可以始终启动且自行进行唤醒词的判定。在该情况下，无需管理部110具备按每个智能体WU判定部114。
智能体功能部150与对应的智能体服务器200协同配合而使智能体出现，根据车辆的乘员的讲话，提供包含通过声音进行的响应的服务。在智能体功能部150中可以包含被赋予了控制车辆设备50的权限的功能部。智能体功能部150中可以存在经由配对应用执行部152而与通用通信装置70协作来与智能体服务器200通信的功能部。例如，对智能体功能部150-1赋予了控制车辆设备50的权限。智能体功能部150-1经由车载通信装置60而与智能体服务器200-1通信。智能体功能部150-2经由车载通信装置60而与智能体服务器200-2通信。智能体功能部150-3经由配对应用执行部152而与通用通信装置70协作来与智能体服务器200-3通信。配对应用执行部152例如通过Bluetooth(注册商标)与通用通信装置70进行配对，使智能体功能部150-3与通用通信装置70连接。智能体功能部150-3也可以通过利用了USB(Universal Serial Bus)等的有线通信而连接于通用通信装置70。以下，存在将智能体功能部150-1与智能体服务器200-1协同配合而出现的智能体称作智能体1，将智能体功能部150-2与智能体服务器200-2仂、同配合而出现的智能体称作智能体2，将智能体功能部150-3与智能体服务器200-3仂、同配合而出现的智能体称作智能体3的情况。
操作判定部116基于从转向开关28输入的操作信号，判定是否由车辆M的乘员执行了转向开关28的操作。操作判定部116在转向开关28以多个操作模式被进行了操作的情况下，基于针对每个操作模式而不同的操作信号，判定转向开关28的操作模式。作为多个操作模式，例如可以举出“半按”、“长按”、“按两次”、“切换”、多个转向开关28的“同时按”等。并且，操作判定部116基于判定出的转向开关28的操作模式，参照存储于存储部130的对应信息132，确定成为启动的对象的智能体功能部150。操作判定部116通知智能体启动部120产生了向确定出的智能体功能部150的启动指示。转向开关28不是必须设置于转向SW，也可以适当设置于乘员在驾驶中容易利用的车辆M内的位置。
智能体设定部118在由车辆M的乘员进行了用于按每个智能体的启动的设定操作的情况下，变更存储于存储部130的对应信息132。智能体设定部118例如在转向开关28以规定的操作模式刚被进行了操作之后，输入了指定成为启动的对象的智能体的声音的情况下，变更对应信息132，以将转向开关28的规定的操作模式与被指定为启动的对象的智能体建立对应关系。
图4是用于说明存储于存储部130的对应信息132的一例的图。在该图所示的例子中，在进行每个智能体的用于启动的设定操作之前，对于“半按”这一转向开关28的操作模式，作为成为启动的对象的智能体，“智能体1”建立了对应关系。对于“长按”这一转向开关28的操作模式，作为成为启动的对象的智能体，“智能体2”建立了对应关系。对于“按两次”这一转向开关28的操作模式，作为成为启动的对象的智能体，“智能体3”建立了对应关系。并且，在该图所示的例子中，作为每个智能体的用于启动的设定操作的一例，对于“长按”这一转向开关28的操作模式，作为成为启动的对象的智能体，指定了“智能体1”。在该情况下，对于“长按”这一转向开关28的操作模式，作为成为启动的对象的智能体，“智能体1”建立对应关系。在进行设定操作之前，与“长按”这一转向开关28的操作模式建立了对应关系的“智能体2”相对于被解除了与“智能体1”的建立对应关系的“半按”这一转向开关28的操作模式而建立对应关系。
智能体启动部120控制多个智能体功能部150-1、150-2、150-3各自的启动。智能体启动部120在从按每个智能体WU判定部114产生了通知的情况下及从操作判定部116产生了通知的情况下，将符合的智能体功能部启动。
智能体启动部120在操作判定部116判定出转向开关28的操作模式的情况下，使与判定出的操作模式对应的智能体功能部150启动。在该情况下，智能体启动部120即便在与由操作判定部116判定出的操作模式对应的智能体功能部以外的智能体功能部处于启动中，也使与由操作判定部116判定出的操作模式对应的智能体功能部启动。智能体启动部120例如在智能体功能部150-1的启动中，在操作判定部116判定出与智能体功能部150-2对应的转向开关28的操作模式的情况下，使智能体功能部150-2启动。即，智能体启动部120在由操作判定部116连续地判定出多个种类的操作模式的情况下，将与多个种类的操作模式分别对应的智能体功能部150并行地启动。
智能体功能部150在多个智能体功能部中的任意智能体功能部通过扬声器单元30输出声音的期间，针对转向开关28的操作被执行了的情况下，将车辆M的乘员的讲话存储于存储部130。通过针对转向开关28的操作而启动了的智能体功能部150从存储部130取得车辆M的乘员的讲话，提供包含通过声音进行的响应的服务。在针对转向开关28的操作以与多个智能体功能部150的各个智能体功能部150对应的操作模式被执行了的情况下，多个智能体功能部150的各个智能体功能部150存储于存储部130的车辆M的乘员的讲话既可以是在多个智能体功能部150之间共通的讲话，也可以是针对每个智能体功能部150而不同的讲话。在多个智能体功能部150分别将车辆M的乘员的讲话存储于存储部130的情况下，例如，也可以在将由车辆M的乘员输入的一系列的讲话分割为多个声音区间的基础上，将每个声音区间的讲话分别分配给多个智能体功能部150。在该情况下，例如，也可以根据智能体功能部150启动的顺序，针对多个智能体功能部150，分别分配每个声音区间的讲话。
显示控制部122根据来自智能体功能部150的指示，使第一显示器22或第二显示器24显示图像。以下，设为使用第一显示器22。显示控制部122通过一部分的智能体功能部150的控制，例如生成在车室内进行与乘员的交流的拟人化了的智能体的图像(以下，称作智能体图像)，使第一显示器22显示所生成的智能体图像。智能体图像例如是对乘员搭话的形态的图像。智能体图像例如可以是包含至少由观看者(乘员)识别表情、面部朝向的程度的面部图像。例如，智能体图像可以是，在面部区域中呈现模仿眼睛、鼻子的部件，基于面部区域中的部件的位置而识别表情、面部朝向。智能体图像也可以被立体地感受，通过包含三维空间中的头部图像而由观看者识别智能体的面部朝向，通过包含主体(身躯、手脚)的图像而由观看者识别智能体的动作、举止、姿态等。智能体图像也可以是动画图像。
声音控制部124根据来自智能体功能部150的指示，使扬声器单元30所包含的扬声器中的一部分或全部输出声音。声音控制部124也可以进行使用多个扬声器单元30而使智能体声音的声像定位于与智能体图像的显示位置对应的位置的控制。所谓与智能体图像的显示位置对应的位置，例如是被预测为乘员感到智能体图像正在讲出智能体声音的位置，具体而言，是智能体图像的显示位置附近的位置。所谓声像定位，例如是通过调节向乘员的左右耳传递的声音的大小，来设定乘员感到的声源的空间上的位置。
[智能体服务器]
图5是示出智能体服务器200的结构和智能体装置100的结构的一部分的图。以下，与智能体服务器200的结构一起，对智能体功能部150等的动作进行说明。在此，省略关于从智能体装置100到网络NW的物理上的通信的说明。
智能体服务器200具备通信部210。通信部210例如是NIC(Network InterfaceCard)等网络接口。而且，智能体服务器200例如具备声音识别部220、自然语言处理部222、对话管理部224、网络检索部226、响应文生成部228。这些构成要素例如通过由CPU等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部；circuitry)来实现，也可以通过软件与硬件的协同配合来实现。程序既可以预先保存于HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)中，也可以保存于DVD、CD-ROM等可装卸的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置而安装。
智能体服务器200具备存储部250。存储部250通过上述的各种存储装置来实现。在存储部250中例如保存有个人简介252、字典DB(数据库)254、知识库DB256、响应规则DB258等数据、程序。
在智能体装置100中，智能体功能部150将声音流、或进行了压缩、编码等处理的声音流向智能体服务器200发送。智能体功能部150可以在识别到能够进行本地处理(不经由智能体服务器200的处理)的声音指令的情况下，进行通过声音指令要求的处理。所谓能够进行本地处理的声音指令，是通过参照智能体装置100所具备的存储部(未图示)而能够回答的声音指令，在智能体功能部150-1的情况下是控制车辆设备50的声音指令(例如，打开空调装置的指令等)。因此，智能体功能部150也可以具有智能体服务器200所具备的功能的一部分。
当取得声音流后，声音识别部220进行声音识别并将文本化了的文字信息输出，自然语言处理部222针对文字信息一边参照字典DB254一边进行意思解释。字典DB254中，对于文字信息，抽象化了的意思信息建立了对应关系。字典DB254也可以包含同义词、近义词的一览信息。声音识别部220的处理和自然语言处理部222的处理可以不明确分阶段，而是接受自然语言处理部222的处理结果而声音识别部220修正识别结果等相互影响地进行。
例如，自然语言处理部222在识别到“今天的天气是”、“天气怎么样”等意思作为识别结果的情况下，生成置换为标准文字信息“今天的天气”的指令。由此，即便在请求的声音存在了表述差异的情况下，也能够容易进行与要求相符的对话。自然语言处理部222例如也可以使用利用了概率的机器学习处理等人工智能处理来识别文字信息的意思，生成基于识别结果的指令。
对话管理部224基于自然语言处理部222的处理结果(指令)，一边参照个人简介252、知识库DB256、响应规则DB258，一边决定针对车辆M的乘员的讲话的内容。个人简介252包含针对每个乘员保存着的乘员的个人信息、兴趣偏好、过去的对话的履历等。知识库DB256是规定了事物的关系性的信息。响应规则DB258是规定了针对指令而智能体应该进行的动作(回答、设备控制的内容等)的信息。
对话管理部224也可以通过使用从声音流得到的特征信息而与个人简介252进行对照，来确定乘员。在该情况下，个人简介252中，例如声音的特征信息与个人信息建立了对应关系。所谓声音的特征信息，例如是与声音的高度、语调、节奏(声音的高低的模式)等说话方式的特征、基于梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficients)等的特征量相关的信息。声音的特征信息例如是在乘员的初始登记时使乘员对规定的单词、句子等进行发声，并通过识别发出的声音而得到的信息。
对话管理部224在指令是要求能够经由网络NW而检索的信息的指令的情况下，使网络检索部226进行检索。网络检索部226经由网络NW而访问各种网页服务器300，取得期望的信息。所谓“能够经由网络NW而检索的信息”，例如是处于车辆M的周边的餐厅的由一般用户评价的评价结果，或者是与当天的车辆M的位置相应的天气预报。
响应文生成部228以使得由对话管理部224决定出的讲话的内容向车辆M的乘员传达的方式，生成响应文，并向智能体装置100发送。响应文生成部228也可以在确定出乘员是在个人简介中登记了的乘员的情况下，呼叫乘员的名字，生成模拟乘员的说话方式的说话方式的响应文。
智能体功能部150当取得响应文后，指示声音控制部124进行声音合成而输出声音。智能体功能部150指示显示控制部122与声音输出相配合地显示智能体的图像。这样，假想地出现的智能体对车辆M的乘员进行响应的智能体功能得以实现。
[智能体装置的处理流程]
以下，使用流程图来对第一实施方式的车载智能体系统VAS的一系列处理的流程进行说明。图6是用于说明第一实施方式的车载智能体系统VAS的一系列处理的流程的流程图。本流程图的处理例如与智能体功能部150的启动的停止同时地开始。
首先，操作判定部116判定转向开关28的操作是否被执行了(步骤S10)。操作判定部116在判定为转向开关28的操作被执行了的情况下，判定转向开关28的操作模式。操作判定部116参照存储于存储部130的对应信息132，确定与转向开关28的操作的操作模式对应的智能体功能部150(步骤S12)。然后，智能体启动部120基于来自操作判定部116的通知，使操作判定部116确定出的智能体功能部150启动(步骤S14)。另一方面，操作判定部116在判定为转向开关28的操作没有被执行的情况下，不经过步骤S12～步骤S14的处理，使其处理移向步骤S16。接着，声响处理部112基于通过话筒10而输入的声音信号，判定是否检测获知到车辆M的乘员的讲话(步骤S16)。声响处理部112在判定为没有检测获知到车辆M的乘员的讲话的情况下，使其处理返回步骤S10。然后，操作判定部116判定转向开关28的新的操作是否被执行了(步骤S10)。操作判定部116在判定为转向开关28的新的操作被执行了的情况下，参照存储于存储部130的对应信息132，确定与转向开关28的新的操作模式对应的智能体功能部150(步骤S12)。智能体启动部120基于来自操作判定部116的通知，使操作判定部116确定出的智能体功能部150启动(步骤S14)。然后，直到车辆M的乘员的讲话由声响处理部112检测获知到为止的期间，反复进行步骤S10～步骤S16的处理。
另一方面，智能体启动部120在判定为由声响处理部112检测获知到车辆M的乘员的讲话的情况下，判定智能体功能部150是否处于启动中(步骤S18)。即，智能体启动部120判定是否在伴随于转向开关28的操作的执行而将智能体功能部150预先启动了的基础上由声响处理部112检测获知到车辆M的乘员所进行的讲话。在由智能体启动部120判定为自身处于启动中的情况下，智能体功能部150根据车辆M的乘员的讲话而开始处理(步骤S20)。接着，声响处理部112基于通过话筒10而输入的声音信号，判定车辆M的乘员的讲话是否结束了(步骤S22)。声响处理部112例如以从不再检测到车辆M的乘员的讲话的时间点起没有通过话筒10而输入声音信号而经过了规定时间为条件，判定为车辆M的乘员的讲话结束了。在该情况下，规定时间例如设定为比车辆M的乘员进行一系列的讲话的情况下的连续讲话的期间的休止时间长的时间。并且，声响处理部112在判定为车辆M的乘员的讲话没有结束的情况下，使其处理返回步骤S10。另一方面，声响处理部112在判定为车辆M的乘员的讲话结束了的情况下，本流程图的处理结束。
图7是用于说明第一实施方式的车载智能体系统VAS的动作的图。
首先，管理部110在时刻t1判定为对转向开关28执行了第一操作模式(“半按”)的操作的情况下，将与第一操作模式对应的智能体功能部150-1启动。接着，管理部110在时刻t2判定为对转向开关28执行了第二操作模式(“长按”)的操作的情况下，将与第二操作模式对应的智能体功能部150-2启动。接着，智能体功能部150-1在时刻t3检测获知到从话筒10通过管理部110而输入的车辆M的乘员的讲话的情况下，根据检测获知到的讲话而执行处理。接着，智能体功能部150-2在时刻t4检测获知到从话筒10通过管理部110而输入的车辆M的乘员的讲话的情况下，根据检测获知到的讲话而执行处理。
图8是用于说明第一实施方式的车载智能体系统VAS的动作的图。
首先，管理部110在时刻t11判定为对转向开关28执行了第一操作模式(“半按”)的操作的情况下，使与第一操作模式对应的智能体功能部150-1启动。接着，智能体功能部150-1在时刻t12检测获知到从话筒10通过管理部110而输入的车辆M的乘员的讲话的情况下，根据检测获知到的讲话而执行处理。接着，管理部110在时刻t13判定为对转向开关28执行了第二操作模式(“长按”)的操作的情况下，使与第二操作模式对应的智能体功能部150-2启动。接着，智能体功能部150-2在时刻t14检测获知到从话筒10通过管理部110而输入的车辆M的乘员的讲话的情况下，根据检测获知到的讲话而执行处理。
根据上述说明的第一实施方式的车载智能体系统VAS，能够提高便利性。例如，对多个智能体功能部150分别设定有单独的唤醒词。在该情况下，车辆M的乘员在连续地将多个智能体功能部150启动的情况下，需要连续地输入与多个智能体功能部150分别对应的单独的唤醒词。与此相对，在第一实施方式的车载智能体系统VAS中，除了单独的唤醒词之外，还设定有与多个智能体功能部150分别对应的转向开关28的操作模式。因此，车辆M的乘员能够通过切换转向开关28的操作模式来连续地将多个智能体功能部启动，能够提高将智能体功能部150启动的情况下的便利性。
根据第一实施方式的车载智能体系统VAS，还能够更进一步提高便利性。例如，在车辆M提供多个种类的智能体功能的情况下，智能体功能的利用频率针对每个车辆M的乘员而不同。与此相对，在第一实施方式的车载智能体系统VAS中，在针对每个智能体功能部150输入了用于启动的转向开关28的操作模式的设定操作的情况下，转向开关28的操作模式与成为启动的对象的智能体功能部150的建立对应关系变更。因此，也能够对于提供利用频率高的智能体的智能体功能部150，将操作性高的转向开关28的操作模式建立对应关系，能够更进一步提高便利性。
<第二实施方式>
以下，对第二实施方式进行说明。第二实施方式与第一实施方式相比较，检测获知到车辆的乘员的讲话的情况下的智能体功能部的处理的进展方法不同。以下，以该不同点为中心来进行说明。
以下，使用流程图来对第二实施方式的车载智能体系统VAS的一系列处理的流程进行说明。图9是用于说明第二实施方式的车载智能体系统VAS的一系列处理的流程的流程图。本流程图的处理例如与智能体功能部150的启动的停止同时地开始。
首先，操作判定部116判定转向开关28的操作是否被执行了(步骤S30)。操作判定部116在判定为转向开关28的操作被执行了的情况下，参照存储于存储部130的对应信息132，确定与转向开关28的操作模式对应的智能体功能部150(步骤S32)。然后，智能体启动部120基于来自操作判定部116的通知，将操作判定部116确定出的智能体功能部150启动(步骤S34)。另一方面，操作判定部116在判定为转向开关28的操作没有被执行的情况下，不经过步骤S32～步骤S34的处理，使其处理移向步骤S36。接着，声响处理部112基于通过话筒10而输入的声音信号，判定是否检测获知到车辆M的乘员的讲话(步骤S36)。声响处理部112在判定为没有检测获知到车辆M的乘员的讲话的情况下，使其处理返回步骤S30。之后，操作判定部116判定转向开关28的新的操作是否被执行了(步骤S30)。操作判定部116在判定为转向开关28的新的操作被执行了的情况下，参照存储于存储部130的对应信息132，确定与转向开关28的新的操作模式对应的智能体功能部150(步骤S32)。然后，智能体启动部120基于来自操作判定部116的通知，将操作判定部116确定出的智能体功能部150启动(步骤S34)。
另一方面，智能体启动部120在判定为由声响处理部112检测获知到车辆M的乘员的讲话的情况下，判定智能体功能部150是否处于启动中(步骤S38)。即，智能体启动部120判定是否在伴随于转向开关28的操作的执行而将智能体功能部150预先启动了的基础上由声响处理部112检测获知到车辆M的乘员所进行的讲话。智能体启动部120在判定为智能体功能部150处于启动中的情况下，判定其他智能体功能部150是否伴随于执行与车辆M的乘员的讲话相应的处理而正在输出声音中(步骤S40)。智能体启动部120在判定为其他智能体功能部150正在输出声音中的情况下，将由声响处理部112检测获知到的车辆M的乘员的讲话存储于存储部130(步骤S42)。即，智能体启动部120在其他智能体功能部150输出声音的期间，针对转向开关28的操作被执行了的情况下，将车辆M的乘员的讲话存储于存储部130。另一方面，智能体功能部150在由智能体启动部120判定为其他智能体功能部150没有正在输出声音中的情况下，根据车辆M的乘员的讲话而开始处理(步骤S44)。接着，声响处理部112基于通过话筒10而输入的声音信号，判定车辆M的乘员的讲话是否结束了(步骤S46)。然后，声响处理部112在判定为车辆M的乘员的讲话没有结束的情况下，使其处理返回步骤S30。另一方面，声响处理部112在判定为车辆M的乘员的讲话结束了的情况下，本流程图的处理结束。
图10是用于说明第二实施方式的车载智能体系统VAS的动作的图。
首先，管理部110在时刻t21判定为对转向开关28执行了第一操作模式(“半按”)的操作的情况下，将与第一操作模式对应的智能体功能部150-1启动。接着，智能体功能部150-1在时刻t22检测获知到从话筒10通过管理部110而输入的车辆M的乘员的讲话的情况下，根据检测获知到的讲话而执行处理。接着，管理部110在时刻t23判定为对转向开关28执行了第二操作模式(“长按”)的操作的情况下，由于智能体功能部150-1正在输出声音中，所以，将车辆M的乘员的讲话存储于存储部130。之后，在时刻t24智能体功能部150完成了声音的输出的情况下，管理部110将与第二操作模式对应的智能体功能部150-2启动。然后，智能体功能部150-2从存储部130取得车辆M的乘员的讲话而执行处理。
根据上述说明的第二实施方式的车载智能体系统VAS，与第一实施方式的车载智能体系统VAS同样，能够提高便利性。根据第二实施方式的车载智能体系统VAS，与第一实施方式的车载智能体系统VAS同样，能够更进一步提高便利性。
根据第二实施方式的车载智能体系统VAS，还能够减少处理负荷。例如，在由车辆M的乘员切换了转向开关28的操作模式的情况下，若与多个操作模式对应的智能体功能部并行地开始处理时，那么车载智能体系统VAS的处理负荷增大。与此相对，在第二实施方式的车载智能体系统VAS中，在由车辆M的乘员切换了转向开关28的操作模式的情况下，以多个智能体功能部150中的任一个都没有正在执行处理中为条件，从多个智能体功能部150中选择出的智能体功能部150开始与车辆M的乘员的讲话对应的处理。因此，能够减少车载智能体系统VAS的处理负荷。
<第三实施方式>
以下，对第三实施方式进行说明。第三实施方式与第一实施方式相比较，智能体功能部进行转向开关的操作模式的判定这一点不同。以下，以该不同点为中心来进行说明。
图11是示出第三实施方式的车载智能体系统VAS的结构和搭载于车辆M的设备的图。
存储部130A具有与智能体功能部150-1对应地设定的第一存储区域S1、与智能体功能部150-2对应地设定的第二存储区域S2、与智能体功能部150-3对应地设定的第三存储区域S3。在存储区域S1～S3中，存储有智能体功能部150-1～150-3与将智能体功能部150-1～150-3启动的情况下的转向开关28的操作模式建立了对应关系的对应信息132。
智能体功能部150在由车辆M的乘员执行了转向开关28的操作的情况下，经由管理部110取得根据转向开关28的操作模式而输出的操作信号。然后，智能体功能部150基于所取得的操作信号，判定转向开关28的操作模式。智能体功能部150参照与自身对应的存储区域的对应信息132，将基于操作信号而判定出的转向开关28的操作模式和与自身对应的转向开关28的操作模式进行对照。然后，智能体功能部150以对照成立为条件而启动。
图12是用于说明存储于存储部130A的每个存储区域S1～S3的对应信息132的一例的图。在该图所示的例子中，在进行每个智能体的用于启动的设定操作之前，对于与第一存储区域S1对应的“智能体1”，“半按”这一转向开关28的操作模式建立了对应关系。对于与第二存储区域S2对应的“智能体2”，“长按”这一转向开关28的操作模式建立了对应关系。对于与第三存储区域S3对应的“智能体3”，“按两次”这一转向开关28的操作模式建立了对应关系。并且，在该图所示的例子中，作为每个智能体的用于启动的设定操作的一例，对于与第一存储区域S1对应的“智能体1”，指定了“长按”这一转向开关28的操作模式。在该情况下，对于与第一存储区域S1对应的“智能体1”，“长按”这一转向开关28的操作模式建立对应关系。在进行设定操作之前，与“长按”这一转向开关28的操作模式建立了对应关系的与第二存储区域S2对应的“智能体2”，对于与智能体的建立对应关系被解除了的“半按”这一转向开关28的操作模式建立对应关系。即，多个智能体功能部150-1～150-3分别在针对每个智能体功能部用于启动的转向开关28的操作模式的设定操作被执行了的情况下，将被执行了的设定操作的操作模式与成为启动的对象的智能体功能部150-1～150-3建立对应关系，存储于存储部130A中的相符的存储区域。在这一点，存储部130A是“第三存储部”的一例。
以下，使用流程图来对第三实施方式的车载智能体系统VAS的一系列处理的流程进行说明。图13是用于说明第三实施方式的车载智能体系统VAS的一系列处理的流程的流程图。本流程图的处理例如与智能体功能部150的启动的停止同时地开始。
首先，智能体功能部150基于通过管理部110而取得的转向开关28的操作信号，判定转向开关28的操作是否被执行了(步骤S50)。智能体功能部150在判定为转向开关28的操作被执行了的情况下，基于所取得的操作信号，判定转向开关28的操作模式。智能体功能部150参照存储部130A中的与自身对应的存储区域的对应信息132，判定基于操作信号而判定出的转向开关28的操作模式和与自身对应的转向开关28的操作模式之间的对照是否成立(步骤S52)。智能体功能部150在判定为操作模式的对照成立了的情况下，开始启动(步骤S54)。另一方面，智能体功能部150在判定为操作模式的对照不成立的情况下，不经过步骤S54的处理，使其处理移向步骤S56。
接着，声响处理部112基于通过话筒10而输入的声音信号，判定是否检测获知到车辆M的乘员的讲话(步骤S56)。声响处理部112在判定为没有检测获知到车辆M的乘员的讲话的情况下，使其处理返回步骤S50。之后，智能体功能部150判定转向开关28的新的操作是否被执行了(步骤S50)。智能体功能部150在判定为转向开关28的新的操作被执行了的情况下，参照存储部130A，判定操作模式的对照是否成立(步骤S52)。然后，智能体功能部150在判定为操作模式的对照成立了的情况下，开始启动(步骤S54)。
另一方面，智能体功能部150在判定为由声响处理部112检测获知到车辆M的乘员的讲话的情况下，判定自身是否处于启动中(步骤S58)。即，智能体功能部150判定是否在伴随于转向开关28的操作的执行而将自身预先启动了的基础上由声响处理部112检测获知到车辆M的乘员所进行的讲话。智能体功能部150在判定为自身处于启动中的情况下，根据车辆M的乘员的讲话而开始处理(步骤S60)。接着，声响处理部112基于通过话筒10而输入的声音信号，判定车辆M的乘员的讲话是否结束了(步骤S62)。然后，声响处理部112在判定为车辆M的乘员的讲话没有结束的情况下，使其处理返回步骤S50。另一方面，声响处理部112在判定为车辆M的乘员的讲话结束了的情况下，本流程图的处理结束。
图14是用于说明第三实施方式的车载智能体系统VAS的动作的图。
首先，智能体功能部150-1在时刻t31，对转向开关28执行了第一操作模式(“半按”)的操作的情况下，判定为第一操作模式和与自身对应的操作模式之间的对照成立了，开始启动。接着，智能体功能部150-2在时刻t32，对转向开关28执行了第二操作模式(“长按”)的操作的情况下，判定为第二操作模式和与自身对应的操作模式之间的对照成立了，开始启动。接着，智能体功能部150-1在时刻t33，通过管理部110而取得了包含对智能体功能部150-1的指示的车辆M的乘员的讲话的情况下，根据所取得的讲话而执行处理。接着，智能体功能部150-2在时刻t34，通过管理部110而取得了包含对智能体功能部150-2的指示的车辆M的乘员的讲话的情况下，根据所取得的讲话而执行处理。
根据上述说明的第三实施方式的车载智能体系统VAS，与第一实施方式及第二实施方式的车载智能体系统VAS同样，能够提高便利性。根据第三实施方式的车载智能体系统VAS，与第一实施方式及第二实施方式的车载智能体系统VAS同样，能够更进一步提高便利性。
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (9)

1.一种车载智能体系统，其中，
所述车载智能体系统具备：
多个智能体功能部，它们根据车辆的乘员的讲话，提供包含使输出部输出通过声音进行的响应的服务；以及
共用操作部，其在所述多个智能体功能部中共用地设置于所述车辆，
在对所述共用操作部以与所述多个智能体功能部分别对应地设定的操作模式执行了操作的情况下，与执行了的所述操作的操作模式对应的智能体功能部启动。
2.根据权利要求1所述的车载智能体系统，其中，
所述车载智能体系统还具备管理部，所述管理部控制所述多个智能体功能部各自的启动，
在针对所述共用操作部的操作被执行了的情况下，所述管理部使与执行了的所述操作模式对应的智能体功能部启动。
3.根据权利要求2所述的车载智能体系统，其中，
在针对每个所述智能体功能部而执行了用于启动的所述共用操作部的操作模式的设定操作的情况下，所述管理部将执行了所述设定操作的操作模式与成为启动的对象的智能体功能部建立了对应关系的对应信息存储于存储部，在针对所述共用操作部的操作被执行了的情况下，所述管理部参照存储于所述存储部的对应信息，确定与执行了的所述操作的操作模式对应的智能体功能部。
4.根据权利要求2或3所述的车载智能体系统，其中，
在针对所述共用操作部的操作被执行了的情况下，即便与执行了的所述操作的操作模式对应的智能体功能部以外的智能体功能部处于启动中，所述管理部也使与执行了的所述操作的操作模式对应的智能体功能部启动。
5.根据权利要求2～4中任一项所述的车载智能体系统，其中，
在所述多个智能体功能部中任意智能体功能部正在输出声音的期间，针对所述共用操作部的操作被执行了的情况下，所述管理部将所述车辆的乘员的讲话存储于存储部，
通过针对所述共用操作部的操作而启动了的智能体功能部根据从所述存储部取得的所述车辆的乘员的讲话而执行处理。
6.根据权利要求1所述的车载智能体系统，其中，
所述多个智能体功能部分别在针对所述共用操作部的操作被执行了的情况下，将执行了的所述操作的操作模式和与自身对应地设定的操作模式进行对照，以对照成立为条件而启动。
7.根据权利要求6所述的车载智能体系统，其中，
所述多个智能体功能部分别在用于自身的启动的所述共用操作部的操作模式的设定操作被执行了的情况下，将与执行了所述设定操作的操作模式相关的信息存储于存储部，且在针对所述共用操作部的操作被执行了的情况下，参照存储于所述存储部的与操作模式相关的信息，决定自身是否启动。
8.一种车载智能体系统的控制方法，其中，
所述车载智能体系统的控制方法使计算机进行如下处理：
使多个智能体功能部中的任意智能体功能部启动；
作为启动了的所述智能体功能部的功能，根据车辆的乘员的讲话，提供包含使输出部输出通过声音进行的响应的服务；以及
在对共用操作部以与所述多个智能体功能部分别对应地设定的操作模式执行了操作的情况下，将与执行了的所述操作的操作模式对应的智能体功能部启动。
9.一种存储介质，其存储有程序，其中，
所述程序使计算机执行如下处理：
使多个智能体功能部中的任意智能体功能部启动；
作为启动了的所述智能体功能部的功能，根据车辆的乘员的讲话，提供包含使输出部输出通过声音进行的响应的服务；以及
在对共用操作部以与所述多个智能体功能部分别对应地设定的操作模式执行了操作的情况下，将与执行了的所述操作的操作模式对应的智能体功能部启动。
CN202010149143.4A 2019-03-07 2020-03-05 车载智能体系统、车载智能体系统的控制方法及存储介质 Pending CN111660955A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-041564 2019-03-07
JP2019041564A JP7198122B2 (ja) 2019-03-07 2019-03-07 エージェント装置、エージェント装置の制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN111660955A true CN111660955A (zh) 2020-09-15

Family

ID=72353571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010149143.4A Pending CN111660955A (zh) 2019-03-07 2020-03-05 车载智能体系统、车载智能体系统的控制方法及存储介质

Country Status (3)

Country Link
US (1) US11508370B2 (zh)
JP (1) JP7198122B2 (zh)
CN (1) CN111660955A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7198122B2 (ja) * 2019-03-07 2022-12-28 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP7264139B2 (ja) * 2020-10-09 2023-04-25 トヨタ自動車株式会社 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
WO2022254669A1 (ja) * 2021-06-03 2022-12-08 日産自動車株式会社 対話サービス装置及び対話システム制御方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06243096A (ja) * 1991-07-12 1994-09-02 Personal Joho Kankyo Kyokai ヒューマンインタフェースのアーキテクチャモデル
JP2001141500A (ja) * 1999-11-15 2001-05-25 Auto Network Gijutsu Kenkyusho:Kk 車載エージェント処理装置
US20020173333A1 (en) * 2001-05-18 2002-11-21 Buchholz Dale R. Method and apparatus for processing barge-in requests
US20040193420A1 (en) * 2002-07-15 2004-09-30 Kennewick Robert A. Mobile systems and methods for responding to natural language speech utterance
JP2006188098A (ja) * 2004-12-28 2006-07-20 Pioneer Electronic Corp 対話装置、対話方法、対話プログラムおよびコンピュータに読み取り可能な記録媒体
CN1898721A (zh) * 2003-12-26 2007-01-17 株式会社建伍 设备控制装置、声音识别装置、代理装置、车载设备控制装置、导航装置、音响装置、设备控制方法、声音识别方法、代理处理方法、车载设备控制方法、导航方法、音响装置控制方法和程序
JP2009175908A (ja) * 2008-01-23 2009-08-06 Xanavi Informatics Corp 情報表示装置およびタッチパネルの操作方法
CN106164398A (zh) * 2014-04-10 2016-11-23 三菱电机株式会社 移动设备、车辆远程操作系统、车辆远程操作方法以及程序
CN107888653A (zh) * 2016-09-30 2018-04-06 本田技研工业株式会社 发话装置、沟通装置和移动体
CN108665890A (zh) * 2017-03-28 2018-10-16 三星电子株式会社 操作语音识别服务的方法、电子设备和支持该设备的系统
CN108806690A (zh) * 2013-06-19 2018-11-13 松下电器（美国）知识产权公司 声音对话方法及声音对话代理服务器
CN109273006A (zh) * 2018-09-28 2019-01-25 上汽通用五菱汽车股份有限公司 车载系统的语音控制方法、车载系统、车辆及存储介质
CN109416733A (zh) * 2016-07-07 2019-03-01 哈曼国际工业有限公司 便携式个性化
CN109427333A (zh) * 2017-08-25 2019-03-05 三星电子株式会社 激活语音识别服务的方法和用于实现所述方法的电子装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922670B2 (en) * 2000-10-24 2005-07-26 Sanyo Electric Co., Ltd. User support apparatus and system using agents
JP2002175316A (ja) * 2000-12-07 2002-06-21 Sanyo Electric Co Ltd ユーザ支援装置およびシステム
US6947895B1 (en) * 2001-08-14 2005-09-20 Cisco Technology, Inc. Distributed speech system with buffer flushing on barge-in
US7158936B2 (en) * 2001-11-01 2007-01-02 Comverse, Inc. Method and system for providing a voice application bookmark
JP2003174497A (ja) * 2001-12-05 2003-06-20 Nec Saitama Ltd 携帯電話機及びその操作方法
US8229750B2 (en) * 2004-04-28 2012-07-24 Nuance Communications, Inc. Barge-in capabilities of a voice browser
JP4645310B2 (ja) 2005-06-02 2011-03-09 株式会社デンソー エージェントキャラクタ表示を利用した表示システム
JP4491438B2 (ja) * 2006-06-26 2010-06-30 Ｎｅｃシステムテクノロジー株式会社 音声対話装置、音声対話方法、およびプログラム
JP6690346B2 (ja) * 2016-03-25 2020-04-28 日本電気株式会社 セキュリティリスク管理システム、サーバ、制御方法、プログラム
US10270885B2 (en) * 2016-05-13 2019-04-23 Servicenow, Inc. System and method for deploying resources within a computing infrastructure
JP2018021987A (ja) * 2016-08-02 2018-02-08 ユニロボット株式会社 会話処理装置、及びプログラム
US10846212B2 (en) * 2016-08-04 2020-11-24 Hitachi, Ltd. Evidence gathering system and method
JP7176514B2 (ja) * 2017-05-30 2022-11-22 日本電気株式会社 半順序手順計画装置、半順序手順計画方法および半順序手順計画プログラム
US11367346B2 (en) * 2017-06-07 2022-06-21 Nexar, Ltd. Digitizing and mapping the public space using collaborative networks of mobile agents and cloud nodes
TWI713016B (zh) * 2019-01-03 2020-12-11 瑞昱半導體股份有限公司 語音偵測處理系統與語音偵測方法
JP7198122B2 (ja) * 2019-03-07 2022-12-28 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP7287258B2 (ja) * 2019-12-10 2023-06-06 トヨタ自動車株式会社 エージェント管理装置、プログラムおよびエージェント管理方法
US20210374563A1 (en) * 2020-05-29 2021-12-02 Joni Jezewski Solution Automation

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06243096A (ja) * 1991-07-12 1994-09-02 Personal Joho Kankyo Kyokai ヒューマンインタフェースのアーキテクチャモデル
JP2001141500A (ja) * 1999-11-15 2001-05-25 Auto Network Gijutsu Kenkyusho:Kk 車載エージェント処理装置
US20020173333A1 (en) * 2001-05-18 2002-11-21 Buchholz Dale R. Method and apparatus for processing barge-in requests
US20040193420A1 (en) * 2002-07-15 2004-09-30 Kennewick Robert A. Mobile systems and methods for responding to natural language speech utterance
CN1898721A (zh) * 2003-12-26 2007-01-17 株式会社建伍 设备控制装置、声音识别装置、代理装置、车载设备控制装置、导航装置、音响装置、设备控制方法、声音识别方法、代理处理方法、车载设备控制方法、导航方法、音响装置控制方法和程序
JP2006188098A (ja) * 2004-12-28 2006-07-20 Pioneer Electronic Corp 対話装置、対話方法、対話プログラムおよびコンピュータに読み取り可能な記録媒体
JP2009175908A (ja) * 2008-01-23 2009-08-06 Xanavi Informatics Corp 情報表示装置およびタッチパネルの操作方法
CN108806690A (zh) * 2013-06-19 2018-11-13 松下电器（美国）知识产权公司 声音对话方法及声音对话代理服务器
CN106164398A (zh) * 2014-04-10 2016-11-23 三菱电机株式会社 移动设备、车辆远程操作系统、车辆远程操作方法以及程序
CN109416733A (zh) * 2016-07-07 2019-03-01 哈曼国际工业有限公司 便携式个性化
CN107888653A (zh) * 2016-09-30 2018-04-06 本田技研工业株式会社 发话装置、沟通装置和移动体
CN108665890A (zh) * 2017-03-28 2018-10-16 三星电子株式会社 操作语音识别服务的方法、电子设备和支持该设备的系统
CN109427333A (zh) * 2017-08-25 2019-03-05 三星电子株式会社 激活语音识别服务的方法和用于实现所述方法的电子装置
CN109273006A (zh) * 2018-09-28 2019-01-25 上汽通用五菱汽车股份有限公司 车载系统的语音控制方法、车载系统、车辆及存储介质

Also Published As

Publication number Publication date
US20200320996A1 (en) 2020-10-08
JP7198122B2 (ja) 2022-12-28
US11508370B2 (en) 2022-11-22
JP2020144260A (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
CN111661068B (zh) 智能体装置、智能体装置的控制方法及存储介质
US11380325B2 (en) Agent device, system, control method of agent device, and storage medium
CN111660955A (zh) 车载智能体系统、车载智能体系统的控制方法及存储介质
CN111752686A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111559328B (zh) 智能体装置、智能体装置的控制方法及存储介质
US11240342B2 (en) Agent device, method of controlling agent device, and computer-readable non-transient storage medium
CN111660966A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111717142A (zh) 智能体装置、智能体装置的控制方法及存储介质
US11542744B2 (en) Agent device, agent device control method, and storage medium
CN111724778B (zh) 车载装置、车载装置的控制方法及存储介质
US11437035B2 (en) Agent device, method for controlling agent device, and storage medium
JP7175221B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP2020152298A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP2020157853A (ja) 車載エージェントシステム、車載エージェントシステムの制御方法、およびプログラム
JP2020154942A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN111559317B (zh) 智能体装置、智能体装置的控制方法及存储介质
US11518399B2 (en) Agent device, agent system, method for controlling agent device, and storage medium
CN111726772B (zh) 智能体系统及其控制方法、服务器装置、存储介质
CN111824174A (zh) 智能体装置、智能体装置的控制方法及存储介质
JP2020152297A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP2020157919A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination