CN111746435A - 信息提供装置、信息提供方法及存储介质 - Google Patents

信息提供装置、信息提供方法及存储介质 Download PDF

Info

Publication number
CN111746435A
CN111746435A CN202010220843.8A CN202010220843A CN111746435A CN 111746435 A CN111746435 A CN 111746435A CN 202010220843 A CN202010220843 A CN 202010220843A CN 111746435 A CN111746435 A CN 111746435A
Authority
CN
China
Prior art keywords
information
agent
unit
occupant
occupants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010220843.8A
Other languages
English (en)
Other versions
CN111746435B (zh
Inventor
内木贤吾
古屋佐和子
我妻善史
久保田基嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111746435A publication Critical patent/CN111746435A/zh
Application granted granted Critical
Publication of CN111746435B publication Critical patent/CN111746435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种能够向移动体的乘员进行更适当的信息提供的信息提供装置、信息提供方法及存储介质。实施方式的信息提供装置具备：取得部，其取得存在于移动体的多个乘员的个人信息；处理部，其将由所述取得部取得的多个所述乘员的个人信息中的至少一部分组合来生成统合个人信息；以及信息提供部，其基于由所述处理部处理后的统合个人信息，来向多个所述乘员提供信息。

Description

信息提供装置、信息提供方法及存储介质
技术领域
本发明涉及信息提供装置、信息提供方法及存储介质。
背景技术
以往，公开有与智能体功能相关的技术，该智能体功能是一边与车辆的乘员进行对话，一边提供与对应于乘员的要求的驾驶支援相关的信息、车辆的控制、其他的应用等的功能(例如，日本特开2006-335231号公报)。另外，在专利文献1中公开了如下技术：在存在多个搭乘者的情况下，将在驾驶员座的显示机构上显示的智能体字符也显示于副驾驶座、后部座位的显示机构。
然而，在上述的技术中，未考虑在对存在于车辆内的多个搭乘者进行响应的情况下，进行与哪个搭乘者相对应的响应。因此，有时无法进行对利用者的适当的响应。
发明内容
本发明的方案考虑这样的情况而提出，其目的之一在于提供一种能够向移动体的乘员进行更适当的信息提供的信息提供装置、信息提供方法及存储介质。
本发明的信息提供装置、信息提供方法及存储介质采用了以下的结构。
(1)：本发明的一方案的信息提供装置具备：取得部，其取得存在于移动体的多个乘员的个人信息；处理部，其将由所述取得部取得的多个所述乘员的个人信息中的至少一部分组合来生成统合个人信息；以及信息提供部，其基于由所述处理部处理后的统合个人信息，来向多个所述乘员提供信息。
(2)：在上述(1)的方案的基础上，所述信息提供部还具备：显示控制部，其使显示部显示与多个所述乘员进行交流的智能体图像；以及智能体功能部，其提供包括根据多个所述乘员的声音来使输出部输出基于声音进行的响应(应答)的服务，其中，所述处理部基于所述智能体图像显示于所述显示部的区域，来将多个所述乘员的个人信息中的至少一部分组合。
(3)：在上述(2)的方案的基础上，所述处理部基于所述智能体图像的显示位置和存在于所述移动体的多个乘员的各自的位置，来变更所述统合个人信息所包含的所述乘员的个人信息的影响程度。
(4)：在上述(3)的方案的基础上，多个所述乘员中越是存在于与所述智能体图像的显示位置的距离近的位置的乘员，所述处理部越增大所述统合个人信息所包含的所述乘员的个人信息的影响程度。
(5)：在上述(3)的方案的基础上，所述处理部使所述统合个人信息所包含的个人信息中的驾驶所述移动体的乘员的个人信息的影响程度比与其他的乘员的个人信息相对的所述影响程度大。
(6)：在上述(3)的方案的基础上，所述处理部基于所述智能体图像的显示位置和存在于所述移动体的多个乘员的各自的位置，来变更所述统合个人信息所包含的所述乘员的个人信息的比例。
(7)：在上述(2)的方案的基础上，所述显示部具有使多个所述乘员中的两个以上的乘员识别为在与自身对置的位置显示有智能体图像的程度的显示区域的广度。
(8)：本发明的另一方案的信息提供方法使信息提供装置进行如下处理：取得存在于移动体的多个乘员的个人信息；将取得的多个所述乘员的个人信息中的至少一部分组合来生成统合个人信息；以及基于生成的所述统合个人信息，来向多个所述乘员提供信息。
(9)：本发明的另一方案的存储介质存储有程序，所述程序使信息提供装置进行如下处理：取得存在于移动体的多个乘员的个人信息；将取得的多个所述乘员的个人信息中的至少一部分组合来生成统合个人信息；以及基于生成的所述统合个人信息，来向多个所述乘员提供信息。
根据上述(1)～(9)的方案，能够向移动体的乘员进行更适当的信息提供。
附图说明
图1是包含智能体装置的智能体系统的结构图。
图2是表示第一实施方式的智能体装置的结构和搭载于车辆的设备的图。
图3是表示显示-操作装置的配置例的图。
图4是表示扬声器单元的配置例的图。
图5是表示第一实施方式的智能体服务器的结构和智能体装置的结构的一部分的图。
图6是表示个人资料的内容的一例的图。
图7是表示统合资料的内容的一例的图。
图8是用于说明由统合资料生成部设定的加权的图。
图9是用于说明智能体图像显示于与乘员U1接近的位置的场景下的响应内容的图。
图10是用于说明智能体图像显示于与乘员U2接近的位置的场景下的响应内容的图。
图11是表示由第一实施方式的智能体装置执行的统合资料生成处理的流程的一例的流程图。
图12是表示由第一实施方式的智能体系统执行的信息提供处理的流程的一例的时序图。
图13是表示第二实施方式的智能体装置的结构和搭载于车辆的设备的图。
图14是表示第二实施方式的智能体服务器的结构和智能体装置的结构的一部分的图。
具体实施方式
以下，参照附图，对本发明的信息提供装置、信息提供方法及存储介质的实施方式进行说明。
<第一实施方式>
在第一实施方式中，作为信息提供装置的一例，使用智能体装置。智能体装置是实现智能体系统的一部分或全部的装置。以下，作为智能体装置的一例，说明搭载于作为移动体的一例的车辆(以下，称为车辆M)且具备多个种类的智能体功能的智能体装置。在本发明的适用上，智能体装置不必具有多个种类的智能体功能，另外，智能体装置可以是智能手机等移动式终端装置，但是在以下的说明中，以搭载于车辆的具备多个种类的智能体功能的智能体装置为前提。智能体功能例如是指，一边与车辆M的乘员(利用者的一例)进行对话，一边进行基于乘员的讲话中包含的要求(命令)执行的各种信息提供、各种设备控制，或对网络服务进行中介的功能。多个种类的智能体分别发挥的功能、处理顺序、控制、输出形态、内容可以分别不同。智能体功能中可以存在具有进行车辆内的设备(例如与驾驶控制、车身控制相关的设备)的控制等的功能的智能体功能。
例如，除了识别乘员的声音的声音识别功能(对声音进行文本化的功能)之外，还统合地利用自然语言处理功能(理解文本的结构、意思的功能)、对话管理功能、经由网络检索其他装置或检索本装置持有的规定的数据库的网络检索功能等来实现智能体功能。上述的功能的一部分或全部可以通过AI(Artificial Intelligence)技术来实现。用于进行上述的功能的结构的一部分(特别是声音识别功能、自然语言处理解释功能)可以搭载于与车辆M的车载通信装置或带入车辆M内的通用通信装置能够进行通信的智能体服务器(外部装置)。在以下的说明中，以结构的一部分搭载于智能体服务器且智能体装置与智能体服务器协作来实现智能体系统的情况为前提。将智能体装置与智能体服务器协作而假想地出现的服务提供主体(服务实体)称为智能体。
<整体结构>
图1是包含智能体装置100的智能体系统1的结构图。智能体系统1例如具备智能体装置100、多个智能体服务器200-1、200-2、200-3、…。符号的末尾的连字符以后的数字是用于区分智能体的标识符。在不区分是哪个智能体服务器的情况下，有时简称为智能体服务器200。在图1中示出3个智能体服务器200，但是智能体服务器200的个数也可以为2个，还可以为4个以上。各个智能体服务器200由互不相同的智能体系统的提供者运营。因此，本实施方式中的智能体是由互不相同的提供者实现的智能体。作为提供者，例如列举有机动车制造商、网络服务从业者、电子商交易从业者、便携终端的销售者、制造者等，任意的主体(法人、团体、个人等)都能成为智能体系统的提供者。
智能体装置100经由网络NW与智能体服务器200进行通信。网络NW例如包括互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(Local Area Network)、公共线路、电话线路、无线基地站等中的一部分或全部。在网络NW连接有各种网络服务器300，智能体服务器200或智能体装置100经由网络NW能够从各种网络服务器300取得网页。
智能体装置100与车辆M的乘员进行对话，将来自乘员的声音向智能体服务器200发送，并将从智能体服务器200得到的回答以声音输出、图像显示的形式向乘员提示。
[车辆]
图2是表示第一实施方式的智能体装置100的结构和搭载于车辆M的设备的图。在车辆M上例如搭载有一个以上的话筒10、显示-操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员识别装置80、以及智能体装置100。有时将智能手机等通用通信装置70带入车室内作为通信装置使用。这些装置通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而相互连接。图2所示的结构只不过为一例，可以省略结构的一部分，也可以进一步追加其他的结构。显示-操作装置20和扬声器单元30中的至少一方为“输出部”的一例。
话筒10是收集在车室内发出的声音的收音部。显示-操作装置20是显示图像并能够接受输入操作的装置(或装置组)。显示-操作装置20例如包括作为触摸面板而构成的显示器装置。显示-操作装置20还可以包括HUD(Head Up Display)、机械式的输入装置。扬声器单元30例如包括在车室内的互不相同的位置配设的多个扬声器(声音输出部)。显示-操作装置20可以由智能体装置100和导航装置40共用。关于它们的详情在后文叙述。
导航装置40具备导航HMI(Human Machine Interface)、GPS(Global PositioningSystem)等位置测位装置、存储有地图信息的存储装置、进行路径搜索等的控制装置(导航控制器)。话筒10、显示-操作装置20及扬声器单元30中的一部分或全部可以作为导航HMI使用。导航装置40搜索用于从由位置测位装置确定出的车辆M的位置移动到由乘员输入的目的地为止的路径(导航路径)，并使用导航HMI输出引导信息，以使车辆M能够沿着路径行驶。路径搜索功能也可以存在于经由网络NW能够访问的导航服务器。在该情况下，导航装置40从导航服务器取得路径而输出引导信息。智能体装置100可以将导航控制器作为基础来构筑，在该情况下，导航控制器和智能体装置100在硬件上一体构成。
车辆设备50例如包括发动机、行驶用电动机等驱动力输出装置、发动机的起动电动机、门锁装置、门开闭装置、车窗、车窗的开闭装置及车窗的开闭控制装置、座椅、座椅位置的控制装置、车室内后视镜及其角度位置控制装置、车辆内外的照明装置及其控制装置、刮水器、除雾器及各自的控制装置、方向指示灯及其控制装置、空调装置、行驶距离、轮胎的空气压的信息、燃料的余量信息等的车辆信息装置等。
车载通信装置60例如是利用蜂窝网、Wi-Fi网能够访问网络NW的无线通信装置。
乘员识别装置80例如包括就座传感器、车室内相机、图像识别装置、声音识别装置等。就座传感器包括设置于座位的下部的压力传感器、安装于座椅安全带的张力传感器等。车室内相机是设置于车室内的CCD(Charge Coupled Device)相机、CMOS(ComplementaryMetal Oxide Semiconductor)相机。图像识别装置对车室内相机的图像进行解析，来识别各座位的乘员的有无、面部的朝向、面部的特征信息等。面部的特征信息例如是与面部的肤色、轮廓形状、特征部位(眼、鼻、嘴)的配置、形状相关的信息。声音识别装置根据从话筒10等取得的声音来识别各乘员的声音的特征信息。声音的特征信息例如是指与声音的高低、声调、节奏(声音的高低的模式)、停顿等的说话方式的特征、或基于美尔频率倒谱系数(MelFrequency Cepstrum Coefficients)等得到的特征量相关的信息。乘员识别装置80可以基于分别由多个话筒10收集的声音的强度、收集到相同的声音的时间差等，来推定输出了声音的位置，并根据推定出的位置来识别乘员的就座位置。乘员识别装置80可以根据从图像得到的嘴的动作、输出声音的位置来识别讲话者。乘员识别装置80还可以与上述的面部、声音的特征信息建立对应关系来识别各乘员就座的车室内空间坐标上的位置。即，在本实施方式中，乘员识别装置80也是就座位置识别部的一例。
图3是表示显示-操作装置20的配置例的图。显示-操作装置20例如包括第一显示器22、第二显示器24、操作开关ASSY26。显示-操作装置20还可以包括HUD28。显示-操作装置20还可以包括在仪表板中的面对驾驶员座DS的部分设置的仪表显示器29。将第一显示器22、第二显示器24、HUD28、仪表显示器29中的一部分或全部组合起来为“显示部”的一例。
在车辆M中例如存在设有方向盘SW的驾驶员座DS和相对于驾驶员座DS在车宽方向(图中Y方向)上设置的副驾驶座AS。第一显示器22具有使多个乘员中的2个以上的乘员识别为在与自身对置的位置显示有后述的智能体图像的程度的显示区域的广度。具体而言，第一显示器22是从仪表板中的驾驶员座DS的左侧附近延伸到与副驾驶座AS的左端部对置的位置的横长形状的显示器装置。在车辆M上未设置仪表显示器29的情况下，可以使第一显示器22延伸到驾驶员座DS的右端部附近，使第一显示器22的从正面观察时的右侧(驾驶员座DS侧)的区域显示在后述的仪表显示器29上显示的内容。
第二显示器24设置于驾驶员座DS与副驾驶座AS的车宽方向上的中间附近，且设置于第一显示器22的下方。例如，第一显示器22与第二显示器24一起构成为触摸面板，作为显示部，具备LCD(Liquid Crystal Display)、有机EL(Electroluminescence)、等离子体显示器等。操作开关ASSY26是集成有拨码开关、按钮式开关等的开关。HUD28例如是使图像重叠于风景而供视觉确认的装置，作为一例，通过向车辆M的前风窗玻璃、合成器投射包含图像的光来使乘员视觉确认虚像。仪表显示器29例如是LCD、有机EL等，显示速度计、旋转速度计等计量仪器类。显示-操作装置20将由乘员进行的操作的内容向智能体装置100输出。上述的各显示部显示的内容可以由智能体装置100决定。
图4是表示扬声器单元30的配置例的图。扬声器单元30例如包括扬声器30A～30H。扬声器30A设置于驾驶员座DS侧的窗柱(所谓A柱)。扬声器30B设置于与驾驶员座DS接近的车门的下部。扬声器30C设置于副驾驶座AS侧的窗柱。扬声器30D设置于与副驾驶座AS接近的车门的下部。扬声器30E设置于与右侧后部座位BS1侧接近的车门的下部。扬声器30F设置于与左侧后部座位BS2侧接近的车门的下部。扬声器30G设置于第二显示器24的附近。扬声器30H设置于车室的顶棚(车顶)。
在上述配置中，例如，在专门使扬声器30A及扬声器30B输出声音的情况下，声像定位于驾驶员座DS附近。“声像定位”例如是指通过调节向乘员的左右的耳朵传递的声音的大小来确定乘员感到的声源的空间的位置。在专门使扬声器30C及扬声器30D输出声音的情况下，声像定位于副驾驶座AS附近。在专门使扬声器30E输出声音的情况下，声像定位于车室的前方附近，在专门使扬声器30F输出声音的情况下，声像定位于车室的上方附近。在专门使扬声器30G输出声音的情况下，声像定位于车室的前方附近，在专门使扬声器30H输出声音的情况下，声像定位于车室的上方附近。并不局限于此，扬声器单元30通过使用混频器(mixer)、放大器来调整各扬声器输出的声音的分配，从而能够使声像定位于车室内的任意的位置。
[智能体装置]
返回图2，智能体装置100具备管理部110、智能体功能部150-1、150-2、150-3、配对应用执行部160、存储部170。管理部110例如具备音响处理部112、各智能体WU(Wake Up)判定部114、输出控制部120。以下，在不区分是哪个智能体功能部的情况下，简称为智能体功能部150。示出3个智能体功能部150只不过是与图1中的智能体服务器200的个数对应的一例，智能体功能部150的个数可以为2个，也可以为4个以上。图2所示的软件配置为了说明而简易表示，实际上，例如，可以像在智能体功能部150与车载通信装置60之间夹有管理部110那样，能够任意地改变。以下，有时将智能体功能部150-1与智能体服务器200-1协作而出现的智能体称为“智能体1”，将智能体功能部150-2与智能体服务器200-2协作而出现的智能体称为“智能体2”，将智能体功能部150-3与智能体服务器200-3协作而出现的智能体称为“智能体3”。在第一实施方式中，将智能体功能部150和输出控制部120中的一部分或全部组合起来为“信息提供部”的一例。
智能体装置100的各构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI(LargeScale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协作来实现。程序可以预先保存于HDD(HardDisk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过将存储介质装配于驱动装置来安装。
存储部170通过上述的各种存储装置来实现。在存储部170中例如保存有统合资料172等的数据、程序。统合资料172是由后述的统合资料生成部154生成的数据。关于统合资料172的内容的详情在后文叙述。
管理部110通过执行OS(Operating System)、中间软件等的程序来发挥功能。
管理部110的音响处理部112接受从话筒10收集的声音，并对接受的声音，以成为适合于识别按照各智能体预先设定的唤醒词的状态的方式进行音响处理。唤醒词例如是用于使对象的智能体起动的词(单词)、短语等。音响处理例如是指通过带通滤波器等的滤波实现的噪声除去、声音的放大等。音响处理部112将音响处理后的声音向各智能体WU判定部114、起动中的智能体功能部输出。
各智能体WU判定部114与智能体功能部150-1、150-2、150-3分别对应而存在，识别按照各智能体预先确定的唤醒词。各智能体WU判定部114从进行了音响处理的声音(声音流)识别声音的意思。首先，各智能体WU判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。各智能体WU判定部114也可以进行根据基于混合高斯分布模型(GMM：Gaussian mixture model)的帧单位的声音识别及非声音识别实现的区间检测。
接下来，各智能体WU判定部114对检测出的声音区间中的声音进行文本化，来形成为文字信息。然后，各智能体WU判定部114判定文本化了的文字信息是否符合唤醒词。在判定为是唤醒词的情况下，各智能体WU判定部114使对应的智能体功能部150起动。也可以将相当于各智能体WU判定部114的功能搭载于智能体服务器200。在该情况下，管理部110将由音响处理部112进行了音响处理的声音流向智能体服务器200发送，在智能体服务器200判定为是唤醒词的情况下，按照来自智能体服务器200的指示使智能体功能部150起动。各智能体功能部150也可以是始终起动且自己进行唤醒词的判定的结构。在该情况下，管理部110不需要具备各智能体WU判定部114。
各智能体WU判定部114在按照与上述的顺序同样的顺序识别到讲话的声音所包含的结束词、且与结束词对应的智能体为起动的状态(以下，根据需要而称为“起动中”)的情况下，使起动的智能体功能部结束(停止)。智能体的起动及结束例如可以通过从显示-操作装置20接受规定的操作来执行，但是，以下说明基于声音进行的起动及停止的例子。可以在规定时间以上未接受到声音的输入的情况下使起动中的智能体停止。
输出控制部120按照来自管理部110或智能体功能部150的指示，使显示部或扬声器单元30输出响应结果等的信息，由此向乘员进行服务等的提供。输出控制部120例如具备显示控制部122和声音控制部124。
显示控制部122按照来自输出控制部120的指示，使显示部的规定的区域显示图像。以下，说明使第一显示器22显示与智能体相关的图像的情况。显示控制部122通过输出控制部120的控制，例如生成在车室内与乘员进行交流的拟人化的智能体的图像(以下，称为智能体图像)，并使第一显示器22显示生成的智能体图像。智能体图像例如是与乘员进行交谈的形态的图像。智能体图像例如可以包含至少由观察者(乘员)可识别表情、面部朝向的程度的面部图像。例如，智能体图像可以是在面部区域中表现出模拟了眼、鼻的部位，并基于面部区域中的部位的位置来识别表情、面部朝向的图像。智能体图像被立体地感知，通过包含三维空间中的头部图像而由观察者识别智能体的面部朝向，或者通过包含身体(躯体、手脚)的图像而由观察者识别智能体的动作、行为、姿势等。智能体图像可以是动画图像。
显示控制部122例如可以使与由乘员识别装置80识别出的乘员的位置接近的显示区域显示智能体图像，或者生成面部朝向乘员的位置的智能体图像并进行显示。显示控制部122在由乘员识别装置80在车辆M中识别到多个乘员的情况下，可以使智能体图像向由乘员识别装置80识别到的讲话者侧移动，或者使智能体图像向能够从多个乘员的位置视觉确认的位置移动。显示控制部122也可以使智能体图像向通过乘员的操作而指示的位置移动。乘员的操作例如包括乘员用手指触摸在第一显示器22上显示的智能体图像的显示位置并使触摸的状态的手指向画面上的任一方向滑动的操作、基于未触摸的状态下的表示智能体图像的移动的乘员的手势进行的操作、基于指示智能体图像的移动的声音进行的操作等。智能体图像的移动例如包括同一显示器中的移动(例如，第一显示器22中的从右侧向左侧的移动)、其他的显示器间的移动(例如，从第一显示器22向第二显示器24的移动)等。
声音控制部124根据来自输出控制部120的指示，使扬声器单元30所包含的扬声器中的一部分或全部输出声音。声音控制部124也可以使用多个扬声器单元30，进行使智能体声音的声像定位于与智能体图像的显示位置对应的位置的控制。与智能体图像的显示位置对应的位置例如是智能体图像发出智能体声音时预测为乘员感觉到的位置，具体而言，是智能体图像的显示位置附近(例如，2～3[cm]以内)的位置。
智能体功能部150与对应的智能体服务器200协作来使智能体出现，提供包括根据车辆的乘员的讲话来使输出部输出基于声音进行的响应的服务。智能体功能部150也可以包括被赋予控制车辆M(例如，车辆设备50)的权限的结构。智能体功能部150还可以具有经由配对应用执行部160与通用通信装置70联合，来与智能体服务器200进行通信的结构。例如，对智能体功能部150-1赋予控制车辆M(例如，车辆设备50)的权限。智能体功能部150-1经由车载通信装置60与智能体服务器200-1进行通信。智能体功能部150-2经由车载通信装置60与智能体服务器200-2进行通信。智能体功能部150-3经由配对应用执行部160与通用通信装置70联合，并与智能体服务器200-3进行通信。
智能体功能部150-1～150-3分别具备个人资料取得部152-1～152-3和统合资料生成部154-1～154-3。个人资料取得部152为“取得部”的一例。统合资料生成部154为“处理部”的一例。个人资料取得部152将由乘员识别装置80识别的乘员识别结果向智能体服务器200发送，并取得各乘员的个人资料。个人资料例如包括按照各乘员保存的乘员的个人信息。个人信息例如包括从图像或声音导出的特征信息、姓名、住所、年龄、兴趣爱好、过去的对话的履历等。关于个人资料的具体例子在后文叙述。
统合资料生成部154将由个人资料取得部152取得的车辆M的乘员的个人资料中的至少一部分组合来生成统合资料。统合资料是“统合个人信息”的一例。统合资料生成部154将生成的统合资料保存于存储部170。关于个人资料取得部152及统合资料生成部154的功能的详情在后文叙述。上述的个人资料取得部152和统合资料生成部154也可以设置在管理部110内。
配对应用执行部160例如通过Bluetooth(注册商标)与通用通信装置70进行配对，使智能体功能部150-3与通用通信装置70连接。智能体功能部150-3也可以通过利用了USB(Universal Serial Bus)等的有线通信而与通用通信装置70连接。
[智能体服务器]
图5是表示第一实施方式的智能体服务器200的结构和智能体装置100的结构的一部分的图。以下，将智能体功能部150等的动作与智能体服务器200的结构一起进行说明。在此，省略关于从智能体装置100到网络NW的物理的通信的说明。以下，说明通过智能体1向乘员提供对讲话的响应(应答)的情况，该智能体1是通过各智能体WU判定部114使智能体功能部150-1起动，且通过智能体功能部150-1及智能体服务器200-1协作而实现的智能体，但是关于其他的智能体功能部与智能体服务器的组，虽然分别能够执行的功能、数据库等存在差异，但是也以大致同样的流程执行处理。
智能体服务器200-1具备通信部210。通信部210例如为NIC(Network InterfaceCard)等网络接口。而且，智能体服务器200-1例如具备个人资料提供部212、声音识别部220、自然语言处理部222、对话管理部224、网络检索部226、响应文生成部228、以及存储部250。这些构成要素例如通过CPU等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协作来实现。程序可以预先保存于HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过将存储介质装配于驱动装置来安装。将声音识别部220与自然语言处理部222合起来为“识别部”的一例。
存储部250通过上述的各种存储装置来实现。在存储部250中例如保存有词典DB252、个人资料254、知识库DB256、响应规则DB258等的数据、程序。
个人资料提供部212基于由智能体功能部150-1发送的乘员识别结果，从个人资料254取得乘员的个人资料，并将取得的乘员的个人资料向智能体功能部150-1发送。统合资料生成部154-1取得由智能体服务器200-1发送的乘员的个人资料，根据取得的乘员的个人资料来生成统合资料172，并存储于存储部170。
智能体功能部150-1例如将从音响处理部112等输入的声音流、或进行了压缩、编码等处理的声音流向智能体服务器200-1发送。智能体功能部150-1在能够识别到可进行本地处理(不经由智能体服务器200-1的处理)的命令(要求内容)的情况下，可以执行由命令要求的处理。可进行本地处理的命令例如是指能够通过参照智能体装置100具备的存储部170来进行响应的命令。更具体而言，可进行本地处理的命令例如是指从存在于存储部170内的电话号码本数据(未图示)中检索特定人的名字，并向与一致的名字建立了对应关系的电话号码打电话(传呼对方)的命令。因此，智能体功能部150-1可以具有智能体服务器200-1所具备的功能的一部分。
当取得声音流时，声音识别部220进行声音识别并输出文本化的文字信息，自然语言处理部222一边参照词典DB252一边对文字信息进行意思解释。词典DB252例如将抽象化的意思信息与文字信息建立了对应关系。词典DB252例如包括功能词典252A和通用词典252B。功能词典252A是用于囊括智能体服务器200-1与智能体功能部150-1协作而实现的智能体1提供的功能的词典。例如，在智能体1提供控制车载空调的功能的情况下，在功能词典252A中，将“空调”、“空气调节”、“打开”、“关闭”、“温度”、“升高”、“降低”、“内部气体”、“外部气体”等单词与动词、宾语等单词类别及抽象化的意思建立对应关系而登记。功能词典252A也可以包含表示能够同时使用的情况的单词间连接信息。通用词典252B是不局限于智能体1提供的功能而将一般的事物的事项与抽象化的意思建立了对应关系的词典。功能词典252A和通用词典252B分别可以包含同义词、近义词的一览信息。功能词典252A和通用词典252B优选分别与多个语言对应而准备，在该情况下，声音识别部220及自然语言处理部222使用与预先设定的语言设定对应的功能词典252A及通用词典252B、以及语法信息(未图示)。声音识别部220的处理与自然语言处理部222的处理不是明确地区分阶段的处理，可以是声音识别部220接受自然语言处理部222的处理结果而对识别结果进行修正等这样相互影响地进行。
自然语言处理部222进行基于由声音识别部220识别的识别结果的意思的解析。作为识别结果，自然语言处理部222识别到“今天的天气”、“天气如何”等的意思，并生成置换成标准文字信息“今天的天气”的命令。由此，即使在请求的声音存在文字波动的情况下，也能够容易进行符合要求的对话。自然语言处理部222例如可以使用利用了概率的机械学习处理等人工智能处理来识别文字信息的意思，或生成基于识别结果的命令。
对话管理部224基于输入的命令，一边参照知识库DB256、响应规则DB258，一边决定对车辆M的乘员的响应内容(例如，向乘员的讲话内容、从输出部输出的图像、声音)。知识库DB256是规定了事物的关联性的信息。响应规则DB258是规定了相对于命令而智能体应进行的动作(回答、设备控制的内容等)的信息。
对话管理部224在命令是要求经由网络NW能够检索的信息的命令的情况下，使网络检索部226进行检索。网络检索部226经由网络NW访问各种网络服务器300，来取得所希望的信息。“经由网络NW能够检索的信息”例如是由处于车辆M的周边的餐馆的一般用户评价的评价结果，或者当天的与车辆M的位置对应的天气预报。
响应文生成部228以将由对话管理部224决定的讲话的内容向车辆M的乘员传递的方式生成响应文，并将生成的响应文(响应内容)向智能体装置100发送。响应文生成部228从智能体装置100取得由乘员识别装置80识别的识别结果，在通过取得的识别结果而确定出进行了包含命令的讲话的乘员是登记于个人资料254的乘员的情况下，可以称呼乘员的名字、或者生成与乘员的说话方式相似的说话方式的响应文。
智能体功能部150当取得响应文时，对声音控制部124进行指示，以便进行声音合成来输出声音。智能体功能部150与声音输出相对应而生成智能体图像，并对显示控制部122进行指示，以便显示生成的智能体图像、响应内容所包含的图像等。在将响应内容用声音、图像显示的情况下，智能体功能部150基于存储于存储部170的统合资料172，进行适合于各乘员的资料的输出。这样，假想地出现的智能体可实现对车辆M的乘员进行响应的智能体功能。
[统合资料的生成]
接下来，具体地说明上述的统合资料172的生成处理。个人资料取得部152-1将由乘员识别装置80识别出的乘员识别结果向智能体服务器200-1发送，并进行乘员的个人资料的取得要求。智能体服务器200-1的个人资料提供部212使用乘员识别结果所包含的各乘员的特征信息，并参照个人资料254的特征信息来取得符合的乘员的资料信息(个人信息)。图6是表示个人资料254的内容的一例的图。个人资料254将资料信息与对包含乘员的智能体的利用者进行识别的识别信息即利用者ID建立对应关系。资料信息例如包括特征信息、姓名、住所、年龄、兴趣、爱好、使用履历等。特征信息例如包括面部的特征信息、声音的特征信息等。面部的特征信息、声音的特征信息例如包括能够由乘员识别装置80识别的特征信息。资料信息例如在智能体的初始设定时被登记，并基于乘员的变更指示、智能体的使用结果等来适当更新。
个人资料提供部212基于乘员识别结果所包含的特征信息，并参照个人资料254的特征信息来取得包含与类似度最高的特征信息建立了对应关系的利用者ID、兴趣、爱好、使用履历的个人资料。个人资料提供部212除了上述的信息之外，还可以取得与姓名、住所、年龄相关的信息。个人资料提供部212可以在从智能体功能部150-1发送了利用者ID(乘员ID)的情况下，参照个人资料254的利用者ID，来取得与一致的利用者ID建立了对应关系的个人资料中的至少一部分。个人资料提供部212将取得的乘员的个人资料向智能体功能部150-1发送。
统合资料生成部154-1生成将由个人资料提供部212发送的各乘员的个人资料中的至少一部分组合后的统合资料172，并将生成的统合资料172存储于存储部170。图7是表示统合资料172的内容的一例的图。统合资料172例如将统合资料信息与存在于车辆M的乘员的信息即搭乘者信息建立对应关系。统合资料信息例如包括就座位置信息、统合兴趣、综合爱好、统合使用履历。搭乘者信息是对由乘员识别装置80识别出的乘员进行识别的信息。在图7的例子中，作为搭乘者信息，保存有利用者ID“U1”、“U2”。该搭乘者信息可以是由个人资料取得部152-1取得的个人资料所包含的利用者ID的信息，也可以是在乘车时由乘员通过显示-操作装置20输入的利用者ID(乘员ID)。就座位置信息例如是与各乘员的就座位置相关的信息。与就座位置相关的信息例如是表示就座于驾驶员座DS、副驾驶座AS、后部座位BS1、BS2中的哪个座位的信息。在图7的例子中，就座位置信息保存有表示利用者ID“U1”的乘员(以下，称为乘员U1)就座于驾驶员座DS、利用者ID“U2”的乘员(以下，称为乘员U2)就座于副驾驶座AS的情况的信息。就座位置信息例如可以是由乘员识别装置80识别出的各乘员的位置信息(例如，车室内空间坐标)。
统合兴趣是将个人资料取得部152-1取得的各乘员的个人资料所包含的兴趣进行统合后的信息。统合爱好是将个人资料取得部152-1取得的各乘员的个人资料所包含的爱好进行统合后的信息。统合使用履历是将个人资料取得部152-1取得的各乘员的个人资料所包含的使用履历进行统合后的信息。
统合资料生成部154-1在保存统合兴趣、统合爱好及统合使用履历的情况下，按照各自的要素来设定加权。加权例如是指表示与向乘员提供的信息相对的影响程度的信息。影响程度例如是智能体对乘员的讲话内容的意思进行解析而执行对应的功能的情况、基于功能的执行结果而输出响应内容的情况下的要素的重要度。在本实施方式中，例如，加权越大则越执行优先该要素的功能、或输出优先该要素的响应内容。上述的加权按照各乘员或各功能来设定。在多个乘员存在共同的要素的情况下，例如，将加权进行相加来设定。
在图7的例子中，在统合兴趣中保存有与乘员U1对应的兴趣的要素<兜风>、乘员U1、U2的共同的兴趣的要素<音乐鉴赏>、<在外面吃饭>。图7所示的加权w1、w2表示相对于乘员U1、U2的兴趣的各要素的加权。即，图7所示的<兜风*w1>表示对兜风这样的兴趣的要素设定了加权w1的情况。图7所示的w1+w2表示将加权w1与加权w2相加的情况。
<加权的设定>
接下来，说明由统合资料生成部154-1对加权的设定。统合资料生成部154-1例如在显示部显示有与起动中的智能体建立了对应关系的智能体图像的情况下，基于显示的区域来设定加权。
图8是用于说明由统合资料生成部154-1设定的加权的图。在图8的例子中，乘员U1就座于车辆M的驾驶员座DS，乘员U2就座于副驾驶座AS。在图8中，作为显示部的一例而示出第一显示器22，但也可以使用其他的显示部。关于以后的说明也同样。
在图8的例子中，在第一显示器22的从正面观察时的右侧的区域显示有与起动中的智能体1建立了对应关系的智能体图像EI1。在该情况下，统合资料生成部154-1基于由乘员识别装置80识别出的乘员U1及乘员U2的位置、智能体图像EI1的显示位置，推定为在第一显示器22显示的智能体图像EI1显示于从乘员U1及乘员U2能够视觉确认的位置。统合资料生成部154-1也可以在乘员U1及U2的面部的朝向朝着智能体图像EI1的显示位置的情况下，推定为智能体图像EI1显示于从乘员U1及乘员U2能够视觉确认的位置。
然后，统合资料生成部154-1根据乘员U1、U2的位置信息(车室内空间坐标的位置)，算出到在第一显示器22显示的智能体图像EI1的显示位置为止的各自的距离D1、D2。然后，统合资料生成部154-1基于算出的各自的距离D1、D2，来设定对乘员U1的资料的各要素赋予的加权w1和对乘员U2的资料的各要素赋予的加权w2。
在图8的例子中，距离D1比距离D2短。因此，乘员U1比乘员U2接近智能体图像EI1的显示位置。在该情况下，统合资料生成部154-1使加权w1比加权w2大。在图8的例子中，关于统合资料172所包含的统合兴趣、统合爱好及统合使用履历，对乘员U1的资料信息的要素的加权w1设定0.8，对乘员U2的资料信息的要素的加权w2设定0.5。该值可以基于距离D1和D2的大小来设定，也可以基于距离D1与D2的差量来设定。
在此，在通过乘员操作、讲话者识别等而智能体图像EI1的显示区域在从图8所示的显示位置移动到从正面观察时的左侧的情况下，从乘员U1远离，接近乘员U2。因此，统合资料生成部154-1在智能体图像EI1的显示区域被变更了的时间点，基于距离D1、D2对加权w1及w2进行更新。
统合资料生成部154-1也可以取代上述的基于智能体的显示位置进行的加权的设定(或除此以外)，基于乘员就座的位置来设定加权。例如，统合资料生成部154-1使就座于驾驶员座DS的乘员U1的资料的各要素的加权w1比就座于副驾驶座AS的乘员U2的资料的各要素的加权w2大。统合资料生成部154-1在乘员就座于后部座位(BS1、BS2)的情况下，使就座于驾驶员座DS的乘员U1的资料信息的要素的加权比就座于后部座位的乘员的资料的各要素的加权大。由此，能够使就座于驾驶员座DS的乘员U1的资料优先地执行基于智能体1实现的功能、输出响应结果。驾驶员被预测为与其他的乘员相比，进行行驶路线、当前地的附近的店铺等的与行驶状态对应的询问的情况多。因此，通过增大对于驾驶员的加权，从而能够向驾驶员提供更适当的信息。
统合资料生成部154-1也可以使预先决定的乘员的资料信息的要素的加权比其他的乘员大。由此，即使是多个乘员中的任一个乘员讲话的内容，也能够输出对特定的乘员特殊化的响应结果。
统合资料生成部154-1可以取代基于多个乘员的位置、智能体图像的显示位置来对统合资料172的各要素的加权进行变更(或除此以外)，而对统合个人信息所包含的各乘员的资料信息的比例进行变更。例如，在乘员U1与智能体图像EI1的显示位置的距离D1比乘员U2与智能体图像EI1的显示位置的距离D2短的情况下，以使乘员U1的资料信息的要素的个数比乘员U2的资料信息的要素的个数多的方式组合来生成统合资料172。
每当起动的智能体切换时，由与起动的智能体建立了对应关系的智能体功能部150的统合资料生成部154执行上述的统合资料172的生成。即，智能体1生成的统合资料172被控制成在智能体2、智能体3中无法利用。由此，能够在各智能体输出特有的响应结果。统合资料172也可以收费地供其他的智能体利用。在该情况下，基于统合资料172的利用次数、数据量来收取费用。上述收费处理例如可以由管理部110进行。
<基于统合资料进行的信息提供>
接下来，具体地说明基于统合资料172进行的信息提供的情形。以下，作为向多个乘员提供的信息的一例，使用对乘员的讲话的响应结果的信息的例子。图9是用于说明智能体图像EI1显示于接近乘员U1的位置的场景下的响应内容的图。在图9的例子中，智能体1起动，乘员U1及乘员U2被推定为正视觉确认智能体图像EI1。在该场景下，统合资料172所包含的乘员U1的资料信息的要素的加权w1设定为比乘员U2的资料信息的要素的加权w2大的值。
在此，在从乘员U1接受到“这附近推荐的餐馆？”这样的讲话的情况下，智能体1(智能体功能部150-1及智能体服务器200-1)解析讲话的声音的意思，进行附近的餐馆的检索。在该情况下，智能体1可以使用统合资料172所包含的要素的一部分或全部来缩小检索。在图7的例子中，由于作为统合爱好的要素而包含中国菜及意大利菜，因此将它们分别追加到关键词中来进行处于附近的餐馆检索。接下来，智能体1基于检索结果及统合资料的加权等来生成响应文(响应内容)并向乘员U1、U2提供。
例如，要素的加权越大，智能体功能部150-1越增多与该要素对应而输出的响应内容的个数，或者使输出控制部120比与其他的要素对应的响应内容更强调地输出该响应内容，或者将输出的顺序提前。强调地输出例如为如下情况等：在显示输出的情况下，将该响应内容以强调颜色显示，或者增大文字地显示，或者以显眼那样的层次显示，在声音输出的情况下，使该响应内容的声音的音量比其他的声音大。
例如，智能体功能部150-1在餐馆的结果中，使作为乘员U1的资料信息的要素的中国菜的店铺输出4家，使作为乘员U2的资料信息的要素的意大利菜的店铺输出1家。在图9的例子中，智能体功能部150-1使“在这附近推荐的中国菜4家、意大利菜1家。”这样的声音声像定位于智能体图像EI1的显示位置而输出，并使与中国菜及意大利菜的店铺相关的信息(例如，店名)与智能体图像EI1一起显示于第一显示器22。与中国菜的店铺相关的文字图像比与意大利菜的店铺相关的文字图像显示得大。
图10是用于说明智能体图像EI1显示于与乘员U2接近的位置的场景下的响应内容的图。在该场景下，统合资料172所包含的乘员U2的资料信息的要素的加权w2设定为比乘员U1的资料信息的要素的加权w1大的值。
因此，智能体功能部150-1基于加权来对响应结果的内容进行变更，在餐馆的结果中，使作为乘员U2的资料信息的要素的意大利菜输出4家，使作为乘员U1的资料信息的要素的中国菜输出1家。在图10的例子中，智能体功能部150-1使“在这附近推荐的意大利菜4家、中国菜1家。”这样的声音声像定位于智能体图像EI1的显示位置而输出，并使意大利菜及中国菜的店铺与智能体图像EI1一起显示于第一显示器22。与意大利菜的店铺相关的文字图像比与中国菜的店铺相关的文字图像显示得大。如上述的图9及图10所示那样，通过使用统合资料172来提供信息，由此即使是同一讲话内容也能够变更响应结果，能够向乘员提供更适当的信息。智能体功能部150-1除了上述的餐馆检索之外，例如在播放乘员喜欢的乐曲、或检索推荐的兜风路线等多种的信息提供中，能够提供更适当的信息。
[处理流程]
接下来，说明由第一实施方式的智能体系统1执行的处理。由智能体系统1执行的处理大体分为由智能体装置100生成统合资料的处理(统合资料生成处理)和使用统合资料来提供信息的处理(信息提供处理)。因此，以下，将各个处理分开说明。
图11是表示由第一实施方式的智能体装置100执行的统合资料生成处理的流程的一例的流程图。在图11的例子中，通过由乘员进行的唤醒词的讲话，智能体1立即起动，将智能体图像EI1显示于显示部的规定的区域。本流程图的处理例如可以以规定周期或在规定的时机下反复执行。规定的时机例如是指智能体1起动的时机、智能体1的显示位置移动了的时机、乘员识别装置80的识别结果存在变更的时机、或存在由乘员进行的统合资料的生成或更新的指示的时机。
首先，智能体装置100取得由乘员识别装置80识别的乘员识别结果(步骤S100)。接下来，智能体功能部150-1取得通过显示控制部122而显示的智能体图像EI1的显示位置(步骤S102)。接下来，统合资料生成部154-1判定统合资料是否生成完(步骤S104)。在判定为统合资料生成完的情况下，从存储部170取得统合资料172(步骤S106)。在判定为统合资料未生成完的情况下，个人资料取得部152-1将乘员识别结果向智能体服务器200-1发送，并取得乘坐于车辆M的乘员的个人资料(步骤S108)。接下来，统合资料生成部154-1将取得的各乘员的个人资料中的至少一部分组合来生成统合资料(步骤S110)。
在步骤S106或步骤S110的处理后，统合资料生成部154-1基于智能体图像的显示位置和各乘员的位置来更新统合资料的各要素的加权(步骤S112)。接下来，统合资料生成部154-1将更新后的统合资料172存储于存储部170(步骤S114)。由此，本流程图的处理结束。
图12是表示由第一实施方式的智能体系统1执行的信息提供处理的流程的一例的时序图。在图12的例子中，说明由起动中的智能体1(智能体装置100及智能体服务器200-1)执行的信息提供处理。在图12的例子中，已经通过图11所示的生成处理进行了统合资料172的生成或更新。
首先，智能体装置100的音响处理部112从话筒10接受乘员的讲话的输入(步骤S200)，并进行对接受到的讲话的声音的音响处理(步骤S202)。接下来，智能体功能部150-1取得存储于存储部170的统合资料172(步骤S204)，并将进行了音响处理的声音向智能体服务器200-1发送(步骤S206)。在步骤S206的处理中，智能体功能部150-1也可以发送统合资料。
智能体服务器200-1的声音识别部220进行从智能体功能部150-1发送的进行了音响处理的声音(声音流)的识别，并使声音文本化(步骤S208)。接下来，自然语言处理部222执行对文本化了的文字信息的自然语言处理，进行文字信息的意思解析(步骤S210)。
接下来，对话管理部224及网络检索部226基于意思解析结果来执行智能体的功能(步骤S212)。在步骤S212的处理中，对话管理部224及网络检索部226可以执行基于由智能体功能部150-1发送的统合资料实现的功能。接下来，响应文生成部228基于执行的结果来生成响应文(步骤S214)，并将生成的响应文向智能体装置100发送(步骤S216)。
智能体装置100的智能体功能部150-1基于统合资料，选择从智能体服务器200-1发送的响应结果而使输出部输出(步骤S218)。
根据上述的第一实施方式的智能体装置(信息提供装置)100，具备：个人资料取得部152，其取得存在于车辆M(移动体的一例)的多个乘员的个人资料；处理部(统合资料生成部154)，其将由个人资料取得部152取得的多个乘员的个人资料中的至少一部分组合来生成统合资料；以及信息提供部(智能体功能部150、输出控制部120)，其基于由处理部处理后的统合个人信息来向多个所述乘员提供信息，由此能够向乘员进行更适当的信息提供。具体而言，根据第一实施方式，在多个乘员乘坐于车辆M的情况下，能够输出使智能体的显示位置、对话对象者的资料信息优先的响应结果。
<第二实施方式>
以下，说明第二实施方式。第二实施方式的智能体系统1与第一实施方式相比，不同点在于，在智能体服务器侧执行由智能体装置100执行的统合资料的生成处理，并使生成的统合资料存储于智能体服务器200的存储部250。因此，以下，主要以上述的不同点为中心进行说明。关于与第一实施方式同样的结构，标注同样的名称或符号，并省略在此的具体的说明。在第二实施方式中，智能体服务器为“信息提供装置”的一例。
[智能体装置]
图13是表示第二实施方式的智能体装置100A的结构和搭载于车辆M的设备的图。在车辆M上例如搭载有一个以上的话筒10、显示-操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员识别装置80、以及智能体装置100A。有时将通用通信装置70带入车室内作为通信装置使用。
智能体装置100A具备管理部110、智能体功能部150A-1～150A-3、配对应用执行部160、以及存储部170。智能体功能部150A-1～150A-3与上述的第一实施方式的智能体功能部150-1～150-3的功能相比，不同点在于与，不具备个人资料取得部152-1～152-3及统合资料生成部154-1～154-3的结构。因此，智能体功能部150A-1～150A-3分别执行由个人资料取得部152-1～152-3及统合资料生成部154-1～154-3执行的处理以外的处理。智能体功能部150A-1～150A-3以规定周期或在规定的时机下将乘员识别装置80的乘员识别结果、与智能体图像的显示位置相关的信息向智能体服务器200-1发送。
[智能体服务器]
图14是表示第二实施方式的智能体服务器200A的结构和智能体装置100A的结构的一部分的图。在第二实施方式中，也与第一实施方式同样，智能体功能部150A-1起动，通过智能体功能部150A-1及智能体服务器200A-1协作而实现的智能体1来向乘员提供对讲话的响应。
智能体服务器200A-1具备通信部210、统合资料生成部214、声音识别部220、自然语言处理部222、对话管理部224、网络检索部226、响应文生成部228、以及存储部250A。这些构成要素例如通过CPU等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协作来实现。程序可以预先保存于HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过将存储介质装配于驱动装置来安装。在第二实施方式中，将对话管理部224、网络检索部226、响应文生成部228组合起来为“信息提供部”的一例。
存储部250A通过上述的各种存储装置来实现。在存储部250A中例如保存有词典DB252、个人资料254、知识库DB256、响应规则DB258、统合资料260等的数据、程序。统合资料260例如保存有与第一实施方式的统合资料172同样的项目的信息。
统合资料生成部214基于由智能体功能部150-1发送的乘员识别结果所包含的各乘员的特征信息，并参照个人资料254来取得各乘员的个人资料。然后，统合资料生成部214将取得的各乘员的个人资料中的至少一部分组合来生成统合资料。而且，统合资料生成部214按照生成的统合资料所包含的各要素，基于乘员的位置和智能体图像的显示位置来设定加权(影响程度)。然后，统合资料生成部214将设定了加权的统合资料260存储于存储部250A。统合资料生成部214例如在由智能体功能部150A发送的乘员识别结果、智能体的图像的显示位置被变更的情况下，对统合资料进行更新。
智能体服务器200A-1的信息提供部在基于由自然语言处理部222处理后的声音的意思解析结果来进行对话管理、网络检索及响应文生成的情况下，取得存储于存储部250A的统合资料260，并基于取得的统合资料260来变更智能体执行的功能、响应内容(响应文)。信息提供部将生成的响应内容向智能体装置100A-1发送，并将基于响应内容得到的信息向乘员提供。
根据上述的第二实施方式的智能体系统，除了起到与第一实施方式的智能体系统同样的效果之外，还在智能体服务器200-1中进行统合资料的生成、更新、基于统合资料的响应内容的生成，由此能够减轻智能体装置100侧的处理负担。
上述的第一实施方式及第二实施方式分别可以将另一实施方式的一部分或全部组合。智能体装置100(100A)的功能中的一部分或全部可以包含于智能体服务器200(200A)。智能体服务器200(200A)的功能中的一部分或全部也可以包含于智能体装置100(100A)。即，智能体装置100(100A)及智能体服务器200(200A)中的功能的划分可以根据各装置的构成要素、智能体服务器200(200A)、智能体系统1的规模等而适当变更。智能体装置100(100A)及智能体服务器200(200A)中的功能的划分也可以按照各车辆M或搭载于车辆的各智能体来设定。
在上述的实施方式中，作为移动体的一例，使用了车辆，但例如也可以是船舶、飞行物体等其他的移动体。
以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及置换。

Claims (9)

1.一种信息提供装置，其中，
所述信息提供装置具备：
取得部，其取得存在于移动体的多个乘员的个人信息；
处理部，其将由所述取得部取得的多个所述乘员的个人信息中的至少一部分组合来生成统合个人信息；以及
信息提供部，其基于由所述处理部处理后的统合个人信息，来向多个所述乘员提供信息。
2.根据权利要求1所述的信息提供装置，其中，
所述信息提供部还具备：显示控制部，其使显示部显示与多个所述乘员进行交流的智能体图像；以及智能体功能部，其提供包括根据多个所述乘员的声音来使输出部输出基于声音进行的响应的服务，
所述处理部基于所述智能体图像显示于所述显示部的区域，来将多个所述乘员的个人信息中的至少一部分组合。
3.根据权利要求2所述的信息提供装置，其中，
所述处理部基于所述智能体图像的显示位置和存在于所述移动体的多个乘员的各自的位置，来变更所述统合个人信息所包含的所述乘员的个人信息的影响程度。
4.根据权利要求3所述的信息提供装置，其中，
多个所述乘员中越是存在于与所述智能体图像的显示位置的距离近的位置的乘员，所述处理部越增大所述统合个人信息所包含的所述乘员的个人信息的影响程度。
5.根据权利要求3所述的信息提供装置，其中，
所述处理部使所述统合个人信息所包含的个人信息中的驾驶所述移动体的乘员的个人信息的影响程度比与其他的乘员的个人信息相对的所述影响程度大。
6.根据权利要求3所述的信息提供装置，其中，
所述处理部基于所述智能体图像的显示位置和存在于所述移动体的多个乘员的各自的位置，来变更所述统合个人信息所包含的所述乘员的个人信息的比例。
7.根据权利要求2所述的信息提供装置，其中，
所述显示部具有使多个所述乘员中的两个以上的乘员识别为在与自身对置的位置显示有智能体图像的程度的显示区域的广度。
8.一种信息提供方法，其中，
所述信息提供方法使信息提供装置进行如下处理：
取得存在于移动体的多个乘员的个人信息；
将取得的多个所述乘员的个人信息中的至少一部分组合来生成统合个人信息；以及
基于生成的所述统合个人信息，来向多个所述乘员提供信息。
9.一种存储介质，其存储有程序，其中，
所述程序使信息提供装置进行如下处理：
取得存在于移动体的多个乘员的个人信息；
将取得的多个所述乘员的个人信息中的至少一部分组合来生成统合个人信息；以及
基于生成的所述统合个人信息，来向多个所述乘员提供信息。
CN202010220843.8A 2019-03-27 2020-03-25 信息提供装置、信息提供方法及存储介质 Active CN111746435B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-060022 2019-03-27
JP2019060022A JP7288781B2 (ja) 2019-03-27 2019-03-27 情報提供装置、情報提供方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN111746435A true CN111746435A (zh) 2020-10-09
CN111746435B CN111746435B (zh) 2023-08-25

Family

ID=72643489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010220843.8A Active CN111746435B (zh) 2019-03-27 2020-03-25 信息提供装置、信息提供方法及存储介质

Country Status (3)

Country Link
US (1) US11325605B2 (zh)
JP (1) JP7288781B2 (zh)
CN (1) CN111746435B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741965B1 (en) * 2020-06-26 2023-08-29 Amazon Technologies, Inc. Configurable natural language output
US20220122613A1 (en) * 2020-10-20 2022-04-21 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for detecting passenger voice data

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4209843A (en) * 1975-02-14 1980-06-24 Hyatt Gilbert P Method and apparatus for signal enhancement with improved digital filtering
US4225225A (en) * 1978-10-12 1980-09-30 Hyatt Gilbert P High registration photomask machine and computerized numerical control system
CN1174136A (zh) * 1996-03-04 1998-02-25 霍兰悬挂装置公司 转盘连接装置控制系统
JP2006195578A (ja) * 2005-01-11 2006-07-27 Toyota Motor Corp 車両用エージェント装置及びエージェントシステム
JP2007057571A (ja) * 2005-08-22 2007-03-08 Matsushita Electric Ind Co Ltd コンテンツリスト生成システム、コンテンツサーバ、車載装置
CN101332816A (zh) * 2008-06-11 2008-12-31 山东大学 开放式汽车机械式自动变速器电控系统
CN101643053A (zh) * 2009-09-01 2010-02-10 长安大学 一种驾驶员汽车驾驶行为的综合监测系统
CN101670815A (zh) * 2009-10-12 2010-03-17 常雪阳 汽车安全与节油操控辅助提示系统及辅助提示方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US7181017B1 (en) * 2001-03-23 2007-02-20 David Felsher System and method for secure three-party communications
JP2004054883A (ja) * 2001-11-13 2004-02-19 Equos Research Co Ltd 車載用エージェントシステム及び対話型操作制御システム
JP4258607B2 (ja) * 2002-09-20 2009-04-30 株式会社エクォス・リサーチ 車載装置
US7917468B2 (en) * 2005-08-01 2011-03-29 Seven Networks, Inc. Linking of personal information management data
JP4645310B2 (ja) 2005-06-02 2011-03-09 株式会社デンソー エージェントキャラクタ表示を利用した表示システム
EP1920393A2 (en) * 2005-07-22 2008-05-14 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
JP4946200B2 (ja) 2006-06-23 2012-06-06 株式会社Ｊｖｃケンウッド エージェント装置、プログラム、及びエージェント装置におけるキャラクタ表示方法
JP2008203217A (ja) * 2007-02-22 2008-09-04 Kenwood Corp 車載型世話実行装置、方法及びプログラム
US8572649B1 (en) * 2007-04-30 2013-10-29 Google Inc. Electronic program guide presentation
US7930731B2 (en) * 2007-12-21 2011-04-19 At&T Intellectual Property I, L.P. Methods, systems and program products for creation of multiple views and optimized communications pathways based on personal descriptors
US8831826B2 (en) * 2011-11-16 2014-09-09 Flextronics Ap, Llc Gesture recognition for on-board display
US20200067786A1 (en) * 2011-11-16 2020-02-27 Ip Optimum Limited System and method for a reconfigurable vehicle display
US9153084B2 (en) * 2012-03-14 2015-10-06 Flextronics Ap, Llc Destination and travel information application
US20170247000A1 (en) 2012-03-14 2017-08-31 Autoconnect Holdings Llc User interface and virtual personality presentation based on user profile
US9088450B2 (en) * 2012-10-31 2015-07-21 Elwha Llc Methods and systems for data services
US10091325B2 (en) * 2012-10-30 2018-10-02 Elwha Llc Methods and systems for data services
US9411925B2 (en) * 2014-04-14 2016-08-09 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Simultaneously viewing multi paired schematic and layout windows on printed circuit board (PCB) design software and tools
WO2015029296A1 (ja) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声認識方法及び音声認識装置
US9288283B2 (en) * 2013-12-04 2016-03-15 Dropbox, Inc. Systems and methods for managing shared content based on sharing profiles
US10789041B2 (en) * 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
EP3269158A1 (en) * 2015-03-09 2018-01-17 AutoConnect Holdings LLC Vehicle and occupant application integration
EP3268247A1 (en) * 2015-03-09 2018-01-17 AutoConnect Holdings LLC Vehicle supervising of occupant applications
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
JP2018027731A (ja) 2016-08-16 2018-02-22 株式会社デンソーテン 車載装置、車載装置の制御方法およびコンテンツ提供システム
JP2018120390A (ja) 2017-01-25 2018-08-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20180336045A1 (en) * 2017-05-17 2018-11-22 Google Inc. Determining agents for performing actions based at least in part on image data
KR102228060B1 (ko) * 2017-05-18 2021-03-16 삼성전자주식회사 사용자의 활동 정보와 외부 전자 장치로부터 수신한 다른 사용자의 활동 정보를 제공하는 전자 장치 및 그 동작 방법
JP7070563B2 (ja) 2017-05-24 2022-05-18 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US10219144B1 (en) * 2018-01-09 2019-02-26 T-Mobile Usa, Inc. Communicating mobility events in an IMS network environment
US11087571B2 (en) * 2018-02-16 2021-08-10 General Motors Llc Monitoring quality of care at vehicle
US11040619B1 (en) * 2018-04-05 2021-06-22 Ambarella International Lp Limiting car behavior based on a pre-set driver profile enabled by face recognition

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4209843A (en) * 1975-02-14 1980-06-24 Hyatt Gilbert P Method and apparatus for signal enhancement with improved digital filtering
US4225225A (en) * 1978-10-12 1980-09-30 Hyatt Gilbert P High registration photomask machine and computerized numerical control system
CN1174136A (zh) * 1996-03-04 1998-02-25 霍兰悬挂装置公司 转盘连接装置控制系统
JP2006195578A (ja) * 2005-01-11 2006-07-27 Toyota Motor Corp 車両用エージェント装置及びエージェントシステム
JP2007057571A (ja) * 2005-08-22 2007-03-08 Matsushita Electric Ind Co Ltd コンテンツリスト生成システム、コンテンツサーバ、車載装置
CN101332816A (zh) * 2008-06-11 2008-12-31 山东大学 开放式汽车机械式自动变速器电控系统
CN101643053A (zh) * 2009-09-01 2010-02-10 长安大学 一种驾驶员汽车驾驶行为的综合监测系统
CN101670815A (zh) * 2009-10-12 2010-03-17 常雪阳 汽车安全与节油操控辅助提示系统及辅助提示方法

Also Published As

Publication number Publication date
CN111746435B (zh) 2023-08-25
US11325605B2 (en) 2022-05-10
JP2020160833A (ja) 2020-10-01
JP7288781B2 (ja) 2023-06-08
US20200317209A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
US11211033B2 (en) Agent device, method of controlling agent device, and storage medium for providing service based on vehicle occupant speech
US11380325B2 (en) Agent device, system, control method of agent device, and storage medium
CN111667824A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111746435B (zh) 信息提供装置、信息提供方法及存储介质
US20200286452A1 (en) Agent device, agent device control method, and storage medium
US20200317055A1 (en) Agent device, agent device control method, and storage medium
JP7340943B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN111731320A (zh) 智能体系统、智能体服务器及其控制方法、存储介质
CN111559328A (zh) 智能体装置、智能体装置的控制方法及存储介质
US11437035B2 (en) Agent device, method for controlling agent device, and storage medium
CN111661065B (zh) 智能体装置、智能体装置的控制方法及存储介质
US11797261B2 (en) On-vehicle device, method of controlling on-vehicle device, and storage medium
JP7245695B2 (ja) サーバ装置、情報提供システム、および情報提供方法
JP2020142758A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP2020157808A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN111559317B (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111724777A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111824174A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111726772A (zh) 智能体系统及其控制方法、服务器装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant