CN111762188A - 车辆设备控制装置、车辆设备控制方法及存储介质 - Google Patents

车辆设备控制装置、车辆设备控制方法及存储介质 Download PDF

Info

Publication number
CN111762188A
CN111762188A CN202010215643.3A CN202010215643A CN111762188A CN 111762188 A CN111762188 A CN 111762188A CN 202010215643 A CN202010215643 A CN 202010215643A CN 111762188 A CN111762188 A CN 111762188A
Authority
CN
China
Prior art keywords
vehicle
control
speaker
occupant
age
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010215643.3A
Other languages
English (en)
Inventor
内木贤吾
古屋佐和子
我妻善史
久保田基嗣
中山裕贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111762188A publication Critical patent/CN111762188A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/087Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands

Abstract

本发明提供能够更适当地判定可否对搭载于车辆的设备进行控制的车辆设备控制装置、车辆设备控制方法及存储介质。车辆设备控制装置(130)具备:控制部(136),其基于通过识别车辆(M)的乘员的讲话而获得的指示的内容来控制搭载于所述车辆的设备(50);以及取得部(132),其取得基于进行了所述讲话的乘员的特征而推定出的进行了所述讲话的乘员的年龄,所述控制部在取得的所述乘员的年龄在规定年龄以下且规定条件成立的情况下限制所述设备的控制。

Description

车辆设备控制装置、车辆设备控制方法及存储介质
技术领域
本发明涉及车辆设备控制装置、车辆设备控制方法及存储介质。
背景技术
目前,公开了与智能体功能有关的技术,所述智能体功能是指一边与车辆的乘员进行对话一边提供与和乘员的要求对应的驾驶支援有关的信息、车辆的控制、其他的应用等的功能(例如,参照日本特开2006-335231号公报)。
智能体功能例如是不论进行了讲话的乘员(以下称为讲话者)的年龄、性别如何都与乘员进行对话来进行车辆的控制等的功能。因此,例如存在将儿童的恶作剧、不经意的讲话识别为车辆的控制等的指令的情况。
发明内容
本发明的目的之一在于提供能够更适当地判定可否对搭载于车辆的设备进行控制的车辆设备控制装置、车辆设备控制方法及存储介质。
本发明的车辆设备控制装置、车辆设备控制方法及存储介质采用了以下的结构。
(1):本发明的一方案的车辆设备控制装置具备:控制部,其基于通过识别车辆的乘员的讲话而获得的指示的内容来控制搭载于所述车辆的设备;以及取得部,其取得基于进行了所述讲话的乘员的特征而推定出的进行了所述讲话的乘员的年龄,所述控制部在取得的所述乘员的年龄在规定年龄以下且规定条件成立的情况下限制所述设备的控制。
(2):在上述(1)的方案的基础上,所述取得部取得基于根据图像获得的所述乘员的特征而推定出的进行了所述讲话的乘员的年龄,其中,所述图像是由摄像部拍摄到的图像。
(3):在上述(1)或(2)的方案的基础上,所述取得部取得基于根据声音获得的乘员的特征而推定出的进行了所述讲话的乘员的年龄,其中,所述声音是由收音部收集到的声音。
(4):在上述(1)~(3)的任一方案的基础上,所述设备是所述车辆的内部的多个座椅的调整机构,所述规定条件为:所述指示涉及的设备不是所述多个座椅中的进行了所述讲话的乘员所就座的座椅。
(5):在上述(1)~(4)的任一方案的基础上,所述设备是所述车辆的内部的照明装置,所述规定条件为:所述车辆处于行驶中或者不是夜间。
(6):在上述(1)~(5)的任一方案的基础上,所述设备是覆盖所述车辆的车窗的遮光罩,所述规定条件为:所述车辆处于行驶中。
(7):在上述(1)~(6)的任一方案的基础上,所述设备是所述车辆的内部的空调装置,所述规定条件为:所述车辆的内部的温度小于规定温度。
(8):在上述(1)~(7)的任一方案的基础上,所述设备是基于所述乘员的指示来动作的导航装置,所述规定条件为:所述车辆处于行驶中。
(9):在上述(1)~(8)的任一方案的基础上,所述设备是基于所述乘员的指示来动作的导航装置,所述规定条件为:在所述导航装置中设定有车辆的目的地。
(10):在上述(1)~(9)的任一方案的基础上,所述设备是后雨刷器,所述规定条件为:天气为没有下雨。
(11):在上述(1)~(10)的任一方案的基础上,所述设备是电动车门,没有设定所述规定条件。
(12):在上述(1)~(11)的任一方案的基础上,所述设备是声音通信装置,所述规定条件为:被指示了开始通信的通信目标对象没有作为所述声音通信装置中的通信对象来登记。
(13):在上述(1)~(12)的任一方案的基础上,所述设备是音响设备,所述规定条件为:所述车辆处于行驶中。
(14):本发明的另一方案的车辆设备控制方法使计算机执行如下处理:基于通过识别车辆的乘员的讲话而获得的指示的内容来控制搭载于所述车辆的设备;取得基于进行了所述讲话的乘员的特征而推定出的进行了所述讲话的乘员的年龄;以及在取得的所述乘员的年龄在规定年龄以下且规定条件成立的情况下限制所述设备的控制。
(15):本发明的又一方案的存储介质中存储有程序,所述程序使计算机执行如下处理:基于通过识别车辆的乘员的讲话而获得的指示的内容来控制搭载于所述车辆的设备;取得基于进行了所述讲话的乘员的特征而推定出的进行了所述讲话的乘员的年龄;以及在取得的所述乘员的年龄在规定年龄以下且规定条件成立的情况下限制所述设备的控制。
[发明效果]
根据上述(1)~(15)的方案,能够更适当地判定可否对搭载于车辆的设备进行控制。
附图说明
图1是包括智能体装置的智能体系统的结构图。
图2是表示第一实施方式的智能体装置的结构和搭载于车辆的设备的图。
图3是表示显示、操作装置的配置例的图。
图4是表示扬声器单元的配置例的图。
图5是表示车辆设备的一部分的配置例的图。
图6是表示智能体服务器的结构和智能体装置的结构的一部分的图。
图7是表示在智能体装置中执行的处理的流程的一例的流程图。
图8是表示在智能体装置中执行的处理的流程的一例的流程图。
图9是表示在智能体装置中执行的处理的流程的一例的流程图。
图10是表示在智能体装置中执行的处理的流程的一例的流程图。
图11是表示在智能体装置中执行的处理的流程的一例的流程图。
图12是表示在智能体装置中执行的处理的流程的一例的流程图。
图13是表示在智能体装置中执行的处理的流程的一例的流程图。
图14是表示在智能体装置中执行的处理的流程的一例的流程图。
图15是表示在智能体装置中执行的处理的流程的一例的流程图。
图16是表示在智能体装置中执行的处理的流程的一例的流程图。
[符号说明]
1…智能体系统
10…话筒
20…显示、操作装置
22…第一显示器
24…第二显示器
30…扬声器单元
40…导航装置
50…车辆设备
51…座椅调整机构
52…照明装置
53…遮光罩
54…空调装置
55…后雨刷器
56…电动车门
57…声音通信装置
58…音响设备
60…车载通信装置
80…乘员识别装置
82…就座传感器
84…车室内相机
86…图像识别装置
90…车辆传感器
91…车速传感器
92…昼夜传感器
93…温度传感器
94…天气传感器
100…智能体装置
110…管理部
112…音响处理部
114…按智能体区分的WU判定部
116…显示控制部
118…声音控制部
130…车辆设备控制部
132…取得部
134…判定部
136…控制部
150…智能体功能部
152…配对应用执行部
200…智能体服务器
M…车辆
具体实施方式
以下,参照附图来说明本发明的车辆设备控制装置、车辆设备控制方法及存储介质的实施方式。智能体装置是用于实现智能体系统的一部分或全部的装置。以下,作为智能体装置的一例,对搭载于车辆(以下称为车辆M)且具备多个种类的智能体功能的智能体装置进行说明。智能体功能例如是指一边与车辆M的乘员进行对话一边基于乘员的讲话中包含的要求(指令)进行各种的信息提供、调用网络服务的功能。多个种类的智能体分别实现的功能、处理顺序、控制、输出形态/内容可以彼此不同。另外,在智能体功能中也可以具有进行车辆内的设备(例如与驾驶控制、车身控制相关联的设备)的控制等的功能。
智能体功能例如通过综合地利用如下处理来实现,所述处理除了包括识别乘员的声音的声音识别功能(将声音文本化的功能)以外,还包括自然言语处理功能(理解文本的结构、意思的功能)、对话管理功能、经由网络来检索其他装置、或者检索本装置带有的规定的数据库的网络检索功能等。上述的功能的一部分或全部可以通过AI(ArtificialIntelligence)技术来实现。另外,用于进行上述的功能的结构的一部分(尤其是声音识别功能、自然言语处理解释功能)可以搭载于能够与车辆M的车载通信装置或车辆M自带的通用通信装置进行通信的智能体服务器(外部装置)。在以下的说明中,以结构的一部分搭载于智能体服务器且通过智能体装置与智能体服务器协同配合来实现智能体系统为前提。另外,将智能体装置与智能体服务器协同配合而假想出现的服务提供主体(服务实体)称为智能体。
<整体结构>
图1是包括智能体装置100的智能体系统1的结构图。智能体系统1例如具备智能体装置100和多个智能体服务器200-1、200-2、200-3、…。符号的末尾的连字符之后的数字是用于区分智能体的识别符。在不区分是哪个智能体服务器的情况下,有时简称为智能体服务器200。在图1中,示出了三个智能体服务器200,但智能体服务器200的数目可以是两个,也可以是四个以上。各智能体服务器200是由彼此不同的智能体系统的提供者来运营的智能体服务器。因此,本发明中的智能体是由彼此不同的提供者来实现的智能体。作为提供者,例如可以举出机动车制造商、网络服务从业者、电子商务从业者、便携式终端的销售者、制造者等,任意的主体(法人、团体、个人等)都能成为智能体系统的提供者。
智能体装置100经由网络NW与智能体服务器200进行通信。网络NW例如包括互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(Local Area Network)、公众线路、电话线路、无线基站等中的一部分或全部。在网络NW接入有各种网络服务器300,智能体服务器200或智能体装置100能够借助网络NW而从各种网络服务器300取得网页。
智能体装置100与车辆M的乘员进行对话,将来自乘员的声音向智能体服务器200发送,并将从智能体服务器200获得的回答以声音输出、图像显示的形式提示给乘员。
[车辆]
图2是表示第一实施方式的智能体装置100的结构和搭载于车辆M的设备的图。在车辆M上例如搭载有一个以上的话筒10、显示、操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员识别装置80、车辆传感器90和智能体装置100。另外,存在智能手机等通用通信装置70被带入车室内并作为通信装置来使用的情况。上述的装置通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等彼此连接。需要说明的是,图2所示的结构只不过是一例,可以省略结构的一部分,也可以进一步追加其他的结构。
话筒10是收集在车室内发出的声音的收音部。话筒10将收集到的声音的信息、例如声音的频率、振幅等信息向智能体装置100输出。显示、操作装置20是显示图像并可接受输入操作的装置(或者装置组)。显示、操作装置20例如包括作为触摸面板而构成的显示器装置。显示、操作装置20还可以包括HUD(Head Up Display)、机械式的输入装置。扬声器单元30例如包括配设在车室内的彼此不同的位置处的多个扬声器(声音输出部)。也可以在智能体装置100和导航装置40中共用显示、操作装置20。
图3是表示显示、操作装置20的配置例的图。显示、操作装置20例如包括第一显示器22、第二显示器24和操作开关ASSY26。显示、操作装置20也可以还包括HUD28。
在车辆M中例如存在设有方向盘SW的驾驶员座DS、以及相对于驾驶员座DS在车宽方向(图中Y方向)上设置的副驾驶员座AS。第一显示器22是从仪表板中的位于驾驶员座DS与副驾驶员座AS的中间附近的位置延伸到仪表板中的与副驾驶员座AS的左端部对置的位置为止的横长形状的显示器装置。第二显示器24设置于驾驶员座DS与副驾驶员座AS的车宽方向上的中间附近的位置且设置于第一显示器的下方。例如,第一显示器22和第二显示器24均以触摸面板的形式构成,具备LCD(Liquid Crystal Display)、有机EL(Electroluminescence)、等离子体显示器等来作为显示部。操作开关ASSY26是集成有旋钮开关、按键式开关等的开关。显示、操作装置20将由乘员进行的操作的内容向智能体装置100输出。第一显示器22或第二显示器24显示的内容可以由智能体装置100来决定。
图4是表示扬声器单元30的配置例的图。扬声器单元30例如包括扬声器30A~30H。扬声器30A设置于驾驶员座DS侧的车窗柱(所谓的A柱)。扬声器30B设置于靠近驾驶员座DS的车门的下部。扬声器30C设置于副驾驶员座AS侧的车窗柱。扬声器30D设置于靠近副驾驶员座AS的车门的下部。扬声器30E设置于靠近右侧后部座位BS1侧的车门的下部。扬声器30F设置于靠近左侧后部座位BS2侧的车门的下部。扬声器30G设置于第二显示器24的附近。扬声器30H设置于车室的顶板(车顶)。
在上述配置中,例如在专门使扬声器30A及扬声器30B输出声音的情况下,声像定位于驾驶员座DS附近。另外,在专门使扬声器30C及扬声器30D输出声音的情况下,声像定位于副驾驶员座AS附近。另外,在专门使扬声器30E输出声音的情况下,声像定位于右侧后部座位BS1附近。另外,在专门使扬声器30F输出声音的情况下,声像定位于左侧后部座位BS2附近。另外,在专门使扬声器30G输出声音的情况下,声像定位于车室的前方附近,在专门使扬声器30H输出声音的情况下,声像定位于车室的上方附近。并不局限于此,扬声器单元30通过使用混声器、放大器来调整各扬声器输出的声音的分配,由此能够使声像定位于车室内的任意的位置。
导航装置40具备导航HMI(Human machine Interface)、GPS(Global PositioningSystem)等位置测定装置、存储有地图信息的存储装置和进行路径探索等的控制装置(导航控制器)。话筒10、显示、操作装置20及扬声器单元30中的一部分或全部可以作为导航HMI来使用。导航装置40探索用于从由位置测定装置确定出的车辆M的位置移动到乘员输入的目的地为止的路径(导航路径),并使用导航HMI来输出引导信息以使得车辆M能够沿着路径行驶。路径探索功能可以位于能够经由网络NW来访问的导航服务器。这种情况下,导航装置40从导航服务器取得路径并输出引导信息。需要说明的是,智能体装置100可以以导航控制器为平台来构筑,这种情况下,导航控制器和智能体装置100在硬件上一体地构成。
导航装置40在由乘员输入并设定了目的地的情况下,存储设定好的目的地的信息即目的地信息40A。导航装置40例如根据设置于智能体装置100的车辆设备控制部130的要求来将存储着的目的地信息40A向车辆设备控制部130输出。
车辆设备50是搭载于车辆M的多个设备的总称,车辆设备50例如包括座椅调整机构51、照明装置52、遮光罩53、空调装置54、后雨刷器55、电动车门(power door)56、声音通信装置57及音响设备58等设备。车辆设备50除了上述的设备以外,还包括发动机、行驶用马达等驱动力输出装置、发动机的起动马达、门锁装置、车门开闭装置、车窗、车窗的开闭装置及车窗的开闭控制装置、座椅、车室内后视镜及其角度位置控制装置、车辆外的照明装置及其控制装置、雨刷器、除雾器及它们各自的控制装置、方向指示灯及其控制装置、行驶距离、轮胎的气压的信息、燃料的剩余量信息等车辆信息装置等。导航装置40是车辆设备50之一。
图5是表示车辆设备50的一部分的配置例的图。座椅调整机构51具备右侧前部座椅调整机构51A、左侧前部座椅调整机构51B、右侧后部座椅调整机构51C及左侧后部座椅调整机构51D。右侧前部座椅调整机构51A设置于驾驶员座DS,用于调整驾驶员座DS的前后上下左右的各位置、倾斜角度等。左侧前部座椅调整机构51B设置于副驾驶员座AS,用于调整副驾驶员座AS的前后上下左右位置、倾斜角度等。右侧后部座椅调整机构51C设置于右侧后部座位BS1,用于调整右侧后部座位BS1的倾斜角度等。左侧后部座椅调整机构51D设置于左侧后部座位BS2,用于调整左侧后部座位BS2的倾斜角度等。座椅调整机构51例如也可以是能够调整各座椅的硬度、形状等的机构。
照明装置52例如设置于车辆M的顶板。照明装置52通过点亮来对车辆M的内部进行照明。照明装置52也可以设置于车辆M的顶板以外的位置、例如仪表板、座位的后部等。遮光罩53例如设置于车辆M的内部中的驾驶员座的侧方、后部的玻璃窗的内侧,例如通过对设置于仪表板的开关进行操作来开闭。遮光罩53通过闭合来覆盖车辆M的玻璃窗的内侧以遮挡或抑制向车辆M入射的阳光,通过打开来允许从车辆M的玻璃窗进行采光。遮光罩53也可以设置于车辆M的驾驶员座的侧方、后部的玻璃窗以外的车辆的车窗。
空调装置54例如设置于车辆M的发动机室等,从设置于仪表板等的吹出口供给空气调节气体来进行车辆M的室内的空气调节。后雨刷器55例如设置于车辆M的后部的玻璃窗的外侧。通过后雨刷器55动作来排除车辆M的后部的玻璃窗的雨滴。电动车门56例如设置于左侧后部座位BS2的左侧方。电动车门56例如通过对设置于仪表板等的操作开关、驾驶员等开闭指示者所携带的电子按键(Key fob:FOB)等终端进行操作来开闭。电动车门56也可以设置于其他的位置,例如可以设置于右侧后部座位BS1的右侧方、前部座位的侧方等。
声音通信装置57例如是设置于车辆的仪表板的电话等进行声音的通信的通信设备。声音通信装置57也可以设置于其他的位置、例如后部座位的附近。声音通信装置57存储通信簿57A的信息,其中,通信簿57A中存储有由乘员登记的通信对象。登记在通信簿57A中的登记信息是登记对象的住所、姓名、电话号码等信息。登记对象例如包括乘员自己的住宅、乘员的家族、亲属、熟人等联络对象等。声音通信装置57根据车辆设备控制部130的要求来将存储着的通信簿57A中包含的登记信息向车辆设备控制部130输出。音响设备58例如是音频装置,经由例如配置在车辆M的内部的多个扬声器来输出音乐。
车辆设备50所包括的上述的各设备基于由车辆设备控制部130发送的控制信息来被控制。座椅调整机构51基于控制信息来控制座椅的位置、硬度等座椅的状态。照明装置52基于控制信息来决定照明的点亮及熄灭。照明装置52也可以基于控制信息来调整照明的照度等。遮光罩53基于控制信息而被控制开闭。遮光罩53也可以基于控制信息而被控制开闭程度等。在遮光罩53分别设置于多个窗的情况下,也可以对任一遮光罩53的开闭或者其开闭程度进行控制。
空调装置54基于控制信息来决定空气调节的开始结束、调整设定温度。后雨刷器55基于控制信息而被控制动作及停止。后雨刷器55也可以基于控制信息来调整动作速度。电动车门56基于控制信息而被控制开闭。在设置有多个电动车门56的情况下,也可以基于控制信息来决定要开闭的电动车门56。声音通信装置57基于控制信息来选择通话对象并指示开始通信,或者在对方要求进行通话的情况下接受该要求。音响设备58基于控制信息来检索乐曲并将其利用扬声器单元30输出。
车辆设备50所包括的各设备的一部分或全部由车辆设备控制部130来控制,但也可以设置各自专用的控制装置(控制设备),各车辆设备50的专用的控制装置基于由车辆设备控制部130输出的控制信息来控制各车辆设备50。
车载通信装置60例如是能够利用蜂窝网、Wi-Fi网来访问网络NW的无线通信装置。
乘员识别装置80例如包括就座传感器82、车室内相机84、图像识别装置86等。就座传感器82例如包括设置于座位的下部的压力传感器、安装于安全带的张力传感器等。车室内相机84是对车室中的包括各座椅在内的区域进行拍摄的摄像部。车室内相机84是设置于车室内的CCD(Charge Coupled Device)相机、CMOS(Complementary Metal OxideSemiconductor)相机。
图像识别装置86对车室内相机84的图像进行解析。图像识别装置86基于解析后的图像来取得各座位上有无乘员、面部朝向、讲话者及讲话者就座的座椅(以下称为讲话者座椅)等信息。图像识别装置86将包含讲话者的图像及取得的讲话者座椅的位置的信息向智能体装置100输出。
车辆传感器90具备车速传感器91、昼夜传感器92、温度传感器93和天气传感器94。车速传感器91例如具备安装于各车轮的车轮速传感器和速度计算机,将由车轮速传感器检测出的车轮速度统合来导出并检测出车辆的速度(车速),生成车速信息。
昼夜传感器92例如具备照度传感器。照度传感器例如设置于车身的外部,用于计测车辆M的外部的照度。昼夜传感器92基于计测出的照度来检测现在是白天还是黑夜,并生成昼夜信息。昼夜传感器92例如可以是基于车辆M的当前位置及当前时刻等来检测是白天还是黑夜的传感器。温度传感器93例如设置于车辆M的车室内。温度传感器93检测车室内的温度并生成温度信息。
天气传感器94例如具备用于检测附着在前挡风玻璃等玻璃窗上的雨滴量的雨滴量传感器、用于检测前挡风玻璃上被照射的阳光量的阳光量传感器,天气传感器94检测车辆M的周围的天气并生成天气信息。车辆传感器90根据车辆设备控制部130的要求,将基于检测出的结果而生成的各种信息向车辆设备控制部130输出。
[智能体装置]
返回到图2,智能体装置100具备管理部110、车辆设备控制部130、智能体功能部150-1、150-2、150-3和配对应用执行部152。管理部110例如具备音响处理部112、按智能体区分的WU(Wake Up)判定部114、显示控制部116和声音控制部118。在不区分是哪个智能体功能部的情况下,简称为智能体功能部150。示出了三个智能体功能部150只不过是与图1中的智能体服务器200的数目对应的一例,智能体功能部150的数目可以是两个,也可以是四个以上。为了便于说明而将图2所示的软件配置简化示出,实际上,例如可以在智能体功能部150与车载通信装置60之间设置管理部110来任意地进行改变。
智能体装置100的各构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。上述的构成要素中的一部分或全部可以通过LSI(LargeScale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部:circuitry)来实现,也可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD、CD-ROM等能够装拆的存储介质(非暂时性的存储介质),并通过将存储介质装配于驱动装置来安装。
管理部110通过执行OS(Operating System)、中间件等程序而发挥功能。
管理部110的音响处理部112对输入的声音进行音响处理,以使其成为适合于识别为智能体装置100预先设定的唤醒词的状态。
按智能体区分的WU判定部114分别与智能体功能部150-1、150-2、150-3对应地存在,用于识别按智能体预先设定的唤醒词。按智能体区分的WU判定部114根据进行了音响处理后的声音(声音流)来识别声音的意思。首先,按智能体区分的WU判定部114基于声音流中的声音波形的振幅和零交叉来检测出声音区间。按智能体区分的WU判定部114也可以根据基于混合高斯分布模型(GMM:Gaussian mixture model)的帧单位的声音识别及非声音识别来进行区间检测。
接着,按智能体区分的WU判定部114将检测出的声音区间中的声音文本化,作成文字信息。然后,按智能体区分的WU判定部114判定文本化后的文字信息是否符合唤醒词。在判定为是唤醒词的情况下,按智能体区分的WU判定部114使对应的智能体功能部150起动。需要说明的是,与按智能体区分的WU判定部114相当的功能也可以搭载于智能体服务器200。这种情况下,管理部110将由音响处理部112进行了音响处理的声音流向智能体服务器200发送,在智能体服务器200判定为是唤醒词的情况下,按照来自智能体服务器200的指示来使智能体功能部150起动。需要说明的是,各智能体功能部150也可以始终起动且自行进行唤醒词的判定。这种情况下,管理部110不需要具备按智能体区分的WU判定部114。
智能体功能部150与对应的智能体服务器200协同配合来使智能体出现,并根据车辆的乘员的讲话来提供服务,其中,服务包括使输出部输出用声音进行的响应。智能体功能部150也可以包括被赋予了控制车辆设备50的权限的智能体功能部。另外,智能体功能部150还可以经由配对应用执行部152来与通用通信装置70协作而与智能体服务器200进行通信。例如,对智能体功能部150-1赋予了控制车辆设备50的权限。
智能体功能部150-1与智能体服务器200协同配合来识别车辆的乘员的讲话,从而获得对车辆设备50的指示。智能体功能部150-1基于通过识别车辆的乘员的讲话而获得的指示的内容来生成针对车辆设备50的指示,并将该指示向车辆设备控制部130输出。车辆设备控制部130根据由智能体功能部150-1输出的针对车辆设备50的指示来提供控制车辆设备50的服务。智能体功能部150-1经由车载通信装置60来与智能体服务器200-1进行通信。智能体功能部150-2经由车载通信装置60来与智能体服务器200-2进行通信。智能体功能部150-3经由配对应用执行部152来与通用通信装置70协作而与智能体服务器200-3进行通信。配对应用执行部152例如通过Bluetooth(注册商标)来与通用通信装置70进行配对,从而使智能体功能部150-3与通用通信装置70连接。需要说明的是,智能体功能部150-3也可以通过利用了USB(Universal Serial Bus)等的有线通信来与通用通信装置70连接。以下,有时将通过智能体功能部150-1与智能体服务器200-1协同配合而出现的智能体称为智能体1,将通过智能体功能部150-2与智能体服务器200-2协同配合而出现的智能体称为智能体2,将通过智能体功能部150-3与智能体服务器200-3协同配合而出现的智能体称为智能体3。
显示控制部116根据来自智能体功能部150的指示来使第一显示器22或第二显示器24显示图像。以下,设为使用第一显示器22。显示控制部116在一部分的智能体功能部150的控制下例如生成在车室内与乘员进行交流的拟人化的智能体的图像(以下称为智能体图像),并使生成的智能体图像显示于第一显示器22。智能体图像例如是向乘员搭话这种形式的图像。智能体图像可以包含例如至少能由观看者(乘员)识别出表情、面部朝向这种程度的面部图像。例如,智能体图像可以是在面部区域中呈现出模仿眼睛、鼻子的部位并基于该部位在面部区域中的位置来识别表情、面部朝向的图像。另外,智能体图像也可以是通过包含能由观看者立体地感受到的三维空间中的头部图像来识别智能体的面部朝向或者通过包含本体(身体、手脚)的图像来识别智能体的动作、举止、姿态等的图像。另外,智能体图像还可以是动画图像。
声音控制部118根据来自智能体功能部150的指示而使扬声器单元30所包括的扬声器中的一部分或全部输出声音。声音控制部118可以使用多个扬声器单元30来进行使智能体声音的声像定位到与智能体图像的显示位置对应的位置的控制。与智能体图像的显示位置对应的位置例如是指预测为乘员感到智能体图像在发出智能体声音的位置,具体而言,是指智能体图像的显示位置附近(例如2~3[cm]以内)的位置。另外,定位声像例如是指通过调节向乘员的左右耳传递的声音的大小来决定乘员感受到的声源的空间上的位置。
车辆设备控制部130具备取得部132、判定部134和控制部136。取得部132取得由智能体功能部150-1输出的针对车辆设备50的指示。取得部132取得由话筒10输出的声音的信息。取得部132对取得了的声音进行解析,取得讲话者的声音的信息来作为讲话者的特征。取得部132对由图像识别装置86输出的包含讲话者在内的图像进行解析,取得讲话者的图像来作为讲话者的特征。取得部132基于取得了的讲话者的特征即讲话者的声音及图像来推定讲话者的年龄并取得推定出的讲话者的年龄。
取得部132例如通过如下等方式统合讲话者的多个特征来推定讲话者的年龄,所述方式是指在讲话者的声音高的情况下、基于图像取得的讲话者的身体小的情况下将讲话者的年龄推定得低。需要说明的是,讲话者的年龄的推定可以仅基于声音来进行,也可以仅基于图像来进行。另外,讲话者的年龄的推定也可以取代或附加上述的特征而包括其他的特征、例如讲话者的姿态、动作、讲话内容、施加在座位上的压力(讲话者的体重)等要素在内地进行。另外,也可以通过使乘员等能够向管理部110等登记各乘员的人物(年龄)等方式来基于登记了的年龄进行年龄的推定。
实施方式的意图在于,在讲话者是儿童的情况下,限制车辆设备50的控制。因此,成为用于限制车辆设备50的控制的阈值的规定年龄只要是用于判定儿童的年龄即可,例如可以设定为12岁、6岁、3岁等用于划分低年级与高年级的年龄等任意的年龄。另外,也可以设定多个规定年龄。这种情况下,可以根据设定的年龄来使车辆设备50的控制的限制内容不同。例如,可以设定为在年龄高的情况下相较于年龄低的情况而言减少或减弱限制。
判定部134判定由取得部132取得的讲话者的年龄是否在规定年龄以下。需要说明的是,取得部132所取得的年龄可以不是准确的年龄,而是大概的年龄。例如,可以将年龄不划分为数字而是划分为“大人”、“儿童”来掌握,从而获取讲话者的年龄是否包含在被判定为是“儿童”的年龄中。这种情况下,判定部134可以判定讲话者的年龄是儿童还是大人,在是儿童的年龄时判定为在规定年龄以下。
控制部136根据取得部132所取得的针对车辆设备50的指示来生成针对车辆设备50各自的控制信息并将其向各车辆没备50输出。控制部136在由判定部134判定为讲话者的年龄在规定年龄以下的情况下,进而若是规定条件成立,则向控制车辆设备50的声音指令施加所谓的儿童锁。控制部136针对被施加了儿童锁的声音指令在一部分的车辆设备50的控制上施加限制,进而针对这一部分的车辆设备50设置在限制的范围内的允许范围。作为规定条件,例如设定有按车辆设备50的种类而不同的条件。针对用于限制车辆设备50的控制的规定条件及控制的限制内容将在后进行说明。
[车载智能体服务器]
图6是表示智能体服务器200的结构和智能体装置100的结构的一部分的图。以下,连同智能体服务器200的结构一起来说明智能体功能部150等的动作。这里,省略针对从智能体装置100到网络NW的物理通信的说明。
智能体服务器200具备通信部210。通信部210例如是NIC(Network InterfaceCard)等网络接口。进而,智能体服务器200例如具备声音识别部220、自然言语处理部222、对话管理部224、网络检索部226和响应文生成部228。上述的构成要素例如通过CPU等硬件处理器执行程序(软件)来实现。上述的构成要素中的一部分或全部可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部:circuitry)来实现,也可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD、CD-ROM等能够装拆的存储介质(非暂时性的存储介质),并通过将存储介质装配于驱动装置来安装。
智能体服务器200具备存储部250。存储部250通过上述的各种存储装置来实现。在存储部250中保存有个人资料252、字典DB(数据库)254、知识库DB256、响应规则DB258等数据、程序。
在智能体装置100中,智能体功能部150将声音流或者进行了压缩、符号化等处理的声音流向智能体服务器200发送。智能体功能部150可以在识别出能够本地处理(不借助智能体服务器200的处理)的声音指令的情况下,进行声音指令所要求的处理。能够本地处理的声音指令是指能够通过参照智能体装置100所具备的存储部(未图示)来回答的声音指令,在智能体功能部150-1的情况下是指控制车辆设备50的声音指令(例如将空调装置设为打开的指令等)。因此,智能体功能部150也可以具有智能体服务器200所具备的功能的一部分。
在取得声音流时,声音识别部220进行声音识别来输出文本化后的文字信息,自然言语处理部222针对文字信息一边参照字典DB254一边进行意思解释。字典DB254是将抽象化的意思信息与文字信息建立了对应关系的数据。字典DB254可以包含同义词、近义词的一览信息。声音识别部220的处理和自然言语处理部222的处理可以不是明确地分阶段进行的处理,而是通过声音识别部220接受自然言语处理部222的处理结果来修正识别结果等方式彼此互相影响地进行的处理。
自然言语处理部222例如在识别出“今天的天气是”、“天气如何”等意思来作为识别结果的情况下,生成将其置换为标准文字信息即“今天的天气”的指令。由此,即便在请求的声音中存在文字差异的情况下,也能够容易地进行符合要求的对话。另外,自然言语处理部222例如可以使用利用了概率的机械学习处理等人工智能处理来识别文字信息的意思、生成基于识别结果作出的指令。
对话管理部224基于自然言语处理部222的处理结果(指令),一边参照个人资料252、知识库DB256、响应规则DB258一边决定针对车辆M的乘员的讲话的内容。个人资料252包括按乘员保存的乘员的个人信息、兴趣喜好、过去的对话的履历等。知识库DB256是规定了事物的关联性的信息。响应规则DB258是规定了智能体相对于指令应进行的动作(回答、设备控制的内容等)的信息。
另外,对话管理部224可以使用从声音流获得的特征信息来与个人资料252进行对照,由此确定乘员。这种情况下,在个人资料252中,例如将个人信息与声音的特征信息建立对应关系。声音的特征信息例如是与声音的高低、语调、节奏(声音的高低的模式)等说话方式的特征、基于梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficients)等确定的特征量有关的信息。声音的特征信息例如是通过使乘员在其初始登记时讲出规定的单语、文章等并识别讲话的声音来获得的信息。
在指令是要求可经由网络NW来检索的信息的指令的情况下,对话管理部224使网络检索部226进行检索。网络检索部226经由网络NW来访问各种网络服务器300,取得所希望的信息。“可经由网络NW来检索的信息”例如是指一般用户针对位于车辆M的周边的餐馆的评价结果、与当日的车辆M的位置对应的天气预报。
响应文生成部228生成响应文并将其向智能体装置100发送,以使由对话管理部224决定的讲话的内容传递给车辆M的乘员。响应文生成部228在确定乘员是登记在个人资料中的乘员的情况下,称呼乘员的姓名、以近似于乘员的说话方式的说话方式生成响应文。
智能体功能部150在取得响应文时,指示声音控制部118进行声音合成来输出声音。另外,智能体功能部150指示显示控制部116匹配声音输出地显示智能体的图像。这样,能够实现假想出现的智能体响应车辆M的乘员这样的智能体功能。
[智能体装置中的处理]
接着,对智能体装置100中的处理的一例进行说明。图7是表示在智能体装置100中执行的处理的流程的一例的流程图。需要说明的是,这里的处理设为是多个智能体功能部150-1作为智能体功能部150来执行处理而发挥功能。在智能体装置100中,按智能体区分的WU判定部114检测乘员讲话的声音的声音区间,并判定将检测出的声音区间文本化而得到的文字信息是否是唤醒词(WU词)(步骤S110)。
在判定为文本化而得到的文字信息是唤醒词的情况下,智能体功能部150判定是否取得了乘员接着WU词讲出的声音(步骤S120)。在判定为取得了乘员讲话的声音的情况下,智能体功能部150判定乘员的讲话内容是否是针对车辆设备的指令(步骤S130)。
在判定为乘员的讲话内容不是针对车辆设备的指令的情况下,智能体功能部150提供与乘员的讲话内容对应的服务(步骤S140)。在判定为乘员的讲话内容是针对车辆设备的指令的情况下,智能体功能部150将针对车辆设备50的指示向车辆设备控制部130输出。取得部132取得由智能体功能部150输出的针对车辆设备50的指示内容(步骤S150)。进而,车辆设备控制部130的取得部132取得由乘员识别装置80输出的讲话者的声音及图像的信息来作为讲话者的特征(步骤S160)。此时,取得部132将由乘员识别装置80输出的讲话者座椅的信息一起取得。
接着,取得部132基于讲话者的特征来推定讲话者的年龄并取得该讲话者的年龄。接着,判定部134判定推定出的讲话者的年龄是否在规定年龄以下(步骤S170)。在推定出的讲话者的年龄不在规定年龄以下的情况下,判定部134判定为讲话者是大人(不是儿童),控制部136执行与取得部132取得了的针对车辆设备50的指示对应的控制(步骤S180)。例如,在针对车辆设备50的指示是调整座椅的指示的情况下,将控制对象设为座椅调整机构51(进而是右侧前部座椅调整机构51A、左侧前部座椅调整机构51B、右侧后部座椅调整机构51C及左侧后部座椅调整机构51D中的任一个),通过使用于驱动所指示的座椅的座椅调整机构51的驱动源动作等方式来进行座椅的调整。之后将会分别说明针对车辆设备50的指示及针对车辆设备50的控制内容。
在判定为推定出的讲话者的年龄在规定年龄以下的情况下,判定部134判定为讲话者是儿童。接着,控制部136判定规定条件是否成立(步骤S190)。在判定为规定条件成立的情况下,控制部136限制车辆设备50的控制,不进入步骤S180而是直接返回到步骤S120。在判定为规定条件不成立的情况下,控制部136不限制车辆设备50的控制地执行与取得部132所取得的针对车辆设备50的指示对应的控制(步骤S180)。在执行步骤S180之后,返回到步骤S120,判定是否取得了乘员接下来发出的声音。
在步骤S120中判定为没有取得乘员的声音的情况下,智能体装置100判定是否经过了响应待机时间(步骤S200)。响应待机时间是设定为从智能体功能部150起动到接受到乘员的指令为止的时间或者是设定为从接受到乘员的指令之后到再次接受到乘员的指令为止的时间。响应待机时间可以设定为任意的时间。例如,响应待机时间可以设为5秒到10秒这种程度的短时间,也可以设为30秒到1分这样的长时间,还可以设为30分等更长的时间。
在判定为没有经过响应待机时间的情况下,智能体装置100返回到步骤S120,判定是否取得了乘员接着发出的声音。在判定为没有经过响应待机时间的情况下,智能体装置100结束图8所示的处理。
接着,对车辆设备50中的各设备的控制的一例分别进行说明。图8~图16均是表示在智能体装置100中执行的处理的流程的一例的流程图,是主要将图8所示的步骤S170~步骤S190的处理替换来执行的处理。需要说明的是,图8~图16所示的控制也可以彼此组合来执行。
[座椅调整机构51的控制]
首先,对座椅调整机构51的控制的一例进行说明。座椅调整机构51的控制例如通过车辆设备控制部130向使座椅调整机构51动作的未图示的马达等驱动源发送控制信息来执行。图8是控制座椅调整机构51时的流程图。
车辆设备控制部130判定座椅调整机构51是否是控制对象(步骤S210)。在判定为座椅调整机构51不是控制对象的情况下,车辆设备控制部130结束图8所示的处理。在判定为座椅调整机构51是控制对象的情况下,车辆设备控制部130判定儿童是否是讲话者(步骤S220)。
在判定为儿童不是讲话者的情况下,控制部136根据讲话者的发言来进行调整座椅调整机构51的控制(步骤S230)。例如,在作为讲话者的驾驶员发出了“倾斜”这样的指令的情况下,控制部136进行将驾驶员座DS的座椅靠背放倒的控制。
另一方面,在判定为儿童是讲话者的情况下,控制部136判定讲话者所就座的讲话者座椅是否是成为控制对象的座椅(步骤S240)。控制部136基于取得部132所取得的讲话者座椅的位置的信息来判定讲话者座椅是否是成为控制对象的座椅。
在判定为讲话者座椅不是成为控制对象的座椅的情况下,即便是有讲话者的发言控制部136也限制与讲话者的发言对应的座椅调整机构51的调整,例如不进行与讲话者的发言对应的座椅调整机构51的调整。在判定为讲话者座椅是成为控制对象的座椅的情况下,控制部136根据讲话者的发言来进行调整座椅调整机构51的控制(步骤S230)。这样,车辆设备控制部130结束图8所示的处理。
在上述的控制中,在控制座椅调整机构51时,能够抑制因儿童的恶作剧、不经意的讲话而导致儿童就座的座椅以外的座椅的座椅调整机构51被控制的事态。因此,能够抑制就座在儿童所就座的座椅以外的座椅上的乘员的座椅调整。
[照明装置52的控制]
接着,对照明装置52的控制的一例进行说明。照明装置52的控制例如通过车辆设备控制部130向照明装置52发送使照明装置52点亮的点亮信息、熄灭的熄灭信息来执行。图9是控制照明装置52时的流程图。
车辆设备控制部130判定照明装置52是否是控制对象(步骤S310)。在判定为照明装置52不是控制对象的情况下,车辆设备控制部130结束图9所示的处理。在判定为照明装置52是控制对象的情况下,车辆设备控制部130判定儿童是否是讲话者(步骤S320)。
在判定为儿童不是讲话者的情况下,控制部136根据讲话者的发言来控制照明装置52(步骤S330)。例如,在作为讲话者的驾驶员发出“通电”这样的指令的情况下,控制部136进行使照明装置52点亮的控制。
另一方面,在判定为儿童是讲话者的情况下,控制部136判定车辆M是否处于行驶中(步骤S340)。控制部136在判定车辆M是否处于行驶中时,要求车速传感器91输出车速信息。控制部136基于由车速传感器91输出的车速信息来判定车辆M是否处于行驶中。
在判定为车辆M没有处于行驶中的情况下,控制部136判定当前是否是夜间(步骤S350)。控制部136在判定当前是否是夜间时,要求昼夜传感器92输出昼夜信息。控制部136基于由昼夜传感器92输出的昼夜信息来判定当前是否是夜间。
在判定为当前是夜间的情况下,控制部136根据讲话者的发言来进行使照明装置52点亮的控制(步骤S230)。在步骤S340中判定为车辆M处于行驶中的情况下或者在步骤S350中判定为当前不是夜间的情况下,即便是有讲话者的发言控制部136也限制与讲话者的发言对应的照明装置52的点亮,例如不进行与讲话者的发言对应的照明装置52的点亮等控制。这样,车辆设备控制部130结束图9所示的处理。
在上述的控制中,在控制照明装置52时,能够抑制例如在车辆行驶中、白天的时段中因儿童的恶作剧、不经意的讲话而点亮照明的控制。因此,能够抑制在车辆行驶中、白天的时段这样的不需要照明的时间下照明装置52被点亮的事态。因此,能够抑制例如在夜间行驶中照明装置52误点亮而导致车外难以看清的事态。
[遮光罩53的控制]
接着,对遮光罩53的控制的一例进行说明。遮光罩53的控制例如通过车辆设备控制部130向使遮光罩53动作的未图示的马达等驱动源发送控制信息来执行。图10是控制遮光罩53时的流程图。
车辆设备控制部130判定遮光罩53是否是控制对象(步骤S410)。在判定为遮光罩53不是控制对象的情况下,车辆设备控制部130结束图10所示的处理。在判定为遮光罩53是控制对象的情况下,车辆设备控制部130判定儿童是否是讲话者(步骤S420)。
在判定为儿童不是讲话者的情况下,控制部136根据讲话者的发言来进行使遮光罩53开闭的控制(步骤S430)。例如,在遮光罩53正在打开中作为讲话者的驾驶员发出“遮光罩闭合”这样的指令的情况下,控制部136进行使遮光罩53闭合的控制。
另一方面,在判定为儿童是讲话者的情况下,控制部136判定车辆M是否处于行驶中(步骤S440)。在判定为车辆M处于行驶中的情况下,即便是有讲话者的发言控制部136也限制与讲话者的发言对应的遮光罩53的开闭的控制,例如不进行与讲话者的发言对应的开闭遮光罩53的控制。在判定为车辆M没有处于行驶中的情况下,控制部136进行与讲话者的发言对应的开闭遮光罩53的控制(步骤S430)。这样,车辆设备控制部130结束图10所示的处理。
在上述的控制中,在控制遮光罩53时,能够抑制因儿童的恶作剧、不经意的讲话而导致的尤其是在车辆M行驶中使遮光罩53开闭的控制。因此,能够根据驾驶员等的希望来使遮光罩53开闭,从而能够抑制例如在驾驶员不想的情况下遮光罩53闭合而导致难以进行车辆后方的视觉确认的事态。
[空调装置54的控制]
接着,对空调装置54的控制的一例进行说明。空调装置54的控制例如是空调装置54的设定温度的控制。空调装置54的控制例如通过车辆设备控制部130向空调装置54发送提高车辆M的室内的设定温度的控制信息、降低设定温度的控制信息来执行。图11是控制空调装置54时的流程图。
车辆设备控制部130判定空调装置54是否是控制对象(步骤S510)。在判定为空调装置54不是控制对象的情况下,车辆设备控制部130结束图11所示的处理。在判定为空调装置54是控制对象的情况下,车辆设备控制部130判定儿童是否是讲话者(步骤S520)。
在判定为儿童不是讲话者的情况下,控制部136根据讲话者的发言来进行空调装置54的控制(步骤S530)。例如,在作为讲话者的驾驶员发出“变凉爽”这样的指令的情况下,控制部136进行降低空调装置54的设定温度的控制。
另一方面,在判定为儿童是讲话者的情况下,控制部136判定车辆M的室内的温度是否小于规定温度(步骤S540)。在判定为车辆M的室内的温度小于规定温度的情况下,即便是有讲话者的发言控制部136也限制空调装置54的温度调整的控制,例如不进行与讲话者的发言对应的空调装置54的控制。在判定为车辆M的室内的温度不小于规定温度的情况下,控制部136进行与讲话者的发言对应的空调装置54的控制(步骤S530)。这样,车辆设备控制部130结束图11所示的处理。
在上述的控制中,在控制空调装置54时,能够抑制因儿童的恶作剧、不经意的讲话而导致在低温时进一步降低室内的温度的事态等。另一方面,例如在乘员仅是儿童的状况下车内暴露于高温等状态下,能够根据儿童的“热”这样的讲话来使空调装置54动作。
[导航装置40的控制]
接着,对导航装置40的控制的一例进行说明。导航装置40的控制例如是在导航装置40中对目的地等进行检索、设定、变更等的控制。导航装置40的控制例如通过车辆设备控制部130向导航装置40发送用于设定、变更目的地的控制信息来执行。图12是控制导航装置40时的流程图。
车辆设备控制部130判定导航装置40是否是控制对象(步骤S610)。在判定为导航装置40不是控制对象的情况下,车辆设备控制部130结束图12所示的处理。在判定为导航装置40是控制对象的情况下,车辆设备控制部130判定儿童是否是讲话者(步骤S620)。
在判定为儿童不是讲话者的情况下,控制部136根据讲话者的发言来进行导航装置40的控制(步骤S630)。例如,在作为讲话者的驾驶员发出“回家吧”这样的指令的情况下,控制部136检索导航装置40的目的地并进行设定。在导航装置40中已经设定有目的地的情况下,将设定了的目的地更新为自己家。
另一方面,在判定为儿童是讲话者的情况下,控制部136判定车辆M是否处于行驶中(步骤S640)。在判定为车辆M处于行驶中的情况下,控制部136判定是否设定有目的地(步骤S650)。控制部136在判定是否设定有目的地时,要求导航装置40输出目的地信息。控制部136基于由导航装置40输出的目的地信息来判定当前是否设定有目的地。
在判定为设定有目的地的情况下,即便是有讲话者的发言控制部136也限制与讲话者的发言对应的导航装置40的控制,例如不进行与讲话者的发言对应的导航装置40的控制。在步骤S640中判定为车辆没有处于行驶中的情况下、在步骤S650中判定为没有设定目的地的情况下,控制部136根据讲话者的发言来进行导航装置40的控制(S630)。这样,车辆设备控制部130结束图12所示的处理。
需要说明的是,也可以是,判定部134省略步骤S650的判定,而是在判定为车辆处于行驶中的情况下,即便是有讲话者的发言控制部136也限制与讲话者的发言对应的导航装置40的控制,例如不进行与讲话者的发言对应的导航装置40的控制。另外,还可以是,判定部134省略步骤S640的判定,不进行车辆是否处于行驶中的判定而在步骤S620中判定为儿童是讲话者的情况下,进行是否设定有目的地的判定。
在控制导航装置40时,根据儿童的讲话而难以进行准确的目的地设定等。相对于此,在上述的控制中,能够在车辆处于停止中的情况下允许由儿童进行的目的地设定。因此,能够满足儿童的好奇心,并且能够在万一误设定了目的地的情况下容易地确保修正目的地所需的时间、富余。另外,由于在设定有目的地设定的情况下会抑制根据儿童的讲话进行的目的地设定,因此能够抑制意外地更新目的地的事态。
[后雨刷器55的控制]
接着,对后雨刷器55的控制的一例进行说明。后雨刷器55的控制例如通过车辆设备控制部130向使后雨刷器55动作的未图示的马达等驱动源发送控制信息来执行。图13是控制后雨刷器55时的流程图。
车辆设备控制部130判定后雨刷器55是否是控制对象(步骤S710)。在判定为后雨刷器55不是控制对象的情况下,车辆设备控制部130结束图13所示的处理。在判定为后雨刷器55是控制对象的情况下,车辆设备控制部130判定儿童是否是讲话者(步骤S720)。
在判定为儿童不是讲话者的情况下,控制部136根据讲话者的发言来进行后雨刷器55的控制(步骤S730)。例如,在作为讲话者的驾驶员发出“去除掉后方的雨水”这样的指令的情况下,控制部136进行使后雨刷器55动作的控制。
另一方面,在判定为儿童是讲话者的情况下,控制部136判定天气是否是下雨(步骤S740)。控制部136在判定天气是否是下雨时,要求天气传感器94输出天气信息。控制部136基于由天气传感器94输出的天气信息来判定天气是否是下雨。
在判定为天气不是下雨的情况下,即便是有讲话者的发言控制部136也限制后雨刷器55的控制,例如不进行与讲话者的发言对应的后雨刷器55的控制。在判定为天气是下雨的情况下,控制部136进行与讲话者的发言对应的后雨刷器55的控制(步骤S730)。这样,车辆设备控制部130结束图13所示的处理。
在上述的控制中,在控制后雨刷器55时,能够抑制因儿童的恶作剧、不经意的讲话而使后雨刷器55动作的控制。因此,能够适当地抑制因在下雨时以外的时候不需要的后雨刷器55的动作而导致的后雨刷器55的消耗。需要说明的是,下雨的判断除了基于天气来进行以外,例如也可以基于后挡风玻璃上有无附着水滴(雨滴)来进行,在后挡风玻璃上附着有水滴(雨滴)的情况下判定为天气是下雨。
[电动车门56的控制]
接着,对电动车门56的控制的一例进行说明。电动车门56的控制例如通过车辆设备控制部130向使电动车门56动作的未图示的马达等驱动源发送控制信息来执行。图14是控制电动车门56时的流程图。需要说明的是,这里,设想能成为讲话者的大人和儿童位于车外且大人携带有FOB的状况。由于位于车外的FOB接近车辆而使车辆设备控制部130成为待命状态,从而能够检测出来自车外的讲话者的讲话。
车辆设备控制部130判定电动车门56是否是控制对象(步骤S810)。在判定为电动车门56不是控制对象的情况下,车辆设备控制部130结束图14所示的处理。在判定为电动车门56是控制对象的情况下,车辆设备控制部130判定儿童是否是讲话者(步骤S820)。
在判定为儿童不是讲话者的情况下,控制部136根据讲话者的发言来进行电动车门56的控制(步骤S830)。例如,在作为讲话者的驾驶员发出了“打开后车门”这样的指令的情况下,控制部136进行使电动车门56打开的控制。
另一方面,在判定为儿童是讲话者的情况下,即便是有讲话者的发言也限制电动车门56的控制,例如不进行与讲话者的发言对应的电动车门56的控制。这样,车辆设备控制部130结束图14所示的处理。
在上述的控制中,在控制电动车门56时抑制因儿童的讲话进行的电动车门56的控制。因此,能够抑制例如因儿童拿走FOB进行恶作剧而使电动车门56开闭的状况。因此,能够抑制电动车门56的误开闭动作。需要说明的是,也可以将大人没有携带FOB作为规定条件,在儿童是讲话者的情况下,若是大人没有携带FOB则抑制电动车门56的控制,若是大人携带着FOB则不抑制电动车门56的控制。
[声音通信装置57的控制]
接着,对声音通信装置57的控制的一例进行说明。声音通信装置57的控制例如通过车辆设备控制部130向声音通信装置57发送使基于声音通信装置57的通信开始的控制信息来执行。图15是控制声音通信装置57时的流程图。
车辆设备控制部130判定声音通信装置57是否是控制对象(步骤S910)。在判定为声音通信装置57不是控制对象的情况下,车辆设备控制部130结束图15所示的处理。在判定为声音通信装置57是控制对象的情况下,车辆设备控制部130判定儿童是否是讲话者(步骤S920)。
在判定为儿童不是讲话者的情况下,控制部136根据基于讲话者的讲话作出的指示来进行用于确定通信目标对象并开始通信的声音通信装置57的控制(步骤S930)。例如,在作为讲话者的驾驶员发出“向自己家打电话”这样的指令的情况下,控制部136控制声音通信装置57以将自己家确定为通信目标对象并与自己家之间开始通信。
另一方面,在判定为儿童是讲话者的情况下,控制部136判定在通信簿中是否登记有通信对象(发信对象)的信息、例如通信对象的电话号码(步骤S940)。控制部136在判定是否登记有通信对象的电话号码时,要求声音通信装置57输出通信簿57A的登记信息。控制部136基于由声音通信装置57输出的通信簿57A的登记信息来判定是否登记有通信对象的电话号码。
在判定为没有登记有通信对象的电话号码的情况下,即便是有讲话者的讲话,控制部136也限制声音通信装置57的控制,例如不根据基于讲话者的讲话作出的指示来使用于确定通信目标对象并开始通信的声音通信装置57进行用于开始通话的控制。在判定为登记有通信对象的电话号码的情况下,控制部136根据基于讲话者的讲话作出的指示来进行用于确定通信目标对象并开始通信的声音通信装置57的控制(步骤S930)。这样,车辆设备控制部130结束图15所示的处理。
在上述的控制中,在控制声音通信装置57时,能够抑制因儿童的恶作剧、不经意的讲话而将声音通信装置57与乘员没想联络的通信目标对象连接的事态。这种情况下,若例如是登记在通信簿57A中的登记对象,则也会允许连接声音通信装置57,因此能够满足儿童的好奇心,并且减少因声音通信装置57的误操作而引起的不良状况。
[音响设备58的控制]
接着,对音响设备58的控制的一例进行说明。音响设备58的控制例如通过车辆设备控制部130向音响设备58发送使音响设备58输出音乐的控制信息来执行。图16是控制音响设备58时的流程图。
车辆设备控制部130判定音响设备58是否是控制对象(步骤S1010)。在判定为音响设备58不是控制对象的情况下,车辆设备控制部130结束图16所示的处理。在判定为音响设备58是控制对象的情况下,车辆设备控制部130判定儿童是否是讲话者(步骤S1020)。
在判定为儿童不是讲话者的情况下,控制部136根据讲话者的发言来进行声音通信装置57的控制(步骤S1030)。例如,在作为讲话者的驾驶员发出“听爵士乐”这样的指令的情况下,控制部136控制音响设备58来输出爵士音乐。
另一方面,在判定为儿童是讲话者的情况下,控制部136判定车辆是否处于行驶中(步骤S1040)。在判定为车辆M处于行驶中的情况下,即便是有讲话者的发言控制部136也限制与讲话者的发言对应的音响设备58的控制。在判定为车辆M没有处于行驶中的情况下,控制部136进行与讲话者的发言对应的音响设备58的控制(步骤S1030)。这样,车辆设备控制部130结束图16所示的处理。
在上述的控制中,在控制音响设备58时,会因儿童的恶作剧、不经意的讲话来检索乘员没想输出的乐曲并由扬声器单元30来输出。这种情况下,若是例如车辆M处于停止中,则也能够确保变更乐曲的时间、富余,因此能够满足儿童的好奇心并检索要由扬声器单元30输出的乐曲来输出。
根据上述的实施方式,智能体装置100基于讲话者的年龄是否在规定年龄以下、讲话者是否是儿童来使车辆设备50的控制不同。因此,能够排除因儿童进行恶作剧、不经意的发言而向车辆设备50发出指令所造成的恶劣影响,因此能够更适当地判定可否对搭载于车辆的设备进行控制。
需要说明的是,上述的针对各车辆设备50的控制也可以分别组合来执行。另外,就控制部中的规定条件而言,可以组合上述的各种条件,也可以主导或随附地追加其他的条件。作为其他的条件,例如可以是时刻、地理条件、到目的地的距离、乘车时间、向车辆M乘车的人数、乘员彼此的关系、空调的状态、驾驶模式(例如通常模式和经济驾驶模式)、上述的条件的变化量、乘员(儿童)的状态(身体状况)、性别等。
另外,在上述的实施方式中,基于讲话者的特征来推定并取得讲话者的年龄的取得部132及判定讲话者的年龄是否在规定年龄以下的判定部134设置于智能体装置100。相对于此,具备取得部132及判定部134所具有的功能的装置可以设置于车辆M的其他的部分,也可以设置于车辆M以外的场所、例如外部服务器。在具有与取得部132及判定部134同样的功能的装置设置于外部服务器的情况下,可以将讲话者的特征向外部服务器提供,在外部服务器中生成讲话者的年龄是否在规定年龄以下的信息并将该信息向车辆M发送。这种情况下,控制部136可以利用发送来的讲话者的年龄是否在规定年龄以下的信息来执行车辆设备50的控制。
以上,使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (15)

1.一种车辆设备控制装置,其特征在于,具备:
控制部,其基于通过识别车辆的乘员的讲话而获得的指示的内容来控制搭载于所述车辆的设备;以及
取得部,其取得基于进行了所述讲话的乘员的特征而推定出的进行了所述讲话的乘员的年龄,
所述控制部在取得的所述乘员的年龄在规定年龄以下且规定条件成立的情况下限制所述设备的控制。
2.根据权利要求1所述的车辆设备控制装置,其中,
所述取得部取得基于根据图像获得的所述乘员的特征而推定出的进行了所述讲话的乘员的年龄,其中,所述图像是由摄像部拍摄到的图像。
3.根据权利要求1或2所述的车辆设备控制装置,其中,
所述取得部取得基于根据声音获得的乘员的特征而推定出的进行了所述讲话的乘员的年龄,其中,所述声音是由收音部收集到的声音。
4.根据权利要求1~3中任一项所述的车辆设备控制装置,其中,
所述设备是所述车辆的内部的多个座椅的调整机构,
所述规定条件为:所述指示涉及的设备不是所述多个座椅中的进行了所述讲话的乘员所就座的座椅。
5.根据权利要求1~4中任一项所述的车辆设备控制装置,其中,
所述设备是所述车辆的内部的照明装置,
所述规定条件为:所述车辆处于行驶中或者不是夜间。
6.根据权利要求1~5中任一项所述的车辆设备控制装置,其中,
所述设备是覆盖所述车辆的车窗的遮光罩,
所述规定条件为:所述车辆处于行驶中。
7.根据权利要求1~6中任一项所述的车辆设备控制装置,其中,
所述设备是所述车辆的内部的空调装置,
所述规定条件为:所述车辆的内部的温度小于规定温度。
8.根据权利要求1~7中任一项所述的车辆设备控制装置,其中,
所述设备是基于所述乘员的指示来动作的导航装置,
所述规定条件为:所述车辆处于行驶中。
9.根据权利要求1~8中任一项所述的车辆设备控制装置,其中,
所述设备是基于所述乘员的指示来动作的导航装置,
所述规定条件为:在所述导航装置中设定有车辆的目的地。
10.根据权利要求1~9中任一项所述的车辆设备控制装置,其中,
所述设备是后雨刷器,
所述规定条件为:天气为没有下雨。
11.根据权利要求1~10中任一项所述的车辆设备控制装置,其中,
所述设备是电动车门,
没有设定所述规定条件。
12.根据权利要求1~11中任一项所述的车辆设备控制装置,其中,
所述设备是声音通信装置,
所述规定条件为:被指示了开始通信的通信目标对象没有作为所述声音通信装置中的通信对象来登记。
13.根据权利要求1~12中任一项所述的车辆设备控制装置,其中,
所述设备是音响设备,
所述规定条件为:所述车辆处于行驶中。
14.一种车辆设备控制方法,其特征在于,该车辆设备控制方法使计算机执行如下处理:
基于通过识别车辆的乘员的讲话而获得的指示的内容来控制搭载于所述车辆的设备;
取得基于进行了所述讲话的乘员的特征而推定出的进行了所述讲话的乘员的年龄;以及
在取得的所述乘员的年龄在规定年龄以下且规定条件成立的情况下限制所述设备的控制。
15.一种存储介质,其特征在于,所述存储介质存储有程序,所述程序使计算机执行如下处理:
基于通过识别车辆的乘员的讲话而获得的指示的内容来控制搭载于所述车辆的设备;
取得基于进行了所述讲话的乘员的特征而推定出的进行了所述讲话的乘员的年龄;以及
在取得的所述乘员的年龄在规定年龄以下且规定条件成立的情况下限制所述设备的控制。
CN202010215643.3A 2019-03-27 2020-03-24 车辆设备控制装置、车辆设备控制方法及存储介质 Pending CN111762188A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-059877 2019-03-27
JP2019059877A JP7286368B2 (ja) 2019-03-27 2019-03-27 車両機器制御装置、車両機器制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN111762188A true CN111762188A (zh) 2020-10-13

Family

ID=72641337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010215643.3A Pending CN111762188A (zh) 2019-03-27 2020-03-24 车辆设备控制装置、车辆设备控制方法及存储介质

Country Status (2)

Country Link
JP (1) JP7286368B2 (zh)
CN (1) CN111762188A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115431919A (zh) * 2022-08-31 2022-12-06 中国第一汽车股份有限公司 一种控制车辆的方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023004437A (ja) * 2021-06-25 2023-01-17 株式会社デンソー 移動体用装置及び移動体用制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150054934A1 (en) * 2012-08-24 2015-02-26 Jeffrey T. Haley Teleproctor reports use of a vehicle and restricts functions of drivers phone
US20150081133A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Sales, U.S.A., Inc. Gesture-based system enabling children to control some vehicle functions in a vehicle
JP2015074315A (ja) * 2013-10-08 2015-04-20 株式会社オートネットワーク技術研究所 車載中継装置及び車載通信システム
CN104648383A (zh) * 2013-11-22 2015-05-27 福特全球技术公司 改进的自主车辆设置
KR101930462B1 (ko) * 2017-09-25 2018-12-17 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014024751A1 (ja) * 2012-08-10 2016-07-25 エイディシーテクノロジー株式会社 音声応答装置
JP2015089697A (ja) * 2013-11-05 2015-05-11 トヨタ自動車株式会社 車両用音声認識装置
JP2017081258A (ja) * 2015-10-23 2017-05-18 株式会社東海理化電機製作所 車両用操作装置
JP2018169506A (ja) * 2017-03-30 2018-11-01 トヨタ自動車株式会社 会話満足度推定装置、音声処理装置および会話満足度推定方法
KR20180130672A (ko) * 2017-05-30 2018-12-10 현대자동차주식회사 상황 기반 대화 개시 장치, 시스템, 차량 및 방법
JP2018207169A (ja) * 2017-05-30 2018-12-27 株式会社デンソーテン 機器制御装置及び機器制御方法
JP7235441B2 (ja) * 2018-04-11 2023-03-08 株式会社Subaru 音声認識装置及び音声認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150054934A1 (en) * 2012-08-24 2015-02-26 Jeffrey T. Haley Teleproctor reports use of a vehicle and restricts functions of drivers phone
US20150081133A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Sales, U.S.A., Inc. Gesture-based system enabling children to control some vehicle functions in a vehicle
JP2015074315A (ja) * 2013-10-08 2015-04-20 株式会社オートネットワーク技術研究所 車載中継装置及び車載通信システム
CN104648383A (zh) * 2013-11-22 2015-05-27 福特全球技术公司 改进的自主车辆设置
KR101930462B1 (ko) * 2017-09-25 2018-12-17 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115431919A (zh) * 2022-08-31 2022-12-06 中国第一汽车股份有限公司 一种控制车辆的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP7286368B2 (ja) 2023-06-05
JP2020157944A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US11211033B2 (en) Agent device, method of controlling agent device, and storage medium for providing service based on vehicle occupant speech
US11508368B2 (en) Agent system, and, information processing method
US11380325B2 (en) Agent device, system, control method of agent device, and storage medium
CN111681651B (zh) 智能体装置、智能体系统、服务器装置、智能体装置的控制方法及存储介质
CN111762188A (zh) 车辆设备控制装置、车辆设备控制方法及存储介质
CN111746435B (zh) 信息提供装置、信息提供方法及存储介质
CN111757300A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111717142A (zh) 智能体装置、智能体装置的控制方法及存储介质
JP7340943B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN111661065B (zh) 智能体装置、智能体装置的控制方法及存储介质
US11437035B2 (en) Agent device, method for controlling agent device, and storage medium
CN111731323A (zh) 智能体装置、智能体装置的控制方法及存储介质
US20200301654A1 (en) On-vehicle device, method of controlling on-vehicle device, and storage medium
CN111731320B (zh) 智能体系统、智能体服务器及其控制方法、存储介质
CN111667823B (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111754288A (zh) 服务器装置、信息提供系统、信息提供方法及存储介质
CN111559317B (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111752235A (zh) 服务器装置、智能体装置、信息提供方法及存储介质
JP2020152298A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN111739524B (zh) 智能体装置、智能体装置的控制方法及存储介质
CN111754999B (zh) 智能体装置及其控制方法、智能体系统、存储介质
JP7297483B2 (ja) エージェントシステム、サーバ装置、エージェントシステムの制御方法、およびプログラム
CN111824174A (zh) 智能体装置、智能体装置的控制方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination