CN111750885B - 控制装置、控制方法以及存储程序的存储介质 - Google Patents
控制装置、控制方法以及存储程序的存储介质 Download PDFInfo
- Publication number
- CN111750885B CN111750885B CN202010183695.7A CN202010183695A CN111750885B CN 111750885 B CN111750885 B CN 111750885B CN 202010183695 A CN202010183695 A CN 202010183695A CN 111750885 B CN111750885 B CN 111750885B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- control
- control unit
- rider
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 71
- 230000008451 emotion Effects 0.000 claims description 23
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 61
- 238000004458 analytical method Methods 0.000 description 48
- 230000007613 environmental effect Effects 0.000 description 42
- 230000008859 change Effects 0.000 description 40
- 238000012545 processing Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 230000006399 behavior Effects 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 239000000446 fuel Substances 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000010391 action planning Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000003205 fragrance Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 241001122315 Polites Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000037396 body weight Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000796 flavoring agent Substances 0.000 description 2
- 235000019634 flavors Nutrition 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001669679 Eleotris Species 0.000 description 1
- 108700018427 F 327 Proteins 0.000 description 1
- 208000008454 Hyperhidrosis Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 235000013334 alcoholic beverage Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 208000013460 sweaty Diseases 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种基于多方面的原因来进行路线生成的控制装置。获取与车辆的搭乘者有关的识别结果,获取与包含和根据识别结果而确定的路线有关的信息在内的车辆的周边环境有关的信息。基于识别结果和与周边环境有关的信息来生成车辆的行驶路线。
Description
技术领域
本发明涉及能够生成车辆的行驶路线的控制装置、控制方法以及存储程序的存储介质。
背景技术
近年来,已知有使用车辆的乘员的生物体信息的路线生成系统。在日本特开2014-235078号公报中,记载了判断驾驶员的疲劳度,并根据该判断结果来生成路线。
然而,在路线的生成的原因中不仅考虑疲劳度,还考虑各种各样的原因,这在提高搭乘者的便利性方面是不可缺少的。
发明内容
发明所要解决的问题
本发明提供基于多方面的原因进行路线生成的控制装置、控制方法以及存储程序的存储介质。
用于解决问题的手段
本发明的控制装置具备:第一信息获取单元,其获取与车辆的搭乘者有关的识别结果;第二信息获取单元,其获取与所述车辆的周边环境有关的信息;以及车辆控制单元,其基于由所述第一信息获取单元获取的所述识别结果和由所述第二信息获取单元获取的与所述周边环境有关的信息来生成所述车辆的行驶路线,与所述周边环境有关的信息包含与根据所述识别结果而确定的路线有关的信息。
本发明的控制方法是在控制装置中执行的控制方法,在所述控制方法中:获取与车辆的搭乘者有关的识别结果;获取与所述车辆的周边环境有关的信息;基于获取的所述识别结果和获取的与所述周边环境有关的信息来生成所述车辆的行驶路线,与所述周边环境有关的信息包含与根据所述识别结果而确定的路线有关的信息。
存储本发明的程序的存储介质是存储使计算机以如下方式来发挥功能的程序的计算机可读取的存储介质:获取与车辆的搭乘者有关的识别结果;获取与所述车辆的周边环境有关的信息;基于获取的所述识别结果和获取的与所述周边环境有关的信息来生成所述车辆的行驶路线,与所述周边环境有关的信息包含与根据所述识别结果而确定的路线有关的信息。
发明效果
根据本发明,能够基于多方面的原因来进行路线生成。
附图说明
图1A以及图1B是表示路线生成系统的构成的图。
图2是表示车辆用控制装置的构成的图。
图3是表示控制单元的功能块的图。
图4是表示服务器的构成的图。
图5是表示路线生成系统的处理的流程图。
图6是表示利用目的的推断的处理的流程图。
图7是表示环境设定的处理的流程图。
图8是表示路线设定的处理的流程图。
图9是表示监视说话内容的处理的流程图。
图10是表示监视车内图像的处理的流程图。
图11是表示监视行驶环境的处理的流程图。
图12是表示用户界面画面的图。
图13是表示用户界面画面的图。
图14是表示用户界面画面的图。
图15是表示用户界面画面的图。
附图标记说明
100:空间提供系统;101:服务器;102:网络;103:基站;104:车辆;300:控制部;314:存储部。
具体实施方式
以下,参照附图详细说明实施方式。此外,以下的实施方式并不限定权利要求书所涉及的发明,另外,在实施方式中说明的特征的组合不一定全部是发明所必须的。可以任意地组合在实施方式中说明的多个特征中的两个以上的特征。另外,对相同或者同样的构成标注相同的附图标记,并省略重复的说明。
图1A是表示本实施方式中的空间提供系统100的构成的图。如图1A所示,空间提供系统100包括服务器101、基站103以及车辆104。服务器101是能够向车辆104提供本实施方式的空间提供服务的服务器,对车辆104提供空间提供功能。车辆104能够经由服务器101与网络102进行通信,享受来自服务器101的空间提供服务。
基站103例如是设置在服务器101能够提供空间提供服务的区域内的基站,能够与车辆104相互通信。另外,服务器101构成为能够经由有线或无线、或者它们混合存在的网络102而与基站103相互进行通信。通过这样的构成,例如,车辆104能够向服务器101发送GPS位置信息等车辆信息,服务器101能够对车辆104发送导航画面数据等。另外,服务器101以及车辆104也能够与图1A所示的网络102以外的网络连接,例如能够与因特网连接。另外,服务器101能够获取预先登记的用户(与车辆104的搭乘者对应)的Web检索结果、SNS信息,并获取该用户的检索倾向等(喜好)。
空间提供系统100可以包括图1A所示以外的构成,例如,沿着道路设置的路侧设备也可以与网络102连接。这样的路侧设备能够通过例如DSRC(Dedicated Short RangeCommunication)与车辆104进行路与车之间通信,有时为了将车辆104的车辆信息转送给服务器101,有时为了将路面的状态信息(地面破裂等)发送给服务器101使用。
在图1A中,服务器101仅示出了一台,但也可以由多个装置构成。另外,在图1A中,仅示出了两个车辆104,但只要服务器101能够提供空间提供服务,则并不特别限定于图示的数量。
图1B是表示车辆104的搭乘者的情形的图。如图1B所示,在车辆104中,在驾驶席有工作人员110,在后部座位有搭乘者111(图上为四人)。在此,享受本空间提供服务的是搭乘者111,而不是工作人员110。在本实施方式中,搭乘者111乘坐于在服务器101的空间提供服务的提供区域内的规定地点停止的车辆104。搭乘者111并不限定于朝向某处的目的地这样的目的,而是例如寻找想要以四人来进行会议的场所的状态。本实施方式中的空间提供服务例如能够对该四个人提供车辆104的车内空间作为进行会议的空间。四人作为搭乘者111而乘入车辆104时,能够为了以规定的时间进行会议(所谓的商务目的),来使用车辆104的车内空间。另外,车辆104按照进行路线设定后的路线而行驶该规定的时间。在本实施方式中,路线设定不依赖于搭乘者111的操作而自动地设定。例如,在搭乘者111以商务目的来使用车辆104的车内空间的情况下,设定避开人群的路线,在以带入饮料的闲聊目的来使用的情况下,设定游览观光地等的路线。
工作人员110基本上不参与到后部座位的搭乘者111中,为了在紧急时进行车辆104的手动操作而在驾驶席待机。另外,工作人员110进行与车辆104的自动驾驶控制的状态相应的操作。例如,在根据车辆104的行驶路线而需要把持方向盘时,把持方向盘。另外,在有驾驶员的周边环境的监视义务或车辆系统的监视义务的情况下,进行各种监视。另外,当存在来自车辆行驶系统的驾驶主体的接管请求时,工作人员110进行接管。这样,通过使工作人员110待命,能够对搭乘者111给予安心感。另外,工作人员110也可以是搭乘者111中的一个人。即,车辆104能够采取被应用于汽车共享服务中的车辆的形态。
图2是本发明的一个实施方式所涉及的车辆用控制装置(行驶控制装置)的框图,对车辆1进行控制。图2的车辆1与图1A以及图1B的车辆104对应。在图2中,以俯视图和侧视图表示车辆1的概要。作为一个例子,车辆1是轿车型的四轮乘用车。
图2的行驶控制装置包括控制单元2。控制单元2包括通过车内网络连接为能够通信的多个ECU20~ECU29。各ECU包括以CPU为代表的处理器、半导体存储器等存储设备、以及与外部设备的接口等的计算机。在存储设备中储存处理器所执行的程序、处理器在处理中所使用的数据等。各ECU可以具备多个处理器、存储设备以及接口等。
以下,对各ECU20~ECU29担负的功能等进行说明。此外,关于ECU的数量、担负的功能,可以进行适当设计,可以比本实施方式更细分或者整合。
ECU20执行与车辆1的自动驾驶有关的控制。在自动驾驶中,对车辆1的转向和加速减速中的至少任一方进行自动控制。
ECU21控制电动动力转向装置3。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)来对前轮进行转向的机构。另外,电动动力转向装置3包括发挥对转向操作进行辅助、或者用于对前轮进行自动转向的驱动力的马达、检测转向角的传感器等。在车辆1的驾驶状态为自动驾驶的情况下,ECU21与来自ECU20的指示对应地自动控制电动动力转向装置3,控制车辆1的行进方向。
ECU22以及ECU23进行对车辆的周围状况进行检测的检测单元41~43的控制以及检测结果的信息处理。检测单元41是对车辆1的前方进行拍摄的摄像机(以下,有时表述为摄像机41),在本实施方式的情况下,安装在车辆1的车顶前部且前窗的车厢内侧。通过摄像机41拍摄到的图像的解析,例如能够提取目标的轮廓、道路上的车道的划分线(白线等)。
检测单元42是Light Detection and Ranging(LIDAR),对车辆1的周围的目标进行检测,或者对与目标之间的距离进行测距。在本实施方式的情况下,设置有五个检测单元42,在车辆1的前部的各角部各设置有一个,在后部中央设置有一个,在后部各侧方各设置有一个。检测单元43是毫米波雷达(以下,有时表述为雷达43),对车辆1的周围的目标进行检测,或者对与目标之间的距离进行测距。在本实施方式的情况下,设置有五个雷达43,在车辆1的前部中央设置有一个,在前部各角部各设置有一个,在后部各角部各有设置一个。
ECU22进行对一方的摄像机41和各检测单元42的控制以及检测结果的信息处理。ECU23进行对另一方的摄像机41和各雷达43的控制以及检测结果的信息处理。通过具备两组检测车辆的周围状况的装置,能够提高检测结果的可靠性,另外,通过具备摄像机、雷达等种类不同的检测单元,能够多方面地进行车辆的周边环境的解析。
ECU24进行对陀螺仪传感器5、GPS传感器24b、通信装置24c的控制以及检测结果或通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。能够根据陀螺仪传感器5的检测结果、车轮速度等判定车辆1的行进路线。GPS传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息、气象信息的服务器进行无线通信,来获取这些信息。ECU24能够访问在存储设备中构建的地图信息的数据库24a,ECU24进行从当前地到目的地的路径探索等。此外,也可以在数据库24a中构建上述交通信息、气象信息等数据库。
ECU25具备车与车之间通信用的通信装置25a。通信装置25a与周边的其他车辆进行无线通信,来进行车辆间的信息交换。通信装置25a具有各种通信功能,例如,专用短程通信(DSRC:Dedicated Short Range Communication)功能、蜂窝通信功能。通信装置25a也可以构成为包括发送接收天线的TCU(Telematics Communication Unit)。
ECU26对动力装置6进行控制。动力装置6是输出使车辆1的驱动轮旋转的驱动力的机构,例如包括发动机和变速器。ECU26例如与由设置于油门踏板7A的操作检测传感器7a检测到的驾驶员的驾驶操作(油门操作或者加速操作)对应地控制发动机的输出,或者基于车速传感器7c检测到的车速等信息来切换变速器的变速档。在车辆1的驾驶状态为自动驾驶的情况下,ECU26与来自ECU20的指示对应地自动控制动力装置6,从而控制车辆1的加速减速。
ECU27对包括方向指示器8(转向灯)的照明器件(前照灯、尾灯等)进行控制。在图2的例子的情况下,方向指示器8设置于车辆1的前部、车门镜以及后部。
ECU28进行输入输出装置9的控制。输入输出装置9进行对驾驶员的信息的输出和来自驾驶员的信息的输入的受理。语音输出装置91通过语音向驾驶员报告信息。显示装置92通过图像的显示向驾驶员报告信息。显示装置92例如配置于驾驶席正面,构成仪表盘等。此外,在此示例了语音和显示,但是也可以通过振动或光报告信息。另外,也可以组合语音、显示、振动或光中的多个来报告信息。进一步地,也可以根据须报告的信息的等级(例如紧急度),使组合不同,或者使报告方式不同。另外,显示装置92可以包括导航装置。
输入装置93配置于驾驶员能够操作的位置,是进行对车辆1的指示的开关组,但是也可以包括麦克风等语音输入装置。
ECU29控制制动装置10、驻车制动器(未图示)。制动装置10例如是盘式制动器装置,设置于车辆1的各车轮,通过对车轮的旋转施加阻力来使车辆1减速或停止。ECU29例如与由设置于制动踏板7B的操作检测传感器7b检测到的驾驶员的驾驶操作(制动操作)对应地控制制动装置10的动作。在车辆1的驾驶状态为自动驾驶的情况下,ECU29与来自ECU20的指示对应地对制动装置10进行自动控制,控制车辆1的减速以及停止。制动装置10、驻车制动器能够为了维持车辆1的停止状态而进行动作。另外,在动力装置6的变速器具备驻车锁定机构的情况下,也能够为了维持车辆1的停止状态而使其进行动作。
对ECU20所执行的与车辆1的自动驾驶有关的控制进行说明。当由驾驶员指示了目的地和自动驾驶时,ECU20按照由ECU24探索到的引导路线,朝向目的地对车辆1的行驶进行自动控制。在自动控制时,ECU20从ECU22以及ECU23获取与车辆1的周围状况有关的信息(外界信息)并进行识别,并基于获取的信息以及识别结果而对ECU21、ECU26以及ECU29进行指示,来对车辆1的转向、加速减速进行控制。
图3是表示控制单元2的功能块的图。控制部200与图2的控制单元2对应,包括外界识别部201、自身位置识别部202、车内识别部203、行动计划部204、驱动控制部205、设备控制部206。各功能块由图2所示的一个ECU或者多个ECU实现。
外界识别部201基于来自外界识别用摄像机207以及外界识别用传感器208的信号,来识别车辆1的外界信息。在此,外界识别用摄像机207例如是图2的摄像机41,外界识别用传感器208例如是图2的检测单元42、43。外界识别部201基于来自外界识别用摄像机207以及外界识别用传感器208的信号,识别例如交叉路口、铁路道口、隧道等场景、路肩等自由空间、其他车辆的行为(速度、行进方向等)。自身位置识别部202基于来自GPS传感器211的信号来识别车辆1的当前位置。在此,GPS传感器211例如与图2的GPS传感器24b对应。
车内识别部203基于来自车内识别用摄像机209及车内识别用传感器210的信号,识别车辆1的搭乘者,另外,识别搭乘者的状态。车内识别用摄像机209例如是设置在车辆1的车内的显示装置92上的近红外摄像机,例如,根据拍摄到的图像数据来检测搭乘者的视线的方向。另外,车内识别用传感器210例如是用于检测搭乘者的生物体信号并获取生物体信息的传感器。生物体信息例如是脉搏、心率、体重、体温、血压、出汗、睡眠信息这样的与生物体有关的信息。车内识别用传感器210例如可以从搭乘者的可穿戴设备获取这样的与生物体有关的信息。车内识别部203基于这些信号,识别搭乘者的瞌睡状态、驾驶以外的作业中的状态等。
行动计划部204基于外界识别部201、自身位置识别部202的识别结果来计划最佳路线、风险避免路线等车辆1的行动。行动计划部204例如进行基于交叉路口、铁路道口等的开始点、终点的进入判定、基于其他车辆的行为的预测结果的行动计划。驱动控制部205基于行动计划部204的行动计划,控制驱动力输出装置212、转向装置213、制动装置214。在此,驱动力输出装置212例如与图2的动力装置6对应,转向装置213与图2的电动动力转向装置3对应,制动装置214与制动装置10对应。
设备控制部206控制与控制部200连接的设备。例如,设备控制部206控制扬声器215、麦克风216,输出用于警告、导航的消息等规定的语音消息,检测车辆内的搭乘者发出的语音信号,获取语音数据。另外,例如,设备控制部206控制显示装置217,显示规定的界面画面。显示装置217例如与显示装置92对应。另外,显示装置217不仅包括显示器等方式,还包括投影到车内的壁面上的投影仪的方式。另外,例如,设备控制部206控制导航装置218,获取导航装置218中的设定信息。
设备控制部206控制空调装置219,调整车内的温度。另外,设备控制部206控制音频装置220,经由扬声器215播放音乐等。另外,设备控制部206控制香味空调装置221,在车内呈现出香味的空间。另外,设备控制部206控制窗开闭装置222,控制窗的开闭。在此,窗开闭装置222不仅包括窗,还包括遮光帘,由设备控制部206控制。另外,设备控制部206控制照明装置223,调整车内的照度。另外,设备控制部206控制搭乘者111的座椅的后倾角度等机构。
控制部200可以适当包括图3所示以外的功能块,例如,可以包括基于经由通信装置24c获取到的地图信息来计算到目的地为止的最佳路线的最佳路线计算部。另外,控制部200可以从图3所示的摄像机、传感器以外获取信息,例如,可以经由通信装置25a获取其他车辆的信息。另外,控制部200不仅接收来自GPS传感器211,还接收来自设置于车辆1的各种传感器的检测信号。例如,控制部200经由构成于车门部的ECU而接收设置于车辆1的车门部的车门的开闭传感器、车门锁止的机构传感器的检测信号。由此,控制部200能够检测车门的锁止解除、车门的开闭动作。
图4是表示服务器101的功能块构成的图。控制部300是包含CPU、GPU、ROM、RAM等存储器的控制器,统一地控制服务器101。服务器101可以是执行本发明的计算机。另外,在本实施方式中,能够成为控制装置的一例的服务器101的构成的至少一部分、或者服务器101的构成可以包含在车辆104中。即,作为控制装置的构成既可以构成于车辆104的内部,也可以构成于车辆104的外部,还可以构成为分散于车辆104的外部和内部这两者中并进行协作。例如,作为CPU的处理器301通过将存储在ROM中的控制程序加载到RAM中并执行该控制程序来实现本实施方式的动作。控制部300内的功能块例如也可以构成为包括GPU。显示部325例如是显示器,显示各种用户界面画面。操作部326例如是键盘或定点设备,并且接受用户操作。通信接口(I/F)327是用于实现与网络102通信的接口。例如,服务器101能够经由通信I/F327从车辆104获取如后所述的各种数据。
处理器301例如通过执行存储器302中存储的程序来统一地控制控制部300内的各功能块。例如,处理器301进行控制以获取来自车辆104的以下的各种数据,在获取后,指示对应的功能块使其进行解析。通信部303控制与外部的通信。外部不仅包括网络102,还包括其他网络。通信部303例如也能够与连接于网络102的车辆104、其他装置、与因特网、移动电话系统等其他网络连接的其他服务器通信。
车辆信息解析部304获取来自车辆104的车辆信息例如GPS位置信息、速度信息并对行为进行解析。语音识别部305基于车辆104的搭乘者所发出的语音信号被转换而发送的语音数据来进行语音识别处理。例如,语音识别部305将车辆104的搭乘者说出的单词分类为喜怒哀乐等情绪,将该分类结果与车辆信息解析部304的解析结果(车辆104的位置、时刻等)相关联地保存为用户信息319的语音识别结果320(语音信息)。在本实施方式中,设为搭乘者包括车辆104的搭乘者111。图像识别部306基于在车辆104内拍摄到的图像数据进行图像识别处理。在此,图像包括静止图像和动态图像。例如,图像识别部306根据车辆104的搭乘者的脸部图像来识别笑脸,并将该识别结果与车辆信息解析部304的解析结果(车辆104的位置、时刻等)相关联地保存为用户信息319的图像识别结果321(图像信息)。
状态信息解析部307对车辆104的搭乘者的状态信息进行解析。在此,状态信息包括脉搏、心率、体重等生物体信息。另外,状态信息包括关于车辆104的搭乘者进行了饮食的时刻、去了洗手间的时刻的信息。例如,状态信息解析部307将与车辆104的搭乘者的睡眠有关的信息、和车辆信息解析部304的解析结果(车辆104的位置、时刻等)相关联地保存为用户信息319的状态信息322。另外,例如,状态信息解析部307能够对状态信息322进行各种解析,例如检测是伴随翻身等移动的睡眠、还是没有移动的睡眠(熟睡状态)。
用户信息解析部308对存储在存储部314中的用户信息319进行各种解析。例如,用户信息解析部308基于用户信息319的语音识别结果320以及图像识别结果321来获取关于车辆104的行驶路线附近(例如,海边的车道)、车辆104到过的场所(目的地、途经地等)而由搭乘者说出的信息,或者根据交谈的音调、节奏、搭乘者的表情等来分析搭乘者的情绪。另外,例如,用户信息解析部308根据关于车辆104的行驶路线附近、车辆104到过的场所而搭乘者所讲话的内容、和从该时的语音识别结果320以及图像识别结果321获取到的情绪等分析对到过或行驶过的场所感到满足等这样的用户的喜好(偏好的倾向)。用户信息解析部308的解析结果被存储为用户信息319,并被用于例如目的地的选定和本空间提供服务结束之后的学习。
路线生成部309生成用于车辆104的行驶的路线。导航信息生成部310基于由路线生成部309生成的路线,生成用于在车辆104的导航装置218中显示的导航显示数据。例如,路线生成部309基于从车辆104获取的目的地,生成从当前地点到目的地的路线。在本实施方式中,例如,若在出发地通过导航装置218输入目的地,则基于反映了车辆104的搭乘者的喜好或者与搭乘者有关的信息,生成例如通过观光地点的路线。
地图信息311是与道路网、道路有关的设施等的信息,例如可以使用在导航功能等中所使用的地图数据库。交通信息312是与交通有关的信息,例如是基于拥堵信息、施工、事件等交通限制信息。环境信息313是与环境有关的信息,例如是气象信息(气温、湿度、天气、风速、及基于浓雾、降雨、降雪等的视野信息、灾害信息等)。另外,环境信息313还包括每个地域的人口密度、与设施等有关的属性信息。地图信息311、交通信息312、环境信息313例如可以从与网络102连接的其他服务器获取。
存储部314是用于对服务器101进行动作所需的程序、数据进行存储的存储区域。另外,存储部314基于从车辆104获取的车辆信息、从车辆104的搭乘者获取的用户信息来构成数据库315。
数据库315是设置有与车辆104有关的信息和与该车辆104的搭乘者有关的信息的数据库。即,在空间提供系统100中,当某个车辆104从出发地行驶到目的地时,将与该车辆104有关的信息和与该车辆104的搭乘者有关的信息作为集合(set)存储在数据库315中。即,在数据库315中,包含关于某车辆104的车辆信息316以及用户信息319的集合、关于其他车辆104的车辆信息323以及用户信息324的集合这样的多组集合。另外,即使相同的搭乘者在其他日期搭乘在车辆104上的情况下,也保存为不同的组的集合。
车辆信息316包含行驶信息317、能源相关信息318。行驶信息317例如是车辆104的GPS位置信息、速度信息、路线信息,能源相关信息318是车辆104的燃料的余量、车载电池的剩余容量。用户信息319包括上述语音识别结果320、图像识别结果321、状态信息322。此外,用户信息解析部308的分析结果也被存储为用户信息319。车辆信息316和用户信息319在车辆104从出发地行驶到目的地的期间被随时更新。此外,即使在本空间提供服务的结束后,车辆信息316和用户信息319也保持在数据库315中,并且用于用户信息解析部308的学习。
例如,在空间提供服务的结束后,用户信息解析部308基于数据库315中保存的车辆信息316以及用户信息319,学习车辆104的搭乘者进行了饮食的时刻、去洗手间的频度、间隔的倾向。而且,例如,在下次的空间提供服务的执行时,路线生成部309使用该学习结果来生成路线。例如,在学习到搭乘者去洗手间的频度比较多的情况下,路线生成部309在提供下次的空间提供服务时,根据到目的地为止的距离所花费的时间,以经由休息地点的方式来生成的路线。
图5是表示本实施方式中的路线生成系统的处理的流程图。图5的处理例如通过控制部300的处理器301(例如CPU)将存储于ROM的程序加载到RAM并执行来实现。另外,图5的处理例如在四人作为搭乘者111乘坐于车辆104时开始。
在S101中,控制部300若识别到搭乘者111已乘车到车辆104,则使图12所示那样的开始画面400显示于车辆104的显示装置217或者车内的壁面上。开始画面400是用于通知开始本空间提供服务的画面,作为消息401而显示“将为您提供与目的相应的舒适的空间。请阅读以下的章程,若可以则请按下”同意”按钮。”这样的消息。
在本实施方式中,当搭乘者111进行乘车时,根据该搭乘者的外貌、交谈,来推断使用本空间提供服务的目的。即,由于需要执行搭乘者的图像识别处理、语音识别处理的时间,因此在S101中,控制部300在与搭乘者111之间进行从图12所示的开始画面开始的对话。该对话既可以是画面上的对话,也可以是语音对话,还可以是它们的混合。以下,设为画面显示来进行说明。
图12表示了显示有章程402的情形。章程402是污染了车内的情况等为了开始本空间提供服务而需要同意的内容。搭乘者111在同意这些内容的情况下,按下”同意”按钮404。另外,在不能同意的情况下,按下”取消”按钮403。在按下”取消”按钮403的情况下,结束本空间提供服务。
图13是表示在按下”同意”按钮404之后显示的画面的一个例子的图。在图13的画面500中,作为消息501而显示“请输入利用时间。若可以,则请按下”确认”按钮。”这样的消息。搭乘者111能够在项目502中输入利用开始时刻以及利用结束时刻。当按下”确认”按钮504时,显示下一画面。此外,当按下”取消”按钮503时,画面500上的输入内容被取消。在开始画面400之后显示的画面不限于画面500,例如也可以显示能够输入从服务器101预先发行的ID、密码这样的信息的画面。
在显示图12、图13的画面并进行与搭乘者111的对话的期间,控制部300通过语音识别部305基于搭乘者111说出的语音数据来进行语音识别处理,并通过图像识别部306基于拍摄到搭乘者111的图像数据来进行图像识别处理。因此,例如,控制部300进行搭乘者111的人数、性别、年龄层的识别。性别、年龄层可以从脸部图像中识别,也可以根据搭乘者111的持有物品或珠宝饰品等的事项(item)的检测来识别。另外,控制部300在根据图像识别结果识别出搭乘者111为一人的情况下,显示图14所示的画面。
在图14的画面600中,作为消息601而显示“好像是一个人,是用于小睡的目的吗?”这样的消息。这是用于确认小睡目的的对话。在本实施方式中,基本上不借助搭乘者111的操作而进行空间提供服务的利用目的的推断,但关于小睡目的这样的、难以在搭乘者111的乘车时进行推断的目的,如画面600那样通过对话来进行确认。控制部300根据按钮602或按钮603的按下,而识别是否为小睡目的。
图6是表示S102的利用目的的推断处理的流程图。在S201中,控制部300通过图像识别部306基于拍摄到搭乘者111的图像数据来进行图像识别处理。另外,在S202中,控制部300通过语音识别部305基于搭乘者111说出的语音数据来进行语音识别处理。
在S203中,控制部300判定搭乘者111的人数是否是一人。在此,在判定为是一人的情况下,在S204中,控制部300为了确认是一人,向搭乘者111进行询问。这里的询问例如是图14的画面600的显示。例如,在画面600上按下“是”按钮603的情况下,处理进入S206,并且控制部300将该空间提供服务的使用目的推断为小睡目的。另一方面,在按下“否”按钮602的情况下,处理进入S207。
在S207中,控制部300通过图像识别部306,基于拍摄到搭乘者111的图像数据进行图像识别处理,并进行搭乘者111的穿着用品的分析。穿着用品的分析例如基于颜色分布和形状来进行,其分析结果例如被分类为套装、领带、商务鞋(labeling,标示)。
在S208中,控制部300通过图像识别部306,基于拍摄到搭乘者111的图像数据来进行图像识别处理,并进行搭乘者111的事项的分析。事项的分析例如基于颜色分布、光泽判定、形状进行,其分析结果例如被分类为珠宝饰品、笔记本电脑(labeling,标示)。
在S209中,控制部300基于语音识别部305的语音识别结果来分析搭乘者111的语音。例如,分析在搭乘者111之间交谈的谈话中的敬语、礼貌语的出现率。另外,可以分析搭乘者111的说话的词尾。
在S210中,控制部300基于图像识别部306的图像识别结果来分析搭乘者111的行为。例如,检测搭乘者111的“请”和将手伸出的举止、行礼这样的动作。
在S211中,控制部300基于S207~S210的分析结果,进行搭乘者111的利用目的的推断。例如,将利用目的推断为商务目的的情况为如下。在S207的穿着用品分析的结果为检测到规定的穿着用品、例如套装、商务便装(夹克、衬衫、长裤、领带)、皮鞋的情况下,推断为商务目的。另外,在S208的事项分析的结果为检测到规定的事项例如商务包、手提箱、笔记本电脑、胸附近处的ID卡的情况下,推断为商务目的。另外,在S209的语音分析的结果为认为敬语、礼貌语的出现率较高的情况下,推断为商务目的。另外,在S210的行为分析的结果为认为行礼这样的动作的出现率较高的情况下,推断为商务目的。
例如,将利用目的推断为闲聊目的的情况为如下。在S207的穿着用品分析的结果为检测到规定的穿着用品例如便服、休闲鞋的情况下,推断为闲聊目的。另外,在S208的事项分析的结果为检测到规定的事项例如背包、商务包以外的包、酒精饮料的情况下,推断为闲聊目的。另外,可以在未检测到事项的情况下推断为闲聊的目的。另外,在S209的语音分析、图像分析的结果为认为具有仅在例如亲属的人物之间交谈的特征量的说话(使词尾拉长等)以及举止(搭肩等)的情况下,推测为闲聊目的。
在上述那样的推断中也可以设置优先度。例如,可以如商务目的>闲聊目的那样预先规定优先度,在各分析结果中无法识别商务目的的原因的情况下,推断为闲聊目的。这是因为,在穿着用品、事项、语音、行为中,商务目的的原因与闲聊目的的原因相比,特征量的变化少,从而认为特征量的提取较容易。另外,也可以综合S207~S210的各分析结果和其他原因来进行推断。例如,在即使从S207~S210的各分析结果而推断为商务目的的情况下,但当前的时刻信息为规定的时间段、例如18:00以后的情况下,可以推断为闲聊目的。另外,在S209的语音分析的结果为检测到能够明确地解释目的的单词的情况下,可以将其分析结果设为最高优先度来进行推断。另外,不仅是各目的推断,还可以对伴随各目的的信息进行推断。例如,可以基于关于皮肤、头发、瞳孔的颜色、背包等事项进行图像识别的结果,推断为“外国人的娱乐目的”。
如上所述,在本实施方式中,将利用目的的推断设为商务目的、闲聊目的、小睡目的的三种,但并不限定于此,也可以推断其他目的例如派对、特定的事件(万圣节等)这样的目的。例如,控制部300根据推断对象的目的,预先学习神经网络的参数,以能够分类为规定的穿着用品、事项。
再次参照图5。在S103中,控制部300进行车辆104的车内的环境设定。
图7是表示S103的环境设定的处理的流程图。在S301中,控制部300获取利用目的的推断结果。然后,通过以后的处理,设定车辆104的车内的环境。
在S302中,控制部300设定车辆104的车内的空调,向车辆104的控制部200发送该设定数据。例如,在利用目的的推断结果为商务目的的情况下,根据环境信息,例如,若是夏季,则设定为22℃,若是冬季则设定为25℃。例如,在利用目的的推断结果为闲聊目的的情况下,若是夏季,则设定为28℃,若是冬季则设定为20℃。例如,在利用目的的推断结果为小睡目的的情况下,设定为比闲聊目的的情况低1~2℃。另外,作为空调的参数,并不限于上述的温度,也可以设定湿度等其他参数。车辆104的控制部200基于接收到的设定数据,通过设备控制部206控制空调装置219。
在S303中,控制部300设定在车辆104的车内播放的BGM以及音量,并向车辆104的控制部200发送该设定数据。例如,在利用目的的推断结果为闲聊的目的的情况下,根据一般已知的排序等选择BGM。例如,在利用目的的推断结果是商务目的的情况下,设定作业用的BGM。例如,在使用目的的推断结果是小睡目的的情况下,设定放松用的BGM。另外,音量可以根据利用目的而变化,例如,可以在小睡目的的情况下设为最小。车辆104的控制部200基于接收到的设定数据,通过设备控制部206控制音频装置。
在S304中,控制部300设定在车辆104的车内显示的影像,并向车辆104的控制部200发送该设定数据。例如,在利用目的的推断结果为商务目的的情况下,以使车内的壁面成为单调类的色调的方式进行投影。例如,在利用目的的推断结果为闲聊的目的的情况下,设为投影到车内的壁面上的图案随着时间的经过而变化。例如,在小睡目的的情况下,以将车内的壁面作为暗系的色调的方式进行投影。另外,可以根据搭乘者111的性别、年龄层而使其变化。例如,在利用目的的推断结果为闲聊目的、且搭乘者111全员为女性的情况下,可以以看起来是木质的咖啡风格的壁面的方式进行投影。车辆104的控制部200基于接收到的设定数据,通过设备控制部206控制显示装置217。
在S305中,控制部300设定在车辆104的车内呈现的香味空调,并向车辆104的控制部200发送该设定数据。例如,在利用目的的推断结果为闲聊目的、小睡目的的情况下,使放松效果高的香味流动。例如,在利用目的的推断结果为商务目的的情况下,使集中效果高的香味流动。车辆104的控制部200基于接收到的设定数据,通过设备控制部206控制香味空调装置221。
在S306中,控制部300设定车辆104的窗以及遮光帘的开度,并向车辆104的控制部200发送该设定数据。例如,在利用目的的推断结果为商务目的、小睡目的的情况下,关闭窗户并使遮光帘完全地下降。例如,在利用目的的推断结果为闲聊目的的情况下,使遮光帘完全地升高。另外,可以根据天气等环境信息来进行窗的开度的控制。车辆104的控制部200基于接收到的设定数据,通过设备控制部206控制窗开闭装置222。
在S307中,控制部300设定车辆104的车内的照度,并向车辆104的控制部200发送该设定数据。例如,在利用目的的推断结果为小睡目的的情况下,可以设定为比商务目的、闲聊目的更暗淡。另外,在小睡目的的情况下,可以根据搭乘者111的用户信息319、例如与睡眠有关的信息(睡眠深度等)、图像识别结果,而调整为使照度平缓地降低。车辆104的控制部200基于接收到的设定数据,通过设备控制部206控制照明装置223。
S307之后,结束图7的处理。另外,车辆104的车内的环境设定的处理不限于S302~S307的处理,也可以进行其他处理。此外,可以根据环境信息来调整S302至S307。例如,在S304的影像设定中,可以是若车辆104的行驶路线通过观光景点的路线,就显示其说明等。另外,在S303的BGM设定中,可以是根据车辆104的行驶路线(人群的多/少的场所)、时间段(白天或者夜间)来变更其音量。
再次参照图5。在图7的处理之后,在S104中,控制部300进行车辆104的车内的路线设定。
图8是表示S104的路线设定的处理的流程图。在S401中,控制部300获取利用目的的推断结果。在S402中,控制部300基于利用开始时刻和利用结束时刻来获取利用时间。例如,控制部300获取在画面500的项目502中输入的利用开始时刻和利用结束时刻。
在S403中,控制部300基于在S401中获取的利用目的的推断结果和在S402中获取的利用时间,从地图信息311、交通信息312、环境信息313中获取地图信息、交通信息、环境信息。在S404中,控制部300决定车辆104的行驶路线。
控制部300基于利用目的的推断结果以及利用时间,探索车辆104的能够行驶的路线。在商务目的的情况下,认为搭乘者111看车外的机会较少。即,重要的是不因振动妨碍车内的搭乘者111的作业。因此,在这样的目的的情况下,例如,首先,搜索能够以利用时间以及车辆104的燃料余量或者车载电池的剩余容量兜转回来的路线。然后,当搜索出多个路线时,从其中优先选择地形起伏少的路线。另外,在小睡目的的情况下,认为搭乘者111完全没有看车外的机会。即,重要的是不因振动、噪音等妨碍在车内的搭乘者111的睡眠。因此,在这样的目的的情况下,例如,首先,搜索能够以利用时间以及车辆104的燃料余量或者车载电池的剩余容量兜转回来的路线。然后,当搜索出多个路线时,从其中优先选择更为附加条件的路线,以相比商务目的情况使噪音等外部环境不会对内部造成影响。例如,优先选择起伏少且人数少(例如远离人群(远离市区)的场所等)路线。另外,在闲聊目的的情况下,认为搭乘者111看车外的机会较多。即,重要的是能够欣赏风景等的路线。因此,在这样的目的的情况下,例如,首先,搜索能够以利用时间以及车辆104的燃料余量或者车载电池的剩余容量兜转回来的路线。然后,当搜索出多个路线时,从其中优先选择观光地等与利用目的以及搭乘者111的识别结果(例如是外国人等)相应的POI(Point of Interest)较多的路线。
此外,在上述中,作为周边的路线的搜索,对搜索能够以利用时间以及车辆的燃料余量或者车载电池的剩余容量兜转回来的路线的情况进行了说明,但搜索路线的对象区域也可以如下地决定。例如,可以将以车辆为中心而预先设定的半径内、车辆所处的地方、县、市等的城市区域内作为对象区域。另外,例如,可以将基于搭载于车辆的燃料余量、车载电池的剩余容量的可行驶范围设为对象区域。另外,例如,在车辆为共享汽车的情况下可以将预测为在搭乘者预约的时间内能够到达的可行驶范围作为对象区域。
在行驶路线的设定中,可以使用图6的S201的图像识别结果、S202的语音识别结果。例如,在识别的结果为搭乘者111为外国人的情况下,选择较多经由观光地那样的路线。另外,在行驶路线的设定中,可以使环境信息的重要度变化。例如,认为在商务目的、小睡目的的情况下,即使是拥堵状况,对利用目的的达成的影响也小,但在闲聊目的的情况下,若是拥堵状况则其影响比较大。因此,在闲聊目的的情况下,将上述路线的选择中的拥堵信息的重要度设定为比商务目的、小睡目的的情况高,并以避开拥堵的可能性高的路线的方式进行路线设定。另外,在利用目的的推断结果为商务目的的情况下,且利用时间如四小时那样较长的情况下,例如设定路线以每隔1小时30分钟经由休息场所。
控制部300在设定了路线之后,向车辆104的控制部200发送图15的画面700的画面数据。车辆104的控制部200基于接收到的画面数据,通过设备控制部206使显示装置217显示。在画面700中例如显示了“设定了路线。所需时间为1小时00分。”这样的消息701。这里的“1小时00分”与根据在图13的画面500的项目502中输入的内容获取的利用时间对应。另外,在地图702中显示作为车辆104的当前位置的标记703和在图8中设定的路线704。在本实施方式中,如路线704那样,车辆104被设定为兜转而回到原来的位置那样的路线,但也可以设定为能够设定目的地。例如,在S101中,当在画面500上按下“确认”按钮504时,可以显示用于设置目的地的画面。当按下按钮706时,开始本空间提供服务,并且当按下按钮705时,结束本空间提供服务。
在图8的处理之后,在图5的S105中,控制部300判定是否开始本空间提供服务的提供。例如,当按下图15中的按钮706时,控制部300确定开始提供本空间提供服务,并且处理进入S106。另一方面,例如,如果按下了图15的按钮705,则判定为不开始本空间提供服务的提供,而结束图5的处理。
在S106中,控制部300对车辆104的控制部200发送沿着在图8中设定的行驶路线的车辆的行驶指示。然后,车辆104的控制部200基于接收到的行驶指示,进行控制以开始车辆104的行驶。
在S107中,控制部300判定是否产生了紧急原因。此处的紧急原因是不得不中止本空间提供服务的提供的原因,例如是灾害等紧急事态的发生。控制部300在通过来自车辆104的通信或者地图信息311、交通信息312、环境信息313的监视而识别出例如地震等的发生的情况下,对车辆104的控制部200发送本空间提供服务的中止的指示。然后,在S108中,车辆104的控制部200基于接收到的中止指示,进行车辆104的行驶的代替控制。作为代替控制,例如,车辆104的控制部200向工作人员110请求驾驶主体的接管。或者,作为代替控制,车辆104的控制部200控制车辆104的行驶,以停止在路肩等自由空间。在S108之后,结束图5的处理。
在S107中判定为未产生紧急原因的情况下,进入S109,控制部300判定是否产生了变更车辆104的车内的环境的原因。以下,对环境变更的原因的产生的判定进行说明。
图9、图10、图11是表示判定是否发生了环境变更的原因的处理的流程图。图9~图11在车辆104享受本空间提供服务的期间、即车辆104在路线704上行驶的期间随时进行。即,车辆104除了车辆信息之外,还将通过例如车内识别用摄像机209、车内识别用传感器210、以及麦克风216获取到的数据随时发送到服务器101,服务器101的控制部300通过解析发送的这些数据,来进行图9~11的处理。
图9是表示由服务器101进行的说话内容的监视的处理的流程图。例如,通过控制部300的处理器301(例如CPU)将存储在ROM中的程序加载到RAM中并执行该程序来实现图9中的处理。
在S501中,控制部300通过语音识别部305基于从车辆104发送的语音数据进行语音识别处理。在S502中,控制部300判定通过语音识别处理识别出的说话内容中是否存在与喜怒哀乐的情绪建立了关联的说话内容。与喜怒哀乐的情绪建立了关联的说话内容例如是“高兴”、“悲伤”这样的单词(或者短语、句子),在识别到这样的单词的情况下,判定为存在与情绪建立了关联的说话内容。另一方面,在仅由地名或事实构成的情况下,例如若是“这里是1号地址”或“向右转弯”等说话内容,则判定为不存在与情绪建立了关联的说话内容。在判定为存在与情绪建立了关联的说话内容的情况下,进入S503,控制部300将说话内容分类为规定的各情绪,在S504中,作为用户信息319的语音识别结果320而保存在存储部314中。此时,语音识别结果320例如如“(车辆104的位置=纬度X、经度Y)”(时刻=10:30)、情绪分类A(识别高兴的情绪的符号)”那样与车辆信息相关联地保存。通过这样的构成,与车辆104行驶的区域对应地保存该搭乘者的情绪信息,因此,例如在沿着海的车道上行驶时,能够存储该搭乘者为快乐的情绪这一情况。在S502中判定为不存在与情绪建立了关联的说话内容的情况下,重复进行从S501起的处理。
在S505中,控制部300根据通过语音识别处理识别出的说话内容,判定是否检测到与温度有关的说话内容。在此,与温度有关的说话内容例如是“热”或“冷”这样的单词(或者短语、句子)。在判定为检测到与温度有关的说话内容的情况下,进入S510,控制部300判定为产生了环境变更的原因。在该情况下,在图5的S109中判定为产生了环境变更的原因而进行S110的处理,另一方面,在图9中,重复进行从S501起的处理。在S505中判定为未检测出与温度有关的说话内容的情况下,进入S506。
在S506中,控制部300根据通过语音识别处理识别出的说话内容,判定是否检测到与声音有关的说话内容。在此,与声音有关的说话内容例如是“吵闹”、“安静”这样的单词(或者短语、句子)。在判定为检测到与声音有关的说话内容的情况下,进入S510,控制部300判定为产生了环境变更的原因。在该情况下,在图5的S109中判定为产生了环境变更的原因而进行S110的处理,另一方面,在图9中,重复进行从S501起的处理。在S506中判定为未检测到与声音有关的说话内容的情况下,进入S507。
在S507中,控制部300判定是否从通过语音识别处理识别的讲话内容中检测到与气味有关的讲话内容。在此,与气味有关的说话内容例如是“有怪味”这样的单词(或者短语、句子)。在判定为检测到与气味有关的说话内容的情况下,进入S510,控制部300判定为产生了环境变更的原因。在该情况下,在图5的S109中判定为产生了环境变更的原因而进行S110的处理,另一方面,在图9中,重复进行从S501起的处理。若在S507中判定为没有检测到与气味有关的讲话内容,则处理进入S508。
在S508中,控制部300根据通过语音识别处理识别出的说话内容,判定是否检测出与亮度有关的说话内容。在此,与明亮度有关的说话内容例如是“太亮”、“太暗”这样的单词(或者短语、句子)。在判定为检测到与明亮度有关的说话内容的情况下,进入S510,控制部300判定为产生了环境变更的原因。在该情况下,在图5的S109中判定为产生了环境变更的原因而进行S110的处理,另一方面,在图9中,重复进行从S501起的处理。在S508中判定为未检测出与亮度有关的说话内容的情况下,进入S509。
在S509中,控制部300判定语音识别结果是否符合环境变更的原因。例如,控制部300在判定为利用目的的推断结果为闲聊目的、且根据语音的音调、音量、节奏而判定为搭乘者间的交谈变得热烈的情况下,判定为为了调整车内的温度、声音、亮度,而产生了环境变更的原因。另外,例如,控制部300在检测到“想去洗手间”等单词的情况下,判定为产生了环境变更的原因。在判定为语音识别结果符合环境变更的原因的情况下,进入S510,控制部300判定为产生了环境变更的原因。在该情况下,在图5的S109中判定为产生了环境变更的原因而进行S110的处理,另一方面,在图9中,重复进行从S501起的处理。在S509中判定为语音识别结果不符合环境变更的原因的情况下,重复S501的处理。
图10是表示由服务器101进行的说话内容的监视的处理的流程图。例如,通过控制部300的处理器301(例如CPU)将存储在ROM中的程序加载到RAM中并执行该程序来实现图10中的处理。
在S601中,控制部300通过图像识别部305,基于从车辆104发送的图像数据进行图像识别处理。在S602中,控制部300将图像识别处理的识别结果中与规定的情绪相关的识别结果作为用户信息319的图像识别结果321保存在存储部314中。此时,图像识别结果321例如如“(车辆104的位置=纬度X、经度Y)”(时刻=13:00)、情绪分类A(识别高兴的情绪的符号)”那样与车辆信息相关联地保存。
例如,在S602中,也可以进行笑脸判定。由于认为在喜怒哀乐那样的情绪的分类方面,语音的识别性比图像更高,因此在S602中,进行认为在情绪中识别性较高的笑脸判定。然而,也可以将图像识别结果分类为规定的各情绪。
在S603中,控制部300判定图像识别处理的识别结果是否检测到规定的行为。例如,控制部300在检测到与空调设定有关的“扇动”、“擦汗”、“穿上上衣”等行为的情况下,或检测到与照度设定有关的“眯缝眼”、“皱眉”等行为的情况下,进入S605,控制部300判定为产生了环境变更的原因。在该情况下,在图5的S109中判定为产生了环境变更的原因而进行S110的处理,另一方面,在图10中,重复进行从S601起的处理。在S603中判定为未检测到规定的行为的情况下,进入S604。
在S604中,控制部300判定图像识别结果是否符合环境变更的原因。例如,控制部300在利用目的的推断结果为闲聊的目的、且根据搭乘者的脸部图像判定为笑脸的出现次数增加的情况下,判定为为了调整车内的温度、声音、亮度,产生了环境变更的原因。在判定为图像识别结果符合环境变更的原因的情况下,进入S605,控制部300判定为产生了环境变更的原因。在该情况下,在图5的S109中判定为产生了环境变更的原因而进行S110的处理,另一方面,在图10中,重复进行从S601起的处理。在S604中判定为图像识别结果不符合环境变更的原因的情况下,重复S601的处理。
图11是表示由服务器101进行的行驶环境的监视的处理的流程图。例如,通过控制部300的处理器301(例如CPU)将存储在ROM中的程序加载到RAM中并执行该程序来实现图11中的处理。
在S701中,控制部300从车辆104获取车辆信息。车辆信息例如是GPS位置信息、速度信息、燃料的余量、车载电池的剩余容量等能源相关信息。另外,控制部300基于所获取的车辆信息来获取交通信息。例如,控制部300从交通信息312获取车辆104的位置周边的拥堵信息。另外,控制部300基于所获取的车辆信息,来获取环境信息。例如,控制部300从环境信息313获取观光地的信息。
在S702中,控制部300判定车辆信息解析部304进行的车辆信息的解析的结果是否为振动等级是阈值以上。在此,振动是指例如根据路面状态而在车辆104产生的振动。在判定为振动等级是阈值以上的情况下,进入S705,且控制部300判定为产生了环境变更的原因。在该情况下,在图5的S109中判定为产生了环境变更的原因而进行S110的处理,另一方面,在图11中,重复进行从S701起的处理。在S702中判定为振动等级不是阈值以上的情况下,进入S703。
在S703中,控制部300判定由车辆信息解析部304进行的车辆信息的解析的结果是否为噪音等级是阈值以上。在此,噪音等级例如是施工现场的声音。在判定为噪音等级为阈值以上的情况下,进入S705,且控制部300判定为产生了环境变更的原因。在该情况下,在图5的S109中判定为产生了环境变更的原因而进行S110的处理,另一方面,在图11中,重复进行从S701起的处理。在S703中判定为噪音等级不是阈值以上的情况下,进入S704。
在S704中,控制部300判定行驶环境是否满足条件。例如,在车辆104在景点附近行驶的情况下,判定为产生了环境变更的原因。在判定为行驶环境满足条件的情况下,进入S705,控制部300判定为产生了环境变更的原因。在该情况下,在图5的S109中判定为产生了环境变更的原因而进行S110的处理,另一方面,在图11中,重复进行从S701起的处理。在S704中判定为行驶环境不满足条件的情况下,重复进行从S701起的处理。
再次参照图5。在S109中判定为产生了环境变更的原因的情况下,进入S110,控制部300分析所产生的环境变更的原因。
在S110的分析中,控制部300基于图9~图11的各判定结果分别或者它们的组合,决定用于解决所产生的环境变更的原因的控制。在此,决定的控制包括用于变更车辆104的车内的环境的控制、车辆104的行驶的控制。
例如,在S505中检测到与温度有关的说话(例如“热”),在S603中检测到“扇动”动作的情况下,决定为进行控制来降低车内的温度。例如,在S506中检测到与声音有关的说话(例如“声音太大”)的情况下,决定为进行控制来降低音响装置220的音量。例如,在S508中检测到与亮度有关的说话(例如“晃眼”),在S603中检测到“皱眉”的动作的情况下,决定为进行控制来降低车内的照度。另外,例如,在利用目的的推断结果为闲聊目的的情况下,作为S704的判定结果而判定为车辆104接近了景点的情况下,决定为控制为在车辆104的车内的壁面显示关于该景点的说明。另外,作为S110的分析的结果,例如在S509、S604中判定为搭乘者间的交谈变得热烈的情况下,控制部300可以决定为进行用于烘托车内环境的控制。例如,在这种情况下,控制部300决定控制为将BGM变更为快节奏的乐曲。
在S110的分析的结果为在S702中判定为振动为阈值以上的情况下,在S703中判定为噪音在阈值以上的情况下,控制部300决定为控制为进行例如绕过噪音的产生场所等车辆104的行驶路线的变更。另外,例如,作为S509的判定结果,在检测到“想去洗手间”这样的单词的情况下,控制部300基于地图信息311、交通信息312、环境信息313,而决定为进行控制来为了经由休息地而进行行驶路线的变更。另外,例如,在S509、S604中识别出搭乘者间的交谈减少的、彼此目光不交汇这样的情形的情况下,根据用户信息319(包含其他用户)的学习结果,而决定为控制为变更至笑脸的出现次数多的行驶路线。另外,例如,在利用目的的推断结果为闲聊目的的情况下,作为S704的判定结果,在判定为车辆104接近了景点的情况下,决定为进行控制以使车辆104的行驶速度减速。
在S111中,控制部300将用于将所决定的控制的内容通知给搭乘者111的数据发送至车辆104的控制部200。车辆104的控制部200基于接收到的数据,向显示装置217通知消息。在此,通知的消息例如是指“使温度降低。”这样的搭乘者111能够对控制的内容进行确认的消息。然后,在S112中,控制部300对车辆104的控制部200发送用于进行所决定的控制的设定数据。车辆104的控制部200基于接收到的设定数据,通过设备控制部206控制各设备。或者,车辆104的控制部200基于接收到的设定数据来控制车辆104的行驶(路线变更、速度控制)。在S112之后,重复S107的处理。另外,在S112中的车辆104的车内的环境变更之后,可以如例如“降低了温度。感觉如何?”这样地,通过画面上的对话或语音对话来接受进一步的变更的迫切期望。
在S109中判定为没有产生环境变更的原因的情况下,进入S113,控制部300判定是否接近本空间提供服务的结束时机。例如,控制部300在车辆104接近了利用结束时刻的情况下、接近目的地的情况下判定为接近结束时机。在判定为接近结束时机的情况下,进入S114,控制部300指示车辆104的控制部200进行向搭乘者111的通知。另一方面,在判定为未接近结束时机的情况下,重复进行从S107起的处理。
S114中的通知例如通过由显示装置217、扬声器215输出结束时机接近的意思的消息来进行。另外,可以通过由音频装置220变更BGM来进行。另外,在利用目的的推测结果为小睡目的的情况下,可以通过改变座椅的后倾角度、使照明装置223的照度变化来进行。
在S115中,控制部300判定是否结束本空间提供服务。例如,控制部300在识别出车辆104已停车时,使显示装置217显示“结束服务。”这样的消息,接受确认的意思。若接受了这样的确认的意思,则结束图5的处理。
如上所述,根据本实施方式,基于与乘车至车辆104的搭乘者111有关的各种识别结果、搭乘者111的迫切期望(利用时间等),不借助搭乘者111的操作而自动地设定车辆的行驶路线、车辆内的空间。另外,根据车辆行驶中的搭乘者111的监视结果,变更车辆104的车内环境,或者变更行驶路线。其结果是,能够对搭乘者111提供舒适的车内空间。
<实施方式的总结>
本实施方式中的控制装置(300)具备:第一信息获取单元(305、306),其获取与车辆的搭乘者有关的识别结果;第二信息获取单元(304),其获取与所述车辆的周边环境有关的信息;以及车辆控制单元(300、309),其基于由所述第一信息获取单元获取的所述识别结果和由所述第二信息获取单元获取的与所述周边环境有关的信息来生成所述车辆的行驶路线,与所述周边环境有关的信息包含与根据所述识别结果而确定的路线有关的信息。
根据这样的构成,能够基于多方面的原因来进行行驶路线的生成。例如,能够基于根据商务目的和利用时间而选择的路线中的外部的噪音状况,来进行行驶路线的生成。
另外,在由所述第一信息获取单元获取的所述识别结果发生变化的情况下,所述车辆控制单元基于变化后的该识别结果和与所述周边环境有关的信息来生成所述车辆的行驶路线。根据这样的构成,例如,在搭乘者说出了“好吵闹”这样的内容的情况下,能够生成对外部噪音的产生位置进行绕道的行驶路线。
另外,与所述周边环境有关的信息包含与在所述车辆的外部产生的声音、振动中的至少任一者有关的信息。通过这样的构成,例如能够基于车辆外部的噪音来生成行驶路线。
另外,所述识别结果包含所述搭乘者的语音的识别结果、所述搭乘者的图像的识别结果、所述搭乘者的传感器信息中的至少任一者。另外,所述传感器信息包含所述搭乘者的生物体信息。另外,所述识别结果被分类为规定的情绪来进行存储。
根据这样的构成,例如,能够基于搭乘者的语音的识别结果、图像的识别结果、由传感器检测到的生物体信息来生成行驶路线。另外,能够基于搭乘者的情绪来生成行驶路线。
另外,所述车辆控制单元还基于所述识别结果和与所述周边环境有关的信息来控制所述车辆的内部的环境。另外,所述车辆的内部的环境的控制是针对所述车辆的内部的温度、声音、气味、亮度中的至少任一者的控制。
通过这样的构成,例如能够根据搭乘者的行为来控制车内的空调。
另外,所述车辆控制单元还控制所述车辆的速度。通过这样的构成,例如,在车辆行驶于观光景点附近时,能够将速度控制为减速。
另外,所述识别结果包含对所述搭乘者向所述车辆进行了乘车这一情况的识别,在从所述搭乘者乘车起至所述车辆开始行驶为止的期间,进行由所述第二信息获取单元来进行的与所述周边环境有关的信息的获取和由所述车辆控制单元来进行的所述车辆的行驶路线的生成。另外,所述车辆控制单元还根据所述搭乘者的指示来使所述车辆的行驶开始。
通过这样的构成,例如能够以搭乘者的利用开始时刻、利用结束时刻的输入为触发而开始车辆的行驶。
本发明不限于上述的实施方式,而能够在发明的主旨的范围内进行各种变形、变更。
Claims (12)
1.一种控制装置,其中,
所述控制装置具备:
第一信息获取单元,其获取与车辆的搭乘者有关的识别结果;
推断单元,其基于所述搭乘者搭乘于所述车辆时获取到的所述识别结果,对利用车内空间的目的进行推断;
车辆控制单元,其基于推断出的利用所述车内空间的目的,生成所述车辆的行驶路线;以及
第二信息获取单元,其获取与所述车辆的周边环境有关的信息,
在基于所生成的所述车辆的行驶路线而开始了所述车辆的行驶之后,所述车辆控制单元还基于由所述第一信息获取单元获取的所述识别结果和由所述第二信息获取单元获取的与所述周边环境有关的信息来进行车辆控制,
所述车辆控制包括所述车辆的内部的环境的控制和所生成的所述车辆的行驶路线的变更。
2.根据权利要求1所述的控制装置,其中,在由所述第一信息获取单元获取的所述识别结果发生变化的情况下,所述车辆控制单元基于变化后的该识别结果和与所述周边环境有关的信息来生成所述车辆的行驶路线。
3.根据权利要求1或2所述的控制装置,其中,与所述周边环境有关的信息包含与在所述车辆的外部产生的声音、振动中的至少任一者有关的信息。
4.根据权利要求1或2所述的控制装置,其中,所述识别结果包含所述搭乘者的语音的识别结果、所述搭乘者的图像的识别结果、所述搭乘者的传感器信息中的至少任一者。
5.根据权利要求4所述的控制装置,其中,所述传感器信息包含所述搭乘者的生物体信息。
6.根据权利要求1或2所述的控制装置,其中,所述识别结果被分类为规定的情绪来进行存储。
7.根据权利要求1所述的控制装置,其中,所述车辆的内部的环境的控制是针对所述车辆的内部的温度、声音、气味、亮度中的至少任一者的控制。
8.根据权利要求1或2所述的控制装置,其中,所述车辆控制单元还控制所述车辆的速度。
9.根据权利要求1或2所述的控制装置,其中,
所述识别结果包含对所述搭乘者向所述车辆进行了乘车这一情况的识别,
在从所述搭乘者乘车起至所述车辆开始行驶为止的期间,进行由所述第二信息获取单元来进行的与所述周边环境有关的信息的获取和由所述车辆控制单元来进行的所述车辆的行驶路线的生成。
10.根据权利要求9所述的控制装置,其中,所述车辆控制单元还根据所述搭乘者的指示来使所述车辆的行驶开始。
11.一种控制方法,其是在控制装置中执行的控制方法,其中,
在所述控制方法中:
获取与车辆的搭乘者有关的识别结果;
基于所述搭乘者搭乘于所述车辆时获取到的所述识别结果,对利用车内空间的目的进行推断;
基于推断出的利用所述车内空间的目的,生成所述车辆的行驶路线;以及
获取与所述车辆的周边环境有关的信息,
在基于所生成的所述车辆的行驶路线而开始了所述车辆的行驶之后,还基于获取的所述识别结果和获取的与所述周边环境有关的信息来进行车辆控制,
所述车辆控制包括所述车辆的内部的环境的控制和所生成的所述车辆的行驶路线的变更。
12.一种存储介质,其中,
其是存储使计算机以如下方式来发挥功能的程序的计算机可读取的存储介质:
获取与车辆的搭乘者有关的识别结果;
基于所述搭乘者搭乘于所述车辆时获取到的所述识别结果,对利用车内空间的目的进行推断;
基于推断出的利用所述车内空间的目的,生成所述车辆的行驶路线;以及
获取与所述车辆的周边环境有关的信息,
在基于所生成的所述车辆的行驶路线而开始了所述车辆的行驶之后,还基于获取的所述识别结果和获取的与所述周边环境有关的信息来进行车辆控制,
所述车辆控制包括所述车辆的内部的环境的控制和所生成的所述车辆的行驶路线的变更。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-064026 | 2019-03-28 | ||
JP2019064026A JP2020165692A (ja) | 2019-03-28 | 2019-03-28 | 制御装置、制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111750885A CN111750885A (zh) | 2020-10-09 |
CN111750885B true CN111750885B (zh) | 2024-03-12 |
Family
ID=72605710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010183695.7A Active CN111750885B (zh) | 2019-03-28 | 2020-03-16 | 控制装置、控制方法以及存储程序的存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11460309B2 (zh) |
JP (1) | JP2020165692A (zh) |
CN (1) | CN111750885B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11460314B1 (en) * | 2019-06-28 | 2022-10-04 | GM Cruise Holdings LLC. | Sentiment-based autonomous vehicle user interaction and routing recommendations |
JP2022054820A (ja) * | 2020-09-28 | 2022-04-07 | マツダ株式会社 | 走行経路設定装置 |
JP2022171384A (ja) | 2021-04-30 | 2022-11-11 | トヨタ自動車株式会社 | 車両制御装置 |
US12055404B2 (en) * | 2021-05-04 | 2024-08-06 | At&T Intellectual Property I, L.P. | Sentiment-based navigation |
WO2023152818A1 (ja) * | 2022-02-09 | 2023-08-17 | 日産自動車株式会社 | 情報処理装置及び情報処理方法 |
WO2024189870A1 (ja) * | 2023-03-16 | 2024-09-19 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105102279A (zh) * | 2013-02-01 | 2015-11-25 | 标致·雪铁龙汽车公司 | 用于在车辆中产生不同的多感官环境的车辆功能构件的控制方法 |
CN106652378A (zh) * | 2015-11-02 | 2017-05-10 | 比亚迪股份有限公司 | 用于车辆的驾驶提醒方法、系统、服务器和车辆 |
WO2018106400A1 (en) * | 2016-12-09 | 2018-06-14 | Intel Corporation | Stress based navigation routing |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5979027B2 (ja) * | 2013-01-30 | 2016-08-24 | 株式会社デンソー | 情報蓄積方法、及び情報集積システム |
JP2014235078A (ja) | 2013-06-03 | 2014-12-15 | 株式会社ニコン | 車両誘導装置 |
JP6517561B2 (ja) * | 2015-03-27 | 2019-05-22 | クラリオン株式会社 | 車両制御装置 |
KR101991611B1 (ko) * | 2015-05-26 | 2019-06-20 | 닛산 지도우샤 가부시키가이샤 | 정차 위치 설정 장치 및 방법 |
US20170032480A1 (en) * | 2015-08-02 | 2017-02-02 | Chi Him Wong | Personalized travel planning and guidance system |
JP6456516B2 (ja) * | 2015-10-30 | 2019-01-23 | 三菱電機株式会社 | 運転支援装置 |
US10527441B2 (en) * | 2016-05-06 | 2020-01-07 | Michael K Colby | Load-based mapping |
JP6443403B2 (ja) * | 2016-06-22 | 2018-12-26 | トヨタ自動車株式会社 | 車両制御装置 |
US9945679B2 (en) * | 2016-06-27 | 2018-04-17 | International Business Machines Corporation | Personalized travel routes to reduce stress |
US9725036B1 (en) * | 2016-06-28 | 2017-08-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wake-up alerts for sleeping vehicle occupants |
JP6642334B2 (ja) * | 2016-08-25 | 2020-02-05 | トヨタ自動車株式会社 | 車両制御装置 |
JP6513069B2 (ja) * | 2016-12-27 | 2019-05-15 | 本田技研工業株式会社 | 運転支援装置および運転支援方法 |
US11211157B2 (en) * | 2016-12-30 | 2021-12-28 | Intel Corporation | Using emotional maps and dialog display technology to improve workout experiences |
JP6579119B2 (ja) * | 2017-01-24 | 2019-09-25 | トヨタ自動車株式会社 | 車両制御装置 |
US11273836B2 (en) * | 2017-12-18 | 2022-03-15 | Plusai, Inc. | Method and system for human-like driving lane planning in autonomous driving vehicles |
US10788829B2 (en) * | 2017-12-20 | 2020-09-29 | International Business Machines Corporation | Self-driving vehicle passenger management |
KR20200004054A (ko) * | 2018-07-03 | 2020-01-13 | 현대자동차주식회사 | 대화 시스템 및 대화 처리 방법 |
US10832449B1 (en) * | 2018-11-30 | 2020-11-10 | BlueOwl, LLC | Vehicular telematic systems and methods for generating interactive animated guided user interfaces |
US11215470B2 (en) * | 2019-01-10 | 2022-01-04 | Verizon Patent And Licensing Inc. | Contextual route navigation systems |
US11142039B2 (en) * | 2019-02-21 | 2021-10-12 | International Business Machines Corporation | In-vehicle adjustment to destination environmental conditions |
US20210397943A1 (en) * | 2020-06-18 | 2021-12-23 | Nvidia Corporation | Techniques for classification with neural networks |
-
2019
- 2019-03-28 JP JP2019064026A patent/JP2020165692A/ja active Pending
-
2020
- 2020-03-16 CN CN202010183695.7A patent/CN111750885B/zh active Active
- 2020-03-19 US US16/824,579 patent/US11460309B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105102279A (zh) * | 2013-02-01 | 2015-11-25 | 标致·雪铁龙汽车公司 | 用于在车辆中产生不同的多感官环境的车辆功能构件的控制方法 |
CN106652378A (zh) * | 2015-11-02 | 2017-05-10 | 比亚迪股份有限公司 | 用于车辆的驾驶提醒方法、系统、服务器和车辆 |
WO2018106400A1 (en) * | 2016-12-09 | 2018-06-14 | Intel Corporation | Stress based navigation routing |
Also Published As
Publication number | Publication date |
---|---|
JP2020165692A (ja) | 2020-10-08 |
US11460309B2 (en) | 2022-10-04 |
US20200309549A1 (en) | 2020-10-01 |
CN111750885A (zh) | 2020-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111750885B (zh) | 控制装置、控制方法以及存储程序的存储介质 | |
CN111762147B (zh) | 控制装置、控制方法以及存储程序的存储介质 | |
CN105527710B (zh) | 一种智能抬头显示系统 | |
KR102315335B1 (ko) | 자율 차량들에 대해 할당된 승객들의 인식 | |
JP4380541B2 (ja) | 車両用エージェント装置 | |
US20170370744A1 (en) | Information processing system and control method | |
JPWO2020100539A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
CN108688677A (zh) | 车辆驾驶支援系统以及车辆驾驶支援方法 | |
CN107415938A (zh) | 基于乘员位置和注意力控制自主车辆功能和输出 | |
WO2014057540A1 (ja) | ナビゲーション装置およびナビゲーション用サーバ | |
JP2018169699A (ja) | 車両運転支援システム | |
JP6752901B2 (ja) | 情報提供システムおよびサーバ | |
CN108688675A (zh) | 车辆驾驶支援系统 | |
WO2021131474A1 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
US20240344840A1 (en) | Sentiment-based navigation | |
CN111310062A (zh) | 匹配方法、匹配服务器、匹配系统以及存储介质 | |
JP6653398B2 (ja) | 情報提供システム | |
JP2020160826A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020154996A (ja) | 情報処理システム、エージェントシステム、情報処理方法、およびプログラム | |
CN113320537A (zh) | 一种车辆控制方法和系统 | |
WO2022124164A1 (ja) | 注目対象共有装置、注目対象共有方法 | |
JP6739017B1 (ja) | 観光支援装置、該装置が搭載されたロボット、観光支援システム、及び観光支援方法 | |
CN117546219A (zh) | 信息处理系统和信息处理装置 | |
Lashkov et al. | A multimodal approach to psycho-emotional state detection of a vehicle driver | |
US10969240B2 (en) | Systems and methods for controlling vehicle systems using experience attributes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |