CN111382665A - 信息处理装置以及计算机可读存储介质 - Google Patents
信息处理装置以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111382665A CN111382665A CN201911265422.0A CN201911265422A CN111382665A CN 111382665 A CN111382665 A CN 111382665A CN 201911265422 A CN201911265422 A CN 201911265422A CN 111382665 A CN111382665 A CN 111382665A
- Authority
- CN
- China
- Prior art keywords
- emotion
- occupant
- information
- tendency
- situation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 85
- 230000008451 emotion Effects 0.000 claims abstract description 370
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 230000002996 emotional effect Effects 0.000 claims description 74
- 230000014509 gene expression Effects 0.000 claims description 38
- 230000007935 neutral effect Effects 0.000 claims description 33
- 238000013500 data storage Methods 0.000 claims description 26
- 230000006872 improvement Effects 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 39
- 230000000875 corresponding effect Effects 0.000 description 38
- 238000004891 communication Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 20
- 238000007726 management method Methods 0.000 description 17
- 230000036651 mood Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000036772 blood pressure Effects 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 244000178231 Rosmarinus officinalis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
虽然已知有一种能够执行根据车辆的搭乘者的面部图像来推测搭乘者的情绪的情绪推测处理的装置,但期望提供能够对基于面部图像的情绪推测处理的推测精度提高作出贡献的信息处理装置以及计算机可读存储介质。该信息处理装置,具备:状况取得部,取得一移动体的状况;以及情绪推测部,执行基于由搭载于一移动体的摄像部所摄像的移动体的搭乘者的图像的情绪推测处理,来推测搭乘者的情绪,并且执行与移动体的状况对应的情绪推测处理。
Description
技术领域
本发明涉及信息处理装置以及计算机可读存储介质。
背景技术
已知有一种能够执行根据车辆的搭乘者的面部图像推测搭乘者的情绪的情绪推测处理的装置(参照例如专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2018-106530号公报
发明内容
期望提供能够对提高基于面部图像的情绪推测处理的推测精度作出贡献的技术。
根据本发明的第1方案,提供信息处理装置。信息处理装置可以具备状况取得部,该状况取得部取得一移动体的状况。信息处理装置可以具备情绪推测部,该情绪推测部执行基于由搭载于一移动体的摄像部所摄像的一移动体的搭乘者的图像的情绪推测处理,来推测搭乘者的情绪,并且,执行与一移动体的状况对应的情绪推测处理。
上述信息处理装置可以具备情绪倾向信息储存部,该情绪倾向信息储存部储存表示上述搭乘者搭乘上述一移动体时的上述一移动体的每个状况的上述搭乘者的情绪的倾向的情绪倾向信息,上述情绪推测部可以执行使用与上述一移动体的状况对应的上述搭乘者的情绪的倾向的情绪推测处理。上述情绪倾向信息储存部可以储存与上述一移动体的多个搭乘者中的各个搭乘者对应的情绪倾向信息,上述情绪推测部可以参照与上述搭乘者对应的上述情绪倾向信息,确定与上述一移动体的状况对应的上述搭乘者的情绪的倾向。
上述情绪倾向信息可以包括与和上述一移动体的移动速度相关的状况对应的上述搭乘者的情绪的倾向。在上述情绪倾向信息中,可以将上述一移动体的移动速度比预先决定的速度快的状况和表示上述搭乘者易于感到恐惧的情绪的倾向对应关联,上述情绪推测部可以在上述一移动体的移动速度比预先决定的速度快的情况下,以相比于不使用上述情绪倾向信息而推测上述搭乘者的情绪的情况,使上述搭乘者的恐惧的情绪的程度更强的方式,推测上述搭乘者的情绪。
上述情绪倾向信息可以包括与和上述一移动体的搭乘者的数量相关的状况对应的上述搭乘者的情绪的倾向。在上述情绪倾向信息中,可以将多个搭乘者搭乘上述一移动体的状况和表示上述搭乘者易于感到喜悦的情绪的倾向对应关联,上述情绪推测部可以在多个搭乘者搭乘上述一移动体的情况下,以相比于不使用上述情绪倾向信息而推测上述搭乘者的情绪的情况,使上述搭乘者的喜悦的情绪的程度更强的方式,推测上述搭乘者的情绪。在上述情绪倾向信息中,可以将多个搭乘者搭乘上述一移动体的状况和表示上述搭乘者易于感到不开心的情绪的倾向对应关联,上述情绪推测部可以在多个搭乘者搭乘上述一移动体的情况下,以相比于不使用上述情绪倾向信息而推测上述搭乘者的情绪的情况,使上述搭乘者的不开心的情绪的程度更强的方式,推测上述搭乘者的情绪。
上述一移动体可以是汽车,上述情绪倾向信息可以包括与和上述一移动体行驶的道路相关的状况对应的上述搭乘者的情绪的倾向。在上述情绪倾向信息中,可以将上述一移动体行驶的道路是高速公路的状况和表示上述搭乘者易于感到兴奋的情绪的倾向对应关联,上述情绪推测部可以在上述一移动体在高速公路行驶的情况下,以相比于不使用上述情绪倾向信息而推测上述搭乘者的情绪的情况,使上述搭乘者的兴奋的情绪的程度更强的方式,推测上述搭乘者的情绪。在上述情绪倾向信息中,可以将上述一移动体行驶的道路是高速公路的状况和表示上述搭乘者易于感到紧张的情绪的倾向对应关联,上述情绪推测部可以在上述一移动体在高速公路行驶的情况下,以相比于不使用上述情绪倾向信息而推测上述搭乘者的情绪的情况,使上述搭乘者的紧张的情绪的程度更强的方式,推测上述搭乘者的情绪。
上述信息处理装置可以具有数据储存部,该数据储存部针对移动体的每个状况,储存用于推测上述一移动体的搭乘者的情绪的情绪推测用数据,上述情绪推测部可以执行使用与上述一移动体的状况对应的情绪推测用数据的情绪推测处理。上述数据储存部可以针对移动体的每个状况,储存用于推测上述一移动体的搭乘者的情绪的情绪推测算法,上述情绪推测部可以通过使用与上述一移动体的状况对应的情绪推测算法,执行基于由上述摄像部所摄像的上述搭乘者的图像的情绪推测处理,推测上述搭乘者的情绪。上述数据储存部可以针对移动体的每个状况,储存用于推测上述一移动体的搭乘者的情绪的上述搭乘者的中性表情的图像,上述情绪推测部可以通过比较由上述摄像部所摄像的上述搭乘者的图像和与上述一移动体的状况对应的上述搭乘者的中性表情的图像,推测上述搭乘者的情绪。
根据本发明的第2方案,提供存储有用于使计算机作为上述信息处理装置发挥功能的程序的计算机可读存储介质。
此外,上述发明内容并未列举本发明的必要的所有特征。另外,这些特征群的子组合也能够成为发明。
附图说明
图1概略地示出本实施方式所涉及的车辆100的一个例子。
图2概略地示出车辆100的结构的一个例子。
图3概略地示出信息处理装置200的功能结构的一个例子。
图4概略地示出信息处理装置200所执行的处理的流程的一个例子。
图5概略地示出信息处理装置200所执行的处理的流程的一个例子。
图6概略地示出信息管理服务器300的功能结构的一个例子。
图7概略地示出作为信息处理装置200发挥功能的计算机1200的硬件结构的一个例子。
附图标记说明
10:网络;52:驾驶员;54:同乘者;100:车辆;110:照相机;112:视角;122:麦克风;124:扬声器;130:显示器;142:无线通信天线;144:GPS天线;150:方向盘;162:驾驶席;164:副驾席;166:后部座席;200:信息处理装置;202:图像取得部;204:声音取得部;206:传感器信息取得部;210:情绪推测部;220:状况取得部;230:情绪倾向信息储存部;232:情绪倾向信息生成部;234:识别信息取得部;236:情绪倾向信息发送部;238:情绪倾向信息取得部;240:数据储存部;242:数据取得部;300:信息管理服务器;302:情绪倾向信息接收部;304:情绪倾向信息储存部;306:要求接收部;308:情绪倾向信息发送部;1200:计算机;1210:主机控制器;1212:CPU;1214:RAM;1216:图形控制器;1218:显示器设备;1220:输入输出控制器;1222:通信接口;1224:存储装置;1226:DVD驱动器;1227:DVD-ROM;1230:ROM;1240:输入输出芯片。
具体实施方式
以下,根据发明的实施方式说明本发明,但以下的实施方式不限定权利要求书所涉及的发明。另外,在实施方式中说明的特征的所有组合并非在发明的解决手段中必须。
图1概略地示出本实施方式所涉及的车辆100的一个例子。车辆100可以是搭载多个搭乘者而移动的移动体的一个例子。车辆100可以具备信息处理装置200。信息处理装置200具有推测车辆100的搭乘者的情绪的情绪推测处理功能。
在本实施方式中,在不区分搭乘车辆100的人员的情况下,记载为搭乘者,在区分驾驶的人员和未驾驶的人员的情况下,将前者记载为驾驶员52,将后者记载为同乘者54。在车辆100是自动驾驶车辆的情况下,驾驶员52可以是就坐于驾驶席的人员。同乘者54可以是就坐于副驾席的人员。同乘者54可以是就坐于后部座席的人员。
信息处理装置200可以执行使用搭乘者的图像来推测搭乘者的情绪的情绪推测处理。信息处理装置200取得由车辆100具备的摄像部所摄像的搭乘者的图像。摄像部可以具有能够对车辆100的车内的整体进行摄像的1台照相机110。信息处理装置200可以从该照相机110,取得驾驶员52的图像以及同乘者54的图像。
摄像部也可以具有多个照相机110。信息处理装置200可以从该多个照相机110取得由多个照相机110的各个摄像的驾驶员52的图像以及同乘者54的图像。摄像部例如具有能够对驾驶席以及副驾席进行摄像的照相机110和能够对后部座席进行摄像的照相机110。摄像部也可以具有能够对驾驶席进行摄像的照相机110和能够对副驾席进行摄像的照相机110。摄像部也可以具有能够对后部座席的多个同乘者54的各个进行摄像的多个照相机110。
信息处理装置200例如预先储存搭乘者的中性表情的图像。中性表情是指,可以是所谓一般表情。搭乘者的一般表情是指,例如,搭乘者什么都未意识时的表情。信息处理装置200可以通过比较由照相机110摄像的搭乘者的面部图像和中性表情的图像,推测搭乘者的情绪。
信息处理装置200例如作为初始设定储存由照相机110摄像的搭乘者的中性表情的图像。信息处理装置200也可以从其他装置接收并储存搭乘者的中性表情的图像。信息处理装置200例如从搭乘者所持的智能手机等便携通信终端,经由Bluetooth(注册商标)等近距离无线通信,接收搭乘者的中性表情的图像。另外,信息处理装置200例如从管理搭乘者的中性表情的图像的管理服务器,经由移动体通信网络等,接收搭乘者的中性表情的图像。信息处理装置200也可以针对每1名搭乘者,储存多个中性表情的图像。
信息处理装置200也可以并非使用搭乘者的中性表情的图像,而使用通用的中性表情的图像来推测搭乘者的情绪。通用的中性表情的图像是指,可以是大量的人的平均的中性表情的图像。通用的中性表情的图像也可以针对性别、年龄、以及人种等属性的每一个准备。
信息处理装置200例如预先储存将与中性表情的不同和人类的情绪模式对应起来的对应关联数据。在对应关联数据中,例如,将嘴角相对中性表情上翘和正面的情绪对应关联,将嘴角相对中性表情下拉和负面的情绪对应关联。在对应关联数据中,可以将与中性表情的不同的程度和情绪的程度也对应关联。例如,在对应关联数据中,相对中性表情,嘴角越上翘,对应关联更高的程度。信息处理装置200使用由照相机110摄像的搭乘者的图像、中性表情的图像、以及该对应关联数据,确定情绪的模式中的某一个和情绪的程度,从而作为搭乘者的情绪的推测结果。
作为人类的情绪的模式,例如,能够采用基于用活性度(Arousal)和清醒度(Valence)这2轴表示人类的情绪并用从原点起的距离表示情绪的程度的罗素(Russell)的圆环模型的情绪的模式。另外,例如,能够采用基于将人类的情绪分类为8个基本情绪(喜悦、信赖、恐惧、惊吓、悲伤、厌恶、愤怒、期待)和相邻的2个情绪的组合所构成的应用情绪的普拉奇克(Plutchik)的情绪的轮的情绪的模式。不限于这些,本实施方式所涉及的信息处理装置200能够采用任意的情绪的模式。
信息处理装置200也可以不使用中性表情的图像,预先储存搭乘者感到多种情绪中的各种情绪时的面部图像,之后通过比较由照相机110摄像的搭乘者的面部图像和储存的多个面部图像,推测搭乘者的情绪。例如,信息处理装置200确定储存的多个面部图像中的、与由照相机110摄像的搭乘者的面部图像最类似的面部图像,将与确定的面部图像对应的情绪的种类,作为搭乘者的情绪的种类的推测结果。另外,信息处理装置200可以将与由照相机110摄像的搭乘者的面部图像和与该面部图像最类似的面部图像的类似度对应的程度,作为搭乘者的情绪的程度的推测结果。
信息处理装置200也可以并非使用预先储存的图像,根据搭乘者的面部图像的变动等,推测搭乘者的情绪。作为从人物的面部图像推测该人物的情绪的情绪推测技术,已知各种技术,能够采用该各种技术中的任意的技术。
车辆100的搭乘者有时针对车辆100的每个状况,感到的情绪的倾向不同。例如,有在速度快时感到害怕的人,在这样的人搭乘车辆100的情况下,在车辆100的速度快的状况下,可以说感到恐惧的情绪的可能性高。另外,例如,有与其他人待在一起感到喜悦的人,在这样的人搭乘车辆100的情况下,可以说如果有其他搭乘者则感到喜悦的情绪的可能性高。另外,例如,有喜欢独处的人,在这样的人搭乘车辆100的情况下,可以说如果有其他搭乘者则感到不开心的情绪的可能性高。
本实施方式所涉及的信息处理装置200在推测搭乘者的情绪的情况下,执行与车辆100的状况对应的情绪推测处理。信息处理装置200例如预先储存表示车辆100的每个状况的搭乘者的情绪的倾向的情绪倾向信息,执行使用与车辆100的状况对应的搭乘者的情绪的倾向的情绪推测处理。
例如,信息处理装置200在推测在速度快时感到害怕的搭乘者的情绪的情况下,以相比于不使用情绪倾向信息的情况使恐惧的程度更强的方式,推测搭乘者的情绪。信息处理装置200例如在与不使用情绪倾向信息的情况同样地推测搭乘者的情绪之后,进行使恐惧的程度变强的校正。另外,例如,信息处理装置200在以使恐惧的程度更强的方式设定参数之后,执行情绪推测处理。由此,能够提高情绪推测结果表示搭乘者的实际的情绪的概率,能够对情绪推测精度提高作出贡献。
信息处理装置200可以通过任意的手法,取得情绪倾向信息。例如,信息处理装置200取得由搭乘者本人输入的情绪倾向信息。另外,例如,信息处理装置200也可以根据搭乘者的情绪推测结果,生成情绪倾向信息。例如,信息处理装置200通过收集并分析车辆100的状况和该状况下的搭乘者的情绪推测结果,确定车辆100的多个状况各自下的搭乘者的情绪的倾向,使用确定结果来生成情绪倾向信息。
信息处理装置200也可以与其他车辆100等共享生成的情绪倾向信息。例如,信息处理装置200预先取得搭乘车辆100的搭乘者的识别信息,将针对搭乘者生成的情绪倾向信息和识别信息对应起来储存。然后,信息处理装置200将对应起来储存的识别信息以及情绪倾向信息,经由网络10发送到信息管理服务器300。
搭乘者的识别信息例如是由信息管理服务器300分配的用户ID。能够识别搭乘者的识别信息只要是例如搭乘者所持的便携电话的号码等能够识别搭乘者的例子,则可以是任意的信息。
网络10可以是任意的网络。例如,网络10可以包括3G(3rd Generation,第三代)通信系统、LTE(Long Term Evolution,长期演进)通信系统、以及5G(5th Generation,第五代)通信系统等移动体通信系统。网络10也可以包括因特网、公共无线LAN(Local AreaNetwork,局域网)、以及任意的专用网等。
信息管理服务器300预先登记从多个信息处理装置200收集的识别信息以及情绪倾向信息。信息管理服务器300例如在接收到包括识别信息的要求的情况、且登记有与该识别信息对应的情绪倾向信息的情况下,针对要求的发送源,发送情绪倾向信息。
要求的发送源例如是车辆100的信息处理装置200。信息处理装置200例如在搭乘者搭乘搭载有信息处理装置200的车辆100的情况下,取得该搭乘者的识别信息,将包括识别信息的要求发送到信息管理服务器300,从信息管理服务器300接收情绪倾向信息。由此,信息处理装置200能够使用由其他车辆100的信息处理装置200生成的情绪倾向信息,推测搭乘者的情绪。要求的发送源只要是执行基于人物的面部图像的情绪推测处理的装置,则可以是任意的装置。
图2概略地示出车辆100的结构的一个例子。图2所示的各种结构也可以是车辆100具备的导航系统的一部分。
车辆100具备照相机110。在图2中,例示车辆100具备能够对驾驶席162、副驾席164、以及后部座席166这全部进行摄像的照相机110的情况。如在图2中例示的视角112所示,根据照相机110,能够对驾驶席162、副驾席164、以及后部座席166的搭乘者进行摄像。图2中的照相机110的配置是例示,照相机110只要能够对驾驶席162、副驾席164、以及后部座席166这全部进行摄像则可以配置于任意的场所。此外,车辆100也可以具备对驾驶席162、副驾席164、以及后部座席166的各个进行摄像的多个照相机110。
车辆100具备麦克风122。在图2中,例示车辆100具备与驾驶席162、副驾席164、以及后部座席166这全部对应的麦克风122的情况。图2中的麦克风122的配置是例示,麦克风122只要能够拾取驾驶席162、副驾席164以及后部座席166的所有搭乘者的声音则可以配置于任意的场所。车辆100也可以具备多个麦克风122。多个麦克风122例如包括驾驶席162用的麦克风122、副驾席164用的麦克风122、以及后部座席166用的麦克风122。
车辆100具备扬声器124。在图2中,例示车辆100具备与驾驶席162、副驾席164、以及后部座席166这全部对应的扬声器124的情况。图2中的扬声器124的配置是例示,扬声器124可以配置于任意的场所。车辆100也可以具备多个扬声器124。
车辆100具备显示器130。图2中的显示器130的配置是例示,显示器130只要主要能够从驾驶席162以及副驾席164阅览则可以配置于任意的场所。显示器130可以是触摸面板显示器。车辆100也可以具备多个显示器130。例如,车辆100具备驾驶席162以及副驾席164用的显示器130和后部座席166用的显示器130。
车辆100具备无线通信天线142。无线通信天线142可以是用于与网络10上的装置进行通信的天线。车辆100例如通过无线通信天线142,经由移动体通信系统中的无线基站以及无线路由器等与网络10上的装置进行通信。此外,无线通信天线142也可以是用于进行车车间通信以及路车间通信等的天线,车辆100也可以经由车车间通信以及路车间通信等,与网络10上的装置进行通信。
车辆100具备GPS(Global Positioning System,全球定位系统)天线144。GPS天线144从GPS卫星接收位置测定用的电波。车辆100可以使用GPS天线144接收的位置测定用的电波,对车辆100的当前地进行测位。车辆100也可以通过还组合利用独立导航法的测位,对车辆100的当前地进行测位。车辆100可以使用公知的任意的测位技术,对车辆100的当前地进行测位。
车辆100也可以具备能够探测车辆100的搭乘者的生物体信息的未图示的传感器。该传感器例如配置于方向盘150、驾驶席162、副驾席164、以及后部座席166等,探测搭乘者的心拍、脉搏、出汗、血压、以及体温等生物体信息。车辆100既可以具备与搭乘者佩戴到身上的可穿戴设备通信连接的近距离无线通信部,也可以从该可穿戴设备接收由可穿戴设备探测出的搭乘者的生物体信息。近距离无线通信部例如通过Bluetooth等与可穿戴设备通信连接。
上述各种结构也可以设置于信息处理装置200。信息处理装置200既可以与车辆100具备的导航系统成为一体,并且,也可以独立。
图3概略地示出信息处理装置200的功能结构的一个例子。信息处理装置200具备图像取得部202、声音取得部204、传感器信息取得部206、情绪推测部210、状况取得部220、情绪倾向信息储存部230、情绪倾向信息生成部232、识别信息取得部234、情绪倾向信息发送部236、情绪倾向信息取得部238、数据储存部240、以及数据取得部242。此外,信息处理装置200无需一定具备这些所有结构。
图像取得部202取得车辆100的搭乘者的图像。图像取得部202取得由车辆100的摄像部所摄像的搭乘者的图像。图像取得部202可以继续取得由车辆100的摄像部所摄像的搭乘者的图像。
声音取得部204取得车辆100的搭乘者的声音。声音取得部204取得从车辆100的麦克风122输入的搭乘者的声音。声音取得部204可以从车辆100的麦克风122继续取得搭乘者的声音。
传感器信息取得部206取得由传感器探测出的车辆100的搭乘者的生物体信息。传感器信息取得部206例如从该传感器取得由配置于方向盘150、驾驶席162、副驾席164、以及后部座席166等的传感器探测出的搭乘者的心拍、脉搏、出汗、血压、以及体温等生物体信息。另外,传感器信息取得部206例如从该可穿戴设备取得由搭乘者佩戴到身上的可穿戴设备探测出的搭乘者的心拍、脉搏、出汗、血压、以及体温等生物体信息。
情绪推测部210执行情绪推测处理来推测搭乘者的情绪的种类以及程度。情绪推测部210可以执行使用由图像取得部202取得的搭乘者的面部图像的情绪推测处理。
另外,情绪推测部210可以执行使用由声音取得部204取得的搭乘者的声音的情绪推测处理。情绪推测部210例如执行基于声音自身的特征量的情绪推测处理。作为声音自身的特征量,可以例示声音的大小、音调、谱、以及基本频率等。情绪推测部210也可以执行基于对声音进行声音辨识而得到的结果的字符串的情绪推测处理。另外,情绪推测部210也可以执行基于声音自身的特征量和对声音进行声音辨识而得到的结果的字符串这两方的情绪推测处理。在车辆100具备拾取多个搭乘者各自的声音的多个麦克风的情况下,情绪推测部210可以通过麦克风的差异,识别说话者。在通过一个麦克风拾取多个搭乘者的声音的情况下,情绪推测部210可以通过使用公知的说话者识别功能,识别说话者。作为公知的说话者识别功能,已知使用声音的特征量的方法、根据声音的取得方向判定的方法等。作为根据人物的声音推测该人物的情绪的情绪推测技术,已知各种技术,情绪推测部210能够采用该各种技术中的任意的技术。
另外,情绪推测部210可以执行使用由传感器信息取得部206取得的多种生物体信息的情绪推测处理。情绪推测部210例如执行使用搭乘者的心拍、脉搏、出汗、血压、以及体温等的情绪推测处理。作为根据人物的心拍、脉搏、出汗、血压、以及体温等推测该人物的情绪的情绪推测技术,已知各种技术,信息处理装置200能够采用该各种技术中的任意的技术。
状况取得部220取得车辆100的状况。状况取得部220例如取得车辆100的行驶状况。状况取得部220例如从导航系统取得由车辆100的导航系统管理的车辆100的行驶状况。车辆100的导航系统可以根据车辆100的位置信息、车辆100行驶的周边的道路数据、车辆100的速度、加速度、转向的操作状态、以及刹车的操作状态等,判定车辆100的行驶状况。
车辆100的行驶状况可以包括车辆100的状态以及车辆100行驶的道路的状况等。车辆100的状态例如包括与车辆100的行驶速度相关的信息。与车辆100的行驶速度相关的信息例如包括车辆100以通常速度行驶、车辆100加速、车辆100急加速、以及车辆100急停止等。
车辆100行驶的道路的状况例如包括车辆100行驶的道路的形状。作为道路的形状,可以例示直线、弯道、以及坂道等。弯道也可以通过弯道的程度,细分化为缓的弯道、普通的弯道、急的弯道等。坂道可以区分为上坂以及下坂,并且,也可以通过坂道的程度,细分化为缓的上坂、普通的上坂、陡的上坂、缓的下坂、普通的下坂、陡的下坂等。
另外,状况取得部220例如取得车辆100的内部状况。状况取得部220例如通过图像取得部202取得的图像,取得车辆100的内部状况。状况取得部220例如取得车辆100的搭乘者的数量。另外,状况取得部220通过识别车辆100的搭乘者来确定个人,取得搭乘车辆100的人物的信息。
情绪倾向信息储存部230储存搭乘者的情绪倾向信息。情绪倾向信息储存部230可以储存与多个搭乘者中的各个搭乘者对应的情绪倾向信息。情绪倾向信息储存部230例如储存常用车辆100的人物的情绪倾向信息。例如,情绪倾向信息储存部230储存车辆100的所有者和与所有者同住的人员的情绪倾向信息。情绪倾向信息储存部230可以除了常用车辆100的人物以外,还储存有搭乘车辆100的可能性的人物的情绪倾向信息。
情绪倾向信息可以包括和与车辆100的移动速度相关的状况对应的搭乘者的情绪的倾向。在情绪倾向信息中,例如,将车辆100的行驶速度比预先决定的速度快的状况和表示搭乘者易于感到恐惧的情绪的倾向对应关联。
情绪倾向信息例如可以包括和与车辆100的搭乘者的数量相关的状况对应的搭乘者的情绪的倾向。在情绪倾向信息中,例如,将多个搭乘者搭乘车辆100的状况和表示搭乘者易于感到喜悦的情绪的倾向对应关联。另外,在情绪倾向信息中,例如,将多个搭乘者搭乘车辆100的状况和表示搭乘者易于感到不开心的情绪的倾向对应关联。
情绪倾向信息可以包括和与车辆100行驶的道路相关的状况对应的搭乘者的情绪的倾向。在情绪倾向信息中,例如,将车辆100行驶的道路是高速公路的状况和表示搭乘者易于感到兴奋的情绪的倾向对应关联。另外,在情绪倾向信息中,例如,将车辆100行驶的道路是高速公路的状况和表示搭乘者易于感到紧张的情绪的倾向对应关联。
情绪倾向信息储存部230可以关于多个搭乘者中的各个搭乘者,如下述表1例示,储存表示驾驶的情况和同乘的情况各自的情绪的倾向的情绪倾向信息。
【表1】
情绪推测部210执行与由状况取得部220取得的车辆100的状况对应的情绪推测处理。情绪推测部210例如参照与搭乘者对应的情绪倾向信息,执行使用与状况取得部220取得的状况对应的搭乘者的情绪的倾向的情绪推测处理。情绪推测部210可以执行使用表示搭乘者是驾驶员52的情况、该搭乘者驾驶的情况各自的情绪的倾向的情绪倾向信息的情绪推测处理。另外,情绪推测部210可以执行使用表示搭乘者是同乘者54的情况、该搭乘者同乘的情况各自的情绪的倾向的情绪倾向信息的情绪推测处理。
情绪推测部210例如在搭乘者有3名的情况下,从情绪倾向信息储存部230读出3名各自的情绪倾向信息。下述表2示出读出的情绪倾向信息的一个例子。
【表2】
情绪推测部210例如在车辆100的移动速度比预先决定的速度快的情况下,以相比于不使用情绪倾向信息而推测驾驶员的情绪的情况,使驾驶员的兴奋的情绪的程度更强的方式,推测驾驶员的情绪。另外,情绪推测部210例如在车辆100的移动速度比预先决定的速度快的情况下,以相比于不使用情绪倾向信息而推测同乘者A的情绪的情况,使同乘者A的恐惧的情绪的程度更强的方式,推测同乘者A的情绪。
情绪推测部210由于多个搭乘者搭乘车辆100,所以可以以相比于不使用情绪倾向信息而推测驾驶员的情绪的情况,使驾驶员的不开心的情绪的程度更强的方式,推测驾驶员的情绪。另外,情绪推测部210由于多个搭乘者搭乘车辆100,所以可以以相比于不使用情绪倾向信息而推测同乘者B的情绪的情况,使同乘者B的喜悦的情绪的程度更强的方式,推测驾驶员的情绪。
情绪推测部210例如在车辆100在高速公路行驶的情况下,以相比于不使用情绪倾向信息而推测驾驶员的情绪的情况,使驾驶员的兴奋的情绪的程度更强的方式,推测驾驶员的情绪。另外,情绪推测部210例如在车辆100在高速公路行驶的情况下,以相比于不使用情绪倾向信息而推测同乘者A、同乘者B的情绪的情况,使同乘者A、同乘者B的兴奋的情绪的程度更强的方式,推测驾驶员的情绪。
如上所述,通过情绪推测部210参照与搭乘者对应的情绪倾向信息,执行使用与车辆100的状况对应的搭乘者的情绪的倾向的情绪推测处理,能够导出反映在各状况下搭乘者易于感到的情绪的信息的推测结果,所以能够对推测精度提高作出贡献。
情绪倾向信息生成部232生成情绪倾向信息。情绪倾向信息生成部232例如根据状况取得部220取得的状况和情绪推测部210不使用情绪倾向信息而推测的搭乘者的情绪的推测结果,生成情绪倾向信息。情绪倾向信息生成部232可以通过收集并分析车辆100的状况和该状况下的搭乘者的情绪推测结果,确定车辆100的多个状况各自下的搭乘者的情绪的倾向,使用确定结果来生成情绪倾向信息。情绪倾向信息生成部232将生成的情绪倾向信息,储存到情绪倾向信息储存部230。
识别信息取得部234取得车辆100的搭乘者的识别信息。识别信息取得部234例如通过针对由图像取得部202取得的搭乘者的面部图像应用人物辨识技术来确定人物,取得确定的人物的识别信息。另外,识别信息取得部234例如通过针对由声音取得部204取得的搭乘者的声音应用说话者辨识技术来确定人物,取得确定的人物的识别信息。识别信息取得部234也可以从搭乘者所持的便携通信终端,经由近距离无线通信,接收搭乘者的识别信息。情绪倾向信息生成部232也可以将识别信息取得部234取得的搭乘者的识别信息对应关联,将该搭乘者的情绪倾向信息储存到情绪倾向信息储存部230。
情绪倾向信息发送部236将储存于情绪倾向信息储存部230的、对应关联着识别信息的情绪倾向信息,发送到信息管理服务器300。情绪倾向信息发送部236可以经由网络10,将情绪倾向信息,发送到信息管理服务器300。
情绪倾向信息取得部238从信息管理服务器300取得情绪倾向信息。情绪倾向信息取得部238例如可以将包括由识别信息取得部234取得的车辆100的搭乘者的识别信息的要求,发送到信息管理服务器300,从信息管理服务器300,接收与包含于要求的识别信息对应的情绪倾向信息。情绪倾向信息取得部238可以将从信息管理服务器300接收到的情绪倾向信息,储存到情绪倾向信息储存部230。
数据储存部240储存用于推测车辆100的搭乘者的情绪的情绪推测用数据。数据储存部240可以针对车辆100的每个状况,储存情绪推测用数据。情绪推测用数据可以是以易于将在有车辆100状况时该车辆100的搭乘者易于感到的情绪的种类导出为推测结果的方式生成的数据。另外,情绪推测用数据可以是以使在有车辆100状况时搭乘者易于感到的情绪的种类的情绪的程度成为强的程度的方式生成的数据。
数据储存部240例如储存车辆100的每个行驶速度的情绪推测用数据。另外,数据储存部240例如储存车辆100的每个搭乘者的数量的情绪推测用数据。另外,数据储存部240例如储存自动驾驶以及手动驾驶的各个用的情绪推测用数据。数据储存部240不限于这些,也可以还储存与各种状况对应的情绪推测用数据。
情绪推测部210可以执行使用与由状况取得部220取得的状况对应的情绪推测用数据的情绪推测处理。由此,能够导出反映与车辆100的状况对应的搭乘者的情绪的倾向的情绪推测结果。
情绪推测用数据例如是情绪推测算法。情绪推测部210可以执行使用与由状况取得部220取得的状况对应的情绪推测算法的情绪推测算法。数据储存部240可以针对车辆100的每个状况,储存情绪推测算法。数据储存部240例如将在有车辆100状况时搭乘者易于感到的情绪的种类易于被导出为推测结果的情绪推测算法,与该状况对应起来储存。另外,数据储存部240例如将以使在有车辆100状况时搭乘者易于感到的情绪的种类的情绪的程度成为强的程度的方式生成的情绪推测算法,与该状况对应起来储存。
数据储存部240例如储存车辆100的每个行驶速度的情绪推测算法。作为具体例,数据储存部240将以针对车辆100的行驶速度更快的状况使推测结果的恐惧的情绪成为更强的程度的方式生成的情绪推测算法对应起来。由此,在推测在速度快时感到害怕的搭乘者的情绪的情况下,能够使推测结果中的恐惧的情绪的程度成为更强的程度,能够提高推测结果的情绪和搭乘者的实际的情绪的一致度。
另外,情绪推测用数据例如是搭乘者的中性表情的面部图像。情绪推测部210例如通过比较由图像取得部202取得的搭乘者的面部图像和与由状况取得部220取得的状况对应的搭乘者的中性表情的图像,推测搭乘者的情绪。数据储存部240可以针对车辆100的每个状况,储存搭乘者的中性表情的面部图像。数据储存部240例如将在有车辆100状况时搭乘者易于感到的情绪的种类易于被导出为推测结果的搭乘者的中性表情的面部图像,与该状况对应起来储存。另外,数据储存部240例如将如在有车辆100状况时搭乘者易于感到的情绪的种类的程度成为强的程度的搭乘者的中性表情的图像,与该状况对应起来储存。如搭乘者易于感到的情绪的种类的程度成为强的程度的搭乘者的中性表情是指,可以是如在感到这样的种类的情绪时变化的部分的变化量变得更大的表情。例如,在眼睛睁得越大将惊恐的情绪的程度判定为越强的情况下,如惊恐的情绪的程度成为强的程度的搭乘者的中性表情是指,眼睛睁得较小的表情。
数据储存部240例如储存车辆100的每个行驶速度的中性表情的图。作为具体例,数据储存部240将如针对车辆100的行驶速度更快的状况使推测结果的恐惧的情绪成为更强的程度的搭乘者的中性表情的图像对应起来。由此,在推测在速度快时感到害怕的搭乘者的情绪的情况下,能够使推测结果中的恐惧的情绪的程度成为更强的程度,能够提高推测结果的情绪和搭乘者的实际的情绪的一致度。
图4概略地示出信息处理装置200所执行的处理的流程的一个例子。在此,说明情绪推测部210执行使用情绪倾向信息的情绪推测处理的情况的处理的流程。
在步骤(有时将步骤简记为S)102中,状况取得部220取得车辆100的状况。在S104中,图像取得部202取得搭乘者的图像。在S106中,判定情绪推测部210是否执行情绪推测处理。情绪推测部210例如可以周期性地执行情绪推测处理,情绪推测部210判定是否成为执行周期。该周期例如可以是图像取得部202取得的图像的帧的周期。在判定为执行情绪推测处理的情况下,进入到S108,在判定为未执行情绪推测处理的情况下,返回到S102。
在S108中,情绪推测部210参照储存于情绪倾向信息储存部230的多个情绪倾向信息中的、与情绪推测对象的搭乘者对应的情绪倾向信息。情绪推测部210可以在多个搭乘者搭乘车辆100的情况下,参照与多个搭乘者中的各个搭乘者对应的情绪倾向信息。在S110中,情绪推测部210确定与在S102中取得的车辆100的状况对应的情绪的倾向,执行使用该情绪的倾向的情绪推测处理。情绪推测部210可以在多个搭乘者搭乘车辆100的情况下,针对每个搭乘者执行情绪推测处理。然后,返回到S102。
图4所示的处理可以直至停止情绪推测处理的执行继续。信息处理装置200例如在由搭乘者指示了情绪推测处理的执行的停止的情况、车辆100的引擎停止的情况、车辆100的电源成为OFF的情况等下,结束图4所示的处理。
图5概略地示出信息处理装置200所执行的处理的流程的一个例子。在此,说明情绪推测部210执行使用情绪推测用数据的情绪推测处理的情况的处理的流程。
在S202中,状况取得部220取得车辆100的状况。在S204中,图像取得部202取得搭乘者的图像。在S206中,判定情绪推测部210是否执行情绪推测处理。在判定为执行情绪推测处理的情况下,进入到S208,在判定为未执行情绪推测处理的情况下,返回到S202。
在S208中,情绪推测部210取得储存于数据储存部240的多个情绪推测用数据中的、与在S202中取得的状况以及情绪推测对象的搭乘者对应的情绪推测用数据。情绪推测部210可以在多个搭乘者搭乘车辆100的情况下,针对每个搭乘者取得情绪推测用数据。在S210中,情绪推测部210执行使用在S208中取得的情绪推测用数据的情绪推测处理。情绪推测部210可以在多个搭乘者搭乘车辆100的情况下,针对每个搭乘者执行情绪推测处理。然后,返回到S202。
图5所示的处理可以直至停止情绪推测处理的执行继续。信息处理装置200例如在由搭乘者指示了情绪推测处理的执行的停止的情况、车辆100的引擎停止的情况、车辆100的电源成为OFF的情况等下,结束图5所示的处理。
图6概略地示出信息管理服务器300的功能结构的一个例子。信息管理服务器300具备情绪倾向信息接收部302、情绪倾向信息储存部304、要求接收部306、以及情绪倾向信息发送部308。
情绪倾向信息接收部302从多个信息处理装置200,经由网络10,接收对应关联着识别信息的情绪倾向信息。情绪倾向信息储存部304储存情绪倾向信息接收部302接收到的情绪倾向信息。
要求接收部306接收包括识别信息的、情绪倾向信息的要求。情绪倾向信息发送部308在要求接收部306接收到要求的情况下,判定在情绪倾向信息储存部230中是否储存有与包含于要求的识别信息对应的情绪倾向信息,在储存有该情绪倾向信息的情况下,向要求的发送源,发送情绪倾向信息。
图7概略地示出作为信息处理装置200发挥功能的计算机1200的硬件结构的一个例子。安装于计算机1200的程序能够使计算机1200作为上述实施方式所涉及的装置的1个或者多个“部”发挥功能,或者使计算机1200执行与上述实施方式所涉及的装置关联起来的运行或者该1个或者多个“部”,和/或能够使计算机1200执行上述实施方式所涉及的过程或者该过程的阶段。为了使计算机1200执行与本说明书记载的流程图以及框图的块中的几个或者全部关联起来的特定的运行,可以由CPU1212执行这样的程序。
本实施方式所涉及的计算机1200包括CPU1212、RAM1214、以及图形控制器1216,他们通过主机控制器1210相互连接。另外,计算机1200包括如通信接口1222、存储装置1224、DVD驱动器1226、以及IC卡驱动器的输入输出部件,他们经由输入输出控制器1220与主机控制器1210连接。DVD驱动器1226可以是DVD-ROM驱动器以及DVD-RAM驱动器等。存储装置1224可以是硬盘驱动器以及固态硬盘驱动器等。另外,计算机1200包括如ROM1230以及触摸面板的输入输出部件,他们经由输入输出芯片1240与输入输出控制器1220连接。
CPU1212依照储存于ROM1230以及RAM1214内的程序动作,由此控制各部件。图形控制器1216在RAM1214内提供的帧缓冲器等或者其自身中,取得由CPU1212生成的影像数据,使影像数据显示于显示器设备1218上。计算机1200也可以不具备显示器设备1218,在该情况下,图形控制器1216使影像数据显示于外部的显示器设备。
通信接口1222经由无线通信网络与其他电子设备进行通信。存储装置1224储存由计算机1200内的CPU1212使用的程序以及数据。DVD驱动器1226从DVD-ROM1227等读取程序或者数据,提供给存储装置1224。IC卡驱动器从IC卡读取程序以及数据,和/或,将程序以及数据写入到IC卡。
ROM1230在其中储存在激活化时由计算机1200执行的引导程序等和/或依赖于计算机1200的硬件的程序。另外,输入输出芯片1240可以经由USB端口等,将各种输入输出部件连接到输入输出控制器1220。
程序通过如DVD-ROM1227或者IC卡的计算机可读存储介质提供。将程序从计算机可读存储介质读取,安装到还作为计算机可读存储介质的例子的存储装置1224、RAM1214、或者ROM1230,由CPU1212执行。记述于这些程序内的信息处理被计算机1200读取,发挥程序与上述各种类型的硬件资源之间的协作。可以通过依照计算机1200的使用实现信息的运行或者处理,构成装置或者方法。
例如,在计算机1200以及外部设备之间执行通信的情况下,CPU1212可以执行载入到RAM1214的通信程序,根据记述于通信程序的处理,针对通信接口1222,命令通信处理。通信接口1222在CPU1212的控制下,读取在如RAM1214、存储装置1224、DVD-ROM1227、或者IC卡的记录介质内提供的发送缓冲器区域中储存的发送数据,将读取出的发送数据发送到网络、或者将从网络接收到的接收数据写入到在记录介质上提供的接收缓冲器区域等。
另外,CPU1212可以将储存于如存储装置1224、DVD驱动器1226(DVD-ROM1227)、IC卡等的外部记录介质的文件或者数据库的全部或者必要的部分读取到RAM1214,针对RAM1214上的数据执行各种类型的处理。接下来,CPU1212可以将处理后的数据写回到外部记录介质。
可以将如各种类型的程序、数据、表格、以及数据库的各种类型的信息储存到记录介质,接受信息处理。CPU1212可以针对从RAM1214读取出的数据,执行本公开记载的、包括通过程序的命令序列指定的各种类型的运行、信息处理、条件判断、条件分支、无条件分支、信息的检索/置换等的、各种类型的处理,将结果写回到RAM1214。另外,CPU1212可以检索记录介质内的文件、数据库等中的信息。例如,在分别具有与第2属性的属性值关联起来的第1属性的属性值的多个条目储存于记录介质内的情况下,CPU1212可以从该多个条目中,检索与指定第1属性的属性值的条件一致的条目,读取储存于该条目内的第2属性的属性值,由此取得与满足预先决定的条件的第1属性关联起来的第2属性的属性值。
以上说明的程序或者软件模块可以储存于计算机1200上或者计算机1200附近的计算机可读存储介质。另外,如在与专用通信网络或者因特网连接的服务器系统内提供的硬盘或者RAM的记录介质能够用作计算机可读存储介质,由此将程序经由网络提供给计算机1200。
上述实施方式中的流程图以及框图中的块可以表示执行运行的过程的阶段或者具有执行运行的作用的装置的“部”。特定的阶段以及“部”可以通过专用电路、与在计算机可读存储介质上储存的计算机可读命令一起供给的可编程电路和/或与在计算机可读存储介质上储存的计算机可读命令一起供给的处理器安装。专用电路可以包括数字和/或模拟硬件电路,可以包括集成电路(IC)和/或分立电路。可编程电路例如可以包括如现场可编程门阵列(FPGA)、以及可编程逻辑阵列(PLA)等的、包括逻辑与、逻辑或、异或、与非、与或、以及其他逻辑运算、触发器、寄存器、以及存储器元素的、可重构的硬件电路。
计算机可读存储介质可以包括能够储存由适合的设备执行的命令的任意的有形的设备,其结果,具有在此储存的命令的计算机可读存储介质具备包括为了制作用于执行在流程图或者框图中指定的运行的单元而能够执行的命令的产品。作为计算机可读存储介质的例子,可以包括电子存储介质、磁存储介质、光存储介质、电磁存储介质、半导体存储介质等。作为计算机可读存储介质的更具体的例子,可以包括软盘(注册商标)、软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪存存储器)、电可擦除可编程只读存储器(EEPROM)、静的随机存取存储器(SRAM)、紧凑盘只读存储器(CD-ROM)、数字多用途盘(DVD)、蓝光(注册商标)盘、存储棒、集成电路卡等。
计算机可读命令可以包括汇编命令、命令集架构(ISA)命令、机器命令、机器依赖命令、微代码、固件命令、状态设定数据、或者、以包括如Smalltalk、JAVA(注册商标)、C++等的目标指向编程语言、以及如“C”编程语言或者同样的编程语言的以往的手续型编程语言的1个或者多个编程语言的任意的组合记述的源代码或者目标代码中的任意一个。
关于计算机可读命令,通用计算机、特殊目的的计算机、或者其他可编程的数据处理装置的处理器、或者可编程电路可以为了生成用于执行在流程图或者框图中指定的运行的单元,为了执行该计算机可读命令,在本地或者经由局域网(LAN)、如因特网等的广域网(WAN),提供给通用计算机、特殊目的的计算机、或者其他可编程的数据处理装置的处理器、或者可编程电路。作为处理器的例子,包括计算机处理器、处理部件、微型处理器、数字信号处理器、控制器、微型控制器等。
在上述实施方式中,作为移动体的例子举出车辆100进行了说明,但不限于此。移动体只要能够搭载多个搭乘者而移动,则可以是任意的例子。例如,除了车辆100以外,还可以是电车、飞机、以及船舶等。
以上,使用实施方式说明了本发明,但本发明的技术性的范围不限定于上述实施方式记载的范围。本领域技术人员可知能够对上述实施方式施加各种变更或者改良。根据权利要求书的记载,可知施加这样的变更或者改良的方式也包含于本发明的技术性的范围。
关于在权利要求书、说明书、以及附图中示出的装置、系统、程序、以及方法中的动作、过程、步骤、以及阶段等各处理的执行顺序,应留意只要未特别明示为“之前”、“以前”等,并且,并未在后面的处理中使用前面的处理的输出,可按照任意的顺序实现。关于权利要求书、说明书、以及附图中的动作流程,即使为便于说明使用“首先,”、“接下来,”等来说明,也不意味着必须按照该顺序实施。
Claims (15)
1.一种信息处理装置,具备:
状况取得部,取得一移动体的状况;以及
情绪推测部,执行与所述一移动体的状况对应的情绪推测处理,从而推测所述搭乘者的情绪,且该情绪推测处理是基于由搭载于所述一移动体的摄像部所摄像的所述一移动体的搭乘者的图像来执行的情绪推测处理。
2.根据权利要求1所述的信息处理装置,其具备情绪倾向信息储存部,
该情绪倾向信息储存部储存情绪倾向信息,所述情绪倾向信息表示所述搭乘者搭乘着所述一移动体时所述一移动体的每个状况的所述搭乘者的情绪的倾向,
所述情绪推测部执行使用与所述一移动体的状况对应的所述搭乘者的情绪的倾向进行的情绪推测处理。
3.根据权利要求2所述的信息处理装置,其中,
所述情绪倾向信息储存部储存与所述一移动体的多个搭乘者中的各个搭乘者对应的情绪倾向信息,
所述情绪推测部参照与所述搭乘者对应的所述情绪倾向信息,确定与所述一移动体的状况对应的所述搭乘者的情绪的倾向。
4.根据权利要求2或者3所述的信息处理装置,其中,
所述情绪倾向信息包括与跟所述一移动体的移动速度相关的状况对应的所述搭乘者的情绪的倾向。
5.根据权利要求4所述的信息处理装置,其中,
在所述情绪倾向信息中,将所述一移动体的移动速度比预先决定的速度快的状况和表示所述搭乘者易于感到恐惧的情绪的倾向对应关联,
所述情绪推测部在所述一移动体的移动速度比预先决定的速度快的情况下,以与不使用所述情绪倾向信息来推测所述搭乘者的情绪的情况相比,使所述搭乘者的恐惧的情绪的程度变得更强的方式,推测所述搭乘者的情绪。
6.根据权利要求2至5中的任意一项所述的信息处理装置,其中,
所述情绪倾向信息包括与跟所述一移动体的搭乘者的数量相关的状况对应的所述搭乘者的情绪的倾向。
7.根据权利要求6所述的信息处理装置,其中,
在所述情绪倾向信息中,将多个搭乘者搭乘所述一移动体的状况和表示所述搭乘者易于感到喜悦的情绪的倾向对应关联,
所述情绪推测部在多个搭乘者搭乘所述一移动体的情况下,以与不使用所述情绪倾向信息来推测所述搭乘者的情绪的情况相比,使所述搭乘者的喜悦的情绪的程度变得更强的方式,推测所述搭乘者的情绪。
8.根据权利要求6所述的信息处理装置,其中,
在所述情绪倾向信息中,将多个搭乘者搭乘所述一移动体的状况和表示所述搭乘者易于感到不开心的情绪的倾向对应关联,
所述情绪推测部在多个搭乘者搭乘所述一移动体的情况下,以与不使用所述情绪倾向信息来推测所述搭乘者的情绪的情况相比,使所述搭乘者的不开心的情绪的程度变得更强的方式,推测所述搭乘者的情绪。
9.根据权利要求2至8中的任意一项所述的信息处理装置,其中,
所述一移动体是汽车,
所述情绪倾向信息包括与跟所述一移动体行驶的道路相关的状况对应的所述搭乘者的情绪的倾向。
10.根据权利要求9所述的信息处理装置,其中,
在所述情绪倾向信息中,将所述一移动体行驶的道路是高速公路的状况和表示所述搭乘者易于感到兴奋的情绪的倾向对应关联,
所述情绪推测部在所述一移动体在高速公路行驶的情况下,以与不使用所述情绪倾向信息来推测所述搭乘者的情绪的情况相比,使所述搭乘者的兴奋的情绪的程度变得更强的方式,推测所述搭乘者的情绪。
11.根据权利要求9所述的信息处理装置,其中,
在所述情绪倾向信息中,将所述一移动体行驶的道路是高速公路的状况和表示所述搭乘者易于感到紧张的情绪的倾向对应关联,
所述情绪推测部在所述一移动体在高速公路行驶的情况下,以与不使用所述情绪倾向信息来推测所述搭乘者的情绪的情况相比,使所述搭乘者的紧张的情绪的程度变得更强的方式,推测所述搭乘者的情绪。
12.根据权利要求1所述的信息处理装置,其具有数据储存部,
该数据储存部针对移动体的每个状况,储存用于推测所述一移动体的搭乘者的情绪的情绪推测用数据,
所述情绪推测部执行使用与所述一移动体的状况对应的情绪推测用数据来进行的情绪推测处理。
13.根据权利要求12所述的信息处理装置,其中,
所述数据储存部针对移动体的每个状况,储存用于推测所述一移动体的搭乘者的情绪的情绪推测算法,
所述情绪推测部通过使用与所述一移动体的状况对应的情绪推测算法,执行基于由所述摄像部所摄像的所述搭乘者的图像进行的情绪推测处理,推测所述搭乘者的情绪。
14.根据权利要求12所述的信息处理装置,其中,
所述数据储存部针对移动体的每个状况,储存用于推测所述一移动体的搭乘者的情绪的所述搭乘者的中性表情的图像,
所述情绪推测部通过比较由所述摄像部所摄像的所述搭乘者的图像和与所述一移动体的状况对应的所述搭乘者的中性表情的图像,推测所述搭乘者的情绪。
15.一种计算机可读存储介质,存储有用于使计算机作为权利要求1至14中的任意一项所述的信息处理装置发挥功能的程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-246806 | 2018-12-28 | ||
JP2018246806A JP7068156B2 (ja) | 2018-12-28 | 2018-12-28 | 情報処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111382665A true CN111382665A (zh) | 2020-07-07 |
CN111382665B CN111382665B (zh) | 2024-03-01 |
Family
ID=71216954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911265422.0A Active CN111382665B (zh) | 2018-12-28 | 2019-12-11 | 信息处理装置以及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7068156B2 (zh) |
CN (1) | CN111382665B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112168190A (zh) * | 2020-10-23 | 2021-01-05 | 清华大学 | 驾驶压力实时监测系统及方法 |
CN114074669A (zh) * | 2020-08-11 | 2022-02-22 | 丰田自动车株式会社 | 信息处理装置、信息处理方法以及程序 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101710449A (zh) * | 2009-12-04 | 2010-05-19 | 吉林大学 | 基于公交车gps数据的交通流运行状态识别方法 |
CN105303829A (zh) * | 2015-09-11 | 2016-02-03 | 深圳市乐驰互联技术有限公司 | 汽车驾驶员情绪识别方法及装置 |
JP2017136922A (ja) * | 2016-02-02 | 2017-08-10 | 富士通テン株式会社 | 車両制御装置、車載機器制御装置、地図情報生成装置、車両制御方法及び車載機器制御方法 |
CN107316436A (zh) * | 2017-07-31 | 2017-11-03 | 努比亚技术有限公司 | 危险驾驶状态处理方法、电子设备及存储介质 |
DE102016208797A1 (de) * | 2016-05-20 | 2017-11-23 | Zf Friedrichshafen Ag | Verfahren zur rechnergestützten Fahrdatenanalyse von Kraftfahrzeugen |
CN108001451A (zh) * | 2016-10-27 | 2018-05-08 | 福特全球技术公司 | 用于车辆对驾驶员状态进行自适应的设备和方法 |
CN108429970A (zh) * | 2018-05-28 | 2018-08-21 | Oppo广东移动通信有限公司 | 音频播放方法、装置、终端、耳机及可读存储介质 |
CN109000635A (zh) * | 2017-06-07 | 2018-12-14 | 本田技研工业株式会社 | 信息提供装置及信息提供方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019101472A (ja) | 2017-11-28 | 2019-06-24 | トヨタ自動車株式会社 | 感情推定装置 |
JP7183782B2 (ja) | 2018-12-26 | 2022-12-06 | トヨタ紡織株式会社 | 感情推定装置、環境提供システム、車両、感情推定方法、および情報処理プログラム |
-
2018
- 2018-12-28 JP JP2018246806A patent/JP7068156B2/ja active Active
-
2019
- 2019-12-11 CN CN201911265422.0A patent/CN111382665B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101710449A (zh) * | 2009-12-04 | 2010-05-19 | 吉林大学 | 基于公交车gps数据的交通流运行状态识别方法 |
CN105303829A (zh) * | 2015-09-11 | 2016-02-03 | 深圳市乐驰互联技术有限公司 | 汽车驾驶员情绪识别方法及装置 |
JP2017136922A (ja) * | 2016-02-02 | 2017-08-10 | 富士通テン株式会社 | 車両制御装置、車載機器制御装置、地図情報生成装置、車両制御方法及び車載機器制御方法 |
DE102016208797A1 (de) * | 2016-05-20 | 2017-11-23 | Zf Friedrichshafen Ag | Verfahren zur rechnergestützten Fahrdatenanalyse von Kraftfahrzeugen |
CN108001451A (zh) * | 2016-10-27 | 2018-05-08 | 福特全球技术公司 | 用于车辆对驾驶员状态进行自适应的设备和方法 |
CN109000635A (zh) * | 2017-06-07 | 2018-12-14 | 本田技研工业株式会社 | 信息提供装置及信息提供方法 |
CN107316436A (zh) * | 2017-07-31 | 2017-11-03 | 努比亚技术有限公司 | 危险驾驶状态处理方法、电子设备及存储介质 |
CN108429970A (zh) * | 2018-05-28 | 2018-08-21 | Oppo广东移动通信有限公司 | 音频播放方法、装置、终端、耳机及可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114074669A (zh) * | 2020-08-11 | 2022-02-22 | 丰田自动车株式会社 | 信息处理装置、信息处理方法以及程序 |
CN112168190A (zh) * | 2020-10-23 | 2021-01-05 | 清华大学 | 驾驶压力实时监测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7068156B2 (ja) | 2022-05-16 |
JP2020103704A (ja) | 2020-07-09 |
CN111382665B (zh) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210268902A1 (en) | Driving assistance apparatus and driving assistance method | |
JP2020109578A (ja) | 情報処理装置及びプログラム | |
US11383663B2 (en) | Vehicle control method, vehicle control system, vehicle control device, passenger watching-over method, passenger watching-over system, and passenger watching-over device | |
JP6466385B2 (ja) | サービス提供装置、サービス提供方法およびサービス提供プログラム | |
KR20210121015A (ko) | 남겨진 객체의 검출 | |
EP4047561A1 (en) | Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle | |
CN111382665A (zh) | 信息处理装置以及计算机可读存储介质 | |
US11580777B2 (en) | Control apparatus and computer-readable storage medium | |
CN111382664A (zh) | 信息处理装置以及计算机可读存储介质 | |
US11645855B2 (en) | Camera system to monitor the passengers in a vehicle and detect passenger activities | |
CN111325087A (zh) | 信息处理装置以及计算机可读存储介质 | |
JP2020095502A (ja) | 情報処理装置及びプログラム | |
US11443533B2 (en) | Information processing apparatus and computer readable storage medium | |
CN111382662B (zh) | 信息处理装置以及计算机可读存储介质 | |
CN111611330B (zh) | 信息处理系统、程序、以及控制方法 | |
KR20200048316A (ko) | 차량 및 그 제어 방법 | |
KR102613180B1 (ko) | 차량 및 그 제어방법 | |
CN114074669A (zh) | 信息处理装置、信息处理方法以及程序 | |
CN117112633A (zh) | 基于智能座舱主动交互方法、系统及存储介质 | |
CN116353487A (zh) | 一种车内乘客互动系统 | |
JP2023064217A (ja) | 運転講習システム、及び運転講習システムの制御方法 | |
JP2022023682A (ja) | 車両用安全支援システム | |
JP2022068567A (ja) | 情報提示装置、情報提示方法及び情報提示プログラム | |
CN115631550A (zh) | 一种用户反馈的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |