CN107886970A - 信息提供装置 - Google Patents

信息提供装置 Download PDF

Info

Publication number
CN107886970A
CN107886970A CN201710892462.2A CN201710892462A CN107886970A CN 107886970 A CN107886970 A CN 107886970A CN 201710892462 A CN201710892462 A CN 201710892462A CN 107886970 A CN107886970 A CN 107886970A
Authority
CN
China
Prior art keywords
information
occupant
emotion
unit
climax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710892462.2A
Other languages
English (en)
Other versions
CN107886970B (zh
Inventor
新谷智子
汤原博光
相马英辅
后藤绅郎
后藤绅一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN107886970A publication Critical patent/CN107886970A/zh
Application granted granted Critical
Publication of CN107886970B publication Critical patent/CN107886970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种信息提供装置。由情感推定判定部(4211)根据由信息获取部(410)获取到的乘员状态信息来推定乘员的情感。在乘员的推定情感表现出高涨(气氛高潮等)的情况下，由对象关键字指定部(423)在过去的对象时间段出现的关键字中指定并输出对象关键字。在乘员对于对象关键字的情感表示肯定的情况下，获取并输出与对象关键字相关联的信息。据此，掌握车辆的乘员彼此的会话的气氛高潮，由此能够基于被认为该乘员的关心程度高的关键字，更适时地对该乘员提供更合适的信息。

Description

信息提供装置
技术领域
本发明涉及一种执行车辆的驾驶员与车辆内的计算机之间的意思沟通或交流的装置。
背景技术
公知有如下技术：根据车辆的乘坐者的会话来判定车内的气氛高潮并向乘坐者提供娱乐。(参照专利文献1)在该现有技术例中，根据音频数据的振幅来判定气氛高潮。
现有技术文献
专利文献
专利文献1：日本发明专利公开公报特开2002-193150号
发明内容
然而，如果仅依靠音频数据的振幅来判定车内的气氛高潮，则过于机械而不一定是乘员能接受的时间(timing)。另外，由于所提供的娱乐是被预先设定的，因此不一定适合此时的会话。假如提供在会话中新得到的信息等，则认为更适合此时的会话。
因此，本发明的目的在于，提供一种信息提供装置：该装置掌握车辆的乘员彼此之间会话的气氛高潮，从而能根据关键字来更适时地向有关乘员提供更合适的信息，其中所述关键字是指认为有关乘员的关心程度高的词语。
本发明的信息提供装置是一种向车辆的乘员提供信息的信息提供装置，其具有情感推定判定部、对象关键字指定部和信息生成部，其中，所述情感推定判定部根据表示所述乘员的状态的乘员状态信息来推定所述乘员的情感；在被判定为由所述情感推定判定部推定出的所述乘员的情感表现出气氛高潮(情绪高潮)的情况下，所述对象关键字指定部在指定对象关键字之后将该对象关键字输出，其中，所述对象关键字是在比判定为所述乘员的情感表现出气氛高潮的时间点提前一定时间的对象时间段出现的；在由所述情感推定判定部推定出的、所述乘员对所述对象关键字的情感表示肯定的情况下，所述信息生成部在获取与所述对象关键字相关联的信息之后将该信息输出。
优选为：本发明的信息提供装置还具有存储部，所述存储部将由所述信息生成部输出的所述信息和由所述情感推定判定部推定出的、表示所述乘员对该信息的反应的情感建立关联而存储，所述信息生成部根据由所述存储部建立关联而存储的所述信息和所述乘员的反应情感，来确定新的信息。
根据本发明的信息提供装置，能够鉴于车辆的乘员所发出的关键字及其情感，在更合适的时间对该乘员提供更合适的信息。
附图说明
图1是基本系统的结构说明图。
图2是智能代理装置(agent device)的结构说明图。
图3是移动终端装置的结构说明图。
图4是作为本发明一个实施方式的信息提供装置的结构说明图。
图5是信息提供装置的功能说明图。
图6是与现有的普拉特切克模型(Plutchik Model)有关的说明图。
附图标记说明
1：智能代理装置；2：移动终端装置；3：服务器；4：信息提供装置；11：传感器部；111：GPS传感器；112：车速传感器；113：陀螺仪传感器；12：车辆信息部；13：存储部；14：无线部；141：近距离无线通信部；142：无线通信网通信部；15：显示部；16：操作输入部；17：音频部；18：导航部；191：拍摄部(车内摄像头)；192：语音输入部(话筒)；21：传感器部；211：GPS传感器；213：陀螺仪传感器；23：存储部；231：数据存储部；232：应用存储部；24：无线部；241：近距离无线通信部；242：无线通信网通信部；25：显示部；26：操作输入部；27：语音输出部；291：拍摄部(摄像头)；292：语音输入部(话筒)；411：乘员信息获取部；412：车内状况信息获取部；413：音频工作状态信息获取部；414：交通状况信息获取部；421：气氛高潮判定部；422：鼓励(encouragement)内容确定部；430：信息生成部；441：历史记录存储部；442：反应存储部；X：车辆(移动体)。
具体实施方式
(基本系统的结构)
作为本发明一个实施方式的信息提供装置4(参照图4)由图1所示的基本系统的结构要素中的至少一部分构成。基本系统由搭载于车辆X(移动体)的智能代理(agent)装置1、可由乘员带入车辆X内部的移动终端装置2(例如智能手机)和服务器3构成。智能代理装置1、移动终端装置2和服务器3具有通过无线通信网(例如因特网)来相互进行无线通信的功能。智能代理装置1和移动终端装置2具有如下功能：在共存于同一车辆X的空间内等、物理上接近的情况下，通过近距离无线方式(例如Bluetooth(“Bluetooth”为注册商标))来相互进行无线通信。
(智能代理装置的结构)
例如如图2所示，智能代理装置1具有控制部100、传感器部11(具有GPS传感器111、车速传感器112和陀螺仪传感器113。另外，也可以包含车内外的温度传感器、座椅或方向盘的温度传感器、或者加速度传感器。)、车辆信息部12、存储部13、无线部14(具有近距离无线通信部141和无线通信网通信部142。)、显示部15、操作输入部16、音频部17(语音输出部)、导航部18、拍摄部191(车内摄像头)、语音输入部192(话筒)和计时部(时钟)193。时钟也可以使用后述的GPS(Global Positioning System)的时刻信息。
车辆信息部12通过CAN-BUS(CAN)等车内网络来获取车辆信息。车辆信息中例如包含有点火开关的接通与断开(ON/OFF)、安全装置系统的动作状况(ADAS(Advanced DrivingAssistant System：高级驾驶辅助系统)、ABS(Antilock Brake System：防抱死制动系统)和安全气囊等)的信息。操作输入部16除了检测按下开关等操作之外，还能够检测乘员的情感推定所能够利用的转向器、加速踏板或制动踏板的操作量、车窗和空调的操作(温度设定值或者车内外的温度传感器的测定值)等的输入。智能代理装置1的存储部13具有用于在车辆驾驶中持续地存储乘员的语音信息的充足的存储容量。另外，服务器3中也可以存储有各种信息。
(移动终端装置的结构)
例如如图3所示，移动终端装置2具有控制部200、传感器部21(具有GPS传感器211和陀螺仪传感器213。另外，也可以包含测量终端周边的温度的温度传感器或加速度传感器。)、存储部23(具有数据存储部231和应用存储部232。)、无线部24(具有近距离无线通信部241和无线通信网通信部242。)、显示部25、操作输入部26、语音输出部27、拍摄部291(摄像头)、语音输入部292(话筒)和计时部(时钟)293。时钟也可以使用后述的GPS(GlobalPositioningSystem：全球定位系统)的时刻信息。
移动终端装置2具有与智能代理装置1共同的结构要素。移动终端装置2不具有获取车辆信息的结构要素(参照图2的车辆信息部12)，但例如能够通过近距离无线通信部241来从智能代理装置1获取车辆信息。另外，按照存储于应用存储部232的应用(软件)，移动终端装置2也可以具有分别与智能代理装置1的音频部17和导航部18同样的功能。
(信息提供装置的结构)
图4所示的作为本发明一个实施方式的信息提供装置4由智能代理装置1和移动终端装置2中的一方或双方构成。在此，所谓“信息”是指包含以下内容的概念：适合正在进行会话的现场气氛和乘员的情感的内容(信息)、乘员的关心程度高的内容(信息)、和认为对于乘员而言利用价值高的内容(信息)等。
信息提供装置4的一部分结构要素是智能代理装置1的结构要素，信息提供装置4的其他结构要素是移动终端装置2的结构要素，也可以为智能代理装置1和移动终端装置2协作以相互补充彼此的结构要素。例如，也可以构成为：利用能够将智能代理装置1的存储容量设定得较大的情况，来将信息从移动终端装置2发送给智能代理装置1，积累大容量的信息。也可以构成为：根据移动终端装置2的应用程序等的功能比较频繁地升级(versionupgrade)，或者易于在日常随时获取乘员信息的情况，来将通过移动终端装置2获取的判断结果和信息发送给智能代理装置1。也可以构成为：由移动终端装置2按照来自智能代理装置1的指示来提供信息。
关于标记，N1(N2)的记载表示由结构要素N1和结构要素N2中的一方或者双方来构成或者执行。
信息提供装置4包含控制部100(200)，根据其作用，按照需要从传感器部11(22)、车辆信息部12、无线部14(24)、操作输入部16、音频部17、导航部18、拍摄部191(291)、语音输入部192(292)、计时部(时钟)193、以及存储部13(23)获取信息或积累信息，另外，按照需要，由显示部15(25)或者语音输出部17(27)来提供信息(content；内容)。另外，将伴随着信息提供装置4的使用的乘员优化(最佳化)所需的信息存储于存储部13(23)。
信息提供装置4具有信息获取部410和信息处理部420。存储部13(23)具有历史记录存储部441和反应存储部442。
信息获取部410具有乘员信息获取部411、车内状况信息获取部412、音频工作状态信息获取部413、交通状况信息获取部414和外部信息获取部415。
乘员信息获取部411根据来自拍摄部191(291)、语音输入部192(292)、音频部17、导航部18和时钟402的输出信号，来获取与车辆X的驾驶员等乘员有关的信息作为乘员信息。
乘员信息获取部411根据来自拍摄部191(291)、语音输入部192(292)和时钟402的输出信号，来获取与包含车辆X的乘员的乘员有关的信息。音频工作状态信息获取部413获取与音频部17的工作状态有关的信息作为音频工作状态信息。交通状况信息获取部414通过与服务器3和导航部18协作来获取与车辆X有关的交通状况信息。
也可以获取由拍摄部191(291)拍摄到的、表示乘员(尤其是车辆X的驾驶员或者主乘员(第1乘员))随着从音频部17输出的音乐的节拍而使身体的一部分(例如头部)周期性地活动(运动)的样子等、乘员的动作(做派)的动态图像(动画)作为乘员信息。也可以获取由语音输入部192(292)检测到的乘员的哼唱来作为乘员信息。也可以获取由拍摄部191(291)拍摄到的、表示与导航部18的输出图像变更或语音输出相对应的乘员(第1乘员)的视线的移动等反应的动态图像作为乘员信息。也可以将由音频工作状态信息获取部413获取到的、与从音频部17输出的音乐信息有关的信息作为乘员信息来获取。
车内状况信息获取部412获取车内状况信息。也可以获取由拍摄部191(291)拍摄到的、表示乘员(尤其是车辆X的驾驶员(第1乘员)的同乘者或者副乘员(第2乘员))闭着眼睛的样子、向车外眺望的样子、或者正在操作智能手机的样子等、乘员动作的动态图像作为车内状况信息。也可以获取由语音输入部192(292)检测到的、第1乘员和第2乘员的会话或第2乘员的讲话内容作为乘员信息。
交通状况信息获取部414获取交通状况信息。也可以获取从服务器3向信息提供装置4发送的、导航路径或者包含导航路径的区域所包含的道路、或者构成该道路的路段(link)的移动成本(距离、移动所需时间、交通阻塞度或能耗)作为交通状况信息。对于当前位置、从当前地点或者出发地点到目的地点连续的多个路段，由导航部18或者移动终端装置2的导航功能、或者服务器3来进行计算导航路径。信息提供装置4的当前地点由GPS传感器111(211)来测定。出发地点和目的地点由乘员通过操作输入部16(26)或语音输入部192(292)来设定。
信息处理部420具有气氛高潮判定部421(具有情感推定判定部4211和语段特征提取部4212。)、对象关键字指定部423、检索处理部424、信息生成部430和反馈信息生成部440。
气氛高潮判定部421一直获取包含乘员的会话的车内状况信息或者1次信息来掌握气氛高潮的有无。识别“非常喜爱”或者“可爱”等乘员的情感，由此识别“气氛高潮”。在乘员彼此的会话正在继续的过程中，虽然没有在情感中识别出特征，但根据同一关键字被重复的状态来判定为“气氛高潮”。情感推定判定部4211根据乘员状态信息来推定乘员的情感，其中所述乘员状态信息是由信息获取部410获取到的车内状况信息和交通状况信息中的至少一种。语段特征提取部4212提取表示乘员的讲话内容的语段(文章)的特征。在由情感推定判定部4211推定出的乘员的情感表现出高涨(气氛高潮等)的情况下，对象关键字指定部423通过显示部15(25)和语音输出部17(27)中的至少一方来输出由检索处理部424检索到的对象关键字。在由情感推定判定部4211推定出的、乘员对于对象关键字的情感表示肯定(同感等)的情况下，信息生成部430在获取与对象关键字相关联的信息后，通过显示部15(25)和语音输出部17(27)中的至少一方来输出该信息。信息可以从存储部13(23)获取，或者也可以通过无线通信网从服务器3来获取。反馈信息生成部440生成反馈信息。
存储部13(23)将由信息生成部430输出的信息和由情感推定判定部4211推定出的、表示乘员对该信息的反应的情感建立关联而进行存储。信息生成部430根据由存储部13(23)建立关联而存储的信息和乘员的反应情感，来确定新的信息。
(信息提供装置的作用)
对上述结构的信息提供装置4的作用或功能进行说明。
信息获取部410获取作为车辆X的乘员的乘员的语音信息或者实况数据(livedata)(图5的步骤102)。获取由语音输入部192(292)检测到的、位于车辆X的座舱空间(cabin space)的一个或多个乘员的讲话或会话作为语音信息。
情感推定判定部4211根据乘员状态信息(第1信息)来推定或提取乘员的第1情感(情感值)(图5的步骤104)，其中所述乘员状态信息是由信息获取部410获取到的乘员信息、车内状况信息和交通状况信息中的至少一种。具体而言，以第1信息为输入，使用由深度学习(deep learning)或者支持向量机(support vector machine)等机器学习(machinelearning)制成的过滤器，来推定乘员的情感值。例如，在乘员状态信息中包含表示多个乘员正愉快地进行会话的样子的动态图像或语音信息的情况下，推定为该多个乘员的情感值高。情感的推定也可以根据公知或者新的情感模型来执行。图6是简略地表示公知的普拉特切克情感模型的图。被分类为4组8种情感，其在放射的8个方向L1～…L5～L8上显示“喜悦、悲伤、愤怒、害怕、厌恶、信赖、惊讶、期待”，越靠近圆的中心(C1→C3)表示情感的程度越强。
气氛高潮判定部421根据包含车辆X的乘员彼此的会话的信息，来判定车辆X的乘员的情感或者气氛是否高潮(图5的步骤106)。该处理属于有无气氛高潮的1次判定处理。例如，在根据乘员的会话内容推定出该乘员怀着“非常喜爱”“可爱”等情感的情况下，判定为乘员的气氛高潮。另外，该气氛高潮的判定并不限定于多个人，还能够适用于自言自语的情况。肯定的判定也可以不是使用一个语段来进行，而是使用他人或自己停顿一下说“哦。是的是的。好”这样的表示肯定的内容，也可以是笑声。
在该1次判定结果为否定的情况下(图5的步骤106：否)，气氛高潮判定部421在乘员彼此的会话正在继续的过程中，虽然没有在情感中识别出特征，但判定由语段特征提取部4212提取出的同一关键字或语句是否被重复(指定次数以上)(图5的步骤108)。该处理属于有无气氛高潮的2次判定处理。在同一关键字或者语句被重复的情况下，判定为乘员的气氛高潮。
在判定为车辆X的乘员的情绪(气氛)没达到高潮的情况下(图5的步骤106：否或者步骤108：否)，反复进行乘员的语音信息获取以后的处理(参照图5的步骤102→步骤104→步骤106→步骤108)。
另一方面，在被判定为车辆X的乘员的情绪高潮(气氛高潮)(或者同一关键字或者语句被重复)的情况下(图5的步骤106：是或者步骤108：是)，对象关键字指定部423指定被判定为乘员的情绪高潮的时间点以前的一定的时间段(数秒到数十秒的范围的长度)。确定比该阈值以上的推定情感值出现的时间点提前一定时间(例如1分钟)的对象时间段(图5的步骤110)。对象关键字指定部423从根据对象时间段中的语音信息提取出的关键字中指定对象关键字，并且通过显示部15(25)和语音输出部17(27)中的至少一方来输出该关键字(图5的步骤112)。
信息获取部410获取表示乘员在接触到对象关键字时的的状态的乘员状态信息，情感推定判定部4211基于该乘员状态信息(第2信息)，根据该乘员的反应来推定第2情感(图5的步骤114)。具体而言，以第2信息为输入，使用通过深度学习(deep learning)或支持向量机(support vector machine)等机器学习而制成的过滤器来推定乘员的情感。情感的推定也可以根据公知的情感模型(参照图6)或者新的情感模型来执行。第2信息可以与作为情感值的评价基础的第1信息(参照图5的步骤106)相同，也可以不同。
例如，在包含有“好啊”、“赞成”或者“试试吧”等肯定的关键字的语音信息被包含于第2信息的情况下，推定为乘员的反应情感为肯定的可能性变高。与此相反，包含有“还差一些”、“反对”或者“放弃”等否定的关键字的语音信息被包含于第2信息的情况下，推定为乘员的反应情感为否定的可能性变高。
信息生成部430判定由情感推定判定部4211推定出的、乘员对于对象关键字的第2情感是否表示肯定(同感等)(图5的步骤116)。在判定为乘员的第2情感表示否定等、不表示肯定的情况下(图5的步骤116：否)，反复进行气氛高潮的有无判定以后的处理(参照图5的步骤106→…→步骤116)。另一方面，在判定为乘员的反应情感表示肯定的情况下(图5的步骤116：是)，信息生成部430获取与对象关键字相关联的信息(图5的步骤118)。该信息可以每次从外部信息源进行检索，也可以将从外部信息源频繁地获得(自动发送来)的外部信息暂时存储在存储部13(23)中，而从中选择信息。信息生成部430通过显示部15(25)和语音输出部17(27)中的至少一方来输出该信息(图5的步骤120)。该输出信息被作为“符合车辆X的乘员彼此的会话内容的信息”或者“符合车辆X的乘员的气氛的信息”来提供。
信息获取部410获取表示乘员在接触到该信息时的状态的乘员状态信息，情感推定判定部4211基于该乘员状态信息(第3信息)，根据该乘员的反应来推定第3情感(图5的步骤122)。具体而言，以第3信息为输入，使用通过深度学习或支持向量机等机器学习而制成的过滤器，来推定乘员的第3情感。情感的推定也可以根据公知的情感模型(参照图6)或者新的情感模型来执行。第3信息可以与作为情感推定基础的第1信息(参照图5的步骤106)和第2信息相同，也可以不同。
并且，反馈信息生成部440将输出信息和乘员对该输出信息的第3情感建立关联而存储于存储部13(23)(图5的步骤124)。信息生成部430能够根据由存储部13(23)建立关联而存储的信息和乘员的反应情感，来确定新的对象关键字或者与新的对象关键字对应的信息(参照图5的步骤112和步骤118)。
(信息提供装置的功能(变形例))
在其他实施方式中，也可以为：提取出关键字之后，由信息生成部430获取与该关键字对应的信息，并且将关键字和信息建立关联而存储保持于存储部13(23)。并且，也可以为：当判定为乘员对于对象关键字的第2情感是肯定的情况下(参照图5的步骤116：是)，从存储部13(23)读出与该对象关键字建立关联的信息，通过显示部15(25)和语音输出部17(27)中的至少一方来输出该信息(参照图5的步骤120)。
(效果)
根据本发明的信息提供装置4，能够鉴于车辆的乘员所发出的关键字及其情感，在更合适的时间对该乘员提供更合适的信息。

Claims (3)

1.一种信息提供装置，其向车辆的乘员提供信息，其特征在于，
具有情感推定判定部、对象关键字指定部和信息生成部，其中：
所述情感推定判定部根据表示所述乘员的状态的乘员状态信息来推定所述乘员的情感；
在被判定为由所述情感推定判定部推定出的所述乘员的情感表现出气氛高潮的情况下，所述对象关键字指定部在指定对象关键字之后将该对象关键字输出，其中，所述对象关键字是在比判定为所述乘员的情感表现出气氛高潮的时间点提前一定时间的对象时间段出现的；
在由所述情感推定判定部推定出的、所述乘员对所述对象关键字的情感表示肯定的情况下，所述信息生成部在获取与所述对象关键字相关联的信息之后将该信息输出。
2.根据权利要求1所述的信息提供装置，其特征在于，
还具有存储部，该存储部将由所述信息生成部输出的所述信息和由所述情感推定判定部推定出的、表示所述乘员对所述信息的反应的情感建立关联而存储，
所述信息生成部根据由所述存储部建立关联而存储的所述信息和所述乘员的反应情感，来确定新的信息。
3.一种移动体，其特征在于，
具有权利要求1或2所述的信息提供装置。
CN201710892462.2A 2016-09-30 2017-09-27 信息提供装置 Active CN107886970B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-194995 2016-09-30
JP2016194995A JP6612707B2 (ja) 2016-09-30 2016-09-30 情報提供装置

Publications (2)

Publication Number Publication Date
CN107886970A true CN107886970A (zh) 2018-04-06
CN107886970B CN107886970B (zh) 2021-12-10

Family

ID=61757185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710892462.2A Active CN107886970B (zh) 2016-09-30 2017-09-27 信息提供装置

Country Status (3)

Country Link
US (1) US20180096699A1 (zh)
JP (1) JP6612707B2 (zh)
CN (1) CN107886970B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114475825A (zh) * 2020-10-26 2022-05-13 丰田自动车株式会社 显示系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160146389A (ko) * 2015-06-12 2016-12-21 삼성전자주식회사 댁 내 기기를 제어하는 방법 및 이를 위한 장치
JP2018082283A (ja) * 2016-11-15 2018-05-24 富士通株式会社 情報提供装置、情報提供プログラムおよび情報提供方法
US20190096397A1 (en) * 2017-09-22 2019-03-28 GM Global Technology Operations LLC Method and apparatus for providing feedback
JP6963632B2 (ja) * 2017-12-27 2021-11-10 パイオニア株式会社 記憶装置及び興奮抑制装置
JP7091807B2 (ja) * 2018-04-23 2022-06-28 トヨタ自動車株式会社 情報提供システムおよび情報提供方法
JP6971205B2 (ja) * 2018-08-21 2021-11-24 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
WO2020242179A1 (ko) * 2019-05-29 2020-12-03 (주) 애니펜 콘텐츠를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP2022030591A (ja) 2020-08-07 2022-02-18 本田技研工業株式会社 編集装置、編集方法、およびプログラム

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249945A (ja) * 2000-03-07 2001-09-14 Nec Corp 感情生成方法および感情生成装置
JP2002193150A (ja) * 2000-12-22 2002-07-10 Sony Corp 車載装置、自動車及び情報処理方法
CN101206637A (zh) * 2006-12-22 2008-06-25 英业达股份有限公司 建立使用者的操作习惯与兴趣的模型的系统及其方法
CN101231872A (zh) * 2007-01-22 2008-07-30 索尼株式会社 信息处理装置、信息处理方法和信息处理程序
WO2008126355A1 (ja) * 2007-03-29 2008-10-23 Panasonic Corporation キーワード抽出装置
JP2010286627A (ja) * 2009-06-11 2010-12-24 Nissan Motor Co Ltd 感情推定装置及び感情推定方法
CN102723078A (zh) * 2012-07-03 2012-10-10 武汉科技大学 基于自然言语理解的语音情感识别方法
US20120330659A1 (en) * 2011-06-24 2012-12-27 Honda Motor Co., Ltd. Information processing device, information processing system, information processing method, and information processing program
CN103235818A (zh) * 2013-04-27 2013-08-07 北京百度网讯科技有限公司 一种基于网页情感倾向性的信息推送方法和装置
US20130268273A1 (en) * 2012-04-10 2013-10-10 Oscal Tzyh-Chiang Chen Method of recognizing gender or age of a speaker according to speech emotion or arousal
CN103634472A (zh) * 2013-12-06 2014-03-12 惠州Tcl移动通信有限公司 根据通话语音判断用户心情及性格的方法、系统及手机
JP2014194723A (ja) * 2013-03-29 2014-10-09 Jsol Corp イベント準備促進アドバイスシステム及びその方法
CN104102627A (zh) * 2014-07-11 2014-10-15 合肥工业大学 一种多模态的非接触情感分析记录系统
US20150220980A1 (en) * 2008-10-24 2015-08-06 At&T Intellectual Property I, L.P. System and Method for Targeted Advertising
US20160104486A1 (en) * 2011-04-22 2016-04-14 Angel A. Penilla Methods and Systems for Communicating Content to Connected Vehicle Users Based Detected Tone/Mood in Voice Input
CN105893344A (zh) * 2016-03-28 2016-08-24 北京京东尚科信息技术有限公司 基于用户语义情感分析的应答方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2140341B1 (en) * 2007-04-26 2012-04-25 Ford Global Technologies, LLC Emotive advisory system and method
JP4609527B2 (ja) * 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム
US8649533B2 (en) * 2009-10-02 2014-02-11 Ford Global Technologies, Llc Emotive advisory system acoustic environment
US20140309849A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Driver facts behavior information storage system
US9196248B2 (en) * 2013-02-13 2015-11-24 Bayerische Motoren Werke Aktiengesellschaft Voice-interfaced in-vehicle assistance
US9015737B2 (en) * 2013-04-18 2015-04-21 Microsoft Technology Licensing, Llc Linked advertisements
US20170004517A1 (en) * 2014-07-18 2017-01-05 Speetra, Inc. Survey system and method
US9533687B2 (en) * 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US10872354B2 (en) * 2015-09-04 2020-12-22 Robin S Slomkowski System and method for personalized preference optimization
US10032453B2 (en) * 2016-05-06 2018-07-24 GM Global Technology Operations LLC System for providing occupant-specific acoustic functions in a vehicle of transportation
US10029698B2 (en) * 2016-07-19 2018-07-24 Futurewei Technologies, Inc. Adaptive passenger comfort enhancement in autonomous vehicles
US10546586B2 (en) * 2016-09-07 2020-01-28 International Business Machines Corporation Conversation path rerouting in a dialog system based on user sentiment
US9947319B1 (en) * 2016-09-27 2018-04-17 Google Llc Forming chatbot output based on user state
US10192171B2 (en) * 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037193A1 (en) * 2000-03-07 2001-11-01 Izumi Nagisa Method, apparatus and computer program for generating a feeling in consideration of a self-confident degree
JP2001249945A (ja) * 2000-03-07 2001-09-14 Nec Corp 感情生成方法および感情生成装置
JP2002193150A (ja) * 2000-12-22 2002-07-10 Sony Corp 車載装置、自動車及び情報処理方法
CN101206637A (zh) * 2006-12-22 2008-06-25 英业达股份有限公司 建立使用者的操作习惯与兴趣的模型的系统及其方法
CN101231872A (zh) * 2007-01-22 2008-07-30 索尼株式会社 信息处理装置、信息处理方法和信息处理程序
WO2008126355A1 (ja) * 2007-03-29 2008-10-23 Panasonic Corporation キーワード抽出装置
US20150220980A1 (en) * 2008-10-24 2015-08-06 At&T Intellectual Property I, L.P. System and Method for Targeted Advertising
JP2010286627A (ja) * 2009-06-11 2010-12-24 Nissan Motor Co Ltd 感情推定装置及び感情推定方法
US20160104486A1 (en) * 2011-04-22 2016-04-14 Angel A. Penilla Methods and Systems for Communicating Content to Connected Vehicle Users Based Detected Tone/Mood in Voice Input
US20120330659A1 (en) * 2011-06-24 2012-12-27 Honda Motor Co., Ltd. Information processing device, information processing system, information processing method, and information processing program
US20130268273A1 (en) * 2012-04-10 2013-10-10 Oscal Tzyh-Chiang Chen Method of recognizing gender or age of a speaker according to speech emotion or arousal
CN102723078A (zh) * 2012-07-03 2012-10-10 武汉科技大学 基于自然言语理解的语音情感识别方法
JP2014194723A (ja) * 2013-03-29 2014-10-09 Jsol Corp イベント準備促進アドバイスシステム及びその方法
CN103235818A (zh) * 2013-04-27 2013-08-07 北京百度网讯科技有限公司 一种基于网页情感倾向性的信息推送方法和装置
CN103634472A (zh) * 2013-12-06 2014-03-12 惠州Tcl移动通信有限公司 根据通话语音判断用户心情及性格的方法、系统及手机
CN104102627A (zh) * 2014-07-11 2014-10-15 合肥工业大学 一种多模态的非接触情感分析记录系统
CN105893344A (zh) * 2016-03-28 2016-08-24 北京京东尚科信息技术有限公司 基于用户语义情感分析的应答方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114475825A (zh) * 2020-10-26 2022-05-13 丰田自动车株式会社 显示系统

Also Published As

Publication number Publication date
CN107886970B (zh) 2021-12-10
JP2018059960A (ja) 2018-04-12
US20180096699A1 (en) 2018-04-05
JP6612707B2 (ja) 2019-11-27

Similar Documents

Publication Publication Date Title
CN107886970A (zh) 信息提供装置
US20180093673A1 (en) Utterance device and communication device
CN109000635B (zh) 信息提供装置及信息提供方法
CN108240819B (zh) 驾驶辅助装置和驾驶辅助方法
JP7092116B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN107886045B (zh) 设施满意度计算装置
US20170155998A1 (en) Vehicle with display system for interacting with wearable device
EP3343535A1 (en) Information processing device, information processing method, and program
CN101278324A (zh) 自适应驾驶员工作负荷估计器
EP2942012A1 (en) Driver assistance system
JP6737875B2 (ja) 鞍乗型車両用処理装置
CN110147160A (zh) 信息提供装置和信息提供方法
JP6657415B2 (ja) 情報提供装置、及び移動体
CN108932290B (zh) 地点提案装置及地点提案方法
CN110072726B (zh) 自主车辆计算机
CN113905938A (zh) 用于改进多个自动驾驶车辆与其所在驾驶环境间交互的系统和方法
WO2018123055A1 (ja) 情報提供システム
WO2018123057A1 (ja) 情報提供システム
JP6619316B2 (ja) 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体
JP6657048B2 (ja) 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体
JP2018083583A (ja) 車両感情表示装置、車両感情表示方法および車両感情表示プログラム
WO2017183523A1 (ja) 感情決定システム、システム及びプログラム
US20240190443A1 (en) Apparatus and method for providing vehicle sound
JP6660863B2 (ja) 移動体用出力生成装置、移動体用出力生成プログラム、移動体用出力生成方法及び移動体
CN109597914B (zh) 音乐推送方法、装置、车辆终端及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant