CN107918637A - 服务提供装置和服务提供方法 - Google Patents

服务提供装置和服务提供方法 Download PDF

Info

Publication number
CN107918637A
CN107918637A CN201710884700.5A CN201710884700A CN107918637A CN 107918637 A CN107918637 A CN 107918637A CN 201710884700 A CN201710884700 A CN 201710884700A CN 107918637 A CN107918637 A CN 107918637A
Authority
CN
China
Prior art keywords
service
emotion
occupant
emotions
occupants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710884700.5A
Other languages
English (en)
Other versions
CN107918637B (zh
Inventor
新谷智子
汤原博光
相马英辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN107918637A publication Critical patent/CN107918637A/zh
Application granted granted Critical
Publication of CN107918637B publication Critical patent/CN107918637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication

Abstract

本发明提供一种服务提供装置和服务提供方法。服务提供装置具有：乘员检测部(42)，其检测是否存在由多人构成的车内乘员；个人情感推定部(12)，其推定由乘员检测部(42)检测出的各个乘员的个人情感；全体情感推定部(13)，其根据由个人情感推定部(12)推定出的各个乘员的个人情感来推定全体情感，其中所述全体情感为全体乘员的情感；服务确定部(14)，其根据由全体情感推定部(13)推定出的全体情感，来确定向全体乘员提供的服务；和指示输出部(15)，其输出用于提供由服务确定部(14)确定的服务的指示。

Description

服务提供装置和服务提供方法
技术领域
本发明涉及一种能够向车内乘员提供各种服务的服务提供装置和服务提供方法。
背景技术
作为这种装置，现有技术中已知以下装置：根据由车内的麦克风收集到的乘员交谈内容和乘员的构成，来推定乘员的行动目的，根据该行动目的来确定向乘员推荐的服务，且提供所确定的服务。该装置记载于例如日本发明专利公开公报特开2012-133530号(JP2012-133530A)。
然而，在如JP2012-133530A记载的装置那样，根据交谈内容来确定提供的服务的情况下，乘员的满足度可能因人而异，例如没有进行(参与)交谈的乘员等可能会对所提供的服务感到不快，从而难以带给车内全体乘员高满足度(即难以使车内全体乘员均感到很满意)。
发明内容
作为本发明一方式的服务提供装置具有：乘员检测部，其检测是否存在由多人构成的车内乘员；个人情感推定部，其推定由乘员检测部检测出的各个乘员的个人情感；全体情感推定部，其根据由个人情感推定部推定出的各个乘员的个人情感来推定全体情感，其中所述全体情感为全体乘员的情感；服务确定部，其根据由全体情感推定部推定出的全体情感，来确定向全体乘员提供的服务；和指示输出部，其输出用于提供服务的指示，其中所述服务已由所述服务确定部确定。
作为本发明另一方式的服务提供方法包括以下步骤：检测是否存在由多人构成的车内乘员；推定所检测出的各个乘员的个人情感；根据所推定出的各个乘员的个人情感来推定全体情感，其中所述全体情感为全体乘员的情感，根据所推定出的全体情感来确定向全体乘员提供的服务，输出用于提供所确定的服务的指示。
附图说明
通过与附图相关联的下面的实施方式的说明，本发明的目的、特征和优点更加明确。
在该附图中，
图1是表示本发明实施方式所涉及的服务提供装置的概略结构的框图；
图2是表示在图1的服务提供装置所包含的处理装置中所执行的处理一例的流程图；
图3是表示图1的变形例的图。
具体实施方式
下面，参照图1～图3来对本发明的实施方式进行说明。图1是表示本发明实施方式所涉及的服务提供装置100的概略结构的框图。该服务提供装置100是能够向车内乘员提供各种服务的装置，例如以被搭载于车辆的导航装置为基础而构成。
如图1所示，服务提供装置100具有包括处理装置1和存储部5的控制装置110。在处理装置1上分别连接有输入部2、GPS信号接收部3、传感器组4、存储部5、无线装置6、麦克风7、扬声器8、显示器9和驱动部10。
输入部2包括由乘员(驾驶员等)进行操作的各种开关。此外，在显示器9的显示画面上设置触摸屏，还能够将该触摸屏构成为输入部2。处理装置1中输入与输入部2的操作相对应的各种指示和信息。
GPS信号接收部3从GPS卫星接收定位信号而对车辆的当前位置进行测定。来自GPS信号接收部3的信号被输入于处理装置1。
传感器组4包括摄像头41和就座传感器42。摄像头41具有CCD传感器和CMOS传感器等拍摄元件，用于拍摄乘员的包括脸部的上半身。摄像头41与乘车位置(座位位置)对应地设有多个，以能够拍摄所有乘员的表情和姿势。就座传感器42是被设置于各座位的压力传感器，根据就座传感器42的检测值能够判别各座位上有无乘员。因此，根据就座传感器42的检测值，能够检测车内乘员的人数，并且能够判别乘员的体格、性别和年龄(是大人或是儿童等)等。来自传感器组4的信号被输入于处理装置1。
存储部5由ROM、RAM等构成，具有存储有地图信息的地图数据库51、存储有各种话题的话题数据库52、和存储有音乐的音乐数据库53等数据库。地图数据库51中存储有包括道路地图数据和设施数据等的地图信息。话题数据库52中存储有交通信息、天气、时事材料等话题、与食物、爱好、旅行、工作、家属有关的话题等、预想会在乘员彼此的交谈中出现的各种话题。音乐数据库53中存储有西方音乐、日本音乐、爵士乐、古典音乐等各种类型的音乐。处理装置1根据需要读取被存储于存储部5的信息。
无线装置6与移动电话网和因特网线路等无线公共线路之间进行通信。也可以与存在于车内的智能手机等移动终端之间进行近距离无线通信。也可以通过无线装置6定期地获取从外部的服务器等发送的话题数据和音乐数据等，来对被存储于存储部5的信息进行更新。也可以在每次通过输入部2指示获取数据时，通过无线装置6获取话题数据和音乐数据等，来对被存储于存储部5的信息进行更新。
麦克风7获取乘员发出的语音。来自麦克风7的语音信号例如通过A/D转换器作为语音数据被输入于处理装置1。麦克风7具有窄方向性，根据方向的不同，其获取语音的灵敏度不同。麦克风7对应于乘员的乘车位置而在车内设有多个，据此，能够确定各乘员有无发话。
扬声器8根据来自处理装置1的指示，输出以被存储于存储部5的地图信息、话题、音乐等为内容的语音。在通过输入部2或麦克风7由乘员提出了输出语音的请求时，扬声器8响应于该请求而提供语音。即使没有来自乘员的语音输出的请求，扬声器8也可以根据来自处理装置1的指示来自动地提供语音。
显示器9显示与目的地设定有关的信息、到目的地的路径引导信息和路径上的当前位置信息等。显示器9的显示内容由处理装置1控制。
驱动部10是驱动对乘员的舒适性产生影响的装置的执行器的总称。驱动部10例如包括空调装置的马达和压缩机、用于开闭车窗和天窗的马达。
处理装置1包含CPU而构成。控制装置110由具有处理装置1、存储部5和其他周边电路的计算机构成。处理装置1作为功能性结构而具有发话确定部11、个人情感推定部12、全体情感推定部13、服务确定部14和指示输出部15。
发话确定部11根据通过麦克风7输入的语音信号，来判定各乘员有无发话，并且确定发话内容。更具体而言，发话确定部11根据来自就座传感器42的信号来确定乘员的就座位置，且判定是否从对应于就座位置的麦克风7输入了语音信号，据此来判定各乘员有无发话。并且，发话确定部11通过参照登录在存储部5的词典数据库(未图示)中的单词，来识别通过麦克风7输入的语音信号，据此来确定发话内容。
个人情感推定部12根据来自摄像头41的图像信号，从各乘员的表情(嘴角等)推定各乘员的情感(个人情感)。例如使用普拉切克(Plutchik)的情感轮(Emotion Wheel)，将乘员的情感分类成8种基本情感(期待、喜悦、接受、不安、惊讶、悲伤、厌恶、愤怒)和由相邻2种基本情感的组合形成的应用情感。个人情感不仅考虑来自摄像头41的图像信号，而且考虑来自麦克风7的语音信号来进行推定。即，还考虑发话内容和乘员发出的语音的语调和发音等，将乘员的情感适用于情感轮中的任一模式。
个人情感推定部12按照对情感轮的适用来将个人情感进行数值化。例如将喜悦等理想的情感(正面情感)用正值表示，将悲伤等不理想的情感(负面情感)用负值表示。在该情况下，例如情感越强(越靠近情感轮的内侧)，则使表示情感的值(绝对值)越大。也可以根据来自摄像头41的图像信号来判定各乘员是否有动作，当乘员没有动作时，判定为该乘员处于睡眠中。此时，个人情感推定部12设睡眠中的乘员的个人情感例如为0。
全体情感推定部13根据通过个人情感推定部12推定出的各个乘员的个人情感来推定全体乘员的情感(全体情感)、即车内整体的气氛。更具体而言，将由个人情感推定部12进行了数值化的个人情感的总和除以由就座传感器42检测出的乘员的人数。据此，求出数值化的平均个人情感作为全体情感。全体情感的值α越大，则正面情感越强，车内气氛高涨。
服务确定部14根据由全体情感推定部13推定出的全体情感，来确定向全体乘员提供的服务。例如，当全体情感的值α在比0大的规定值α1以上且由发话确定部11确定了发话内容时，设想车内全体通过共同的话题而气氛高涨。此时，服务确定部14参照话题数据库52，根据发话内容所包含的关键词来确定话题。然后，从被存储于话题数据库52的与该话题对应的多个信息中，考虑全体情感而选择最合适的信息，确定该信息作为通过语音应当向乘员提供的服务(语音信息服务)。此外，也可以从地图数据库51获取当前位置或当前位置附近的设施信息，与由发话确定部11确定的发话内容相关联地、或者与发话内容无关，确定该设施信息作为通过语音提供的服务。
另一方面，当全体情感的值α低于规定值α1时，例如在没有乘员彼此的谈话，全体情感的值α为0时，设想各乘员正在默默地享受车窗外的风景，或者正在集中精神进行移动终端设备的操作等某种行为，或者正在睡觉。此时，服务确定部14参照音乐数据库53，选择与车内安静的状况相对应的音乐，确定该音乐作为应当向乘员提供的服务(音乐服务)。此外，也可以根据来自地图数据库51的信息来掌握本车周围的环境，选择适合该环境的音乐。也可以根据天气和时间来选择音乐。在已确定发话内容时，也可以选择与发话内容相对应的音乐，确定该音乐作为应当提供的音乐服务。也可以确定通过驱动部10的驱动得到的动作(例如空调装置的工作等)作为应当提供的服务。
指示输出部15向对象设备输出用于向乘员提供由服务确定部14确定的服务的指示。例如，当通过服务确定部14确定提供语音信息服务时，生成与该语音信息相对应的语音数据，将该语音数据通过D/A转换器输出给扬声器8。当通过服务确定部14确定提供音乐服务时，从音乐数据库53读取相应的音乐数据，将该音乐数据输出给扬声器8。在已确定空调装置的工作等作为服务时，指示输出部15向驱动部10输出控制信号。
图2是表示按照预先存储于控制装置110的存储部5的程序，通过处理装置1(CPU)执行的处理一例的流程图。该流程图所示的处理以规定周期反复执行。
首先，在S1(S：处理步骤)中，根据来自就座传感器42的信号来判断各座位上有无乘员。接着，在S2中，根据来自摄像头41的信号来推定各乘员的个人情感。所推定出的个人情感被适用于被分类为多种情感的情感轮中的任一模式，从而被进行数值化。接着，在S3中，根据各乘员的个人情感来推定全体情感。即，将进行了数值化的各乘员的个人情感相加得到的情感总和除以由就座传感器42检测到的乘员人数，来得到全体情感的值α。
接着，在S4中，判定全体情感的值α是否在规定值α1以上。在车内乘员彼此在进行对话而正面情感升高的状态下，全体情感的值α在规定值α1以上，S4中的判定结果为肯定而进入S5。在S5中，选择语音信息服务作为应当向乘员提供的服务。即，根据由发话确定部11确定的发话内容所包含的关键词来确定话题，并且，确定与该话题相对应的语音的信息而作为提供的服务。接着，在S6中，为了向乘员提供语音信息服务，而向扬声器8输出控制信号。
另一方面，当S4中的判定结果为否定时，进入S7。在S7中，选择音乐服务作为应当向乘员提供的服务。即，在该情况下，由于车内乘员彼此没有进行谈话，因此可认为全体情感的值α低于规定值α1。因此，选择音乐服务，以便播放适合车内的安静环境的音乐。接着，在S8中，为了向乘员提供音乐服务，而向扬声器8输出控制信号。
根据本发明的实施方式，能够起到下面这样的作用效果。
(1)服务提供装置100具有：就座传感器42，其检测是否存在由多人构成的车内乘员；个人情感推定部12，其根据来自摄像头41的信号，来推定由就座传感器42检测出的各个乘员的个人情感；全体情感推定部13，其根据由个人情感推定部12推定出的各个乘员的个人情感来推定全体情感，其中所述全体情感为全体乘员的情感；服务确定部14，其根据由全体情感推定部13推定出的全体情感，来确定向全体乘员提供的服务；和指示输出部15，其输出用于提供由服务确定部14确定的服务的指示(图1)。如此根据全体乘员的情感来确定向乘员提供的服务，因此能够带给全体乘员高满足度。
(2)个人情感推定部12将各个乘员的个人情感数值化来进行推定，全体情感推定部13将由个人情感推定部12进行了数值化的个人情感的总和除以由就座传感器42检测出的全体乘员的人数，据此将全体情感数值化来进行推定。如此，通过将全体情感进行数值化，能够定量评价全体情感，从而能够容易地确定向全体乘员提供的最合适的服务。
(3)服务提供装置100具有检测乘员的动作的摄像头41，个人情感推定部12根据由摄像头41检测出的乘员的动作来推定个人情感。即，例如设没有动作的睡眠中的乘员的个人情感为0。据此，能够评价睡眠中的乘员的个人情感，从而能够良好地推定全体情感。
(4)服务提供装置100还具有发话确定部11，该发话确定部11根据从麦克风7输入的语音信号，来确定各个乘员的发话内容，服务确定部14根据由全体情感推定部13推定出的全体情感，从包括语音信息服务和音乐服务的多种服务中确定向全体乘员提供的服务，其中，语音信息服务是通过语音提供与由发话确定部11确定的发话内容相关联的信息的服务，音乐服务是提供音乐的服务(S5，S7)。据此，能够提供语音信息服务和音乐服务等、认为最适合于全体乘员的情感的服务。即，能够在车内为高涨的气氛时，提供使气氛继续高涨的话题，在车内为安静的气氛时，提供与寂静相符的音乐。因此，车内的气氛稳定，驾驶员能够以沉着的精神状态驾驶车辆。
(5)在发话确定部11没有确定发话内容时，服务确定部14选择音乐服务作为向全体乘员提供的服务(S7)。据此，能够防止发生虽然有多个乘员但因车内处于寂静状态反而导致紧张空气的情况，能够使包括驾驶员在内的全体乘员放松。
本发明不局限于上述实施方式，能够变形为各种方式。在上述实施方式(图1)中，以车载导航装置为基础构成了服务提供装置100，但服务提供装置的结构不局限于此。图3是表示图1的变形例的图。在图3中构成为：被存储于图1的存储部5的数据库51～53中的至少一部分存储于服务器102，语音对话装置101通过无线装置6(图1)和无线通信网、因特网、电话线路网等通信网络103从服务器102获取各种信息。也可以使语音对话装置101的至少一部分功能通过驾驶员携带的移动无线终端104来实现。例如也可以将移动无线终端104所具有的位置信息通过通信网络103从移动无线终端104向服务器102发送。
在上述实施方式中，由就座传感器42检测是否存在乘员，但也可以使用摄像头41等其他乘员检测部来检测是否存在由多人构成的车内乘员。在上述实施方式中，由摄像头41检测各乘员的表情，并且，由个人情感推定部12根据来自该摄像头41的图像来推定个人情感，但也可以通过其他设备检测乘员的情感，且根据该检测结果来推定乘员的情感，个人情感推定部的结构不局限于上述结构。在上述实施方式中，根据来自摄像头41的图像来检测乘员的动作，但动作检测部的结构不局限于此。在上述实施方式中，将个人情感适用于通过情感轮分类的模式来对其进行数值化，但也可以将个人情感适用于其他被分类的情感的模式来对其进行数值化。
在上述实施方式中，在全体情感推定部13中通过将由个人情感推定部12进行了数值化的个人情感的总和除以全体乘员的人数来对全体情感进行数值化，但只要是根据由个人情感推定部推定出的各乘员的个人情感来推定全体情感的结构，全体情感推定部的结构就可以是任意结构。在上述实施方式(图2)中，在全体情感的值α在规定值α1以上时，服务确定部14确定语音信息服务(第1服务)作为向乘员提供的服务，在全体情感的值α低于规定值α1时，服务确定部14确定音乐服务(第2服务)作为向乘员提供的服务，但只要是根据全体情感来确定向全体乘员提供的服务的结构，服务确定部的结构就可以是任意结构。例如也可以从包括驱动部10的驱动的多种服务中确定应当提供的服务。第1服务、第2服务不局限于上述服务。
只要服务提供方法是以下方法，其他结构就可以是任意结构：检测是否存在由多人构成的车内乘员，推定所检测出的各个乘员的个人情感，根据所推定出的各个乘员的个人情感来推定全体乘员的情感即全体情感，根据所推定出的全体情感来确定向全体乘员提供的服务，输出用于提供所确定的服务的指示。
能够将上述实施方式和一个或多个变形例任意组合，也能够将变形例彼此组合。
根据本发明，根据从各个乘员的个人情感推定出的全体乘员的情感来确定向全体乘员提供的服务，因此，能够带给包括没有进行谈话的乘员等在内的车内全体乘员高满足度。
以上，与本发明的优选实施方式相关联地对本发明进行了说明，但本领域技术人员应知，可在不脱离技术方案所公开的范围的情况下进行各种修正和变更。

Claims (7)

1.一种服务提供装置，其特征在于，
具有：
乘员检测部(42)，其检测是否存在由多人构成的车内乘员；
个人情感推定部(12)，其推定由所述乘员检测部(42)检测出的各个乘员的个人情感；
全体情感推定部(13)，其根据由所述个人情感推定部(12)推定出的各个乘员的个人情感来推定全体情感，其中所述全体情感为全体乘员的情感；
服务确定部(14)，其根据由所述全体情感推定部(13)推定出的全体情感，来确定向全体乘员提供的服务；和
指示输出部(15)，其输出用于提供服务的指示，其中所述服务已由所述服务确定部(14)确定。
2.根据权利要求1所述的服务提供装置，其特征在于，
所述个人情感推定部(12)将各个乘员的个人情感数值化来进行推定，
所述全体情感推定部(13)将个人情感的总和除以由所述乘员检测部(42)检测出的全体乘员的人数，据此将全体情感数值化来进行推定，其中所述个人情感的总和已由所述个人情感推定部(12)进行了数值化。
3.根据权利要求2所述的服务提供装置，其特征在于，
当由所述全体情感推定部(13)推定出的全体情感在规定值(α1)以上时，所述服务确定部(14)将向全体乘员提供的服务确定为第1服务；当由所述全体情感推定部(13)推定出的全体情感低于所述规定值(α1)时，所述服务确定部(14)将向全体乘员提供的服务确定为第2服务。
4.根据权利要求1～3中任一项所述的服务提供装置，其特征在于，
还具有检测乘员的动作的动作检测部(41)，
所述个人情感推定部(12)根据由所述动作检测部(41)检测出的乘员的动作来推定个人情感。
5.根据权利要求1～4中任一项所述的服务提供装置，其特征在于，
还具有确定各个乘员的发话内容的发话确定部(11)，
所述服务确定部(14)根据由所述全体情感推定部(13)推定出的全体情感，从包括语音信息服务和音乐服务的多种服务中确定向全体乘员提供的服务，其中，所述语音信息服务是通过语音来提供与由所述发话确定部(11)确定的发话内容相关联的信息的服务，所述音乐服务是提供音乐的服务。
6.根据权利要求5所述的服务提供装置，其特征在于，
在所述发话确定部(11)没有确定发话内容时，所述服务确定部(14)确定所述音乐服务来作为向全体乘员提供的服务。
7.一种服务提供方法，其特征在于，
包括以下步骤：
检测是否存在由多人构成的车内乘员；
推定所检测出的各个乘员的个人情感；
根据所推定出的各个乘员的个人情感来推定全体情感，其中所述全体情感为全体乘员的情感；
根据所推定出的全体情感来确定向全体乘员提供的服务；
输出用于提供所确定的服务的指示。
CN201710884700.5A 2016-10-11 2017-09-26 服务提供装置和服务提供方法 Active CN107918637B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-200243 2016-10-11
JP2016200243A JP6466385B2 (ja) 2016-10-11 2016-10-11 サービス提供装置、サービス提供方法およびサービス提供プログラム

Publications (2)

Publication Number Publication Date
CN107918637A true CN107918637A (zh) 2018-04-17
CN107918637B CN107918637B (zh) 2022-02-25

Family

ID=61828876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710884700.5A Active CN107918637B (zh) 2016-10-11 2017-09-26 服务提供装置和服务提供方法

Country Status (3)

Country Link
US (1) US10394519B2 (zh)
JP (1) JP6466385B2 (zh)
CN (1) CN107918637B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629301A (zh) * 2019-02-27 2020-09-04 北京地平线机器人技术研发有限公司 用于控制多个扬声器播放音频的方法、装置和电子设备
CN113449178A (zh) * 2020-03-25 2021-09-28 本田技研工业株式会社 信息提供系统、信息提供装置及其控制方法以及记录介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7192222B2 (ja) * 2018-03-08 2022-12-20 トヨタ自動車株式会社 発話システム
JP7066541B2 (ja) 2018-06-19 2022-05-13 本田技研工業株式会社 制御装置および制御方法
WO2020065771A1 (ja) * 2018-09-26 2020-04-02 三菱電機株式会社 音声感情認識装置および音声感情認識方法
JP7364348B2 (ja) * 2019-03-22 2023-10-18 本田技研工業株式会社 サービス提供装置、サービス提供システム、および、サービス提供方法
US10966027B2 (en) * 2019-07-30 2021-03-30 GM Global Technology Operations LLC Audio adjustment system
CN111402925B (zh) * 2020-03-12 2023-10-10 阿波罗智联(北京)科技有限公司 语音调节的方法、装置、电子设备、车载系统和可读介质
JP7331792B2 (ja) * 2020-06-29 2023-08-23 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、及び車両

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202025333U (zh) * 2010-12-16 2011-11-02 上海博泰悦臻电子设备制造有限公司 车载终端
JP2012185063A (ja) * 2011-03-07 2012-09-27 Pioneer Electronic Corp 充電施設検索装置、制御方法、プログラム、及び記憶媒体
US20130030645A1 (en) * 2011-07-28 2013-01-31 Panasonic Corporation Auto-control of vehicle infotainment system based on extracted characteristics of car occupants
US20130054090A1 (en) * 2011-08-29 2013-02-28 Electronics And Telecommunications Research Institute Emotion-based vehicle service system, emotion cognition processing apparatus, safe driving service apparatus, and emotion-based safe driving service method
CN103456314B (zh) * 2013-09-03 2016-02-17 广州创维平面显示科技有限公司 一种情感识别方法以及装置
CN106778443A (zh) * 2015-11-22 2017-05-31 广州华久信息科技有限公司 一种辅助盲人看懂表情的方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006044420A (ja) * 2004-08-03 2006-02-16 Denso Corp 車両機器制御装置
JP2006092430A (ja) * 2004-09-27 2006-04-06 Denso Corp 音楽再生装置
JP2007225902A (ja) * 2006-02-23 2007-09-06 Fujitsu Ten Ltd 車内音声操作システム
CN102224460B (zh) * 2008-10-15 2015-01-21 国际纸业公司 成像颗粒组合物、纸张和方法以及使用双波长光对纸张成像的方法
US8473289B2 (en) * 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context
JP2012133530A (ja) * 2010-12-21 2012-07-12 Denso Corp 車載装置
US20130003064A1 (en) * 2011-01-03 2013-01-03 National Institute Of Standards And Technology Dynamic Spectral Radiance Calibration Source
US9196173B2 (en) * 2012-10-05 2015-11-24 International Business Machines Corporation Visualizing the mood of a group of individuals
US20140222830A1 (en) * 2013-02-04 2014-08-07 Rhapsody International Inc. Selecting content for a user
KR101472916B1 (ko) * 2013-06-27 2014-12-16 한국과학기술연구원 모르폴린 또는 피페라진 화합물, 및 도네페질을 포함하는 인지 장애 관련 질병의 예방 또는 치료용 약학적 조성물
EP2857276B1 (en) * 2013-08-20 2018-12-12 Harman International Industries, Incorporated Driver assistance system
US10082778B2 (en) * 2014-06-20 2018-09-25 Veritone Alpha, Inc. Managing coordinated control by multiple decision modules
US9648061B2 (en) * 2014-08-08 2017-05-09 International Business Machines Corporation Sentiment analysis in a video conference
US20160089954A1 (en) * 2014-09-30 2016-03-31 Continental Automotive Systems Inc. System and method for setting an environmental condition in or around a vehicle in response to a determined mood
JP6115577B2 (ja) * 2015-01-29 2017-04-19 マツダ株式会社 車両用乗員感情対応制御装置
US20160328987A1 (en) * 2015-05-08 2016-11-10 International Business Machines Corporation Detecting the mood of a group
US9610510B2 (en) * 2015-07-21 2017-04-04 Disney Enterprises, Inc. Sensing and managing vehicle behavior based on occupant awareness

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202025333U (zh) * 2010-12-16 2011-11-02 上海博泰悦臻电子设备制造有限公司 车载终端
JP2012185063A (ja) * 2011-03-07 2012-09-27 Pioneer Electronic Corp 充電施設検索装置、制御方法、プログラム、及び記憶媒体
US20130030645A1 (en) * 2011-07-28 2013-01-31 Panasonic Corporation Auto-control of vehicle infotainment system based on extracted characteristics of car occupants
US20130054090A1 (en) * 2011-08-29 2013-02-28 Electronics And Telecommunications Research Institute Emotion-based vehicle service system, emotion cognition processing apparatus, safe driving service apparatus, and emotion-based safe driving service method
CN103456314B (zh) * 2013-09-03 2016-02-17 广州创维平面显示科技有限公司 一种情感识别方法以及装置
CN106778443A (zh) * 2015-11-22 2017-05-31 广州华久信息科技有限公司 一种辅助盲人看懂表情的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629301A (zh) * 2019-02-27 2020-09-04 北京地平线机器人技术研发有限公司 用于控制多个扬声器播放音频的方法、装置和电子设备
CN111629301B (zh) * 2019-02-27 2021-12-31 北京地平线机器人技术研发有限公司 用于控制多个扬声器播放音频的方法、装置和电子设备
US11856379B2 (en) 2019-02-27 2023-12-26 Beijing Horizon Robotics Technology Research And Development Co., Ltd. Method, device and electronic device for controlling audio playback of multiple loudspeakers
CN113449178A (zh) * 2020-03-25 2021-09-28 本田技研工业株式会社 信息提供系统、信息提供装置及其控制方法以及记录介质

Also Published As

Publication number Publication date
US10394519B2 (en) 2019-08-27
CN107918637B (zh) 2022-02-25
JP6466385B2 (ja) 2019-02-06
JP2018063486A (ja) 2018-04-19
US20180101354A1 (en) 2018-04-12

Similar Documents

Publication Publication Date Title
CN107918637A (zh) 服务提供装置和服务提供方法
KR102562227B1 (ko) 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
Weng et al. Conversational in-vehicle dialog systems: The past, present, and future
JP6713490B2 (ja) 情報提供装置及び情報提供方法
JP7192222B2 (ja) 発話システム
JP6382273B2 (ja) 施設満足度算出装置
JPWO2018061354A1 (ja) 情報提供装置、及び移動体
JPWO2018061353A1 (ja) 情報提供装置、及び移動体
JP6552548B2 (ja) 地点提案装置及び地点提案方法
JP2018133696A (ja) 車載装置、コンテンツ提供システムおよびコンテンツ提供方法
JP6785889B2 (ja) サービス提供装置
WO2020115862A1 (ja) データ管理装置、データ管理方法、及びプログラム
CN113320537A (zh) 一种车辆控制方法和系统
US20200286479A1 (en) Agent device, method for controlling agent device, and storage medium
CN111746435B (zh) 信息提供装置、信息提供方法及存储介质
JP7274404B2 (ja) 情報提供装置、情報提供方法、およびプログラム
WO2020115863A1 (ja) データ開示装置、データ開示方法、及びプログラム
JP6087624B2 (ja) 行動対応情報を適時に提示可能なユーザインタフェース装置、プログラム及び方法
CN110534103A (zh) 信息处理装置、保存程序的非暂时性计算机可读介质及控制方法
CN107888652A (zh) 处理结果异常检测装置、检测程序、检测方法和移动体
JP7245695B2 (ja) サーバ装置、情報提供システム、および情報提供方法
JP7368090B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP7080079B2 (ja) 情報提供装置およびその制御方法
JP7013729B2 (ja) 関係性推定方法、関係性推定装置、及び情報提供方法
JP2019190940A (ja) 情報提供装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant