CN108228729B - 内容提供装置和内容提供方法 - Google Patents
内容提供装置和内容提供方法 Download PDFInfo
- Publication number
- CN108228729B CN108228729B CN201711310723.1A CN201711310723A CN108228729B CN 108228729 B CN108228729 B CN 108228729B CN 201711310723 A CN201711310723 A CN 201711310723A CN 108228729 B CN108228729 B CN 108228729B
- Authority
- CN
- China
- Prior art keywords
- content
- occupant
- emotion
- unit
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 12
- 230000008451 emotion Effects 0.000 claims abstract description 165
- 230000008859 change Effects 0.000 claims abstract description 51
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- FASDKYOPVNHBLU-ZETCQYMHSA-N pramipexole Chemical compound C1[C@@H](NCCC)CCC2=C1SC(N)=N2 FASDKYOPVNHBLU-ZETCQYMHSA-N 0.000 description 3
- 229960003089 pramipexole Drugs 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/635—Filtering based on additional data, e.g. user or group profiles
- G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
内容提供装置具有:生命体信息获取部(20),其获取乘员的生命体信息;情感推定部(11),其根据所获取到的生命体信息来推定乘员情感;内容指示部(12),其根据推定出的乘员情感来指示内容的获取;内容获取部(14),其获取指示的内容;和内容输出部(15),其对乘员输出所获取到的内容,内容指示部(12)按照输出第1内容之后推定出的乘员情感,来指示从所述第1内容向第2内容变更内容。
Description
技术领域
本发明涉及一种向车内的乘员提供乐曲等内容(content)的内容提供装置和内容提供方法。
背景技术
作为该种装置,现有技术中已知有如下这样的装置:根据通过话筒输入的乘员的语音生成表示乘员的情感的情感信息,根据生成的情感信息从数据库中选择乐曲,并自动地播放所选择的乐曲。该装置例如被记载在日本发明专利公开公报特开2006-155157号(JP2006-155157A)中。
然而,乘员的情感与乘员所要求的内容不一定良好地对应,如JP2006-155157A所记载的装置那样,根据乘员的情感信息而选择乐曲可能会使得乘员对自动选曲的服务感到不愉快。
发明内容
作为本发明一方式的内容提供装置具有:生命体信息获取部,其获取乘员的生命体信息;情感推定部,其根据由生命体信息获取部获取到的生命体信息来推定乘员情感;内容指示部,其根据由情感推定部推定出的乘员情感来指示内容的获取;内容获取部,其获取内容指示部指示的内容;和内容输出部,其对乘员输出由内容获取部获取到的内容,内容指示部按照在由内容输出部输出第1内容之后由情感推定部推定出的乘员情感,来指示从第1内容向第2内容变更内容。
作为本发明另一方式的内容提供方法包括:获取乘员的生命体信息,根据获取到的生命体信息推定乘员的情感,根据推定出的乘员情感指示内容的获取,获取所指示的内容,向乘员输出所获取到的内容,就内容进行指示包括:向乘员输出第1内容之后推定乘员的情感,按照推定出的乘员情感,指示从第1内容向第2内容变更内容。
作为本发明的另一其他方式的内容提供系统具有:上述的内容提供装置;和服务器装置,其按照来自内容提供装置的指示来向内容提供装置发送内容。
附图说明
通过与附图相关联的以下实施方式的说明,本发明的目的、特征和优点变得更明确。在该附图中,
图1是表示本发明的实施方式所涉及的内容提供系统的概略结构的图;
图2A是表示图1的车载装置(内容提供装置)的概略结构的框图;
图2B是表示图1的控制器的功能结构的框图;
图3是表示由图2A的运算部执行的处理一例的流程图;
图4是表示本发明的实施方式所涉及的内容提供装置的动作一例的时序图;
图5是说明本发明的实施方式所涉及的内容提供装置的效果的图;
图6是表示图1的变形例的图;
图7是表示图2B的变形例的图。
具体实施方式
下面,参照图1~图7对本发明的实施方式进行说明。图1是表示本发明的实施方式所涉及的内容提供系统100的概略结构的图。该内容提供系统100构成为,由服务器装置2对车载装置1提供乐曲数据。
如图1所示,内容提供系统100具有搭载于车辆(例如,汽车)101的车载装置1和车辆101外部的服务器装置2。车载装置1和服务器装置2以能够通过通信线路3彼此通信的方式相连接。通信线路3例如由移动电话网络、因特网、无线LAN等、或者这些网络的组合来构成。另外,被搭载于车辆101且与通信线路3相连接的车载装置1可以是一个,也可以是多个。
车载装置1是本发明的内容提供装置一例,具有从服务器装置2接收内容并提供给乘员的功能。车载装置1接收的内容例如是包括乐曲数据的音乐内容。乐曲数据被存储于服务器装置2的乐曲数据库2a,车载装置1从乐曲数据库2a获取所期望的乐曲数据。乐曲数据例如以与车载装置1的内容处理速度同步地进行数据发送的、所谓的流式传输方式来发送。另外,虽然省略了图示,但服务器装置2具有运算部、存储部和通信部等,乐曲数据库2a构成为存储部。
乐曲数据按照爵士乐、流行音乐和摇滚乐等节奏和韵律不同的音乐流派(musicalgenre)进行分类存储。这些音乐流派例如还能够按照1980年代、2000年代等每个年代进行细分。在乐曲数据库2a中,按照音乐流派来存储乐曲数据。在同一音乐流派中包括多个乐曲数据(多个乐曲)。音乐流派能够通过切换车载装置1中的广播电台的收信频道来切换。广播电台包括随时提供规定的音乐流派的乐曲的无线电台。在乐曲数据中还包括与音乐内容有关的各种信息(例如乐曲名、专辑名称、艺术家名等)。
具体而言,车载装置(内容提供装置)1由具有作为音响设备的功能的导航装置或音频装置等构成。图2A是表示车载装置1的概略结构的框图。如图2A所示,车载装置1具有控制器10、分别连接于控制器10的操作部21、摄像头22、话筒23、通信装置24、扬声器25和显示部26。在使车载装置1构成为导航装置的情况下,车载装置1具有导航单元,但在图2A中省略其图示。
操作部21包括被乘员(驾驶员等)操作的各种开关,例如包含对车载装置1进行开闭的开闭开关、变更音量的音量开关、切换音乐流派(频道)的流派切换开关、在同一音乐流派内变更乐曲的乐曲变更开关等。乘员能够通过操作流派切换开关和乐曲变更开关来手动地选择乐曲。另外,还能够在显示部26的显示画面上设置触摸屏,将触摸屏构成为操作部21。车载装置1具有按照乘员情感来自动地向乘员提供乐曲的功能(乐曲提供服务),但还能够通过操作部21的操作来指示该乐曲提供服务的开始和停止。也可以在开启车载装置1的同时开始乐曲提供服务。
摄像头22具有CCD传感器或CMOS传感器等拍摄元件,对乘员的包括脸的上半身进行拍摄。即,摄像头22对乘员的表情和姿势进行拍摄。来自摄像头22的图像信号能够用于推定乘员情感。
话筒23获取乘员发出的语音。来自话筒23的语音信号例如作为语音数据通过A/D转换器而输入控制器10,由控制器10进行语音识别。来自话筒23的语音信号能够用于推定乘员情感。摄像头22和话筒23用于获取乘员的表情等的图像和乘员的语音这样的生命体信息,构成生命体信息获取部20。
通信装置24通过通信线路3与车辆的外部设备进行通信,控制器10能够通过通信装置24与车辆外部的服务器装置2进行通信。通信装置24还能够在其与乘员携带或被配置在车内的智能手机等移动终端之间进行近距离无线通信。
扬声器25按照来自控制器10的指示,输出从服务器装置2获取的音乐内容。另外,还能够从扬声器25输出预先存储于车载装置1的存储部10B的音乐内容。当有经由操作部21和话筒23的来自乘员的输出语音的要求时,扬声器25能够响应该要求而输出语音。即使不存在来自乘员的输出语音的要求,也能够按照来自控制器10的指示而自动地输出语音。
显示部26例如由液晶显示器构成。由显示部26来显示与从扬声器25输出的音乐内容有关的信息和各种设定信息等。
控制器10由计算机构成,该计算机具有CPU等运算部10A、ROM、RAM等存储部10B、和其他的周边电路。图2B是表示控制器10(主要是运算部10A)的功能结构的图。如图2B所示,控制器10具有情感推定部11、内容指示部12、视线判定部13、内容获取部14和内容输出部15。
情感推定部11基于由摄像头22获取到的图像信号,根据乘员的表情(嘴角等)来推定乘员的情感(乘员情感)。具体而言,例如使用普拉特切克(Plutchik)情感轮,预先将情感分为8个基本情感(期望、高兴、接受、不安、诧异、悲痛、厌恶、恼怒)、和基于相邻的2个基本情感的组合的应用情感,对表示这些各情感的特征的图像和来自摄像头22的图像进行比较,根据与人类的情感模式的哪一种情感模式相匹配来推定乘员情感。另外,作为人类的情感模式,除了普拉特切克情感轮以外,还能够应用各种情感模式,但在本实施方式中,以普拉特切克情感轮为例进行说明。乘员情感不仅考虑来自摄像头22的图像信号,还考虑来自话筒23的语音信号来推定。即,还考虑发话内容和乘员发出的语音的音调和发音(韵律)等来推定乘员情感。
情感推定部11还按照与情感轮的匹配来将乘员情感数值化。例如高兴和开心等对于乘员而言理想的情感、即愉快情感(积极的情感)由正的值表示,恼怒和厌恶等对于乘员而言不理想的情感、即不愉快情感(消极的情感)由负的值表示。在该情况下,例如情感越强(越靠向情感轮的内侧),表示情感的值(绝对值)越大。据此,求得乘员情感(愉快情感、不愉快情感)的程度。
内容指示部12按照由情感推定部11推定出的乘员情感,来指示应该提供给乘员的音乐内容(例如爵士乐或流行音乐等音乐流派)。例如,将乘员情感与音乐流派的关系预先存储于控制器10的存储部10B,使用该关系,自动地指示与乘员情感对应的音乐流派。还能够预先保存提供给乘员的过去的乐曲发送的数据,根据该数据确定乘员的喜好,在考虑乘员情感的同时还考虑乘员的喜好来指示音乐流派。也可以在指示音乐流派的同时指示音乐流派内的乐曲。
并且,内容指示部12根据乘员情感来判定提供给乘员的音乐内容对于乘员而言是否不愉快,当判定为不愉快时,指示音乐内容的变更。在该指示中,包括在同一音乐流派内变更乐曲、变更音乐流派和停止音乐内容的发送(停止乐曲提供服务)。内容指示部12判定由情感推定部11求得的、提供音乐内容后乘员的不愉快情感的程度,例如当不愉快情感的程度(绝对值)低于第1规定值时,指示在同一音乐流派内变更乐曲。当不愉快情感的程度在第1规定值以上且低于比第1规定值大的第2规定值时,指示变更音乐流派。在不愉快情感的程度在第2规定值以上时,指示停止乐曲提供服务。
视线判定部13根据来自摄像头22的图像信号来判定乘员的视线是否正朝向规定方向(例如操作部21的方向)。该判定在自动地提供了与乘员情感对应的音乐内容之后进行。当在提供了音乐内容之后,乘员的视线朝向操作部21时,推定为乘员有手动变更音乐内容的意思。因此,视线判定部13判断乘员是否有变更音乐内容的意思。当由视线判定部13判定为存在朝向操作部21的乘员的视线时,内容指示部12指示变更音乐内容。本判定利用以下倾向:当人感觉到违背自身意思的感触和不适感时,会无意识地将视线朝向该对象物。因此,在本实施方式中,以操作部21的方向为例来示例,但除此之外,在车内搭载有拟人的智能代理装置(agent)的情况下可以是智能代理装置的方向,在搭载有具有指向性的扬声器的情况下也可以是扬声器的方向。
内容获取部14通过通信装置24从服务器装置2获取由内容指示部12指示的音乐内容的乐曲数据。即,从服务器装置2获取所指示的音乐流派所包含的乐曲数据。当由内容指示部12指示变更音乐内容时,内容获取部14按照该变更指示,从服务器装置2获取同一音乐流派的其他乐曲数据、或者不同音乐流派的乐曲数据。当内容指示部12指示停止乐曲提供服务时,内容获取部14停止音乐内容的获取。
内容输出部15使基于内容获取部14获取到的乐曲数据的音乐内容从扬声器25输出。当内容指示部12指示停止乐曲提供服务时,内容输出部15停止音乐内容的输出。
图3是表示按照预先存储于存储部10B的程序而由运算部10A执行的处理一例的流程图。例如当通过操作部21的操作来指示开始乐曲提供服务时,开始该流程图所示的处理。
首先,在S1(S:处理步骤)中,情感推定部11根据来自摄像头22和话筒23的信号来推定乘员情感。接着,在S2中,内容指示部12指示与在S1中推定出的乘员情感对应的音乐内容(音乐流派)。接着,在S3中,内容获取部14通过通信装置24从服务器装置2来获取在S2中指示的音乐内容的乐曲数据。
接着,在S4中,内容输出部15使与在S3中获取的乐曲数据对应的音乐内容从扬声器25输出。据此,对乘员自动地提供与乘员情感对应的音乐内容。接着,在S5中,待机规定时间Δt1。规定时间Δt1被设定为,从提供音乐内容开始到乘员情感发生变化所需的时间(例如数秒程度)。
接着,在S6中,情感推定部11根据来自摄像头22和话筒23的信号再次推定乘员情感。当推定出的乘员情感为不愉快的情感时,同时求得该不愉快情感的程度。接着,在S7中,内容指示部12判定在S6中推定出的情感是否是不愉快情感。当在S7中为否定时,所提供的音乐内容是给乘员带来满意感的内容,不需要对音乐内容进行变更,继而结束涉及变更音乐内容的处理。
另一方面,当在S7中为肯定时进入S8,视线判定部13根据来自摄像头22的图像信号来判定乘员的视线是否正朝向规定方向(操作部21的方向)。当在S8中为否定时,内容指示部12判定为在S7中判定为乘员情感不愉快不是由于提供错误的音乐内容而是由于其他原因,不变更音乐内容而结束处理。另一方面,当在S8中为肯定时,判定为由于音乐内容的提供而乘员情感变为不愉快,进入S9。
在S9中,内容指示部12按照在S6中推定出的乘员情感来指示变更音乐内容。具体而言,当在S6中求得的乘员的不愉快情感的程度低于第1规定值时,指示向同一音乐流派内的其他音乐内容进行变更。例如,当对所提供的音乐内容添加了顺序(歌曲顺序)时,指示向下一顺序的音乐内容进行变更。或者指示随机地向其他音乐内容进行变更。当不愉快情感的程度在第1规定值以上且低于比第1规定值大的第2规定值时,指示变更音乐流派。在该情况下,例如考虑乘员情感和乘员的喜好等来确定指示哪一音乐流派。当不愉快情感的程度在第2规定值以上时,指示停止乐曲提供服务。
接着,在S10中,在内容获取部14和内容输出部15中,进行与S9的音乐内容的指示对应的处理,控制音乐内容的输出。即,当在S9中指示在同一音乐流派内变更音乐内容时,从服务器装置2获取同一音乐流派的其他乐曲数据,并使与乐曲数据对应的音乐内容从扬声器25输出。当在S9中指示变更音乐流派时,从服务器装置2获取其他音乐流派的乐曲数据,并使与乐曲数据对应的音乐内容从扬声器25输出。在S9中,当指示停止乐曲提供服务时,停止来自扬声器25的音乐内容的输出。接着,返回S5,重复与上述同样的处理,直到不愉快情感得到改善。
更具体地对本实施方式所涉及的内容提供装置(车载装置1)的动作进行说明。图4是表示本实施方式所涉及的内容提供装置的动作一例的时序图,表示伴随时间经过的乘员情感α的变化。另外,在图4中,用正表示愉快情感,用负表示不愉快情感。
在图4的时间点t1,当乘员指示开始乐曲提供服务时(点P1),控制器10立即根据乘员的表情等推定乘员情感α,并从服务器装置2自动地获取与乘员情感α对应的音乐内容(第1内容),并且从扬声器25输出(S1~S4)。因此,即使乘员没有对操作部21进行操作而指示音乐内容(广播电台的频道等),也能够向乘员自动地提供与乘员情感α对应的音乐内容。
在此之后,当提供音乐内容之后经过规定时间Δt1时(时间点t2),控制器10再次判定乘员情感α(S7)。此时,当如图4的点P2所示,判定为乘员产生不愉快情感,并且乘员的视线正朝向操作部21时,按照不愉快情感的程度Δα1来确定应该向乘员提供的音乐内容(第2内容),指示从第1内容向第2内容变更音乐内容(S9)。另外,也可以按照从时间点t1开始的乘员情感α的恶化程度Δα2,来确定第2内容。
据此,当乘员的不愉快情感的程度Δα1低于第1规定值时,提供同一音乐流派的其他音乐内容(第2内容),当Δα1在第1规定值以上且低于第2规定值时,提供不同的音乐流派的音乐内容(第2内容)(S10)。其结果,例如如图4的点P3所示,在时间点t3乘员情感α改善为愉快情感,成为能够对乘员提供最优的自动乐曲服务。在此之后,一边推定乘员情感α,一边同样地继续提供音乐内容。
另一方面,例如如图4的点P4所示,即使变更了音乐内容,乘员情感α也没有改善的情况下(乘员情感α没有变为正的情况下),再次指示从第2内容向其他音乐内容(第3内容)变更。在该情况下,例如按照不愉快情感的程度,或者按照从初期时间点t1开始的乘员情感α的恶化程度或者从之前的最近时间点t2开始的乘员情感α的恶化程度,来确定第3内容。
当乘员产生不愉快情感时,控制器10存在不仅变更音乐内容,还停止音乐内容的提供的情况(S10)。例如当在时间点t2不愉快情感的程度变为第2规定值以上时,停止音乐内容的提供。另外,也可以为:当提供了安静的乐曲时乘员情感α得到改善,但乘员情感还未变为正时,判定为乘员希望更安静,而停止音乐内容的提供。
根据本实施方式,能够发挥以下这样的作用效果。
(1)作为内容提供装置一例的车载装置1具有:生命体信息获取部20,其获取乘员的表情图像和语音等生命体信息;情感推定部11,其根据由生命体信息获取部20获取的生命体信息来推定乘员情感;内容指示部12,其根据由情感推定部11推定出的乘员情感来指示音乐内容的获取;内容获取部14,其获取由内容指示部12指示的音乐内容;和内容输出部15,其对乘员输出由内容获取部14获取到的音乐内容(图2A、图2B)。内容指示部12按照由内容输出部15输出第1内容之后由情感推定部11推定出的乘员情感,指示从第1内容向第2内容变更音乐内容(S9)。
据此,在根据乘员情感而提供的音乐内容(第1内容)对于乘员而言不是理想的音乐内容而乘员产生不愉快情感的情况下,按照该不愉快情感来自动地指示向其他音乐内容(第2内容)进行变更。因此,即使乘员没有对操作部21进行手动操作来指示内容,也能够容易且迅速地改善乘员情感。即,根据本实施方式所涉及的内容提供装置,例如如图5所示,在时间点t1(点P1)根据乘员情感提供了音乐内容之后,伴随时间经过而乘员情感α逐渐地恶化时,在时间点t2乘员情感的程度为α1时指示变更音乐内容(点P2)。因此,能够不使乘员情感α进一步恶化,而迅速地改善乘员情感α。与此相对,例如在发生不愉快情感之后乘员通过手动或语音等指示变更音乐内容的情况下,在时间点t2之后的时间点t4指示变更音乐内容。其结果,在时间点t2~t4的范围内,乘员情感没有得到改善而乘员的不愉快情感的程度成为比α1大的α2(点P5),乘员的不愉快感增强。
(2)当由内容输出部15输出第1内容之后由情感推定部11推定出的乘员情感正在恶化时,内容指示部12指示从第1内容向第2内容变更音乐内容(S6→S9)。据此,当需要改善乘员情感时指示变更音乐内容,由此能够在合适的时机指示变更音乐内容。
(3)车载装置1还具有操作部21和视线判定部13,其中,所述操作部21用于手动地指示音乐内容的获取;所述视线判定部13根据来自摄像头22的信号来判定有无朝向操作部21(图2A、图2B)的乘员的视线。在由内容输出部15输出第1内容之后由情感推定部11推定出的乘员情感恶化,且由视线判定部13判定为有朝向操作部21的乘员的视线时,内容指示部12指示从第1内容向第2内容变更音乐内容(S7→S8→S9)。据此,能够判断是由于自动地提供音乐内容而使乘员产生不愉快情感,还是由于其他的理由而使乘员产生不愉快情感,由此能够防止不必要地变更音乐内容。
(4)内容指示部12按照由内容输出部15输出第1内容起在规定时间Δt1后由情感推定部11推定出的乘员情感的变化,指示从第1内容向第2内容变更音乐内容。据此,能够准确地掌握由于提供音乐内容而造成的乘员情感的变化,由此能够按照乘员情感最优地变更音乐内容。
(5)内容指示部12还能够按照由内容输出部15输出第1内容之后由情感推定部11推定出的乘员情感来指示停止音乐内容的获取,当由内容指示部12指示停止内容的获取时,内容输出部15停止对乘员的音乐内容的输出(S10)。据此,例如能够适应于想要在安静的环境下集中精力驾驶等的乘员情感。
(6)由内容指示部12指示的内容是音乐内容,内容指示部12按照由内容输出部15输出第1内容之后由情感推定部11推定出的乘员情感,指示获取与第1内容相同流派的第2内容、或者与第1内容不同流派的第2内容(S9)。这样,按照乘员情感来确定是否变更音乐内容的流派,因此能够良好地改善乘员情感。
(7)本实施方式所涉及的内容提供方法包括通过生命体信息获取部20获取乘员的生命体信息,根据获取的生命体信息推定乘员的情感(S1),根据推定出的乘员情感就内容进行指示(S2),获取所指示的内容(S3),向乘员输出获取到的内容(S4)。并且,就内容进行指示包括:向乘员输出第1内容之后推定乘员的情感(S6),按照推定出的乘员情感,指示从第1内容向第2内容变更内容(S9)。通过该结构,即使对乘员进行自动选曲服务而乘员产生不愉快情感,也能够迅速地改善该不愉快情感。
(8)本实施方式所涉及的内容提供系统100具有上述的车载装置1和服务器装置2,所述服务器装置2按照来自车载装置1的指示来向车载装置1发送音乐内容(图1)。通过该结构,能够向乘员提供从服务器装置2发送来的音乐内容中的、与乘员情感相对应的最合适的音乐内容,从而乘员的舒适性提高。
上述实施方式能够变形为各种方式。下面,对变形例进行说明。图6是表示图1的变形例的图。在图6中,由车载装置1、移动终端5和服务器装置2构成内容提供系统100A。移动终端5是智能手机或平板终端等乘员可携带的装置,具有能够与车载装置1进行通信的通信部、和能够通过通信线路3与服务器装置2进行通信的通信部。根据该结构,车载装置1能够通过移动终端5和通信线路3来与服务器装置2进行通信。另外,也可以不由车载装置1构成内容提供装置,而由移动终端5来构成内容提供装置。即,也可以使移动终端5具有上述的车载装置1的功能。
图7是表示图2B的变形例的图。在图7中,车载装置1A的控制器10的存储部10B具有乐曲数据库16。在乐曲数据库16中,存储有与存储于图1的乐曲数据库2a的乐曲数据同样的乐曲数据。根据该结构,能够不从服务器装置2获取与由内容指示部12指示的音乐内容对应的乐曲数据,而是从存储部10B获取与由内容指示部12指示的音乐内容对应的乐曲数据,能够省略与服务器装置2的通信。另外,在该情况下,也可以根据需要来更新存储于乐曲数据库16的乐曲数据。
在上述实施方式中,通过包括摄像头22和话筒23的生命体信息获取部20来获取乘员的生命体信息,但生命体信息获取部的结构并不限定于此。例如,也可以使乘员佩戴可佩戴终端来获取乘员的脉搏、血压、体温、血氧水平等生命体信息。也可以由热成像仪获取乘员的体温(例如脸部温度)来作为生命体信息。在上述实施方式中,情感推定部11通过匹配于普拉特切克情感轮来推定乘员情感,但也可以通过匹配于其他的分类后的情感模式来推定乘员情感,情感推定部的结构并不限定于上述的结构。
在上述实施方式中,内容指示部12根据由情感推定部11推定出的乘员情感来指示音乐内容的获取,但并不限定于音乐内容,也可以指示获取提供各种语音服务的语音内容、动态图像或静态图像等影像内容等其他内容,内容指示部的结构并不限定于上述的结构。在上述实施方式中,内容获取部14从服务器装置2来获取内容,但也可以从搭载于车辆101的存储部10B(图7)来获取内容,内容获取部的结构并不限定于上述的结构。在上述实施方式中,内容输出部15从扬声器25来输出由内容获取部14获取到的内容,但例如也可以从显示部26来输出,内容输出部的结构并不限定于上述的结构。
在上述实施方式中,按照由内容输出部15输出第1内容之后由情感推定部11推定出的乘员情感,指示获取的内容从第1内容向第2内容进行变更。即,指示在同一音乐流派内的音乐内容的变更或音乐流派的切换,但当推定出不愉快情感时也可以仅进行音乐流派的切换。除了内容的变更指示之外,也可以进行其他的指示,例如指示扬声器音量的增减等。也可以代替使音乐内容的输出停止,而减小扬声器音量。
在上述实施方式中,能够通过操作部21的操作而手动地指示内容的获取,但作为手动指示部的操作部的结构可以是任何结构。例如还能够由设置于方向盘的开关构成手动指示部。在上述实施方式中,视线判定部13根据由摄像头22获取的乘员的视线来判定有无朝向操作部21的乘员的视线,但对有无朝向手动指示部的乘员的视线进行判定的视线判定部的结构并不限定于此。还能够省略视线判定部。在上述实施方式中,按照从输出第1内容起算规定时间Δt1后的乘员情感来进行第2内容的变更指示,但也可以不等待规定时间而按照乘员情感来指示内容的变更。
能够将上述实施方式和变形例的一个或多个任意地进行组合,还能够对变形例彼此进行组合。
根据本发明,当所提供的内容对于乘员而言是不愉快的内容时,按照乘员情感来提供其他内容,因此,能够迅速改善乘员的不愉快情感。
以上,与其优选的实施方式相关联而对本发明进行了说明,但本领域的技术人员应该理解,在没有脱离后述技术方案的公开范围的情况下,能够进行各种修正和变更。
Claims (9)
1.一种内容提供装置,其特征在于,
具有:
生命体信息获取部(20),其获取乘员的生命体信息;
情感推定部(11),其根据由所述生命体信息获取部(20)获取到的生命体信息来推定乘员情感;
内容指示部(12),其根据由所述情感推定部(11)推定出的乘员情感来指示内容的获取;
内容获取部(14),其获取所述内容指示部(12)指示的内容;
内容输出部(15),其向乘员输出由所述内容获取部(14)获取到的内容,
手动指示部(21),其用于手动地指示内容的获取;和
视线判定部(13),其根据由所述生命体信息获取部(20)获取到的生命体信息,来判定有无朝向所述手动指示部(21)的乘员的视线,
当由所述内容输出部(15)输出第1内容之后由所述情感推定部(11)推定出的乘员情感恶化,且由所述视线判定部(13)判定为有朝向所述手动指示部(21)的乘员的视线时,所述内容指示部(12)指示从所述第1内容向第2内容变更内容。
2.根据权利要求1所述的内容提供装置,其特征在于,
所述内容指示部(12)按照由所述内容输出部(15)输出所述第1内容之后在规定时间(Δt1)后由所述情感推定部(11)推定出的乘员情感的变化,来指示从所述第1内容向所述第2内容变更内容。
3.根据权利要求1或2所述的内容提供装置,其特征在于,
所述内容指示部(12)还按照由所述内容输出部(15)输出所述第1内容之后由所述情感推定部(11)推定出的乘员情感来指示停止内容的获取,
当所述内容指示部(12)指示停止内容的获取时,所述内容输出部(15)停止向乘员的内容的输出。
4.根据权利要求1或2所述的内容提供装置,其特征在于,
由所述内容指示部(12)指示的内容是音乐内容,
所述内容指示部(12)按照由所述内容输出部(15)输出第1内容之后由所述情感推定部(11)推定出的乘员情感,来指示获取与所述第1内容同一流派的第2内容、或者与所述第1内容不同流派的第2内容。
5.根据权利要求3所述的内容提供装置,其特征在于,
由所述内容指示部(12)指示的内容是音乐内容,
所述内容指示部(12)按照由所述内容输出部(15)输出第1内容之后由所述情感推定部(11)推定出的乘员情感,来指示获取与所述第1内容同一流派的第2内容、或者与所述第1内容不同流派的第2内容。
6.一种内容提供方法,其特征在于,
包括:
获取乘员的生命体信息,
根据获取到的生命体信息来推定乘员的情感,
根据推定出的乘员情感来就内容的获取进行指示,
获取所指示的内容,
向乘员输出所获取到的内容,
根据获取到的生命体信息来判定有无朝向手动指示部(21)的乘员的视线,其中所述手动指示部(21)用于手动地指示内容的获取,
就所述内容进行指示包括:向乘员输出第1内容之后推定乘员的情感,当推定出的乘员情感恶化且判定为有朝向所述手动指示部(21)的乘员的视线时,指示从所述第1内容向第2内容变更内容。
7.一种内容提供系统,其特征在于,
具有:权利要求1、2、5中任一项所述的内容提供装置(1);和
服务器装置(2),其按照来自所述内容提供装置(1)的指示来向所述内容提供装置(1)发送内容。
8.一种内容提供系统,其特征在于,
具有:权利要求3所述的内容提供装置(1);和
服务器装置(2),其按照来自所述内容提供装置(1)的指示来向所述内容提供装置(1)发送内容。
9.一种内容提供系统,其特征在于,
具有:权利要求4所述的内容提供装置(1);和
服务器装置(2),其按照来自所述内容提供装置(1)的指示来向所述内容提供装置(1)发送内容。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-248022 | 2016-12-21 | ||
JP2016248022A JP6422477B2 (ja) | 2016-12-21 | 2016-12-21 | コンテンツ提供装置、コンテンツ提供方法およびコンテンツ提供システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108228729A CN108228729A (zh) | 2018-06-29 |
CN108228729B true CN108228729B (zh) | 2021-10-29 |
Family
ID=62556337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711310723.1A Active CN108228729B (zh) | 2016-12-21 | 2017-12-11 | 内容提供装置和内容提供方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10360259B2 (zh) |
JP (1) | JP6422477B2 (zh) |
CN (1) | CN108228729B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10622007B2 (en) * | 2018-04-20 | 2020-04-14 | Spotify Ab | Systems and methods for enhancing responsiveness to utterances having detectable emotion |
US10566010B2 (en) * | 2018-04-20 | 2020-02-18 | Spotify Ab | Systems and methods for enhancing responsiveness to utterances having detectable emotion |
US10621983B2 (en) * | 2018-04-20 | 2020-04-14 | Spotify Ab | Systems and methods for enhancing responsiveness to utterances having detectable emotion |
KR102689884B1 (ko) * | 2018-11-13 | 2024-07-31 | 현대자동차주식회사 | 차량 및 그 제어방법 |
JP2020112940A (ja) * | 2019-01-09 | 2020-07-27 | 本田技研工業株式会社 | コンテンツ出力装置及びコンテンツ出力方法 |
JP6997739B2 (ja) * | 2019-04-18 | 2022-01-18 | ヤフー株式会社 | 提供装置、提供方法、提供プログラム、端末装置、取得方法および取得プログラム |
JP7405526B2 (ja) * | 2019-07-09 | 2023-12-26 | Lineヤフー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1848106A (zh) * | 2005-04-05 | 2006-10-18 | 株式会社日立制作所 | 信息提供方法及信息提供装置 |
JP2007331519A (ja) * | 2006-06-14 | 2007-12-27 | Nissan Motor Co Ltd | 車両用シート装置 |
CN101136198A (zh) * | 2006-08-29 | 2008-03-05 | 爱信艾达株式会社 | 语音识别方法及语音识别装置 |
CN104417457A (zh) * | 2013-08-20 | 2015-03-18 | 哈曼国际工业有限公司 | 驾驶者辅助系统 |
JP2016137202A (ja) * | 2015-01-29 | 2016-08-04 | マツダ株式会社 | 車両用乗員感情対応制御装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006092430A (ja) * | 2004-09-27 | 2006-04-06 | Denso Corp | 音楽再生装置 |
JP2006146630A (ja) * | 2004-11-22 | 2006-06-08 | Sony Corp | コンテンツ選択再生装置、コンテンツ選択再生方法、コンテンツ配信システムおよびコンテンツ検索システム |
JP2006155157A (ja) | 2004-11-29 | 2006-06-15 | Sanyo Electric Co Ltd | 自動選曲装置 |
JP2012155616A (ja) * | 2011-01-27 | 2012-08-16 | Panasonic Corp | コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム |
US9823742B2 (en) * | 2012-05-18 | 2017-11-21 | Microsoft Technology Licensing, Llc | Interaction and management of devices using gaze detection |
KR20140080727A (ko) * | 2012-12-14 | 2014-07-01 | 한국전자통신연구원 | 운전자 감성제어 장치 및 그 방법 |
TWI603213B (zh) * | 2014-01-23 | 2017-10-21 | 國立交通大學 | 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置 |
JP2016212478A (ja) * | 2015-04-30 | 2016-12-15 | 株式会社Nttドコモ | 端末装置、通知方法、プログラム及びコンテンツ提供システム |
US9690817B2 (en) * | 2015-09-01 | 2017-06-27 | International Business Machines Corporation | Song selection using a heart rate change and a facial expression monitored with a camera |
CN106562792B (zh) * | 2015-10-08 | 2021-08-06 | 松下电器(美国)知识产权公司 | 信息提示装置的控制方法和信息提示装置 |
-
2016
- 2016-12-21 JP JP2016248022A patent/JP6422477B2/ja not_active Expired - Fee Related
-
2017
- 2017-12-11 CN CN201711310723.1A patent/CN108228729B/zh active Active
- 2017-12-12 US US15/839,407 patent/US10360259B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1848106A (zh) * | 2005-04-05 | 2006-10-18 | 株式会社日立制作所 | 信息提供方法及信息提供装置 |
JP2007331519A (ja) * | 2006-06-14 | 2007-12-27 | Nissan Motor Co Ltd | 車両用シート装置 |
CN101136198A (zh) * | 2006-08-29 | 2008-03-05 | 爱信艾达株式会社 | 语音识别方法及语音识别装置 |
CN104417457A (zh) * | 2013-08-20 | 2015-03-18 | 哈曼国际工业有限公司 | 驾驶者辅助系统 |
JP2016137202A (ja) * | 2015-01-29 | 2016-08-04 | マツダ株式会社 | 車両用乗員感情対応制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6422477B2 (ja) | 2018-11-14 |
US20180173796A1 (en) | 2018-06-21 |
US10360259B2 (en) | 2019-07-23 |
JP2018101341A (ja) | 2018-06-28 |
CN108228729A (zh) | 2018-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108228729B (zh) | 内容提供装置和内容提供方法 | |
JP6466385B2 (ja) | サービス提供装置、サービス提供方法およびサービス提供プログラム | |
US9576575B2 (en) | Providing voice recognition shortcuts based on user verbal input | |
JP6284331B2 (ja) | 会話支援装置、会話支援方法及び会話支援プログラム | |
US8019102B2 (en) | Acoustic adjustment device and acoustic adjustment method | |
JP4561703B2 (ja) | 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム | |
JP2015210660A (ja) | 情報呈示装置及び情報呈示方法 | |
WO2017057172A1 (ja) | 対話装置及び対話制御方法 | |
CN110389744A (zh) | 基于人脸识别的多媒体音乐处理方法和系统 | |
JP4725215B2 (ja) | 情報出力装置、情報出力方法及び情報出力システム | |
JP2010023639A (ja) | 車内会話補助装置 | |
CN118205507A (zh) | 辅助车载乘客睡眠的方法、装置、相关设备及计算机程序产品 | |
JP4632974B2 (ja) | 車載オーディオシステム | |
JP6691737B2 (ja) | 歌詞音声出力装置、歌詞音声出力方法、及び、プログラム | |
KR20130036492A (ko) | 후석 커뮤니케이션 시스템 및 그 방법 | |
JP2022025614A (ja) | 車内環境設定装置、車両および車内環境設定方法 | |
JP2010221893A (ja) | 車載情報機器 | |
JP2007283967A (ja) | 車載表示システム | |
CN116647614A (zh) | 内容输出装置及内容输出控制方法 | |
JP2021144262A (ja) | 音声出力制御装置、これを備える移動体、および音声出力制御方法 | |
US20170286060A1 (en) | Method for song suggestion sharing | |
JP7108716B2 (ja) | 画像表示装置、画像表示システムおよび画像表示方法 | |
JP2020060623A (ja) | エージェントシステム、エージェント方法、およびプログラム | |
CN114386763B (zh) | 一种车辆交互方法、车辆交互装置及存储介质 | |
WO2007020808A1 (ja) | コンテンツ提供装置、コンテンツ提供方法、コンテンツ提供プログラムおよびコンピュータに読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |