CN110032660A - 基于情绪来产生个性化音频内容 - Google Patents
基于情绪来产生个性化音频内容 Download PDFInfo
- Publication number
- CN110032660A CN110032660A CN201811479341.6A CN201811479341A CN110032660A CN 110032660 A CN110032660 A CN 110032660A CN 201811479341 A CN201811479341 A CN 201811479341A CN 110032660 A CN110032660 A CN 110032660A
- Authority
- CN
- China
- Prior art keywords
- audio content
- audio
- personalized
- user
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036651 mood Effects 0.000 title description 65
- 230000002996 emotional effect Effects 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims description 53
- 230000015654 memory Effects 0.000 claims description 15
- 230000006399 behavior Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 230000008451 emotion Effects 0.000 claims description 6
- 230000008685 targeting Effects 0.000 description 26
- 238000005457 optimization Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 21
- 230000007613 environmental effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000000873 masking effect Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 2
- 230000018199 S phase Effects 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000622 irritating effect Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/635—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/635—Filtering based on additional data, e.g. user or group profiles
- G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/635—Filtering based on additional data, e.g. user or group profiles
- G06F16/637—Administration of user profiles, e.g. generation, initialization, adaptation or distribution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/638—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
- G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
- H04H60/11—Arrangements for counter-measures when a portion of broadcast information is unavailable
- H04H60/12—Arrangements for counter-measures when a portion of broadcast information is unavailable wherein another information is substituted for the portion of broadcast information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
- H04H60/14—Arrangements for conditional access to broadcast information or to broadcast-related services
- H04H60/16—Arrangements for conditional access to broadcast information or to broadcast-related services on playing information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/33—Arrangements for monitoring the users' behaviour or opinions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/46—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising users' preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/49—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying locations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Social Psychology (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Otolaryngology (AREA)
Abstract
在一个实施方案中,一种个性化应用向位于同一地点的用户提供在情绪上个性化的音频内容。在操作中,所述个性化应用基于与第一用户相关的情绪状态来获取用于所述第一用户的第一个性化音频内容。所述个性化应用然后使与所述第一用户相关的第一音频装置输出第一音频内容。此外,所述个性化应用在所述第一音频装置输出所述第一音频内容时使与和所述第一用户位于同一地点的第二用户相关的第二音频装置输出第二音频内容。值得注意的是,所述第二音频内容不同于所述第一音频内容。
Description
技术领域
各种实施方案总体上涉及音频系统,且更具体地涉及基于情绪来产生个性化音频内容。
背景技术
车辆一般包括向车辆的乘员提供音频信息和娱乐的音频系统。例如,音频系统可使乘员能够从无线电设备接收音频内容、参与蜂窝电话呼叫、从导航子系统接收导航命令、从先进驾驶员辅助系统接收安全警告,等等。很多音频系统的一个限制是,相同的音频内容被车辆的所有乘员接收。因此,音频系统可能不能够同时解决所有乘员的收听偏好。
例如,车辆的驾驶员可能处于快乐的情绪中,且因此,可能具有对乐观的歌曲的偏好。相反,后座乘客可能处于被乐观的歌曲激怒的不快乐的情绪中。在另一例子中,驾驶员可能正在弱光条件期间沿着拥挤、有风的道路驾驶车辆,而乘客正在听足球比赛。在这样的情形中,驾驶员可能变得被足球比赛分心且未能将足够的心理资源投入到以安全的方式操作车辆的主要驾驶任务中。
为了改进每个乘员的收听体验,一些车辆包括提供不同的声音区的音频系统。在这样的音频系统中,每个声音区可与车辆内的不同就座位置相关。一般,在每个就座位置处,定向扬声器嵌入在头枕中和/或在车辆乘员的头顶上。音频系统接着能够基于由车辆的单独乘员做出的手动选择向不同的声音区提供个性化音频内容。例如,驾驶员可指定音频系统只向驾驶员就座位置提供导航和安全命令,而前排乘客可指定音频系统向前排乘客就座位置提供摇滚乐广播。
基于手动选择来提供个性化音频内容的一个限制是,个性化音频内容不一定优化所有乘员的收听体验。例如,乘员可能不理解如何手动地选择个性化音频内容或可能发现手动地选择音频内容是冗长乏味的和/或耗时的。在另一例子中,乘员可能不理解什么类型的音频内容将可能优化他们的收听体验和/或车辆的安全性(例如,昏昏欲睡的驾驶员可能手动地选择加剧他们的睡意的爱情歌曲)。在又一例子中,乘员可能没有修改特定类型的音频内容(例如刺耳的音频通知或语音内容)的能力和/或可能不能访问适合他们的当前收听偏好的音频内容的类型。
如前述内容说明的,用于提供个性化音频内容的更有效的技术将是有用的。
发明内容
一个实施方案阐述一种用于提供个性化音频内容的方法。该方法包括基于与第一用户相关的第一情绪状态来获取第一个性化音频内容;使与第一用户相关的第一音频装置输出第一音频内容;以及当第一音频装置输出第一音频内容时,使与和第一用户位于同一地点的第二用户相关的第二音频装置输出第二音频内容,其中第二音频内容不同于第一音频内容。
另外的实施方案除了别的以外还提供一种配置成实现上面阐述的方法的系统和计算机可读介质。
所公开的技术的至少一个优点是,车辆内音频系统可将不同的在情绪上个性化的音频内容输送到单独的声音区,其中每个声音区与车辆的不同乘员相关。由于输送到每个乘员的在情绪上个性化的音频内容基于乘员的情绪被自动优化,因此每个乘员不需要进行手动调节来提高他们的收听体验。此外,车辆内音频系统一般访问乘员不可访问的音频修改技术。
附图说明
为了使上面叙述的特征可更详细地被理解,可通过参考某些实施方案更具体地描述上面简要概述的各种实施方案,在附图中示出了一些所述某些实施方案。然而,应注意,附图仅示出典型的实施方案且因此不应被视为对范围的限制,因为所设想的实施方案可以认可其他同样有效的实施方案。
图1示出配置成实现各种实施方案的一个或多个方面的车辆;
图2是根据各种实施方案的图1的汽车音响主机(head unit)的更详细的图示;
图3是根据各种实施方案的图2的个性化应用的更详细的图示;并且
图4是根据各种实施方案的用于提供个性化音频内容的方法步骤的流程图。
具体实施方式
在下面的描述中,阐述了很多具体细节以提供对各种实施方案的更彻底的理解。然而,对本领域技术人员来说将明显的是,可在没有这些具体细节中的一个或多个的情况下实践各种实施方案。
车辆概述
图1示出配置成实现各种实施方案的一个或多个方面的车辆100。车辆100包括但不限于任何数量的声音区110和汽车音响主机120。为了解释目的,在需要的地方,相似物体的多个实例用识别物体的附图标记和识别实例的在括弧中的数字表示。
每个声音区110是与在车辆100内的不同就座位置和因此与车辆100的不同乘员相关的半私人音频区。如所示,声音区110(1)与驾驶员就座位置相关,声音区110(2)与前排乘客就座位置相关,声音区110(3)与一个后排乘客就座位置相关,以及声音区110(4)与另一后排乘客就座位置相关。在替代性实施方案中,车辆100可包括任何数量的声音区110,且每个声音区110可与任何数量的乘员相关。
经由被包括在音频系统中的任何数量的相关音频装置来启用每个声音区110。例如,在一些实施方案中,在每个就座位置处,音频系统包括嵌入在头枕中并在头顶上的定向扬声器。在其他实施方案中,在每个就座位置处的乘员戴着有线或无线耳塞。汽车音响主机120除了别的以外还包括控制音频系统的音频输送应用(未示出)。音频应用可实现用于经由与声音区110相关的音频装置来输送定向或空间化声音的任何数量的技术。输送技术的例子包括但不限于超声技术、相控阵技术、基于扬声器放置的几何技术、数字信号处理技术(例如先进均衡、噪声消除和掩蔽)。本领域技术人员将认识到,每个声音区110可配置成提供该乘员的隐私的数量可至少部分地由音频装置的数量和类型以及输送技术限制。
图2是根据各种实施方案的图1的汽车音响主机120的更详细的图示。如所示,汽车音响主机120包括但不限于处理器212和系统存储器216。处理器212和系统存储器216可以用任何技术上可行的方式实现。例如但并非限制地,在各种实施方案中,处理器212和系统存储器216的任何组合可被实现为独立芯片,或实施为更综合的解决方案的一部分,其被实现为专用集成电路(ASIC)或片上系统(SoC)。
处理器212通常包括执行程序指令以操纵输入数据的可编程处理器。处理器212可包括任何数量的处理核心、存储器和用于便于程序执行的其他模块。处理器212可经由任何数量的用户输入装置224来接收输入,并产生像素用于在显示装置222上显示。用户输入装置224可包括各种类型的输入装置,例如按钮、麦克风、摄像机、与显示装置222集成的基于触摸的输入装置(即触摸屏)和用于将输入数据提供到汽车音响主机120的其他输入装置。
汽车音响主机120可支持如在本领域中已知的任何数量的输入和输出数据类型和格式。例如但并非限制地,在一些实施方案中,汽车音响主机120可包括用于免提呼叫和音频流式传输的内置蓝牙、通用串行总线(USB)连接、语音识别、后视摄像机输入、任何数量和类型的显示器的视频输出以及任何数量的音频输出。通常,任何数量的传感器、显示器、接收器、发射器等可集成到汽车音响主机120内或可在汽车音响主机120的外部实现。外部装置可以用任何技术上可行的方式与汽车音响主机120通信。在替代性实施方案中,车辆100可包括实现在本文对汽车音响主机120所述的任何数量的功能的任何数量的独立单元。独立单元不与汽车音响主机120集成在一起且在一些实施方案中可代替汽车音响主机120。
系统存储器216通常包括存储用于由处理器212处理的应用程序和数据的存储芯片,例如随机存取存储器(RAM)芯片。在各种实施方案中,系统存储器216包括非易失性存储器,例如光学驱动器、磁性驱动器、闪存驱动器或其他存储装置。在一些实施方案中,存储装置226可补充或代替系统存储器216。存储装置226可包括处理器212可访问的任何数量和类型的外部存储器。例如但并非限制地,存储装置226可包括安全数字卡、外部闪存、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述项的任何适当组合。
除了或代替音频输送应用,系统存储器216还可包括任何数量和类型的其他应用。例如在一些实施方案中,系统存储器216可包括娱乐子系统、导航子系统和先进驾驶员辅助子系统(ADAS),仅举几个例子。娱乐子系统包括控制任何数量和类型的娱乐部件例如AM/FM无线电设备、卫星无线电设备、音频和视频计算机文件播放器(例如MP3音频文件播放器)、光学媒体播放器(例如光盘(CD)播放器)等的软件。导航子系统包括使驾驶员能够有效地导航车辆的任何数量和类型的应用。例如,导航子系统可包括地图、方向路线选择软件等。ADAS包括设计成增加驾驶员安全性、使驾驶任务自动化等的功能。在一些实施方案中,音频输送应用的功能可集成到任何数量的其他应用(例如信息娱乐系统)内或分布在任何数量的其他应用当中。
通常,支持多个声音区110的常规音频输送应用基于由车辆的单独乘员做出的手动选择来向不同的声音区110提供常规个性化音频内容。例如,驾驶员可手动地指定音频系统只向驾驶员就座位置提供导航和安全命令,而前排乘客可手动地指定音频系统向前排乘客就座位置提供摇滚乐广播。
基于手动选择来提供常规个性化音频内容的一个限制是,常规个性化音频内容不一定优化所有乘员的收听体验。例如,乘员可能不理解如何手动地选择常规个性化音频内容或可能发现手动地选择常规个性化音频内容是冗长乏味的和/或耗时的。在另一例子中,乘员可能不理解什么类型的音频内容将可能优化他们的收听体验和/或车辆的安全性(例 如,昏昏欲睡的驾驶员可能手动地选择加剧他们的睡意的爱情歌曲)。在又一例子中,乘员可能没有手动地修改特定类型的音频内容(例如刺耳的音频通知或语音内容)的能力和/或可能不能访问适合他们的当前收听偏好的音频内容的类型。
实现单独的情绪区
为了增加车辆100的乘员的乐趣和安全,系统存储器216包括但不限于情绪区子系统240。如所示,情绪区子系统240包括但不限于情绪分类器250和个性化应用270。对于车辆100的每个乘员,情绪分类器250基于传感器数据来产生情绪状态252。随后,对于每个乘员,个性化应用270基于与乘员相关的情绪状态252和从任何数量的音频源260接收的源音频内容来产生个性化音频内容272。最后,对于每个乘员,个性化应用270将音频系统配置成将与乘员相关的个性化音频内容272输送到与乘员相关的声音区110。以这种方式,情绪区子系统240自动输送可靠地增强乘员的收听体验的个性化音频内容272。
如所示,情绪分类器250从任何数量的视觉传感器232、生物传感器234、听觉传感器236和行为传感器238接收数据。在替代性实施方案中,情绪分类器250从任何数量和类型的装置和/或应用接收指示车辆100的一个或多个乘员的情绪的任何数量和类型的数据。
视觉传感器232提供可指示车辆100的一个或多个乘员的情绪的面部表情、身体姿势、身体位置等的图像数据。在一些实施方案中,视觉传感器232包括但不限于任何数量和组合的红外摄像机、RGB摄像机、在乘员的身体或头上提供多个视角的摄像机阵列以及感测身体姿势和身体定位的深度摄像机。
生物传感器234提供可与车辆100的一个或多个乘员的情绪相关的生物数据。在一些实施方案中,生物传感器234包括但不限于测量情绪唤醒的皮肤电反应传感器、检测血氧水平的图像传感器、检测血流的热传感器、检测血流的光学传感器、检测大脑的表面电势的脑电图描记传感器、检测神经活动的磁脑电描记传感器等的任何数量和组合。
听觉传感器236提供可指示车辆100的一个或多个乘员的情绪的音频数据。更精确地,由个人说出的词以及个人说给定短语的方式常常指示感情和情绪。在一些实施方案中,听觉传感器236包括但不限于任何数量和组合的麦克风、麦克风阵列等。
行为传感器238提供触觉数据、电子活动数据等,其将领悟提供到在车辆100周围的个人以及在车辆100内的个人的活动内。检测到的活动可指示车辆100的一个或多个乘员的情绪。例如在一些实施方案中,行为传感器238包括但不限于检测移动装置的使用的任何数量的移动使用传感器。通常,由乘员使用的应用的模式可与情绪关联。例如,如果应用被分类为供娱乐用的社交应用,则该应用的使用可与快乐的社交情绪关联。
在相同或其他实施方案中,行为传感器238包括但不限于压力传感器、触摸传感器、声传感器和指示乘员如何放置他们的手的按钮按下传感器。触觉数据可指示乘员的情绪。例如,乘员用不必要的力按下键的触觉数据可指示激动的情绪。
在从视觉传感器232、生物传感器234、听觉传感器236和行为传感器238接收到数据之后,情绪分类器250处理数据。作为处理数据的部分,情绪分类器250可执行任何数量的算法,例如自然语言处理算法、感情分析和语音分析。此外,情绪分类器250可基于从不同的传感器类型接收的数据的组合来执行澄清操作。随后,对于每个乘员,情绪分类器250基于所处理的数据来确定与用户相关的情绪状态252。情绪分类器250可以用任何技术上可行的方式确定情绪状态252。例如,情绪分类器250可实现以任何组合的任何数量和类型的启发法、规则和/或机器学习算法,以确定情绪状态252。
例如,在一些实施方案中,情绪分类器250包括支持向量机、贝叶斯分类器或马尔可夫链。在其他实施方案中,情绪分类器250包括将面部图像、生物数据和应用使用数据映射到情绪状态252的情绪分类模型。在一些实施方案中,情绪分类器250使经处理的数据与和已知情绪相关的以前观察到的数据关联。在相同或其他实施方案中,情绪分类器250实现统计算法以确定情绪状态252。
如结合图3更详细描述,对于每个乘员,个性化应用270基于与乘员相关的情绪状态252和从任何数量的音频源260接收的额源音频内容来产生个性化音频内容272。音频源260的例子包括话音代理(例如导航子系统)、音频和视频计算机文件播放器、配置成检测车辆100中的乘员的话音、由ADAS产生的警告和错误、引擎噪声等的麦克风。每个音频源260可位于汽车音响主机120内部或汽车音响主机120外部。
最后,对于每个乘员,个性化应用270将音频系统配置成将相关个性化音频内容272输送到与乘员相关的声音区110。个性化应用270可将音频系统配置成用任何技术上可行的方式输送相关个性化音频内容272。例如,对于每个声音区110,个性化应用可与音频输送应用通过接口连接或直接配置与声音区110相关的一个或多个音频装置。
在替代性实施方案中,汽车音响主机120可包括以任何技术上可行的方式实现的任何数量的系统存储器216和任何数量的处理器212。在各种实施方案中,情绪区子系统240、情绪分类器250和/或个性化应用270可存储在任何存储器中并在经由位于任何数量的物理位置上的任何数量的物理资源实现的任何处理器上执行。例如,个性化应用270可被实现为在云计算环境、分布式计算环境、膝上型计算机、平板计算机、智能电话等中的独立应用。
在情绪上个性化的音频内容
图3是根据各种实施方案的图2的个性化应用270的更详细的图示。通常,对于车辆100的任何数量的乘员中的每个,个性化应用270基于与个人相关的情绪状态252(x)来产生并按特定路线发送与乘员相关的不同的个性化音频内容272(x)。个性化应用270可同时、顺序地或其任何组合产生并按特定路线发送与任何数量的乘员相关的不同的个性化音频内容272。此外,个性化应用270可连续地、以分立的间隔或响应于任何数量和类型的标准而接收、请求和/或处理已更新的情绪状态252和/或从音频源260接收的音频内容。
仅为了解释目的,在图3的上下文中,个性化应用270被描绘和描述为基于与目标乘员相关的情绪状态252(1)来产生并按特定路线发送与车辆100的目标乘员相关的个性化音频内容272(1)。如所示,个性化应用270包括但不限于目标引擎310、门控引擎320、音乐参数化引擎330、话音代理参数化引擎340、环境参数化引擎350、个性化音频内容272(1)和路由引擎360。
如使用虚线框描绘,目标引擎320可在一些实施方案中实现,但可在其他实施方案中被省略。目标引擎310被实现的实施方案在“目标模式”中操作,而目标引擎320被省略的实施方案在“非目标模式”中操作。在一些替代性实施方案中,目标引擎320可配置成基于任何技术上可行的标准(例如可配置的设置)来选择性地在目标模式中操作。
如所示,目标引擎310包括但不限于目标状态312(1)、初始状态314(1)和目标状态316(1)。通常,对于车辆100的每个乘员,目标引擎310包括与乘员相关的目标状态312(x)、初始状态314(x)和目标状态316(x)。最初,目标引擎310基于情绪状态252(1)来确定目标状态312(1)。目标引擎310可以用任何技术上可行的方式确定目标状态312(1)。例如,目标引擎310可实现以任何组合的任何数量和类型的启发法、规则和/或机器学习算法,以基于情绪状态252(1)来产生目标状态312(1)。
在替代性实施方案中,不是对每个乘员产生不同的目标状态312,目标引擎310可对所有乘员确定共同的目标状态312。目标引擎310可以用任何技术上可行的方式且基于任何数量的情绪状态252来产生共同的目标状态312。例如,目标引擎310可产生共同的目标状态312作为情绪状态252的加权集合,其中与某个情绪相关的情绪状态252比其他情绪状态252更重地被加权。
在目标引擎310确定目标状态312(1)之后,目标引擎310设置初始状态314(x)以反映情绪状态252(1)和目标状态316(x)以指示目标状态312(1)是新目标状态312(1)。随后,当音频系统操作时,目标引擎310接收已更新的情绪状态252(1)。目标引擎310然后更新目标状态316(1)以反映个性化应用270是否成功地将与目标乘员相关的情绪状态252(1)从初始状态314(1)转变到目标状态312(1)。
目标引擎310也可基于任何重新产生标准来重新产生目标状态312(1)、初始状态314(1)和目标状态316(1)(例如当目标状态312(1)被达到时)。在一些替代性实施方案中,目标引擎310既不包括初始状态314(1)也不包括目标状态316(1)。在这样的实施方案中,当接收到新情绪状态252(1)时,目标引擎310基于新情绪状态252(1)来重新产生目标状态312(1)。值得注意的是,由于情绪常常是无常的,因此在目标引擎310基于新情绪状态252(1)来产生新目标状态312(1)之前,目标状态312(1)可以不被达到。
门控引擎320基于情绪状态252(1)来确定音频系统是否向目标乘员提供音频内容。门控引擎320可确定音频系统100是否以任何技术上可行的方式向目标乘员提供音频内容。例如,如果目标乘员不是驾驶员,则门控引擎320可基于情绪状态252(1)是否指示目标乘员睡着来确定是否向目标乘员提供音频内容。如果个性化应用270正在目标模式中操作,则门控引擎320可基于考虑目标状态312、初始状态314和/或目标状态316的技术来确定音频系统100是否向目标乘员提供音频内容。
如果门控引擎320确定音频系统100不向目标乘员提供音频内容,则门控引擎320将音频系统配置成停止向目标乘员提供音频内容。门控引擎320还确保个性化应用270不产生个性化音频内容272(1),直到门控引擎320确定音频系统将向目标乘员提供音频内容为止。门控引擎320可将音频系统配置成以任何技术上可行的方式停止向目标乘员提供音频内容。
然而,如果门控引擎320确定音频系统将向目标乘员提供音频内容,则个性化应用270基于情绪状态252(1)和任选地从任何数量的音频源260接收的源音频内容来产生个性化音频内容272(1)。个性化应用270可以用任何技术上可行的方式产生个性化音频内容272,其反映情绪状态252(1)和以目标在于输出到目标乘员的源音频内容的部分。在个性化应用270正在目标模式中操作的一些实施方案中,个性化应用270可基于考虑目标状态312、初始状态314和/或目标状态316的技术来产生个性化音频内容272。
通常,个性化应用270实现“情绪调节”过程以基于情绪状态252(1)来获取个性化音频内容272(1)。获取个性化音频内容272(1)的例子包括但不限于从数据源选择获取个性化音频内容272(1),产生个性化音频内容272(1),等等。首先,个性化应用270评估情绪状态252(1)。如果个性化应用270确定情绪状态252(1)对目标乘员的健康(包括安全)是最佳的,则个性化应用270获取设计成维持情绪状态252(1)的个性化音频内容272(1)。然而,如果个性化应用270确定情绪状态252(1)对目标乘员的健康(包括安全)不是最佳的,则个性化应用270获取设计成导致优化的情绪状态252(1)的个性化音频内容272(1)。
例如,如果情绪状态252(1)指示目标乘员是非常激动的,则个性化应用270将获取设计成对目标乘员有镇定效果的个性化音频内容272(1)。在另一例子中,如果目标乘员是驾驶员且情绪状态252(1)指示目标乘员是昏昏欲睡的,则个性化应用270将获取设计成对目标乘员有刺激效果的个性化音频内容272(1)。
在各种实施方案中,个性化应用270可实现以任何组合的任何数量和类型的启发法、规则和/或机器学习算法,以基于情绪状态252(1)和任选地音频源260来获取个性化音频内容272(1)。此外,启发法、规则和/或机器学习算法可以用任何技术上可行的方式分布在任何数量的部件当中。例如,个性化应用270将执行在存在于云380(例如封装的共享资源、软件、数据等)中的应用(未示出)中实现的机器学习算法。在另一例子中,个性化应用270可包括访问与目标乘员和/或任何数量的其他个人相关的启发法数据以引导个性化音频内容272(1)的产生。
基于从音频源260接收且以目标在于输出到目标乘员的源内容来产生个性化音频内容272(1)的过程在本文被称为使源内容“参数化”。作为使源内容参数化的部分,个性化应用270可改变与源内容相关的任何数量和类型的特性。在各种实施方案中,可修改的特性的例子包括但不限于音调、频率特性、音乐布置选择、乐器选择、音高、词选择、信息的类型、话音的音调或话音的类型。使源内容参数化的结果在本文被称为“参数化源内容”,且被包括在个性化音频内容272(1)中。
在一些实施方案中,个性化应用270实现不同的情绪调节操作以产生从接收自音频源260的不同类型的源音频内容导出的个性化音频内容272(1)。一般来说,不是从音频源260接收的所有音频内容都必须预期输送到所有乘员。例如在一些实施方案中,音频源260中的一者可包括提供预期输送到驾驶员但并非输送到车辆100的所有乘客的导航指令的导航子系统。在另一例子中,在一些实施方案中,音频源260中的一者可包括提供预期输送到车辆100的所有乘客的音频内容的无线电台。
对于每个乘员,个性化应用270基于内容的类型以及从音频源260接收的源音频内容的每个部分是否预期输送到乘员来对源音频内容的该部分分类。例如,假设源音频内容的特定部分包括预期输送到目标乘员但不是到车辆100的任何其他乘员的音乐。在这样的情形中,对于目标乘员,个性化应用将源音频内容的该部分分类为音乐内容。相反,对于车辆100的其他乘员,个性化应用270将源音频内容的该部分分类为可被乘员无意中偷听到的环境声音。
个性化应用270可以用任何技术上可行的方式将从音频源260接收的源音频内容划分和分类。在一些实施方案中,个性化应用可基于音频源260来将源音频内容划分和分类。例如,如果音频源260(y)是导航子系统,则个性化应用270可将从音频源260(y)接收的音频内容分类为话音代理内容的一部分。
在一些实施方案中,音乐参数化引擎330产生从被包括在源音频内容中的音乐内容导出的个性化音频内容272的部分。在相同或其他实施方案中,话音代理参数化引擎340产生从被包括在源音频内容中的话音代理内容导出的个性化音频内容272的部分。在一些实施方案中,环境特征化引擎350产生从被包括在源音频内容中的环境声音内容导出的个性化音频内容272的部分。在替代性实施方案中,除了或代替音乐参数化引擎330、话音代理参数化音频340和环境特征化音频350,个性化应用270还可包括对任何数量的源音频内容执行任何数量和类型的情绪调节操作的任何数量的其他部件。
仅为了解释目的,在本文对参数化引擎270正在非目标模式中操作的各种实施方案描述了每个参数化引擎的操作。如本文所提到的“参数化引擎”包括音乐参数化引擎330、话音代理参数化音频340和环境特征化音频350。然而,如本领域技术人员将认识到,在参数化引擎270正在目标模式中操作的替代性实施方案中,可基于目标状态312、初始状态314和/或目标状态316来修改任何数量的参数化引擎的行为。
通常,当参数化引擎270正在目标模式中操作时,目标引擎310实现情绪调节过程的一部分。更具体地,目标引擎310执行情绪调节操作以确定目标状态312。因此,在一些替代性实施方案中,参数化引擎可产生设计成实现目标状态312的个性化音频内容272。值得注意的是,如果目标状态316指示个性化音频内容272(1)对目标乘员没有期望影响,则参数化引擎中的一个或多个可实现替代性技术以产生个性化音频内容272(1)。每个参数化引擎可以用任何技术上可行的方式选择替代性技术。例如,参数化引擎可随机地或基于与目标乘员和/或任何数量的其他个人相关的历史数据来选择替代性技术。
如所示,音乐参数化引擎330包括但不限于播放列表选择器332和内容优化器334。在替代性实施方案中,除了或代替播放列表选择器332和内容优化器334,音乐参数化引擎330还可包括对任何数量的源音频内容执行任何数量和类型的情绪调节操作的任何数量的其他部件。
播放列表选择器332实现情绪调节技术以选择并随后识别一首或多首歌曲用于顺序地包括在个性化音频内容272(1)中。例如,假设情绪状态252(1)指示目标乘员是快乐的。当目标乘员已经是快乐的时,播放列表选择器332可选择历史数据(未示出)指示维持目标乘员的情绪状态252(1)的一首或多首歌曲。
内容优化器334实现情绪调节技术以使被包括在源音频内容中或不久将被包括在源音频内容中的源歌曲(例如在光盘中的下一歌曲)的结构和/或内容参数化。通常,内容优化器334可使用如本领域中已知的任何歌曲识别技术来检测源歌曲。在一些实施方案中,内容优化器334可使源歌曲参数化以基于情绪状态252(1)来添加、删除和/或修改任何数量和类型的音乐成分。音乐成分的例子包括和弦、和音、曲调和音乐材料,仅举几个例子。随后,个性化应用270包括在个性化音频内容272(1)中的个性化歌曲。
在相同或其他实施方案中,内容优化器334可确定源歌曲的一个或多个变奏曲是可得到的(例如存储在云306中)。共同的歌曲变奏曲可包括但不限于明白表示的歌词的各种水平、布置的各种类型(例如完全的、不插电的等)、各种音乐流派等。内容优化器334可接着基于情绪状态252(1)来选择源歌曲的变奏曲中的一者。例如,如果情绪状态252(1)指示目标乘员在非常好斗的情绪中且源歌曲是重金属歌曲,则内容优化器334可选择源歌曲的爵士乐变奏曲。随后,个性化应用270包括在个性化音频内容272(1)中的源歌曲的(参数化)变奏曲。
在一些实施方案中,内容优化器334可实现可应用于与源歌曲相关的源版本的任何类型的参数化操作。例如,如果源版本是多音轨版本,则内容优化器334可执行任何数量的即时重新混合操作以基于情绪状态242(1)来产生参数化歌曲。重新混合操作的例子包括但不限于强调或削弱某些乐器、声乐曲、效果等。重新混合歌曲的多音轨版本在计算上允许使用所有相关的音频参数对音频混合进行相同的低级控制,作为在录音棚中的混音阶段。
在另一例子中,如果源版本是乐器数字接口(MIDI)版本,则内容优化器334可应用基于MIDI的技术(例如MIDI合成操作)以基于情绪状态242(1)来产生参数化歌曲。如本领域技术人员将认识到,MIDI使歌曲的完全定制(包括组成要素、乐器选择和布置以及乐器定制)成为可能。因此,使用共同的MIDI操作,内容优化器334可在各种水平上重新混合歌曲。MIDI使内容优化器334能够修改单独的乐器合成器的参数,例如改变乐器的声音。例如,内容优化器334可将干净的萨克斯管声音改变为刺耳的萨克斯管声音或用低音大喇叭代替萨克斯管。一般来说,被表示为MIDI序列并使用合成或数字化乐器的歌曲可在计算上以预先记录的音频不能有的方式被操纵。例如,使用歌曲的MIDI版本,内容优化器334可改变歌曲的基调、改变歌曲的拍子(而不改变歌曲的总音高)、记录歌曲的单独选择以及更多操作。随后,个性化应用270包括在个性化音频内容272(1)中的参数化歌曲。
在相同或其他实施方案中,如果内容优化器334确定与源歌曲相关的源版本不顺从于低级参数化,则内容优化器334可选择要参数化的歌曲的替代版本。例如,如果源版本是立体声版本,则内容优化器334可找出源歌曲的多音轨或乐器数字接口(MIDI)版本的位置。内容优化器334可以用任何技术上可行的方式找出源歌曲的替代版本的位置。例如,如所示,内容优化器334可找出存储在被包括在云380中的MIDI数据库382中的源歌曲的MIDI版本的位置。
在其他实施方案中,如果内容优化器334确定源歌曲不顺从于低级参数化,则内容优化器334可对源歌曲执行任何数量的分析和分解操作以产生源歌曲的多音轨版本。特别是,内容优化器334可实现声音源分离技术以分离乐器并接着将源歌曲分成多个音轨。内容优化器334可接着基于情绪状态252(1)来使源歌曲的多音轨版本参数化。随后,个性化应用270包括在个性化音频内容272(1)中的源歌曲的(参数化)多音轨版本。
在各种实施方案中,内容优化器334可限制预期由多于一个乘员接收的源歌曲的参数化的范围。例如,假设特定的源歌曲预期由车辆100中的所有乘员接收以及每个声音区110不与其他声音区110完全隔离。由于车辆100的每个乘员可能偷听到专为车辆100的其他乘员而设计的音频内容,因此内容优化器334可产生源歌曲的单个MIDI版本并选择单一拍子。随后,对于每个乘员,内容优化器334可基于源歌曲的MIDI版本和与乘员相关的情绪状态252来产生具有选定拍子的不同的参数化歌曲。
话音代理参数化引擎340执行情绪调节操作以使被包括在源音频内容中或不久将被包括在源音频内容中的口头内容的结构和/或内容参数化。被包括在源音频内容中或不久将被包括在源音频内容中的口头内容在本文也被称为“源口头内容”。更精确地,话音代理参数化引擎340基于情绪状态252(1)来使源口头内容参数化以产生被包括在个性化音频内容272(1)中的参数化口头内容。
如所示,话音代理参数化引擎340包括但不限于语音合成器342。语音合成器342使参数化引擎320能够对口头内容的部分执行低级参数化操作。在替代性实施方案中,除了或代替任何数量的语音合成器342,话音代理参数化引擎340还可包括对任何数量的源音频内容执行任何数量和类型的操作的任何数量的其他部件。
话音代理参数化引擎340可对源口头内容实现任何数量和类型的情绪调节操作以产生参数化话音内容。通常,话音代理参数化引擎320可基于情绪状态252(1)来改变源口头内容的语义特性和/或非语义特性。语义特性的一些例子包括但不限于词选择、讨论模型结构、响应于查询而输送的信息的类型和问题发起,仅举几个例子。
词选择参数化的影响的例子包括但不限于对查询的回复、与目标乘员的对话等。讨论模型结构参数化的影响的例子是话音代理在与目标乘员互动时询问的后续问题的类型。问题发起参数化的影响的例子包括但不限于参数化话音内容是否包括由话音代理(例如导航系统)发起的问题和/或话音代理是否参与与目标乘员的正在进行的对话。
非语音特性的例子包括但不限于音调、频率响应、话音的类型、语音合成器322的类型等。例如在一些实施方案中,话音代理参数化引擎340可使合成话音的总拍子、响度和音高参数化。在相同或其他实施方案中,话音代理参数化引擎340可指定话音影响参数。
话音影响参数的例子包括但不限于音高参数、定时参数、话音质量参数、发音参数等。更具体地,音高参数的例子包括但不限于重音形状、平均音高、等高线斜率、最终降低和音高范围。定时参数的一些例子包括但不限于语速和应力频率。话音质量参数的例子包括但不限于气息声、清脆感、喉音化、响度、暂停不连续性、音高不连续性等。发音参数的一个例子是精确度。
在各种实施方案中,作为产生参数化话音内容的部分,话音代理参数化引擎340可插入或省略非口头和非语言发声,例如副语言呼吸(例如笑、咳嗽、吹口哨等)。类似地,话音代理参数化引擎340可插入或省略非语音警告声音(例如哔哔声、唧唧声、咔嗒声等)。在一些实施方案中,为了影响所感知的情绪效应,话音代理参数化引擎340可产生强调软或硬声音、多音节或突然的节奏、具有长元音或双元音的词等的参数化话音内容。
一般来说,话音代理参数化引擎340可实现任何数量和类型的启发法、规则和/或机器学习算法以基于任何数量的情绪状态252来产生被包括在个性化音频内容272(1)中的参数化话音内容。例如在一些实施方案中,话音代理参数化引擎340可实现连接特定的声音序列与语音中的特定含义的声音象征性启发法。
环境参数化引擎350对环境源内容执行情绪调节操作以产生被包括在个性化音频内容272(1)中的参数化环境内容。为了产生参数化环境内容,环境参数化引擎350可实现任何数量的噪声消除、声音修改和/或声音增强技术。注意,环境源内容可包括被输送到与车辆100的其他乘员相关的声音区110的声音。
在一些实施方案中,为了在情绪状态252(1)指示激动的情绪时使目标乘员平静,环境参数化引擎320可实现听觉掩蔽,例如同时掩蔽和时域掩蔽。为了实现同时掩蔽,环境参数化引擎320可产生包括白/粉红噪声的参数化环境内容。白/粉红噪声设计成掩蔽具有相同的频率或与白/粉红噪声同时发射的频率的不希望有的声音。为了实现时域掩蔽,环境参数化引擎320可包括在参数化环境内容中的令人愉快的声音的预定调色板。噪声相关内容遵循并包括与不希望有的声音类似频率的但在较高音量处的内容。
在各种实施方案中,环境参数化引擎320可基于情绪状态252(1)来改变警告和/或错误噪声。例如,如果目标乘员是车辆100中的乘员,则环境参数引擎320可使一个或多个警告铃声(例如开门等)参数化。环境参数化引擎320可基于任何标准例如情绪状态252(1)和/或铃声与目标乘员的关联来使警告铃声参数化。
例如,如果车辆100被停放且最接近目标乘员的门打开,则环境参数化引擎320可产生包括未改变的警告铃声的参数化环境内容。相反,假设车辆100被停放,从目标乘员越过的门打开,以及情绪状态252(1)指示目标乘员是不快乐的。在这样的情形中,环境参数化引擎320可产生参数化环境内容272(1),其用更平稳的声音代替警告铃声。
在各种实施方案中,环境参数化引擎320可产生修改和/或增强从一个或多个声音区110内产生的期望源环境内容的参数化环境内容。例如在一些实施方案中,每个声音区110包括集中于拾取由与声音区110相关的乘员发出的语音内容的一个或多个麦克风。如果目标乘员的情绪状态252(1)不匹配与声音区110(x)相关的“源乘员”的情绪状态252(x),则环境参数化引擎320可使由源乘员发出的语音内容参数化以更接近地匹配情绪状态252(1)。
在每个参数化引擎产生用于包括在个性化音频内容272(1)中的参数化内容之后,个性化应用270合成参数化内容以产生个性化音频内容272(1)。个性化应用270可以用任何技术上可行的方式合成参数化内容。例如,个性化应用270可产生参数化内容的集合。在另一例子中,个性化应用270可产生包括在比参数化音乐内容高的音量下的参数化话音的参数化内容的加权集合。
随后,路由引擎360将与声音区110(1)相关的任何数量的音频装置配置为将个性化音频内容272(1)输送到目标乘员。路由引擎360可以用任何技术上可行的方式识别并配置音频装置。例如,在一些实施方案中,路由引擎360可识别与目标乘员相关的耳塞并将个性化音频内容272(1)传输到耳塞。在其他实施方案中,路由引擎360可与被包括在音频输送应用中的应用编程接口(API)通过接口连接,音频输送应用经由任何数量的扬声器来控制不同的声音区110。
通常,与个性化应用270相关的任何数量的功能可以用独立的方式来实现或以任何技术上可行的方式集成在任何其他应用(例如信息娱乐系统)中。此外,与个性化应用270相关的功能可在存储在任何数量和类型的存储器中的任何数量的应用当中被划分,并经由任何数量的处理器212被执行。存储器和处理器212可位于任何数量的物理位置上。
注意,本文所述的技术是说明性的而不是限制性的,且可被改变而不偏离所设想的实施方案的更广泛的精神和范围。对由个性化应用270提供的功能的各种修改和变化对本领域普通技术人员来说将是明显的而不偏离所描述的实施方案的范围和精神。例如,在替代性实施方案中,车辆100包括与车辆100的所有乘员相关的单个声音区110,且个性化应用270可基于所有乘员的情绪状态252来产生单个音频内容。
将认识到,本文所示的个性化应用270是说明性的,以及变化和修改是可能的。例如在替代性实施方案中,个性化应用270可包括广告应用。对于车辆100的每个乘员,广告应用可基于与乘员相关的情绪状态252来产生个性化广告内容。随后,对于每个乘员,个性化应用270可包括在与乘员相关的个性化音频内容272中的参数化广告内容。
仅为了解释目的,到现在为止在车辆100的上下文中描述了情绪区子系统240和个性化应用270。如本领域技术人员将认识到,在替代性实施方案中,情绪区子系统240和个性化应用270可控制提供位于任何类型的空间中的任何数量的声音区110的任何类型的音频系统。因此在替代性实施方案中,情绪区子系统240和个性化应用270可基于个人的情绪状态252来将不同的个性化音频内容272同时输送到不在车辆100中的任何数量的不同的位于同一地点的个人。个人在本文也被称为用户。
例如,情绪区子系统240和个性化应用270可将个性化音频内容272输送到汽车、公共汽车、飞机、轮船、太空飞船、自主运输系统等的乘员。此外,情绪区子系统240和个性化应用270可将个性化音频内容272输送到位于等候室、饭店、游乐园、博物馆等中的任何数量的位于同一地点的个人。例如,部署在机动车辆的注册地处的音频系统可包括在单个房间内的每个凉亭处的不同声音区110。对于每个凉亭且在任何给定的时间,情绪区子系统240和个性化应用270可输送个性化音频内容272,其基于位于凉亭处的个人的情绪状态252来指定与凉亭有关的指令。
图4是根据各种实施方案的用于提供个性化音频内容的方法步骤的流程图。虽然结合图1-3的系统描述了方法步骤,本领域技术人员将理解,配置成以任何顺序实现方法步骤的任何系统落在所设想的实施方案的范围内。图4的上下文是,多个个人位于同一地点,且对于每个位于同一地点的个人,任何数量的音频装置可配置成提供相关的个人声音区110。
如所示,方法400在步骤402处开始,其中个性化应用270确定与位于同一地点的个人相关的情绪状态252。个性化应用270可以用任何技术上可行的方式确定情绪状态252。在一些实施方案中,个性化应用270可从情绪分类器250接收情绪状态252。在其他实施方案中,个性化应用270可基于任何数量的相关数据以任何技术上可行的方式识别情绪状态252。个性化应用270然后选择第一个位于同一地点的个人。
在步骤404处,个性化应用270确定个性化应用270是否正在目标模式中操作。在各种实施方案中,个性化应用270可专门在目标模式中、专门在非目标模式中或基于任何技术上可行的标准(例如配置设置)选择性地在目标模式中操作。如果在步骤404处个性化应用270确定个性化应用270在目标模式中操作,则方法400继续进行到步骤406。
在步骤406处,目标引擎310基于与个人相关的情绪状态252来更新与所选择的位于同一地点的个人相关的目标状态316。通常,目标状态316指示个性化应用270是否成功地将与所选择的位于同一地点的个人相关的情绪状态252从初始状态314转变到目标状态312。作为目标状态316的部分,目标引擎310可产生目标状态312和初始状态314。通常,目标引擎310可以用任何技术上可行的方式至少部分地基于与所选择的位于同一地点的个人相关的情绪状态252来产生目标状态312、初始状态314和目标状态316。
例如在一些实施方案中,目标引擎310可基于与个人相关的情绪状态252来产生所选择的位于同一地点的个人的目标状态312。在其他实施方案中,目标引擎310可基于与位于同一地点的个人相关的情绪状态252来产生与多个位于同一地点的个人相关的目标状态312。
然而,如果在步骤404处个性化应用270确定个性化应用270不在目标模式中操作,则方法400直接继续进行到步骤408。在步骤408处,门控引擎320确定音频系统100是否向所选择的位于同一地点的个人提供音频内容。如果在步骤408处门控引擎320确定音频系统100将向所选择的位于同一地点的个人提供音频内容,则方法400继续进行到步骤410。
在步骤410处,个性化应用270基于与位于同一地点的个人相关的情绪状态252和任选地任何数量的音频源260来获取与所选择的位于同一地点的个人相关的个性化音频内容272。个性化应用270可以用任何技术上可行的方式获取个性化音频内容272。此外,当个性化应用270在目标模式中操作时,个性化应用270可基于考虑目标状态312、初始状态314和/或目标状态316的技术来获取个性化音频内容272。在一些实施方案中,如结合图3更详细描述,个性化应用270实现不同的技术以获取从接收自音频源260的不同类型的源音频内容导出的个性化音频内容272的部分。
在步骤412处,路由引擎360将与所选择的位于同一地点的个人相关的任何数量的音频装置配置成将与所选择的位于同一地点的个人相关的个性化音频内容272输送到所选择的位于同一地点的个人。路由引擎360可以用任何技术上可行的方式识别并配置音频装置。例如在一些实施方案中,路由引擎360可识别与所选择的位于同一地点的个人相关的耳塞并将与所选择的位于同一地点的个人相关的个性化音频内容272传输到耳塞。在其他实施方案中,路由引擎360可与音频输送应用的应用编程接口(API)通过接口连接,所述音频输送应用经由任何数量的扬声器来控制不同的声音区110。
现在返回到步骤408,如果门控引擎320确定音频系统100不将音频内容提供到所选择的位于同一地点的个人,则方法400直接继续进行到步骤414。在步骤414处,个性化应用270确定所选择的位于同一地点的个人是否是最后一个位于同一地点的个人。如果在步骤414处个性化应用270确定所选择的位于同一地点的个人不是最后一个位于同一地点的个人,则方法400继续进行到步骤416。在步骤416处,个性化应用270选择下一个位于同一地点的个人,并且方法400返回到步骤404,其中个性化应用370对于最新选择的位于同一地点的个人使从音频源260接收的音频内容个性化。
然而,如果在步骤414处个性化应用270确定所选择的位于同一地点的个人是最后一个位于同一地点的个人,则方法400直接继续进行到步骤418。在步骤418处,个性化应用270确定个性化应用270是否将停止执行。例如,个性化应用270可确定音频系统100是否被关闭。如果在步骤418处个性化应用270确定个性化应用270将继续执行,则方法400返回到步骤402,其中个性化应用270接收与位于同一地点的个人相关的已更新的情绪状态252。然而,如果在步骤420处个性化应用270确定个性化应用270将停止执行,则方法400终止。
仅为了解释目的,方法400将步骤404-412描述为对每个位于同一地点的个人顺序地出现。然而,在各种实施方案中,步骤404-412可以对任何数量的位于同一地点的个人同时、顺序地或其任何组合出现。此外,个性化应用270可连续地、以分立的间隔或响应于任何数量和类型的标准而接收、请求和/或处理已更新的情绪状态252和/或源音频内容。例如,当情绪分类器250检测到一个或多个情绪状态252的变化时,个性化应用270可接收已更新的情绪状态252。在另一例子中,当选定无线电台完成播放歌曲时,个性化应用270可接收新的源音频内容。
总之,所公开的技术可用于为多个位于同一地点的个人(例如车辆的乘员、在等候室中的消费者等)使音频内容个性化。个性化应用包括但不限于门控引擎、音乐参数化引擎、语音参数化引擎、环境参数化引擎和路由引擎。在操作中,对于每个个人,参数化应用从情绪分类器接收情绪状态。门控应用基于个人的情绪状态来确定每个个人是否接收音频内容。随后,对于将接收音频内容的每个个人,任何数量和组合的音乐参数化引擎、语音参数化引擎和环境参数化引擎基于源音频内容和个人的情绪状态来获取参数化内容。对于将接收音频内容的每个个人,参数化应用然后合成参数化内容以产生与个人相关的个性化音频内容。最后,对于将接收音频内容的每个个人,路由引擎将相应的个性化音频内容输送到为个人提供单独的声音区的音频装置。
有利地,由于个性化应用基于个人的情绪状态来自动产生个性化音频内容,因此个人的乐趣和安全两者可以可靠地增加。值得注意的是,每个个人不需要做出时常进行冗长乏味的手动选择来优化他们自己的收听体验。特别是,个性化应用可有效地优化不知道他们的情绪状态和/或如何提高他们自己的情绪状态的个人(例如昏昏欲睡的驾驶员)的收听体验。此外,个性化应用可使用个人不可经由手动选择而采用的各种技术来修改内容(例 如用歌曲的MIDI版本来代替歌曲的立体声版本)。
1.在一些实施方案中,一种用于提供个性化音频内容的方法包括:基于与第一用户相关的第一情绪状态来获取第一个性化音频内容;使与第一用户相关的第一音频装置输出第一音频内容;以及当第一音频装置输出第一音频内容时,使与和第一用户位于同一地点的第二用户相关的第二音频装置输出第二音频内容,其中第二音频内容不同于第一音频内容。
2.如条款1所述的方法,其还包括获取第二个性化音频内容,其中第二个性化音频内容基于与第二用户相关的第二情绪状态。
3.如条款1或2所述的方法,其中第一用户和第二用户是车辆的乘员。
4.如条款1-3中任一项所述的方法,其中第一音频装置包括耳塞和扬声器中的至少一个。
5.如条款1-4中任一项所述的方法,其中第一个性化音频内容包括音乐内容、语音内容和噪声消除内容中的至少一个。
6.如条款1-5中任一项所述的方法,其中获取第一个性化音频内容包括确定第一源音频内容目标在于输出到第一用户,以及基于第一情绪状态来修改第一源音频内容的第一特性以产生第一个性化音频内容。
7.如条款1-6中任一项所述的方法,其中第一特性包括频率特性、音乐布置选择、乐器选择、音高、词选择、信息的类型、话音的音调或话音的类型。
8.如条款1-7中任一项所述的方法,其中获取第一个性化音频内容包括确定第一歌曲的第一版本目标在于输出到第一用户;获取第一歌曲的第二版本,其中第一歌曲的第二版本包括第一歌曲的多音轨版本或第一歌曲的乐器数字接口(MIDI)版本;以及基于第一情绪状态来对第一歌曲的第二版本执行一个或多个音频操作。
9.如条款1-8中任一项所述的方法,其还包括基于图像数据、生物数据、听觉数据、触觉数据和电子活动数据中的至少一个来确定第一情绪状态。
10.如条款1-9中任一项所述的方法,其中获取第一个性化音频内容包括基于第一情绪状态来确定目标情绪状态以及基于目标情绪状态来修改目标在于输出到第一用户的第一源音频内容以产生第一个性化音频内容。
11.在一些实施方案中,一种非暂时性计算机可读存储介质包括指令,所述指令当由处理器执行时使处理器通过执行下列步骤来提供个性化音频内容:基于与第一用户相关的第一情绪状态来获取第一个性化音频内容;基于与和第一用户位于同一地点的第二用户相关的第二情绪状态来获取第二个性化音频内容;使与第一用户相关的第一音频装置输出第一音频内容;以及当第一音频装置输出第一音频内容时,使与第二用户相关的第二音频装置输出第二音频内容。
12.如条款11所述的计算机可读存储介质,其中获取第一个性化音频内容包括确定第一源音频内容目标在于输出到第一用户,以及基于第一情绪状态来修改第一源音频内容的第一特性以产生第一个性化音频内容。
13.如条款11或12所述的计算机可读存储介质,其中获取第二个性化音频内容包括确定第一源音频内容目标也在于输出到第二用户,以及基于第二情绪状态来修改第一源音频内容的第一特性和第二特性中的至少一个以产生第二个性化音频内容。
14.如条款11-13中任一项所述的计算机可读存储介质,其中获取第二个性化音频内容包括确定第二源音频内容目标在于输出到第二用户,以及基于第二情绪状态来修改第二源音频内容的第一特性和第二特性中的至少一个以产生第二个性化音频内容。
15.如条款11-14中任一项所述的计算机可读存储介质,其中获取第一个性化音频内容包括检测第一歌曲的第一版本目标在于输出到第一用户;以及基于第一情绪状态来选择第一歌曲的第二版本。
16.如条款11-15中任一项所述的计算机可读存储介质,其中第一用户和第二用户是车辆的乘员。
17.如条款11-16中任一项所述的计算机可读存储介质,其中第一音频装置包括耳塞和扬声器中的至少一个。
18.如条款11-17中任一项所述的计算机可读存储介质,其中第一个性化音频内容包括音乐内容、语音内容和噪声消除内容中的至少一个。
19.在一些实施方案中,一种用于提供个性化音频内容的系统包括:存储个性化应用的存储器;以及耦合到存储器的处理器,其中当由处理器执行时,个性化应用使处理器:对于被包括在多个位于同一地点的用户中的第一用户,确定与第一用户相关的情绪状态;对于第一用户,基于情绪状态和源音频内容来获取第一个性化音频内容;使与第一用户相关的第一音频装置输出第一个性化音频内容;以及当第一音频装置输出第一音频内容时,使与被包括在多个位于同一地点的用户中的第二用户相关的第二音频装置输出源音频内容或与第一个性化音频内容不同的第二个性化音频内容。
20.如条款19所述的系统,其中多个位于同一地点的用户是车辆的乘员。
在任一权利要求中列举的任一权利要求要素和/或在本申请中所述的任何要素的任一个和所有组合都落在所设想的本发明范围和保护范围内。
各种实施方案的描述为了说明的目的被提出,但并没有被指定为穷尽性的或被限制于所公开的实施方案。很多修改和变化对本领域普通技术人员来说将是明显的而不偏离所述实施方案的范围和精神。
当前实施方案的各方面可被体现为一种系统、方法或计算机程序产品。因此,本公开的各方面可采取在本文通常可称为“模块”或“系统”的完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施方案的形式。此外,本公开的各方面可采取体现在一个或多个计算机可读介质中的计算机程序产品的形式,所述一个或多个计算机可读介质具有体现在其上的计算机可读程序代码。
可利用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。所述计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置或前述项的任何适当组合。所述计算机可读存储介质的任何特定的例子(非详尽列表)将包括下列项:具有一个或多个电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述项的任何适当组合。在本文档的上下文中,计算机可读存储介质可以是可包含或存储用于供指令执行系统、设备或装置使用或结合指令执行系统、设备或装置使用的程序的任何有形介质。
上面参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图图示和/或方框图描述了本公开的方面。将理解,流程图图示和/或方框图的每个块以及在流程图图示和/或方框图中的块的组合可由计算机程序指令实现。这些计算机程序指令可提供到通用计算机、专用计算机的处理器或其他可编程数据处理设备以产生机器,使得经由计算机的处理器或其他可编程数据处理设备执行的指令使得能够实现在一个或多个流程图和/或方框图块中指定的功能/行动。这样的处理器可以(但并非限制地)是通用处理器、专用处理器、应用特定处理器或现场可编程门阵列。
在附图中的流程图和方框图示出根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这个方面,在流程图或方框图中的每个块可表示包括用于实现指定的逻辑功能的一个或多个可执行指令的代码的模块、片段或部分。还应注意,在一些替代性实现方式中,在块中提到的功能可以不按附图中所提到的顺序出现。例如,连续示出的两个块事实上可基本上同时被执行,或所述块可有时以相反的顺序执行,这取决于所涉及的功能。还将注意,方框图和/或流程图图示的每个块以及在方框图和/或流程图图示中的块的组合可由执行指定功能或动作的专用的基于硬件的系统来实现,或由专用硬件和计算机指令的组合来实现。
虽然前述内容是针对本公开的各个实施方案,但可在不偏离本公开的基本范围的情况下想到它的其他的和另外的实施方案,且本公开的范围由随附的权利要求来确定。
Claims (20)
1.一种用于提供个性化音频内容的方法,所述方法包括:
基于与第一用户相关的第一情绪状态来获取第一个性化音频内容;
使与所述第一用户相关的第一音频装置输出第一音频内容;以及
当所述第一音频装置输出所述第一音频内容时,使与第二用户相关的第二音频装置输出第二音频内容,第二用户与所述第一用户位于同一地点,其中所述第二音频内容不同于所述第一音频内容。
2.如权利要求1所述的方法,其还包括获取所述第二个性化音频内容,其中所述第二个性化音频内容基于与所述第二用户相关的第二情绪状态。
3.如权利要求1所述的方法,其中所述第一用户和所述第二用户是车辆的乘员。
4.如权利要求1所述的方法,其中所述第一音频装置包括耳塞和扬声器中的至少一个。
5.如权利要求1所述的方法,其中所述第一个性化音频内容包括音乐内容、语音内容和噪声消除内容中的至少一个。
6.如权利要求1所述的方法,其中获取所述第一个性化音频内容包括确定第一源音频内容目标在于输出到所述第一用户,以及基于所述第一情绪状态来修改所述第一源音频内容的第一特性以产生所述第一个性化音频内容。
7.如权利要求6所述的方法,其中所述第一特性包括频率特性、音乐布置选择、乐器选择、音高、词选择、信息的类型、话音的音调或话音的类型。
8.如权利要求1所述的方法,其中获取所述第一个性化音频内容包括确定第一歌曲的第一版本目标在于输出到所述第一用户;
获取所述第一歌曲的第二版本,其中所述第一歌曲的所述第二版本包括所述第一歌曲的多音轨版本或所述第一歌曲的乐器数字接口(MIDI)版本;以及
基于所述第一情绪状态来对所述第一歌曲的所述第二版本执行一个或多个音频操作。
9.如权利要求1所述的方法,其还包括基于图像数据、生物数据、听觉数据、触觉数据和电子活动数据中的至少一个来确定所述第一情绪状态。
10.如权利要求1所述的方法,其中获取所述第一个性化音频内容包括基于所述第一情绪状态来确定目标情绪状态,以及基于所述目标情绪状态来修改目标在于输出到所述第一用户的第一源音频内容以产生所述第一个性化音频内容。
11.一种包括指令的非暂时性计算机可读存储介质,所述指令当由处理器执行时使所述处理器通过执行下列步骤来提供个性化音频内容:
基于与第一用户相关的第一情绪状态来获取第一个性化音频内容;
基于与和所述第一用户位于同一地点的第二用户相关的第二情绪状态来获取第二个性化音频内容;
使与所述第一用户相关的第一音频装置输出所述第一音频内容;以及
当所述第一音频装置输出所述第一音频内容时,使与所述第二用户相关的第二音频装置输出所述第二音频内容。
12.如权利要求11所述的计算机可读存储介质,其中获取所述第一个性化音频内容包括确定第一源音频内容目标在于输出到所述第一用户,以及基于所述第一情绪状态来修改所述第一源音频内容的第一特性以产生所述第一个性化音频内容。
13.如权利要求12所述的计算机可读存储介质,其中获取所述第二个性化音频内容包括确定所述第一源音频内容目标也在于输出到所述第二用户,以及基于所述第二情绪状态来修改所述第一源音频内容的所述第一特性和第二特性中的至少一个以产生所述第二个性化音频内容。
14.如权利要求12所述的计算机可读存储介质,其中获取所述第二个性化音频内容包括确定第二源音频内容目标在于输出到所述第二用户,以及基于所述第二情绪状态来修改所述第二源音频内容的所述第一特性和第二特性中的至少一个以产生所述第二个性化音频内容。
15.如权利要求11所述的计算机可读存储介质,其中获取所述第一个性化音频内容包括检测第一歌曲的第一版本目标在于输出到所述第一用户;以及基于所述第一情绪状态来选择所述第一歌曲的第二版本。
16.如权利要求11所述的计算机可读存储介质,其中所述第一用户和所述第二用户是车辆的乘员。
17.如权利要求11所述的计算机可读存储介质,其中所述第一音频装置包括耳塞和扬声器中的至少一个。
18.如权利要求11所述的计算机可读存储介质,其中所述第一个性化音频内容包括音乐内容、语音内容和噪声消除内容中的至少一个。
19.一种用于提供个性化音频内容的系统,所述系统包括:
存储器,其存储个性化应用;以及
处理器,其耦合到所述存储器,其中当由所述处理器执行时,所述个性化应用使所述处理器:
对于被包括在多个位于同一地点的用户中的第一用户,确定与所述第一用户相关的情绪状态;
对于所述第一用户,基于所述情绪状态和源音频内容来获取第一个性化音频内容;
使与所述第一用户相关的第一音频装置输出所述第一个性化音频内容;以及
当所述第一音频装置输出所述第一音频内容时,使与被包括在所述多个位于同一地点的用户中的第二用户相关的第二音频装置输出所述源音频内容或与所述第一个性化音频内容不同的第二个性化音频内容。
20.如权利要求19所述的系统,其中所述多个位于同一地点的用户是车辆的乘员。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/833,997 | 2017-12-06 | ||
US15/833,997 US10481858B2 (en) | 2017-12-06 | 2017-12-06 | Generating personalized audio content based on mood |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110032660A true CN110032660A (zh) | 2019-07-19 |
Family
ID=64606793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811479341.6A Pending CN110032660A (zh) | 2017-12-06 | 2018-12-05 | 基于情绪来产生个性化音频内容 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10481858B2 (zh) |
EP (1) | EP3496098B1 (zh) |
CN (1) | CN110032660A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110660032A (zh) * | 2019-09-24 | 2020-01-07 | Oppo广东移动通信有限公司 | 一种对象屏蔽方法、对象屏蔽装置及电子设备 |
CN112118485A (zh) * | 2020-09-22 | 2020-12-22 | 英华达(上海)科技有限公司 | 音量自适应调整方法、系统、设备及存储介质 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8805854B2 (en) * | 2009-06-23 | 2014-08-12 | Gracenote, Inc. | Methods and apparatus for determining a mood profile associated with media data |
US11465631B2 (en) * | 2017-12-08 | 2022-10-11 | Tesla, Inc. | Personalization system and method for a vehicle based on spatial locations of occupants' body portions |
US10958466B2 (en) * | 2018-05-03 | 2021-03-23 | Plantronics, Inc. | Environmental control systems utilizing user monitoring |
US11094316B2 (en) * | 2018-05-04 | 2021-08-17 | Qualcomm Incorporated | Audio analytics for natural language processing |
JP2020044879A (ja) * | 2018-09-14 | 2020-03-26 | トヨタ自動車株式会社 | 車両用音入出力装置 |
WO2020070878A1 (ja) * | 2018-10-05 | 2020-04-09 | 本田技研工業株式会社 | エージェント装置、エージェント制御方法、およびプログラム |
US20200239004A1 (en) * | 2019-01-30 | 2020-07-30 | Cobalt Industries Inc. | Dynamic recommendation and selection of vehicle output actions based on a profile model |
US11091168B2 (en) * | 2019-01-31 | 2021-08-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Autonomous driving support systems including vehicle headrest monitoring devices and methods incorporating the same |
EP3726394A1 (en) * | 2019-04-17 | 2020-10-21 | Volkswagen Aktiengesellschaft | Reconfigurable system-on-chip |
US11427216B2 (en) * | 2019-06-06 | 2022-08-30 | GM Global Technology Operations LLC | User activity-based customization of vehicle prompts |
FR3098957B1 (fr) * | 2019-07-19 | 2021-12-10 | Renault Sas | Procédé pour délivrer un contenu audio personnalisé dans une cabine de véhicule |
DE102019123852A1 (de) | 2019-09-05 | 2021-03-11 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zur individualisierten Bereitstellung von Rundfunkinhalten im Fahrzeug |
CN110708631B (zh) * | 2019-11-02 | 2021-02-02 | 朝阳聚声泰(信丰)科技有限公司 | 一种智能匹配音效的车载智能音效系统及其实现方法 |
US11664044B2 (en) | 2019-11-25 | 2023-05-30 | Qualcomm Incorporated | Sound event detection learning |
US11508361B2 (en) * | 2020-06-01 | 2022-11-22 | Amazon Technologies, Inc. | Sentiment aware voice user interface |
US11410677B2 (en) | 2020-11-24 | 2022-08-09 | Qualcomm Incorporated | Adaptive sound event classification |
FR3116934B1 (fr) | 2020-11-27 | 2023-05-19 | Faurecia Clarion Electronics Europe | Procédé et système de traitement audio pour un système audio d’appui-tête de siège |
CN115278462A (zh) * | 2022-07-30 | 2022-11-01 | 重庆长安汽车股份有限公司 | 一种车内音频处理方法、系统、电子设备及存储介质 |
US11847309B1 (en) * | 2023-01-20 | 2023-12-19 | Bang & Olufsen, A/S | Auditory memories |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1701993A (zh) * | 2005-04-19 | 2005-11-30 | 西南交通大学 | 一种车辆音响设备 |
CN1801135A (zh) * | 2004-11-16 | 2006-07-12 | 索尼株式会社 | 音乐内容再现装置、其方法和记录装置 |
CN1930916A (zh) * | 2004-09-30 | 2007-03-14 | 松下电器产业株式会社 | 音乐内容再现装置 |
EP2043087A1 (en) * | 2007-09-19 | 2009-04-01 | Sony Corporation | Method and device for content recommendation |
US20150053066A1 (en) * | 2013-08-20 | 2015-02-26 | Harman International Industries, Incorporated | Driver assistance system |
US20170262256A1 (en) * | 2016-03-10 | 2017-09-14 | Panasonic Automotive Systems Company of America, Division of Panasonic Corporation of North Americ | Environment based entertainment |
US20190325895A1 (en) * | 2018-04-20 | 2019-10-24 | Spotify Ab | Systems and Methods for Enhancing Responsiveness to Utterances Having Detectable Emotion |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6778672B2 (en) | 1992-05-05 | 2004-08-17 | Automotive Technologies International Inc. | Audio reception control arrangement and method for a vehicle |
US6330337B1 (en) * | 2000-01-19 | 2001-12-11 | Visteon Global Technologies, Inc. | Automotive entertainment system for rear seat passengers |
US20040237759A1 (en) * | 2003-05-30 | 2004-12-02 | Bill David S. | Personalizing content |
US8126159B2 (en) | 2005-05-17 | 2012-02-28 | Continental Automotive Gmbh | System and method for creating personalized sound zones |
US9489169B2 (en) * | 2013-08-30 | 2016-11-08 | Visteon Global Technologies, Inc. | Method of substituting songs in a playlist |
US9380383B2 (en) * | 2013-09-06 | 2016-06-28 | Gracenote, Inc. | Modifying playback of content using pre-processed profile information |
-
2017
- 2017-12-06 US US15/833,997 patent/US10481858B2/en active Active
-
2018
- 2018-12-05 EP EP18210296.2A patent/EP3496098B1/en active Active
- 2018-12-05 CN CN201811479341.6A patent/CN110032660A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1930916A (zh) * | 2004-09-30 | 2007-03-14 | 松下电器产业株式会社 | 音乐内容再现装置 |
CN1801135A (zh) * | 2004-11-16 | 2006-07-12 | 索尼株式会社 | 音乐内容再现装置、其方法和记录装置 |
CN1701993A (zh) * | 2005-04-19 | 2005-11-30 | 西南交通大学 | 一种车辆音响设备 |
EP2043087A1 (en) * | 2007-09-19 | 2009-04-01 | Sony Corporation | Method and device for content recommendation |
US20150053066A1 (en) * | 2013-08-20 | 2015-02-26 | Harman International Industries, Incorporated | Driver assistance system |
CN104417457A (zh) * | 2013-08-20 | 2015-03-18 | 哈曼国际工业有限公司 | 驾驶者辅助系统 |
US20170262256A1 (en) * | 2016-03-10 | 2017-09-14 | Panasonic Automotive Systems Company of America, Division of Panasonic Corporation of North Americ | Environment based entertainment |
US20190325895A1 (en) * | 2018-04-20 | 2019-10-24 | Spotify Ab | Systems and Methods for Enhancing Responsiveness to Utterances Having Detectable Emotion |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110660032A (zh) * | 2019-09-24 | 2020-01-07 | Oppo广东移动通信有限公司 | 一种对象屏蔽方法、对象屏蔽装置及电子设备 |
CN112118485A (zh) * | 2020-09-22 | 2020-12-22 | 英华达(上海)科技有限公司 | 音量自适应调整方法、系统、设备及存储介质 |
CN112118485B (zh) * | 2020-09-22 | 2022-07-08 | 英华达(上海)科技有限公司 | 音量自适应调整方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3496098B1 (en) | 2021-09-29 |
US10481858B2 (en) | 2019-11-19 |
EP3496098A1 (en) | 2019-06-12 |
US20190171409A1 (en) | 2019-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110032660A (zh) | 基于情绪来产生个性化音频内容 | |
US10972857B2 (en) | Directional audio selection | |
US11842730B2 (en) | Modification of electronic system operation based on acoustic ambience classification | |
US20220159403A1 (en) | System and method for assisting selective hearing | |
KR102249392B1 (ko) | 사용자 맞춤형 서비스를 위한 차량 기기 제어 장치 및 방법 | |
US10929099B2 (en) | Spatialized virtual personal assistant | |
CN1894740B (zh) | 信息处理系统、信息处理方法以及信息处理用程序 | |
CN104969289A (zh) | 数字助理的语音触发器 | |
KR20150028724A (ko) | 오디오 신호와 연관된 햅틱 효과를 생성하는 시스템 및 방법 | |
US20190206399A1 (en) | Voice feedback for user interface of media playback device | |
JP2017090612A (ja) | 音声認識制御システム | |
US20230164509A1 (en) | System and method for headphone equalization and room adjustment for binaural playback in augmented reality | |
US11922538B2 (en) | Apparatus for generating emojis, vehicle, and method for generating emojis | |
CN113409797A (zh) | 语音处理方法和系统、及语音交互设备和方法 | |
CN113035181A (zh) | 语音数据处理方法、设备和系统 | |
WO2023005560A1 (zh) | 音频处理方法、装置、终端及存储介质 | |
CN118193780A (zh) | 用于提供车辆声音的装置和方法 | |
KR20240088301A (ko) | 차량 사운드 제공 장치 및 방법 | |
WO2023239562A1 (en) | Emotion-aware voice assistant | |
KR20230146898A (ko) | 대화 처리 방법 및 대화 시스템 | |
Han | Wearasound: Beyond Visual Centric Interaction-Designing Sound for Enhancing Visual Contents | |
JP2017167600A (ja) | 端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |