CN104581513B - 用于将用户引导向所关注的事件的系统和方法 - Google Patents

用于将用户引导向所关注的事件的系统和方法 Download PDF

Info

Publication number
CN104581513B
CN104581513B CN201410561823.1A CN201410561823A CN104581513B CN 104581513 B CN104581513 B CN 104581513B CN 201410561823 A CN201410561823 A CN 201410561823A CN 104581513 B CN104581513 B CN 104581513B
Authority
CN
China
Prior art keywords
audio
panorama
user
personal safety
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410561823.1A
Other languages
English (en)
Other versions
CN104581513A (zh
Inventor
D.迪森索
S.马蒂
A.琼贾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN104581513A publication Critical patent/CN104581513A/zh
Application granted granted Critical
Publication of CN104581513B publication Critical patent/CN104581513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/128—Vehicles
    • G10K2210/1282—Automobiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03—Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers

Abstract

本公开涉及一种个人安全系统，其检测即将发生的危险或其它所关注的事件，并且接着修改声音全景以便将用户的注意力集中到所述危险或其它所关注的事件的方向。所述个人安全系统可以隔离源自所述危险或其它所关注的事件的方向的声音，将所述声音全景朝向所述危险或其它所关注的事件的方向折叠，或者压缩所述声音全景以便与所述危险或其它所关注的事件的方向对准。所述个人安全系统可以集成到汽车或物理上附接到用户身上的可穿戴系统中。有利地，可以将用户的注意力吸引到即将发生的危险或其它所关注的事件，而无需向所述用户引入额外的感觉信息，从而减少了使所述用户受惊或分心的可能性。

Description

用于将用户引导向所关注的事件的系统和方法
技术领域
本发明的实施方案总体上涉及危险避免系统，并且更具体来说涉及修改音频全景以指示危险或其它所关注的事件的存在。
发明背景
常规的危险避免系统采用多种多样的不同的听觉或视觉信令技术来通知用户即将发生危险。例如，汽车内的接近传感器可以在汽车接近另一物体的某个距离内时发出响亮的蜂鸣噪音，从而通知驾驶员即将发生碰撞。可选地，与飞机驾驶舱集成的抬头显示器可以视觉上突出显示飞机附近的物体，从而通知飞行员即将发生碰撞。通过将额外的感觉信息引入到用户的环境中，这些常规系统产生的听觉和视觉信号总体上增强了用户的感知。额外的感觉信息意在警示用户存在危险。
上述方法的一个缺点是，将额外的感觉信息引入到用户的环境中，可能让用户分心或者受到惊吓。因此，用户可能只顾关注输入，并且丢失了对手上的任务的注意，这又可能使已经危险的情形更加严重。
如上所述，向用户指示危险或其它所关注的事件的存在的更加有效的技术将是有用的。
发明概要
本发明的一个实施方案阐述了一种系统，该系统被配置成向用户指示所关注的事件的存在。该系统包含计算装置，计算装置被配置成对与用户相关联的第一音频全景进行采样，识别相对于用户正在面朝的方向的与所关注的事件相关联的方向，和基于该第一音频全景产生第二音频全景，第二音频全景比第一音频全景窄，并且跟与所关注的事件相关联的方向基本上对准。此外，该系统包含至少一个音频输出装置，该至少一个音频输出装置被配置成向用户输出第二音频全景。
所公开的系统和技术的一个优点是，用户的注意力可以被吸引到所关注的事件，而无需为用户引入额外的感觉信息。因此，可以让用户知晓所关注的事件，却不会受到惊吓或者分心。
附图说明
为了能详细了解本发明的上述特征，可以通过参照实施方案对上面简要概述的本发明进行更加具体的描述，附图中示出了其中的一些实施方案。然而，应注意的是，附图只示出了本发明的典型实施方案，并且因此不应被视为限制本发明的范围，因为本发明可以容许其它同等有效的实施方案。
图1A-1D是根据本发明的各种实施方案的示出音频全景的概念图，该音频全景可以被修改以向个人安全系统的用户指示危险或其它所关注的事件的存在；
图2A-2C是根据本发明的各种实施方案的更详细地示出图 1A-1D的个人安全系统的框图；
图3A-3D是根据本发明的各种实施方案的示出用于调制音频通道以在汽车内复制外部音频全景的技术的概念图；
图4A-4C是根据本发明的各种实施方案的示出在汽车内复制360 度音频全景的技术的概念图；
图5是根据本发明的各种实施方案的用于修改音频全景以向图 1-4C的个人安全系统的用户指示危险或其它所关注的事件的存在的方法步骤的流程图；
图6是根据本发明的各种实施方案的用于将音频全景中的音频源映射到音频锥内的位置以向图1-4C的个人安全系统的用户指示危险或其它所关注的事件的存在的方法步骤的流程图；
图7是根据本发明的各种实施方案的用于复制环境音频全景和将复制的音频全景压缩成音频锥以向图1-4C的个人安全系统的用户指示危险或其它所关注的事件的存在的方法步骤的流程图；和
图8是根据本发明的各种实施方案的可以包含在图1A-4C的个人安全系统内的示例性计算装置。
具体实施方式
在下面的说明中，阐述了许多具体细节以便提供对本发明的更加透彻的理解。然而，对于本领域的技术人员将显而易见的是可以在没有这些具体细节中的一个或多个的情况下实践本发明。
图1A是根据本发明的一个实施方案的示出音频全景100的概念图，该音频全景100可以被修改以向个人安全系统的用户指示危险或其它所关注的事件的存在。如图所示，音频全景100环绕用户110，并且包含各种音频源，包含音频源101、102和103。用户110面朝方向112，并且可以因此感知到不同音频源101、102和103中的每一个是源自相对于方向112的特定方向。例如，用户110将感知到音频源101是源自朝向用户110左侧的方向。同样，用户110将感知到音频源102是源自用户110前方的方向，并且感知到音频源103是源自朝向用户110右侧的方向。
也如所示的，用户110耦合到个人安全系统120，个人安全系统 120被配置成(i)检测可能对用户110造成威胁的危险的存在，和(ii) 通过音频全景100，将用户110的听觉感知吸引到所述危险的方向。这里并未展示个人安全系统120的具体细节，因为个人安全系统120 可以根据下面配合图2A-2C更详细地描述的若干不同实施方案来实施。但是，总而言之，个人安全系统包含被配置成检测对用户110的危险或其它所关注的事件的存在的各种传感器，以及被配置成向用户 110输出声音以便修改音频全景100的各种音频输出装置。
个人安全系统120可以实施若干不同技术将用户100的听觉感知吸引到危险的方向。个人安全系统120可以消除或者废弃所有不是源自危险的方向的音频源，如下面配合图1B更详细地描述。个人安全系统120还可以折叠音频全景100，使得用户110感知到所述全景内的一些或所有音频源是源自危险的方向，如下面配合图1C更详细地描述。个人安全系统120还可以压缩音频全景100，使得用户110感知到全景内的音频源是源自危险的方向，同时维持那些源在原始全景内的相对定位，如下面配合图1D更详细地描述。
图1B是根据本发明的一个实施方案的示出图1的音频全景100 的概念图，该音频全景100被缩减为音频锥116以指示危险114的存在。如图所示，危险114从用户110的右侧的方向接近用户110。用户110面朝方向112，并且可能并未立刻注意到危险112即将发生。然而，个人安全系统120被配置成检测危险114，并且响应于此，修改声音全景110使其具有锥116的形状，从而将用户110的听觉感知吸引到危险114。
具体来说，个人安全系统120消除了原始音频全景100中的驻留在音频锥116外部的所有音频源，并且准许驻留在音频锥116内的任何音频源。在图1B中，个人安全系统120消除了音频源101和102，因为那些源驻留在音频锥116外部，并且准许音频源103留下，因为那个源驻留在音频锥116内。个人安全系统120在消除音频源101和 102时可以实施任何技术上可行的噪音消除方法。在一个实施方案中，用户安全系统120还可以放大音频锥116内的声音，例如音频源103。
通过以此方式重塑音频全景100，个人安全系统120可以将用户110的听觉感知吸引到音频源103，并且因此吸引到危险114。响应于此，用户110可以转向面朝危险114，并且变得视觉上知晓危险114 即将发生。下面配合图1C描述修改音频全景100的另一种方法。
图1C是根据本发明的一个实施方案的示出图1的音频全景100 的概念图，该音频全景100被折叠成音频锥116以指示危险114的存在。如图所示，危险114从用户110的右侧的方向接近用户110，并且用户110面朝方向112，类似于图1B。个人安全系统120被配置成检测危险114，并且响应于此，将音频全景100折叠成音频锥116。
具体来说，个人安全系统120消除了原始音频全景100中的所有音频源，并且将那些源重新定位使其驻留在音频锥116内的单个位置或角度上。在图1C中，个人安全系统120将音频源101、102和103 重新定位使其沿着单个角度驻留在音频锥116内。这样做，个人安全系统120可以消除音频源101、102和103，并且接着复制那些源，使得用户110感知到与每一源相关联的声音是源自音频锥116内的相同方向。这里为了简单起见，并未展示消除掉的音频源。
为了实施此功能性，个人安全系统120可以记录音频源101、102 和103，经由噪音消除技术消除那些源，经由二维(2D)或三维(3D) 位置音频技术再现所记录的源，并且接着向用户110输出那些经调制的源。在一个实施方案中，个人安全系统120将音频源101、102和103折叠成单个单声道音频源，用户110可以感知到这个单声道音频源是源自音频锥116内的单个位置。
通过以本文中描述的方式折叠音频全景110，个人安全系统120 可以将用户110的听觉感知吸引到音频锥116内的音频源101、102 和103，并且因此吸引到危险114，其操作方式类似于上文配合图1B 所描述。响应于此，用户110可以转向面朝危险114，并且变得视觉上知晓危险114即将发生。下面配合图1D描述修改音频全景100的另一种方法。
图1D是根据本发明的一个实施方案的示出图1的音频全景100 的概念图，该音频全景100被空间地压缩成音频锥116以指示危险 114的存在。如图所示，危险114从用户110的右侧的方向接近用户 110，并且用户110面朝方向112，类似于图1B-1C。个人安全系统120被配置成检测危险114，并且响应于此，压缩音频全景100使其完全驻留在音频锥116内，同时维持音频源101、102和103的相对角度定位。
具体来说，个人安全系统120消除了原始音频全景100中的所有音频源，并且接着将那些音频源映射到音频锥116内的新位置，这些新位置相对于彼此与那些源的原始间距成比例地成角度隔开。在图 1D中，个人安全系统120将源101、102和103重新定位到音频锥116内的新位置，这些新位置彼此分开从那些源之间的原始距离或角度推导出的距离或角度。例如，个人安全系统120将音频源102和 103重新定位到相对彼此靠近的位置，类似于那些源在音频全景100 内的原始位置。
为了实施此功能性，个人安全系统120可以记录源101、102和 103，并且接着经由噪音消除技术消除那些源，其操作方式类似于上面配合图1B-1C所描述的。个人安全系统120可以接着将音频全景 100压缩成音频锥116，方法是通过计算音频源101、102和103的新位置，并且接着经由2D位置或3D位置音频技术再现所记录的源，使得那些源仿佛是源自那些新位置。个人安全系统120可以接着向用户110输出经调制的源。用户110可以接着感知到音频全景100的总体是源自音频锥116内。下面还配合图3A-4C更详细地描述实现本文中简要论述的“压缩”功能性的若干技术。
通过以本文中描述的方式压缩音频全景100，个人安全系统120 可以将用户110的听觉感知吸引到音频锥116内的源101、102和103，并且因此吸引到危险114。响应于此，用户110可以转向面朝危险114，并且变得视觉上知晓危险114即将发生。
总体上参照图1A-1D，本领域的技术人员将认识到，个人安全系统120可以依赖于多种多样的不同技术来实施上文描述的功能性。例如，个人安全系统120能够经由处理传感器输入数据的任何方法来检测危险114的存在，这些方法包含听觉/视觉数据处理、计算机视觉技术、环境数据试探法等等。此外，个人安全系统120能够经由任何技术上可行的噪音消除方法来消除音频全景100内的音频源，这些方法包含相长干涉或其它形式的抗噪技术。另外，个人安全系统120能够修改声音全景100，以便放大与危险114本身相关联的声音，或者使得所述全景内的其它声音集中到与静默的即将发生的危险相关联的方向。总而言之，通过修改音频全景100，个人安全系统120可以相对于方向112定位音频锥116。在一个实施方案中，个人安全系统 120包含被配置成检测用户110正面朝的方向的传感器，或者被配置成检测用户110正在查看的方向的视线传感器。
通过实施所公开的功能性，个人安全系统120能够将用户110的注意力吸引到危险114，而无需引入额外的感觉信息。因此，个人安全系统110可以避免使用户110受到惊吓或者分心。此外，本文中描述的方法可以与用户110的现有直觉密切对准，因为用户110可以自然地转向面朝发生变化的听觉感知的方向(即，图1B-1D中展示的锥116)。由于所述听觉感知不包含让人分心的人工声音，所以用户 110可以无意识地转向面朝危险114，并且因而保留了正确应对所述危险所需的充分的认知资源。
可以根据多种多样的不同实施方案来实施个人安全系统120。但是，总而言之，个人安全系统120包含一个或多个传感器、一个或多个音频输出装置和至少一个处理装置。这些不同的装置被配置成彼此交互操作，以便执行目前为止描述的功能性。下面配合图7更详细地描述个人安全系统120的示例性实施方案。还可以在多种多样的不同情境内实施个人安全系统120。例如，个人安全系统120可以合并到汽车、可穿戴计算装置、便携式计算装置、听力增强装置等等中。下文配合图2A-2C更详细地描述可以实施个人安全装置120的若干示例性情境。
图2A是根据本发明的一个实施方案的示出集成到车辆200中的个人安全系统120的框图。如图所示，危险210从方向114接近用户 110驻留在的车辆200。车辆200包含个人安全系统120的若干元件，包含面朝外的相机220、计算装置230、左扬声器240-1和右扬声器240-2。
面朝外的相机220可以安装在车辆200的内部或外部上，并且总体上定位成捕获与环绕车辆200的环境相关联的视频。计算装置230 可以是任何能够处理数据的技术上可行的装置。下面配合图7更详细地描述示例性计算装置230。扬声器240可以包含典型汽车中配有的常规扬声器、嵌入到头枕中的扬声器或其它类型的扬声器。扬声器 240还可以包含专用于噪音消除的一个或多个音频输出装置，同时还包含专用于声音产生的一个或多个其它音频装置。
面朝外的相机220被配置成捕获可能反映危险210的视频数据。计算装置230被配置成处理由面朝外的相机220捕获的视频数据并且检测危险210。响应于危险210，计算装置230使得扬声器240修改与用户110相关联的音频全景以产生音频锥116，其操作方式类似于上文配合图1A-1D所描述的。音频锥116可以将用户110的注意力吸引到所述危险。计算装置230可以实施目前为止描述的任何技术，以便修改输出给用户110的音频全景以产生音频锥116。这样做时，计算装置230可以实施选择性噪音消除(即，经由扬声器240)，以便消除或者以其它方式修改与用户110相关联的音频全景，以产生音频锥116。
在执行上述功能性时，个人安全系统120被配置成在车辆200内复制与环绕车辆的环境相关联的外部音频全景。接着，当检测到危险 210时，个人安全系统120可以修改所复制的全景，使其具有图2A 中展示的音频锥116的形状。个人安全系统120被配置成调制被传输到左右扬声器240的左右音频通道的比例以便产生音频锥116，也如下面配合图3A-3C更详细地描述的。下面配合图2B描述个人安全系统120的另一实施方案。
图2B是根据本发明的另一实施方案的示出集成到车辆中的个人安全系统120的框图。如图所示，危险210从方向114接近用户110 驻留在的车辆200，类似于图2A。车辆200包含个人安全系统120 的若干元件，包含面朝外的相机220、计算装置230和入耳装置250。入耳装置250可能是助听器或另一种形式的音频装置，被配置成将音频直接传输到用户110的耳朵中。
面朝外的相机220被配置成捕获可以反映危险210的视频数据，并且计算装置230被配置成处理所述视频数据以检测危险210，如上文配合图2A所描述。响应于危险210，计算装置230使得入耳装置 250修改与用户110相关联的音频全景以产生音频锥116，其操作方式类似于上面配合图1A-1D所描述的。音频锥116可以将用户110 的注意力吸引到所述危险。计算装置230可以实施目前为止描述的任何技术，以便修改输出给用户110的音频全景以产生音频锥116。下面配合图2C描述个人安全系统120的另一实施方案。
图2C是根据本发明的一个实施方案的示出集成到可穿戴系统中的个人安全系统120的框图。如图所示，危险210从方向114接近用户110，类似于图2A-2B。用户110穿戴着个人安全系统120，个人安全系统120包含计算装置230、可穿戴相机260和入耳装置270。
入耳装置270可能是助听器或另一种形式的音频装置，被配置成将音频直接传输到用户110的耳朵中。可穿戴相机260可以集成到用户配件中，该用户配件例如但不限于是用户110佩戴的一副眼镜、帽子、耳机，或者是用户110佩戴的首饰，例如护牌。计算装置230可以是集成到一副眼镜或其它用户配件或用户110携带的手机或平板计算机中的电路。
可穿戴相机260被配置成捕获可以反映危险210的视频数据，并且计算装置230被配置成处理所述视频数据以检测危险210。响应于危险210，计算装置230使得入耳装置270修改与用户110相关联的音频全景以产生音频锥116，其操作方式类似于上面配合图1A-1D所描述的。音频锥116可以将用户110的注意力吸引到所述危险。计算装置230可以实施目前为止描述的任何技术，以便修改输出给用户 110的音频全景以产生音频锥116。下面配合图3A-4C更详细地描述那些技术。
图3A是根据本发明的一个实施方案的示出驻留在车辆200外部的环境音频全景300-1的概念图。如图所示，车辆200包含左麦克风 310-1和右麦克风310-2，这两个麦克风被配置成检测环境音频全景 300-1。麦克风310可以集成到个人安全系统120中。环境音频全景 300-1包含源101、102和103。
总而言之，本发明的实施方案可以依赖于任何形式的外部换能器 (例如麦克风310)来捕获完整的外部声场，包含例如动物等自然音频源、其它汽车等等。拾取外部声场的一种常见方式是使用两个定向麦克风(如图3A所示)，这两个定向麦克风靠近彼此定位，但是指向不同的方向。这两个麦克风之间的角度可以在90度到120度之间。麦克风310-1提供被发送到左通道的信号，而麦克风310-2提供被发送到右通道的信号。可以接着经由扬声器240向用户110输出与那些通道相关联的音频，以便复制环境音频全景300-1，如下面配合图3B 更详细地描述。
图3B是示出在车辆200内产生的复制的音频全景300-2的概念图。左扬声器240-1和右扬声器240-2被配置成在车辆200内复制源 101、102和103，使得用户110在车辆200内感知到音频全景300-2。音频全景300-2可能仿佛类似于环境音频全景300-1。换言之，个人安全系统120被配置成用作“通过”装置，使得外部声音可以从车辆 200外部进入车辆200内部，并且在车辆内部被用户110感知到。
为了实现上述功能性，左麦克风310-1被配置成对与环境音频全景300-1的左侧相关联的声音进行采样，并且将经采样的声音分配给左通道。同理，右麦克风310-2被配置成对与环境音频全景300-1的右侧相关联的声音进行采样，并且将经采样的声音分配给右通道。左扬声器240-1接着输出100％的左通道，而右扬声器240-2输出100％的右通道，从而整体复制由麦克风310采样的环境音频全景300-1。
本领域的技术人员将认识到，声音系统总体上可以具有左声道和右声道，其中左侧扬声器输出左通道，而右侧扬声器输出右通道，类似于上述配置。然而，个人安全系统120还被配置成修改每个通道输出到不同扬声器的程度，以便使所复制的声音全景300-2变窄。这样做时，个人安全系统120使得扬声器240输出各种比率的左右通道，如下面配合图3C所描述。
图3C是根据本发明的一个实施方案的示出压缩成音频锥116的图3B的复制的音频全景300-2的概念图。如图所示，音频锥116与听觉注意力314的方向对准。实践中，个人安全系统120产生音频锥 116以指示与即将发生的危险相关联的方向，从而通知用户110存在此危险。这样做时，个人安全系统120被配置成以配合图1D描述的方式重新定位音频源101、102和103，从而以维持那些音频源的相对角度定位的方式压缩复制的音频全景300-2。实现前述源重新定位同时维持声音源的相对角度定位的一种技术是，通过操控声道对扩音器的分配而使复制的音频全景300-1变窄。
为了解释通过操控声道对扩音器的分配而使声音全景变窄，作为一个示例考虑加性声音系统。此声音系统能够产生与各种乐器的集合相关联的音频，其中每种乐器表示一种个别的音频源。通过将每个音频源的某一部分分配给左声道，而将每个音频源的某一部分分配给右声道，由混音器沿着音频全景从最左到最右或者在这之间的任何位置定位所有个别的音频源。具体来说，为了使得一个音频源仿佛是源自最左边，声音系统将把与该音频源相关联的信号的100％路由到左通道，而将该信号的0％路由到右通道。为了使得音频源仿佛是源自正前方，声音系统将把信号的50％路由到左通道，而将信号的50％路由到右通道。由于在常见配置中，左通道被完全发送到左扩音器，而右通道被完全发送到右扩音器，所以后一种配置将产生听觉空间幻觉，就仿佛音频源是源自这些扬声器之间。(对于具有两个以上扩音器从而基本上形成2D声场或环绕声场的音频系统，也会出现上述情况。)
如上所述，在大多数扬声器系统常见的标准配置中，左通道的 100％是在左扩音器上回放，而右通道的100％是在右扩音器上回放。为了使复制的音频全景300-2变窄成音频锥116同时仍然维持所有个别音频源的相对角度定位，个人安全系统120被配置成分别改变左通道和右通道到左扬声器240-1和右扬声器240-2的默认分配。例如，不是将左通道的100％路由到左扬声器240-1和将右通道的100％路由到右扬声器240-2，个人安全系统120可以将左通道的80％路由到左扬声器240-1和将左通道的20％路由到右扬声器240-2，以及将右通道的80％路由到右扬声器240-2和将右通道的20％路由到左扬声器 240-1。在这种配置中，复制的音频全景300-1被压缩成音频锥116，音频锥116比原始全景窄。
在另一示例中，个人安全系统120可以将左通道的50％路由到左扬声器240-1和将左通道的50％路由到右扬声器240-2，并且将右通道的100％路由到右扬声器240-1。在这种配置中，复制的音频全景 300-2被压缩成一半大小，变成了音频锥116，并且同时，音频锥116 旋转到从用户110的视角看的右侧。图3C中展示了这个特定的情况。
源重新定位的可选技术如下：通过一个或多个音频换能器(例如，麦克风310)对环境音频全景300-1进行采样。接着分析经采样的音频以寻找个别音频源，例如鸟的鸣叫，狗的吠叫，或者另一辆车的发动机声音。在检测到个别音频源之后，使用数字信号处理(DSP)技术在声学上隔离所述音频源中的每一个。一旦音频源中的每一个被隔离成单声道声音流，就能够将那些源在复制的音频全景300-2中定位在任意位置，类似于上述加性混音。在这种配置中，不将来自外部换能器的声音信号直接分配给左通道和右通道。
每个音频源的位置能够反映音频源源起的原始方向，例如，从左前方传来的鸟鸣声能够在复制的音频全景300-2中位于相同的角度位置，左前方。为了将复制的音频全景300-2空间上压缩成音频锥116 (比原始全景窄)，可以将每个个别音频源计算上放置在音频锥116 中的任何期望位置，包含(但不限于)维持每个个别音频源的相对角度位置的位置。可选地，能够将多个音频源放置在相同的角度位置上，将复制的音频全景300-2折叠成单个点，并且将所有音频源之间的角度差值减小为零。在又一可选方案中，个别音频源能够散布在给用户的复制的音频全景300-2上，从而使那些音频源之间的角度差值最大化。后一种方案可能是适当的，使得用户能够更好地区分两个个别音频源，例如从相似的方向但不是从完全相同的方向接近的两辆不同的车。
上文描述的技术也可以应用于在车辆200内复制完整的360度音频全景，如下面配合图4A-4C更详细地描述。
图4A示出了包含源101、102、103、104和105的360度音频全景400-1。车辆200包含环绕麦克风群集410，环绕麦克风群集410 是个人安全系统120的一个元件。环绕麦克风群集410被配置成对 360度音频全景400-1进行采样，并且在车辆200内复制所述全景，如下面配合图4B更详细地描述。
图4B是示出个人安全系统120在车辆200内产生的复制的360 度音频全景的概念图。如图所示，车辆200包含左前方扬声器440-1、右前方扬声器440-2、左后方扬声器440-3和右后方扬声器440-4。个人安全系统120被配置成对360度音频全景400-1进行采样，并且接着使得扬声器440输出复制的360度音频全景400-2。这样做时，个人安全系统可以采用类似于上文配合图3A-3D描述的技术。
具体来说，个人安全系统120可以使得麦克风群集410内的每个麦克风对与360度全景的不同区域相关联的音频进行采样，并且接着将与每个此区域相关联的音频分配给单独的通道。个人安全系统120 接着使得不同扬声器440输出每个不同通道。左前方扬声器440-1将输出与360度音频全景400-1的左前方部分相关联的音频，右前方扬声器440-2将输出与360度音频全景400-1的右前方部分相关联的音频，左后方扬声器440-3将输出与360度音频全景400-1的左后方部分相关联的音频，并且右后方扬声器440-4将输出与360度音频全景 400-1的右后方部分相关联的音频。个人安全系统120被配置成接着操控音频通道到扬声器440的分配，如配合图4C更详细地描述。
图4C是示出被压缩成音频锥316的复制的音频全景300-2的概念图。如图所示，音频锥316包含音频源101、102、103、104和105。个人安全系统120被配置成将那些音频源定位成具有与那些音频源的原始角度位置成比例的相对角度位置。音频锥416与听觉注意力414的方向对准，听觉注意力414的方向实际上指示与即将发生的危险相关联的方向。个人安全系统120被配置成操控与麦克风群集410 内的麦克风相关联的音频通道的分配，以便使得音频源101、102、 103、104和105仿佛是源自图4C所示的音频锥416内的位置。个人安全系统120还可以将每个源分配给单独的通道，并且接着操控那些通道的分配。这样做时，个人安全系统总体上采用类似于上文配合图 3A-3D描述的技术。
本领域的技术人员将了解，目前为止描述的任何技术都可以与本文中描述的任何其它技术组合。例如，配合图4C描述的复制和修改 360音频全景的方法可以在上文配合图3C论述的可穿戴个人安全装置的情境中实施。下文配合图5以分步骤的方式描述个人安全系统 120执行的总体技术。
图5是根据本发明的一个实施方案的用于修改音频全景以向个人安全装置的用户指示危险或其它所关注的事件的存在的方法步骤的流程图。虽然是配合图1A-4C的系统描述所述方法步骤，但是本领域的技术人员将了解，任何被配置成以任何顺序执行所述方法步骤的系统都在本发明的范围内。
如图所示，方法500在步骤501处开始，其中个人安全系统120 确定是否检测到危险。个人安全系统120可以由例如图1A-4C所示的用户110等用户穿戴，或者集成在用户驾驶的车辆内，或者是其它可能性，如配合图2A-2C所论述。在其它实施方案中，例如并且不作为限制，可以在家庭环境中实施个人安全系统120以将用户的注意力引导到家庭内的危险或所关注的事件上，例如婴儿在特定房间中啼哭，或者煤气泄漏或火灾。个人安全系统120可以重复方法500的步骤501，直到检测到危险为止。个人安全系统120被配置成通过处理原始传感器数据和实施多种多样的数据处理技术中的任一种来检测危险。例如，并且不作为限制，个人安全系统120能够实施识别可能对用户造成威胁的汽车的基于计算机视觉的方法。
在检测到例如图1B-1D所示的危险114等危险时，个人安全系统120接着在步骤502处确定危险的方向。在步骤503处，个人安全系统120还确定用户的头部导向。个人安全系统120能够例如并且不限于采用头部传感器或眼睛方向传感器来确定用户正面朝或查看的方向。
在步骤504处，个人安全系统120修改用户的音频全景。音频全景能够是(例如)图1A-1D所示的音频全景100。这样做时，个人安全系统120可以消除音频全景内的所有声音源，但源自危险的方向的那些声音源除外，其方式类似于上文配合图1B所描述的。个人安全系统120还可以消除音频全景内的所有声音源，并且接着产生表示音频全景的折叠版本的声学输出，其方式类似于配合图1C所论述的。个人安全系统120还可以消除音频全景内的所有声音源，并且接着产生表示音频全景的压缩版本的声学输出，其方式类似于配合图1D所论述的。
个人安全系统120可以按照需要反复地重复方法500，以便将音频全景连续重新集中到即将发生的危险上。使用本文中描述的方法，个人安全系统120能够将用户的注意力吸引到危险上，而无需引入额外的感觉信息。因此，个人安全系统120可以避免使用户受到惊吓或者分心。
当如上文配合图1D和3A-4C描述产生表示音频全景的压缩版本的声学输出时，个人安全系统120可以实施下文配合图6以分步骤方式描述的特定技术。
图6是根据本发明的一个实施方案的用于将音频全景中的音频源映射到音频锥内的位置以向个人安全装置的用户指示危险或其它所关注的事件的方法步骤的流程图。虽然是配合图1A-4C的系统描述了所述方法步骤，但是本领域的技术人员将了解，任何被配置成以任何顺序执行所述方法步骤的系统都在本发明的范围内。
如图所示，方法600在步骤601处开始，其中个人安全系统120 识别音频源在环绕用户的音频全景中的位置。音频全景可能是(例如) 音频全景100，而音频源可能是(例如)图1A-1D的源101、102和 103。
在步骤602处，个人安全系统120在音频全景内产生指示危险的方向的音频锥。音频锥可能是例如图1B-1D的音频锥116。个人安全系统120可以通过实施上述方法500的步骤502来识别危险的方向。个人安全系统120产生具有特定方向性的音频锥，所述特定方向性与该危险相对于用户的头部导向的方向对准。通过执行方法500的步骤 503，能够确定用户的头部导向。
在步骤603处，个人安全系统120将音频源在音频全景中的位置映射到音频锥内的对应位置。个人安全系统120能够例如将图1A中所示的源101、102和103的位置映射到图1D中所示的那些源的新位置。个人安全系统120可以通过用角度方式将音频全景从完整的360度压缩成更少的度数来确定给定源在音频锥内的新位置。个人安全系统120还可以根据从用户处接收的输入(例如手势，或者其它类型的输入)来确定源的新位置。在一个实施方案中，个人安全系统 120操控通道到扬声器的分配，以便压缩音频全景的多个部分。在另一实施方案中，个人安全系统120将每个音频源分配给单独的通道，并且接着操控那些单独通道的分配，以便独立地移动音频源。
在步骤604处，个人安全系统120调制输出给用户的声音，以反映该源在音频锥内的新位置。这样做时，个人安全系统120可以依赖于3D音频技术、噪音消除技术和多种多样的其它音频调节技术，以便增强音频源的现实性。
在步骤605处，个人安全系统120确定是否需要映射额外的音频源。如果还有额外的音频源，那么方法返回到步骤603，并且继续映射另一音频源。否则，方法600结束。
使用这种方法，个人安全系统120通过分别重新定位每个个别音频源而将音频全景压缩成更小的音频锥。个人安全系统120可以在重新定位每个此源时实施不同的技术，并且还可以选择性地重新定位某些源，同时避免重新定位其它的源。例如，个人安全系统能够重新定位响亮的声音，以诱发那些源是源自危险的方向的感知，同时避免重新定位更轻声的周围声音。本领域的技术人员将了解，个人安全系统可以实施多种多样的不同技术为某个音频源选择特定位置。因此，独立于其它源重新定位每个源的任何此技术属于本发明的范围内。
图7是根据本发明的一个实施方案的用于复制环境音频全景和将复制的音频全景压缩成音频锥以向图1A-4C的个人安全系统的用户指示危险或其它所关注的事件的存在的方法步骤的流程图。虽然是配合图1A-4C的系统描述所述方法步骤，但是本领域的技术人员将了解，任何被配置成以任何顺序执行所述方法步骤的系统都在本发明的范围内。
如图所示，方法700在步骤701处开始，其中个人安全系统120 对环境音频全景进行采样，以产生反映用户110体验的周围声音的第一组音频通道。环境音频全景可能是例如图3A的环境音频全景300-1 或图4A的环境音频全景400-1。个人安全系统120被配置成经由一组换能器对环境音频全景进行采样，所述换能器例如是图3A的麦克风310或图4A的麦克风群集410。首先，个人安全系统120可以将每个此换能器的输出分配给不同的音频通道。个人安全系统120还可以对经采样的音频进行滤波并且识别出要分配给个别通道的个别声音源，其方式类似于上文配合图6所描述的。
在步骤702处，个人安全系统120将该组音频通道分配给靠近用户110的扬声器以产生复制的音频全景。这样做时，个人安全系统 120可以将左通道分配给左扬声器，并且将右通道分配给右扬声器，其分配方式如上文配合图3B所描述。复制的音频全景可以分别是图 3B和图4B的复制的音频全景300-2或400-2。
在步骤704处，个人安全系统120确定与危险或其它所关注的事件相关联的方向。个人安全系统120可以通过用计算机视觉技术处理基于视频或其它图像的数据以识别真实物体(例如，汽车、动物或行人)的特定存在而识别与危险或其它所关注的事件相关联的方向。个人安全系统120还可以识别沿着朝向用户110的接近轨迹行进的任何物体。总而言之，个人安全系统120可以被配置成识别任何真实的(多个)物体或(多个)事件，并且识别相对于用户110的与所述(多个) 物体或(多个)事件相关联的方向。
在步骤705处，个人安全系统120将复制的音频全景压缩成音频锥，该音频锥跟与危险相关联的方向对准。当压缩复制的音频全景时，个人安全系统120可以将该组音频通道重新分配到靠近用户的扬声器，以便诱发复制的音频全景被压缩的幻觉，如也在图3C、图3D和图4C中所示。个人安全系统120还可以重新分配与每个个别音频源相关联的每个通道，使得那些音频源仿佛是源自音频锥内。在任一种情况下，个人安全系统120将复制的音频全景压缩成音频锥，同时维持那些源的相对角度位置。
个人安全系统120可以因此充当“通过”装置，以便复制与环境音频全景相关联的周围声音以供用户110感知。接着，个人安全系统 120可以修改复制的音频全景以便将用户110的注意力吸引到危险或其它所关注的事件。
图8是根据本发明的一个实施方案的示出了可以包含在个人安全系统120内的计算装置230的框图。如图所示，计算装置230包含处理单元801、输入/输出(I/O)装置802和存储器单元803，其中的每一个都与其它装置耦合。存储器单元803包含应用程序804，应用程序804被配置成与数据库805交互。
处理单元801可以包含中央处理单元(CPU)、数字信号处理单元(DSP)等等。I/O装置802可以包含输入装置、输出装置和既能接收输入又能提供输出的装置。存储器单元803可以是存储器模块或存储器模块的集合。存储器单元803内的软件应用程序804可以由处理单元801执行，以实施计算装置230的总体功能性，并且因此整体协调个人安全系统120的操作。
计算装置230可以耦合到传感器阵列，传感器阵列包含一个或多个传感器，例如麦克风群集410。传感器阵列被配置成测量用户110 驻留在的环境的各种特性，以及与用户110相关联的各种特性。传感器阵列可以包含任何数目个麦克风、摄像机、触摸传感器、风力传感器、热传感器、光传感器、电场检测器、无线电收发器、全球定位系统(GPS)接收器或者任何其它类型的传感器。总的来说，传感器阵列捕获与环境相关联的感觉数据和与用户110相关联的感觉数据，并且将所述数据提供到计算装置230。
计算装置230还可以耦合到音频输出装置，音频输出装置包含一个或多个被配置成接收声学输出并且使得用户110感知到所述声学输出的装置(例如，扬声器240)。音频输出装置可以包含任何数目个扬声器、头戴耳机、入耳音频装置或者任何其它类型的能够产生声音的装置。总的来说，音频输出装置被配置成产生从环境导出的自然声音、消除特定声音的抗躁和基于环境声音产生的经调制的声音。
计算装置120总体上可以是微处理器、专用集成电路(ASIC)、芯片上系统(SoC)、移动计算装置，例如台式计算机或手机等等。计算装置230被配置成协调个人安全系统120的总体操作。任何被配置成实施个人安全系统120的功能性的技术上可行的系统都属于本发明的范围。
实际上，计算装置230被配置成从与之耦合的传感器阵列接收环境数据，并且识别所关注的事件，例如可能会对用户110造成潜在威胁的特定危险。例如，计算装置230能够实施计算机视觉技术以识别在将与用户110碰撞的路线上行进的汽车。可选地，计算装置230能够实施声音辨识技术以识别通常与危险的实体(例如，危险的动物) 相关联的声音。计算装置230还被配置成识别与危险或其它所关注的事件相关联的方向。此外，计算装置230还被配置成从与用户110相关联的传感器阵列接收数据，并且识别用户110正在面朝的方向。例如，参看图1A-1D，计算装置230能够识别出用户110的头部正在面朝方向112，或者用户110的眼睛与方向112对准。
计算装置230接着使得与之耦合的音频输出装置产生声学输出，该声学输出表示图1A-1D所示的音频全景100的修改版本。例如，计算装置230能够使得音频输出装置210消除音频全景100内的所有音频源，只有源自危险的方向的那些音频源除外，其方式类似于上文配合图1B描述的。在另一实例中，计算装置230能够使得音频输出装置210产生表示音频全景100的折叠版本的声学输出，其方式如配合图1C所论述。在又一实例中，计算装置230能够使得音频输出装置210产生表示音频全景100的压缩版本的声学输出，其方式如配合图1D所论述。
在执行上述示例性功能中的任一个时，计算装置230相对于用户 110正在面朝的方向112并且相对于危险的方向选择性地消除和/或调制音频全景100。例如，如果计算装置230确定朝向用户正在面朝的方向112的右侧即将发生危险，那么计算装置230将使得音频输出装置产生声学输出，该声学输出将把用户110的听觉感知吸引到用户 110的右侧。这样做时，计算装置230可以隔离、折叠或压缩音频全景100的多个部分，以便产生所述全景的总体上朝向方向112的左侧导向的修改版本。
此外，计算装置230可以实施3D声音调节技术以修改或改进被输出给用户110的声音品质。例如，当经由头戴耳机或入耳音频装置产生音频全景时，虽然那些特定的音频装置绕过用户120的外耳，但是计算装置230可以调制音频输出以模拟声音穿过用户120的外耳。使用这种方法，计算装置230可以复制自然音频环境。计算装置230 还可以在检测到危险之前将周围音频全景被动地重放给用户110，从而充当“通过”装置。在检测到危险或其它所关注的事件时，计算装置 230能够使用前述技术来修改所述音频全景。
总之，个人安全系统检测到即将发生的危险或其它所关注的事件，并且接着修改用户感知到的音频全景，以便将用户的注意力集中到危险或其它所关注的事件的方向。这样做时，个人安全系统可以隔离源自危险或其它所关注的事件的方向的声音，将音频全景朝向危险或其它所关注的事件的方向折叠，或者用角度方式压缩音频全景，以便与危险或其它所关注的事件的方向对准。该个人安全系统可以集成到汽车或物理上附接到用户身上的可穿戴系统中。
所公开的技术的一个优点是，可以将用户的注意力引导到即将发生的危险或其它所关注的事件，而无需向用户引入额外的感觉信息。因此，可以让用户知晓危险或其它所关注的事件，但不会受到惊吓或者分心。此外，本文中描述的方法可以与用户的现有直觉密切对准，因为用户可以自然地转向面朝由个人安全系统引起的变化的听觉感知的方向。由于所述听觉感知不会传达让人分心的人工声音，所以用户可以无意识地转向面朝危险，并且因此保持正确地应对所述危险或其它所关注的事件所需的充足的认知资源。当集成到汽车中时，所公开的系统可以通过无需引发警报就能让用户感知到即将发生的危险或其它所关注的事件而减少汽车发生事故的风险。同理，当集成到行人穿戴的可穿戴系统中时，所公开的系统可以用类似方式减少行人发生事故的风险。本发明的个人安全系统因此代表在保护人类个人安全方面的重要进步。
本发明的一个实施方案可以实施为与计算机系统一起使用的程序产品。程序产品的(多个)程序定义了实施方案的功能(包含本文中描述的方法)，并且可以容纳在各种计算机可读存储媒体上。说明性计算机可读存储媒体包含但不限于：(i)不可写入的存储媒体(例如，计算机内的只读存储器装置，例如压缩光盘只读存储器(CD-ROM) 驱动器可读取的CD-ROM盘、闪存存储器、只读存储器(ROM)芯片或任何类型的固态非易失性半导体存储器)，信息永久地存储在上面；和(ii)可写入的存储媒体(例如，磁盘驱动器或硬盘驱动器内的软盘或者任何类型的固态随机存取半导体存储器)，上面存储着可更改的信息。
上文已经参照特定实施方案描述了本发明。然而，本领域的技术人员将理解，可以对其进行各种修改和变化，而并不背离所附权利要求书中阐述的本发明的更广泛的精神和范围。例如，虽然本文中的许多说明是针对危险或威胁(例如，危险114)，但是本领域的技术人员将明白，本文中描述的系统和技术可以应用于将用户的重点和/或注意力引导到任何其它类型的所关注的事件。因此，前面的说明和图式应当在说明性而不是限制性的意义上理解。
因此，所附权利要求书中阐述本发明的实施方案的范围。

Claims (10)

1.一种被配置成向用户指示所关注的事件的存在的系统，所述系统包括：
计算装置，所述计算装置被配置成：
对与所述用户相关联的第一音频全景进行采样，
识别相对于所述用户正在面朝的方向的与所述所关注的事件相关联的方向，和
修改所述第一音频全景来产生第二音频全景，所述第二音频全景比所述第一音频全景窄，并且跟与所述所关注的事件相关联的方向对准；和
至少一个音频输出装置，所述至少一个音频输出装置被配置成向所述用户输出所述第二音频全景。
2.根据权利要求1所述的系统，其中所述计算装置被配置成通过产生抗噪来产生所述第二音频全景，所述抗噪消除所述第一音频全景的至少一部分。
3.根据权利要求1所述的系统，其中所述计算装置被配置成通过产生抗噪来产生所述第二音频全景，所述抗噪消除所述第一音频全景的一个或多个部分，所述一个或多个部分是源自不同于与所述所关注的事件相关联的所述方向的方向。
4.根据权利要求1所述的系统，其中所述计算装置被配置成通过下面的方式产生所述第二音频全景：
产生抗噪，所述抗噪消除所述第一音频全景；和
将所述第一音频全景折叠成单声道音频源，所述单声道音频源与所述所关注的事件的所述方向对准。
5.根据权利要求1所述的系统，其中所述计算装置被配置成通过下面的方式产生所述第二音频全景：
产生抗噪，所述抗噪消除所述第一音频全景；和
将所述第一音频全景压缩成所述第二音频全景。
6.根据权利要求5所述的系统，其中所述计算装置通过下面的方式将所述第一音频全景压缩成所述第二音频全景；
识别所述音频全景内的与第一方向相关联的第一音频源；和
减小所述第一方向跟与所述所关注的事件相关联的所述方向之间的角度。
7.根据权利要求1所述的系统，所述系统进一步包含一组音频换能器，所述组音频换能器耦合到所述用户所在的车辆的外部，并且被配置成将所述第一音频全景换能。
8.根据权利要求7所述的系统，所述系统进一步包含一组音频输出装置，所述组音频输出装置被配置成在所述用户所在的所述车辆内部输出所述第二音频全景。
9.根据权利要求1所述的系统，所述系统进一步包含一组音频换能器，所述组音频换能器耦合到所述用户并且被配置成将所述第一音频全景换能。
10.一种用于将用户引导向所关注的事件的计算机实施的方法，所述方法包括：
对环境音频全景进行采样以产生反映所述用户所体验的一个或多个周围声音的多个音频通道；
将所述多个音频通道分配到多个扬声器以产生复制的音频全景；
确定与所述所关注的事件相关联的方向；和
通过将所述复制的音频全景压缩成音频锥来修改音频全景，所述音频锥跟与所述所关注的事件相关联的所述方向对准。
CN201410561823.1A 2013-10-21 2014-10-21 用于将用户引导向所关注的事件的系统和方法 Active CN104581513B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/059,359 US9663031B2 (en) 2013-10-21 2013-10-21 Modifying an audio panorama to indicate the presence of danger or other events of interest
US14/059,359 2013-10-21

Publications (2)

Publication Number Publication Date
CN104581513A CN104581513A (zh) 2015-04-29
CN104581513B true CN104581513B (zh) 2019-07-26

Family

ID=52775454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410561823.1A Active CN104581513B (zh) 2013-10-21 2014-10-21 用于将用户引导向所关注的事件的系统和方法

Country Status (4)

Country Link
US (2) US9663031B2 (zh)
JP (1) JP6521604B2 (zh)
CN (1) CN104581513B (zh)
DE (1) DE102014221301A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150262429A1 (en) * 2014-03-13 2015-09-17 Gary Stephen Shuster Systems, devices and methods for sensory augmentation to achieve desired behaviors or outcomes
US9807492B1 (en) * 2014-05-01 2017-10-31 Ambarella, Inc. System and/or method for enhancing hearing using a camera module, processor and/or audio input and/or output devices
WO2016118656A1 (en) * 2015-01-21 2016-07-28 Harman International Industries, Incorporated Techniques for amplifying sound based on directions of interest
EP3089474B1 (en) 2015-04-29 2018-06-13 Harman International Industries, Incorporated Adjustable opening headphones
KR20170024913A (ko) * 2015-08-26 2017-03-08 삼성전자주식회사 복수의 마이크들을 이용한 잡음 제거 전자 장치 및 잡음 제거 방법
GB2542846A (en) * 2015-10-02 2017-04-05 Ford Global Tech Llc Hazard indicating system and method
US10206042B2 (en) * 2015-10-20 2019-02-12 Bragi GmbH 3D sound field using bilateral earpieces system and method
DE102015015130A1 (de) * 2015-11-21 2017-05-24 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
EP3249956A1 (en) * 2016-05-25 2017-11-29 Nokia Technologies Oy Control of audio rendering
DE102017209585A1 (de) * 2016-06-08 2017-12-14 Ford Global Technologies, Llc System und verfahren zur selektiven verstärkung eines akustischen signals
DE102016114413A1 (de) 2016-08-04 2018-03-22 Visteon Global Technologies, Inc. Vorrichtung zur Erzeugung von objektabhängigen Audiodaten und Verfahren zur Erzeugung von objektabhängigen Audiodaten in einem Fahrzeuginnenraum
US9832587B1 (en) * 2016-09-08 2017-11-28 Qualcomm Incorporated Assisted near-distance communication using binaural cues
CN110431613B (zh) * 2017-03-29 2023-02-28 索尼公司 信息处理装置、信息处理方法、程序和移动物体
US10867501B2 (en) 2017-06-09 2020-12-15 Ibiquity Digital Corporation Acoustic sensing and alerting
DE102017112966A1 (de) 2017-06-13 2018-12-13 Krauss-Maffei Wegmann Gmbh & Co. Kg Fahrzeug mit einem Fahrzeuginnenraum und Verfahren zur Geräuschübertragung in einen Fahrzeuginnenraum eines Fahrzeugs
CN107333199A (zh) * 2017-07-21 2017-11-07 京东方科技集团股份有限公司 耳机控制装置、耳机及耳机控制方法
CN107682772B (zh) * 2017-10-25 2019-05-24 倬韵科技（深圳）有限公司 一种识别危险以控制音频输出的方法、装置和耳机
WO2019116068A1 (en) * 2017-12-14 2019-06-20 Volvo Construction Equipment Ab Method for alerting a person near a vehicle when said vehicle performs a movement and vehicle
JP7122828B2 (ja) * 2018-01-25 2022-08-22 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング Ｅｃｕ及びノイズコントロールシステム
EP3550856A1 (en) * 2018-04-04 2019-10-09 Ningbo Geely Automobile Research & Development Co. Ltd. Vehicle alert device and method
CN108846992A (zh) * 2018-05-22 2018-11-20 东北大学秦皇岛分校 一种能够对听障人士进行安全预警的方法及装置
KR102638672B1 (ko) * 2018-06-12 2024-02-21 하만인터내셔날인더스트리스인코포레이티드 지향성 음향 변경
DE102018211127A1 (de) 2018-07-05 2020-01-09 Bayerische Motoren Werke Aktiengesellschaft Audioeinrichtung für ein Fahrzeug und Verfahren zum Betrieb einer Audioeinrichtung für ein Fahrzeug
US10714116B2 (en) * 2018-12-18 2020-07-14 Gm Cruise Holdings Llc Systems and methods for active noise cancellation for interior of autonomous vehicle
US10621858B1 (en) * 2019-02-06 2020-04-14 Toyota Research Institute, Inc. Systems and methods for improving situational awareness of a user
JP7321736B2 (ja) * 2019-03-28 2023-08-07 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020201671A (ja) * 2019-06-07 2020-12-17 富士通株式会社 運転支援装置、運転支援方法および運転支援プログラム
DE102019210934A1 (de) * 2019-07-24 2021-01-28 Zf Friedrichshafen Ag System zur Verbesserung des Hörens für hörgeschädigte Personen
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US10991163B2 (en) * 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11030863B2 (en) 2019-10-02 2021-06-08 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing audio information in a vehicle
DE102020106978A1 (de) 2020-03-13 2021-09-16 Audi Aktiengesellschaft Vorrichtung und verfahren zur ermittlung von musik-information in einem fahrzeug
US11170752B1 (en) * 2020-04-29 2021-11-09 Gulfstream Aerospace Corporation Phased array speaker and microphone system for cockpit communication
DE102020114924A1 (de) 2020-06-04 2021-12-09 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
US11482238B2 (en) 2020-07-21 2022-10-25 Harman International Industries, Incorporated Audio-visual sound enhancement
US11467666B2 (en) * 2020-09-22 2022-10-11 Bose Corporation Hearing augmentation and wearable system with localized feedback
US11259112B1 (en) 2020-09-29 2022-02-22 Harman International Industries, Incorporated Sound modification based on direction of interest
JP2023548675A (ja) * 2020-11-18 2023-11-20 グーグル エルエルシー ナビゲーションセッション中の運転イベント音の検出と処理
DE102021205355A1 (de) * 2021-05-26 2022-12-01 Volkswagen Aktiengesellschaft Verfahren zum Steuern einer Audioausgabe in einem Kraftfahrzeug
CN114639210B (zh) * 2022-01-27 2024-02-23 杭州华橙软件技术有限公司 声波警告方法、系统、装置及存储介质
EP4273832A1 (en) * 2022-05-03 2023-11-08 Bayerische Motoren Werke Aktiengesellschaft A vehicle and a system and method for use with a vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450057A (en) * 1991-10-30 1995-09-12 Nissan Motor Co., Ltd. Stereophonic warning apparatus
CN101193460A (zh) * 2006-11-20 2008-06-04 松下电器产业株式会社 检测声音的装置及方法
CN102869961A (zh) * 2010-04-30 2013-01-09 丰田自动车株式会社 车外声音检测装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0247677Y2 (zh) * 1986-09-05 1990-12-14
JPS63222952A (ja) * 1987-03-12 1988-09-16 Alpine Electron Inc 車載用音響システム
KR100423728B1 (ko) * 2001-12-11 2004-03-22 기아자동차주식회사 멀티 채널 오디오를 이용한 자동차의 안전장치
JP2005208998A (ja) * 2004-01-23 2005-08-04 Nissan Motor Co Ltd 車両用情報呈示装置及び車両用情報呈示方法
US20050213771A1 (en) * 2004-03-26 2005-09-29 Paris Smaragdis Propagating sound information to acoustically isolated environments
JP2006092482A (ja) * 2004-09-27 2006-04-06 Yamaha Corp 音声認識通報装置
JP2006115364A (ja) * 2004-10-18 2006-04-27 Hitachi Ltd 音声出力制御装置
JP4745403B2 (ja) * 2006-12-19 2011-08-10 パイオニア株式会社 情報処理装置及びその制御方法等
JP2009113659A (ja) * 2007-11-07 2009-05-28 Toyota Motor Corp 車両用ノイズキャンセル装置
JP5211747B2 (ja) * 2008-02-22 2013-06-12 株式会社デンソー 音響制御装置及び音響制御プログラム
JP5395716B2 (ja) * 2010-03-25 2014-01-22 株式会社デンソーアイティーラボラトリ 車外音提供装置、車外音提供方法およびプログラム
CN103069468A (zh) * 2011-01-18 2013-04-24 松下电器产业株式会社 车辆方向确定装置、车辆方向确定方法及其程序
JP5516455B2 (ja) * 2011-02-23 2014-06-11 トヨタ自動車株式会社 接近車両検出装置及び接近車両検出方法
JP5821307B2 (ja) * 2011-06-13 2015-11-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6001248B2 (ja) * 2011-09-20 2016-10-05 トヨタ自動車株式会社 音源検出装置
DE102011083770A1 (de) * 2011-09-29 2013-04-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur rechnergestützten Verarbeitung des Nahfeldes eines Fahrzeugs
JP5598484B2 (ja) * 2012-01-19 2014-10-01 株式会社デンソー 音声出力装置
JP5382155B2 (ja) * 2012-03-01 2014-01-08 日産自動車株式会社 警報装置およびその方法
US9571057B2 (en) * 2013-03-08 2017-02-14 Fujitsu Limited Altering audio signals
JP6201615B2 (ja) * 2013-10-15 2017-09-27 富士通株式会社 音響装置、音響システム、音響処理方法及び音響処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450057A (en) * 1991-10-30 1995-09-12 Nissan Motor Co., Ltd. Stereophonic warning apparatus
CN101193460A (zh) * 2006-11-20 2008-06-04 松下电器产业株式会社 检测声音的装置及方法
CN102869961A (zh) * 2010-04-30 2013-01-09 丰田自动车株式会社 车外声音检测装置

Also Published As

Publication number Publication date
JP2015082844A (ja) 2015-04-27
DE102014221301A1 (de) 2015-04-23
US20170291541A1 (en) 2017-10-12
US20150110285A1 (en) 2015-04-23
US9663031B2 (en) 2017-05-30
US10279739B2 (en) 2019-05-07
CN104581513A (zh) 2015-04-29
JP6521604B2 (ja) 2019-05-29

Similar Documents

Publication Publication Date Title
CN104581513B (zh) 用于将用户引导向所关注的事件的系统和方法
CN108141696B (zh) 用于空间音频调节的系统和方法
KR102546006B1 (ko) 환경적 트리거들에 기초한 적응형 ａｎｃ
US9906885B2 (en) Methods and systems for inserting virtual sounds into an environment
US10362432B2 (en) Spatially ambient aware personal audio delivery device
JP7317115B2 (ja) オーディオシステムのための修正されたオーディオ体験を生成すること
JP2022544138A (ja) 選択的受聴を補助するためのシステムおよび方法
CN110234050B (zh) 基于关注水平控制察觉的环境声音
CN108058663B (zh) 车辆声音处理系统
US9420392B2 (en) Method for operating a virtual reality system and virtual reality system
US20090022343A1 (en) Binaural Recording For Smart Pen Computing Systems
CN102256192A (zh) 声音信号的分离
US11546703B2 (en) Methods for obtaining and reproducing a binaural recording
US20200301653A1 (en) System and method for processing audio between multiple audio spaces
KR20190059642A (ko) 귀 개방형 헤드폰을 이용한 다채널 사운드 구현 장치 및 그 방법
CN114727212B (zh) 音频的处理方法及电子设备
US20230164509A1 (en) System and method for headphone equalization and room adjustment for binaural playback in augmented reality
JP2003032776A (ja) 再生システム
CN107743713B (zh) 处理用于在汽车中再现的立体声信号以通过前置扬声器实现单独的三维声音的装置和方法
JP2020501275A (ja) 画像処理システムおよび方法
WO2022004421A1 (ja) 情報処理装置、出力制御方法、およびプログラム
CN115315374A (zh) 声音数据处理装置和声音数据处理方法
JP2019102062A (ja) ヘッドマウントディスプレイ及びその制御方法
Dam et al. Effects of personal listening devices on pedestrians’ acoustic situation awareness in a virtual reality environment
WO2022038931A1 (ja) 情報処理方法、プログラム、及び、音響再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant