CN108352155A - 抑制环境声 - Google Patents

抑制环境声 Download PDF

Info

Publication number
CN108352155A
CN108352155A CN201580083805.XA CN201580083805A CN108352155A CN 108352155 A CN108352155 A CN 108352155A CN 201580083805 A CN201580083805 A CN 201580083805A CN 108352155 A CN108352155 A CN 108352155A
Authority
CN
China
Prior art keywords
processor
user
ambient sound
target
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580083805.XA
Other languages
English (en)
Inventor
季茨基·撒卡尔
威尔·阿伦
理查德·斯威特
罗伯特·C·布鲁克斯
马杜·苏德·阿特雷亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN108352155A publication Critical patent/CN108352155A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17857—Geometric disposition, e.g. placement of microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/111—Directivity control or beam pattern
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/12—Rooms, e.g. ANC inside a room, office, concert hall or automobile cabin
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Stereophonic System (AREA)

Abstract

在示例实施方式中，公开了一种用于抑制环境声的系统。在一个示例中，该系统包括摄像机、多个麦克风、多个扬声器和处理器。摄像机捕捉目标的图像，多个麦克风接收环境声，并且多个扬声器输出音频信号以抑制环境声。处理器与摄像机、多个麦克风和多个扬声器进行通信。处理器能够基于被捕捉的图像来识别目标上的位置，确定环境声的方向和频率，并且基于环境声的方向和频率来生成音频信号，音频信号指向目标上的位置。

Description

抑制环境声
背景技术
支持远程参与者的协作的系统常常包括一个或多个音频通道。然而，环境噪声处处存在并且可能影响一个或多个音频通道的信噪比。降噪耳机和耳塞可用于减少环境噪声的量。
附图说明
图1是本公开的示例系统的框图；
图2是用于确定面部特征的位置的示例方法的流程图；
图3是执行面部检测的示例的框图；
图4是用于抑制环境声的示例方法的流程图；以及
图5是用于抑制环境声的另一个示例方法的流程图。
具体实施方式
本公开公开了用于抑制环境声的系统和方法。在诸如视频/音频电话会议之类的某些通信系统中，高信噪比是期望的。例如，环境声可能影响用户清楚地听到传入的音频以及清楚地发送音频的能力。
降噪耳机和耳塞是可用的。然而，耳机和耳塞被用户佩带并且可能是不舒服的或者麻烦的。另外，耳机和耳塞是个人的并且对单个参与者起作用。
本公开提供一种在没有佩戴耳机或者耳塞的情况下抑制环境声的系统和方法。另外，本系统能够用于为位于系统的操作区域内的多个用户抑制环境声。当用户发送音频信号时，本公开也能够用于抑制环境声。因此，本公开为例如像视频/音频电话会议的某些通信系统提供更令人满意的体验。
图1图示出本公开的示例系统100的框图。系统100可以包括摄像机102、语音麦克风106、服务器118、多个环境声麦克风112-1至112-n(在下文中被共同称为环境声麦克风112或者独立地称为环境声麦克风112)以及多个扬声器114-1至114-n(在下文中被共同称为扬声器114或者独立地称为扬声器114)。尽管仅仅图示出单个摄像机102，但可以在房间中有策略地放置多个摄像机102，使得直接地面向摄像机102的扬声器114被识别为感兴趣的扬声器114。
在一个示例中，用户108可以与第二用户110进行电话会议(例如，视频电话会议或者仅仅音频电话会议)。图1图示出具有显示第二用户110的显示器104的视频电话会议的示例。
在一种实施方式中，用户108可以位于通过短划线表示的操作区域116内。尽管操作区域116被图示为是圆形形状，但应当注意到，操作区域116可以具有空间中的任何规则的或者不规则的体积(例如，球体、立方体等的如在宽度、高度和深度上的体积)。可以操作系统100以抑制环境声，使得对于在操作区域116内的电话会议使信噪比最大化。
在一个示例中，当检测到用户108位于操作区域116内时，系统100可以自动地开始操作。例如，可以通过摄像机102来检测用户108。
在一个示例中，服务器118被修改为执行在本文描述的功能。服务器118可以包括处理器和非暂时性计算机可读存储介质。非暂时性计算机可读存储介质可以存储用于执行本文描述的功能和方法(例如，方法400和方法500的框，如下所述)的指令。
在一些实施方式中，服务器118可以与摄像机102进行通信以处理视频图像，与语音麦克风106进行通信以处理音频输入(例如，用户108的语音)，与环境声麦克风112进行通信以处理环境声的方向、振幅和频率，以及与扬声器114进行通信以基于环境声的方向、振幅和频率来输出反声波(大体上，音频信号)从而抑制环境声。
在一个示例中，摄像机102可以能够在三个不同的轴或者方向(例如，俯仰、滚转和偏航，xyz坐标，等等)上移动以跟踪用户108的面部。在一个示例中，扬声器114可以被安装在同样能够在三个不同的轴或者方向(例如，俯仰、滚转和偏航，xyz坐标，等等)上移动的机械底座上并且被服务器118控制。例如，服务器118可以将扬声器114旋转或者定位，使得在朝向用户108的耳朵120的方向上输出所生成的反声波。
在另一个示例中，可以将扬声器114静止地定位或者瞄准用户108(例如，瞄准用户108的耳朵120)。服务器118可以改变用于驱动扬声器114的信号的相位。例如，使信号延迟可以等同于移动扬声器114。
在一个示例中，可以在操作区域116的周界的周围安置环境声麦克风112。使用环境声麦克风112，可以确定环境声的方向。因此，当服务器118计算反声波时，可以由扬声器114生成和输出反声波，使得反声波的相位与至少一个所选择的环境声频率的相位在操作区域116中的至少一个点是同步的。
在一个示例中，摄像机102可以是能够捕捉目标(例如，用户108)的视频图像的任何类型的摄像机。例如，摄像机102可以是红、绿和蓝(RGB)视频摄像机、深度传感器摄像机等等。在一种实施方式中，摄像机102可以用于识别用户108位于哪里以及用户108的耳朵120的精确位置。
在一个示例中，摄像机102可以是用于检测用户108的注视的一对红外(IR)摄像机，所述检测是通过察看瞳孔并且估计方向而实现的。该对IR摄像机可以用于单个用户视频会议，用于更精细控制面部姿态/耳朵检测。该对IR摄像机能够用于确定用户108在看哪里，是在监视器处还是在别处，并且在一些情况下，确定在监视器内用户108是在察看视频会议会话窗口，还是察看不与会话有关的监视器内的另一个窗口。
图2图示出能够用于确定目标上的位置的示例方法200的高级别框图。在一个示例中，位置可以是诸如用户108之类的目标的面部特征(例如，耳朵120、嘴122等等)。可以通过服务器118来执行方法200。
在框202，方法200开始。在框204，方法200执行面部检测。例如，可以对由摄像机102捕捉的视频图像进行分析以检测面部。
图3图示出执行面部检测的示例的框图。图3图示出由摄像机102捕捉的视频图像302。可以对每个像素块304-1至304-n(在本文中被共同称为像素块304或者独立地称为像素块304)执行逐像素块的分析。分析可以将每个像素块中的像素图案与和面部相关联的预定义的像素图案的集合306相比较。当像素块304内的像素图案与预定义的像素图案的集合306中的预定义的像素图案之一匹配时，像素块304被识别为具有面部的像素块304。可以基于包含与预定义的像素图案的集合306中的预定义的像素图案之一匹配的像素图案的所有像素块304来确定用户108的面部的位置。
返回图2，在框206，方法200执行标志点检测。例如，预定义与面部关联的某些标志特征(例如，鼻子、嘴、眼睛、耳朵等等)。标志特征在面部中被检测并且与预定义的标志特征相关联。
在框208，方法200执行旋转矩阵计算。在一个示例中，旋转矩阵可以是观察的标志点和预定义的标志点之间的变换。
在框210，方法200执行滚转、俯仰、偏航角估计。例如，一旦识别所有的观察的标志，方法200可以检测标志(例如，用户108的耳朵120)的位置作为用户108。
在用户108在摄像机102前面移动时，可以连续地重复方法200以连续地跟踪期望的标志(例如，用户108的耳朵120)。换句话说，正当用户108移动时，能够连续地跟踪用户108的耳朵120的位置。换句话说，摄像机102可以连续地捕捉用户108的视频图像302，并且方法200可以被应用于每个视频图像302以连续地跟踪期望的标志(例如，用户108的耳朵120或嘴122)的位置。方法200结束于框212。
返回参考图1，一旦计算耳朵120的位置，服务器118可以计算反声波，生成反声波，并且朝向耳朵120的位置输出反声波。如以上讨论的，可以由服务器118控制扬声器114的移动。在其他实施方式中，扬声器可以是提供超声调制的方向性扬声器。
因此，正当用户108在操作区域116中走来走去时，系统100可以能够提供环境噪声抑制。例如，可以连续地跟踪用户108的耳朵120的位置，并且可以通过调整发送给扬声器114中的每一个的信号或扬声器114的方向来将反声波的相位连续地匹配到到达耳朵120的当前位置的环境噪声的相位。
在一些实施方式中，基于环境声的声波，服务器118可以预测环境声的声波来执行抑制。例如，能够预测低频率的声波(例如，风扇的嗡嗡声)或者具有恒定声波模式的高频率的声波(例如，高音调啸声)。
在一个示例中，服务器118可以使用盲源跟踪、有效降噪、有效噪声消除等等来计算反声波。换句话说，反声波可以是具有与环境声的振幅和频率相同的振幅和反相频率的破坏性声波。当与环境声组合时，反声波可以抑制环境声。
在一些实施方式中，操作区域116可以包括多个用户108。可以确定每一个用户108的耳朵120。可以确定关于多个用户108中的每一个的环境声的振幅和频率。然后服务器118可以计算、生成并且经由扬声器114输出反声波来抑制关于操作区域116中的用户108的每一个的环境声。在一个示例中，反声波可以是由多个用户108中的每一个听到的环境声的振幅和频率的平均。
因此，系统100可以在不要求用户108佩带麻烦的耳机或者耳塞的情况下提供环境噪声抑制。此外，与由一个或者单个个人使用的噪声消除耳机不同，系统100可以向位于操作区域116内的多个用户提供环境噪声抑制。
在其他实施方式中，系统100也可以用于提供更清洁的音频信号用于传输。换句话说，有效降噪或者有效噪声消除方法能够用于抑制环境噪声与来自用户108的音频输入混合。
例如，用户108可能在电话会议期间想要对用户110讲话。摄像机102可以用于捕捉用户108的面部的视频图像并且确定用户108的嘴122的位置。类似于能够如何确定用户108的耳朵120的位置，可以使用以上描述的方法200来确定嘴122的位置。
可以通过经由操作区域150内的麦克风112记录环境声的声波来确定环境声的方向、振幅和频率。服务器118可以计算并且生成反声波来抑制环境声。
当用户108对操作区域150内的语音麦克风106提供音频输入时(例如，当用户108讲话时)，可以向音频输入施加反声波以抑制遍布操作区域150的环境噪声。结果，可以将具有减小量的环境噪声的清洁音频信号发送到用户110。
图4图示出用于抑制环境声的示例方法400的流程图。例如，可以抑制环境声来改善收听传入的音频信号(例如，另一个用户讲话)的用户的音质。在一个示例中，可以通过服务器118来执行方法400的框。
在框402，方法400开始。在框404，方法400识别目标上的位置。例如，目标可以是用户，并且目标上的位置可以是用户的每个耳朵。以上描述的方法200能够用于识别用户的每个耳朵的位置。
在框406，方法400确定操作区域内的环境声的方向、振幅和频率。例如，可以在操作区域的周界的周围定位麦克风。麦克风可以记录进入操作区域的环境声的声波。基于通过两个或更多麦克风所记录的声波，服务器可以确定环境声的方向。另外，可以由服务器对声波进行分析以确定环境声的振幅和频率。
在框408，方法400基于环境声的方向、振幅和频率来计算反声波以抑制环境声。例如，诸如盲源跟踪、有效降噪、有效噪声消除等等的方法可以用于计算反声波。反声波可以具有与环境声的振幅相等的振幅以及被相移(例如，+/-180度)以匹配环境声的频率的频率。环境声和反声波的组合引起相消干扰和可由一个或多个用户检测到的环境噪声的减少。
在框410，方法400向至少一个扬声器传送反声波，以便朝向目标上的位置发出。例如，扬声器也可以被定位在操作区域的周界周围。服务器可以控制扬声器朝向用户的耳朵的位置发出音频。可以由扬声器在与传入的环境声相同的方向上并且朝向用户的每个耳朵的位置发出反声波。在框412，方法400结束。
图5图示出用于抑制环境声的示例方法500的流程图。例如，可以抑制环境声以改善向另一个用户传送音频的用户的音质(例如，用户对麦克风讲话以向另一个用户发送音频输入)。在一个示例中，可以通过服务器118来执行方法500的框。
在框502，方法500开始。在框504，方法500识别音频源的位置。例如，音频源可以是用户的嘴。以上描述的方法200能够用于识别用户的嘴的位置。在接近用户的嘴的位置，可以识别到操作区域。在一个示例中，操作区域可以包括用户的嘴和麦克风。
在框506，方法500确定操作区域内的环境声的方向、振幅和频率。例如，可以在操作区域的周界的周围定位麦克风。麦克风可以记录进入操作区域的环境声的声波。基于通过两个或更多麦克风所记录的声波，服务器可以确定环境声的方向。另外，可以由服务器对声波进行分析以确定环境声的振幅和频率。在用户的前面的麦克风也可以用于检测和分析环境声。
在框508，方法500基于环境声的方向、振幅和频率来计算反电信号以抑制环境声。例如，诸如盲源跟踪、有效降噪、有效噪声消除等等的方法可以用于计算反电信号。当连接到扬声器时，反电信号可以产生等于环境声的振幅并且具有相移(例如，+/-180度)以在诸如用户的耳朵的位置之类的操作区域中的关键点匹配环境声的频率的频率的声波。
在框510，方法500从音频源接收音频输入。例如，用户可以在电话会议期间对操作区域内的麦克风讲话。用户的音频输入或语音可以被麦克风捕捉。
在框512，方法500向操作区域内的环境声施加反电信号，以从来自音频源的音频输入抑制环境声。在一个示例中，可以将扬声器放置为接近麦克风。扬声器可以发出基于操作区域内的反电信号的反声波以从来自用户的音频输入抑制环境声。结果，可以传送具有减小的环境噪声的清洁音频信号。
在另一种实施方式中，在用户的音频输入被传送之前，可以由服务器从用户的音频输入中减去环境声。例如，可以向用户的音频输入施加反电信号以从音频输入中移除环境噪声。在框514，方法500结束。
将理解的是，以上公开的变体和其他特征和功能，或者其替换方式可以被组合为许多其他不同的系统或者应用。可以随后由本领域技术人员在其中作出各种目前未预见到的或者意料之外的替换方式、修改、变化或者改善，其也意欲被所附权利要求所包含。

Claims (15)

1.一种系统，包括：
摄像机，用于捕捉目标的图像；
多个麦克风，用于接收环境声；
多个扬声器，用于输出音频信号以抑制所述环境声；以及
与所述摄像机、所述多个麦克风和所述多个扬声器进行通信的处理器，其中，所述处理器基于被捕捉的所述图像来识别所述目标上的位置，确定所述环境声的方向和频率，并且基于所述环境声的方向和频率来生成所述音频信号，所述音频信号指向所述目标上的所述位置。
2.根据权利要求1所述的系统，其中，所述目标包括用户，并且所述位置包括所述用户的每个耳朵，其中，在所述用户移动时，所述处理器连续地跟踪所述用户的所述每个耳朵的位置。
3.根据权利要求1所述的系统，其中，所述摄像机包括红、绿、蓝(RGB)摄像机、深度感测摄像机或红外(IR)摄像机。
4.根据权利要求1所述的系统，其中，所述多个扬声器中的每一个包括指向性扬声器。
5.根据权利要求4所述的系统，其中，所述多个扬声器中的每一个被安装于在三个轴上可调整的底座上。
6.根据权利要求1所述的系统，其中，所述多个麦克风被布置在操作区域的周界周围。
7.根据权利要求1所述的系统，其中，所述多个扬声器被布置在操作区域的周界周围。
8.一种方法，包括：
由处理器识别目标上的位置；
由所述处理器确定操作区域内的环境声的方向、振幅和频率；
由所述处理器基于所述方向、所述振幅和所述频率来计算反声波以抑制所述环境声；以及
由所述处理器向至少一个扬声器传送所述反声波，以便朝向所述目标上的所述位置发出。
9.根据权利要求8所述的方法，其中，所述目标上的所述位置包括用户的每个耳朵，其中，识别所述目标上的所述位置包括：
由所述处理器检测所述用户的面部；
由所述处理器检测所述用户的所述面部上的标志点；
由所述处理器计算表示被检测到的所述标志点与标准标志点之间的变换的旋转矩阵；以及
由所述处理器根据所述旋转矩阵估计滚转、俯仰和偏航角，以识别所述用户的所述每个耳朵的所述位置。
10.根据权利要求8所述的方法，其中，计算所述反声波以抑制在所述目标上的所述位置的所述环境声。
11.根据权利要求8所述的方法，其中，当在所述操作区域中检测到所述目标时，自动地启动所述方法。
12.根据权利要求8所述的方法，进一步包括：
由所述处理器识别附加的目标上的位置；
由所述处理器计算第二反声波，以抑制在所述附加的目标上的所述位置的所述环境声；以及
由所述处理器向至少一个第二扬声器传送所述第二反声波，以便朝向所述附加的目标上的所述位置发出。
13.一种方法，包括：
由处理器识别音频源的位置；
由所述处理器确定操作区域内的环境声的方向、振幅和频率；
由所述处理器基于所述环境声的所述方向、所述振幅和所述频率来计算反电信号以抑制所述环境声；
由所述处理器从所述音频源接收音频输入；以及
由所述处理器向所述环境声施加所述反电信号，以从来自所述音频源的所述音频输入抑制所述环境声。
14.根据权利要求13所述的方法，其中，所述音频源包括用户的嘴，其中，识别所述用户的所述嘴的位置包括：
由所述处理器检测所述用户的面部；
由所述处理器检测所述用户的所述面部上的标志点；
由所述处理器计算表示被检测到的所述标志点与标准标志点之间的变换的旋转矩阵；以及
由所述处理器根据所述旋转矩阵估计滚转、俯仰和偏航角，以识别所述用户的所述嘴的所述位置。
15.根据权利要求13所述的方法，其中，使用所述反电信号来经由至少一个扬声器产生抑制所述环境声的声波。
CN201580083805.XA 2015-09-30 2015-09-30 抑制环境声 Pending CN108352155A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/053149 WO2017058192A1 (en) 2015-09-30 2015-09-30 Suppressing ambient sounds

Publications (1)

Publication Number Publication Date
CN108352155A true CN108352155A (zh) 2018-07-31

Family

ID=58424208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580083805.XA Pending CN108352155A (zh) 2015-09-30 2015-09-30 抑制环境声

Country Status (4)

Country Link
US (1) US10616681B2 (zh)
EP (1) EP3342187B1 (zh)
CN (1) CN108352155A (zh)
WO (1) WO2017058192A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109119060A (zh) * 2018-08-09 2019-01-01 广州小鹏汽车科技有限公司 一种应用于汽车的有源降噪方法及系统
CN110968115A (zh) * 2019-11-20 2020-04-07 杭州友邦演艺设备有限公司 一种舞台反声罩控制方法
CN112863473A (zh) * 2021-01-08 2021-05-28 中国人民解放军63919部队 一种基于耳廓特征位置自动辨识跟踪的主动降噪装置
WO2022062531A1 (zh) * 2020-09-25 2022-03-31 Oppo广东移动通信有限公司 一种多通道音频信号获取方法、装置及系统
CN115049216A (zh) * 2022-05-19 2022-09-13 连云港观旭电力节能设备有限公司 一种噪声处理方法及系统
CN115211144A (zh) * 2020-01-03 2022-10-18 奥康科技有限公司 助听器系统和方法
WO2023220920A1 (zh) * 2022-05-17 2023-11-23 华为技术有限公司 一种数据处理方法、装置、存储介质和车辆

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454248A (zh) * 2017-06-29 2017-12-08 努比亚技术有限公司 一种音频信号处理方法、装置及移动终端
US11810587B2 (en) * 2019-07-26 2023-11-07 Hewlett-Packard Development Company, L.P. Noise filtrations based on radar
WO2022146169A1 (en) * 2020-12-30 2022-07-07 Ringcentral, Inc., (A Delaware Corporation) System and method for noise cancellation
US20220283774A1 (en) * 2021-03-03 2022-09-08 Shure Acquisition Holdings, Inc. Systems and methods for noise field mapping using beamforming microphone array
WO2022188065A1 (en) * 2021-03-10 2022-09-15 Huawei Technologies Co., Ltd. Devices, methods, systems, and media for spatial perception assisted noise identification and cancellation
CN113539226B (zh) * 2021-06-02 2022-08-02 国网河北省电力有限公司电力科学研究院 一种变电站主动降噪控制方法
CN116825071A (zh) * 2022-03-22 2023-09-29 华为技术有限公司 降噪方法、装置与车辆

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658225A (zh) * 2005-03-16 2005-08-24 沈阳工业大学 一种基于耳廓几何参数的个人身份鉴别方法
US20080304677A1 (en) * 2007-06-08 2008-12-11 Sonitus Medical Inc. System and method for noise cancellation with motion tracking capability
US20090060216A1 (en) * 2007-08-31 2009-03-05 Embarq Holdings Company, Llc System and method for localized noise cancellation
US20120069242A1 (en) * 2010-09-22 2012-03-22 Larry Pearlstein Method and system for active noise cancellation based on remote noise measurement and supersonic transport
CN102589571A (zh) * 2012-01-18 2012-07-18 西安交通大学 一种空间三维视觉计算验证方法
CN102592260A (zh) * 2011-12-26 2012-07-18 广州商景网络科技有限公司 证照图像裁剪方法及系统
US20130121515A1 (en) * 2010-04-26 2013-05-16 Cambridge Mechatronics Limited Loudspeakers with position tracking
CN103761508A (zh) * 2014-01-02 2014-04-30 大连理工大学 一种融合人脸和手势的生物识别方法和系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985925A (en) 1988-06-24 1991-01-15 Sensor Electronics, Inc. Active noise reduction system
EP1193684A2 (en) 2000-09-14 2002-04-03 Marconi Commerce Systems Inc. Noise cancellation for a retail transaction station
US7835529B2 (en) 2003-03-19 2010-11-16 Irobot Corporation Sound canceling systems and methods
GB0426448D0 (en) 2004-12-02 2005-01-05 Koninkl Philips Electronics Nv Position sensing using loudspeakers as microphones
US7455271B2 (en) * 2005-08-17 2008-11-25 Rgb Systems, Inc. Method and apparatus for adjustably mounting a speaker
US8014554B2 (en) * 2007-02-21 2011-09-06 Ming Xu Automatic tilt speaker
US20090312849A1 (en) 2008-06-16 2009-12-17 Sony Ericsson Mobile Communications Ab Automated audio visual system configuration
US8411963B2 (en) 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
US8401178B2 (en) 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
JP2010232755A (ja) 2009-03-26 2010-10-14 Kddi Corp ハンズフリー通話装置、指向性調整方法、指向性調整プログラム
US20110150247A1 (en) * 2009-12-17 2011-06-23 Rene Martin Oliveras System and method for applying a plurality of input signals to a loudspeaker array
US8219394B2 (en) 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
WO2011099167A1 (en) 2010-02-12 2011-08-18 Panasonic Corporation Sound pickup apparatus, portable communication apparatus, and image pickup apparatus
US20130279706A1 (en) 2012-04-23 2013-10-24 Stefan J. Marti Controlling individual audio output devices based on detected inputs
US9966067B2 (en) 2012-06-08 2018-05-08 Apple Inc. Audio noise estimation and audio noise reduction using multiple microphones
US9111522B1 (en) * 2012-06-21 2015-08-18 Amazon Technologies, Inc. Selective audio canceling
US9652031B1 (en) * 2014-06-17 2017-05-16 Amazon Technologies, Inc. Trust shifting for user position detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658225A (zh) * 2005-03-16 2005-08-24 沈阳工业大学 一种基于耳廓几何参数的个人身份鉴别方法
US20080304677A1 (en) * 2007-06-08 2008-12-11 Sonitus Medical Inc. System and method for noise cancellation with motion tracking capability
US20090060216A1 (en) * 2007-08-31 2009-03-05 Embarq Holdings Company, Llc System and method for localized noise cancellation
US20130121515A1 (en) * 2010-04-26 2013-05-16 Cambridge Mechatronics Limited Loudspeakers with position tracking
US20120069242A1 (en) * 2010-09-22 2012-03-22 Larry Pearlstein Method and system for active noise cancellation based on remote noise measurement and supersonic transport
CN102592260A (zh) * 2011-12-26 2012-07-18 广州商景网络科技有限公司 证照图像裁剪方法及系统
CN102589571A (zh) * 2012-01-18 2012-07-18 西安交通大学 一种空间三维视觉计算验证方法
CN103761508A (zh) * 2014-01-02 2014-04-30 大连理工大学 一种融合人脸和手势的生物识别方法和系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
张伟: "《基于机器视觉的驾驶人疲劳状态识别关键问题研究》", 《中国优秀博硕士学位论文全文数据库(博士) 工程科技Ⅱ辑》 *
张伟: "《基于机器视觉的驾驶人疲劳状态识别关键问题研究》", 《中国优秀博硕士学位论文全文数据库(博士) 工程科技Ⅱ辑》, no. 04, 15 April 2014 (2014-04-15), pages 87 - 103 *
陈宝峰等: "《基于人脸和人耳的组合生物特征识别方法》", 《2005年全国理论计算机科学学术年会》 *
陈宝峰等: "《基于人脸和人耳的组合生物特征识别方法》", 《2005年全国理论计算机科学学术年会》, 31 August 2005 (2005-08-31), pages 189 - 191 *
霍炬等: "《基于共面特征点的单目视觉位姿测量误差分析》", 《光子学报》 *
霍炬等: "《基于共面特征点的单目视觉位姿测量误差分析》", 《光子学报》, vol. 43, no. 5, 31 May 2014 (2014-05-31), pages 0512003 - 1 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109119060A (zh) * 2018-08-09 2019-01-01 广州小鹏汽车科技有限公司 一种应用于汽车的有源降噪方法及系统
CN110968115A (zh) * 2019-11-20 2020-04-07 杭州友邦演艺设备有限公司 一种舞台反声罩控制方法
CN115211144A (zh) * 2020-01-03 2022-10-18 奥康科技有限公司 助听器系统和方法
WO2022062531A1 (zh) * 2020-09-25 2022-03-31 Oppo广东移动通信有限公司 一种多通道音频信号获取方法、装置及系统
CN112863473A (zh) * 2021-01-08 2021-05-28 中国人民解放军63919部队 一种基于耳廓特征位置自动辨识跟踪的主动降噪装置
WO2023220920A1 (zh) * 2022-05-17 2023-11-23 华为技术有限公司 一种数据处理方法、装置、存储介质和车辆
CN115049216A (zh) * 2022-05-19 2022-09-13 连云港观旭电力节能设备有限公司 一种噪声处理方法及系统
CN115049216B (zh) * 2022-05-19 2023-09-22 连云港观旭电力节能设备有限公司 一种噪声处理方法及系统

Also Published As

Publication number Publication date
US20180220231A1 (en) 2018-08-02
EP3342187B1 (en) 2024-04-03
WO2017058192A1 (en) 2017-04-06
EP3342187A1 (en) 2018-07-04
EP3342187A4 (en) 2019-05-08
US10616681B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
CN108352155A (zh) 抑制环境声
KR102312124B1 (ko) 향상된 오디오를 갖는 디바이스
US9197974B1 (en) Directional audio capture adaptation based on alternative sensory input
JP6493860B2 (ja) 監視制御システム及び監視制御方法
EP2509337A1 (en) Accelerometer vector controlled noise cancelling method
US8390665B2 (en) Apparatus, system and method for video call
US11776555B2 (en) Audio modification using interconnected electronic devices
CN115482830B (zh) 语音增强方法及相关设备
CN114697812A (zh) 声音采集方法、电子设备及系统
US10553196B1 (en) Directional noise-cancelling and sound detection system and method for sound targeted hearing and imaging
JP2009049734A (ja) カメラ付きマイクロフォン、カメラ付きマイクロフォンの制御プログラムおよびテレビ会議システム
US10225670B2 (en) Method for operating a hearing system as well as a hearing system
US11902754B2 (en) Audio processing method, apparatus, electronic device and storage medium
US11581004B2 (en) Dynamic voice accentuation and reinforcement
US20230199380A1 (en) Virtual space connection device
KR101693482B1 (ko) 하울링 및 에코 제거 기능을 갖는 헤드셋
US20220337945A1 (en) Selective sound modification for video communication
GB2563857A (en) Recording and rendering sound spaces
JP2006339869A (ja) 映像信号と音響信号の統合装置
EP3528509B9 (en) Audio data arrangement
EP4184507A1 (en) Headset apparatus, teleconference system, user device and teleconferencing method
US11290599B1 (en) Accelerometer echo suppression and echo gating during a voice communication session on a headphone device
US11810587B2 (en) Noise filtrations based on radar
US20230421945A1 (en) Method and system for acoustic passthrough
JP2023086246A (ja) 通信システム及び通信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination