CN114174860A - 基于雷达的噪声过滤 - Google Patents

基于雷达的噪声过滤 Download PDF

Info

Publication number
CN114174860A
CN114174860A CN201980098811.0A CN201980098811A CN114174860A CN 114174860 A CN114174860 A CN 114174860A CN 201980098811 A CN201980098811 A CN 201980098811A CN 114174860 A CN114174860 A CN 114174860A
Authority
CN
China
Prior art keywords
user
radar
private conversation
microphone
conducting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980098811.0A
Other languages
English (en)
Inventor
A·W·克拉克
林惠玲
C·苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN114174860A publication Critical patent/CN114174860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/563—User guidance or feature selection
    • H04M3/564—User guidance or feature selection whereby the feature is a sub-conference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2242/00—Special services or facilities
    • H04M2242/30—Determination of the location of a subscriber
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/18—Automatic or semi-automatic exchanges with means for reducing interference or noise; with means for reducing effects due to line faults with means for protecting lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics

Abstract

在示例实现方式中，提供了一种装置。所述装置包括麦克风、雷达、存储器、以及与麦克风、雷达和存储器进行通信的处理器。麦克风用于接收音频信号。雷达用于收集关于一位置中的用户的数据。存储器用于存储与进行私下对话相关联的已知身体方位。处理器用于基于与关联于进行私下对话的所述已知身体方位相比的、由雷达收集的数据来确定用户正在进行私下对话，并且过滤由麦克风从与所述用户相关联的方向接收到的与所述私下对话相关联的噪声。

Description

基于雷达的噪声过滤
背景技术
企业使用各种类型的通信和通信设备来改进生产力。一种类型的通信是电话会议。例如，扬声器和麦克风设备可以在具有许多人员的会议室中使用，并且连接到不同地理位置处的另一个设备。这些设备可以允许个体在电话会议中从不同的位置彼此讲话。电话会议可以利用扬声器和麦克风设备来进行，或者利用还可以提供视频图像以及音频的计算机来进行。
附图说明
图1是本公开的具有雷达和噪声过滤的示例装置的框图；
图2是在本公开的会议室中操作的装置的框图；
图3是本公开的雷达图像的示例的框图；
图4是基于本公开的雷达信息的噪声过滤的框图；
图5是用于基于从本公开的雷达收集的数据来生成具有噪声过滤的音频信号的示例方法的流程图；以及
图6是存储指令的示例性非暂时性计算机可读存储介质的框图，该指令由处理器执行以基于从雷达收集的数据来生成具有噪声过滤的音频信号。
具体实施方式
本文中描述的示例提供了一种基于从雷达收集的数据来生成具有噪声过滤的音频信号的装置和方法。如上所指出，一些企业可以使用电话会议来改进生产力。电话会议可能在会议室中具有许多个体，他们正在与另一个位置处的个体讲话。
在一些实例中，会议室中的个体可能会开始与彼此进行私下对话（sideconversation）。私下对话可能会生成附加的噪声，并且使电话会议的另一端上的个体难以听到一个或多个扬声器。私下对话可能是分散注意力的。
本文中的示例提供了一种具有雷达的设备，以检测私下对话何时发生，并且执行噪声过滤以从声音或音频信号中去除私下对话。例如，雷达可以检测身体方位。某些身体方位可以确定人员是在听扬声器还是在与另一个用户进行私下对话。
当雷达信息检测到会议室中的一个或多个个体正在进行私下对话时，可以从所生成的音频信号中过滤掉来自这些个体的噪声或音频。例如，雷达可以收集关于个体在会议室中坐在何处的信息。从所确定的方向收集音频信号的该设备上的麦克风可以被静音，或者由该麦克风收集的音频可以被过滤掉。
该设备可以生成其中过滤掉了私下对话的音频信号。结果，所传输的音频信号可能会更清楚，并且电话会议的另一端上的个体可以更清楚地听到扬声器，而不会由于私下对话而分散注意力。
图1图示了本公开的示例装置100。在一示例中，装置100可以是诸如台式计算机、膝上型计算机、平板计算机等之类的计算设备。在一示例中，装置100可以是电话会议设备。例如，电话会议设备可以是可以被放置在会议室中并且连接到另一个远程定位的电话会议设备以传输和接收音频信号的设备。
在一示例中，装置100可以包括处理器102、存储器104、雷达108和麦克风110。在一个示例中，处理器102可以通信地耦合到存储器104、雷达108和麦克风110。处理器102可以控制雷达108和麦克风110的操作。处理器102还可以执行存储在存储器104中的指令，以执行本文中描述的功能。
在一示例中，存储器104可以是非暂时性计算机可读介质。例如，存储器104可以是硬盘驱动器、固态驱动器、随机存取存储器（RAM）、只读存储器（ROM）等。存储器104可以包括多个存储器设备（例如，硬盘驱动器和RAM）。
在一示例中，存储器104可以存储与进行私下对话106相关联的已知身体方位（本文中也被称为“已知身体方位”106）。已知身体方位106可以被预定义或预先学习。已知身体方位106可以用于确定用户的方位数据是否指示用户是否正在进行私下对话。处理器102然后可以从所生成的音频信号中过滤与私下对话相关联的噪声。
在一示例中，当雷达108随时间在特定位置处收集到用户的更多方位数据时，可以动态地更新已知身体方位106。例如，机器学习或深度学习可以用于随时间针对特定用户组在特定位置处动态地更新已知身体方位106。因此，可以随时间在特定位置处针对特定用户组来定制已知身体方位106。
在一示例中，雷达108可以收集一位置或房间中的一个或多个用户的方位数据。雷达108可以是毫米波检测设备，其可以发射射频（RF）信号并且测量在从对象弹开之后返回的RF信号的响应。尽管使用了毫米波检测设备，但是也可以实现其他类型的雷达设备，诸如光波检测设备或激光雷达。
雷达108可以传输多个RF信号，这些RF信号收集房间中的一个或多个用户的多个方位数据点。由雷达108收集的数据可以包括距雷达108或装置100的距离、用户相对于装置100所坐着的角度、用户的运动向量、用户相对于装置100的方向等。
在一示例中，雷达108可以检测180度上的方位数据。因此，在其中每个人坐在装置100前面的房间中，可以使用单个雷达108。在其中用户坐在装置100周围的房间中，可以背靠背地布置两个雷达108，以获得房间周围360度的所有角度处的用户方位数据。
图3中图示了雷达图像302的示例。如上所指出，雷达108可以传输多个RF信号，该多个RF信号收集多个方位数据点3041至304l（以下也单独被称为方位数据点304或统称为方位数据点304）。在一个示例中，可以基于方位数据点304的平均值来确定用户的方位。例如，用户与距雷达108或装置100的距离可以是方位数据点304中的每一个的距离的平均值。
在一示例中，可以基于方位数据点304的形状来确定用户的方位或姿势。例如，线306上方的方位数据点304可以表示用户的头部。线306下方的方位数据点304可以表示用户的躯干。因此，可以基于用户的头部和躯干的所估计方位来确定用户的方位或姿势。
例如，方位数据点304的某个布置可以指示用户的头部在特定方向上转动。方位数据点304的某个布置可以指示用户的躯干正在远离装置100倾斜或者在特定方向上转动。
还可以基于方位数据点304的布置来估计用户相对于装置100的角度。例如，当用户直接面向装置100时（例如，与相对于装置100的0度相关联），方位数据点304的布置可以具有最大宽度。当用户向左或向右转动他或她的躯干时，该躯干可能会看起来更窄。当用户相对于装置100侧向转动时（例如，与90度相关联），方位数据点304的布置可以具有最小宽度。当用户处于45度时，方位数据点304的布置可以具有在最大宽度与最小宽度之间的宽度。
如上所指出，已知身体方位106可以存储与进行私下对话相关联的已知身体方位。方位数据点304的布置可以与存储在已知身体方位106中的方位（例如，方位数据点304的预定义布置）进行比较。
例如，已知身体方位106可以将相对于装置100以45度或更大角度定位的用户与进行私下对话（例如，该用户朝向另一个用户转动）相关联。在另一个示例中，如果用户的躯干正在远离该装置倾斜并且用户的头部向左或向右转动，则用户可能正在进行私下对话（例如，用户向后倾斜并且与该用户后面的某人讲话）。在另一个示例中，如果躯干向前倾斜并且头部被降低，则用户可能正在进行私下对话（例如，用户正在向下躲闪以避免在该用户进行私下对话时被看到）。本文中描述的示例是与进行私下对话相关联的可能已知身体方位的几个示例。其他示例可能在本公开的范围内。
在一些示例中，已知身体方位106可以存储针对多个用户的已知身体方位。例如，私下对话可能发生在两个用户之间，这两个用户相对于彼此成一定角度、或者在用户之间的距离阈值内。可以将针对两个相邻用户的方位数据点304与已知身体方位106中的针对相邻用户的方位数据点304的预定义布置进行比较，以确定这两个用户是否正在进行私下对话。
此外，在房间中存在多个用户的情况下，可以针对每个用户收集方位数据点304。雷达108还可以收集方向数据。例如，运动向量数据可以指示用户是否正在移动以及用户相对于雷达108被定位在哪个方向上。
如果方位数据点304的布置与已知身体方位106中的预定义布置相匹配，则处理器102可以确定用户正在进行私下对话。处理器102然后可以从所生成的音频信号中过滤掉来自私下对话的噪声。
在一示例中，可以连续地跟踪房间中的用户的方位数据点304。在一示例中，可以周期性地（例如，每10秒、每30秒、每分钟等）跟踪房间中的用户的方位数据点304。
在一示例中，已知身体方位106还可以存储可以与可能产生分散注意力的噪声的其他类型的移动相关联的身体方位。例如，已知身体方位106可以存储与某人离开房间——这可能产生椅子吱吱作响、衣服的沙沙声、门关闭等分散注意力的噪声——相关联的身体方位。已知身体方位106可以存储与某人进食——这可能产生诸如咀嚼声、嘎吱声、包装纸的沙沙声等分散注意力的噪声——相关联的身体方位。
返回参考图1，装置100还可以包括麦克风110。麦克风110可以从装置100位于其中的房间接收音频信号。音频信号可以包括扬声器、或在房间中讲话的任何其他人员的话音。
当在房间中发生私下对话时，与私下对话相关联的噪声和/或话音对于尝试在另一个远程连接的装置100上听到扬声器的收听者可能是分散注意力的。因此，当处理器102确定用户正在进行私下对话时，处理器102可以从音频信号中过滤与私下对话相关联的噪声，该音频信号是从房间中的用户捕获的。换句话说，音频信号可以被修改以去除与检测到的私下对话相关联的语音或噪声。
图4图示了麦克风110的示例。在一个示例中，麦克风110可以包括多个麦克风或麦克风输入4021至402o（以下也单独被称为麦克风402或统称为麦克风402）。每个麦克风402可以负责在相对于麦克风110的中心的特定角度方向上接收音频信号。例如，可以有在麦克风110周围布置的12个麦克风402。每个麦克风402可以与30度覆盖范围相关联。每个麦克风402可以在相应的30度范围内接收来自不同方向4041至4040（以下也被称为方向404或统称为方向404）的音频信号。
在一个示例中，在用户坐在装置100前面的情况下，麦克风402的一半可以用于获得180度覆盖（例如，类似于雷达108）。当用户坐在装置100周围时，所有麦克风402可以用于获得360度覆盖。
如上所指出，处理器102可以确定用户相对于装置100的方向。处理器102然后可以确定覆盖了正在进行私下对话的用户的方向404的麦克风402。例如，用户可能正在从被麦克风4022所覆盖的方向4042上进行私下对话。换句话说，用户的方向可能在麦克风4022所覆盖的角度范围内。换句话说，麦克风4022的角度范围可以包括从其接收与私下对话相关联的噪声的方向。
在一示例中，处理器102可以通过使麦克风4022静音来过滤噪声。因此，可以从处理器102所生成的音频信号中消除来自麦克风4022所覆盖的方向的音频信号。换句话说，处理器102可以基于覆盖了从其检测到进行私下对话的用户的方向的麦克风402来选择性地控制每个麦克风402的操作。
在一示例中，处理器102可以数字地过滤噪声。例如，处理器102可以标识在麦克风4022所覆盖的方向上的用户正在进行私下对话。处理器102然后可以数字地去除由麦克风4022接收到的音频信号。换句话说，麦克风4021至402o可以保持开启，并且处理器102可以从音频信号中数字地去除来自某个麦克风4021至402o的音频信号，以用于作为电话会议的一部分来传输或者传输到另一个远程定位的装置100。在一个示例中，当来自特定麦克风4021至402o的音频信号被过滤掉时，可以生成经修改的音频信号，该经修改的音频信号排除了与私下对话相关联的噪声或语音。
在一示例中，处理器102可以继续从雷达108收集方位数据点304，以确定是否正在发生私下对话。例如，在麦克风4022被静音或者音频信号被数字地去除之后，处理器可以继续分析在麦克风4022所覆盖的方向上的用户的方位数据点304。在稍后的时间处，用户可能停止进行私下对话。结果，处理器102可以将麦克风4022解除静音，或者将麦克风4022接收到的音频信号重新添加到电话会议期间接收到的一个音频信号或多个音频信号。
在一示例中，除了已知身体方位106之外，还可以使用附加特性来确定是否正在发生私下对话。例如，结合已知身体方位106接收到的噪声或语音的音量水平可以用于确定是否正在发生私下对话。例如，私下对话可能比来自在一位置处正在讲话的用户的其他语音具有更低的音量。因此，如果语音或噪声低于音量阈值，并且用户的方位数据点304与已知身体方位106相匹配，则处理器102可以确定正在发生私下对话。
应当注意的是，尽管在图4中通过示例图示了12个麦克风402，但是可以部署任何数量的麦克风。例如，可以针对更大的粒度来部署多于12个麦克风，或者可以针对更低的成本但是更少准确性来部署少于12个麦克风。
返回参考图1，应当注意的是，为了便于解释，装置100已经被简化。例如，装置100可以包括未示出的附加组件，诸如显示器、扬声器、用户界面、输入按钮或控件等。
在一个示例中，已知身体方位106也可以被存储在远程定位的服务器中。可以基于装置100被部署于其中的位置处的实时数据来随时间更新已知身体方位106。远程定位的服务器然后可以将更新的已知身体方位106上传到位于不同位置处的其他装置100。因此，本地存储在装置100处的已知身体方位106可以保持最新，即使不经常在特定位置处使用。
图2图示了在会议室中操作的装置100的示例框图。图2图示了其中装置100面向用户2101至210n（以下也单独被称为用户210或统称为用户210）的布置202、以及其中用户2121至212m（以下也单独被称为用户212或统称为用户212）坐在装置100周围的布置204。
在布置202中，装置100可以朝向会议室的前面被放置在桌子206上。用户210可以坐在装置100的前面并且在雷达108的180度范围内。
在一个示例中，雷达108可以如上所描述的那样收集用户210的方位数据。处理器102可以在用户210坐下之后开始分析由雷达108收集的用户210的方位数据。例如，用户210可以进入房间并且具有由雷达108所测量的指示大于阈值的移动的运动向量。当用户210坐下时，由雷达108收集的方位数据的运动向量可以为零或小于阈值。当运动向量小于阈值时，处理器102可以确定用户210正在坐下。
换句话说，当用户210正在移动时，处理器102可以确定用户210正在进入房间并且会议还没有开始。因此，用户210可以自由地进行不同的私下对话。然而，在用户210坐下之后，处理器102可以确定会议已经开始，并且开始过滤来自私下对话的噪声，以允许针对扬声器生成的音频信号尽可能清楚。
在处理器102确定了用户210正在坐下并且会议开始之后，雷达108可以收集每一个用户2101-210n的方位数据。每个用户2101-210n的方位数据可以与已知身体方位106中的预定义方位进行比较。在稍后的时间处，处理器102可以确定用户2102和2103的方位数据指示当用户2101正在讲话时用户2102和2103正在进行私下对话。
处理器102可以标识覆盖了来自与用户2102和2103相关联的方向的音频信号的麦克风402。在一些示例中，用户2102和2103可以在与多个麦克风402相关联的范围内（例如，麦克风4023可以覆盖与用户2102相关联的方向，并且麦克风4024可以覆盖与用户2103相关联的方向）。处理器102然后可以使所标识的麦克风402静音，或者可以从由处理器102生成的音频信号中数字地去除由所标识的麦克风402接收到的音频信号。
布置204图示了放置在房间中的桌子208上的装置100。用户212可以坐在装置100周围。装置100可以包括背靠背布置的两个雷达1081和1082，以提供装置100周围360度的用户212的方位数据。例如，每个雷达1081和1082可以提供装置100周围的用户方位数据的180度覆盖。
装置100可以在布置204中操作，类似于装置100被描述为如何在布置202中操作。因此，装置100可以过滤与来自坐在该装置周围的用户212或来自坐在装置100前面的用户210的私下对话相关联的噪声。
图5图示了用于基于从本公开的雷达收集的数据来生成具有噪声过滤的音频信号的示例方法500的流程图。在一示例中，方法500可以由图6中图示并在下面讨论的装置100或装置600来执行。
在框502处，方法500开始。在框504处，方法500收集用户的雷达数据以确定用户中的每一个的方位。例如，雷达数据可以由耦合到装置或计算设备的雷达来收集。雷达可以是毫米波检测设备，其朝向对象发射RF信号并且基于返回的RF信号来收集方位数据。方位数据可以包括用户相对于该设备所坐着的角度、与该设备的距离、用户的运动向量、用户相对于该设备的方向等。
在一个示例中，雷达数据可以包括每个用户的多个方位数据点。一些方位数据可以是方位数据点的平均值。例如，用户的距离可以基于用户的每个方位数据点的平均距离。一些方位数据可以基于方位数据点的布置来获得。例如，方位数据点的宽度可以与相对于该装置的角度相关，或者方位数据点的形状可以指示姿势、用户如何倾斜等。
在框506处，方法500将每个用户的方位与关联于进行私下对话的已知身体方位进行比较。例如，存储器可以存储已知为与进行私下对话的用户相关联的方位的身体方位。身体方位可以是方位数据点的预定义布置。身体方位可能针对多个用户。例如，朝向彼此倾斜的两个用户的身体方位、与彼此在预定义距离内的两个用户的身体方位等。
在一示例中，当雷达数据的增量（delta）低于阈值时，可以开始比较。例如，可以跟踪某些雷达数据的增量以确定比较框506应当何时开始。在一示例中，雷达数据可以是用户的运动向量。例如，当两个不同时间点处的用户的运动向量的增量低于阈值时，可以假设用户正在坐下并且会议已经开始。然而，如果运动向量的增量高于阈值，则可以假定用户仍正在走进房间并且会议尚未开始。
在框508处，方法500确定用户正在进行私下对话。例如，当用户或多个用户的方位数据点的布置与已知为与私下对话相关联的方位数据点的预定义布置相匹配时，用户可能正在进行私下对话。作为响应，可以标识覆盖了与进行私下对话的用户相关联的方向的麦克风或多个相邻的麦克风。
在框510处，方法500从音频信号中过滤与私下对话相关联的噪声。在一示例中，可以通过使被标识为覆盖了与进行私下对话的用户相关联的方向的一个或多个麦克风静音来过滤噪声。在一示例中，可以通过从由处理器生成的用于传输的音频信号（例如，房间中的扬声器的音频信号）中去除由所标识的麦克风接收到的音频信号来对噪声进行数字过滤。其中去除了来自私下对话的噪声的经修改的音频信号然后可以作为电话会议的一部分来传输。
在一示例中，可以连续地重复框504-510。结果，所标识的麦克风可以被重新打开，或者由所标识的麦克风接收到的音频信号可以被添加回到当私下对话结束时生成的音频信号。例如，雷达数据可能不再指示用户正在进行私下对话。换句话说，方位数据点的布置可能不再与指示私下对话正在发生的身体方位相关联的方位数据点的预定义布置相匹配。在框512处，方法500结束。
图6图示了装置600的示例。在一示例中，装置600可以是装置100。在一示例中，装置600可以包括处理器602和非暂时性计算机可读存储介质604。非暂时性计算机可读存储介质604可以包括指令606、608、610和612，当由处理器602执行时，这些指令使得处理器602执行各种功能。
在一示例中，指令606可以包括用于确定房间中的用户的移动何时低于阈值的指令。指令608可以包括用于响应于用户的移动低于阈值而收集用户的雷达数据以确定房间中的用户中的每一个的方位的指令。指令610可以包括用于基于用户的方位与关联于进行私下对话的已知身体方位相匹配来确定用户正在进行私下对话的指令。指令612可以包括用于从音频信号中过滤与私下对话相关联的噪声的指令。
将领会的是，上面公开的和其他的特征和功能的变体或其替代方案可以被组合到许多其他不同的系统或应用中。所属领域的技术人员随后可以在其中做出各种目前未预见或未预料到的替代方案、修改、变型或改进，所述替代方案、修改、变型或改进也意图由所附权利要求涵盖。

Claims (15)

1.一种装置，包括：
麦克风，用于接收音频信号；
雷达，用于收集关于一位置中的用户的数据；
存储器，用于存储与进行私下对话相关联的已知身体方位；以及
处理器，与麦克风、雷达和存储器进行通信，其中处理器用于：
基于与关联于进行私下对话的所述已知身体方位相比的、由雷达收集的数据来确定用户正在进行私下对话；以及
过滤由麦克风从与所述用户相关联的方向接收到的与所述私下对话相关联的噪声。
2.根据权利要求1所述的装置，其中雷达包括毫米波检测设备，所述毫米波检测设备在180度的跨度内收集关于用户的数据。
3.根据权利要求2所述的装置，其中雷达包括两个毫米波检测设备，所述两个毫米波检测设备背靠背地布置以在360度的跨度内收集关于用户的数据。
4.根据权利要求1所述的装置，其中所述数据包括用户相对于所述装置所坐着的角度、距所述设备的距离、以及所述用户的运动向量。
5.根据权利要求1所述的装置，其中麦克风包括多个麦克风，其中所述多个麦克风中的每一个与角度范围相关联。
6.根据权利要求1所述的装置，其中处理器用于通过使所述多个麦克风中的一个麦克风静音来过滤掉所述噪声，所述一个麦克风与包括关联于所述用户的方向的角度范围相关联。
7.一种方法，包括：
收集用户的雷达数据以确定用户中的每一个的方位；
将用户中的每一个的方位与关联于进行私下对话的已知身体方位进行比较；
确定用户正在进行私下对话；以及
从音频信号中过滤与所述私下对话相关联的噪声。
8. 根据权利要求7所述的方法，其中所述过滤进一步包括：
从所述雷达数据确定所述用户的方向；以及
确定用于在所述用户的方向上接收音频信号的麦克风。
9.根据权利要求8所述的方法，其中所述过滤包括从所述音频信号中去除所述噪声。
10.根据权利要求8所述的方法，其中所述过滤包括使所述麦克风静音。
11.根据权利要求7所述的方法，其中所述雷达数据包括与所述用户相关联的多个信号，其中所述多个信号提供所述用户的近似身体方位的图像。
12. 根据权利要求7所述的方法，其中所述收集包括：
周期性地跟踪用户的所述雷达数据的增量；以及
确定用户的所述雷达数据的增量低于阈值以开始所述比较。
13.一种利用可由处理器执行的指令编码的非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括：
用于确定房间中的用户的移动何时低于阈值的指令；
用于响应于用户的移动低于阈值而收集用户的雷达数据以确定房间中的用户中的每一个的方位的指令；
用于基于用户的方位与关联于进行私下对话的已知身体方位相匹配来确定所述用户正在进行私下对话的指令；以及
用于从音频信号中过滤与所述私下对话相关联的噪声的指令。
14.根据权利要求13所述的非暂时性计算机可读存储介质，进一步包括：
用于根据所收集的雷达数据来随时间更新与进行私下对话相关联的所述已知身体方位的指令。
15.根据权利要求14所述的非暂时性计算机可读存储介质，其中与进行私下对话相关联的所述已知身体方位被存储在远程定位的服务器中。
CN201980098811.0A 2019-07-26 2019-07-26 基于雷达的噪声过滤 Pending CN114174860A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/043620 WO2021021075A1 (en) 2019-07-26 2019-07-26 Noise filtrations based on radar

Publications (1)

Publication Number Publication Date
CN114174860A true CN114174860A (zh) 2022-03-11

Family

ID=74230440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098811.0A Pending CN114174860A (zh) 2019-07-26 2019-07-26 基于雷达的噪声过滤

Country Status (5)

Country Link
US (1) US11810587B2 (zh)
EP (1) EP4004593A4 (zh)
CN (1) CN114174860A (zh)
TW (1) TWI775119B (zh)
WO (1) WO2021021075A1 (zh)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625684A (en) 1993-02-04 1997-04-29 Local Silence, Inc. Active noise suppression system for telephone handsets and method
ATE491503T1 (de) * 2005-05-05 2011-01-15 Sony Computer Entertainment Inc Videospielsteuerung mittels joystick
US8538492B2 (en) 2007-08-31 2013-09-17 Centurylink Intellectual Property Llc System and method for localized noise cancellation
US8594845B1 (en) * 2011-05-06 2013-11-26 Google Inc. Methods and systems for robotic proactive informational retrieval from ambient context
US9973848B2 (en) * 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US20130058496A1 (en) 2011-09-07 2013-03-07 Nokia Siemens Networks Us Llc Audio Noise Optimizer
US9746916B2 (en) * 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US9747917B2 (en) 2013-06-14 2017-08-29 GM Global Technology Operations LLC Position directed acoustic array and beamforming methods
KR20150125264A (ko) 2014-04-30 2015-11-09 엘지전자 주식회사 이동단말기 및 그 제어방법
US10350757B2 (en) * 2015-08-31 2019-07-16 Avaya Inc. Service robot assessment and operation
CN108352155A (zh) * 2015-09-30 2018-07-31 惠普发展公司，有限责任合伙企业 抑制环境声
CN106371569A (zh) * 2015-10-22 2017-02-01 北京智谷睿拓技术服务有限公司 动作识别方法及动作识别装置
US9922635B2 (en) 2016-03-30 2018-03-20 Lenovo (Singapore) Pte. Ltd. Minimizing nuisance audio in an interior space
WO2018143979A1 (en) 2017-02-01 2018-08-09 Hewlett-Packard Development Company, L.P. Adaptive speech intelligibility control for speech privacy
US11114115B2 (en) 2017-02-15 2021-09-07 Hewlett-Packard Deveopment Company, L.P. Microphone operations based on voice characteristics
US10049652B1 (en) 2017-03-31 2018-08-14 Intel Corporation Multi-function apparatus with analog audio signal augmentation technology
TWI649576B (zh) 2017-06-19 2019-02-01 佐臻股份有限公司 可分辨聲源方位以提升接收效果的收音裝置
WO2019079855A1 (en) 2017-10-26 2019-05-02 ResMed Pty Ltd DETECTION AND MONITORING OF BODY ORIENTATION
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
CN109120790B (zh) 2018-08-30 2021-01-15 Oppo广东移动通信有限公司 通话控制方法、装置、存储介质及穿戴式设备

Also Published As

Publication number Publication date
US20220148610A1 (en) 2022-05-12
EP4004593A1 (en) 2022-06-01
TW202120953A (zh) 2021-06-01
EP4004593A4 (en) 2023-03-29
WO2021021075A1 (en) 2021-02-04
TWI775119B (zh) 2022-08-21
US11810587B2 (en) 2023-11-07

Similar Documents

Publication Publication Date Title
US10122972B2 (en) System and method for localizing a talker using audio and video information
EP2953348B1 (en) Determination, display, and adjustment of best sound source placement region relative to microphone
US10491809B2 (en) Optimal view selection method in a video conference
EP1621017B1 (en) An arrangement and method for audio source tracking
US10616681B2 (en) Suppressing ambient sounds
US9197974B1 (en) Directional audio capture adaptation based on alternative sensory input
US9084062B2 (en) Conversation detection apparatus, hearing aid, and conversation detection method
EP2320676A1 (en) Method, communication device and communication system for controlling sound focusing
KR20200009035A (ko) 상관 기반 근접장 검출기
CN115482830B (zh) 语音增强方法及相关设备
US20240096343A1 (en) Voice quality enhancement method and related device
US11128962B2 (en) Grouping of hearing device users based on spatial sensor input
TWI775119B (zh) 用於雜音過濾之設備與方法及相關聯非暫時性電腦可讀儲存媒體
US20220337945A1 (en) Selective sound modification for video communication
EP4184507A1 (en) Headset apparatus, teleconference system, user device and teleconferencing method
US20230419943A1 (en) Devices, methods, systems, and media for spatial perception assisted noise identification and cancellation
WO2023125537A1 (zh) 声音信号处理方法、装置、设备及存储介质
CN108141694B (zh) 音频设备中的回放管理的事件检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination