CN108200515A - 多波束会议拾音系统及方法 - Google Patents

多波束会议拾音系统及方法 Download PDF

Info

Publication number
CN108200515A
CN108200515A CN201711485910.3A CN201711485910A CN108200515A CN 108200515 A CN108200515 A CN 108200515A CN 201711485910 A CN201711485910 A CN 201711485910A CN 108200515 A CN108200515 A CN 108200515A
Authority
CN
China
Prior art keywords
sound pick
sound
region
circle
takes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711485910.3A
Other languages
English (en)
Other versions
CN108200515B (zh
Inventor
浦宏杰
鄢仁祥
曹李军
陈卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201711485910.3A priority Critical patent/CN108200515B/zh
Publication of CN108200515A publication Critical patent/CN108200515A/zh
Application granted granted Critical
Publication of CN108200515B publication Critical patent/CN108200515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本发明提供了一种多波束会议拾音系统及方法，系统包括摄像头、控制设备和拾音器，其中：摄像头采集拾音场所的俯视图像；控制设备显示拾音场所的俯视图像，识别拾音器的位置；控制设备获取用户在俯视图像中的圈取动作，根据圈取动作的类型确定对应的圈取区域的类型；控制设备分别计算各个圈取区域相对于拾音器的相对位置；拾音器根据各个圈取区域的相对位置处理输入音频。本发明通过采用摄像头获取拾音场所的俯视图像，并展示给用户，用户可以自己在图像中圈取拾音区域和降噪区域，用户可以自定义拾音区域、降噪区域以及圈取区域的大小，操作更加方便，在拾音的过程中同时对突出的潜在噪声干扰源进行降噪，拾音效果更加贴合实际需求。

Description

多波束会议拾音系统及方法
技术领域
本发明涉及音频处理技术领域，尤其涉及一种多波束会议拾音系统及方法。
背景技术
随着信息时代的到来，计算机多媒体技术的迅猛发展，网络技术的普遍应用，各种会议的进行对多媒体音频的要求越来越高。现有技术中的会议拾音方案中，往往仅采用单纯的降噪方案，对声音进行滤波等简单处理。然而采用该种方式，无法很好地区分音源，也无法针对性地对需要降噪的位置进行合理降噪，无法获得很好的会议拾音效果。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种多波束会议拾音系统及方法，用户可以自行定义拾音区域和降噪区域，有针对性地对拾音区域的声源进行增强，对降噪区域的声源进行抑制。
本发明实施例提供一种多波束会议拾音方法，包括摄像头、控制设备和拾音器，其中：
所述摄像头采集拾音场所的俯视图像，并发送至所述控制设备；
所述控制设备显示所述拾音场所的俯视图像，识别所述拾音器的位置；
所述控制设备获取用户在所述俯视图像中的圈取动作，根据所述圈取动作的类型确定对应的圈取区域的类型，其中，第一类圈取动作的圈取区域为拾音区域，第二类圈取动作的圈取区域为降噪区域；
所述控制设备分别计算各个所述圈取区域相对于所述拾音器的相对位置，并发送至所述拾音器；
所述拾音器根据各个所述圈取区域的相对位置处理输入音频，对所述拾音区域对应的声源进行增强，对所述降噪区域对应的声源进行抑制。
可选地，所述第一类圈取动作为沿顺时针方向圈取一区域，所述第二类圈取动作为逆时针方向圈取一区域；或所述第一类圈取动作为逆时针方向圈取一区域，所述第二类圈取动作为顺时针圈取一区域。
可选地，所述拾音器的表面设置有至少两个特征点，所述控制设备于所述拾音场所的俯视图像中识别所述拾音器的特征点，并根据所述拾音器的特征点的连线方向确定所述拾音器所处位置和基准指向。
可选地，所述拾音器的表面设置有两个特征点：中心特征点和边缘特征点，所述拾音器的0°指向基准角为：
其中，(xc,yc)为所述拾音器的中心特征点的坐标，(xe,ye)为所述边缘特征点的坐标。
可选地，所述拾音器上设置有移动侦测传感器，所述移动侦测传感器检测到移动信号时发送至所述拾音器，所述拾音器通知所述控制设备重新识别所述拾音器的特征点，重新确定所述拾音器所处位置和基准指向，并重新确定各个所述圈取区域相对于所述拾音器的相对位置，所述拾音器根据重新确定的各个所述圈取区域的相对位置处理输入音频。
可选地，所述拾音器的特征点处设置有发光件，所述发光件具有两种发光状态；
所述拾音器初始化时，所述发光件为第一发光状态，所述拾音器获取到所述圈取区域的相对位置后，使所述发光件进入第二发光状态；
所述拾音器获取到移动信号时，控制所述发光件重新进入第一发光状态；
所述控制设备识别到所述发光件处于第一发光状态时，识别所述拾音器的特征点，定义所述拾音器的指向基准方向，并计算各个圈取区域相对于所述拾音器的相对位置。
可选地，所述拾音器为包括多个单指向性麦克风的可变指向数字拾音器或包括多个全指向性麦克风的多波束阵列数字拾音器。
可选地，所述拾音器为可变指向数字拾音器时，所述圈取区域相对于所述拾音器的相对位置包括所述拾音区域相对于所述拾音器的指向角和所述降噪区域相对于所述拾音器的指向角；
所述拾音器根据各个所述圈取区域的相对位置处理输入音频，包括：所述拾音器基于指向性阵元的子带差分算法处理输入的音频，对与所述拾音区域最接近的声源进行增强，与所述降噪区域最接近的声源进行抑制。
可选地，所述圈取区域相对于所述拾音器的相对位置还包括所述拾音区域相对于所述拾音器的张角和所述降噪区域相对于所述拾音器的张角；
所述拾音器根据各个所述圈取区域的相对位置处理输入音频，还包括：所述拾音器根据所述拾音区域的张角和所述降噪区域的张角选择拾音的波束宽度，以与所述拾音区域的张角和所述降噪区域的张角相适应。
可选地，所述拾音器为多波束阵列数字拾音器时，所述圈取区域相对于所述拾音器的相对位置包括所述拾音区域相对于所述拾音器的指向角和张角以及所述降噪区域相对于所述拾音器的指向角和张角；
所述拾音器根据各个所述圈取区域的相对位置处理输入音频，包括：所述拾音器根据所述圈取区域的相对位置进行波束构型，每个波束的指向角为对应的拾音区域的指向角，每个波束的零陷角包括的两个角度以及所有降噪区域的指向角，其中，θ为与所对应拾音区域的指向角，为与所对应拾音区域的张角，K为预设的束宽控制参数。
本发明实施例还提供一种多波束会议拾音方法，其特征在于，采用所述的多波束会议拾音系统，所述方法包括如下步骤：
所述摄像头采集拾音场所的俯视图像，并发送至所述控制设备；
所述控制设备显示所述拾音场所的俯视图像，识别所述拾音器的位置；
所述控制设备获取用户在所述俯视图像中的圈取动作，根据所述圈取动作的类型确定对应的圈取区域的类型，其中，第一类圈取动作的圈取区域为拾音区域，第二类圈取动作的圈取区域为降噪区域；
所述控制设备分别计算各个所述圈取区域相对于所述拾音器的相对位置，并发送至所述拾音器；
所述拾音器根据各个所述圈取区域的相对位置处理输入音频，对所述拾音区域对应的声源进行增强，对所述降噪区域对应的声源进行抑制。
本发明所提供的多波束会议拾音系统及方法具有下列优点：
本发明通过采用摄像头获取拾音场所的俯视图像，并展示给用户，用户可以自己在图像中圈取拾音区域和降噪区域，通过识别用户不同的圈取动作可以进行不同区域的区分，并且计算圈取区域相对于拾音器的相对位置，拾音器可以根据拾音区域和降噪区域的相对位置进行音频处理，得到对拾音区域的声音增强，对降噪区域的声音抑制的音频；用户可以自定义拾音区域、降噪区域以及圈取区域的大小，操作更加方便，在拾音的过程中同时对突出的潜在噪声干扰源进行降噪，拾音效果更加贴合实际需求。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的多波束会议拾音系统的结构示意图；
图2是本发明一实施例的多波束会议拾音方法的流程图；
图3是本发明一实施例的手持控制设备中拾音区域和降噪区域圈取方式的示意图；
图4是本发明一实施例的圈取区域角度转换示意图；
图5是本发明另一实施例的数字麦克风波束虚拟通道指向性示意图；
图6是本发明的多波束会议拾音方法应用于具体实例的流程图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，本发明实施例提供一种多波束会议拾音系统，包括摄像头100、控制设备300和拾音器200。在该实施例中，摄像头100为吸顶式广角数字摄像头，用于采集拾音场所的俯视图；控制设备300为手持式控制设备，用于对拾音区域进行控制；拾音器200为数字麦克风拾音器，用于声音的采集，由多个麦克风按特定方式排列而成，各麦克风拾取声音信号后经处理后输出。摄像头100、控制设备300和拾音器200之间可以通过无线射频网络进行数据传输。
如图2所示，本发明实施例提供一种多波束会议拾音方法，采用所述的多波束会议拾音系统，所述方法包括如下步骤：
S100：所述摄像头采集拾音场所的俯视图像，并发送至所述控制设备；
S200：所述控制设备显示所述拾音场所的俯视图像，识别所述拾音器的位置；控制设备界面包括如下关键因素：与会人员(潜在发言人)、声音回放设备(此处为电视机扬声器)、室内噪声设备(如空调等)，室外噪声源。
S300：所述控制设备获取用户在所述俯视图像中的圈取动作，根据所述圈取动作的类型确定对应的圈取区域的类型，其中，第一类圈取动作的圈取区域为拾音区域，第二类圈取动作的圈取区域为降噪区域；此处控制设备可以是手持式控制设备，方便用户拿在手中，直接进行圈取操作。例如，控制设备可以是具有触摸屏的手机、平板电脑等，可以与摄像头以及拾音器进行无线通信以交互数据，并且可以获取用户的手动操作；
S400：所述控制设备分别计算各个所述圈取区域相对于所述拾音器的相对位置，并发送至所述拾音器；
S500：所述拾音器根据各个所述圈取区域的相对位置处理输入音频，对所述拾音区域对应的声源进行增强，对所述降噪区域对应的声源进行抑制。
所述拾音器可以为包括多个单指向性麦克风的可变指向数字拾音器，多个麦克风可以为心形或超心形单指向性麦克风按不同朝向组合排列；也可以为包括多个全指向性麦克风的多波束阵列数字拾音器，多个全指向性麦克风按照特定排列构成阵列。多个麦克风的声音信号经过数字信号处理器，可以单个麦克风直接输出、指向不同区域的单波束虚拟通道输出及任意两个及以上虚拟通道混音输出。
如图3所示，为本发明一实施例的手持控制设备中拾音区域和降噪区域圈取方式的示意图。图中以拾音场所的俯视图作为操作背景，用户可以通过顺时针圈取拾音区域，逆时针圈取干扰噪声源区域。
在该实施例中，所述第一类圈取动作为沿顺时针方向圈取一区域，所述第二类圈取动作为逆时针方向圈取一区域；或所述第一类圈取动作为逆时针方向圈取一区域，所述第二类圈取动作为顺时针圈取一区域。在实际应用中，也可以采用其他的圈取动作设定，圈取的区域形状和大小也可以由用户根据需要设定，只要能够将拾音区域和降噪区域区分开来即可。例如，设定画圆形区域为拾音区域，画方形区域为降噪区域等等。
为了定位拾音器的指向基准方向，所述拾音器的表面设置有至少两个特征点，所述控制设备于所述拾音场所的俯视图像中识别所述拾音器的特征点，并根据所述拾音器的特征点的连线方向确定所述拾音器的指向基准方向。
如图4所示，在圈取图层中，各个圈取区域定义为{x,y|(x,y)∈Ω}，以拾音器中心特征点(xc,yc)与各圈取区域求切线，获得指向角和张角。在图3中，角度a即为拾音区域相对于拾音器的张角的1/2，角度b即为拾音区域相对于拾音器的指向角，即拾音区域的中心与拾音器中心的连线与拾音器指向基准方向m之间的夹角。此处a为12.4°，b为18.4°。
如图4所示，在该实施例中，所述拾音器的表面设置有两个特征点：：中心特征点和边缘特征点，所述拾音器的0°指向基准角为：
其中，(xc,yc)为所述拾音器的中心特征点的坐标，(xe,ye)为所述拾音器的边缘特征点的坐标，在图4中，连线m的方向即为拾音器的指向基准方向。
进一步地，在该实施例中，所述拾音器上设置有移动侦测传感器，所述移动侦测传感器检测到移动信号时发送至所述拾音器，所述拾音器通知所述控制设备重新识别所述拾音器的特征点，并重新定义所述拾音器的指向基准方向。
所述拾音器通知所述控制设备重新识别特征点可以是通过数据传输，将重新定位信号发送至所述控制设备，也可以是通过闪光的方式通知控制设备。例如，所述拾音器的特征点处设置有双色发光二极管；
所述拾音器初始化时，所述发光二极管点亮，所述控制设备获取到发光信号时即进行拾音器的基准定位。所述拾音器获取到所述圈取区域的相对位置后，使关闭所述发光二极管；
所述拾音器获取到移动侦测传感器发送的移动信号时，控制所述发光二极管重新点亮；所述控制设备识别到所述发光信号时，重新识别所述拾音器的特征点，重新定义所述拾音器的指向基准方向，并计算各个圈取区域相对于所述拾音器的相对位置，并发送至所述拾音器。
对于不同类型的拾音器，对圈取区域的位置数据的需求不同。当所述拾音器为可变指向数字拾音器时，所述圈取区域相对于所述拾音器的相对位置包括所述拾音区域相对于所述拾音器的指向角和所述降噪区域相对于所述拾音器的指向角。
在该实施例中，可变指向数字拾音器的旋转角度可以预先设定，例如预设360°范围内每隔10°旋转的心形/超心形指向。选取其中与拾音区域及降噪区域的多个指向角最接近的波束，调用双麦/多麦降噪算法对潜在声源进行增强，对干扰声源进行抑制，获得多个拾音区域的虚拟通道输出。此处双麦/多麦降噪算法可以是现有技术中已有的基于多麦的子带差分降噪算法或多麦自适应滤波降噪算法。例如硕士论文“《一种双麦克风自适应语音降噪算法研究与实现》，作者吴继忠，北京大学”中的方法，采用其他的降噪算法也是可以的。
进一步地，所述圈取区域相对于所述拾音器的相对位置还可以包括所述拾音区域相对于所述拾音器的张角和所述降噪区域相对于所述拾音器的张角；所述拾音器根据所述拾音区域的张角和所述降噪区域的张角选择拾音的波束宽度。例如，在该实施例中，拾音区域的张角为25°，则可以设置可变指向数字拾音器在360°范围内每隔20°旋转，以与所述拾音区域的张角和所述降噪区域的张角相适应
在另一实施例中，所述拾音器为多波束阵列数字拾音器时，所述圈取区域相对于所述拾音器的相对位置包括所述拾音区域相对于所述拾音器的指向角和张角以及所述降噪区域相对于所述拾音器的指向角和张角。
如图5所示，所述拾音器根据各个所述圈取区域的相对位置处理输入音频，包括：所述拾音器根据所述降噪区域的指向角和张角计算得到波束零陷角：
其中，θ为与所述降噪区域对应的指向角，为与所述降噪区域对应的张角，K为预设的束宽控制参数。
在处理所述拾音器根据所述拾音区域的指向角和张角进行波束构型，并根据所述波束零陷角对构型得到的波束进行约束。
在图5中，角度c为16.9°，角度d为26.9°。朝向拾音区域的波束即为构型和约束后的波束。波束构型的方法可以采用现有技术中波束构型的方式，多个拾音区域的虚拟通道输出，通过智能混音器，合并为单通道输出。例如可以参照“《麦克风阵列信号处理》，JacobBenesty著，邹霞等译，国防工业出版社”。
如图6所示，为本发明的多波束会议拾音方法应用于具体实例的流程图。首先系统初始化，默认工作于全向拾音状态。控制设备识别拾音器的特征点，设定拾音器基准0°。摄像头获取俯视图像，并呈现在控制设备的界面上。控制设备获取用户圈取的拾音区域和降噪区域。控制设备采用切线法求圈取区域的张角和指向角。对于不同的拾音器类型，会采用不同的方法结合圈取区域的张角和指向角对各声源进行增强后作为虚拟音频通道，然后对虚拟通道进行智能混音，最终输出混音后的音频。在拾音器工作过程中，如果发生了移动，控制设备会重新设定拾音器基准0°，并重新采用切线法求圈取区域的张角和指向角，进而自动更新波束指向以保持拾音区域不变。
与现有技术相比，本发明通过采用摄像头获取拾音场所的俯视图像，并展示给用户，用户可以自己在图像中圈取拾音区域和降噪区域，通过识别用户不同的圈取动作可以进行不同区域的区分，并且计算圈取区域相对于拾音器的相对位置，拾音器可以根据拾音区域和降噪区域的相对位置进行音频处理，得到对拾音区域的声音增强，对降噪区域的声音抑制的音频；用户可以自定义拾音区域、降噪区域以及圈取区域的大小，操作更加方便，在拾音的过程中同时对突出的潜在噪声干扰源进行降噪，拾音效果更加贴合实际需求。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1.一种多波束会议拾音系统，其特征在于，包括摄像头、控制设备和拾音器，其中：
所述摄像头采集拾音场所的俯视图像，并发送至所述控制设备；
所述控制设备显示所述拾音场所的俯视图像，识别所述拾音器的位置；
所述控制设备获取用户在所述俯视图像中的圈取动作，根据所述圈取动作的类型确定对应的圈取区域的类型，其中，第一类圈取动作的圈取区域为拾音区域，第二类圈取动作的圈取区域为降噪区域；
所述控制设备分别计算各个所述圈取区域相对于所述拾音器的相对位置，并发送至所述拾音器；
所述拾音器根据各个所述圈取区域的相对位置处理输入音频，对所述拾音区域对应的声源进行增强，对所述降噪区域对应的声源进行抑制。
2.根据权利要求1所述的多波束会议拾音系统，其特征在于，所述第一类圈取动作为沿顺时针方向圈取一区域，所述第二类圈取动作为逆时针方向圈取一区域；或所述第一类圈取动作为逆时针方向圈取一区域，所述第二类圈取动作为顺时针圈取一区域。
3.根据权利要求1所述的多波束会议拾音系统，其特征在于，所述拾音器的表面设置有至少两个特征点，所述控制设备于所述拾音场所的俯视图像中识别所述拾音器的特征点，并根据所述拾音器的特征点的连线方向确定所述拾音器所处位置和基准指向。
4.根据权利要求3所述的多波束会议拾音系统，其特征在于，所述拾音器的表面设置有两个特征点：中心特征点和边缘特征点，所述拾音器的0°指向基准角为：
其中，(xc,yc)为所述拾音器的中心特征点的坐标，(xe,ye)为所述边缘特征点的坐标。
5.根据权利要求3所述的多波束会议拾音系统，其特征在于，所述拾音器上设置有移动侦测传感器，所述移动侦测传感器检测到移动信号时发送至所述拾音器，所述拾音器通知所述控制设备重新识别所述拾音器的特征点，重新确定所述拾音器所处位置和基准指向，并重新确定各个所述圈取区域相对于所述拾音器的相对位置，所述拾音器根据重新确定的各个所述圈取区域的相对位置处理输入音频。
6.根据权利要求5所述的多波束会议拾音系统，其特征在于，所述拾音器的特征点处设置有发光件，所述发光件具有两种发光状态；
所述拾音器初始化时，所述发光件为第一发光状态，所述拾音器获取到所述圈取区域的相对位置后，使所述发光件进入第二发光状态；
所述拾音器获取到移动信号时，控制所述发光件重新进入第一发光状态；
所述控制设备识别到所述发光件处于第一发光状态时，识别所述拾音器的特征点，定义所述拾音器的指向基准方向，并计算各个圈取区域相对于所述拾音器的相对位置。
7.根据权利要求1所述的多波束会议拾音系统，其特征在于，所述拾音器为包括多个单指向性麦克风的可变指向数字拾音器或包括多个全指向性麦克风的多波束阵列数字拾音器。
8.根据权利要求1所述的多波束会议拾音系统，其特征在于，所述拾音器为可变指向数字拾音器时，所述圈取区域相对于所述拾音器的相对位置包括所述拾音区域相对于所述拾音器的指向角和所述降噪区域相对于所述拾音器的指向角；
所述拾音器根据各个所述圈取区域的相对位置处理输入音频，包括：所述拾音器基于指向性阵元的子带差分算法处理输入的音频，对与所述拾音区域最接近的声源进行增强，与所述降噪区域最接近的声源进行抑制。
9.根据权利要求8所述的多波束会议拾音系统，其特征在于，所述圈取区域相对于所述拾音器的相对位置还包括所述拾音区域相对于所述拾音器的张角和所述降噪区域相对于所述拾音器的张角；
所述拾音器根据各个所述圈取区域的相对位置处理输入音频，还包括：所述拾音器根据所述拾音区域的张角和所述降噪区域的张角选择拾音的波束宽度，以与所述拾音区域的张角和所述降噪区域的张角相适应。
10.根据权利要求1所述的多波束会议拾音系统，其特征在于，所述拾音器为多波束阵列数字拾音器时，所述圈取区域相对于所述拾音器的相对位置包括所述拾音区域相对于所述拾音器的指向角和张角以及所述降噪区域相对于所述拾音器的指向角和张角；
所述拾音器根据各个所述圈取区域的相对位置处理输入音频，包括：所述拾音器根据所述圈取区域的相对位置进行波束构型，每个波束的指向角为对应的拾音区域的指向角，每个波束的零陷角包括的两个角度以及所有降噪区域的指向角，其中，θ为与所对应拾音区域的指向角，为与所对应拾音区域的张角，K为预设的束宽控制参数。
11.一种多波束会议拾音方法，其特征在于，采用权利要求1至10中任一项所述的多波束会议拾音系统，所述方法包括如下步骤：
所述摄像头采集拾音场所的俯视图像，并发送至所述控制设备；
所述控制设备显示所述拾音场所的俯视图像，识别所述拾音器的位置；
所述控制设备获取用户在所述俯视图像中的圈取动作，根据所述圈取动作的类型确定对应的圈取区域的类型，其中，第一类圈取动作的圈取区域为拾音区域，第二类圈取动作的圈取区域为降噪区域；
所述控制设备分别计算各个所述圈取区域相对于所述拾音器的相对位置，并发送至所述拾音器；
所述拾音器根据各个所述圈取区域的相对位置处理输入音频，对所述拾音区域对应的声源进行增强，对所述降噪区域对应的声源进行抑制。
CN201711485910.3A 2017-12-29 2017-12-29 多波束会议拾音系统及方法 Active CN108200515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711485910.3A CN108200515B (zh) 2017-12-29 2017-12-29 多波束会议拾音系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711485910.3A CN108200515B (zh) 2017-12-29 2017-12-29 多波束会议拾音系统及方法

Publications (2)

Publication Number Publication Date
CN108200515A true CN108200515A (zh) 2018-06-22
CN108200515B CN108200515B (zh) 2021-01-22

Family

ID=62586908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711485910.3A Active CN108200515B (zh) 2017-12-29 2017-12-29 多波束会议拾音系统及方法

Country Status (1)

Country Link
CN (1) CN108200515B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166898A (zh) * 2019-05-20 2019-08-23 南京南方电讯有限公司 一种高保真远传输的阵列麦克风
CN112351248A (zh) * 2020-10-20 2021-02-09 杭州海康威视数字技术股份有限公司 一种关联图像数据和声音数据的处理方法
WO2021143656A1 (zh) * 2020-01-16 2021-07-22 华为技术有限公司 立体声拾音方法、装置、终端设备和计算机可读存储介质
CN113345462A (zh) * 2021-05-17 2021-09-03 浪潮金融信息技术有限公司 一种拾音去噪方法、系统及介质
TWI751866B (zh) * 2020-12-29 2022-01-01 仁寶電腦工業股份有限公司 影音通訊系統及其控制方法
CN115881151A (zh) * 2023-01-04 2023-03-31 广州市森锐科技股份有限公司 一种基于高拍仪的双向拾音消噪方法、装置、设备及介质
WO2023125537A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 声音信号处理方法、装置、设备及存储介质
WO2024001341A1 (zh) * 2022-06-28 2024-01-04 华为技术有限公司 声音处理方法及相关系统、存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101297587A (zh) * 2006-04-21 2008-10-29 雅马哈株式会社 拾音装置和语音会议设备
CN201216024Y (zh) * 2008-03-26 2009-04-01 上海华平信息技术股份有限公司 一种带有主席功能的麦克风组装置
CN101518049A (zh) * 2006-12-19 2009-08-26 雅马哈株式会社 视频会议装置
JP2009294866A (ja) * 2008-06-04 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> 発話関連情報提示装置及び方法
US20110135102A1 (en) * 2009-12-04 2011-06-09 Hsin-Chieh Huang Method, computer readable storage medium and system for localizing acoustic source
CN102137318A (zh) * 2010-01-22 2011-07-27 华为终端有限公司 拾音控制方法和装置
JP2013016929A (ja) * 2011-06-30 2013-01-24 Brother Ind Ltd 撮像装置、撮像方法およびプログラム
CN103310411A (zh) * 2012-09-25 2013-09-18 中兴通讯股份有限公司 一种图像局部增强方法和装置
CN103856869A (zh) * 2014-03-12 2014-06-11 深圳市中兴移动通信有限公司 音效处理方法和摄像装置
CN103873977A (zh) * 2014-03-19 2014-06-18 惠州Tcl移动通信有限公司 基于多麦克风阵列波束成形的录音系统及其实现方法
CN104599674A (zh) * 2014-12-30 2015-05-06 西安乾易企业管理咨询有限公司 一种摄像中定向录音的系统及方法
CN105592268A (zh) * 2016-03-03 2016-05-18 苏州科达科技股份有限公司 视频会议系统、处理装置及视频会议方法
CN105706444A (zh) * 2016-01-18 2016-06-22 王晓光 一种视频网络的图像追踪方法及系统
CN105812969A (zh) * 2014-12-31 2016-07-27 展讯通信（上海）有限公司 一种拾取声音信号的方法、系统及装置
US20160234593A1 (en) * 2015-02-06 2016-08-11 Panasonic Intellectual Property Management Co., Ltd. Microphone array system and microphone array control method
CN105915798A (zh) * 2016-06-02 2016-08-31 北京小米移动软件有限公司 视频会议中摄像头的控制方法和控制装置
WO2016183791A1 (zh) * 2015-05-19 2016-11-24 华为技术有限公司 一种语音信号处理方法及装置
CN106664484A (zh) * 2014-07-03 2017-05-10 高通股份有限公司 单声道或多声道音频控制接口

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101297587A (zh) * 2006-04-21 2008-10-29 雅马哈株式会社 拾音装置和语音会议设备
CN101518049A (zh) * 2006-12-19 2009-08-26 雅马哈株式会社 视频会议装置
CN201216024Y (zh) * 2008-03-26 2009-04-01 上海华平信息技术股份有限公司 一种带有主席功能的麦克风组装置
JP2009294866A (ja) * 2008-06-04 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> 発話関連情報提示装置及び方法
US20110135102A1 (en) * 2009-12-04 2011-06-09 Hsin-Chieh Huang Method, computer readable storage medium and system for localizing acoustic source
CN102137318A (zh) * 2010-01-22 2011-07-27 华为终端有限公司 拾音控制方法和装置
JP2013016929A (ja) * 2011-06-30 2013-01-24 Brother Ind Ltd 撮像装置、撮像方法およびプログラム
CN103310411A (zh) * 2012-09-25 2013-09-18 中兴通讯股份有限公司 一种图像局部增强方法和装置
CN103856869A (zh) * 2014-03-12 2014-06-11 深圳市中兴移动通信有限公司 音效处理方法和摄像装置
CN103873977A (zh) * 2014-03-19 2014-06-18 惠州Tcl移动通信有限公司 基于多麦克风阵列波束成形的录音系统及其实现方法
CN106664484A (zh) * 2014-07-03 2017-05-10 高通股份有限公司 单声道或多声道音频控制接口
CN104599674A (zh) * 2014-12-30 2015-05-06 西安乾易企业管理咨询有限公司 一种摄像中定向录音的系统及方法
CN105812969A (zh) * 2014-12-31 2016-07-27 展讯通信（上海）有限公司 一种拾取声音信号的方法、系统及装置
US20160234593A1 (en) * 2015-02-06 2016-08-11 Panasonic Intellectual Property Management Co., Ltd. Microphone array system and microphone array control method
WO2016183791A1 (zh) * 2015-05-19 2016-11-24 华为技术有限公司 一种语音信号处理方法及装置
CN105706444A (zh) * 2016-01-18 2016-06-22 王晓光 一种视频网络的图像追踪方法及系统
CN105592268A (zh) * 2016-03-03 2016-05-18 苏州科达科技股份有限公司 视频会议系统、处理装置及视频会议方法
CN105915798A (zh) * 2016-06-02 2016-08-31 北京小米移动软件有限公司 视频会议中摄像头的控制方法和控制装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166898A (zh) * 2019-05-20 2019-08-23 南京南方电讯有限公司 一种高保真远传输的阵列麦克风
CN110166898B (zh) * 2019-05-20 2021-03-30 南京南方电讯有限公司 一种高保真远传输的阵列麦克风
WO2021143656A1 (zh) * 2020-01-16 2021-07-22 华为技术有限公司 立体声拾音方法、装置、终端设备和计算机可读存储介质
CN112351248A (zh) * 2020-10-20 2021-02-09 杭州海康威视数字技术股份有限公司 一种关联图像数据和声音数据的处理方法
TWI751866B (zh) * 2020-12-29 2022-01-01 仁寶電腦工業股份有限公司 影音通訊系統及其控制方法
US11501790B2 (en) 2020-12-29 2022-11-15 Compal Electronics, Inc. Audiovisual communication system and control method thereof
CN113345462A (zh) * 2021-05-17 2021-09-03 浪潮金融信息技术有限公司 一种拾音去噪方法、系统及介质
CN113345462B (zh) * 2021-05-17 2023-12-29 浪潮金融信息技术有限公司 一种拾音去噪方法、系统及介质
WO2023125537A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 声音信号处理方法、装置、设备及存储介质
WO2024001341A1 (zh) * 2022-06-28 2024-01-04 华为技术有限公司 声音处理方法及相关系统、存储介质
CN115881151A (zh) * 2023-01-04 2023-03-31 广州市森锐科技股份有限公司 一种基于高拍仪的双向拾音消噪方法、装置、设备及介质

Also Published As

Publication number Publication date
CN108200515B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN108200515A (zh) 多波束会议拾音系统及方法
US11494158B2 (en) Augmented reality microphone pick-up pattern visualization
US11706577B2 (en) Systems and methods for equalizing audio for playback on an electronic device
US10572073B2 (en) Information processing device, information processing method, and program
US9549264B2 (en) Portable terminal for controlling hearing aid and method therefor
EP2911149B1 (en) Determination of an operational directive based at least in part on a spatial audio property
US20130190041A1 (en) Smartphone Speakerphone Mode With Beam Steering Isolation
US8471868B1 (en) Projector and ultrasonic gesture-controlled communicator
WO2021037129A1 (zh) 一种声音采集方法及装置
JP2019532543A (ja) 制御システムならびに制御処理方法および装置
WO2010053473A1 (en) Controlling a video window position relative to a video camera position
CN109639987B (zh) 一种手环拍摄方法、设备及计算机可读存储介质
US11776555B2 (en) Audio modification using interconnected electronic devices
US20230319470A1 (en) Intelligent audio system using multiple sensor modalities
WO2017112070A1 (en) Controlling audio beam forming with video stream data
CN111010508A (zh) 一种拍摄方法及电子设备
CN112291672A (zh) 扬声器的控制方法、控制装置以及电子设备
CN111356932A (zh) 管理多个设备的方法和电子设备
US9791297B2 (en) Determination of a charge surface position
CN208540142U (zh) 音频系统
WO2021028716A1 (en) Selective sound modification for video communication
WO2022161146A1 (zh) 视频录制方法及电子设备
JP2016140055A (ja) 動画像音収録システム、動画像音収録装置、動画像音収録プログラム、および動画像音収録方法
CN114173014A (zh) 远程实时通话中的本地噪音屏蔽方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant