CN108604453A - 一种定向录音方法及电子设备 - Google Patents

一种定向录音方法及电子设备 Download PDF

Info

Publication number
CN108604453A
CN108604453A CN201680080704.1A CN201680080704A CN108604453A CN 108604453 A CN108604453 A CN 108604453A CN 201680080704 A CN201680080704 A CN 201680080704A CN 108604453 A CN108604453 A CN 108604453A
Authority
CN
China
Prior art keywords
microphone
angle
sound source
electronic equipment
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680080704.1A
Other languages
English (en)
Other versions
CN108604453B (zh
Inventor
仇存收
陶凯
韩博
李硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108604453A publication Critical patent/CN108604453A/zh
Application granted granted Critical
Publication of CN108604453B publication Critical patent/CN108604453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

一种定向录音方法及电子设备，涉及音视频处理领域，能够精确定位声源的三维空间方位，以便对期望的录音范围内的声音信号进行拾取，大大提高了声音信号与期望录音范围的匹配程度，实现更准确的定向录音。方法包括：电子设备确定预设录音范围；预设录音范围包括水平角度范围以及俯仰角度范围(101)；电子设备获取麦克风阵列收集到的声音信号(102)；电子设备确定声音信号的声源的方位信息；方位信息包括声源的水平角度与声源的俯仰角(103)；电子设备根据声源的方位信息判断声源是否在预设录音范围内(104)；若声源不在预设录音范围内，则消除声音信号(105)；若声源在预设录音范围内，则存储声音信号(106)。

Description

一种定向录音方法及电子设备 技术领域
本发明涉及音视频处理领域，尤其涉及一种定向录音方法及电子设备。
背景技术
在使用便携式移动终端设备进行录像过程时，麦克风拾取声音范围和终端设备屏幕录制的范围不一致。其中，麦克风录制音频是全向的，即可以拾取各个范围的声音，而终端设备摄像头的录制范围在水平方向、俯仰方向均有限制。
但在许多情况下，用户更关注所录制视频画面内的声音，希望对画面外的声音或者环境噪声能够进行有效抑制。示例的：用户使用前置摄像头自拍时，希望能有效抑制画面以外的干扰音源，凸显自己的声音。
目前，终端设备的两个摄像头一侧各设置一个指向性麦克风，设置于前置摄像头一侧的麦克风用于拾取前置摄像头一侧的声音，设置于后置摄像头一侧的麦克风用于拾取后置摄像头一侧的声音。在使用前置摄像头(或后置摄像头)进行录音时，可以使得收集到摄像头一侧的声音尽可能多于摄像头背侧的声音。如此，可以对摄像头方向的背侧区域的声音进行抑制，使得终端的预设录音范围尽可能与视频录制范围匹配。但在实际使用过程中，实际的拾音范围(即终端摄像头前侧区域)依然远大于视频录制范围，导致音视频录制范围匹配程度不够理想，也就是说实际的录音范围远远大于期望的录音范围，难以实现精准的定向录音。
发明内容
本发明的实施例提供一种定向录音方法及电子设备，在使用电子设备录音时，能够精确定位声源的三维空间方位，以便对期望的录音范围内的声音信号进行拾取，大大提高了声音信号与期望录音 范围的匹配程度，实现更准确的定向录音。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，公开了一种定向录音方法，方法包括：
电子设备确定预设录音范围，该预设录音范围是用户期望的录音范围，包括水平角度范围以及俯仰角度范围。其次，开始录音后，电子设备可以获取声音信号，进一步确定该声音信号的声源的方位信息，这里确定的方位信息包括声源的水平角与声源的俯仰角。从而电子设备就可以根据声源的方位信息判断声源是否在预设录音范围内，若是声源不在预设录音范围内，则消除该声音信号；若是声源在预设录音范围内，则存储声音信号。
本发明实施例提供的定向录音方法，首先确定预设录音范围的包括的水平角度范围以及俯仰角度范围，进一步还可以确定出声源的空间方位(声源的水平角，俯仰角)，从而可以判断声源的水平角、俯仰角是否在预设录音范围内。可以将不在预设录音范围内的声源的声音信号消除，相反，保留在预设录音范围内的声源的声音信号。相比之下，现有技术仅仅可以对摄像头一侧的声音进行抑制，实际的预设录音范围远远大于用户期望的预设录音范围，定向录音的效果并不理想。可见，本发明实施例提供的方法可以准确获取预设录音范围内的声音信号，达到更准确的定向录音的效果。
结合第一方面，在第一方面的第一种可能的实现方式中，电子设备根据声源的方位信息判断声源是否在预设录音范围内具体包括：电子设备同时判断声源的水平角是否在水平角度范围内，声源的俯仰角是否在俯仰角度范围内。若水平角在水平角度范围内且俯仰角在俯仰角度范围内，则确定声源在预设录音范围内。当声源的水平角、俯仰角二者之一不在预设录音范围则确定声源不在预设录音范围内。
结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，电子设备包括麦克风阵列，麦克风阵列包括第一麦克风、第二麦克风、第三麦克风和第四麦克风且第 一麦克风、第二麦克风、第三麦克风和第四麦克风不在同一平面内。其中，第一麦克风位于电子设备的第一表面，第二麦克风位于电子设备的第二表面，第三麦克风与第四麦克风位于电子设备的第三表面，第一表面与第二表面平行设置，第三表面与第一表面垂直，且第三表面与、第二表面均垂直。电子设备收集声音信号具体包括：电子设备获取麦克风阵列所收集到的声音信息。
这里，麦克风阵列包括的四个麦克风分别在空间三个维度(即第一坐标轴的方向、第二坐标轴的方向、第三坐标轴的方向)提供阵列孔径。所谓阵列孔径即任意一对麦克风之间的连线。通常，根据声源到达一对麦克风的时延差，可以确定出声源与这一对麦克风连线的夹角。由于，麦克风阵列在空间三个维度提供阵列孔径，因此可以确定出声源与空间三个维度的夹角，这三个夹角可以确定声源的空间方位。
结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，进一步地，第一麦克风与第二麦克风所在直线垂直于第三麦克风与第四麦克风所在直线。则，电子设备确定声音信号的声源的方位信息具体包括：
电子设备确定声源的到达方向与三维坐标系的第一坐标轴的第一夹角，到达方向与三维坐标系的第二坐标轴的第二夹角；到达方向与三维坐标系的第三坐标轴的第三夹角；电子设备根据第一夹角、第二夹角、第三夹角确定声源的方位信息。这里的第一坐标轴为第三麦克风和第四麦克风所在直线，第二坐标轴与第一坐标轴相交且与第一麦克风与第二麦克风所在直线平行，第三坐标轴穿过第一坐标轴与第二坐标轴的交点，且与第一坐标轴与第二坐标轴构成的平面垂直。
具体实现中，可以根据麦克风阵列的布局确定出一个空间三维坐标系，进而确定出声源相对于该空间三维坐标系的水平角以及俯仰角，同样的，预设录音范围的水平角度范围、俯仰角度范围也是相对于该三维坐标系的角度范围，如此才能将声源的水平角与预设 录音范围的水平角度范围作比较，将声源的俯仰角与预设录音范围的俯仰角度范围作比较。
结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，电子设备确定入射轨迹与三维坐标系的第一坐标轴的第一夹角，入射轨迹与三维坐标系的第二坐标轴的第二夹角；入射轨迹与三维坐标系的第三坐标轴的第三夹角具体包括：确定声源到达第一麦克风与第二麦克风的第一时延差，根据第一时延差确定第一麦克风、第二麦克风所在直线与到达方向的夹角，将第一麦克风、第二麦克风所在直线与到达方向的夹角确定为二夹角；确定声源到达第三麦克风与第四麦克风的第二时延差，根据第二时延差确定第三麦克风、第四麦克风所在直线与到达方向的夹角，将第三麦克风、第四麦克风所在直线与到达方向的夹角确定为第一夹角；确定声源到达第三麦克风与第二麦克风的第三时延差，根据第三时延差确定第三麦克风、第二麦克风所在直线与到达方向的夹角，确定第三麦克风、第二麦克风所在直线与到达方向的夹角为三夹角。
在远场模型中，认为声源到达一对麦克风阵列的方向与麦克风阵列连线的夹角是唯一的，因此根据声源到达麦克风对的时延差可以确定出声源到达方向与麦克风对连线的夹角。同时，由于麦克风对连线与上述三维坐标系的坐标轴的位置关系是已知的，因此，确定了声源到达方向与麦克风对连线的夹角，进而就可以确定出声源到达方向与三维坐标系的每一个坐标轴的夹角，定位出声源相对于该三维坐标系的水平角，以及俯仰角。
结合第一方面的第三或第四种可能的实现方式，在第一方面的第五种可能的实现方式中，根据第一夹角、第二夹角、第三夹角确定声源的方位信息具体包括：当使用电子设备横屏拍摄时，确定第一夹角为声源的俯仰角，确定第二夹角、第三夹角为声源的水平角。当使用电子设备竖屏拍摄时，确定第三夹角为声源的俯仰角，确定第一夹角、第二夹角为声源的水平角。
结合第一方面的第二种可能的实现方式，在第一方面的第六种 可能的实现方式中，电子设备还包括摄像头，则，电子设备确定预设录音范围具体包括：电子设备接收视频录制指令；视频录制指令携带录制视频的摄像头的信息；电子设备运行信息指示的摄像头进行拍摄，根据摄像头的拍摄范围确定预设录音范围。
如此，在使用电子设备录制视频时，精确定位声源的三维空间方位，仅对录制画面内的声源进行拾取，大大提高音频录制范围与视频录制范围的匹配程度。
结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，摄像头为第一摄像头和/或第二摄像头，第一摄像头位于第一表面，第二摄像头位于第二表面；第一麦克风与第二麦克风生成第一波束和第二波束，第一波束形成于第一表面一侧，第二波束形成于第二表面一侧；电子设备消除声音信号具体包括：若信息指示的摄像头为第一摄像头，则根据第二波束学习第一波束生成第一抵消波束，根据第一抵消波束消除声音信号；若信息指示的摄像头为第二摄像头，则根据第一波束学习第二波束生成第二抵消波束；根据第二抵消波束消除声音信号。
具体实现中，电子设备通过算法实现一个自适应抵消器，采用后置摄像头拍摄时，则将后置摄像头一侧的波束作为主通道的输入，调整学习步长使得前置摄像头一侧的波束学习后置摄像头一侧的波束，之后两路波束相抵消就可以消除该声音信号。同样的，采用前置摄像头拍摄时，则将前置摄像头一侧的波束作为主通道的输入，调整学习步长使得后置摄像头一侧的波束学习前置摄像头一侧的波束，之后两路波束相抵消就可以消除该声音信号。
第二方面，公开了一种电子设备，包括：
处理器，确定预设录音范围；预设录音范围包括水平角度范围以及俯仰角度范围；处理器还用于，获取声音信号，确定声音信号的声源的方位信息，根据声源的方位信息以及预设录音范围判断声源是否在预设录音范围内；方位信息包括声源的水平角度与声源的俯仰角；处理器还用于，若声源不在预设录音范围内，则消除声音信 号；若声源在预设录音范围内，则存储声音信号。
本发明实施例提供的定向录音方法，首先确定预设录音范围的包括的水平角度范围以及俯仰角度范围，进一步还可以确定出声源的空间方位(声源的水平角，俯仰角)，从而可以判断声源的水平角、俯仰角是否在预设录音范围内。可以将不在预设录音范围内的声源的声音信号消除，相反，保留在预设录音范围内的声源的声音信号。相比之下，现有技术仅仅可以对摄像头一侧的声音进行抑制，实际的预设录音范围远远大于用户期望的预设录音范围，定向录音的效果并不理想。可见，本发明实施例提供的方法可以准确获取预设录音范围内的声音信号，达到更准确的定向录音的效果。
结合第二方面，在第二方面的第一种可能的实现方式中，处理器具体用于，判断水平角是否在水平角度范围内，以及俯仰角是否在俯仰角度范围内；若水平角在水平角度范围内且俯仰角在俯仰角度范围内，则确定声源在预设录音范围内；若水平角不在水平角度范围内和/或俯仰角不在俯仰角度范围内，则确定声源不在预设录音范围内。
结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，电子设备包括麦克风阵列，麦克风阵列包括第一麦克风、第二麦克风、第三麦克风和第四麦克风且第一麦克风、第二麦克风、第三麦克风和第四麦克风不在同一平面内。其中，第一麦克风位于电子设备的第一表面，第二麦克风位于电子设备的第二表面，第三麦克风与第四麦克风位于电子设备的第三表面，第一表面与第二表面平行设置，第三表面与第一表面垂直，且与第二表面垂直。麦克风阵列具体用于，收集声音信号；处理器具体用于，获取麦克风阵列收集到的信号。
结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，第三麦克风和第四麦克风所在直线与第一麦克风和第二麦克风所在直线垂直。处理器具体用于，确定声源的到达方向与三维坐标系的第一坐标轴的第一夹角，到达方向与三维坐标系的第二坐标 轴的第二夹角；到达方向与三维坐标系的第三坐标轴的第三夹角；根据第一夹角、第二夹角、第三夹角确定声源的方位信息。其中，第一坐标轴为第三麦克风和第四麦克风所在直线，第二坐标轴与第一坐标轴相交且与第一麦克风与第二麦克风所在直线平行，第三坐标轴穿过第一坐标轴与第二坐标轴的交点，且与第一坐标轴与第二坐标轴构成的平面垂直。
结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，处理器具体用于，确定声源到达第一麦克风与第二麦克风的第一时延差，根据第一时延差确定第一麦克风、第二麦克风所在直线与到达方向的夹角，将第一麦克风、第二麦克风所在直线与到达方向的夹角确定为二夹角；确定声源到达第三麦克风与第四麦克风的第二时延差，根据第二时延差确定第三麦克风、第四麦克风所在直线与到达方向的夹角，将第三麦克风、第四麦克风所在直线与到达方向的夹角确定为第一夹角；确定声源到达第三麦克风与第二麦克风的第三时延差，根据第三时延差确定第三麦克风、第二麦克风所在直线与到达方向的夹角，确定第三麦克风、第二麦克风所在直线与到达方向的夹角为三夹角。
结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，处理器具体用于，确定第一夹角为声源的俯仰角，确定第二夹角、第三夹角为声源的水平角；或，确定第三夹角为声源的俯仰角，确定第一夹角、第二夹角为声源的水平角。
结合第二方面的第四或第五种可能的实现方式，在第二方面的第六种可能的实现方式中，还包括：输入组件，输入组件用于，接收视频录制指令；视频录制指令携带录制视频的摄像头的信息；处理器还用于，运行信息指示的摄像头进行拍摄，根据摄像头的拍摄范围确定预设录音范围。
结合第二方面的第六种可能的实现方式，在第二方面的第七种可能的实现方式中，摄像头为第一摄像头和/或第二摄像头，第一摄像头位于第一表面，第二摄像头位于第二表面；第一麦克风与第二麦克 风生成第一波束和第二波束，第一波束形成于第一表面一侧，第二波束形成于第二表面一侧；处理器具体用于，若信息指示的摄像头为第一摄像头，则根据第二波束学习第一波束生成第一抵消波束，根据第一抵消波束消除声音信号；若信息指示的摄像头为第二摄像头，则根据第一波束学习第二波束生成第二抵消波束；根据第二抵消波束消除声音信号。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的球面坐标系的示意图；
图2为本发明实施例提供的麦克风拾音范围及摄像头录制范围的示意图；
图3为本发明实施例提供的麦克风拾音的角度范围及摄像头录制范围的角度范围；
图4为本发明实施例提供的电子设备的示意图；
图5为本发明实施例提供的三维坐标系的示意图；
图6为本发明实施例提供的远场模型示意图；
图7为本发明实施例提供的声源到达方向与坐标轴夹角的示意图；
图8为本发明实施例提供的声源到达方向与坐标轴夹角的另一示意图；
图9为本发明实施例提供的电子设备的拍摄位置示意图；
图10为本发明实施例提供的电子设备的另一示意图；
图11为本发明实施例提供的电子设备的形成波束的示意图；
图12为本发明实施例提供的电子设备的另一示意图；
图13为本发明实施例提供的定向录音的方法的流程示意图；
图14为本发明实施例提供的定向录音方法的具体示例图；
图15为本发明实施例提供的噪音消除的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为方便理解，以下对本发明涉及水平角和俯仰角做以说明。具体地，水平角、俯仰角是球坐标系中用于说明方位的角度信息。球坐标是三维坐标系的一种，用以确定三维空间中点、线、面以及体的位置，它以坐标原点为参考点，由水平角、俯仰角和距离构成。
参考图1所示的球坐标系，空间一点P，M为点P在xoy面上的投影。对于空间内一点P可用(r，θ，)来确定。其中，r为原点O与点P间的距离，θ为有向线段OP与z轴正向的夹角，为自x轴正向按逆时针方向(从正z轴来看的逆时针方向)转到OM所转过的角。的范围是0°～360°，θ的范围是0°～180°。这里的三个数r，θ，叫做点P的球面坐标，显然，这里r，θ，的变化范围为r∈[0,+∞)，θ∈[0,2π]，
电子设备录制视频时，麦克风录制声音的范围与摄像头画面录制的范围不一致。如图2所示，麦克风拾取声音的范围是全向的，可以近似认为是一个球体。如图2所示，摄像头拍摄范围的水平角度有限、俯仰角度也有限，可见麦克风的拾音范围远远大于画面录制范围。
现有技术在设备设置一对指向性麦克风，设置于前置摄像头一侧的指向性麦克风用于拾取前置摄像头一侧的声音信号，设置于后置摄像头一侧的指向性麦克风用于拾取后置摄像头一侧的声音信号。但是，该方案只能对摄像头背侧的声音进行抑制。示例的，参考图3，当用户使用设备的后置摄像头进行拍摄时，录制画面的范 围可以是水平角开度是60°，示例的水平角-30°～+30°；俯仰角开度是30°～40°，俯仰角度范围为±15°～±20°，如：-15°～+20°，设备对前置摄像头背侧的声音进行抑制，因此拾音范围的水平角近似为水平角度范围0°～180°，俯仰角度范围0～180°。拾音范围远远大于录制画面的范围，因此，画面与音频的匹配效果不是很理想。
本发明原理在于：定位出声源的空间方位信息，包括声源的水平角以及声源的俯仰角。进而可以根据声源的水平角以及俯仰角，判断声源是否在预设录音范围的水平角度范围以及俯仰角度范围内。进而可以确定声源是否在预设录音范围内。
具体地，在电子设备设置四个不在同一平面内的麦克风，其中一个麦克风设置在电子设备的前表面，一个麦克风在电子设备的后表面，另外两个摄像头设置于电子设备的底端(电子设备竖屏放置时)。如此，能够根据声源到达三个麦克风对(底端的两个麦克风构成一个麦克风对，前后表面的两个麦克风构成一个麦克风对，底端靠下分布的一个麦克风和前表面的一个麦克风构成一个麦克风对)的时延差，精确定位声源的三维空间方位，当声源不在画面录制范围，则消除该声源的声音信号，仅对录制画面内的声源进行信号拾取。当使用电子设备录制视频时，可以大大提高音频录制范围与视频录制范围的匹配程度。
实施例1：
本发明实施例提供一种电子设备，如图4所示，该电子设备包括麦克风阵列，该麦克风阵列包括第一麦克风1、第二麦克风2、第三麦克风3以及第四麦克风4。其中，第一麦克风1设置于该电子设备的第一表面5；第二麦克风2设置于该电子设备的第二表面6；第三麦克风3以及第四麦克风4设置于该电子设备的第三表面7。需要说明的是，在图4中，第一表面5为电子设备的后表面，可以是设置后置摄像头的一面；第二表面6是电子设备的前表面，可以是设置前置摄像头的一面。
需要说明的是，第一表面5与第二表面6平行，且第三表面7与第一表面5、第二表面6均垂直。另外，第一麦克风1、第二麦克风 2所在的直线与第三麦克风3、第四麦克风4所在的直线垂直。
可以利用第一麦克风1和第二麦克风2所在的直线、第三麦克风3和第四麦克风4所在的直线构成一个构成的三维空间坐标系，如图5所示，该三维坐标系的第一坐标轴(Z轴)为所述第三麦克风3和所述第四麦克风4所在直线，第二坐标轴(X轴)与所述第一坐标轴相交且与所述第一麦克风与所述第二麦克风所在直线平行，第三坐标轴(Y轴)穿过所述第一坐标轴与所述第二坐标轴的交点，且与所述第一坐标轴与所述第二坐标轴构成的平面垂直。
通常，在远场模型中，声源到达麦克风阵列的距离较远，可以认为声波是图6所示的平面波模型。电子设备可以利用根据GCC(Generalized Cross Correlation)算法估计声源的大体方位，即根据声源到一对麦克风对的时延差，确定声源到达方向(可以认为是声音信号传播至麦克风对的轨迹)到麦克风对连线的夹角，如图6所示的夹角1、夹角2等。
在本发明实施例中，同样可以利用GCC算法确定声源到达方向与每个麦克风阵列连线的夹角，进而确定声源的空间方位。参考图7，当使用电子设备横屏拍摄，(即电子设备放置如图4所示)，可以根据声源到达麦克风3、麦克风4的时延差，确定声源到达方向与麦克风3、4连线的夹角，即声源到达方向与Z轴的夹角θ3，但这仅仅是声源的俯仰角，还需要进一步确定声源的水平角。进而电子设备可以根据声源到达麦克风1、麦克风2的时延差，确定出声源到达方向与麦克风1、2连线的夹角，即声源到达方向与X轴的夹角θ1，同时，可以根据声源到达麦克风1、麦克风3的时延差，确定出声源到达方向与麦克风1、3连线的夹角θ2，再将该夹角转化成声源到达方向与Y轴的夹角θ4，将θ1、θ4作为声源的水平角，结合声源的俯仰角θ3可以确定出声源的准确方位。
进一步说明如何将θ2转化成θ4：通常当电子设备的麦克风阵列的分布确定后，每两个麦克风所在直线与图5所示坐标轴的每一个轴的夹角就确定了。参考图7，直线Y^与Y轴平行，假定麦克风1、麦克风3连线与Y^的夹角为α(即麦克风1、麦克风3连线与Y轴的夹角)，根据声源到麦克风1、麦克风3的时延差确定出声源到达方向与麦克风1、麦克风 3连线的夹角θ2。声源到达方向所在直线、麦克风1和3所在直线以及直线Y^构成了一个三角形，由于三角形的一个内角的补角等于另外两个内角的和，因此可得声源与Y轴的夹角θ4＝α+θ2。
当使用电子设备竖屏拍摄(即电子设备放置如图9所示)，可以根据声源到达麦克风1、麦克风3的时延差，确定出声源与麦克风1、3连线的夹角，再将该夹角转化成声源与Y轴的夹角，将这个角作为声源的俯仰角。同时，根据声源到达麦克风1、麦克风2的时延差，确定出声源与Z轴的夹角，根据声源到达麦克风3、麦克风4的时延差，确定出声源与X轴的夹角，根据这三个夹角可以确定出声源的方位。
具体实现中，电子设备还可以包括摄像头，参考图10，包括第一摄像头8，设置于第一表面5；还包括第二摄像头9，设置于第二表面6。
进一步地，参考图11，所述第一麦克风1与所述第二麦克风2共同形成第一波束和第二波束。其中，第一波束形成于第一表面5一侧，第二波束形成于第二表面6一侧。
本发明实施例提供一种电子设备，如图12所示，至少包括处理器、存储器、摄像头组(包括上述第一摄像头8、第二摄像头9)、麦克风阵列(包括上述麦克风1～4)以及输入组件。各个摄像头及各个麦克风的分布可以如图7所示，在此不做赘述。输入组件可以是按键、触控面板等。
本发明实施例中，处理器首先确定预设录音范围，具体地，电子设备接收视频录制指令，该指令携带录制视频的摄像头的信息，进一步电子设备运行该信息指示的摄像头进行拍摄，根据所述摄像头的拍摄范围确定预设录音范围。预设录音范围可以是水平角度范围以及俯仰角度范围。
其次，电子设备的处理器利用麦克风阵列(上述麦克风1～4)收集声音信号，处理器可以根据声源到麦克风阵列的时延差确定声源到达方向与麦克风阵列连线的夹角，进而可以确定出该声音信号的声源的方位信息。该方位信息包括声源到达方向在空间坐标系中的水平角以及俯仰角。
进而，处理器可以根据声源的方位信息判断该声源是否在所述 预设录音范围内。具体地，判断该声源的水平角是否在预设录音范围的水平角度范围内，以及该声源的俯仰角是否在预设录音范围的俯仰角度范围内。若该声源的水平角在预设录音范围的水平角度范围内且该声源的俯仰角在预设录音范围的俯仰角度范围内，则确定该声源在预设录音范围内；若该声源的水平角不在预设录音范围的水平角度范围内和/或该声源的俯仰角不在预设录音范围的俯仰角度范围内，则确定该声源不在预设录音范围内。
实施例2：
本发明实施例提供一种定向录音方法，如图13所示，所述方法包括以下步骤：
101、电子设备确定预设录音范围；所述预设录音范围包括水平角度范围以及俯仰角度范围。
具体实现中，电子设备接收视频录制指令，所述视频录制指令携带录制视频的摄像头的信息。进而电子设备运行所述信息指示的摄像头进行拍摄，根据所述摄像头的拍摄范围确定所述预设录音范围。
需要说明的是，这里的水平角度范围是空间三维坐标系中的水平角度范围；这里的俯仰角度范围也空间三维坐标系中俯仰角度范围。该空间三维坐标系即图5所示三维空间坐标系。
102、电子设备获取麦克风阵列收集到的声音信号。
通常，麦克风对可以生成一个波束，对一定范围对的声音信号进行采集。这里的麦克风阵列即图4中的麦克风1～4，其在电子设备的分布可以如图4所示，但不仅仅限制于图4所示的分布位置，在满足“4个麦克风不在同一平面”这一前提条件下，这4个麦克风也可以以其他形式分布，在此不做限制。
103、电子设备确定所述声音信号的声源的方位信息；所述方位信息包括所述声源的水平角度与所述声源的俯仰角。
这里，声源的水平角、俯仰角也是相对于空间三维坐标系的夹角，与步骤101衡量水平角度范围、俯仰角度范围的空间三维坐标 系是同一个，均可以是图5所示三维空间坐标系。
具体地，可以根据声源到麦克风阵列中的一对麦克风的时延差，确定该声源到达方向与这一对麦克风所在直线的夹角。参考图4，由于麦克风1、2与麦克风3、4不在同一个平面，那么可以确定出声源到达方向与麦克风对所在直线的夹角，进而转化为在图5所示的空间坐标系中的水平角和俯仰角。
104、电子设备根据所述声源的方位信息判断所述声源是否在所述预设录音范围内。
具体地，若所述声源的水平角在所述水平角度范围内且所述声源的俯仰角在所述俯仰角度范围内，则确定所述声源在所述预设录音范围内。
若所述声源的水平角不在所述水平角度范围内和/或所述声源的俯仰角
若所述声源不在所述预设录音范围内，则执行步骤105；若所述声源在所述预设录音范围内，则执行步骤106；
105、消除所述声音信号。
若所述信息指示的摄像头为所述第一摄像头，则根据所述第二波束学习所述第一波束生成第一抵消波束，根据所述第一抵消波束消除所述声音信号；若所述信息指示的摄像头为所述第二摄像头，则根据所述第一波束学习所述第二波束生成第二抵消波束；根据所述第二抵消波束消除所述声音信号。
106、存储声音信号。
在使用电子设备拍摄视频时，可以将声音信号与图像信号组成为视频文件，此时的音频与视频匹配的程度较高。
示例的，参考图14，使用电子设备横屏拍摄，且使用后置摄像头拍摄。确定画面录制范围(即预设录音范围)是：水平角度范围-30°～+30°、俯仰角度范围-15°～+20°。电子设备确定该声源到麦克风3、4的时延差，根据该时延差确定声源P到达方向与Z轴的夹角为40°，即该声源的俯仰角。确定该声源到麦克风1、2的时延差，根据该时 延差确定声源P到达方向与X轴的夹角为120°，根据声源到麦克风2、3的时延差，根据该时延差确定声源P到达方向与Y轴的夹角为60°，即该声源的水平角为：与X轴的夹角为120°、与Y轴的夹角为60°。由于俯仰角40°不在俯仰角范围-15°～+20°内，因此，该声源位于预设录音范围外。进而电子设备根据后向波束(即图11所示的第二波束)学习前向波束(即图11所示的第一波束)，之后前后向波束相抵消，就可以消除后向波束中的该声音信号。
具体实现中，电子设备通过算法实现图15所示的自适应抵消器，其中，Ts为时延，不同的时延对应不同的ω，通过调整学习步长u对ω0～ωN的权值进行调整。进一步地，以采用后置摄像头波拍摄为例，解释本发明实施例提供的噪声抵消过程：将前向波束的输出xf(t)作为自适应抵消器的主通道输入，将后向波束的输出xb(t)作为自适应抵消器的噪声参考输入。当确定声源不在预设录音范围内，以学习步长u对滤波ω的权值进行调整，可以控制后向波束xb(t)学习前向波束xf(t)，当输出的残差能量(即xb(t)、xf(t)的差值)达到最小值，算法达到收敛态，此时ε(t)中即实现了对噪声信号的滤除。
同理，当采用前置摄像头进行拍摄，若确定声源不在预设录音区域，则需要根据将后向波束的输出作为自适应抵消器的主通道输入，将前向波束的输出作为自适应抵消器的噪声参考输入。前向波束学习后向波束后进行相抵消，消除该声源的声音信号。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (16)

  1. 一种定向录音方法，其特征在于，所述方法包括：
    电子设备确定预设录音范围；所述预设录音范围包括水平角度范围以及俯仰角度范围；
    所述电子设备获取声音信号；
    所述电子设备确定所述声音信号的声源的方位信息；所述方位信息包括所述声源的水平角与所述声源的俯仰角；
    所述电子设备根据所述声源的方位信息判断所述声源是否在所述预设录音范围内；
    若所述声源不在所述预设录音范围内，则消除所述声音信号；若所述声源在所述预设录音范围内，则存储声音信号。
  2. 根据权利要求1所述的方法，其特征在于，所述电子设备根据所述声源的方位信息判断所述声源是否在所述预设录音范围内具体包括：
    所述电子设备判断所述水平角是否在所述水平角度范围内，以及所述俯仰角是否在所述俯仰角度范围内；
    若所述水平角在所述水平角度范围内且所述俯仰角在所述俯仰角度范围内，则确定所述声源在所述预设录音范围内；
    若所述水平角不在所述水平角度范围内和/或所述俯仰角不在所述俯仰角度范围内，则确定所述声源不在所述预设录音范围内。
  3. 根据权利要求1或2所述的方法，其特征在于，所述电子设备包括麦克风阵列，所述麦克风阵列包括第一麦克风、第二麦克风、第三麦克风和第四麦克风且所述第一麦克风、所述第二麦克风、所述第三麦克风和所述第四麦克风不在同一平面内；
    其中，所述第一麦克风位于所述电子设备的第一表面，所述第二麦克风位于所述电子设备的第二表面，所述第三麦克风与所述第四麦克风位于所述电子设备的第三表面，所述第一表面与所述第二表面平行设置，所述第三表面与所述第一表面垂直，且第三表面与、所述第二表面均垂直；
    所述电子设备收集声音信号具体包括：所述电子设备获取所述麦克风阵列所收集到的声音信息。
  4. 根据权利要求3所述的方法，其特征在于，所述第一麦克风与所述第二麦克风所在直线垂直于所述第三麦克风与所述第四麦克风所在直线；
    所述电子设备确定所述声音信号的声源的方位信息具体包括：
    所述电子设备确定所述声源的到达方向与三维坐标系的第一坐标轴的第一夹角，所述到达方向与所述三维坐标系的第二坐标轴的第二夹角；所述到达方向与所述三维坐标系的第三坐标轴的第三夹角；
    所述电子设备根据所述第一夹角、所述第二夹角、所述第三夹角确定所述声源的方位信息；
    其中，所述第一坐标轴为所述第三麦克风和所述第四麦克风所在直线，所述第二坐标轴与所述第一坐标轴相交且与所述第一麦克风与所述第二麦克风所在直线平行，所述第三坐标轴穿过所述第一坐标轴与所述第二坐标轴的交点，且与所述第一坐标轴与所述第二坐标轴构成的平面垂直。
  5. 根据权利要求4所述的方法，其特征在于，所述电子设备确定所述入射轨迹与三维坐标系的第一坐标轴的第一夹角，所述入射轨迹与所述三维坐标系的第二坐标轴的第二夹角；所述入射轨迹与所述三维坐标系的第三坐标轴的第三夹角具体包括：
    确定所述声源到达所述第一麦克风与所述第二麦克风的第一时延差，根据所述第一时延差确定所述第一麦克风、所述第二麦克风所在直线与所述到达方向的夹角，将所述所述第一麦克风、所述第二麦克风所在直线与所述到达方向的夹角确定为所述二夹角；
    确定所述声源到达所述第三麦克风与所述第四麦克风的第二时延差，根据所述第二时延差确定所述第三麦克风、所述第四麦克风所在直线与所述到达方向的夹角，将所述第三麦克风、所述第四麦克风所在直线与所述到达方向的夹角确定为所述第一夹角；
    确定所述声源到达所述第三麦克风与所述第二麦克风的第三时 延差，根据所述第三时延差确定所述第三麦克风、所述第二麦克风所在直线与所述到达方向的夹角，确定所述第三麦克风、所述第二麦克风所在直线与所述到达方向的夹角为所述三夹角。
  6. 根据权利要求4或5所述的方法，其特征在于，所述根据所述第一夹角、所述第二夹角、所述第三夹角确定所述声源的方位信息具体包括：
    所述电子设备确定所述第一夹角为所述声源的俯仰角，确定所述第二夹角、第三夹角为所述声源的水平角；
    或，所述电子设备确定所述第三夹角为所述声源的俯仰角，确定所述第一夹角、第二夹角为所述声源的水平角。
  7. 根据权利要求3所述的方法，其特征在于，所述电子设备还包括摄像头，
    则，所述电子设备确定预设录音范围具体包括：
    所述电子设备接收视频录制指令；所述视频录制指令携带录制视频的摄像头的信息；
    所述电子设备运行所述信息指示的摄像头进行拍摄，根据所述摄像头的拍摄范围确定所述预设录音范围。
  8. 根据权利要求7所述的方法，其特征在于，所述摄像头为第一摄像头和/或第二摄像头，所述第一摄像头位于所述第一表面，所述第二摄像头位于所述第二表面；所述第一麦克风与所述第二麦克风生成第一波束和第二波束，所述第一波束形成于所述第一表面一侧，所述第二波束形成于所述第二表面一侧；
    所述电子设备消除所述声音信号具体包括：
    若所述信息指示的摄像头为所述第一摄像头，则根据所述第二波束学习所述第一波束生成第一抵消波束，根据所述第一抵消波束消除所述声音信号；
    若所述信息指示的摄像头为所述第二摄像头，则根据所述第一波束学习所述第二波束生成第二抵消波束；根据所述第二抵消波束消除所述声音信号。
  9. 一种电子设备，其特征在于，包括：
    处理器，确定预设录音范围；所述预设录音范围包括水平角度范围以及俯仰角度范围；
    所述处理器还用于，获取声音信号，确定所述声音信号的声源的方位信息，根据所述声源的方位信息以及所述预设录音范围判断所述声源是否在所述预设录音范围内；所述方位信息包括所述声源的水平角度与所述声源的俯仰角；
    所述处理器还用于，若所述声源不在所述预设录音范围内，则消除所述声音信号；若所述声源在所述预设录音范围内，则存储声音信号。
  10. 根据权利要求9所述的电子设备，其特征在于，所述处理器具体用于，判断所述水平角是否在所述水平角度范围内，以及所述俯仰角是否在所述俯仰角度范围内；
    若所述水平角在所述水平角度范围内且所述俯仰角在所述俯仰角度范围内，则确定所述声源在所述预设录音范围内；
    若所述水平角不在所述水平角度范围内和/或所述俯仰角不在所述俯仰角度范围内，则确定所述声源不在所述预设录音范围内。
  11. 根据权利要求9或10所述的电子设备，其特征在于，所述电子设备包括麦克风阵列，所述麦克风阵列包括第一麦克风、第二麦克风、第三麦克风和第四麦克风且所述第一麦克风、所述第二麦克风、所述第三麦克风和所述第四麦克风不在同一平面内；
    其中，所述第一麦克风位于所述电子设备的第一表面，所述第二麦克风位于所述电子设备的第二表面，所述第三麦克风与所述第四麦克风位于所述电子设备的第三表面，所述第一表面与所述第二表面平行设置，所述第三表面与所述第一表面垂直，且与所述第二表面垂直；
    所述麦克风阵列具体用于，收集声音信号；
    所述处理器具体用于，获取所述麦克风阵列收集到的信号。
  12. 根据权利要求11所述的电子设备，其特征在于，所述第三麦克风和所述第四麦克风所在直线与所述第一麦克风和所述第二麦克风所在直线 垂直；
    所述处理器具体用于，确定所述声源的到达方向与三维坐标系的第一坐标轴的第一夹角，所述到达方向与所述三维坐标系的第二坐标轴的第二夹角；所述到达方向与所述三维坐标系的第三坐标轴的第三夹角；
    根据所述第一夹角、所述第二夹角、所述第三夹角确定所述声源的方位信息；
    其中，所述第一坐标轴为所述第三麦克风和所述第四麦克风所在直线，所述第二坐标轴与所述第一坐标轴相交且与所述第一麦克风与所述第二麦克风所在直线平行，所述第三坐标轴穿过所述第一坐标轴与所述第二坐标轴的交点，且与所述第一坐标轴与所述第二坐标轴构成的平面垂直。
  13. 根据权利要求12所述的电子设备，其特征在于，所述处理器具体用于，确定所述声源到达所述第一麦克风与所述第二麦克风的第一时延差，根据所述第一时延差确定所述第一麦克风、所述第二麦克风所在直线与所述到达方向的夹角，将所述所述第一麦克风、所述第二麦克风所在直线与所述到达方向的夹角确定为所述二夹角；
    确定所述声源到达所述第三麦克风与所述第四麦克风的第二时延差，根据所述第二时延差确定所述第三麦克风、所述第四麦克风所在直线与所述到达方向的夹角，将所述第三麦克风、所述第四麦克风所在直线与所述到达方向的夹角确定为所述第一夹角；
    确定所述声源到达所述第三麦克风与所述第二麦克风的第三时延差，根据所述第三时延差确定所述第三麦克风、所述第二麦克风所在直线与所述到达方向的夹角，确定所述第三麦克风、所述第二麦克风所在直线与所述到达方向的夹角为所述第三夹角。
  14. 根据权利要求13所述的电子设备，其特征在于，
    所述处理器具体用于，确定所述第一夹角为所述声源的俯仰角，确定所述第二夹角、所述第三夹角为所述声源的水平角；
    或，确定所述第三夹角为所述声源的俯仰角，确定所述第一夹角、 所述第二夹角为所述声源的水平角。
  15. 根据权利要求13或14所述的电子设备，其特征在于，还包括：输入组件，
    所述输入组件用于，接收视频录制指令；所述视频录制指令携带录制视频的摄像头的信息；
    所述处理器还用于，运行所述信息指示的摄像头进行拍摄，根据所述摄像头的拍摄范围确定所述预设录音范围。
  16. 根据权利要求15所述的电子设备，其特征在于，所述摄像头为第一摄像头和/或第二摄像头，所述第一摄像头位于所述第一表面，所述第二摄像头位于所述第二表面；所述第一麦克风与所述第二麦克风生成第一波束和第二波束，所述第一波束形成于所述第一表面一侧，所述第二波束形成于所述第二表面一侧；
    所述处理器具体用于，若所述信息指示的摄像头为所述第一摄像头，则根据所述第二波束学习所述第一波束生成第一抵消波束，根据所述第一抵消波束消除所述声音信号；
    若所述信息指示的摄像头为所述第二摄像头，则根据所述第一波束学习所述第二波束生成第二抵消波束；根据所述第二抵消波束消除所述声音信号。
CN201680080704.1A 2016-10-31 2016-10-31 一种定向录音方法及电子设备 Active CN108604453B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/104160 WO2018076387A1 (zh) 2016-10-31 2016-10-31 一种定向录音方法及电子设备

Publications (2)

Publication Number Publication Date
CN108604453A true CN108604453A (zh) 2018-09-28
CN108604453B CN108604453B (zh) 2022-11-04

Family

ID=62024284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680080704.1A Active CN108604453B (zh) 2016-10-31 2016-10-31 一种定向录音方法及电子设备

Country Status (2)

Country Link
CN (1) CN108604453B (zh)
WO (1) WO2018076387A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112526452A (zh) * 2020-11-24 2021-03-19 杭州萤石软件有限公司 声源检测方法、云台摄像机、智能机器人及存储介质
CN113345462A (zh) * 2021-05-17 2021-09-03 浪潮金融信息技术有限公司 一种拾音去噪方法、系统及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596240B (zh) * 2021-07-27 2022-08-12 Oppo广东移动通信有限公司 录音方法、装置、电子设备及计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110135102A1 (en) * 2009-12-04 2011-06-09 Hsin-Chieh Huang Method, computer readable storage medium and system for localizing acoustic source
CN104360315A (zh) * 2014-10-16 2015-02-18 河北工业大学 基于LabVIEW的麦克风阵列声源定位方法及装置
CN104378570A (zh) * 2014-09-28 2015-02-25 小米科技有限责任公司 录音方法及装置
CN104991573A (zh) * 2015-06-25 2015-10-21 北京品创汇通科技有限公司 一种基于声源阵列的定位跟踪方法及其装置
CN105355213A (zh) * 2015-11-11 2016-02-24 广东欧珀移动通信有限公司 一种定向录音的方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100442837C (zh) * 2006-07-25 2008-12-10 华为技术有限公司 一种具有声音位置信息的视频通讯系统及其获取方法
JP2009200569A (ja) * 2008-02-19 2009-09-03 Chiba Inst Of Technology 音源方向推定方法および装置
JP5949398B2 (ja) * 2012-09-28 2016-07-06 株式会社Ｊｖｃケンウッド 映像音声記録再生装置
JP6030032B2 (ja) * 2013-08-30 2016-11-24 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
CN103618986B (zh) * 2013-11-19 2015-09-30 深圳市新一代信息技术研究院有限公司 一种3d空间中音源声像体的提取方法及装置
CN105338292B (zh) * 2014-08-04 2019-05-24 杭州海康威视数字技术股份有限公司 用于视频监控的声源定向控制装置及方法
CN104599674A (zh) * 2014-12-30 2015-05-06 西安乾易企业管理咨询有限公司 一种摄像中定向录音的系统及方法
CN105611458B (zh) * 2015-11-11 2019-07-16 Oppo广东移动通信有限公司 一种移动终端的定向录音控制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110135102A1 (en) * 2009-12-04 2011-06-09 Hsin-Chieh Huang Method, computer readable storage medium and system for localizing acoustic source
CN104378570A (zh) * 2014-09-28 2015-02-25 小米科技有限责任公司 录音方法及装置
CN104360315A (zh) * 2014-10-16 2015-02-18 河北工业大学 基于LabVIEW的麦克风阵列声源定位方法及装置
CN104991573A (zh) * 2015-06-25 2015-10-21 北京品创汇通科技有限公司 一种基于声源阵列的定位跟踪方法及其装置
CN105355213A (zh) * 2015-11-11 2016-02-24 广东欧珀移动通信有限公司 一种定向录音的方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112526452A (zh) * 2020-11-24 2021-03-19 杭州萤石软件有限公司 声源检测方法、云台摄像机、智能机器人及存储介质
CN113345462A (zh) * 2021-05-17 2021-09-03 浪潮金融信息技术有限公司 一种拾音去噪方法、系统及介质
CN113345462B (zh) * 2021-05-17 2023-12-29 浪潮金融信息技术有限公司 一种拾音去噪方法、系统及介质

Also Published As

Publication number Publication date
WO2018076387A1 (zh) 2018-05-03
CN108604453B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
US8755536B2 (en) Stabilizing directional audio input from a moving microphone array
CN107333120B (zh) 一种基于麦克风阵列和立体视觉的集成传感器
US20210306744A1 (en) Audio system for dynamic determination of personalized acoustic transfer functions
US7587053B1 (en) Audio-based position tracking
CN106679651B (zh) 声源定位方法、装置和电子设备
CN104106267B (zh) 在增强现实环境中的信号增强波束成形
CN108604453A (zh) 一种定向录音方法及电子设备
KR101483269B1 (ko) 로봇의 음원 위치 탐색 방법 및 그 장치
US8363848B2 (en) Method, computer readable storage medium and system for localizing acoustic source
US10944936B2 (en) Beam forming for microphones on separate faces of a camera
CN106842131A (zh) 麦克风阵列声源定位方法及装置
US10638252B1 (en) Dynamic adjustment of signal enhancement filters for a microphone array
EP1015911A1 (en) Methods and apparatus for source location estimation from microphone-array time-delay estimates
CN103856877B (zh) 一种声控信息检测方法及电子设备
US10623698B2 (en) Video communication device and method for video communication
CN106537501A (zh) 混响估计器
JPH11306363A (ja) 画像入力装置及び画像入力方法
JP6977448B2 (ja) 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
CN103702259A (zh) 交互装置及交互方法
JP2021121781A (ja) 情報処理装置、情報処理方法、及びプログラム
CN113312985B (zh) 一种视听双模态的360度全方位说话人定位方法
Okuno et al. Sound and visual tracking for humanoid robot
CN110927668A (zh) 基于粒子群的正方体麦克风阵列的声源定位优化方法
CN115278064B (zh) 一种全景图像生成方法、装置、终端设备及存储介质
CN112236940A (zh) 用于滤波器参数的索引方案

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant