CN110278512A - 拾音设备、声音输出方法、装置、存储介质及电子装置 - Google Patents

拾音设备、声音输出方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN110278512A
CN110278512A CN201810206356.9A CN201810206356A CN110278512A CN 110278512 A CN110278512 A CN 110278512A CN 201810206356 A CN201810206356 A CN 201810206356A CN 110278512 A CN110278512 A CN 110278512A
Authority
CN
China
Prior art keywords
sound
mic
pick
facility
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810206356.9A
Other languages
English (en)
Inventor
李保民
任鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201810206356.9A priority Critical patent/CN110278512A/zh
Priority to PCT/CN2019/075489 priority patent/WO2019174442A1/zh
Publication of CN110278512A publication Critical patent/CN110278512A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明提供了一种拾音设备、声音输出方法、装置、存储介质及电子装置，其中，该声音输出方法包括：利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音；将上述主Mic获取的声音输出给与拾音设备连接的AR或VR设备。通过本发明，解决了相关技术中存在的用户只能体会某一个特定位置的观赛感，且会受到周围噪声的影响的问题。

Description

拾音设备、声音输出方法、装置、存储介质及电子装置
技术领域
本发明涉及声音处理技术，具体而言，涉及一种拾音设备、声音输出方法、装置、存储介质及电子装置。
背景技术
目前对增强现实/虚拟现实(Augmented Reality/Virtual Reality，简称为AR/VR)的研究已经相当广泛和深入，同时各大科技媒体、网站都在热议AR/VR，AR/VR产品可以被称为智能手机之后的又一个颠覆性科技产品。人们在日常生活中与现实世界的事物互动的要更多一些，而AR/VR产品的核心理念就是通过在现实环境中加载虚拟信息，来帮助人类完成工作。特别是随着第五代移动通信技术(the 5th Generation mobile communicationtechnology，简称为5G)时代的到来，第三代合作项目组织(The 3rd GenerationPartnership Project，简称为3GPP)所定义的增强移动宽带(Enhance Mobile Broadband，简称为eMBB)更是其中的重要场景之一，其所对应的3D/超高清视频等大流量移动宽带业务更加速了VA/VR技术的发展和应用。
现在很多AR/VR厂商，甚至一些智能电视厂商都推出了如“实时观赛”的功能，其目的就是为了让每一位用户可以通过佩戴它们的产品进行“实时观赛”，从而为观众带来全新的体验。
在相关技术中，对于“实时观赛”处理，其总体的解决思路在于“虚拟现实”+“现场感知”，也就是将现场的画面投放在用户面前，通过两个无线耳塞，实现立体声音效等，这样用户在看球赛的时候能够听到比平时更加给力的音频效果。这种技术的视频部分主要采用实感摄像头，包括1080p高清摄像头、红外摄像头以及红外镭射投影仪等在内的一系列敏感元件捕捉3D画面。这种技术的音频部分是用实感摄像头，进行每秒X帧的输出，从而达到模拟声场的目的。简而言之就是用摄像头在某个定点的位置将现场的音视频录制下来，再增加延时delay。
采用这种技术的缺点在于，从实现方法来和所达到的目的来看，采集的地点是固定的；那么用户即便佩戴也只能体验某一个特定位置的观赛感，观赛视角单一。尤其是在足球运动、马拉松等场地较大的运动项目，无法达到多机位观赛。
其次，对于橄榄球、篮球、棒球等场内气氛活跃的运动，场地声场环境极嘈杂，即便采用实感摄像头都无法避免旁人噪音对观赛者的干扰。如采用降噪算法处理，在极为嘈杂的声场环境下，算法运算又很复杂。
再次，从技术角度看，降噪处理会滤掉一部分声音较小的声音，如果此时用户处在较为偏远的观赛点，则该方法又会将场内正在比赛等部分有效声音过滤，即便用户对视该点，也无法听到其声音。降噪处理也不能够自行屏蔽或提取观赛者对视方向上的声音。
最后，因为设备录音模式的局限性，用户所体验的现场声音效果较为单一，无法进行选择，即便添加所谓的“3D”、“杜比”等，也只是在原有录音基础上添加。
针对相关技术中存在的用户只能体会某一个特定位置的观赛感，且会受到周围噪声的影响的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种拾音设备、声音输出方法、装置及存储介质，以至少解决相关技术中存在的用户只能体会某一个特定位置的观赛感，且会受到周围噪声的影响的问题。
根据本发明的一个实施例，提供了一种拾音设备，所述拾音设备被设置为与增强现实AR或虚拟现实VR设备连接，包括：主麦克风Mic以及处理器，其中，所述主Mic用于获取所述主Mic对应视角上的第一声音源的声音；所述处理器连接至所述主Mic，用于将所述主Mic获取的声音输出给所述AR或VR。
可选地，所述拾音设备还包括辅Mic，其中，所述辅Mic设置在所述主Mic的周围，用于获取所述辅Mic对应视角上的第二声音源的声音；所述处理器还用于连接至所述辅Mic，用于将所述主Mic获取的声音和所述辅Mic获取的声音进行合成并输出合成后的声音给所述AR或VR。
可选地，所述处理器还用于配置所述主Mic的拾音孔的孔径大小和/或拾音孔的深度。
可选地，所述处理器通过如下方式配置所述主Mic的拾音孔的孔径大小和/或拾音孔的深度：在接收到输入的配置信息的情况下，根据所述配置信息配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度；在未接收到输入的配置信息的情况下，根据预设定孔径大小配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度。
可选地，所述处理器还用于：确定所述拾音设备需要转动的方向及幅度；利用确定的所述拾音设备需要转动方向及幅度控制所述拾音设备进行转动。
可选地，所述处理器还用于：确定所述主Mic需要转动的方向及幅度；利用确定的所述主Mic需要转动的方向及幅度控制所述主Mic进行转动。
可选地，当所述拾音设备为用户头部的可穿戴设备时，所述主Mic包括位于所述可穿戴设备前端的主Mic，其中，所述前端被设置为与佩戴者的前额相对应。
可选地，所述主Mic还包括位于所述可穿戴设备的顶端的主Mic，其中，所述顶端被设置为与佩戴者的头顶相对应。
可选地，当所述拾音设备为用户头部的可穿戴设备时，所述辅Mic包括位于所述可穿戴设备的两侧的辅Mic，所述两侧被设置为与佩戴者的双耳相对应。
根据本发明的另一方面，还提供了一种声音输出方法，包括：利用拾音设备中的主麦克风Mic获取所述主Mic对应视角上的第一声音源的声音；将所述主Mic获取的声音输出给与所述拾音设备连接的增强现实AR或虚拟现实VR设备。
可选地，在将所述主Mic获取的声音输出给与所述拾音设备连接的增强现实AR或虚拟现实VR设备之前，所述方法还包括：利用所述拾音设备中的辅Mic获取所述辅Mic对应视角上的第二声音源的声音，其中，所述辅Mic设置在所述主Mic的周围；将所述主Mic获取的声音输出给与所述拾音设备连接的增强现实AR或虚拟现实VR设备包括：将所述主Mic获取的声音和所述辅Mic获取的声音进行合成，并将合成后的声音输出给与所述拾音设备连接的所述AR或所述VR设备。
可选地，利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音包括：配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度；利用配置了所述孔径大小和/或拾音孔深度的主Mic获取所述主Mic对应视角上的第一声音源的声音。
可选地，配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度包括：在接收到输入的配置信息的情况下，根据所述配置信息配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度；在未接收到输入的配置信息的情况下，根据预设值配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度。
可选地，在利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音之前，所述方法还包括：确定所述拾音设备需要转动的方向及幅度；利用确定的所述拾音设备需要转动的方向及幅度控制所述拾音设备进行转动。
可选地，在利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音之前，所述方法还包括：确定所述主Mic需要转动的方向及幅度；利用确定的所述主Mic需要转动的方向及幅度控制所述主Mic进行转动。
根据本发明的另一个实施例，还提供了一种声音输出装置，包括：获取模块，用于利用拾音设备中的主麦克风Mic获取所述主Mic对应视角上的第一声音源的声音；输出模块，用于将所述主Mic获取的声音输出给与所述拾音设备连接的增强现实AR或虚拟现实VR设备。
可选地，所述获取模块通过如下方式利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音：配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度；利用配置了所述孔径大小和/或拾音孔深度的主Mic获取所述主Mic对应视角上的第一声音源的声音。
根据本发明的另一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的另一个实施例，还提供了一种电子装置，包括存储器和处理器，其中，该存储器中存储有计算机程序，该处理器被设置为运行所述计算机程序以执行上述任一项所述的方法。
通过本发明，由于拾音设备中的主Mic只能用于获取其对应视角上的声音，因此，不会获取非对应视角上的声音，从而有效屏蔽非对应视角上的声音，并且由于主Mic是采集对应视角上的声音的，因此，当拾音设备转动后，主Mic所正对的视角会随之发生变化，因此主Mic所采集的声音也会发生变化，实现了实时感知所处位置的声音，并且排除了主Mic非正对视角上的声音，增加用户对声音的深度沉浸感，解决了相关技术中存在的用户只能体会某一个特定位置的观赛感，且会受到周围噪声的影响的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的声音输出方法的移动终端的硬件结构框图；
图2是根据本发明实施例的声音输出方法的流程图；
图3是根据本发明实施例的声音输出方法的整体流程图；
图4是根据本发明实施例的自由声场示意图；
图5是根据本发明实施例的拾音孔的示意图；
图6是根据本发明实施例的凸面示意图；
图7是根据本发明实施例的一维空间内现行孔径接收平面波示意图；
图8是根据本发明实施例的角度示意图一；
图9是根据本发明实施例的角度示意图二；
图10是根据本发明实施例的频率与波束宽度的关系示意图；
图11是根据本发明实施例的水平方向上的极坐标示意图；
图12是根据本发明实施例的测试图一；
图13是根据本发明实施例的头肩模拟器示意图；
图14是根据本发明实施例的测试图二；
图15是根据本发明实施例的测试图三；
图16是根据本发明实施例的测试图四；
图17是根据本发明实施例的声音输出装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在终端，例如，移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的声音输出方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的声音输出方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
上述的终端可以是VR/AR设备，利用本发明实施例中的终端，用户可在任意所需场合，转动头的位置时，实时感知所处位置的声音效果，排除非对视方向上的声音，增加深度沉浸感；在本发明实施例中还可以提供可为用户选择的档位，让用户所达到极佳的体验。
在本实施例中提供了一种运行于上述移动终端的声音输出方法，图2是根据本发明实施例的声音输出方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，利用拾音设备中的主麦克风Mic获取所述主Mic对应视角上的第一声音源的声音；
步骤S204，将上述主Mic获取的声音输出给与拾音设备连接的增强现实AR或虚拟现实VR设备。
其中，执行上述操作的终端可以是上述拾音设备该拾音设备可以与AR或VR设备连接以作为AR或VR的一部分，其中，利用拾音设备中的主Mic获取该主Mic对应视角上的声音。上述拾音设备中的主Mic的数量可以是一个或多个。
通过上述实施例，由于拾音设备中的主Mic只能用于获取其对应视角上的声音，因此，不会获取非对应视角上的声音，从而有效屏蔽非对应视角上的声音，并且由于主Mic是采集对应视角上的声音的，因此，当拾音设备转动后，主Mic所正对的视角会随之发生变化，因此主Mic所采集的声音也会发生变化，实现了实时感知所处位置的声音，并且排除了Mic非对应视角上的声音，增加用户对声音的深度沉浸感，解决了相关技术中存在的用户只能体会某一个特定位置的观赛感，且会受到周围噪声的影响的问题。
在一个可选的实施例中，在将主Mic获取的声音输出给与拾音设备连接的增强现实AR或虚拟现实VR设备之前，上述方法还包括：利用拾音设备中的辅Mic获取辅Mic对应视角上的第二声音源的声音，其中，辅Mic设置在主Mic的周围；将主Mic获取的声音输出给与拾音设备连接的增强现实AR或虚拟现实VR设备包括：将主Mic获取的声音和辅Mic获取的声音进行合成，并将合成后的声音输出给与拾音设备连接的AR或VR设备。在本实施例中，利用上述拾音设备中的辅Mic获取所述辅Mic对应视角上的声音两个操作是没有必然的先后顺序的。需要说明的是，在实际应用时，也可以只设置主Mic，设置辅助Mic的目的是为了更好的感知周围特定位置上的声音，在一定程度上增加声音的立体感。
在一个可选的实施例中，利用拾音设备中的主Mic获取主Mic对应视角上的第一声音源的声音包括：配置主Mic的拾音孔的孔径大小和/或拾音孔深度；利用配置了所述孔径大小和/或拾音孔的深度的主Mic获取所述主Mic对应视角上的第一声音源的声音。在本实施例中，主Mic的拾音孔的孔径大小是可调的，拾音孔的深度也是可调的，优选地，可以为主Mic配置几种不同规格的拾音孔的孔径大小，例如，配置24mm、12mm、6mm、3mm，或者为主Mic配置可以连续调节孔径大小的拾音孔，具体配置可以视具体情况而定。此外，在具体配置时，也可以由使用者手动调节，或者根据主Mic对应视角上的声音源的声音的大小来自动进行调节，或者根据来自用户输入的配置信息，或者来自其他设备的配置信息来进行调节，其中，该其他设备可以是与该拾音设备连接的设备，例如，拾音设备为设置在赛场的设备，该其他设备为室内的由用户使用的且与该拾音设备通过无线方式连接的控制器，从而可以实现对拾音设备的远程控制。
正如上述实施例中所陈述的，在对主Mic的拾音孔的孔径大小进行配置时，可以利用输入的配置信息进行配置，若在一定时间内未收到该配置信息，则可以采用默认的配置方式，在本实施例中，配置上述主Mic的拾音孔的孔径大小和/或拾音孔深度包括：在接收到输入的配置信息的情况下，根据上述配置信息配置主Mic的拾音孔的孔径大小和/或拾音孔深度；在未接收到输入的配置信息的情况下，根据预设值配置主Mic的拾音孔的孔径大小和/或拾音孔深度，例如，预先设定默认的孔径大小为12mm，该预设的孔径大小是可以由用户自由设置的。
在一个可选的实施例中，在利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音之前，上述方法还包括：确定拾音设备需要转动的方向及幅度；利用确定的拾音设备需要转动方向及幅度控制拾音设备进行转动。在本实施例中，拾音设备是可以自由转动的，若拾音设备是用户头部的可穿戴设备，那么拾音设备会随着用户头部的转动而转动，若拾音设备是设置在赛场中的设备，而用户在室内时，用户可以通过与该拾音设备连接的控制设备控制该拾音设备的转动，本实施例主要针对的是对拾音设备的远程控制，从而实现了拾音设备根据用户的控制来进行移动的目的，从而使得用户可以感知任何方向上的声音，提高用户体验度。同样地，辅Mic和主Mic是类似的，也可以进行拾音孔大小的配置，在此，不再赘述。
在一个可选地实施例中，在利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音之前，上述方法还包括：确定所述主Mic需要转动的方向及幅度；利用确定的所述主Mic需要转动的方向及幅度控制所述主Mic进行转动。在本实施例中，可以配置拾音设备是不动的，但是主Mic可以灵活转动。
下面以拾音设备是可穿戴设备为例，结合附图对本发明中的声音输出方法进行整体说明：
图3是根据本发明实施例的声音输出方法的整体流程图，如图3所示，该方法包括如下步骤：
【001】用户开始使用设备(该设备即为拾音设备)；
【002】集成主Mic(对应于上述的主Mic)开始随头肩移动，并进行录音，判断是否采用默认档位(假设默认档位是D档，不同的档位对应于不同的主Mic的拾音孔的孔径大小，在本实施例中是假设有四种孔径大小的拾音孔)，若是，则转至步骤【004】，若否，则转至步骤【005】；
【003】位于头肩双耳处的双辅Mic进行录音；并经过电声信号传递至用户耳机；
【004】经过【002】集成主Mic录制后，用户选择D默认档位；则经过电声信号传递至用户耳机；
【005】经过【002】集成主Mic录制后，用户不选择D默认档位；
【006】当用户不选则默认档位时，其它通路继续进行声音的录制，并对应相应地通路，也就是说，当用户不选择默认档位时(此时也没有选择其他档位的过程中)，ABCD四个档位会分别会与ABCD四个通路一一对应，各个通路会同时进行声音的录制；
【007】用户选择其它档位后，系统自动切换到对应档位的通路，并与耳机通路建立连接，进行声音传输。其它非用户选择档位关闭与耳机的通路。
在上述实施例中，主要对声音的录制和输出进行了说明，下面对上述的拾音设备进行详细说明：
首先，对本发明实施例的实施原理进行说明：
声波是在自由空间中传播的，也就是在无线理想媒质中传播的，由于其边界是无限的，所以可以把我们解决的声场看成一个定向球面体。
如果建立以球面中心为原点的坐标系，如图4所示：
则有：x＝r*cosA(A为通过该目标点的半径与x轴夹角)
y＝r*cosB(B为通过该目标点的半径与y轴夹角)
z＝r*cosC(C为通过该目标点的半径与z轴夹角)
首先利用一个平面进行说明(另外两个平面采用相同的方法加入两个变量)，以自由声场为例，图4所示为一个球状的一个平面，其中‘O’为人所在的位置，‘A、B、C’为三个不同的音源，人在水平面上做视角运动，我们需要解决的问题就是如何确定‘A、B、C’音源，从而体验‘A、B、C’不同位置上的听觉效果。
Mic的性能可以用一系列客观参数进行描述，包括灵敏度、平率相应、等效噪声级、指向性、动态范围等内容。以应用环境是比赛场地为例，一般比赛场地最低至最高的声压级一般在60dB～110dB之间，传统的Mic直径一般为24mm、12mm、6mm、3mm四种，其频响为20Hz～40kHz，近似的可以看成全指向性，声压级的测量范围为30dB～140dB；本发明实施例中的拾音设备所处的环境声压级可以是在Mic测量声压级范围之内。
在Mic中，拾音孔(也可称为进音孔或进音通道)是十分重要的获取外部声源的重要部分，具体可参见图5所示。在本实施例中可以通过平面旋转、增加拓宽拾音孔的孔径及长度来解决进入该通道声音以及屏蔽其它非对视位置的音源进入问题。此外，在本发明中，采用了对比剥离的方法，即通过添加2个全向Mic作为辅Mic实时采集声音，然后主Mic通过拓宽拾音孔孔径及长度进行旋转采集，然后进行合成得到最终的声音。
基于上述目的，在本发明的一个实施例中，提供了一种拾音设备，该拾音设备被设置为与增强现实AR或虚拟现实VR设备连接，包括：主Mic以及处理器，其中，该主Mic用于获取主Mic对应视角上的第一声音源的声音；上述处理器连接至主Mic和辅Mic，用于将主Mic获取的声音输出给AR或VR。在本实施例中，由于拾音设备中的主Mic只能用于获取其对应视角上的声音，因此，不会获取非对应视角上的声音，从而有效屏蔽非对应视角上的声音，并且由于主Mic是采集正对方向上的声音的，因此，当拾音设备转动后，主Mic所正对的方向会随之发生变化，因此主Mic所采集的声音也会发生变化，实现了实时感知所处位置的声音，并且排除了Mic非正对方向上的声音，增加用户对声音的深度沉浸感，解决了相关技术中存在的用户只能体会某一个特定位置的观赛感，且会受到周围噪声的影响的问题。
在一个可选地实施例中，上述拾音设备还包括辅Mic，其中，辅Mic设置在主Mic的周围，用于获取辅Mic对应视角上的第二声音源的声音；处理器还用于连接至辅Mic，用于将主Mic获取的声音和辅Mic获取的声音进行合成并输出合成后的声音给AR或VR。
在一个可选地实施例中，上述处理器还用于配置主Mic的拾音孔的孔径大小和/或拾音孔的深度。正如前述所陈述的，主Mic的拾音孔的孔径大小是可调的，拾音孔的深度也是可调的，具体内容可参见前述方法实施例，同样地，辅Mic的拾音孔的孔径大小和拾音孔的深度也可以设置为可调的，其配置方式与主Mic的类似，在此，不再赘述。
在一个可选地实施例中，上述处理器可以通过如下方式配置主Mic的拾音孔的孔径大小和/或拾音孔的深度：在接收到输入的配置信息的情况下，根据配置信息配置主Mic的拾音孔的孔径大小和/或拾音孔深度；在未接收到输入的配置信息的情况下，根据预设值配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度。
在一个可选地实施例中，上述处理器还用于：确定拾音设备需要转动的方向及幅度；利用确定的上述拾音设备需要转动方向及幅度控制拾音设备进行转动。
在一个可选地实施例中，上述处理器还用于：确定主Mic需要转动的方向及幅度；利用确定的主Mic需要转动的方向及幅度控制主Mic进行转动。
在一个可选地实施例中，当上述拾音设备为用户头部的可穿戴设备时，上述主Mic包括位于可穿戴设备的前端的主Mic，其中，该前端被设置为与佩戴者的前额相对应。在本实施例中，辅Mic的数量可以是两个，分别位于可穿戴设备的对应用户左耳的位置和对应用户右耳的位置。需要说明的是，将主Mic设置在额头处并且将辅Mic设置在双耳处是较为优选的设置方式，具体原因如下所示：
A、主Mic的实施设计算法
1.在本实施例中将主Mic作为一个突出面来设计，利用凸面反射的原理，几乎所有的凸面都具有散射的作用，它们是作为扩散体的重要反射面，因为对于凸面而言，其r永远是负值的(如图6所示)。
如果以负值带入到凸面方程：中，那么b也会是负值，各参数已标注在图6上。综上，Q1为用户所在的位置，S为主Mic位置，则Q2声源传递的声波会进入S主Mic的通道内，其它波形会在球面进行反射，如A、B点。相反的，若Q2不在图6所示的位置上，而在其它位置的话，其波形传递必定形成散射，也就是说可以进行屏蔽。
2.当确认了上述‘1’中所描述的现象后，因为本发明实施例的目的中的第一个步骤是就将主Mic定义为可旋转进行主对视音源采集的器件，所以下一步进行将对主Mic的拾音孔进行孔径拓宽处理。
3.这里的孔径表示为将一个声信号转换为电信号的电声传感器(Mic)。
4.为了更好地说明问题，可以增加几个变量，即体积为V的Mic接收孔径，考虑一体积为V的接收孔径，x(t,r)表示在时间t和空间r处信号的值。接收孔径在r处的一个无限小的体积dV的冲击响应为a(t,r)，那么接收到的信号可以用卷积表示：
xR(t,r)＝∫x(i,r)a(t-i,r)di
或用其频域表示XR(f,r)＝X(f,r)A(f,r) (1)
其中A(f，r)是孔径函数，可以通过该孔径函数知道孔径在不同空间大小下所反映的相应函数。
5.因为接收孔径对于不同方向传来的信号而言，该接收孔径所张开的立体角是不同的，如图7所示，图7表示的是一维空间内线性孔径接收平面波的信号。
孔径的响应是进入孔径的信号的频率和入射方向的函数，通过求解波动方程可以推导出，孔径响应与孔径函数是存在傅里叶变换的关系。特别的，在本发明实施例中所描述的场景中(以比赛场地为例)为远场条件，其孔径的响应函数的表示方式为：
Fr{.}是三维的傅里叶变换，
是一个点在孔径上的空间位置。
是波的方向矢量，θ和φ可以参见图8。
为了更简单的说明问题以及获得孔径响应，可以将图8所示的坐标简化为沿着X轴方向的一维线性孔径，孔径长度为L，如图9所示。
在图9所示的情况下：
一维线性孔径，那么在这种情况下
孔径响应简化为：
其中：
如果将上面式子用θ和φ来表达的话，则为：
上面的算法是在平面波假设的条件下得到的，所以只适用于远场的条件。对于线性的孔径，应该满足下面的条件时可以认为满足远场条件。
考虑一个特定的情况，如果线性孔径，孔径函数不随着频率位置变化，那么，孔径函数可以写为：
AR(xα)＝rect(xα/L) (5)
傅里叶变换结果为：
综上，通过计算均匀孔径函数和相应地方向性孔径函数得出图形(如图10所示)，从图10中可以看出方向性孔径函数的零点分布在αx＝mλ/L，其中m为整数。方向性范围就可以得出，范围是：-λ/L≤αx≤λ/L之间的区域之间的区域被称为主瓣，其范围就是作波束宽度。因此，对于一个固定的孔径长度，频率越高，波束宽度越窄，如图10所示。
根据上述计算可知，对于一个固定的孔径长度，频率越高，波束宽度越窄，归一化的口径响应长度为：
口径响应长度在水平方向上可以表示为：
由(7)公式可以得出在水平方向上的极坐标的表示方式，那么在L/λ的条件下极坐标如图11所示，分别为L/λ＝0.5、1、2、4四个不同数值。
通过上述公式(1)～(7)的计算，可以得出线性孔径特性。
所以，主Mic的实施设计算法所描述的线性孔径特性，结合水平方向上的线性孔径特征公式：
其中，wn(f)是传感器的权重参数，C是在推导公式时，将原有的λ明确写为f后变为的C，原有公式可参见公式(9)。
得出，无论是线性的Mic或者等间距分布的Mic阵列下的孔径特征，都取决于以下几个条件：
传感器的数量N；
传感器间的间距d；
声波的频率f；
由于离散传感器阵列是连续孔径的一种近似。有一点需要注意的是，传感器阵列的有效长度定义为相应的连续孔径的长度，为L＝Nd，而传感器阵列的实际长度是d(N-1)。
通过图6和图7所描述的散射和频率和入射方向的函数，就可以较为准确的识别到对视方向上的音源。
下面结合仿真结果对本发明进行说明：
为了便于理解，以及确认本发明实施例中对主Mic和双辅Mic的摆放位置。所以在音频实验室做如下实验室论证，在本次试验中引入了符合国际标准的B&K“头肩模拟器”(HATS)、测试环境为标准全消音室。(测试图可参见图12)
A、两个固定辅Mic测试
a.进行实验室测试时，采用标准“头肩模拟器”(丹麦4128C型头与躯干模拟器)，测试图可参见图13。
由图13所示，如果将两个辅Mic放置于头肩模拟器人工耳位置时，由于人耳耳廓朝向，所形成的主轴线夹角角度恰为图13中所表示的主轴线夹角，且根据以往对终端产品音频测试经验，放在此处，所形成的∠H(固定支架国际通用角度)所测试的指标与中移动实验室其相关局方实验室测试相同。
b.为了进一步论证，进行如下实验，所搭建的环境如图14所示。在本次试验中可以将“人工耳”近似的看成辅Mic(左右耳各一个)，使用标准音箱播放P.501音源信号/标准英文对话。
测试策略如下(具体可参见附图15)：
a、放置在本发明实施例中所设计的位置，测试1020Hz，8个频点的接收失真情况；
b、按照标准头肩模拟器的刻度，将两侧的辅Mic上移6cm，测试1020Hz，8个频点的接收失真情况；
测试结论详见表1：
表1
方案 次数 测试结论
a.本专利设计位置 50 Pass
b.上移6cm位置 50 Fail
综上可知，本发明实施例中将两个辅Mic放置在“头肩模拟器”双耳位置是较优的。
B、两个固定辅Mic测试
测试环境搭建(见图15)：
在本实验中，将一根标准1/4 Mic视为可随头肩模拟器移动的主Mic(B&K 2670)测试策略如下：
a、将Mic置于唇环中心点位置(A点)，测试1020Hz，8个频点的接收失真情况；
b、将Mic置于唇环中心点上端鼻子处(B点)测试1020Hz，8个频点的接收失真情况；
c、将Mic置于唇环中心点前额处(C点)测试1020Hz，8个频点的接收失真情况；
测试结论详见表2：
表2
方案 次数 测试结论
a、唇环中心位置 50 Fail(0％次)-3个点不过
b、鼻子 50 Fail(0％次)-4个点不过
c、前额 50 Fail(0％次)-1个点不过
所以，在本发明实施例中将主Mic放置于前额部位是较优的。
在一个可选的实施例中，上述主Mic还包括位于可穿戴设备的顶端的主Mic，其中，该顶端被设置为与佩戴者的头顶相对应。通过在对应头顶的位置上设置主Mic可以实现立体空间声音采集，从而使用户能够感受到更为立体真实的声音。需要说明的是，在本发明中，可以根据实际需求自由设置主Mic的位置，并且自由调整主Mic的数量。
在一个可选的实施例中，当上述拾音设备为用户头部的可穿戴设备时，辅Mic包括位于可穿戴设备的两侧的辅Mic，两侧被设置为与佩戴者的双耳相对应。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种声音输出装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图17是根据本发明实施例的声音输出装置的结构框图，如图17所示，该装置包括：
获取模块172，用于利用拾音设备中的主Mic获取主Mic对应视角上的第一声音源的声音；输出模块174，连接至上述获取模块172，用于将上述主Mic获取的声音输出给与上述拾音设备连接的增强现实AR或虚拟现实VR设备。
在一个可选的实施例中，该装置还用于：在将主Mic获取的声音输出给与所述拾音设备连接的增强现实AR或虚拟现实VR设备之前，利用拾音设备中的辅Mic获取辅Mic对应视角上的第二声音源的声音，其中，辅Mic设置在主Mic的周围；将主Mic获取的声音输出给与拾音设备连接的增强现实AR或虚拟现实VR设备：将主Mic获取的声音和辅Mic获取的声音进行合成，并将合成后的声音输出给与拾音设备连接的AR或VR设备。
在一个可选的实施例中，上述获取模块172可以通过如下方式利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音：配置主Mic的拾音孔的孔径大小和/或拾音孔深度；利用配置了孔径大小和/或拾音孔深度的主Mic获取主Mic对应视角上的第一声音源的声音。
在一个可选的实施例中，上述获取模块172可以通过如下方式配置上述主Mic的拾音孔的孔径大小和/或拾音孔深度：在接收到输入的配置信息的情况下，根据该配置信息配置主Mic的拾音孔的孔径大小和/或拾音孔深度；在未接收到输入的配置信息的情况下，根据预设值配置主Mic的拾音孔的孔径大小和/或拾音孔深度。
在一个可选的实施例中，上述声音输出装置还用于在利用拾音设备中的主Mic获取主Mic正对方向上的声音之前，确定上述拾音设备需要转动的方向及幅度；利用确定的拾音设备需要转动的方向及幅度控制拾音设备进行转动。
在一个可选的实施例中，该装置还用于：在利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音之前，确定所述主Mic需要转动的方向及幅度；利用确定的所述主Mic需要转动的方向及幅度控制所述主Mic进行转动。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，上述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储其中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
由上述实施例可知，本发明的基本核心是在AR/VR产品上，通过在AR/VR产品上进行Mic的定义及布局。为了便于理解和更好的阐明本发明所描述的内容，可以暂设定Mic有24mm、12mm、6mm、3mm四种规格，该Mic集成为一个采集扇面，扇面可随用户头部进行同角度旋转结构，通过平面旋转、增加拓宽拾音孔的孔径长度来解决进入该通道声音，以及屏蔽其它非对视位置的音源进入，并增加其它辅助Mic与之匹配。
其中，原有Mic为可以进行扇面旋转的拾音设备，将四种规格(四种规格仅是示例性说明，也可以采用其他的规格)进行集成，集成Mic模块用于采集用户对视方向上的声音；在用户佩戴上述拾音设备后，辅Mic为2个全向辅Mic，实时采集用户所处位置旁边的声音，可以随着用户头进行转动，也可以设置为不随着用户头进行转动。集成主Mic开始工作，设备默认A、B、C、D中任意一个档位(每个档位分别对应一种规格)，默认为D档位，每个档位对应一个通路；两个辅Mic开始工作，实时采集用户左侧和右侧的环境声音；当用户朝向某个区域时，随着转向角度变化，集成主Mic位置同角度发生变化；此时，集成Mic将电声信号进行转换，通过耳机传递给用户；同样的，两个辅Mic将头左右两侧的声音通过电声信号转换，通过耳机传递给用户；当用户感觉此时的感受不能够满足现场观赛感需求时，可以调节按钮切换档位，并开启与之选择相对应的通路，从而达到更好的效果。
在本发明实施例中，所采用的方法是，重新定义Mic并通过“平面旋转”、“增加或拓宽拾音孔”的孔径和长度来解决进入通道声音并且屏蔽其他非用户对视点的音源进入问题，进行了硬件修改等方式，从而进行音源定位。
在本发明实施例中描述了这样一种采集面Mic分配布局策略和使用规则。例如：由于本发明专利核心之一为“增加或拓宽拾音孔”，故当为了实现某一方向上的音源采集，可以设置多个主Mic(每个Mic的拾音孔的孔径大小不同，或者设置一个主Mic，并为该一个主Mic设置多种拾音孔的孔径大小规格)，例如设定添加的主Mic数量为3个，分别为A、B、C三种，所采用的A、B、C三种Mic孔径为a毫米、b毫米、c毫米，朝向相对于某水平位置为a°、b°、c°，由于其本身结构特性和位置特性，所表征的含义为各个角度朝向的所带给用户感受。需要说明的是，上文所举例描述的是本发明核心的基本实施实例之一，并不代表本发明所描述的完整唯一实施方案。本发明实施例根据后期设计的需求确定Mic的数量、规格、朝向等内容。
本发明实施例所描述的“水平方向上的定位方法”目的是为了更好地说明问题，是本发明核心的基本实施实例之一，并不代表本发明所描述的完整唯一实施方案。当再添加一个与本发明所描述的基本实施例采用相同技术手段、且垂直于它的设备之后，就可以达到立体空间的采集。所以，本发明完整的实施方案包括但不限于一个水平方向上的音源定位，如本段文字所述，当添加两个或两个以上等本发明描述的技术后，可以达到全向采集。
本发明实施例提供了这样的一种立体声感知技术，即根据空间大小，在特定位置部署本专利所描述的设备，可以达到全方位，立体空间的音源采集。佩戴了上述拾音设备后，用户可以体验到在本地(家中、赛场)的任意一点观察感知所建立机位的观赛感觉，从而增加用户的可选择性和沉浸感。且用户所在位置无需发生变化。例如：当用户处于B点位置时，头部向左转动，通过用户的选择可以感知到现场任意一点如A点的头部向左转动的等同效果。
本发明实施例所描述的接收到的每一个音源，都包含位置信息，且该位置信息在采集之初，就已经包含在音源之中，也就是说该位置信息为初始发声源位置。所以还原给用户时，不仅包括声音，同时也能让用户感觉到所处位置的变化。
本发明实施例还描述了这样的一种音视频匹配合成规则。就现有技术而言，在还原匹配音视频时，所有参数的调整和变化都是基于时间(帧)的，而专利所描述的方法是，增加一个位置坐标轴线，通过转动(Pan)和垂直转动(Tilt)两个参数，就能匹配到视角上的声音和朝向画面，当时间、位置坐标二者同时匹配时进行合成。
本发明实施例描述了一种音频格式的框架结构。现有的音频文件包括简单的左右声道、音轨(声部)等信息，而本发明实施例中，添加了位置信息，具体的描述是，其以采集点为原点，该原点是距离音源的相对位置；同样的，采集点同时也进行视频采集，也同为视频采集点的原点。很明显的，由于视频和音频属于同一个坐标系，在位置信息都一样的情况下，可以进行匹配。综上，本实施例所描述的位置信息是所有发声源相对于采集点的相对位置。
本发明实施例描述了一种当位置(坐标点)变动时音频还原的一种规则。本实施例所描述的还原给用户的声音不是改变还原给用户声音的大小，而是改变所采集的声场范围内每个发声点还原给用户的响度比例。所以，在影响用户体验的几个因素中，诸如视频、音频、体感、触摸灯内容中，本实施主要描述的是对音频比例的还原更改。
本发明实施例描述了一种用户自我选择模式。本发明实施例中描述了主Mic为四个默认档位，当用户不选择默认档位时，可以根据用户自身需求，任意切换其他档位，且其他通路继续进行声音的录制，并对应相应的通路反馈给用户，增加用户体验。在此需要重点说明的是，本专利为了更好的说明问题，描述了主Mic为四个默认档位，是本专利发明核心的基本功能特性之一，并不代表本发明所描述的完整唯一实施方案。所以，本发明完整的实施方案包括但不限于四个默认档位。
本发明实施例还描述了这样一种基于复用匹配的体验方案。采用本发明所描述音源定位方式，当添加与后期设计需求匹配的主Mic数量、规格、位置后，如上文描述，可以实现全场多平面维度的音源定位，此时主Mic采集面采集全场的音源进行录制。例如：有两个用户A、B同时朝向不同的角度a°、b°两个视角，全场录制的音源为α。此时，系统自动将用户A的视角角度a°与α音源中所包含的位置信息进行匹配，当匹配成功时，将所扫描到的匹配成功的音源传递给用户A。同样的，系统自动将用户B的视角角度b°与α音源中所包含的位置信息进行匹配，当匹配成功时，将所扫描到的匹配成功的音源传递给用户B。需要说明的是，举例中所描述的是本发明核心的基本功能特性之一，并不代表本发明所描述的完整唯一实施方案。
本发明实施例还描述了这样一种基于本地的非实时复用采集方案。当采用与后期设计需求向匹配的方案后，系统自动采集全场声音进行录制，将录制信息存储在本地，当用户使用时，采用前述的复用匹配体验方案，可以实现非实时的多用户多不同视角的音源定位的感知。
发明实施例对设备布局提供了这样一种解决方案，本发明专利所描述的设备，可以在场内任意一点放置，包括但不限于一台终端设备。
本发明实施例中所描述的方法和现有技术提到的方法在实现手段上是存在如下差异的：
A、现有专利主要内容是VR音频和视频对应渲染，以及在虚拟场景中任意位置视频和音频的选择还原，并没有对立体空间中不同方位音源区分和采集，最重要的是该专利的实现基础是本专利的采集方法，否则，现有专利技术无法实现。
B、本发明实施例中的方案是通过上述推论，通过平面旋转、增加拓宽拾音孔的孔径及长度来解决进入该通道声音以及屏蔽其它非对视位置的音源进入等硬件修改方式达到本专利所提到的目的。现有专利是通过渲染、将其所提到的N个音频采集设备采集的音频数据进行编码实现的。
C、本发明实施例中所描述的方法与现有技术所描述的方法在“音源定位”时，实现“音源定位”的介入点存在不同，本发明所描述的是在初期的采集过程中就已经将相关音源(含感知位置)信息录入，在达到基本效果的实施方式上不需要后期进行处理。而现有专利是在录入音源，后期再通过所确定音频数据对应的扬声设备；利用确定的Q个扬声设备，渲染M路音频数据。介入点是在后期对Q个扬声器所对应的M路音频数据的渲染阶段。
D、采集方式不同，本发明所描述的采集方式是，通过添加两个(包括但不限于两个)辅Mic，以及重新定义四种规格(包括但不限于四个)的集成主Mic来实现的，该设备在某单个机位可以实现多向音源采集和定位。而现有技术则是利用针对每个视频采集设备的设置方位，再在其对应设置的N个音频采集设备。
现有专利主要内容是VR音频和视频对应渲染，以及在虚拟场景中任意位置视频和音频的选择还原，并没有对立体空间中不同方位音源的区分和采集，而通过本发明实施例中的采集方式能够有效对立体空间中不同方位音源进行区分和采集。
本发明实施例中所描述的方法，是在初期的采集过程中就已经将相关音源(含感知位置)信息录入，在达到基本效果的实施方式上不需要后期进行处理。
本发明描述了一种当位置变动(坐标点)时，音频还原的一种规则。不采用改变还原给用户声音的大小，而是改变所采集的声场范围内每个发声点声音大小的比例。现有技术无此功能，只是单纯的渲染后还原给用户。
本发明实现了一种用户自我选择的模式，所描述的主Mic有四个默认档位(包括但不限于四个)，当用户不选则默认档位时，可以切换任意其它档位，其它通路继续进行声音的录制，并对应相应地通路，反馈给用户，增加用户的体验。
本发明建立了这样的一种立体声感知技术，根据场地及其空间大小，在特定位置部署本专利所描述的设备，可以达到全方位，立体的空间采集。用户可以在本地(家中、赛场任意一点)任意一点观察感知所建立机位的观赛感觉，增加用户的可选择性和沉浸感，且用户所在位置无需发生变化。
本发明的有益效果总结如下：
本发明实施例中的方案实施简单，便捷，不需要做太大的改动；
本发明实施例中的方案可以较好的规避已有技术中降噪技术的不足；
本发明实施例中的方案可以在一种设备上进行档位调节，由用户自主选择孔径大小，增加用户的可选择性。
下面对本发明的具体应用场景进行说明：
本发明实施例中的方案可以运用在已有的智能手机产品上，可以达到使用该设备时，用户亲临现场观赛，转动头的位置时，可以实时感知所处位置的声音效果，增加深度沉浸感；还为提供了多种可选择档位，让用户所达到更佳的体验。
在其他领域种，本发明专利在城市规划、城市建模中可以得到很好的运用，例如：在城市规划中，用户可以进行现场巡视，佩戴终端后，可以感知所设置模型的合理性；本发明专利在地理学科中可以得到很好的运用，并综合利用三维GIS等地理信息，来实现某些特定地域类型的感知，提供可靠的参考数据和用户感知；本发明专利可以运动在抢险救灾中，当重大事故发生时，可实时感知查看建筑内部构造和感知信息等其他影响救援工作信息，精准定位最佳救援路线，选择最优救援手段，极大提高救援效率。并对现场传回的图像进行跟踪，实时下达救援命令。
需要说明的是，本专利发明也可以运用到如军事、工业、电子巡航、教育等多个领域。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种拾音设备，其特征在于，所述拾音设备被设置为与增强现实AR或虚拟现实VR设备连接，包括：主麦克风Mic以及处理器，其中，
所述主Mic用于获取所述主Mic对应视角上的第一声音源的声音；
所述处理器连接至所述主Mic，用于将所述主Mic获取的声音输出给所述AR或VR。
2.根据权利要求1所述的拾音设备，其特征在于，所述拾音设备还包括辅Mic，其中，
所述辅Mic设置在所述主Mic的周围，用于获取所述辅Mic对应视角上的第二声音源的声音；
所述处理器还用于连接至所述辅Mic，用于将所述主Mic获取的声音和所述辅Mic获取的声音进行合成并输出合成后的声音给所述AR或VR。
3.根据权利要求1所述的拾音设备，其特征在于，所述处理器还用于配置所述主Mic的拾音孔的孔径大小和/或拾音孔的深度。
4.根据权利要求3所述的拾音设备，其特征在于，所述处理器通过如下方式配置所述主Mic的拾音孔的孔径大小和/或拾音孔的深度：
在接收到输入的配置信息的情况下，根据所述配置信息配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度；
在未接收到输入的配置信息的情况下，根据预设的孔径大小配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度。
5.根据权利要求1所述的拾音设备，其特征在于，所述处理器还用于：
确定所述拾音设备需要转动的方向及幅度；
利用确定的所述拾音设备需要转动方向及幅度控制所述拾音设备进行转动。
6.根据权利要求1所述的拾音设备，其特征在于，所述处理器还用于：
确定所述主Mic需要转动的方向及幅度；
利用确定的所述主Mic需要转动的方向及幅度控制所述主Mic进行转动。
7.根据权利要求1至6中任一项所述的拾音设备，其特征在于，当所述拾音设备为用户头部的可穿戴设备时，所述主Mic包括位于所述可穿戴设备前端的主Mic，其中，所述前端被设置为与佩戴者的前额相对应。
8.根据权利要求7所述的拾音设备，其特征在于，所述主Mic还包括位于所述可穿戴设备的顶端的主Mic，其中，所述顶端被设置为与佩戴者的头顶相对应。
9.根据权利要求2所述的拾音设备，其特征在于，当所述拾音设备为用户头部的可穿戴设备时，所述辅Mic包括位于所述可穿戴设备的两侧的辅Mic，所述两侧被设置为与佩戴者的双耳相对应。
10.一种声音输出方法，其特征在于，包括：
利用拾音设备中的主麦克风Mic获取所述主Mic对应视角上的第一声音源的声音；
将所述主Mic获取的声音输出给与所述拾音设备连接的增强现实AR或虚拟现实VR设备。
11.根据权利要求10所述的方法，其特征在于，
在将所述主Mic获取的声音输出给与所述拾音设备连接的增强现实AR或虚拟现实VR设备之前，所述方法还包括：利用所述拾音设备中的辅Mic获取所述辅Mic对应视角上的第二声音源的声音，其中，所述辅Mic设置在所述主Mic的周围；
将所述主Mic获取的声音输出给与所述拾音设备连接的增强现实AR或虚拟现实VR设备包括：将所述主Mic获取的声音和所述辅Mic获取的声音进行合成，并将合成后的声音输出给与所述拾音设备连接的所述AR或所述VR设备。
12.根据权利要求10所述的声音输出方法，其特征在于，利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音包括：
配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度；
利用配置了所述孔径大小和/或拾音孔深度的主Mic获取所述主Mic对应视角上的第一声音源的声音。
13.根据权利要求12所述的声音输出方法，其特征在于，配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度包括：
在接收到输入的配置信息的情况下，根据所述配置信息配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度；
在未接收到输入的配置信息的情况下，根据预设值配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度。
14.根据权利要求10所述的声音输出方法，其特征在于，在利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音之前，所述方法还包括：
确定所述拾音设备需要转动的方向及幅度；
利用确定的所述拾音设备需要转动的方向及幅度控制所述拾音设备进行转动。
15.根据权利要求10所述的声音输出方法，其特征在于，在利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音之前，所述方法还包括：
确定所述主Mic需要转动的方向及幅度；
利用确定的所述主Mic需要转动的方向及幅度控制所述主Mic进行转动。
16.一种声音输出装置，其特征在于，包括：
获取模块，用于利用拾音设备中的主麦克风Mic获取所述主Mic对应视角上的第一声音源的声音；
输出模块，用于将所述主Mic获取的声音输出给与所述拾音设备连接的增强现实AR或虚拟现实VR设备。
17.根据权利要求16所述的声音输出装置，其特征在于，所述获取模块通过如下方式利用拾音设备中的主Mic获取所述主Mic对应视角上的第一声音源的声音：
配置所述主Mic的拾音孔的孔径大小和/或拾音孔深度；
利用配置了所述孔径大小和/或拾音孔深度的主Mic获取所述主Mic对应视角上的第一声音源的声音。
18.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求10至15中任一项所述的方法。
19.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求10至15中任一项所述的方法。
CN201810206356.9A 2018-03-13 2018-03-13 拾音设备、声音输出方法、装置、存储介质及电子装置 Withdrawn CN110278512A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810206356.9A CN110278512A (zh) 2018-03-13 2018-03-13 拾音设备、声音输出方法、装置、存储介质及电子装置
PCT/CN2019/075489 WO2019174442A1 (zh) 2018-03-13 2019-02-19 拾音设备、声音输出方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810206356.9A CN110278512A (zh) 2018-03-13 2018-03-13 拾音设备、声音输出方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN110278512A true CN110278512A (zh) 2019-09-24

Family

ID=67907383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810206356.9A Withdrawn CN110278512A (zh) 2018-03-13 2018-03-13 拾音设备、声音输出方法、装置、存储介质及电子装置

Country Status (2)

Country Link
CN (1) CN110278512A (zh)
WO (1) WO2019174442A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716178A (zh) * 2019-09-17 2020-01-21 苏宁智能终端有限公司 一种全声场定向的声源定位方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070027379A (ko) * 2005-09-06 2007-03-09 엘지전자 주식회사 마이크로폰 및 그 제어장치와 방법
US20130044884A1 (en) * 2010-11-19 2013-02-21 Nokia Corporation Apparatus and Method for Multi-Channel Signal Playback
CN103916723A (zh) * 2013-01-08 2014-07-09 联想(北京)有限公司 一种声音采集方法以及一种电子设备
CN106162206A (zh) * 2016-08-03 2016-11-23 北京疯景科技有限公司 全景录制、播放方法及装置
CN106657769A (zh) * 2016-11-02 2017-05-10 刘宏晋 一种虚拟现实视频拍摄方法及系统
CN106878877A (zh) * 2017-03-23 2017-06-20 南京邮电大学 Vr体验场景下为用户提供环绕立体声的方法及系统
CN206532076U (zh) * 2017-02-22 2017-09-29 上海金蓝络科技信息系统股份有限公司 一种智能化vr全景拍摄机

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065951B (zh) * 2013-12-26 2016-12-07 北京金山网络科技有限公司 视频拍摄方法、视频播放方法及智能眼镜
CN106486147A (zh) * 2015-08-26 2017-03-08 华为终端（东莞）有限公司 指向性录音方法、装置及录音设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070027379A (ko) * 2005-09-06 2007-03-09 엘지전자 주식회사 마이크로폰 및 그 제어장치와 방법
US20130044884A1 (en) * 2010-11-19 2013-02-21 Nokia Corporation Apparatus and Method for Multi-Channel Signal Playback
CN103916723A (zh) * 2013-01-08 2014-07-09 联想(北京)有限公司 一种声音采集方法以及一种电子设备
CN106162206A (zh) * 2016-08-03 2016-11-23 北京疯景科技有限公司 全景录制、播放方法及装置
CN106657769A (zh) * 2016-11-02 2017-05-10 刘宏晋 一种虚拟现实视频拍摄方法及系统
CN206532076U (zh) * 2017-02-22 2017-09-29 上海金蓝络科技信息系统股份有限公司 一种智能化vr全景拍摄机
CN106878877A (zh) * 2017-03-23 2017-06-20 南京邮电大学 Vr体验场景下为用户提供环绕立体声的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716178A (zh) * 2019-09-17 2020-01-21 苏宁智能终端有限公司 一种全声场定向的声源定位方法及装置

Also Published As

Publication number Publication date
WO2019174442A1 (zh) 2019-09-19

Similar Documents

Publication Publication Date Title
CN108616789B (zh) 基于双耳实时测量的个性化虚拟音频回放方法
EP3466113B1 (en) Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space
CN105073073B (zh) 用于声音可视化及声源定位的设备与方法
US12081955B2 (en) Audio apparatus and method of audio processing for rendering audio elements of an audio scene
EP3664477B1 (en) Spatial repositioning of multiple audio streams
CN110267166B (zh) 一种基于双耳效应的虚拟声场实时交互系统
CN103634720A (zh) 播放控制的方法及电子设备
JP7210602B2 (ja) オーディオ信号の処理用の方法及び装置
US20210112361A1 (en) Methods and Systems for Simulating Acoustics of an Extended Reality World
CN106774930A (zh) 一种数据处理方法、装置及采集设备
CN109752951A (zh) 控制系统的处理方法、装置、存储介质和电子装置
CN106454686A (zh) 一种基于体感摄像头的多通路环绕声动态双耳重放方法
US11902735B2 (en) Artificial-reality devices with display-mounted transducers for audio playback
Braasch et al. A binaural model that analyses acoustic spaces and stereophonic reproduction systems by utilizing head rotations
CN111696513A (zh) 音频信号处理方法及装置、电子设备、存储介质
CN109474882A (zh) 基于听音点追踪的声场重建方法、设备、存储介质及装置
WO2022004421A1 (ja) 情報処理装置、出力制御方法、およびプログラム
CN107249166A (zh) 一种完全沉浸式的耳机立体声实现方法及系统
CN110278512A (zh) 拾音设备、声音输出方法、装置、存储介质及电子装置
CN110620982A (zh) 用于助听器中的音频播放的方法
CN111246345B (zh) 一种远程声场实时虚拟重现的方法与装置
CN110716178A (zh) 一种全声场定向的声源定位方法及装置
WO2024189726A1 (ja) キャリブレーション装置およびキャリブレーション方法
WO2023061130A1 (zh) 耳机、用户设备及处理信号的方法
CN207410480U (zh) 一种模拟装置及录音设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190924