CN114270877A - 非重合视听捕获系统 - Google Patents

非重合视听捕获系统 Download PDF

Info

Publication number
CN114270877A
CN114270877A CN201980099614.0A CN201980099614A CN114270877A CN 114270877 A CN114270877 A CN 114270877A CN 201980099614 A CN201980099614 A CN 201980099614A CN 114270877 A CN114270877 A CN 114270877A
Authority
CN
China
Prior art keywords
audio signal
spatial audio
reference frame
frame
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980099614.0A
Other languages
English (en)
Inventor
E·斯特因
M·沃尔什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS Inc
Original Assignee
DTS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DTS Inc filed Critical DTS Inc
Publication of CN114270877A publication Critical patent/CN114270877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Abstract

本文讨论的系统和方法能够改变用于第一空间音频信号的参考系。第一空间音频信号可以包括表示来自相对于音频捕获地点的不同深度或方向的音频信息的信号分量，该音频捕获地点与具有相对于环境的第一参考系的音频捕获源设备相关联。改变参考系可以包括接收第一空间音频信号的分量，接收关于相对于相同环境的第二参考系的信息，确定第一参考系与第二参考系之间的差异，以及使用所确定的第一参考系与第二参考系之间的差异来确定用于生成第二空间音频信号的至少一个分量的第一滤波器，该第二空间音频信号基于第一空间音频信号并且以第二参考系为参考。

Description

非重合视听捕获系统
背景技术
音频和视频捕获系统，诸如可以分别包括或使用麦克风和相机，可以共同位于环境中并被配置为捕获诸如音乐表演之类的视听事件。捕获的视听信息可以按需记录、传输和回放。在示例中，可以以沉浸式格式捕获视听信息，诸如使用空间音频格式和多维视频或图像格式。
在示例中，音频捕获系统可以包括麦克风、麦克风阵列、或包括一个或多个换能器以从环境接收音频信息的其它传感器。音频捕获系统可以包括或使用被配置为捕获三维或360度声场的空间音频麦克风，诸如ambisonic麦克风。
在示例中，视频捕获系统可以包括单镜头相机或多镜头相机系统。在示例中，视频捕获系统可以被配置为接收360度视频信息，有时称为沉浸式视频或球面视频。在360度视频中，可以同时地接收和记录来自多个方向的图像信息。在回放期间，观众或系统可以选择或控制观看方向，或者可以将视频信息呈现在球面屏幕或其它显示系统上。
各种音频记录格式可用于在记录中编码三维音频提示。三维音频格式包括ambisonic和离散多声道音频格式，其包括提升的扩音器(loudspeaker)声道。在示例中，可以在多声道数字音频信号的音轨分量中包括降混。降混可以向后兼容，并且可以由老式解码器解码并在现有或传统回放设备上再现。降混可以包括具有可被老式解码器忽略但可被非老式解码器使用的一个或多个音频声道的数据流扩展。例如，非老式解码器可以恢复附加的音频声道，减去它们在向后兼容的降混中的贡献，然后以目标空间音频格式渲染它们。
在示例中，可以在编码或制作阶段指定音轨所针对的目标空间音频格式。这种方法允许以与老式环绕声解码器兼容的数据流的形式对多声道音频音轨进行编码，并且在编码或制作阶段也选择一种或多种替代目标空间音频格式。这些替代目标格式可以包括适于三维音频提示的改进再现的格式。但是，这种方案的一个限制是，针对另一种目标空间音频格式编码相同的音轨会要求返回到制作设施以记录和编码为新格式混合的音轨的新版本。
基于对象的音频场景编解码(coding)为独立于目标空间音频格式的音轨编码提供了一般性解决方案。基于对象的音频场景编解码系统的示例是用于场景的MPEG-4高级音频二进制格式(AABIFS)。在这种方法中，每个源信号与渲染提示数据流一起被单独传输。这个数据流携带空间音频场景渲染系统的参数的时变值。这个参数集可以以与格式无关的音频场景描述的形式提供，使得可以通过根据这种格式设计渲染系统来以任何目标空间音频格式渲染音轨。每个源信号与其相关联的渲染提示相结合可以定义“音频对象”。这种方法使得渲染器能够实现准确的空间音频合成技术，以便以在再现端选择的任何目标空间音频格式渲染每个音频对象。基于对象的音频场景编解码系统还允许在解码阶段对渲染的音频场景进行交互式修改，包括重新混合、音乐重新解释(例如，卡拉OK)或场景中的虚拟导航(例如，视频游戏)。
在示例中，空间编码的音轨可以通过两种互补的方法产生：(a)利用诸如可以放置在场景内的听者或相机的虚拟位置处或附近的重合或紧密间隔的麦克风系统记录现有的声音场景，或(b)合成虚拟声音场景。使用传统的3D双耳音频记录的第一种方法可以说是通过使用“假头”麦克风创造尽可能接近“你在那儿”的体验。在这种情况下，一般通过使用带有放在耳朵上的麦克风的人体模型，实况捕获声音场景。双耳再现(其中所记录的音频通过头戴式耳机在耳朵处被重放)然后被用于重新创建原始空间感知。传统的假头记录的局限之一是它们只能捕获实况事件，并且只能从假人的视角和头部朝向。
使用第二种方法，通过对假头(或探头麦克风插入耳道的人头)周围的头部相关传递函数(HRTF)进行采样以及对那些测量进行插值以近似已经针对另一个位置测得的HRTF，数字信号处理(DSP)技术可以被用于模仿双耳收听。常见的技术是将测得的同侧和对侧HRTF转换成最小相位并在它们之间执行线性插值以导出HRTF对。HRTF对，诸如与适当的耳间时间延迟(ITD)相结合，表示用于期望的合成位置的HRTF。这种插值一般在时域中执行，并且可以包括时域滤波器的线性组合。插值可以包括频域分析(例如，对一个或多个频率子带执行的分析)，然后是频域分析输出之间或当中的线性插值。时域分析可以提供计算效率更高的结果，而频域分析可以提供更准确的结果。在一些实施例中，插值可以包括时域分析和频域分析的组合，诸如时-频分析。
发明内容
本发明人已经认识到要解决的问题包括提供具有与视频或图像捕获元件重合或并置的音频捕获元件的音频和视觉捕获系统。例如，本发明人已经认识到定位麦克风使得从麦克风接收的音频信息听起来与使用相机同时接收的视频相匹配会干扰相机的视场。因此，麦克风常常被移动到相对于相机的非理想位置。对该问题的解决方案可以包括或使用信号处理来校正或重新定位接收到的音频信息，以使听者听起来好像音频信息与来自相机的视频信息重合或者具有基本相同的视角或参考系。在示例中，解决方案包括将空间音频信号从第一参考系平移(translate)到不同的第二参考系，诸如在六个自由度内或在三维空间内。在示例中，解决方案包括或使用主动编码和解码。因而，解决方案可以允许稍后的格式升级、其它内容或效果的添加、或者在校正或再现阶段的其它添加。在示例中，解决方案还包括在解码器阶段中分离信号分量，诸如为了进一步优化空间处理和听者体验。
在示例中，用于解决本文讨论的音频和视觉捕获系统问题的系统可以包括三维相机、360度相机或其它大视场相机。该系统可以包括音频捕获设备或麦克风，诸如空间音频麦克风或麦克风阵列。该系统还可以包括数字信号处理器电路或DSP电路，以从音频捕获设备接收音频信息、处理音频信息，并提供一个或多个经调整的信号以供进一步处理，诸如虚拟化、均衡或其它信号整形。
在示例中，系统可以接收或确定麦克风的位置和相机的位置。例如，这些位置可以包括麦克风和相机在三维空间中的相应坐标。系统可以确定位置之间的平移。即，系统可以确定坐标之间的差异，诸如包括绝对距离或方向。在示例中，系统可以在确定平移时包括或使用关于麦克风和相机之一或两者的观看方向的信息。DSP电路可以从麦克风接收音频信息，使用主动解码将音频信息分解成相应的声场分量或音频对象，根据确定的坐标之间的差异旋转或平移对象，然后将对象重新编码为声场、对象或其它空间音频格式。
本概述旨在提供本专利申请的主题的概述。并不旨在提供本发明的排他性或详尽的解释。包括详细描述以提供关于本专利申请的更多信息。
附图说明
在不一定按比例绘制的附图中，相同的标号可以在不同的视图中描述相似的组件。具有不同字母后缀的相同标号可以表示相似组件的不同实例。附图通过示例而非限制的方式一般性地图示了本文档中讨论的各种实施例。
图1一般性地图示了可以包括视听源、音频捕获设备和视频捕获设备的第一环境的示例。
图2一般性地图示了图1中的第一环境的示例，其中源和捕获设备由空间中的点或位置表示。
图3一般性地图示了可以被配置为以固定的空间关系保持捕获设备的装配件(rig)或固定装置的示例。
图4一般性地图示了用于主动转向、空间分析和其它信号处理的系统的框图的示例。
图5一般性地图示了可以包括改变空间音频信号的参考系的方法的示例。
图6一般性地图示了可以包括确定第一与第二参考系之间的差异的方法的示例。
图7一般性地图示了可以包括生成空间音频信号的方法的示例。
图8一般性地图示了可以包括基于不同音频信号分量的合成或重新合成来生成空间音频信号的方法的示例，。
图9一般性地图示了示出被配置为从机器可读介质读取指令并执行本文讨论的任何一种或多种方法的机器的组件的框图。
具体实施方式
在包括用于执行空间音频信号处理(诸如用于协调视听节目信息)的系统、方法、装置和设备的示例的以下描述中，参考构成具体实施方式的一部分的附图。附图通过图示的方式示出了可以在其中实践本文公开的发明的具体实施例。这些实施例在本文中一般被称为“示例”。这样的示例可以包括除了所示出或描述的那些要素之外的要素。但是，本发明人还设想仅提供所示出或描述的那些要素的示例。本发明人或者关于特定示例(或其一个或多个方面)或者关于本文所示出或描述的其它示例(或其一个或多个方面)设想使用所示出或描述的那些要素(或其一个或多个方面)的任意组合或置换的示例。
如本文所使用的，短语“音频信号”是表示物理声音的信号。本文描述的音频处理系统和方法可以包括被配置为使用各种滤波器来使用或处理音频信号的硬件电路系统和/或软件。在一些示例中，系统和方法可以使用来自多个音频声道的信号或与多个音频声道对应的信号。在示例中，音频信号可以包括数字信号，该数字信号包括与多个音频声道对应的信息。本主题的一些示例可以在数字字节或字的时间序列的上下文中操作，其中这些字节或字形成模拟信号或最终物理声音的离散近似。离散的数字信号与周期性采样的音频波形的数字表示对应。
图1一般性地图示了第一环境100的示例，第一环境100可以包括视听源110、音频捕获设备120和视频捕获设备130。第一环境100可以是由轴101指示的三维空间，诸如具有宽度、深度和高度。第一环境100中的每个元素可以被提供在不同的地点，如所指示的。即，不同的物理元素可以占据第一环境100的不同部分。可以同时地接收来自音频捕获设备120和/或视频捕获设备130的信息并使用记录硬件和软件将其记录为视听节目。
在图1的示例中，视听源110包括钢琴和钢琴演奏者，并且钢琴演奏者可以是歌手。音乐、振动和其它可听信息可以基本上在所有方向上从钢琴散发到第一环境100中。类似地，发声或其它噪音可以由歌手产生并且可以散发到第一环境100中。由于歌手和钢琴不完全占据第一环境100的相同部分，因此源自这些相应源或由这些相应源产生的音频可以具有不同的有效原点，如下文进一步解释的。
音频捕获设备120可以包括麦克风或麦克风阵列，其被配置为接收由诸如钢琴或歌手之类的视听源110产生的音频信息。在示例中，音频捕获设备120包括声场麦克风或ambisonic麦克风并且被配置为捕获三维音频信号格式的音频信息。
视频捕获设备130可以包括相机，诸如可以具有一个或多个镜头或图像接收器。在示例中，视频捕获设备130包括大视场相机，诸如360度相机。作为视听节目的一部分从视频捕获设备130接收或记录的信息可以被用于向观众提供沉浸式或交互式体验，诸如可以允许观众“环顾”第一环境100，诸如当观众使用头部跟踪系统或其它节目导航工具或设备时。诸如可以与从视频捕获设备130记录的视频信息同时地从音频捕获设备120记录的音频信息可以被提供给观众。音频信号处理技术可以被应用于从音频捕获设备120接收的音频信息，以确保音频信息随着观众导航节目时观众的位置或观看方向的改变而跟踪。
在示例中，观众可以体验到视听节目的音频与视觉分量之间的离域(delocalization)或不匹配。这种离域可以至少部分地由于在记录或编码视听节目时音频捕获设备120与视频捕获设备130的地点的物理差异。换句话说，因为音频捕获设备120的换能器与视频捕获设备130的镜头不会占据空间中的同一物理点，所以听者可以感知到所记录的音频与视觉节目信息之间的不匹配。在一些示例中，音频捕获设备120或视频捕获设备130的对准或默认“观看”方向可以未对准，进一步导致观众的离域问题。
本发明人已经认识到，对离域问题的解决方案可以包括处理从音频捕获设备120接收的音频信息以“移动”音频信息从而与来自视频捕获设备130的图像信息的来源重合。在图1中，音频捕获设备120的理论移动由箭头103表示，以指示音频捕获设备120到视频捕获设备130的地点的平移。在示例中，该解决方案可以包括接收或确定关于与音频捕获设备120相关联的第一参考系的信息以及接收或确定关于与视频捕获设备130相关联的第二参考系的信息。该解决方案可以包括确定第一与第二参考系之间的差异，然后将关于所确定的差异的信息应用于由音频捕获设备120接收的音频信号的分量。应用关于所确定的差异的信息可以包括滤波、虚拟化处理或以其它方式对一个或多个音频信号或信号分量进行整形，诸如将音频信息的感知到的原点移动或移位到与其所记录的原点不同的地点。例如，该处理可以将音频信息的第一参考系移位到不同的第二参考系，诸如具有不同的原点或不同的朝向。
图2一般性地图示了第一环境100的示例200，其中视听源110、音频捕获设备120和视频捕获设备130分别由第一、第二和第三点110A、120A和130A表示。在该示例中，每个点具有定义其在第一环境100中的地点的相应坐标。例如，诸如包括钢琴和歌手的组合的视听源110可以在具有第一地点(x1，y1，z1)的第一点110A处具有声学原点。音频捕获设备120可以在具有第二地点(x2，y2，z2)的第二点120A处具有声学原点。视频捕获设备130可以在具有第三地点(x3，y3，z3)的第三点130A处具有可见性原点。在三维环境中，通过将各种源和设备简化为点以及可选地方向或朝向，可以确定源的地点的差异。
在示例中，诸如在图2中由第二点120A表示的音频捕获源120可以具有第一朝向或第一参考方向121。音频捕获源120可以具有第一参考系，诸如可以至少部分地由其在第二点120A的地点(或原点)或第一参考方向121定义。视频捕获源130可以具有第二朝向或第二参考方向131。视频捕获源130可以具有第二参考系，诸如可以至少部分地由其在第三点130A的地点(或原点)或第二参考方向131定义。第一和第二参考方向121和131不需要对准；即，它们不必共线、平行或以其它方式相关。但是，如果存在参考方向或优选的接收方向，那么可以通过下游处理来考虑这种信息，如下面进一步讨论的。在图2的示例中，第一和第二参考方向121和131不对准或不平行，但是每个一般都指向或朝向第一点110A。
在图2的示例中，第二和第三点120A和130A被设置为分开指定的第一距离。第二点120A和第三点130A之间的平移可以包括关于两个点之间的绝对距离的信息，诸如沿着最短路径。平移可以包括关于一个方向从另一个方向或从环境中的某个参考点偏移的方向的信息。例如，从第二点120A到第三点130A的平移t1可以包括关于两个点之间的距离的信息，诸如可以从坐标信息以代数方式确定，例如d(120A,130A)＝√[(x3–x2)2+(y3–y2)2+(z3–z2)2])。平移ti可以可选地包括方向分量，诸如可以以度数提供，例如d(120A,130A)＝45度。可以类似地使用其它坐标或测量系统。
在示例中，第一环境100可以包括源跟踪器210。源跟踪器210可以包括被配置为接收或感测关于第一环境100中的一个或多个对象的位置的信息的设备。例如，源跟踪器210可以包括3D视觉或深度传感器，其被配置为监视音频捕获设备120或视频捕获设备130的地点或位置。在示例中，源跟踪器210可以向处理器电路(参见例如图4的示例中的处理器电路410)提供校准或地点信息，以用于确定参考系或参考系之间的差异。在示例中，源跟踪器210可以向处理器电路提供中断或重新校准信号，并且作为响应，处理器电路可以重新校准一个或多个参考系或确定多个不同参考系之间的新差异。源跟踪器210在图2中被图示为位于第一环境100中的轴101的原点处，但是，源跟踪器210可以位于第一环境100中的别处。在示例中，源跟踪器210包括音频捕获源120或视频捕获源130或其它设备的一部分。
在示例中，音频捕获源120和视频捕获源130中的一个或多个可以被配置为自校准或确定或识别其在第一环境100中的地点，诸如相对于指定的参考点。在示例中，源可以包括或可以通信耦合到处理器电路，该处理器电路被配置为与源跟踪器210或另一个设备(诸如放置在第一环境100中的信标)以接口连接，使得源可以确定或报告它的地点(例如，在x、y、z坐标中、在径向坐标中或在某种其它坐标系中)。在示例中，一个源可以确定其相对于另一个源的地点，而无需识别其在第一环境中的坐标或特定地点。即，音频捕获源120和视频捕获源130中的一个可以被配置为与另一个通信以识别平移ti的量值或方向。在示例中，每一个源被配置为与另一个源通信并且识别和同意所确定的平移ti。
图3一般性地图示了可以被配置为以固定的空间关系保持多个捕获设备的装配件301或固定装置的示例。在图3的示例中，装配件301被配置为保持音频捕获设备120和视频捕获设备130。装配件301可以类似地被配置为保持多个音频捕获设备、多个视频捕获设备，或者传感器或接收器的其它组合。虽然装配件301被图示为保持两个设备，但是可以保持更多或更少的设备。
装配件301可以被配置为固定和保持音频捕获设备120和视频捕获设备130，使得设备之间的平移至少部分地固定，诸如在一个或多个维度或方向上。在图3的示例中，装配件301保持音频捕获设备120，使得音频捕获设备120的原点具有坐标(x2，y2，z2)。装配件301保持视频捕获设备130，使得视频捕获设备130的原点具有坐标(x3，y3，z3)。在这个示例中，x3＝x2+d1、y3＝y2+d2和z2＝z3。因而，如果关于一个设备的地点信息是已知的，那么可以计算另一个设备的地点。装配件301可以是可调节的，使得例如d1或d2的值可以由在环境中或相对于要捕获或记录的视听源布置装配件301的用户或技术人员来选择。
在示例中，装配件301可以具有装配件原点或参考，并且可以将关于装配件原点相对于环境的位置的信息提供给处理器电路以进行地点处理。可以确定装配件原点和由装配件301保持的一个或多个设备之间的关系。即，由装配件301保持的一个或多个设备的相应地点可以相对于装配件原点在几何上确定。
在示例中，装配件301可以具有装配件参考方向311或朝向。装配件参考方向311可以是用于装配件301或用于耦合到装配件301的一个或多个设备的观看方向或参考方向。耦合到装配件301的设备可以定位成具有与装配件参考方向311相同的参考方向，或者可以在装配件参考方向311和设备的参考方向或朝向之间提供或确定偏移。
在示例中，音频捕获设备120或视频捕获设备130的参考系可以手动测量并且由操作者提供给参考系处理系统。在示例中，参考系处理系统可以包括用户输入以接收来自用户的改变或调整一个或多个参考系、位置或朝向的特点或参数的指令，诸如可以被用户用来实现期望的重合的视听体验。
图4一般性地图示了用于主动转向、空间分析和其它信号处理的系统的框图400的示例。在示例中，根据框图400配置的电路系统可以被用于在相应方向上渲染一个或多个形成的信号。
在示例中，根据框图400配置的电路系统可以被用于接收具有第一参考系的音频信号，诸如可以与音频捕获设备120相关联，并且移动或平移音频信号以使其可以在不同的第二参考系为听者再现。接收到的音频信号可以包括声场或3D音频信号，该声场或3D音频信号包括一个或多个分量或音频对象。第二参考系可以是与使用视频捕获设备130接收的一个或多个图像相关联或对应的参考系。第一和第二参考系可以是固定的或可以是动态的。音频信号的移动或平移可以基于关于第一和第二参考系之间的关系确定的(例如，连续地或间歇地更新的)信息。
在示例中，到第二参考系的音频信号平移可以包括使用诸如含有一个或多个处理模块的处理器电路410，以接收第一声场音频信号并确定音频信号的分量的位置和方向。可以接收、测量或以其它方式确定音频信号分量的参考系坐标。在示例中，该信息可以包括关于多个不同参考系的信息或者关于从第一参考系到第二参考系的平移的信息。使用平移信息，可以移动或重定位音频对象中的一个或多个以提供与第二参考系对应的虚拟源。平移之后的一个或多个音频对象可以被解码以经由扩音器或头戴式耳机再现，或者可以提供给处理器以重新编码成新的声场格式。
在示例中，处理器电路410可以包括用于执行参考系之间的音频信号平移的各种模块或电路或软件实现的过程(诸如可以使用通用或专用电路来执行)。在图4中，空间音频源401向处理器电路410提供音频信号信息。在示例中，空间音频源401将与音频信号信息对应的音频参考系数据提供给处理器电路410。音频参考系数据可以包括关于音频信息的固定或变化(诸如相对于环境)的原点或参考点的信息，或者可以包括用于音频信息的朝向或参考方向信息等。在示例中，空间音频源401可以包括或包含音频捕获设备120。
在示例中，处理器电路410包括FFT模块428，其被配置为从空间音频源401接收音频信号信息并将接收到的信号转换到频域。可以使用空间处理、转向或摇摄(pan)来处理转换后的信号，以改变所接收到的音频信号信息的地点或参考系。
处理器电路410可以包括参考系分析模块432。参考系分析模块432可以被配置为从空间音频源401或从被配置为提供或确定关于来自空间音频源401的音频的参考系信息的另一个源接收音频参考系数据。参考系分析模块432可以被配置为从视频源402接收视频或音频参考系数据。在示例中，视频源402可以包括视频捕获设备130。在示例中，参考系分析模块432被配置为确定音频参考系与视频参考系之间的差异。确定差异可以包括确定来自空间音频源401或视频源402的音频或视觉信息的相应源的参考点或原点之间的距离或平移，等等。在示例中，参考系分析模块432可以被配置为确定空间音频源401和/或视频源402在环境中的地点(例如，坐标)，然后确定它们的相应参考系之间的差异或关系。在示例中，参考系分析模块432可以被配置为使用关于用于在环境中保持或定位源的装配件的信息、使用来自被配置为监视源或设备地点的位置或深度传感器的信息或使用其它手段来确定源地点或坐标。
在示例中，处理器电路410包括空间分析模块433，其被配置为从FFT模块428接收频域音频信号，并且可选地，接收音频参考系数据的至少一部分或与音频信号相关联的其它元数据。空间分析模块433可以被配置为使用频域信号来确定一个或多个信号或其信号分量的相对地点。例如，空间分析模块433可以被配置为确定第一声源是或应当定位在听者或参考视频地点的前面(例如，0°方位角)，以及第二声源是或应当定位在听者或参考视频地点的右侧(例如，90°方位角)。在示例中，空间分析模块433可以被配置为处理接收到的信号并生成虚拟源，该虚拟源被定位或打算呈现在相对于参考视频地点的指定地点处，包括当虚拟源基于来自一个或多个空间音频信号的信息并且每个空间音频信号与相应的不同参考地点对应(诸如相对于参考位置)时。在示例中，空间分析模块433被配置为确定源地点或深度，并使用基于参考系的分析将源变换到新位置，诸如与用于视频源的参考系对应。包括ambisonic信号在内的声场信号的空间分析和处理在标题为“Ambisonic DepthExtraction”的美国专利申请序列No.16/212,387和标题为“Audio rendering using 6-DOF tracking”的美国专利No.9,973,874中进行了详细讨论，每个文献都通过引用整体并入本文。
在示例中，来自空间音频源401的音频信号信息包括空间音频信号并且包括子混合的一部分。信号形成模块434可以被配置为使用接收到的频域信号来生成一个或多个虚拟源，这一个或多个虚拟源可以作为具有相关联的元数据的声音对象被输出。在示例中，信号形成模块434可以使用来自空间分析模块433的信息来识别或将各种声音对象放置在声场中的指定位置或深度。
在示例中，来自信号形成模块434的信号可以被提供给主动转向模块438，诸如可以包括或使用虚拟化处理、滤波或其它信号处理以整形或修改音频信号或信号分量。转向模块438可以接收来自一个或多个模块(诸如参考系分析模块432、空间分析模块432或信号形成模块434)的数据和/或音频信号输入。转向模块438可以使用信号处理来旋转或摇摄接收到的音频信号。在示例中，主动转向模块438可以从信号形成模块434接收第一源输出并且基于空间分析模块432的输出或者参考系分析模块432的输出来摇摄第一源。
在示例中，转向模块438可以从参考系分析模块432接收旋转或平移输入指令。在这种示例中，参考系分析模块432可以为主动转向模块438提供数据或指令以应用已知或固定的参考系调整(例如，在接收到的音频和视觉信息之间)。
在任何旋转或平移改变之后，主动转向模块438可以向逆FFT模块440提供信号。逆FFT模块440可以生成带有或不带有附加元数据的一个或多个输出音频信号声道。在示例中，来自逆FFT模块440的音频输出可以被用作声音再现系统或其它音频处理系统的输入。在示例中，主动转向模块438或逆FFT模块440的输出可以包括深度扩展的ambisonic信号，诸如可以通过美国专利No.10,231,073“Ambisonic Audio Rendering with DepthDecoding”中讨论的系统或方法来解码，该文献通过引用并入本文。在示例中，可能期望维持与输出格式无关并支持对各种布局或渲染方法的解码，例如，包括具有位置信息的单声道主干(stem)、基础/混音或其它声场表示(诸如包括ambisonic格式)。
图5一般性地图示了第一方法500的示例，其可以包括诸如使用处理器电路410改变空间音频信号的参考系。在步骤510处，第一方法500可以包括接收具有第一参考系的第一空间音频信号。在示例中，接收第一空间音频信号可以包括使用音频捕获设备120并且第一空间音频信号可以包括例如ambisonic信号，诸如包括用于一个或多个不同信号分量的深度或权重信息。在示例中，接收第一空间音频信号可以包括接收元数据或某种其它数据信号或与第一空间音频信号相关联的第一参考系的指示。在示例中，关于第一参考系的信息可以包括音频捕获设备120的地点或坐标、音频捕获设备120的朝向或观看方向(或其它参考方向)，或音频捕获设备120的地点与环境中的参考位置或原点之间的关系。
在步骤520处，第一方法500可以包括接收关于第二参考系(诸如目标参考系)的信息。在示例中，第二参考系可以具有或可以与不同于音频捕获设备120的地点相关联，但一般可以在与音频捕获设备120相同的环境中或附近。在示例中，第二参考系与视频捕获设备130的地点对应，诸如可以在与音频捕获设备120基本相同的环境中提供。在示例中，第二参考系可以包括可以与第一参考系和音频捕获设备120相同或不同的朝向或观看方向(或其它参考方向)。在示例中，诸如在步骤510和520处接收关于第一和第二参考系的信息可以使用来自图4的示例的参考系分析模块432。
在步骤530处，第一方法500可以包括确定第一与第二参考系之间的差异。在示例中，来自图4的参考系分析模块432可以确定第一与第二参考系之间的平移，诸如包括几何距离和角度或其它偏移或位置差异。在示例中，步骤530包括使用第一和第二参考系的相应的基于点或位置的表示并确定这些点的位置之间的差异或点之间的距离，诸如上文在图2的讨论中所描述的。在示例中，在步骤530处确定差异包括在多个不同时间处确定差异，诸如间歇地、周期性地或者当第一和第二参考系中的一个或多个改变时。
在步骤540处，第一方法500可以包括生成第二空间音频信号，该第二空间音频信号以第二参考系为参考或具有与第二参考系基本相同的视角。即，第二空间音频信号可以具有第二参考系。第二空间音频信号可以基于第一空间音频信号的一个或多个分量，但是这些分量被处理以将分量再现为源自与最初或先前接收或记录分量的地点不同的地点。
在一些示例中，在步骤540处生成第二空间音频信号可以包括生成具有与在步骤510处接收的第一空间音频信号不同的格式的信号，并且在一些示例中，生成第二空间音频信号包括生成具有与第一空间音频信号相同的格式的信号。在示例中，第二空间音频信号包括作为比第一空间音频信号更高阶的信号的ambisonic信号，或者第二空间音频信号包括矩阵信号或多声道信号。
图6一般性地图示了第二方法600的示例，其可以包括诸如使用处理器电路410确定第一与第二参考系之间的差异。在示例中，第一和第二参考系与位于环境中的不同捕获源相关联，并且关于参考系之间的差异的信息可以使用参考系分析模块432来确定。
在步骤610处，第二方法600可以包括确定音频与视频捕获源之间的平移。例如，步骤610可以包括确定环境中音频捕获源120和视频捕获源130之间的自由空间中的绝对几何距离或最短路径。在示例中，确定距离可以包括使用与捕获源相关联的笛卡尔坐标以及确定坐标之间的最短路径。可以类似地使用径向坐标。在示例中，在步骤610处确定平移可以包括确定从一个源到另一个源的方向。
在步骤620处，第二方法600可以包括确定音频捕获源120和视频捕获源130的朝向。步骤620可以包括接收关于每个捕获源的参考方向或参考朝向或观看方向的信息。在示例中，朝向信息可以包括关于从每个源到视听目标(例如，在图1的示例中从捕获源到钢琴或视听源110)的方向的信息。在示例中，步骤620可以包括接收关于每个捕获源相对于指定参考朝向的朝向信息。
在步骤630处，第二方法600可以包括确定与不同捕获源相关联的第一与第二参考系之间的差异。例如，步骤630可以包括使用在步骤610处确定的平移和使用在步骤620处确定的朝向信息。在示例中，如果音频和视频捕获源具有不同朝向，如在步骤620处所确定的，那么可以调整在610处确定的平移，诸如通过确定将第一参考系旋转以使其与第二参考系的方向重合的量。
图7一般性地图示了可以包括生成空间音频信号的第三方法700的示例。步骤710可以包括接收关于第一与第二参考系的差异信息。在示例中，差异信息可以由例如来自图4的示例的参考系分析模块432或来自图6的示例的步骤630提供。
在步骤720处，第三方法700可以包括使用在步骤710处接收的差异信息来生成滤波器。该滤波器可以被配置为支持多个分量信号输入并且可以具有多个声道或分量信号输出。在示例中，步骤720包括提供可以被动地应用于接收到的音频信号的多输入多输出滤波器。生成滤波器可以包括确定要向基于声道的音频信号的一个或多个分量应用的重新摇摄矩阵滤波器。在ambisonic信号的情况下，生成滤波器可以包括使用中间解码矩阵，然后使用重新摇摄矩阵和/或编码矩阵来确定滤波器。
步骤720可以包括或使用参考系差异信息来选择不同的滤波器。即，当接收到的差异信息指示第一和第二参考系之间的平移，诸如具有第一量值时，步骤720可以包括基于第一量值生成第一滤波器。当接收到的差异信息指示具有不同的第二量值的平移时，步骤720可以包括基于第二量值生成不同的第二滤波器。
在步骤730处，第三方法700可以包括使用在步骤720处生成的滤波器来生成第二空间音频信号。第二空间音频信号可以基于第一空间音频信号，但可以被(诸如步骤720处生成的滤波器)更新为具有第二参考系。在示例中，在步骤730处生成第二空间音频信号包括使用来自图4的示例的信号形成模块434、主动转向模块438或逆FFT模块440中的一个或多个。
图8一般性地图示了可以包括诸如使用处理器电路410基于不同音频信号分量的合成或重新合成来生成空间音频信号的第四方法800的示例。第四方法800可以包括，在步骤810处，接收具有第一参考系的第一空间音频信号。在示例中，接收第一空间音频信号可以包括使用音频捕获设备120并且第一空间音频信号可以包括例如ambisonic信号，诸如包括一个或多个不同信号分量的深度、权重或其它信息。在示例中，接收第一空间音频信号可以包括接收元数据或某种其它数据信号或与第一空间音频信号相关联的第一参考系的指示。在示例中，关于第一参考系的信息可以包括音频捕获设备120的地点、音频捕获设备120的朝向或观看方向(或其它参考方向)，或音频捕获设备120的地点与环境中的参考位置或原点之间的关系。
在步骤820处，第四方法800可以包括将第一空间音频信号分解成相应分量，并且相应分量中的每一个可以具有对应的位置或地点。即，第一空间音频信号的分量可以在环境中具有相应位置的集合。在示例中，如果第一空间音频信号包括一阶B格式信号，那么步骤820可以包括将信号分解成多个音频对象或子信号。
在步骤830处，第四方法800可以包括诸如使用处理器电路410向第一空间音频信号的一个或多个分量应用空间变换处理。在示例中，应用空间变换处理可以被用于改变或更新音频环境中被处理的分量的地点。可以基于例如用于音频信号分量的目标参考系来选择空间变换处理的参数。
步骤830可以包括为第一空间音频信号的多个不同分量中的每一个选择或应用不同的滤波器或信号处理。即，可以使用具有不同传递函数的滤波器或音频调整来不同地处理相应的音频信号分量，使得当为听者重新组合和再现音频信号分量时，该音频信号分量提供具有与第一参考系不同的参考系的相干音频节目。
在步骤840处，第四方法800可以包括重新合成经空间变换的分量以生成第二空间音频信号。第二空间音频信号可以基于第一空间音频信号但可以具有目标参考系。因此，当为听者再现时，听者可以将来自第一空间音频信号的节目信息感知为具有与第一空间音频信号不同的地点或参考系。
结合本文公开的实施例描述的各种说明性逻辑块、模块、方法和算法处理以及序列可以被实现为电子硬件、计算机软件或二者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经总体上根据其功能描述了各种说明性组件、块、模块和处理动作。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。可以针对每个特定应用以各种方式来实现所描述的功能，但是这种实现决定不应当被解释为造成背离本文档的范围。用于调整诸如音频和视频捕获源之类的非重合捕获源的系统和方法的实施例以及本文中描述的其它技术可在多种类型的通用或专用计算系统环境或配置内操作，诸如在图9的讨论中所描述的。
结合本文公开的实施例描述的各种说明性逻辑块和模块可以由机器来实现或执行，所述机器诸如通用处理器、处理设备、具有一个或多个处理设备的计算设备、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者被设计为执行本文描述的功能的其它可编程逻辑设备、分立门或晶体管逻辑、分立硬件组件或其任何组合。通用处理器和处理设备可以是微处理器，但替代地，处理器可以是控制器、微控制器或状态机，它们的组合等。处理器也可以被实现为计算设备的组合(诸如DSP和微处理器的组合)、多个微处理器、与DSP内核结合的一个或多个微处理器或任何其它此类配置。
另外，可以以计算机可执行指令或其它数据结构的形式从计算机或机器可读介质或存储设备和通信介质的任何期望组合存储、接收、传输或读取实施本文描述的虚拟化和/或甜蜜点适配的各个示例中的一些或全部或其部分的软件、程序或计算机程序产品的一个或任何组合。虽然以特定于结构特征和方法动作的语言描述了本主题，但应该理解的是，所附权利要求书中定义的主题不必限于本文描述的具体特征或动作。更确切地说，上述具体特征和动作作为实现权利要求书的示例形式被公开。
各种系统和机器可以被配置为执行或实施本文描述的信号处理任务中的一个或多个，包括但不限于音频分量定位或重新定位，或朝向确定或估计，诸如使用HRTF和/或其它用于调整音频信号的参考系的音频信号处理。所公开的电路或处理任务中的任何一个或多个都可以使用通用机器或使用执行各种处理任务(诸如使用从有形的、非瞬态处理器可读介质接收的指令)的专用机器来实现或执行。
图9是图示根据一些示例的能够从机器可读介质(例如，机器可读存储介质)读取指令916并执行本文讨论的方法中的任何一个或多个的机器900的组件的框图。具体而言，图9以计算机系统的示例形式示出了机器900的图解表示，在该机器900内，可以执行使得机器900执行本文讨论的方法中的任何一个或多个的指令916(例如，软件、程序、应用、小应用、app或其它可执行代码)。例如，指令916可以实现图4-8的模块或电路或组件中的一个或多个，诸如可以被配置为执行本文讨论的音频信号处理。指令916可以将通用的、未编程的机器900变换成被编程为以所描述的方式(例如，作为音频处理器电路)执行所描述和图示的功能的特定机器。在替代实施例中，机器900作为独立设备操作，或者可以耦合(例如，联网)到其它机器。在联网部署中，机器900可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力操作，或者在对等(或分布式)网络环境中作为对等机器操作。
机器900可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统或系统组件、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能电器)、其它智能设备、web电器、网络路由器、网络交换机、网桥、耳机驱动器，或能够顺序地或以其它方式执行指定要由机器900采取的动作的指令916的任何机器。另外，虽然仅示出了单个机器900，但是术语“机器”也应被认为包括机器900的集合，其单独地或共同地执行指令916以执行本文讨论的方法中的任何一个或多个。
机器900可以包括或使用处理器910(诸如包括音频处理器电路)、非暂态存储器/存储装置930以及I/O组件950，它们可以被配置为彼此通信，诸如经由总线902。在示例实施例中，处理器910(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、另一个处理器或其任意合适的组合)可以包括例如可以执行指令916的电路，诸如处理器912和处理器914。术语“处理器”旨在包括多核处理器912、914，其可以包括可以同时执行指令916的两个或更多个独立处理器912、914(有时称为“核”)。虽然图9示出了多个处理器910，但是机器900可以包括具有单个核的单个处理器912、914、具有多个核的单个处理器912、914(例如，多核处理器912、914)、具有单个核的多个处理器912、914、具有多个核的多个处理器912、914或其任意组合，其中任何一个或多个处理器可以包括被配置为对音频和/或视频信号信息或其它数据进行编码的电路。
存储器/存储器930可以包括存储器932(诸如主存储器电路或其它存储器存储电路)以及存储单元936，两者都可以诸如经由总线902被处理器910访问。存储单元936和存储器932存储实施本文描述的方法或功能中的任何一个或多个的指令916。在指令916由机器900执行期间，指令916还可以全部或部分地驻留在存储器932内、存储单元936内、处理器910中的至少一个内(例如，处理器912、914的高速缓存存储器内)或其任意合适的组合。因而，存储器932、存储单元936和处理器910的存储器是机器可读介质的示例。
如本文所使用的，“机器可读介质”是指能够临时或永久地存储指令916和数据的设备，并且可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁性介质、高速缓存存储器、其它类型的存储装置(例如、可擦可编程只读存储器(EEPROM))和/或其任意合适的组合。术语“机器可读介质”应当被认为包括能够存储指令916的单个介质或多个介质(例如，集中式或分布式数据库或者相关联的高速缓存和服务器)。术语“机器可读介质”也应被认为包括能够存储由机器(例如，机器900)执行的指令(例如，指令916)的任何介质或多种介质的组合，使得指令916在由机器900的一个或多个处理器(例如，处理器910)执行时使机器900执行本文所述的方法中的任何一个或多个。因而，“机器可读介质”是指单个存储装置或设备，以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”本身不包括信号。
I/O组件950可以包括各种组件，以接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等等。特定机器1400中包括的具体I/O组件950将取决于机器900的类型。例如，诸如移动电话之类的便携式机器将可能包括触摸输入设备或其它这样的输入机制，而无头服务器机器可能将不包括这种触摸输入设备。将认识到的是，I/O组件950可以包括在图9中未示出的许多其它组件。I/O组件950仅出于简化以下讨论的目的而按功能分组，并且该分组绝不是限制性的。在各种示例实施例中，I/O组件950可以包括输出组件952和输入组件954。输出组件952可以包括视觉组件(例如，显示器，诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、声学组件(例如，扬声器)、触觉组件(例如，振动马达、阻力机制)、其它信号发生器等等。输入组件954可以包括字母数字输入组件(例如，键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向工具)、触感输入组件(例如，物理按钮、提供触摸或触摸手势的地点和/或力的触摸屏，或其它触感输入组件)、音频输入组件(例如，麦克风)、视频输入组件等。
在进一步的示例实施例中，I/O组件950可以包括生物特征组件956、运动组件958、环境组件960或位置(例如，地点和/或朝向)组件962，以及各种各样的其它组件。例如，生物特征组件956可以包括检测表情(例如，手表情、面部表情、声音表情、身体手势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑电波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件，诸如可以影响特定于听者或特定于环境的滤波器的包含、使用或选择。运动组件958可以包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如，陀螺仪)等等，诸如可以被用于跟踪听者或捕获设备的地点的改变，诸如可以被处理器进一步考虑或使用以更新或调整音频信号的参考系。环境组件960可以包括例如照明传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如，气压计)、声学传感器组件(例如，诸如针对一个或多个频率或频带，检测混响衰减时间的一个或多个麦克风)、接近传感器或房间音量检测组件(例如，检测附近物体的红外传感器)、气体传感器(例如，气体检测传感器，以安全地检测有害气体的浓度或测量大气中的污染物)，或其它可以提供与周围物理环境对应的指示、测量或信号的组件。位置组件962可以包括地点传感器组件(例如，全球定位系统(GPS)接收器组件)、高度传感器组件(例如，检测可以从中导出高度的气压的高度计或气压计)、朝向传感器组件(例如，磁力计)等。
可以使用多种技术来实现通信。I/O组件950可以包括通信组件964，其可操作以分别经由耦合982和耦合972将机器900耦合到网络980或设备970。例如，通信组件964可以包括网络接口组件或其它合适的设备以与网络980接口。在另外的示例中，通信组件964可以包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、
Figure BDA0003513790410000221
组件(例如，
Figure BDA0003513790410000222
低能量)、
Figure BDA0003513790410000223
Figure BDA0003513790410000224
组件以及经由其它方式提供通信的其它通信组件。设备970可以是另一个机器或各种各样的外围设备(例如，经由USB耦合的外围设备)中的任何一个。
而且，通信组件964可以检测标识符或包括可操作为检测标识符的组件。例如，通信组件964可以包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，用于检测一维条形码(诸如通用产品代码(UPC)条形码)、多维条形码(诸如快速响应(QR)码、Aztec码、DataMatrix、Dataglyph、MaxiCode、PDF49、Ultra Code、UCC RSS-2D条形码和其它光学条形码)的光学传感器)，或声学检测组件(例如，用于识别标记的音频信号的麦克风)。此外，可以经由通信组件964导出各种信息，诸如经由互联网协议(IP)地理定位的地点、经由
Figure BDA0003513790410000231
信号三角测量的地点、经由检测可以指示特定地点或朝向的NFC信标信号的地点，等等。这样的标识符可以被用于确定关于参考或本地冲激响应、参考或本地环境特点、参考或设备地点或朝向、或特定于听者的特点中的一个或多个的信息。
在各种示例实施例中，网络980的一个或多个部分(诸如可以被用于传输编码的帧数据或要编码的帧数据)可以是自组织网络、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、互联网、互联网的一部分、公共交换电话网(PSTN)的一部分、普通的旧电话服务(POTS)网络、蜂窝电话网络、无线网络、
Figure BDA0003513790410000232
网络、另一种类型的网络或者两个或更多个此类网络的组合。例如，网络1080或网络980的一部分可以包括无线或蜂窝网络，并且耦合982可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或另一种类型的蜂窝或无线耦合。在这个示例中，耦合982可以实现多种类型的数据传输技术中的任何一种，诸如单载波无线传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线业务(GPRS)技术、GSM演进(EDGE)技术的增强数据速率、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球互操作性适用于微波接入(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其它标准、其它远程协议或其它数据传输技术。
指令916可以经由网络接口设备(例如，通信组件964中包括的网络接口组件)使用传输介质并且使用多种众所周知的传输协议中的任何一种(例如，超文本传输协议(HTTP))通过网络980被发送或接收。类似地，指令916可以使用传输介质经由耦合972(例如，对等耦合)被发送或接收到设备970。术语“传输介质”应被认为包括能够存储、编码或携带由机器900执行的指令916的任何无形介质，并且包括数字或模拟通信信号或其它无形介质以促进此类软件的通信。
本发明的各个方面可以独立使用或一起使用。例如，方面1可以包括或使用主题(诸如用于执行动作的装置、系统、设备、方法、单元，或包括指令的设备可读介质，这些指令在由设备执行时可以使设备执行动作)，诸如可以包括或使用用于更新空间音频信号的参考系的方法。方面1可以包括从音频捕获源接收第一空间音频信号，该音频捕获源具有相对于环境的第一参考系，接收关于相对于相同环境的第二参考系的信息，第二参考系与第二捕获源对应，确定第一参考系与第二参考系之间的差异，以及使用第一空间音频信号和所确定的第一参考系与第二参考系之间的差异，生成以第二参考系为参考的第二空间音频信号。
方面2可以包括或使用、或者可以可选地结合方面1的主题以可选地包括接收关于第二参考系的信息，包括接收关于图像捕获传感器的参考系的信息。
方面3可以包括或使用、或者可以可选地结合与方面1或2中的一个或任意组合的主题以可选地包括接收关于第二参考系的信息，包括接收关于用于第二音频捕获传感器的参考系的信息。
方面4可以包括或使用、或者可以可选地结合方面1至3中的一个或任意组合的主题以可选地包括接收关于第二参考系的信息，包括接收至少包括一个视角的第二参考系的几何描述。
方面5可以包括或使用、或者可以可选地结合方面1至4中的一个或任意组合的主题以可选地包括确定第一参考系与第二参考系之间的差异，包括确定音频捕获源与第二捕获源之间的平移。
方面6可以包括或使用、或者可以可选地结合方面1至5中的一个或任意组合的主题以可选地包括确定第一参考系与第二参考系之间的差异，包括确定音频捕获源的参考方向与第二捕获源的参考方向之间的朝向差异。
方面7可以包括或使用、或者可以可选地结合方面1至6中的一个或任意组合的主题以可选地包括基于所确定的第一参考系与第二参考系之间的差异生成第一滤波器。在方面7中，生成第二空间音频信号可以包括将第一滤波器应用于第一空间音频信号的至少一个分量。
方面8可以包括或使用、或者可以可选地结合方面1至7中的一个或任意组合的主题以可选地包括主动空间处理，包括对第一空间音频信号的分量进行空间分析并提供第一位置集合，对第一位置集合应用空间变换从而生成相对于第二参考系的第二位置集合，以及通过使用第二位置集合重新合成第一空间音频信号的分量来生成以第二参考系为参考的第二空间音频信号。
方面9可以包括或使用、或者可以可选地结合方面1至7中的一个或任意组合的主题以可选地包括分离第一空间音频信号的分量，并确定用于第一空间音频信号的分量的相应滤波器，并且滤波器可以被配置为基于所确定的第一参考系与第二参考系之间的差异来更新分量的相应参考位置。在方面9的示例中，生成第二空间音频信号可以包括将滤波器应用于第一空间音频信号的相应分量。
方面10可以包括或使用、或者可以可选地结合方面1至9中的一个或任意组合的主题以可选地包括接收第一空间音频信号作为第一ambisonic信号。
方面11可以包括或使用、或者可以可选地结合方面10的主题以可选地包括生成第二空间音频信号，包括基于第一ambisonic信号并基于所确定的第一参考系与第二参考系之间的差异来生成第二ambisonic信号。
方面12可以包括或使用、或者可以可选地结合方面1至11中的一个或任意组合的主题以可选地包括生成第二空间音频信号，包括生成ambisonic信号、矩阵信号和多声道信号中的至少一种。
方面13可以包括或使用、或者可以可选地结合方面1至12中的一个或任意组合的主题以可选地包括使用麦克风阵列接收第一空间音频信号。
方面14可以包括或使用、或者可以可选地结合方面1至13中的一个或任意组合的主题以可选地包括接收关于被配置为将音频捕获源和第二捕获源保持在固定空间关系的装配件的维度信息，其中确定第一参考系与第二参考系之间的差异包括使用关于装配件的维度信息。
方面15可以包括或使用主题(诸如装置、系统、设备、方法、用于执行动作的手段，或包括指令的设备可读介质，指令在由设备执行时可以使设备执行动作)，诸如可以包括或使用用于基于听者相对于扬声器的位置来调整一个或多个输入音频信号的系统，诸如可以单独地或按各种组合包括方面1至14中的一个或多个。在示例中，方面14包括用于处理音频信息以更新用于空间音频信号的参考系的系统。方面15的系统可以包括空间音频信号处理器电路，其被配置为从音频捕获源接收第一空间音频信号，该音频捕获源具有相对于环境的第一参考系，接收关于相对于相同环境的第二参考系的信息，第二参考系与第二捕获源对应，确定第一参考系与第二参考系之间的差异，以及使用第一空间音频信号和所确定的第一参考系与第二参考系之间的差异，生成以第二参考系为参考的第二空间音频信号。
方面16可以包括或使用、或者可以可选地结合方面15的主题以可选地包括音频捕获源和第二捕获源，并且第二捕获源包括图像捕获源。
方面17可以包括或使用、或者可以可选地结合方面16的主题以可选地包括被配置为以固定的空间或几何关系保持音频捕获源和图像捕获源的装配件。
方面18可以包括或使用、或者可以可选地结合方面15至17中的一个或任意组合的主题以可选地包括源跟踪器，该源跟踪器被配置为感测关于第一捕获源或第二捕获源的更新后的位置的信息，并且空间音频信号处理器电路可以被配置为响应于来自源跟踪器的指示第一捕获源或第二捕获源的更新后的位置的信息来确定第一参考系与第二参考系之间的差异。
方面19可以包括或使用、或者可以可选地结合方面15至18中的一个或任意组合的主题以可选地包括空间音频信号处理器电路，该电路被配置为基于音频捕获源与第二捕获源之间的平移距离来确定第一参考系与第二参考系之间的差异。
方面20可以包括或使用、或者可以可选地结合方面15至19中的一个或任意组合的主题以可选地包括空间音频信号处理器电路，该电路被配置为基于音频捕获源的参考方向与第二捕获源的参考方向之间的朝向差异来确定第一参考系与第二参考系之间的差异。
方面21可以包括或使用、或者可以可选地结合方面15至20中的一个或任意组合的主题以可选地包括被配置为接收第一空间音频信号格式的第一空间音频信号并生成不同的第二空间音频信号格式的第二空间音频信号的空间音频信号处理器电路。
方面22可以包括或使用主题(诸如装置、系统、设备、方法、用于执行动作的手段，或包括指令的设备可读介质，指令在由设备执行时可以使设备执行动作)，诸如可以包括或使用用于基于听者相对于扬声器的位置来调整一个或多个输入音频信号的系统，诸如可以单独地或按各种组合包括方面1至21中的一个或多个。在示例中，方面22包括用于改变第一空间音频信号的参考系的方法，第一空间音频信号包括多个信号分量，这多个信号分量表示来自相对于与音频捕获源设备相关联的音频捕获位置的不同深度或方向的音频信息。在示例中，方面22可以包括从音频捕获源设备接收第一空间音频信号的至少一个分量，该音频捕获源设备具有相对于环境的第一参考原点和第一参考朝向，接收关于相对于相同环境的第二参考系的信息，第二参考系与图像捕获源对应，并且图像捕获源具有相对于相同环境的第二参考原点和第二参考朝向，以及确定第一参考系与第二参考系之间的差异，至少包括第一参考原点与第二参考原点之间的平移差异以及第一参考朝向与第二参考朝向之间的旋转差异。在示例中，方面22可以包括，使用所确定的第一参考系与第二参考系之间的差异，确定用于生成第二空间音频信号的至少一个分量的第一滤波器，该第二空间音频信号的至少一个分量基于第一空间音频信号的至少一个分量并以第二参考系为参考。
方面23可以包括或使用、或者可以可选地结合方面22的主题以可选地包括接收第一空间音频信号的至少一个分量作为第一B格式ambisonic信号的分量。在方面23中，生成第二空间音频信号的至少一个分量可以包括生成不同的第二B格式ambisonic信号的分量。
方面24可以包括或使用、或者可以可选地结合方面22或23中的一个或任意组合的主题以可选地包括接收第一空间音频信号的至少一个分量，包括接收第一空间音频格式的第一分量。在方面24中，生成第二空间音频信号的至少一个分量可以包括以不同的第二空间音频格式生成至少一个分量。
方面25可以包括或使用、或者可以可选地与方面22至24的一个或任意组合的主题相结合以可选地包括确定第一参考原点或参考朝向和/或第二参考原点或参考朝向是否已经改变，并且作为响应，选择用于生成第二空间音频信号的至少一个分量的不同的第二滤波器。
这些非限制性方面中的每一个可以独立存在，或者可以与本文提供的一个或多个其它方面或示例以各种置换或组合的方式组合。
在本文件中，如在专利文件中常用的，术语“一”或“一个”包括一个或多于一个，独立于“至少一个”或“一个或多个”的任何其它情况或用法。在本文件中，除非另有说明，否则术语“或”用于表示非排他性的或，使得“A或B”包括“A但不包括B”、“B但不包括A”和“A和B”。在本文件中，术语“包括”和“其中”被用作相应术语“包含”和“其中”的普通英语等效词。
除非另外特别说明或在所使用的上下文中以其它方式理解，否则本文中所使用的条件语言，尤其是诸如“能够”、“可能”、“可以”、“例如”等一般旨在传达某些实施例包括而某些实施例不包括某些特征、元素和/或状态。因此，这样的条件语言一般不旨在暗示特征、元素和/或状态以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有作者输入或提示的情况下决定这些特征、元素和/或状态是否要在任何特定实施例中被包括或将被执行的逻辑。
虽然上面的详细描述已经示出、描述并指出了应用于各种实施例的新颖特征，但是应该理解的是，可以对所示设备或算法的形式和细节进行各种省略、替换和改变。如将认识到的，本文描述的本发明的某些实施例可以以不提供本文阐述的所有特征和优点的形式来实施，因为一些特征可以与其它特征分开使用或实践。
而且，虽然已经用特定于结构特征或方法或动作的语言描述了主题，但是应该理解的是，所附权利要求书中定义的主题不必限于上述特定特征或动作。更确切地说，上述具体特征和动作被公开为实现权利要求的示例形式。

Claims (20)

1.一种用于更新空间音频信号的参考系的方法，该方法包括：
从音频捕获源接收第一空间音频信号，该音频捕获源具有相对于环境的第一参考系；
接收关于相对于相同环境的第二参考系的信息，第二参考系与第二捕获源对应；
确定第一参考系与第二参考系之间的差异；以及
使用第一空间音频信号和所确定的第一参考系与第二参考系之间的差异，生成以第二参考系为参考的第二空间音频信号。
2.如权利要求1所述的方法，其中确定第一参考系与第二参考系之间的差异包括确定所述音频捕获源与图像捕获传感器之间的平移。
3.如权利要求1所述的方法，其中确定第一参考系与第二参考系之间的差异包括确定所述音频捕获源的参考方向与图像捕获传感器的参考方向之间的朝向差异。
4.如权利要求1所述的方法，还包括主动空间处理，该主动空间处理包括：
对第一空间音频信号的分量进行空间分析并提供第一位置集合；
对第一位置集合应用空间变换，从而生成相对于第二参考系的第二位置集合；以及
通过使用第二位置集合重新合成第一空间音频信号的分量来生成以第二参考系为参考的第二空间音频信号。
5.如权利要求1所述的方法，还包括确定用于第一空间音频信号的分量的相应滤波器，所述滤波器被配置为基于所确定的第一参考系与第二参考系之间的差异来更新所述分量的相应参考位置，其中生成第二空间音频信号包括将所述滤波器应用于第一空间音频信号的相应分量。
6.如权利要求1所述的方法，其中接收第一空间音频信号包括接收第一ambisonic信号，并且其中生成第二空间音频信号包括基于第一ambisonic信号并基于所确定的第一参考系与第二参考系之间的差异来生成第二ambisonic信号。
7.如权利要求1所述的方法，其中生成第二空间音频信号包括生成ambisonic信号、矩阵信号和多声道信号中的至少一种。
8.如权利要求1所述的方法，其中从音频捕获源接收第一空间音频信号包括使用麦克风阵列接收第一空间音频信号。
9.如权利要求1所述的方法，还包括接收关于被配置为将音频捕获源和第二捕获源保持在固定空间关系的装配件的维度信息，其中确定第一参考系与第二参考系之间的差异包括使用关于所述装配件的维度信息。
10.一种用于处理音频信息以更新空间音频信号的参考系的系统，该系统包括：
空间音频信号处理器电路，被配置为：
从音频捕获源接收第一空间音频信号，该音频捕获源具有相对于环境的第一参考系；
接收关于相对于相同环境的第二参考系的信息，第二参考系与第二捕获源对应；
确定第一参考系与第二参考系之间的差异；以及
使用第一空间音频信号和所确定的第一参考系与第二参考系之间的差异，生成以第二参考系为参考的第二空间音频信号。
11.如权利要求10所述的系统，还包括所述音频捕获源和第二捕获源，并且第二捕获源包括图像捕获源。
12.如权利要求11所述的系统，还包括被配置为将所述音频捕获源和所述图像捕获源保持在固定的几何关系的装配件。
13.如权利要求10所述的系统，还包括源跟踪器，该源跟踪器被配置为感测关于第一捕获源或第二捕获源的更新位置的信息，并且其中空间音频信号处理器电路被配置为响应于来自源跟踪器的指示第一捕获源或第二捕获源的更新位置的信息来确定第一参考系与第二参考系之间的差异。
14.如权利要求10所述的系统，其中空间音频信号处理器电路被配置为基于所述音频捕获源与第二捕获源之间的平移距离来确定第一参考系与第二参考系之间的差异。
15.如权利要求10所述的系统，其中空间音频信号处理器电路被配置为基于所述音频捕获源的参考方向与第二捕获源的参考方向之间的朝向差异来确定第一参考系与第二参考系之间的差异。
16.如权利要求10所述的系统，其中空间音频信号处理器电路被配置为接收第一空间音频信号格式的第一空间音频信号并生成不同的第二空间音频信号格式的第二空间音频信号。
17.一种用于改变第一空间音频信号的参考系的方法，第一空间音频信号包括表示来自相对于与音频捕获源设备相关联的音频捕获位置的不同深度或方向的音频信息的多个信号分量，所述方法包括：
从音频捕获源设备接收第一空间音频信号的至少一个分量，该音频捕获源设备具有相对于环境的第一参考原点和第一参考朝向；
接收关于相对于相同环境的第二参考系的信息，第二参考系与图像捕获源对应，并且图像捕获源具有相对于相同环境的第二参考原点和第二参考朝向；
确定第一参考系与第二参考系之间的差异，至少包括第一参考原点与第二参考原点之间的平移差异以及第一参考朝向与第二参考朝向之间的旋转差异；以及
使用所确定的第一参考系与第二参考系之间的差异，确定用于生成第二空间音频信号的至少一个分量的第一滤波器，该第二空间音频信号的至少一个分量基于第一空间音频信号的所述至少一个分量并以第二参考系为参考。
18.如权利要求17所述的方法，其中接收第一空间音频信号的所述至少一个分量包括接收第一B格式ambisonic信号的分量，并且其中生成第二空间音频信号的所述至少一个分量包括生成不同的第二B格式ambisonic信号的分量。
19.如权利要求17所述的方法，其中接收第一空间音频信号的所述至少一个分量包括接收第一空间音频格式的第一分量，并且其中生成第二空间音频信号的所述至少一个分量包括生成不同的第二空间音频格式的所述至少一个分量。
20.如权利要求17所述的方法，还包括：
确定第一参考原点或参考朝向和/或第二参考原点或参考朝向是否已经改变，并且作为响应，选择用于生成第二空间音频信号的所述至少一个分量的不同的第二滤波器。
CN201980099614.0A 2019-07-08 2019-07-08 非重合视听捕获系统 Pending CN114270877A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/040837 WO2021006871A1 (en) 2019-07-08 2019-07-08 Non-coincident audio-visual capture system

Publications (1)

Publication Number Publication Date
CN114270877A true CN114270877A (zh) 2022-04-01

Family

ID=67539592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980099614.0A Pending CN114270877A (zh) 2019-07-08 2019-07-08 非重合视听捕获系统

Country Status (5)

Country Link
US (1) US11962991B2 (zh)
EP (1) EP3997895A1 (zh)
KR (1) KR102656969B1 (zh)
CN (1) CN114270877A (zh)
WO (1) WO2021006871A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741352A (zh) * 2022-06-09 2022-07-12 杭州未名信科科技有限公司 一种基于fpga的双线性插值重采样实现方法及装置
CN115225884A (zh) * 2022-08-30 2022-10-21 四川中绳矩阵技术发展有限公司 一种图像和声音的交互式重现方法、系统、设备和介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3997895A1 (en) 2019-07-08 2022-05-18 DTS, Inc. Non-coincident audio-visual capture system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578380A (zh) * 2011-07-01 2016-05-11 杜比实验室特许公司 用于自适应音频信号产生、编码和呈现的系统和方法
US9883302B1 (en) * 2016-09-30 2018-01-30 Gulfstream Aerospace Corporation System for identifying a source of an audible nuisance in a vehicle
WO2018100232A1 (en) * 2016-11-30 2018-06-07 Nokia Technologies Oy Distributed audio capture and mixing
CN108369730A (zh) * 2015-12-16 2018-08-03 汤姆逊许可公司 用于重新聚焦至少一个全景视频的方法和设备
US20180310114A1 (en) * 2015-10-12 2018-10-25 Nokia Technologies Oy Distributed Audio Capture and Mixing
WO2019012135A1 (en) * 2017-07-14 2019-01-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPT FOR GENERATING AN ENHANCED AUDIO FIELD DESCRIPTION OR A MODIFIED SOUND FIELD DESCRIPTION USING DIRAC TECHNIQUE EXTENDED IN DEPTH OR OTHER TECHNIQUES

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5253268B2 (ja) 2009-03-30 2013-07-31 中部電力株式会社 音源・振動源探査システム
EP2346028A1 (en) 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
KR102374897B1 (ko) 2011-03-16 2022-03-17 디티에스, 인코포레이티드 3차원 오디오 사운드트랙의 인코딩 및 재현
EP2637427A1 (en) 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
JP6491863B2 (ja) 2014-11-28 2019-03-27 株式会社熊谷組 音源方向推定装置、及び、音源推定用画像作成装置
EP3251116A4 (en) 2015-01-30 2018-07-25 DTS, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio
US10477304B2 (en) * 2016-06-15 2019-11-12 Mh Acoustics, Llc Spatial encoding directional microphone array
EP3472832A4 (en) 2016-06-17 2020-03-11 DTS, Inc. DISTANCE-BASED PANORAMIC USING NEAR / FAR FIELD RENDERING
GB2551780A (en) * 2016-06-30 2018-01-03 Nokia Technologies Oy An apparatus, method and computer program for obtaining audio signals
FR3074584A1 (fr) * 2017-12-05 2019-06-07 Orange Traitement de donnees d'une sequence video pour un zoom sur un locuteur detecte dans la sequence
EP3997895A1 (en) 2019-07-08 2022-05-18 DTS, Inc. Non-coincident audio-visual capture system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578380A (zh) * 2011-07-01 2016-05-11 杜比实验室特许公司 用于自适应音频信号产生、编码和呈现的系统和方法
US20180310114A1 (en) * 2015-10-12 2018-10-25 Nokia Technologies Oy Distributed Audio Capture and Mixing
CN108369730A (zh) * 2015-12-16 2018-08-03 汤姆逊许可公司 用于重新聚焦至少一个全景视频的方法和设备
US9883302B1 (en) * 2016-09-30 2018-01-30 Gulfstream Aerospace Corporation System for identifying a source of an audible nuisance in a vehicle
WO2018100232A1 (en) * 2016-11-30 2018-06-07 Nokia Technologies Oy Distributed audio capture and mixing
WO2019012135A1 (en) * 2017-07-14 2019-01-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPT FOR GENERATING AN ENHANCED AUDIO FIELD DESCRIPTION OR A MODIFIED SOUND FIELD DESCRIPTION USING DIRAC TECHNIQUE EXTENDED IN DEPTH OR OTHER TECHNIQUES

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GIOVANNI DEL GALDO ET AL: ""Generating virtual microphone signals using geometrical information gathered by distributed arrays"", 《IEEE》, 30 May 2011 (2011-05-30), pages 1, XP031957294, DOI: 10.1109/HSCMA.2011.5942394 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741352A (zh) * 2022-06-09 2022-07-12 杭州未名信科科技有限公司 一种基于fpga的双线性插值重采样实现方法及装置
CN115225884A (zh) * 2022-08-30 2022-10-21 四川中绳矩阵技术发展有限公司 一种图像和声音的交互式重现方法、系统、设备和介质

Also Published As

Publication number Publication date
JP2022547253A (ja) 2022-11-11
US11962991B2 (en) 2024-04-16
KR102656969B1 (ko) 2024-04-11
KR20220031058A (ko) 2022-03-11
US20220272477A1 (en) 2022-08-25
EP3997895A1 (en) 2022-05-18
WO2021006871A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
KR102642275B1 (ko) 증강 현실 헤드폰 환경 렌더링
US11304020B2 (en) Immersive audio reproduction systems
US10728683B2 (en) Sweet spot adaptation for virtualized audio
US20190116452A1 (en) Graphical user interface to adapt virtualizer sweet spot
GB2543276A (en) Distributed audio capture and mixing
US11962991B2 (en) Non-coincident audio-visual capture system
US11429340B2 (en) Audio capture and rendering for extended reality experiences
CN110651487A (zh) 分布式音频虚拟化系统
CN114424587A (zh) 控制音频数据的呈现
US11937065B2 (en) Adjustment of parameter settings for extended reality experiences
WO2020002053A1 (en) Audio processing
US20220345813A1 (en) Spatial audio capture and analysis with depth
JP7483852B2 (ja) 不一致視聴覚捕捉システム
US11750998B2 (en) Controlling rendering of audio data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination