CN106572425A - 音频处理装置及方法 - Google Patents

音频处理装置及方法 Download PDF

Info

Publication number
CN106572425A
CN106572425A CN201610893184.8A CN201610893184A CN106572425A CN 106572425 A CN106572425 A CN 106572425A CN 201610893184 A CN201610893184 A CN 201610893184A CN 106572425 A CN106572425 A CN 106572425A
Authority
CN
China
Prior art keywords
virtual
signal
transfer function
virtual speaker
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610893184.8A
Other languages
English (en)
Inventor
王杰
张婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN106572425A publication Critical patent/CN106572425A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Stereophonic System (AREA)

Abstract

一种音频处理装置包括传感器、第一处理器及第二处理器。该第一处理器用于获取该传感器输出的动作信息。该第一处理器根据一参考坐标及动作信息识别该用户的位置变化信息；该第一处理器根据该位置变化信息及若干虚拟扬声器的设置角度得到对应于各虚拟扬声器的相对方位角度，该第一处理器还用于获取对虚拟扬声器的相对方位角度的传输函数。该第二处理器根据各虚拟扬声器的传输函数对该输入信号进行卷积处理，获取对应于一播放设备的一第一通路信号及一第二通路信号。本发明还提供了一种音频处理方法。本发明音频处理装置及方法通过获取用户的位置变化来对输入信号进行处理，如此可根据用户移动的位置输出对应的音频信号，进而提高用户的体验。

Description

音频处理装置及方法
技术领域
本发明涉及一种数据处理技术，特别涉及一种基于虚拟现实的音频处理装置及方法。
背景技术
当用户处于虚拟现实环境中，用户可通过音频播放设备(如耳机)来重放虚拟现实中的声音。在观看虚拟现实影像或是参与虚拟现实游戏时，随着虚拟现实的场景、情节的变化，用户的动作行为可能也会随之变化。例如，在一虚拟现实的场景中，虚拟场景中飞机从一端飞到另一端，或是虚拟场景中球员在球场跑动，或是虚拟游戏中敌人突然在某处出现，或是虚拟场景中用户的身后突然响起枪声或脚步声，用户的头部常常会自然地转动。然而，当用户的动作行为发生变化时，对于用户而言，虚拟现实中声源的方位已经变化，但用户的耳机中重放的声源的方位却并未作相应的改变，如此极大地影响虚拟现实营造出的沉浸感，降低了用户体验的效果。
发明内容
鉴于以上内容，有必要提供一种可提供用户体验的音频处理装置及方法。
一种音频处理装置，包括：
一传感器，用于输出一对应于一用户的动作信息；
一第一处理器，用于获取该传感器输出的动作信息，并根据一触发条件及该动作信息设置一参考坐标；该第一处理器还用于根据该参考坐标及动作信息识别该用户的位置变化信息；该第一处理器根据该位置变化信息及若干虚拟扬声器的设置角度得到对应于各虚拟扬声器的相对方位角度，该第一处理器还用于根据一头相关传输函数库获取对应各虚拟扬声器的相对方位角度的传输函数；及
一第二处理器，用于接收一输入信号，该第二处理器根据各虚拟扬声器的传输函数对该输入信号进行卷积处理，以获取对应于一播放设备的一第一通路信号及一第二通路信号。
一种音频处理方法，包括：
一传感器输出一对应于一用户的动作信息；
获取该传感器输出的动作信息；
根据一触发条件及该动作信息设置一参考坐标；
根据该参考坐标及动作信息识别该用户的位置变化信息；
根据该位置变化信息及若干虚拟扬声器的设置角度得到对应于各虚拟扬声器的相对方位角度；
根据一头相关传输函数库获取对应各虚拟扬声器的相对方位角度的传输函数；及
根据各虚拟扬声器的传输函数对一输入信号进行卷积处理，以获取对应于一播放设备的一第一通路信号及一第二通路信号。
上述音频处理装置及方法通过获取用户与各虚拟扬声器的相对方位角度，并通过获取各相对方位角度的传输函数后对输入信号进行卷积处理，如此可根据用户移动的位置输出对应的音频信号，进而有利于提高用户的体验。
附图说明
图1为本发明音频处理装置的较佳实施方式的方框图。
图2是图1中第一处理器及第二处理器的较佳实施方式的方框图。
图3是本发明音频处理装置应用于一立体声的音频信号所对应的方位角度的示意图。
图4是本发明音频处理装置应用于一环绕声的音频信号所对应的方位角度的示意图。
图5是图2中第二处理器对一立体声的音频信号进行卷积处理的较佳实施方式的示意图。
图6是图2中第二处理器对一环绕声的音频信号进行卷积处理的较佳实施方式的示意图。
图7为本发明音频处理方法的较佳实施方式的流程图。
主要元件符号说明
具体实施方式
请参阅图1，本发明音频处理装置的较佳实施方式包括一用于输出对应于一用户的动作信息的传感器20、一用于根据该传感器20输出的动作信息获取对应该用户的位置变化信息的第一处理器10、一用于接收一输入信号30的第二处理器40及一用于重放经该第二处理器40处理后得到的音频信号的播放装置50。本实施方式中，该第二处理器40可为一DSP(Digital Signal Process，数字信号处理)芯片。
本实施方式中，该播放装置50可为一耳机。该播放装置50可用于对一双通路的立体声或多通路的环绕声的音频信号进行重放动作。本实施方式中，该双通路的立体声可具有一左虚拟扬声器及一右虚拟扬声器，其中左虚拟扬声器及右虚拟扬声器分别设置于用户的左前方及右前方；该多通路的环绕声可为5.1环绕声，该多通路的环绕声可具有一左前虚拟扬声器、一右前虚拟扬声器、一中央虚拟扬声器、一左后虚拟扬声器、一右后虚拟扬声器及一低声虚拟扬声器，其中，左前虚拟扬声器、右前虚拟扬声器、中央虚拟扬声器、左后虚拟扬声器、右后虚拟扬声器分别设置于用户的左前方、右前方、正前方、左后方及右后方。
该输入信号30可对应于一虚拟现实场景的音频信号，如对应于虚拟现实的游戏、影像的音频信号等。在其他实施方式中，该输入信号30也可为一影视的音频信号，或是其他数字播放器输出的音频信号，包括但不限于音乐播放器、电视机输出的音频信号等。
该传感器20用于输出对应于该用户的动作信息。本实施方式中，该动作信息包括但不限于用户的头部相对于一三维坐标移动时的位置变化信息。本实施方式中，该传感器20可为一9DOF传感器，该传感器20输出的动作信息包括一方位角度信息，该方位角度信息包括一水平角θ及一仰角φ，其分别对应于用户的头部在水平方向及竖直方向的值。在其他实施方式中，该水平角及仰角可被转换为一三维坐标。当用户从一第一位置移动至一第二位置时，该传感器20输出的方位角度信息亦可能发生变化。本实施方式中，该传感器20可设置在虚拟现实中用户佩戴的设备，在其他实施方式中，该传感器20也可装载在该播放装置50上，如安装于一耳机内。
请参阅图2，该第一处理器10通过执行一存储器60存储的若干代码，以完成待定的功能。本实施方式中，该第一处理器10包括一定位模块100及一设定模块102。
该设定模块102用于获取该传感器20输出的对应于该用户的动作信息，该设定模块102还用于根据一触发条件及接收到的动作信息设定一参考坐标。本实施方式中，当用户佩戴虚拟现实的显示设备的初始时刻时，该设定模块102将接收得到的动作信息设置为该参考坐标。例如，当用户佩戴虚拟现实显示设备进入节目或游戏的初始时刻时，该设定模块102将用户的朝向定位为正前方(即对该传感器20输出的方位角度信息进行初始化)，如将此时该传感器20(如9DOF传感器)输出的动作信息中包含的水平角θ校为0度、将仰角φ校为0度，也即设定用户的视平线与地球水平面平行。本实施方式中，该传感器20输出的动作信号中仰角φ对应于用户的头部在垂直方位上与地球水平面间的夹角。在其他实施方式中，用户亦可通过一功能按键来设置该参考坐标，如当该功能按键被触发时，该设定模块102则此时接收到的动作信息设定为该参考坐标。
该定位模块100用于获取该传感器40输出的当前的方位角度信息(θ，φ)，并将当前的方位角度信息与各虚拟扬声器的设置角度进行叠加处理，以得到用户的头部分别与各虚拟扬声器之间的相对方位角度。
请一并参阅图3，对于双通路立体声的音频信号，初始时，左虚拟扬声器l与正前方中心轴线的水平角为(360°-θ0)、右虚拟扬声器r与正前方中心轴线的水平角为θ0。即对于双通路立体声，左虚拟扬声器l的设置角度为(360°-θ0)，右虚拟扬声器r的设置角度为θ0。本实施方式中，在立体声国际标准中θ0＝30°。如此，该定位模块100根据当前方位角度信息与各虚拟扬声器进行叠加处理后得到：当前头部与左虚拟扬声器l、右虚拟扬声器r的相对方位角分别为(360°-θ0-θ，φ)，(θ0-θ，φ)。
请一并参阅图4，对于多通路环绕声的音频信号，初始时，左前虚拟扬声器l与正前方中心轴线的水平角为(360°-θ0)、右前虚拟扬声器r与正前方中心轴线的水平角为θ0、中央虚拟扬声器c设置于用户的正前方0°处(图未示)，左后虚拟扬声器ls与正前方中心轴线的水平角(360°-θs)、右后虚拟扬声器rs与正前方中心轴线的水平角θs。本实施方式中，环绕声国际标准中推荐θs＝110°±10°。即对于多通路环绕声，左前虚拟扬声器l的设置角度为(360°-θ0)、右前虚拟扬声器r的设置角度为θ0、中央虚拟扬声器c的设置角度为0°处(图未示)，左后虚拟扬声器ls的设置角度为(360°-θs)、右后虚拟扬声器rs的设置角度为θs。如此，当前头部与左前虚拟扬声器l、右前虚拟扬声器r、左后虚拟扬声器ls、右后虚拟扬声器rs的相对方位角为(360°-θ0-θ，φ)，(θ0-θ，φ)，(360°-θs-θ，φ)和(θs-θ，φ)。本实施方式中，对于中央虚拟扬声器c和低音虚拟扬声器lfe，该定位模块100将中央虚拟扬声器c及低音虚拟扬声器lfe的通路信号乘以0.707(即)后分别反馈给前方的左前虚拟扬声器l及右前虚拟扬声器r的通路信号。本实施方式中，该定位模块100用于对各虚拟扬声器的音效进行定位。本实施方式中，该定位模块100用于根据HRTF(头相关传输函数，Head RelatedTransfer Function)数据库计算出对应于各相对方位角的传输函数或匹配到与之最接近相对方位角的传输函数，并输出处理得到的各虚拟扬声器的传输函数(HRTF)。
该第二处理器40包括一卷积模块400，该卷积模块400用于对该定位模块100输出的各虚拟扬声器的传输函数对输入信号30进行实时卷积操作。
请参阅图5，对于双通路的立体声的音频信号时，该输入信号30具有一左通路信号l及一右通路信号r。该定位模块100从HRTF数据库中分别调用时域形式(对应右虚拟扬声器-左耳)、(对应右虚拟扬声器-右耳)、(对应左虚拟扬声器-左耳)、(对应左虚拟扬声器-右耳)，其中θ0＝30°。该卷积模块400用于将输入信号30与对应方位角度的定位值进行实时卷积计算，以得到处理后的第一通路信号L及第二通路信号R，并将第一通路信号L及第二通路信号R输出给耳机，其中：
其中，表示卷积操作，l为该输入信号中的左通路信号，r为该输入信号中的右通路信号，hrirl(θ0-θ，φ)对应右虚拟扬声器-左耳的传输函数，hrirr(θ0-θ，φ)对应右虚拟扬声器-右耳的传输函数，对应左虚拟扬声器-左耳的传输函数，对应左虚拟扬声器-右耳的传输函数，θ0＝30°。
请参阅图6，当对一环绕声的音频信号进行卷积操作时，该定位模块100从HRTF数据库中调用时域形式为(对应右前虚拟扬声器-左耳)、(对应右前虚拟扬声器-右耳)、(对应左前虚拟扬声器-左耳)、(对应左前虚拟扬声器-右耳)、(对应右后虚拟扬声器-左耳)、(对应右后虚拟扬声器-右耳)、(对应左后虚拟扬声器-左耳)、(对应左后虚拟扬声器-右耳)，其中θ0＝30°，θs＝110°±10。该卷积模块400用于将输入信号30与各虚拟扬声器的定位值进行实时卷积计算，以得到处理后的第一通路信号L及第二通路信号R输出给播放装置50，其中：
其中，表示卷积操作，l为该输入信号中左通路信号，r为该输入信号中右通路信号，rs为该输入信号中的右环绕声信号，c为该输入信号中的中央通路信号，lfe为该输入信号中的低音通路信号，对应右前虚拟扬声器-左耳的传输函数，对应右前虚拟扬声器-右耳的传输函数，对应左前虚拟扬声器-左耳的传输函数，对应左前虚拟扬声器-右耳的传输函数，对应右后虚拟扬声器-左耳的传输函数，对应右后虚拟扬声器-右耳的传输函数， 对应左后虚拟扬声器-左耳的传输函数，对应左后虚拟扬声器-右的传输函数，θ0＝30°，θs＝110°±10。
请参阅图7，本发明音频处理方法的较佳实施方式包括如下步骤：
步骤S401，通过一传感器输出一对应于一用户的动作信息。
步骤S403，获取该传感器输出的动作信息。
步骤S405，根据一触发条件及该动作信息设置一参考坐标。
步骤S407，根据该参考坐标及动作信息识别该用户的位置变化信息。
步骤S409，根据该位置变化信息及若干虚拟扬声器的设置角度得到对应于各虚拟扬声器的相对方位角度。
步骤S411，根据一头相关传输函数库获取对应各虚拟扬声器的相对方位角度的传输函数。
步骤S413，根据各虚拟扬声器的传输函数对一输入信号进行卷积处理，以获取对应于一播放设备的一第一通路信号及一第二通路信号。
上述音频处理装置及方法通过获取用户与各虚拟扬声器的相对方位角度，并通过获取各相对方位角度的传输函数后对输入信号进行卷积处理，如此可根据用户移动的位置输出对应的音频信号，进而有利于提高用户的体验。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种音频处理装置，包括：
一传感器，用于输出一对应于一用户的动作信息；
一第一处理器，用于获取该传感器输出的动作信息，并根据一触发条件及该动作信息设置一参考坐标；该第一处理器还用于根据该参考坐标及动作信息识别该用户的位置变化信息；该第一处理器根据该位置变化信息及若干虚拟扬声器的设置角度得到对应于各虚拟扬声器的相对方位角度，该第一处理器还用于根据一头相关传输函数库获取对应各虚拟扬声器的相对方位角度的传输函数；及
一第二处理器，用于接收一输入信号，该第二处理器根据各虚拟扬声器的传输函数对该输入信号进行卷积处理，以获取对应于一播放设备的一第一通路信号及一第二通路信号。
2.如权利要求1所述的音频处理装置，其特征在于：该传感器输出的动作信息包括一方位角度信息，该方位角度信息包括一水平角及一仰角，当用户佩戴一虚拟现实显示设备进入节目的初始时刻，该第一处理器对该传感器输出的动作信息中包含的水平角及仰角进行初始化。
3.如权利要求1或2所述的音频处理装置，其特征在于：该输入信号包括一双通路的立体声的音频信号，该双通路的立体声具有一左虚拟扬声器及一右虚拟扬声器，其中左虚拟扬声器及右虚拟扬声器分别设置于用户的左前方及右前方。
4.如权利要求3所述的音频处理装置，其特征在于：该第二处理器根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到的第一通路信号包括：
该第二处理器根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到的第二通路信号包括：
其中，L为第一通路信号，R为第二通路信号，表示卷积操作，l为该输入信号中的左通路信号，r为该输入信号中的右通路信号，hrirl(θ0-θ，φ)对应右虚拟扬声器-左耳的传输函数，hrirr(θ0-θ，φ)对应右虚拟扬声器-右耳的传输函数，对应左虚拟扬声器-左耳的传输函数，对应左虚拟扬声器-右耳的传输函数，θ0＝30°。
5.如权利要求1或2所述的音频处理装置，其特征在于：该输入信号包括一多通路的环绕声的音频信号，该多通路的环绕声具有一左前虚拟扬声器、一右前虚拟扬声器、一中央虚拟扬声器、一左后虚拟扬声器、一右后虚拟扬声器及一低声虚拟扬声器，其中，左前虚拟扬声器、右前虚拟扬声器、中央虚拟扬声器、左后虚拟扬声器、右后虚拟扬声器分别设置于用户的左前方、右前方、正前方、左后方及右后方。
6.如权利要求5所述的音频处理装置，其特征在于：该第二处理器根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到的第一通路信号包括：
该第二处理器根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到的第二通路信号包括：
其中，L为第一通路信号，R为第二通路信号，表示卷积操作，l为该输入信号中左通路信号，r为该输入信号中右通路信号，rs为该输入信号中的右环绕声信号，c为该输入信号中的中央通路信号，lfe为该输入信号中的低音通路信号，对应右前虚拟扬声器-左耳的传输函数，对应右前虚拟扬声器-右耳的传输函数，对应左前虚拟扬声器-左耳的传输函数，对应左前虚拟扬声器-右耳的传输函数，对应右后虚拟扬声器-左耳的传输函数，对应右后虚拟扬声器-右耳的传输函数，对应左后虚拟扬声器-左耳的传输函数，对应左后虚拟扬声器-右的传输函数，θ0＝30°，θs＝110°±10。
7.一种音频处理方法，包括：
通过一传感器输出一对应于一用户的动作信息；
获取该传感器输出的动作信息；
根据一触发条件及该动作信息设置一参考坐标；
根据该参考坐标及动作信息识别该用户的位置变化信息；
根据该位置变化信息及若干虚拟扬声器的设置角度得到对应于各虚拟扬声器的相对方位角度；
根据一头相关传输函数库获取对应各虚拟扬声器的相对方位角度的传输函数；及
根据各虚拟扬声器的传输函数对一输入信号进行卷积处理，以获取对应于一播放设备的一第一通路信号及一第二通路信号。
8.如权利要求7所述的音频处理方法，该传感器输出的动作信息包括一方位角度信息，该方位角度信息包括一水平角及一仰角，其特征在于：该音频处理方法还包括：
当用户佩戴一虚拟现实显示设备进入节目的初始时刻，将该传感器输出的动作信息中包含的水平角进行初始化；
将该传感器输出的动作信息中包含的仰角进行初始化。
9.如权利要求7或8所述的音频处理方法，该输入信号包括一双通路的立体声的音频信号，该双通路的立体声具有一左虚拟扬声器及一右虚拟扬声器，其中左虚拟扬声器及右虚拟扬声器分别设置于用户的左前方及右前方，其特征在于：该音频处理方法还包括：
根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到的第一通路信号包括：
根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到的第二通路信号包括：
其中，L为第一通路信号，R为第二通路信号，表示卷积操作，l为该输入信号中的左通路信号，r为该输入信号中的右通路信号，hrir1(θ0-θ，φ)对应右虚拟扬声器-左耳的传输函数，hrirr(θ0-θ，φ)对应右虚拟扬声器-右耳的传输函数，对应左虚拟扬声器-左耳的传输函数，对应左虚拟扬声器-右耳的传输函数，θ0＝30°。
10.如权利要求7或8所述的音频处理方法，该输入信号包括一多通路的环绕声的音频信号，该多通路的环绕声具有一左前虚拟扬声器、一右前虚拟扬声器、一中央虚拟扬声器、一左后虚拟扬声器、一右后虚拟扬声器及一低声虚拟扬声器，其中，左前虚拟扬声器、右前虚拟扬声器、中央虚拟扬声器、左后虚拟扬声器、右后虚拟扬声器分别设置于用户的左前方、右前方、正前方、左后方及右后方，其特征在于：该音频处理方法还包括：
根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到的第一通路信号包括：
根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到的第二通路信号包括：
其中，L为第一通路信号，R为第二通路信号，表示卷积操作，l为该输入信号中左通路信号，r为该输入信号中右通路信号，rs为该输入信号中的右环绕声信号，c为该输入信号中的中央通路信号，lfe为该输入信号中的低音通路信号，对应右前虚拟扬声器-左耳的传输函数，对应右前虚拟扬声器-右耳的传输函数，对应左前虚拟扬声器-左耳的传输函数，对应左前虚拟扬声器-右耳的传输函数，对应右后虚拟扬声器-左耳的传输函数，对应右后虚拟扬声器-右耳的传输函数，对应左后虚拟扬声器-左耳的传输函数，对应左后虚拟扬声器-右的传输函数，θ0＝30°，θs＝110°±10。
CN201610893184.8A 2016-05-05 2016-09-30 音频处理装置及方法 Pending CN106572425A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016103075348 2016-05-05
CN201610307534 2016-05-05

Publications (1)

Publication Number Publication Date
CN106572425A true CN106572425A (zh) 2017-04-19

Family

ID=58531743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610893184.8A Pending CN106572425A (zh) 2016-05-05 2016-09-30 音频处理装置及方法

Country Status (1)

Country Link
CN (1) CN106572425A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109462708A (zh) * 2017-09-06 2019-03-12 森海塞尔通信公司 用于在虚拟声音环境中在多个通信设备之间传送音频信号的通信系统
CN112492097A (zh) * 2020-11-26 2021-03-12 广州酷狗计算机科技有限公司 音频播放方法、装置、终端及计算机可读存储介质
CN113365191A (zh) * 2021-06-04 2021-09-07 广州酷狗计算机科技有限公司 音乐播放的方法、装置、设备及存储介质
CN113596673A (zh) * 2021-07-14 2021-11-02 宁波旗芯电子科技有限公司 Ar眼镜扬声器的定向发声方法、装置和发声设备
WO2022267468A1 (zh) * 2021-06-24 2022-12-29 北京荣耀终端有限公司 一种声音处理方法及其装置
WO2024027315A1 (zh) * 2022-08-05 2024-02-08 深圳Tcl数字技术有限公司 音频处理方法、装置、电子设备、存储介质和程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09205700A (ja) * 1996-01-25 1997-08-05 Victor Co Of Japan Ltd ヘッドホン再生における音像定位装置
CN1402593A (zh) * 2002-07-23 2003-03-12 华南理工大学 一种5.1通路环绕声的耳机重发的信号处理方法
US20040076301A1 (en) * 2002-10-18 2004-04-22 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
CN101491116A (zh) * 2006-07-07 2009-07-22 贺利实公司 用于双耳音频系统中的用于创建多维通信空间的方法和设备
CN104041081A (zh) * 2012-01-11 2014-09-10 索尼公司 声场控制装置、声场控制方法、程序、声场控制系统和服务器
CN104284291A (zh) * 2014-08-07 2015-01-14 华南理工大学 5.1通路环绕声的耳机动态虚拟重放方法及其实现装置
JP2015233252A (ja) * 2014-06-10 2015-12-24 富士通株式会社 音声処理装置、音源位置制御方法及び音源位置制御プログラム
CN105376690A (zh) * 2015-11-04 2016-03-02 北京时代拓灵科技有限公司 生成虚拟环绕声的方法和装置
CN106454686A (zh) * 2016-08-18 2017-02-22 华南理工大学 一种基于体感摄像头的多通路环绕声动态双耳重放方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09205700A (ja) * 1996-01-25 1997-08-05 Victor Co Of Japan Ltd ヘッドホン再生における音像定位装置
CN1402593A (zh) * 2002-07-23 2003-03-12 华南理工大学 一种5.1通路环绕声的耳机重发的信号处理方法
US20040076301A1 (en) * 2002-10-18 2004-04-22 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
CN101491116A (zh) * 2006-07-07 2009-07-22 贺利实公司 用于双耳音频系统中的用于创建多维通信空间的方法和设备
CN104041081A (zh) * 2012-01-11 2014-09-10 索尼公司 声场控制装置、声场控制方法、程序、声场控制系统和服务器
JP2015233252A (ja) * 2014-06-10 2015-12-24 富士通株式会社 音声処理装置、音源位置制御方法及び音源位置制御プログラム
CN104284291A (zh) * 2014-08-07 2015-01-14 华南理工大学 5.1通路环绕声的耳机动态虚拟重放方法及其实现装置
CN105376690A (zh) * 2015-11-04 2016-03-02 北京时代拓灵科技有限公司 生成虚拟环绕声的方法和装置
CN106454686A (zh) * 2016-08-18 2017-02-22 华南理工大学 一种基于体感摄像头的多通路环绕声动态双耳重放方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张承云: "虚拟听觉环境实时绘制系统平台研究", 《中国博士论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109462708A (zh) * 2017-09-06 2019-03-12 森海塞尔通信公司 用于在虚拟声音环境中在多个通信设备之间传送音频信号的通信系统
CN109462708B (zh) * 2017-09-06 2021-10-29 森海塞尔电子有限两合公司 用于在多个通信设备之间传送音频信号的通信系统
CN112492097A (zh) * 2020-11-26 2021-03-12 广州酷狗计算机科技有限公司 音频播放方法、装置、终端及计算机可读存储介质
CN112492097B (zh) * 2020-11-26 2022-01-11 广州酷狗计算机科技有限公司 音频播放方法、装置、终端及计算机可读存储介质
CN113365191A (zh) * 2021-06-04 2021-09-07 广州酷狗计算机科技有限公司 音乐播放的方法、装置、设备及存储介质
WO2022267468A1 (zh) * 2021-06-24 2022-12-29 北京荣耀终端有限公司 一种声音处理方法及其装置
CN113596673A (zh) * 2021-07-14 2021-11-02 宁波旗芯电子科技有限公司 Ar眼镜扬声器的定向发声方法、装置和发声设备
WO2024027315A1 (zh) * 2022-08-05 2024-02-08 深圳Tcl数字技术有限公司 音频处理方法、装置、电子设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
CN106572425A (zh) 音频处理装置及方法
US10820097B2 (en) Method, systems and apparatus for determining audio representation(s) of one or more audio sources
US10165386B2 (en) VR audio superzoom
CN108141696B (zh) 用于空间音频调节的系统和方法
US11055057B2 (en) Apparatus and associated methods in the field of virtual reality
JP5919201B2 (ja) 音声を定位知覚する技術
CN107182021A (zh) Vr电视中的动态空间虚拟声处理系统及处理方法
CN106200945B (zh) 内容重放装置、具有该重放装置的处理系统及方法
US20170272889A1 (en) Sound reproduction system
TWI709131B (zh) 音訊場景處理技術
CN106484099B (zh) 内容重放装置、具有该重放装置的处理系统及方法
KR20180118034A (ko) 시선추적에 따른 공간 오디오 제어 장치 및 그 방법
CN112083379B (zh) 基于声源定位的音频播放方法、装置、投影设备及介质
US11102604B2 (en) Apparatus, method, computer program or system for use in rendering audio
US11671782B2 (en) Multi-channel binaural recording and dynamic playback
CN206908863U (zh) Vr电视中的动态空间虚拟声处理系统
CN114816316A (zh) 音频回放的责任的指示
CN114339582A (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
US20240345207A1 (en) Methods and systems for determining position and orientation of a device using light beacons
Reddy et al. On the development of a dynamic virtual reality system using audio and visual scenes
WO2024186771A1 (en) Systems and methods for hybrid spatial audio
JP2022143165A (ja) 再生装置、再生システムおよび再生方法
CN116193196A (zh) 虚拟环绕声渲染方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190927

Address after: 510006 School of mechanical and electrical engineering, Guangzhou University, 230 West Ring Road, Guangzhou University, Guangdong, Guangzhou

Applicant after: Guangzhou University

Address before: 510006 School of mechanical and electrical engineering, Guangzhou University, 230 West Ring Road, Guangzhou University, Guangdong, Guangzhou

Applicant before: Wang Jie

Applicant before: Zhang Ting Ting

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419

WD01 Invention patent application deemed withdrawn after publication
DD01 Delivery of document by public notice

Addressee: Zhang Jianhua

Document name: Deemed notice of withdrawal

DD01 Delivery of document by public notice