CN109688497B - 声音播放装置、方法及非暂态存储介质 - Google Patents

声音播放装置、方法及非暂态存储介质 Download PDF

Info

Publication number
CN109688497B
CN109688497B CN201811206968.4A CN201811206968A CN109688497B CN 109688497 B CN109688497 B CN 109688497B CN 201811206968 A CN201811206968 A CN 201811206968A CN 109688497 B CN109688497 B CN 109688497B
Authority
CN
China
Prior art keywords
function matrix
encoding
decoding
sound
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811206968.4A
Other languages
English (en)
Other versions
CN109688497A (zh
Inventor
廖俊旻
郭彦闵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN109688497A publication Critical patent/CN109688497A/zh
Application granted granted Critical
Publication of CN109688497B publication Critical patent/CN109688497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

本公开涉及声音播放装置、方法及非暂态存储媒体。该声音播放方法应用于声音播放装置中，且包含：接收与聆听者数据以及声源数据相关的输入声音讯号；进行编码程序，以将输入声音讯号与编码函式矩阵相乘，进而产生编码结果，其中编码函式矩阵的多个元素与基底函式相关；获取解码函式矩阵并代入至少一方向参数，其中解码函式矩阵配置以补偿输入声音讯号的理想逼近结果以及模拟逼近结果间的误差；进行解码程序，以将编码结果乘以代入方向参数的解码函式矩阵，进而产生输出声音讯号；以及重制输出声音讯号。本发明可在不耗费过多运算资源的情形下加强声音的方向感。

Description

声音播放装置、方法及非暂态存储介质
技术领域
本发明涉及声音播放技术，且特别涉及一种声音播放装置、方法及非暂态存储媒体。
背景技术
近年来，虚拟现实技术广泛地应用于例如游戏、工程或是军事的用途中。为了体验虚拟现实的环境，使用者需要通过设置于例如，但不限于头戴装置(head-mounted device；HMD)上的显示装置，来观看用以显示虚拟环境的画面。其中，头戴装置是穿戴于于使用者身上。进一步地，使用者可使用同样设置于头戴装置上的声音播放装置来聆听基于虚拟环境产生的声音。
由声音播放装置所重制(reproduce)的声音讯号，可以利用数学方法来模拟。然而，由于运算资源有限，部分原始声音讯号的特征例如，但不限于不同方向的方向性成分，将可能在数学模型建构的过程中遗失，而使得重制后的声音与原始声音讯号不同。
因此，如何设计一个新的声音播放装置、方法及非暂态存储媒体，以解决上述的缺失，乃为此一业界亟待解决的问题。
发明内容
本发明的目的在于在不耗费过多运算资源的情形下，加强声音的方向感。
本发明的一实施方式在于提供一种声音播放方法，应用于声音播放装置中，且包含：接收与聆听者数据以及声源数据相关的输入声音讯号；进行编码程序，以将输入声音讯号与编码函式矩阵相乘，进而产生编码结果，其中编码函式矩阵的多个元素(entry)与基底函式相关；获取解码函式矩阵并代入至少一方向参数，其中解码函式矩阵配置以补偿输入声音讯号的理想逼近结果以及模拟逼近结果间的误差；进行解码程序，以将编码结果乘以代入方向参数的解码函式矩阵，进而产生输出声音讯号；以及重制输出声音讯号。
于一实施例中，基底函式为球面谐波(spherical harmonics)函式。
于一实施例中，理想逼近结果是对测试声音讯号以第一编码函式矩阵以及第一解码函式矩阵进行编码再解码所产生，且第一编码函式矩阵以及第一解码函式矩阵对应于具有无限的多个项次(indeterminate)的基底函式；模拟逼近结果是对测试声音讯号以第二编码函式矩阵以及第二解码函式矩阵进行编码再解码所产生，且第二编码函式矩阵以及第二解码函式矩阵对应于具有有限的项次的基底函式；以及解码函式矩阵是以第二解码函式矩阵与补偿矩阵相乘所产生，其中补偿矩阵是由误差所产生。
于一实施例中，第一解码函式矩阵是第一编码函式矩阵的反矩阵，第二解码函式矩阵是第二编码函式矩阵的反矩阵。
于一实施例中，项次对应于测试声音讯号的不同的多个方向成分。
于一实施例中，解码函式矩阵根据误差，加强对应于输入声音讯号的传输方向的方向成分。
于一实施例中，声音播放方法还包含：对输出声音讯号进行反向响应计算，以进一步重制输出声音讯号，其中反向响应计算对应于用以重制输出声音讯号的声音播放电路的频率响应特性。
本发明的另一实施方式在于提供一种声音播放装置，包含：存储元件、声音播放电路以及处理器。存储元件配置以存储多个计算机可执行指令。处理器电性耦接于存储元件以及声音播放电路，并配置以获取并执行计算机可执行指令，以在计算机可执行指令被执行时执行声音播放方法。声音播放方法包含：接收与聆听者数据以及声源数据相关的输入声音讯号；进行编码程序，以将输入声音讯号与编码函式矩阵相乘，进而产生编码结果，其中编码函式矩阵的多个元素与基底函式相关；获取解码函式矩阵并代入至少一方向参数，其中解码函式矩阵配置以补偿输入声音讯号的理想逼近结果以及模拟逼近结果间的误差；进行解码程序，以将编码结果乘以代入方向参数的解码函式矩阵，进而产生输出声音讯号；以及使声音播放电路重制输出声音讯号。
于一实施例中，理想逼近结果是对测试声音讯号以第一编码函式矩阵以及第一解码函式矩阵进行编码再解码所产生，且第一编码函式矩阵以及第一解码函式矩阵对应于具有无限的多个项次的基底函式；模拟逼近结果是对测试声音讯号以第二编码函式矩阵以及第二解码函式矩阵进行编码再解码所产生，且第二编码函式矩阵以及第二解码函式矩阵对应于具有有限的项次的基底函式；以及解码函式矩阵是以第二解码函式矩阵与补偿矩阵相乘所产生，其中补偿矩阵是由误差所产生。
本发明的又一实施方式在于提供一种非暂态(non-transitory)计算机可读取存储媒体，配置以存储包含多个计算机可执行指令的计算机程序，用以执行应用在声音播放装置的声音播放方法，声音播放装置至少包含存储元件、声音播放电路以及电性耦接于存储元件及声音播放电路并配置以获取并执行计算机可执行指令，以在计算机可执行指令被执行时执行声音播放方法的处理器。声音播放方法包含：接收与聆听者数据以及声源数据相关的输入声音讯号；进行编码程序，以将输入声音讯号与编码函式矩阵相乘，进而产生编码结果，其中编码函式矩阵的多个元素与基底函式相关；获取解码函式矩阵并代入至少一方向参数，其中解码函式矩阵配置以补偿输入声音讯号的理想逼近结果以及模拟逼近结果间的误差；进行解码程序，以将编码结果乘以代入方向参数的解码函式矩阵，进而产生输出声音讯号；以及使声音播放电路重制输出声音讯号。
应用本发明的优点在于本发明的声音播放装置以及声音播放方法可根据聆听者以及声源的位置的关系来加强，而不会耗费过多的运算资源。通过加强声音讯号的波峰与波谷，聆听者可对声音讯号有较强的方向感。
附图说明
图1为本发明一实施例中，一种声音播放装置的方框图；
图2为本发明一实施例中，一种声音播放方法的流程图；
图3为本发明一实施例中，一个系统的范例性示意图；以及
图4为本发明一实施例中，位于虚拟环境的聆听者以及声源的示意图。
附图标记说明：
1：声音播放装置
10：存储元件
100：计算机可执行指令
102：聆听者数据
104：声源数据
106：解码函式矩阵
11：声音讯号
12：声音播放电路
13：输出声音讯号
14：处理器
200：声音播放方法
201-205：步骤
3：系统
300：声源
301：编码结果
302：编码单元
304：解码单元
306：头部相关转换函式转换器
308：补偿单元
310：混合单元
4：虚拟环境
40：聆听者
42：声源
44：声音
具体实施方式
请参照本公开内容的实施例，其中以下的范例将搭配附图进行说明。在附图及说明中所使用相同的元件符号，将指称相同或类似的元件。
须注意的是，在说明书以及权利要求中所进行的叙述中，当元件被描述为“连接”或“耦接”至另一元件时，其可为直接连接或耦接至另一元件，或是可能存在有中间的元件。相对的，当元件被描述为“直接连接”或“直接耦接”至另一元件时，将不会有中间的元件存在。更进一步地，“电性连接”或“连接”可更用以指称两个或多个元件间的交互操作以及互动。
须注意的是，在说明书以及权利要求中所进行的叙述中，虽然“第一”、“第二”等用语可用以描述不同的元件，这些元件可不被这些用语所限制。这些用语仅用以区分不同的元件。举例来说，第一元件亦可被改称为第二元件，且类似地，第二元件亦可被改称第一元件，而不会悖离实施例的范围。
须注意的是，在说明书以及权利要求中所进行的叙述中，“包含”、“包括”、“具有”、“含有”及类似的用语是被理解为开放性的，例如表示“包含，但不限于”。
须注意的是，在说明书以及权利要求中所进行的叙述中，“及/或”的语句包含所列举的一个或多个相关事物中的任何以及全部的组合。
须注意的是，在说明书以及权利要求中所进行的叙述中，在以下的实施例的叙述中用以指称方向的词汇，例如“上”、“下”、“左”、“右”、“前”及“后”，是与附图中的方向相关。因此，这样指称方向的词汇是用以叙述，而非限制本公开内容。
须注意的是，在说明书以及权利要求中所进行的叙述中，除非另行定义，所有的用语(包含技术性或是科学性用语)具有任何本公开内容所属技术领域的通常知识者所普遍理解的相同意义。须更进一步了解的是，此些用语，例如定义于常用的字典者，除非特别定义，否则需解读为具有与在相关的技术领域所使用的相同意义，而不能被广泛地解读。
请参照图1。图1为本发明一实施例中，一种声音播放装置1的方框图。于一实施例中，声音播放装置1可应用于头戴装置中。更详细地说，声音播放装置1的元件可分布设置在头戴装置的不同位置上。
声音播放装置1包含存储元件10、声音播放电路12以及处理器14。
于一实施例中，存储元件10可为例如，但不限于光盘、随机存取存储器、只读存储器、软盘、硬盘或光学磁片。存储元件10配置以存储多个计算机可执行指令100。
声音播放电路12配置以播放由处理器14产生的输出声音讯号13。于一实施例中，声音播放电路12可包含第一播放单元以及第二播放单元(未示出)，配置以播放第一声道声音和第二声道声音。其中，使用者可穿戴头戴装置，并将第一播放单元和第二播放单元置入或是靠近使用者的双耳，以聆听播放结果。
处理器14电性耦接于存储元件10以及声音播放电路12。于一实施例中，处理器14配置以获取并执行计算机可执行指令100，并据以执行声音播放装置1的功能。
请参照图2及图3。声音播放装置1的功能将在以下的段落搭配图1、图2及图3进行详细的说明。
图2为本发明一实施例中，一种声音播放方法200的流程图。声音播放方法200可应用于图1的声音播放装置1中。
图3为本发明一实施例中，一个系统3的范例性示意图。
于一实施例中，当计算机可执行指令100由处理器14执行时，可执行声音播放方法200，并使声音播放装置1运行为系统3。系统3包含声源300、编码单元302、解码单元304、多个头部相关转换函式(head-related transfer function；HRTF)转换器306以及多个补偿单元308。
声音播放方法200包含下列步骤(应了解到，在本实施方式中所提及的步骤，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行)。
于步骤201，接收与聆听者数据102以及声源数据104相关的输入声音讯号11。
请同时参照图4。图4为本发明一实施例中，位于虚拟环境4的聆听者 40以及声源42的示意图。
于一实施例中，聆听者数据102包含聆听者40，例如头戴装置的使用者，在虚拟环境4的位置的信息。聆听者数据102可存储于存储元件10中，并可根据例如，但不限于游戏或是军事训练的模拟情境的过程实时地产生。处理器14可自存储元件10中获取聆听者数据102。
于一实施例中，声源数据104包含用以在虚拟环境4中产生可由使用者感知的声音44的声源42的位置的信息。于一实施例中，声源42相当于图3中的声源300。
声源数据104可由处理器14通过例如，但不限于声音播放装置1的网络模块(未示出)所获取，并可在模拟情境的过程中产生。
根据聆听者数据102以及声源数据104，处理器14可取得聆听者40以及声源42的位置。
在声源42以及聆听者40间，可形成声音44的传输路径，此传输路径具有一传输方向。声音44可在模拟情境的过程根据输入声音讯号11产生，其中输入声音讯号11可由处理器14通过例如，但不限于声音播放装置1 的网络模块(未示出)所获取。更详细地说，当输入声音讯号11被声音播放装置1处理并重制后，头戴装置的使用者将可感知到声音44。
于步骤202，进行编码程序，以将输入声音讯号与编码函式矩阵相乘，进而产生编码结果，其中编码函式矩阵的多个元素与基底函式相关。
于一实施例中，编码程序是由图3所示出的编码单元302执行。详细的编码程序将于下列段落中描述。
于一实施例中，基底函式为球面谐波(spherical harmonics)函式，且这样的基底函式可由下式描述：
Figure GDA0002774509260000071
这样的基底函式，是与输入声音讯号11的传输方向相关的球面角度坐标(spherical angular coordinates)θ及
Figure GDA0002774509260000072
的函式，且具有由m及n所定义的阶数。
于步骤203，由存储元件10获取解码函式矩阵106并代入至少一方向参数，其中解码函式矩阵106配置以补偿输入声音讯号11的理想逼近结果以及模拟逼近结果间的误差。
于一实施例中，一个测试声音讯号St可由对测试声音讯号St以第一编码函式矩阵
Figure GDA0002774509260000073
以及第一解码函式矩阵
Figure GDA0002774509260000074
进行编码再解码，来产生理想逼近结果
Figure GDA0002774509260000075
其中，第一编码函式矩阵
Figure GDA0002774509260000076
以及第一解码函式矩阵
Figure GDA0002774509260000077
对应于具有无限的多个项次(即由m及n定义的阶数为无限)的基底函式。其中上述的项次对应于测试声音讯号St的不同的方向成分。于一实施例中，第一解码函式矩阵
Figure GDA0002774509260000078
是第一编码函式矩阵
Figure GDA0002774509260000079
的反矩阵。
因此，第一解码函式矩阵
Figure GDA00027745092600000710
可表示为
Figure GDA00027745092600000711
而理想逼近结果
Figure GDA00027745092600000712
可表示为：
Figure GDA0002774509260000081
更进一步地，测试声音讯号St可由对测试声音讯号St以第二编码函式矩阵
Figure GDA0002774509260000082
以及第二解码函式矩阵
Figure GDA0002774509260000083
进行编码再解码，来产生模拟逼近结果
Figure GDA0002774509260000084
其中，第二编码函式矩阵
Figure GDA0002774509260000085
以及第二解码函式矩阵
Figure GDA0002774509260000086
对应于相同但却具有有限的多个项次(即由m及n定义的阶数为有限)的基底函式。其中上述的项次对应于测试声音讯号St的不同的方向成分。于一实施例中，第二解码函式矩阵
Figure GDA0002774509260000087
是第二编码函式矩阵
Figure GDA0002774509260000088
的反矩阵。
因此，第二解码函式矩阵
Figure GDA0002774509260000089
可表示为
Figure GDA00027745092600000810
而模拟逼近结果
Figure GDA00027745092600000811
可表示为：
Figure GDA00027745092600000812
理想逼近结果
Figure GDA00027745092600000813
以及模拟逼近结果
Figure GDA00027745092600000814
间的关系可表示为：
Figure GDA00027745092600000815
其中，项次
Figure GDA00027745092600000816
表示理想逼近结果
Figure GDA00027745092600000817
以及模拟逼近结果
Figure GDA00027745092600000818
间的误差。于一实施例中，项次
Figure GDA00027745092600000819
可被计算，并可被用以做为一个补偿矩阵，来对第二解码函式矩阵
Figure GDA00027745092600000820
进行调整。
因此，通过将第二解码函式矩阵
Figure GDA00027745092600000821
乘以补偿矩阵
Figure GDA00027745092600000822
可产生解码函式矩阵106，且解码函式矩阵106将可补偿上述的误差。于一实施例中，解码函式矩阵106是存储于存储元件10中，并可在解码程序进行时获取。更进一步地，输入声音讯号11的方向参数，例如θ及
Figure GDA00027745092600000823
可用以代入解码函式矩阵106。其中方向参数为用以描述输入声音讯号11的传输方向的参数。
须注意的是，上述的实施例中，以球面谐波函式做为基底函式的方式仅为一范例。然而，于其他实施例中，其他形式的函式亦可被使用来做为基底函式。
于步骤204，进行解码程序，以将编码结果301乘以代入方向参数的解码函式矩阵106，进而产生输出声音讯号13。
于一实施例中，解码单元304以及补偿单元308共同执行上述的解码程序，其中解码单元304根据第二解码函式矩阵
Figure GDA00027745092600000824
进行运算，而补偿单元308根据补偿矩阵
Figure GDA00027745092600000825
进行运算。当补偿单元308的数目为N时，补偿单元308将分别根据对应不同方向成分的补偿矩阵
Figure GDA0002774509260000091
及
Figure GDA0002774509260000092
进行运算。
于一实施例中，头部相关转换函式转换器306可选择性地设置于补偿单元308前，其中头部相关转换函式转换器306配置以根据头部相关转换函式进行转换。于其他实施例中，补偿单元308可设置于头部相关转换函式转换器306前。
于一实施例中，由于使用了输入声音讯号11的方向参数以及补偿矩阵
Figure GDA0002774509260000093
解码函式矩阵106根据误差，加强对应于输入声音讯号11的传输方向的方向成分(亦即图4的声音44的传输路径的方向)。
于步骤205，使声音播放电路12重制输出声音讯号13。
于一实施例中，图3所示出的混合单元310可被设置以进一步产生两轨输出的输出声音讯号13，以使输出声音讯号13可被例如，但不限于耳机所重制。于其他实施例中，当声音播放电路12具有更多通道时，混合单元 310亦可产生多声道形式的输出声音讯号13。
更进一步地，于一实施例中，可在存储元件10中存储对应于用以重制输出声音讯号13的声音播放电路12的频率响应特性的反向响应。因此，此反向响应可被获取并先对输出声音讯号13进行反向响应计算，再进一步重制输出声音讯号13。
因此，输出声音讯号13的方向特性将不会被声音播放电路12的种类，不管是耳机、扩大系统或是其他类型的声音播放装置所影响。
本发明的声音播放装置1以及声音播放方法200可对输入声音讯号11 进行强化，以在编码程序和解码程序后，使输出声音讯号13保持输入声音讯号11的方向性，而不会因为编码过程而失真。
须注意的是，在部分实施例中，声音播放方法200可由计算机应用程序实作。当计算机应用程序由计算机、电子装置或是图1示出的处理器14 执行时，此执行装置将执行声音播放方法200。计算机应用程序可存储于非暂态的计算机可读取存储媒体例如只读存储器、快闪存储器、软盘、硬盘、光学碟片、快闪碟片、快闪硬盘、磁带、可由网络存取的数据库或任何在属于本公开书的范围中，可由本领域熟知此技艺者所使用具有类似功能的存储媒体中。
以上所述仅为本发明的优选实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种声音播放方法，应用于一声音播放装置中，其特征在于，包含：
接收与一聆听者数据以及一声源数据相关的一输入声音讯号，该聆听者数据和该声源数据是在模拟情境的过程中实时地产生，该聆听者数据包含一聆听者在一虚拟环境中的位置信息，且该声源数据包含用以在该虚拟环境中产生可由一使用者感知声音的声源的位置信息；
进行一编码程序，以将该输入声音讯号与一编码函式矩阵相乘，进而产生一编码结果，其中该编码函式矩阵的多个元素与一基底函式相关；
获取一解码函式矩阵并代入至少一方向参数，其中该解码函式矩阵配置以补偿该输入声音讯号的一理想逼近结果以及一模拟逼近结果间的一误差，其中该理想逼近结果是对一测试声音讯号以一第一编码函式矩阵以及一第一解码函式矩阵进行编码再解码所产生，且该模拟逼近结果是对该测试声音讯号以一第二编码函式矩阵以及一第二解码函式矩阵进行编码再解码所产生；
根据多个头部相关转换函式对该编码结果进行转换；
进行一解码程序，以将该编码结果乘以代入该方向参数的该解码函式矩阵，进而产生一输出声音讯号；以及
重现该输出声音讯号。
2.如权利要求1所述的声音播放方法，其特征在于，该基底函式为球面谐波函式。
3.如权利要求1所述的声音播放方法，其特征在于，该第一编码函式矩阵以及该第一解码函式矩阵对应于具有无限的多个项次的该基底函式，且该第二编码函式矩阵以及该第二解码函式矩阵对应于具有有限的所述多个项次的该基底函式；以及
该解码函式矩阵是以该第二解码函式矩阵与一补偿矩阵相乘所产生，其中该补偿矩阵是由该误差所产生。
4.如权利要求3所述的声音播放方法，其特征在于，该第一解码函式矩阵是该第一编码函式矩阵的反矩阵，该第二解码函式矩阵是该第二编码函式矩阵的反矩阵。
5.如权利要求3所述的声音播放方法，其特征在于，所述多个项次对应于该测试声音讯号的不同的多个方向成分。
6.如权利要求5所述的声音播放方法，其特征在于，该解码函式矩阵根据该误差，加强对应于该输入声音讯号的一传输方向的所述多个方向成分。
7.如权利要求1所述的声音播放方法，其特征在于，该声音播放方法还包含：
对该输出声音讯号进行一反向响应计算，以进一步重现该输出声音讯号，其中该反向响应计算对应于用以重现该输出声音讯号的一声音播放电路的一频率响应特性。
8.一种声音播放装置，包含：
一存储元件，配置以存储多个计算机可执行指令；
一声音播放电路；以及
一处理器，电性耦接于该存储元件以及该声音播放电路，并配置以获取并执行所述多个计算机可执行指令，以在所述多个计算机可执行指令被执行时执行一声音播放方法，该声音播放方法包含：
接收与一聆听者数据以及一声源数据相关的一输入声音讯号，该聆听者数据和该声源数据是在模拟情境的过程中实时地产生，该聆听者数据包含一聆听者在一虚拟环境中的位置信息，且该声源数据包含用以在该虚拟环境中产生可由一使用者感知声音的声源的位置信息；
进行一编码程序，以将该输入声音讯号与一编码函式矩阵相乘，进而产生一编码结果，其中该编码函式矩阵的多个元素与一基底函式相关；
获取一解码函式矩阵并代入至少一方向参数，其中该解码函式矩阵配置以补偿该输入声音讯号的一理想逼近结果以及一模拟逼近结果间的一误差，其中该理想逼近结果是对一测试声音讯号以一第一编码函式矩阵以及一第一解码函式矩阵进行编码再解码所产生，且该模拟逼近结果是对该测试声音讯号以一第二编码函式矩阵以及一第二解码函式矩阵进行编码再解码所产生；
根据多个头部相关转换函式对该编码结果进行转换；
进行一解码程序，以将该编码结果乘以代入该方向参数的该解码函式矩阵，进而产生一输出声音讯号；以及
使该声音播放电路重现该输出声音讯号。
9.如权利要求8所述的声音播放装置，其特征在于，该第一编码函式矩阵以及该第一解码函式矩阵对应于具有无限的多个项次的该基底函式，且该第二编码函式矩阵以及该第二解码函式矩阵对应于具有有限的所述多个项次的该基底函式；以及
该解码函式矩阵是以该第二解码函式矩阵与一补偿矩阵相乘所产生，其中该补偿矩阵是由该误差所产生。
10.一种非暂态计算机可读取存储介质，配置以存储包含多个计算机可执行指令的一计算机程序，用以执行应用在一声音播放装置的一声音播放方法，该声音播放装置至少包含一存储元件、一声音播放电路以及电性耦接于该存储元件及该声音播放电路并配置以获取并执行所述多个计算机可执行指令，以在所述多个计算机可执行指令被执行时执行一声音播放方法的一处理器，该声音播放方法包含：
接收与一聆听者数据以及一声源数据相关的一输入声音讯号，该聆听者数据和该声源数据是在模拟情境的过程中实时地产生，该聆听者数据包含一聆听者在一虚拟环境中的位置信息，且该声源数据包含用以在该虚拟环境中产生可由一使用者感知声音的声源的位置信息；
进行一编码程序，以将该输入声音讯号与一编码函式矩阵相乘，进而产生一编码结果，其中该编码函式矩阵的多个元素与一基底函式相关；
获取一解码函式矩阵并代入至少一方向参数，其中该解码函式矩阵配置以补偿该输入声音讯号的一理想逼近结果以及一模拟逼近结果间的一误差，其中该理想逼近结果是对一测试声音讯号以一第一编码函式矩阵以及一第一解码函式矩阵进行编码再解码所产生，且该模拟逼近结果是对该测试声音讯号以一第二编码函式矩阵以及一第二解码函式矩阵进行编码再解码所产生；
根据多个头部相关转换函式对该编码结果进行转换；
进行一解码程序，以将该编码结果乘以代入该方向参数的该解码函式矩阵，进而产生一输出声音讯号；以及
使该声音播放电路重现该输出声音讯号。
CN201811206968.4A 2017-10-18 2018-10-17 声音播放装置、方法及非暂态存储介质 Active CN109688497B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762573706P 2017-10-18 2017-10-18
US62/573,706 2017-10-18

Publications (2)

Publication Number Publication Date
CN109688497A CN109688497A (zh) 2019-04-26
CN109688497B true CN109688497B (zh) 2021-10-01

Family

ID=66170054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811206968.4A Active CN109688497B (zh) 2017-10-18 2018-10-17 声音播放装置、方法及非暂态存储介质

Country Status (3)

Country Link
US (1) US11004457B2 (zh)
CN (1) CN109688497B (zh)
TW (1) TWI703557B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI703557B (zh) * 2017-10-18 2020-09-01 宏達國際電子股份有限公司 聲音播放裝置、方法及非暫態儲存媒體
CN114662663B (zh) * 2022-03-25 2023-04-07 华南师范大学 虚拟听觉系统的声音播放数据获取方法和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101658052A (zh) * 2007-03-21 2010-02-24 弗劳恩霍夫应用研究促进协会 用于音频重构增强的方法和设备
CN103329567A (zh) * 2010-10-28 2013-09-25 弗兰霍菲尔运输应用研究公司 用于推导方向性信息的装置与方法及计算机程序产品
CN104144370A (zh) * 2013-05-06 2014-11-12 象水国际股份有限公司 可追踪目标的扬声装置及其声音输出方法
WO2017118519A1 (fr) * 2016-01-05 2017-07-13 3D Sound Labs Encodeur ambisonique ameliore d'une source sonore a pluralite de reflexions
CN107113528A (zh) * 2015-01-02 2017-08-29 高通股份有限公司 处理空间音频的方法，系统及制品

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002019768A2 (en) * 2000-08-31 2002-03-07 Dolby Laboratories Licensing Corporation Method for apparatus for audio matrix decoding
US7660424B2 (en) * 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
BRPI0707969B1 (pt) * 2006-02-21 2020-01-21 Koninklijke Philips Electonics N V codificador de áudio, decodificador de áudio, método de codificação de áudio, receptor para receber um sinal de áudio, transmissor, método para transmitir um fluxo de dados de saída de áudio, e produto de programa de computador
EP2102858A4 (en) * 2006-12-07 2010-01-20 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
CN104837107B (zh) * 2008-12-18 2017-05-10 杜比实验室特许公司 音频通道空间转换
EP2483887B1 (en) * 2009-09-29 2017-07-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mpeg-saoc audio signal decoder, method for providing an upmix signal representation using mpeg-saoc decoding and computer program using a time/frequency-dependent common inter-object-correlation parameter value
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
EP2830334A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
SG11201600466PA (en) * 2013-07-22 2016-02-26 Fraunhofer Ges Forschung Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
EP2830046A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal to obtain modified output signals
EP2830050A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830049A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
US9716958B2 (en) * 2013-10-09 2017-07-25 Voyetra Turtle Beach, Inc. Method and system for surround sound processing in a headset
JP6561718B2 (ja) * 2015-09-17 2019-08-21 株式会社Ｊｖｃケンウッド 頭外定位処理装置、及び頭外定位処理方法
MY188581A (en) * 2015-11-17 2021-12-22 Dolby Laboratories Licensing Corp Headtracking for parametric binaural output system and method
JP7023848B2 (ja) * 2016-01-29 2022-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション バイノーラル・ダイアログ向上
TWI744341B (zh) * 2016-06-17 2021-11-01 美商Ｄｔｓ股份有限公司 使用近場/遠場渲染之距離聲相偏移
MC200186B1 (fr) * 2016-09-30 2017-10-18 Coronal Encoding Procédé de conversion, d'encodage stéréophonique, de décodage et de transcodage d'un signal audio tridimensionnel
CN110326310B (zh) * 2017-01-13 2020-12-29 杜比实验室特许公司 串扰消除的动态均衡
US10674301B2 (en) * 2017-08-25 2020-06-02 Google Llc Fast and memory efficient encoding of sound objects using spherical harmonic symmetries
TWI703557B (zh) * 2017-10-18 2020-09-01 宏達國際電子股份有限公司 聲音播放裝置、方法及非暫態儲存媒體

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101658052A (zh) * 2007-03-21 2010-02-24 弗劳恩霍夫应用研究促进协会 用于音频重构增强的方法和设备
CN103329567A (zh) * 2010-10-28 2013-09-25 弗兰霍菲尔运输应用研究公司 用于推导方向性信息的装置与方法及计算机程序产品
CN104144370A (zh) * 2013-05-06 2014-11-12 象水国际股份有限公司 可追踪目标的扬声装置及其声音输出方法
CN107113528A (zh) * 2015-01-02 2017-08-29 高通股份有限公司 处理空间音频的方法，系统及制品
WO2017118519A1 (fr) * 2016-01-05 2017-07-13 3D Sound Labs Encodeur ambisonique ameliore d'une source sonore a pluralite de reflexions

Also Published As

Publication number Publication date
US20190122681A1 (en) 2019-04-25
US11004457B2 (en) 2021-05-11
TWI703557B (zh) 2020-09-01
TW201917723A (zh) 2019-05-01
CN109688497A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
JP7400910B2 (ja) 音声処理装置および方法、並びにプログラム
US10149089B1 (en) Remote personalization of audio
Gorzel et al. Efficient encoding and decoding of binaural sound with resonance audio
CN107071685A (zh) 用于渲染音频声场表示以供音频回放的方法和设备
CN109688497B (zh) 声音播放装置、方法及非暂态存储介质
US10027994B2 (en) Interactive audio metadata handling
US10469975B2 (en) Personalization of spatial audio for streaming platforms
CN110191745A (zh) 利用空间音频的游戏流式传输
CN109683845B (zh) 声音播放装置、方法及非暂态存储媒体
CN105759964A (zh) 用于虚拟现实设备的声音输入方法、装置及虚拟现实设备
CN117837173A (zh) 用于音频渲染的信号处理方法、装置和电子设备
CN112927701A (zh) 样本生成、神经网络生成、音频信号生成方法及装置
CN109683846B (zh) 声音播放装置、方法及非暂态存储媒体
CN115794022B (zh) 音频输出方法、装置、设备、存储介质和程序产品
US20240119945A1 (en) Audio rendering system and method, and electronic device
US20240119946A1 (en) Audio rendering system and method and electronic device
WO2024114372A1 (zh) 场景音频解码方法及电子设备
WO2024114373A1 (zh) 场景音频编码方法及电子设备
CN115226002A (zh) 一种场景渲染项数据映射方法、装置、设备及存储介质
CN115167803A (zh) 一种音效的调节方法、装置、电子设备及存储介质
JP2024506943A (ja) オーディオ・オブジェクトのクラスタリング
CN116965062A (zh) 对音频对象进行聚类
CN114727197A (zh) 立体空间环绕音生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant