JP2020510341A - 分散オーディオ仮想化システム - Google Patents

分散オーディオ仮想化システム Download PDF

Info

Publication number
JP2020510341A
JP2020510341A JP2019548894A JP2019548894A JP2020510341A JP 2020510341 A JP2020510341 A JP 2020510341A JP 2019548894 A JP2019548894 A JP 2019548894A JP 2019548894 A JP2019548894 A JP 2019548894A JP 2020510341 A JP2020510341 A JP 2020510341A
Authority
JP
Japan
Prior art keywords
audio
virtualization
signals
virtualized
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019548894A
Other languages
English (en)
Other versions
JP7206211B2 (ja
Inventor
テギョン ノー
テギョン ノー
ジャン−マルク ジョット
ジャン−マルク ジョット
トワフィーク モハメッド
トワフィーク モハメッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS Inc
Original Assignee
DTS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DTS Inc filed Critical DTS Inc
Publication of JP2020510341A publication Critical patent/JP2020510341A/ja
Application granted granted Critical
Publication of JP7206211B2 publication Critical patent/JP7206211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Multimedia (AREA)

Abstract

オーディオ信号処理システムは少なくとも一対のスピーカーまたはヘッドフォンを使用して３次元音場で仮想化されたオーディオ情報を供給するように構成することができる。本システムは少なくともＮ個の個別のオーディオ信号を含むオーディオプログラム情報を受信するように構成されたオーディオ入力部、Ｎ個のオーディオ信号のうちＭ個をフィルタリングすることにより中間の仮想化されたオーディオ情報を生成するように構成された第一の仮想化プロセッサ回路、およびＮ個のオーディオ信号のうちＫ個を異なるやり方でフィルタリングすることによりさらに仮想化されたオーディオ情報を生成するように構成された第二の仮想化プロセッサ回路を含むことができ、Ｋ、Ｍ、およびＮは整数である。本システムは第二の仮想化プロセッサ回路に伝送するためのＮ個よりも少ないオーディオ信号をレンダリングするために、中間の仮想化されたオーディオ情報とＭ個のオーディオ信号以外のＮ個のオーディオ信号のうち少なくとも一つとを組み合わせるためのオーディオ信号組合せ回路を含むことができる。

Description

［優先権の主張］
本特許出願は２０１７年３月８日に出願された米国仮特許出願第６２／４６８，６７７号および２０１７年１２月１５日に出願された米国特許出願第１５／８４４，０９６号に基づく優先権の利益を主張するものであり、いずれの出願もその全体が参照により本明細書に組み入れられる。
オーディオは家庭用電化製品においてコンテンツリッチなマルチメディア体験を提供する上で重要な役割を果たす。ワイヤレス接続の拡大に伴う家電デバイスのスケーラビリティおよびモビリティによりユーザはコンテンツに即座にアクセスできるようになる。ヘッドフォンまたはスピーカーを介して再生するために様々なオーディオ再生システムを使用することができる。いくつかの例では、オーディオプログラムコンテンツはオーディオ信号のステレオペアよりも多くの、例えばサラウンド音響または他のマルチチャネル構成を含むことができる。
従来のオーディオ再生システムはＣＤプレイヤー、ＴＶチューナ、手持ち式メディアプレイヤー等の様々なオーディオまたはオーディオ／映像源からデジタルまたはアナログオーディオ音源信号情報を受信することができる。オーディオ再生システムは放送オーディオおよび／または映像信号の選択、処理、およびルーティング専用のホームシアター受信機または自動オーディオシステムを含むことができる。スピーカーシステムを介して再生するためにオーディオ出力信号を処理し、出力することができる。このような出力信号はヘッドフォンもしくは一対の正面スピーカーに送信される２チャネル信号、またはサラウンド音響再生のためのマルチチャネル信号とすることができる。サラウンド音響再生のために、オーディオ再生システムはマルチチャネルデコーダを含み得る。
オーディオ再生システムはアナログオーディオ音源を接続するためのアナログ−デジタルコンバータ、またはデジタルオーディオ入力インタフェースのような処理装置をさらに含むことができる。オーディオ再生システムはオーディオ信号を処理するためのデジタル信号プロセッサ、ならびに処理された出力信号をトランスデューサに送信される電気信号に変換するためのデジタル−アナログコンバータおよび信号増幅器を含み得る。スピーカーは様々な用途により決定される様々な構成で配置することができる。スピーカーは、例えば、スタンドアロンユニットとすることができるか、またはテレビジョンセット、ラップトップコンピュータ、手持ち式ステレオ等の家庭用電化製品の場合のようにデバイスに組み込むことができる。技術的および物理的な制約のために、オーディオ再生はこのようなデバイスでは妥協または制限される可能性がある。このような制限はラップトップや他の小型モバイルデバイスのようにスピーカーの間隔が狭く、物理的な制約を有する電子デバイスでは特に顕著である。このようなオーディオの制約に対処するために、一対のヘッドフォンまたは一対のスピーカーを介して２チャネルまたはマルチチャネルのオーディオ信号を再生するための様々なオーディオ処理の方法が使用される。このような方法はリスナーの体験を向上させるための強制的な空間強調効果を含む。
頭部伝達関数（ＨＲＴＦ）に基づいてオーディオ信号処理、例えばヘッドフォンまたはスピーカーを使用した３次元オーディオ再生を実施するための様々な技術が提案されている。いくつかの例では、これらの技術はリスナーに対して水平面内に定位させるか、またはリスナーに対して高い位置に設置される仮想スピーカーで再生するために使用される。スピーカーをベースとするシステムにおいて「スイートスポット（ｓｗｅｅｔ ｓｐｏｔ）」から離れたリスナー位置での水平定位アーティファクトを低減するために、低周波への影響を制限するための様々なフィルタを適用することができる。
オーディオ信号処理は、例えばスケーラブルなシステムまたはシステムの制約により複数のプロセッサ回路またはソフトウェアモジュールに分散させることができる。例えば、ＴＶオーディオシステムソリューションは、デジタルオーディオデコーダとバーチャライザ後処理モジュールとの組合せを含むことができるため、全体的な計算量が単一の集積回路（ＩＣ）またはシステムオンチップ（ＳＯＣ）の容量を超えない。このような制限に適応するため、デコーダおよびバーチャライザブロックを別々のカスケード接続されたハードウェアまたはソフトウェアモジュールで実施することができる。
一例では、例えばＴＶオーディオシステムアーキテクチャ内の内部Ｉ／Ｏデータバスは（例えば、５．１または７．１サラウンド音響システムに対応して）６または８チャネルに限定することができる。しかしながら、強制的な没入型のオーディオ体験を提供するためにより多くのデコーダ出力オーディオ信号をバーチャライザ入力部に伝送することが望ましいかまたは必要とされる可能性がある。本発明者らはしたがって、スピーカー、またはいくつかの例ではヘッドフォンを介したマルチチャネルオーディオ信号の多次元オーディオ再生を可能にするために、解決すべき課題が複数のプロセッサ回路および／またはデバイスに分散するオーディオ信号処理を含むことを認識している。一例では、この課題は多次元オーディオ情報を分散または処理するためのチャネル数に制限のあるレガシーハードウェアアーキテクチャの使用を含む可能性がある。
上記の課題に対する解決策は、例えば音響バースピーカー、ホームシアターシステム、ＴＶ、ラップトップコンピュータ、モバイルまたはウェアラブルデバイス、または他のシステムまたはデバイスを介した没入型のオーディオコンテンツの再生のために使用することができる、スピーカーまたはヘッドフォンを使用した多次元オーディオ再生のための
様々な方法を含む。本明細書に記載の方法およびシステムにより、中間の伝送させるオーディオチャネル数を低減させながらも二以上のプロセッサ回路またはモジュールに仮想化の後処理を分散させることが可能になる。
一例では、解決策は少なくともＮ個の個別のオーディオ信号を備えるオーディオプログラム情報の受信を含む仮想化されたオーディオ信号の供給、および第一の仮想化プロセッサ回路を使用した、受信したオーディオプログラム情報の少なくとも一部を使用する中間の仮想化されたオーディオ情報の生成のための方法を含むかまたは使用することができる。中間の仮想化されたオーディオ情報の生成は第一の仮想化フィルタ出力を供給するために第一の仮想化フィルタをＮ個のオーディオ信号のうちＭ個に適用することおよび第一の仮想化フィルタ出力を使用して中間の仮想化されたオーディオ情報を供給することを含むことができ、この中間の仮想化されたオーディオ情報はＪ個の個別のオーディオ信号を備える。この例は中間の仮想化されたオーディオ情報を第二の仮想化プロセッサ回路に伝送することをさらに含むことができ、第二の仮想化プロセッサ回路は異なる第二の仮想化フィルタをＪ個のオーディオ信号のうち一または二以上に適用することによりさらに仮想化されたオーディオ情報を生成するように構成され、ここでＮ、Ｍ、およびＪは整数である。この例はＪ個のオーディオ信号に基づいてＫ個の出力信号をレンダリングすることをさらに含むことができる。一例では、ＭはＮ未満であり、またＫはＪ未満である。一例では、第一の仮想化フィルタは第二の仮想化フィルタとは異なる。例えば、第一の仮想化フィルタは第一の平面（例えば、垂直面）での仮想化に対応し、第二の仮想化フィルタは異なる第二の平面（例えば、水平面）での仮想化に対応する。一例では、この解決策は非相関化処理を含むかまたは使用する。例えば、中間の仮想化されたオーディオ情報の生成は第一の仮想化フィルタを適用する前にＭ個のオーディオ信号のうち少なくとも一つを非相関化するかまたはそれに非相関化処理を実行することを含むことができる。
この発明の概要は本特許出願の主題の要約を提供することを意図している。本発明の排他的な（ｅｘｃｌｕｓｉｖｅ）、または網羅的な（ｅｘｈａｕｓｔｉｖｅ）例を提供することは意図していない。この詳細な説明には本特許出願に関するさらなる情報を提供することが含まれる。
図面中では必ずしも正しい縮尺で描かれておらず、同様の数字は異なる図において類似の構成要素を表し得る。異なる接尾辞を有する同様の数字は類似の構成要素の異なる例を表し得る。図面は一般に例とする目的で、しかし限定する目的ではなく、本書面で論じられる様々な実施形態を例示する。
オーディオ信号仮想化処理の一例を一般に例示する。 ４チャネル３次元オーディオ再生システムの一例を一般に例示する。 複数段階の仮想化処理の一例を一般に例示する。 第一および第二の２チャネルバーチャライザモジュールによる独立した仮想化処理を含む一例を一般に例示する。 第一および第二の２チャネルバーチャライザモジュールを使用した仮想化処理を含む一例を一般に例示する。 複数のオーディオ信号の仮想化処理を示すブロックダイアグラムの一例を一般に例示する。 分散されたオーディオ仮想化システムを含む一例を一般に例示する。 様々なオーディオ信号に分散された仮想化処理を実行するように構成された第一のシステムの一例を一般に例示する。 様々なオーディオ信号に分散された仮想化処理を実行するように構成された第二のシステムの一例を一般に例示する。 本明細書で論じられる方法論のうち任意の一または二以上を実行するように構成可能なマシンの構成要素を例示するするブロックダイアグラムである。
ヘッドフォンまたは他のスピーカー等を介した再生のための仮想環境レンダリングおよびオーディオ信号処理の例を含む以下の説明では、添付図面が参照され、詳細な説明の一部を形成する。図面は、例示として本明細書で開示される発明を実施することのできる固有の実施形態を示す。これらの実施形態は本明細書において「例（ｅｘａｍｐｌｅｓ）」とも呼ばれる。このような例はこれら示されるかまたは説明されるものに加え、要素を含むことができる。しかしながら、本発明者らは図示または説明されたこれらの要素のみが提供される例も想定している。本発明者らは本明細書に示されるかまたは説明される特定の例（またはそれらの一または二以上の態様）に関連するかまたは他の例（またはそれらの一または二以上の態様）に関連する、示されるかまたは説明されるそれらの要素（またはそれらの一または二以上の態様）の任意の組合せまたは置換えを使用する例を想定している。
本明細書で使用されるように、「オーディオ信号（ａｕｄｉｏ ｓｉｇｎａｌ）」という句は物理的な音響を表す信号である。本明細書に記載のオーディオ処理システムおよび方法は様々なフィルタを使用してオーディオ信号を使用または処理するように構成されたハードウェア回路および／またはソフトウェアを含むことができる。いくつかの例では、システムおよび方法は複数のオーディオチャネルからの信号、または複数のオーディオチャネルに対応する信号を使用することができる。一例では、オーディオ信号は複数のオーディオチャネルに対応する情報を含むデジタル信号を含むことができる。
様々なオーディオ処理システムおよび方法は様々なスピーカー構成を介して２チャネルまたはマルチチャネルオーディオ信号を再生するために使用することができる。例えば、オーディオ信号は、例えばリスナーに対して様々な場所に位置するスピーカーを使用することにより、ヘッドフォンを介して、一対のブックシェルフスピーカーを介して、またはサラウンド音響もしくは没入型オーディオシステムを介して再生することができる。いくつかの例は、例えば物理的なスピーカーの数または向きが限定されている場合に、リスニング体験を強調するための強制的な空間強調効果を含むかまたは使用することができる。
Ｗａｌｓｈらによる「Ｖｉｒｔｕａｌ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ｌｏｕｄｓｐｅａｋｅｒ ｏｒ Ｈｅａｄｐｈｏｎｅ Ｐｌａｙｂａｃｋ」と題する米国特許第８，０００，４８５号は、その全体が参照により本明細書に組み入れられ、仮想化された信号および修正されたステレオイメージを生成するためにバーチャライザプロセッサ回路を用いてオーディオ信号を処理することができる。本発明者らは、４８５号特許の技術に加えて、または代えて、最小限の数のスピーカーを使用して様々な空間的な方向性のある構成要素を含む正確な音場表現を届けるために仮想化処理を使用することができることを認識している。
一例では、リスナーの体験をさらに強調するためのリスナーよりも上または下の様々な明示された高度、またはエレベーションで音響情報を含むとリスナーが知覚する仮想オーディオ情報をレンダリングするために、頭部伝達関数から導出することのできる相対仮想化フィルタを適用することができる。一例では、このような仮想オーディオ情報は水平面で提供されるスピーカーを使用して再生され、仮想オーディオ情報は知覚される発信場所に物理的または実際のスピーカーが存在しない場合であっても水平面に対して高い位置のスピーカーまたは他の音源から生じるように知覚される。一例では、仮想オーディオ情報は水平面内のオーディオ情報から延在し、それを任意選択的に含む音響エレベーションの印象、または聴覚の錯覚を提供する。同様に、水平面内および水平面の様々な場所、例えば音場内のスピーカーの物理的な位置に対応しない場所に音響情報を含むとリスナーが知覚する仮想オーディオ情報をレンダリングするために仮想化フィルタを適用することができる。
図１はオーディオ信号仮想化処理の一例１００を一般に例示する。例１００では、Ｌ1およびＲ1と表される入力信号のペアが２チャネルバーチャライザモジュール１１０に供給される。２チャネルバーチャライザモジュール１１０は入力信号のペアを処理し、ＬOおよびＲOと表される出力信号のペアを供給するように構成された第一のプロセッサ回路を含むことができる。一例では、出力信号のペアはステレオスピーカーのペアまたはヘッドフォンを使用して再生するために構成される。
一例では、入力および出力信号のペアがリスナーの解剖学的な正中面に関して対称に設置されるスピーカーの情報を表す場合等にトランスオーラルシャッフラートポロジーを使用してバーチャライザモジュール１１０を実現することができる。この例では、加算および差分仮想化フィルタは等式（１）および（２）に示されるように表すことができ、２チャネルバーチャライザモジュール１１０内の第一のプロセッサ回路により適用することができる。
等式（１）および（２）の例では、周波数依存は簡潔にするために省略され、以下の記号が使用される。
Ｈ0i：左または右の物理的なスピーカーの場所に対する同側ＨＲＴＦ（例えば、出力信号のペアＬO、ＲOの再生のために構成される）
Ｈ0c：左または右の物理的なスピーカーの場所に対する対側ＨＲＴＦ（例えば、出力信号のペアＬO、ＲOの再生のために構成される）
Ｈ1i：左または右の仮想スピーカーの場所に対する同側ＨＲＴＦ（例えば、出力信号のペアＬ1、Ｒ1の再生のために構成される）
Ｈ1c：左または右の仮想スピーカーの場所に対する対側ＨＲＴＦ（Ｌ1、Ｒ1）
ヘッドフォン再生の場合、Ｈ0cは実質的にゼロであり、Ｈ0iはヘッドフォンから耳への伝達関数に対応する。
図２は４チャネル３次元オーディオ再生システムの一例２００を一般に例示する。例２００はリスナー２０２に対する再生のための仮想化されたオーディオ信号情報を供給するために仮想化処理を含むかまたは使用することができる。例２００では、仮想化プロセッサ回路２０１は入力信号Ｌ1、Ｒ1、Ｌ2およびＲ2を受信し、仮想化処理を入力信号に適用し、入力信号よりも少ない数の出力信号をレンダリングまたは供給する。デジタルＩＩＲフィルタの近似だけでなく、チャネルレイアウトの左右対称性、頭部伝達関数（ＨＲＴＦ）の最小位相モデル、およびスペクトル等化法等の特性をレバレッジする加算および差分「シャッフラー（ｓｈｕｆｆｌｅｒ）」ベーストポロジーを含む、様々な入力信号を処理するために、バイノーラルおよびトランスオーラル３Ｄオーディオ仮想化アルゴリズムを使用することができる。一例では、仮想化プロセッサ回路２０１はオーディオデコーダ回路、例えばサラウンド音響デコーダ回路から複数の入力信号Ｌ1、Ｒ1、Ｌ2およびＲ2を受信し、一対のスピーカーを使用して実質的に同じ情報をレンダリングする。
図２では、３次元オーディオ再生システムまたはプロセッサ回路２０１はＬOおよびＲOと表される出力信号を供給する。仮想化処理に基づいて、ＬOおよびＲO信号が（図２の例におけるＬおよびＲに対応するスピーカーのような）一対のスピーカーを使用して再生される場合、リスナー２０２はオーディオ情報がスピーカー環境に関して分散された複数の音源からの情報を含むと知覚する。例えば、図中でＬおよびＲとして表されるスピーカーを使用してＬOおよびＲO信号が再生される場合、リスナー２０２は左または右正面のスピーカーＬ1およびＲ1から、左または右後方のスピーカーＬ2およびＲ2から、またはスピーカー間の中間の場所またはどこか見かけ上の音源から生じるオーディオ情報を知覚することができる。
図３は複数段階の仮想化処理の一例３００を一般に例示する。一例では、図２からの３次元オーディオ再生システムまたはプロセッサ回路２０１は図３の例３００における仮想化処理を使用して実施または適用することができる。図３の例は第一の２チャネルバーチャライザモジュール３１０および第二の２チャネルバーチャライザモジュール３２０を含む。第一の２チャネルバーチャライザモジュール３１０はＬ1およびＲ1と表される第一の入力信号のペアを受信するように構成され、第二の２チャネルバーチャライザモジュール３２０はＬ2およびＲ2と表される第二の入力信号のペアを受信するように構成される。一例では、Ｌ1およびＲ1は正面のステレオペアを表し、Ｌ2およびＲ2は後方のステレオペアを表す（例えば、図２を参照）。他の例では、Ｌ1、Ｒ1、Ｌ2およびＲ2は特定のスピーカー配置等を使用した再生のために構成または設計される、側方、後方、または高い位置の音響信号等の他のオーディオ情報を表すことができる。一例では、第一の２チャネルバーチャライザモジュール３１０は等式（１）に示されるような、加算および差分仮想化フィルタを適用または使用するように構成される。
第二の２チャネルバーチャライザモジュール３２０は第二の入力信号のペアＬ2およびＲ2を受信し、Ｌ2,OおよびＲ2,Oと表される出力信号として中間の仮想化されたオーディオ情報を生成するように構成された第二のプロセッサ回路を含むことができる。一例では、第二の２チャネルバーチャライザモジュール３２０は中間の仮想化された出力信号Ｌ2,OおよびＲ2,Oを生成するために、等式（２）に示されるような、加算および差分仮想化フィルタを適用または使用するように構成される。一例では、第二の２チャネルバーチャライザモジュール３２０はしたがって部分的に仮想化された一つの信号、または部分的に仮想化された複数の信号を供給または生成するように構成される。第二の２チャネルバーチャライザモジュール３２０を制限された方法で仮想化処理を提供するように構成することができるため、信号（複数可）は部分的に仮想化されているとみなされる。例えば、第二の２チャネルバーチャライザモジュール３２０は水平面仮想化処理のために構成することができ、一方垂直面仮想化処理を他の場所で、または異なるデバイスを使用して実行することができるように構成することができる。部分的に仮想化された信号はリスナーに対して再生する前に他の一または二以上の仮想化されたか、または仮想化されていない信号と組み合わせることができる。一例では、第二の２チャネルバーチャライザモジュール３２０は中間の仮想化された出力信号を供給するために等式３および４に示される関数を適用または使用することができる。
等式（３）および（４）の例では、周波数依存は簡潔にするために省略され、以下の記号が使用される。
Ｈ2i：左または右の仮想スピーカーの場所に対する対側ＨＲＴＦ（Ｌ2、Ｒ2）
Ｈ2c：左または右の仮想スピーカーの場所に対する対側ＨＲＴＦ（Ｌ2、Ｒ2）
図３の例では、中間の仮想化された出力信号Ｌ2,OおよびＲ2,OはＬ1およびＲ1と表される第一の入力信号のペアを仮想化する前に、Ｌ1およびＲ1と表される第一の入力信号のペアと組み合わせられる。組み合わせられた信号は次に第一の２チャネルバーチャライザモジュール３１０を使用してさらに処理または仮想化される。第一および第二の２チャネルバーチャライザモジュール３１０および３２０は、例えば異なる仮想化効果を達成するために、異なる仮想化処理を適用するように構成することができる。例えば、第一の２チャネルバーチャライザモジュール３１０は水平面仮想化処理を提供するように構成することができ、第二の２チャネルバーチャライザモジュール３２０は垂直面仮想化処理を提供するように構成することができる。異なるモジュールを使用して、他のタイプの仮想化処理を同様に使用または適用することができる。
本発明者らはモジュール３１０および３２０による仮想化処理および図３の例による中間信号の組合せの結果が、両方のモジュールにより独立に仮想化処理と実質的に等価であることを認識している。図４は、例えば、第一および第二の２チャネルバーチャライザモジュール４１０および４２０による独立した仮想化処理を含む一例４００を一般に例示する。図４の例では、第一の２チャネルバーチャライザモジュール４１０はＬ1およびＲ1と表される入力信号のペアを受信してＬ1,OおよびＲ1,Oと表される部分的に仮想化された出力信号のペアを生成し、第二の２チャネルバーチャライザモジュール４２０はＬ2およびＲ2と表される入力信号のペアを受信してＬ3,OおよびＲ3,Oと表される部分的に仮想化された出力信号のペアを生成する。図４の例４００はさらに仮想化された出力信号ＬOおよびＲOを供給するために部分的に仮想化された出力信号のペアＬ1,OおよびＲ1,OならびにＬ3,OおよびＲ3,Oを加算するように構成された回路を含む加算モジュール４３０を含む。
図４の例では、第一の２チャネルバーチャライザモジュール４１０は等式（１）および（２）に示されるように、また図１からの２チャネルバーチャライザモジュール１１０の例において上記で説明されたのと同様に、加算および差分仮想化フィルタを適用するように構成される。第二の２チャネルバーチャライザモジュール４２０は等式（５）および（６）に示されるように加算および差分仮想化フィルタを適用するように構成される。
等式（１）および（２）と等式（３）および（４）とを比較すると、図３および図４の４チャネルのペアになったバーチャライザの例が実質的に同じであることがわかる。
図５は第一および第二の２チャネルバーチャライザモジュール５１０および５２０による仮想化処理を含む一例５００を一般に例示する。図５の例では、第二の２チャネルバーチャライザモジュール５２０はＬ2およびＲ2と表される入力信号のペアを受信し、Ｌ4,OおよびＲ4,Oと表される部分的に仮想化された出力信号のペアを生成する。図５の例５００は部分的に仮想化された出力信号のペアＬ4,OおよびＲ4,Oと入力信号のペアＬ1およびＲ1とを加算し、加算された信号を第一の２チャネルバーチャライザモジュール５１０に供給するように構成された回路を含む加算モジュール５３０をさらに含む。第一の２チャネルバーチャライザモジュール５１０は加算された信号のペアを受信し、仮想化された出力信号ＬOおよびＲOを生成する。
図５の例では、第一の２チャネルバーチャライザモジュール５１０は等式（１）および（２）に示されるように、また図１からの２チャネルバーチャライザモジュール１１０の例において上記で説明されたのと同様に、加算および差分仮想化フィルタを適用するように構成される。第二の２チャネルバーチャライザモジュール５２０は等式（７）に示されるように、加算および差分仮想化フィルタを適用するように構成される。
図５の例はしたがって図３の４チャネルバーチャライザの簡素化されたバージョンを一般に示し、第二の２チャネルバーチャライザモジュール５２０は伝達関数Ｈ2/1,SUMおよびＨ2/1,DIFFがほぼ等しい場合、すなわち、同側および対側ＨＲＴＦの比率がほぼ等しい場合、同じフィルタを両方の入力信号に適用する。
本明細書に記載の仮想化処理の例のうち任意の一または二以上は非相関化処理を含むかまたは使用することができる。例えば、図１、３、４、および／または５からのバーチャライザモジュールのうち任意の一または二以上は、オーディオ入力信号のうち一または二以上を非相関化するように構成されたデコリレータ回路を含むかまたは使用することができる。一例では、バーチャライザモジュールが互いに非相関である信号のペアを処理するように、デコリレータ回路がバーチャライザモジュールの少なくとも一つの入力に先行する。非相関化処理に関するさらなる例および議論が以下で提供される。
図６は複数のオーディオ信号の仮想化処理を示すブロックダイアグラムの一例６００を一般に例示する。例６００はデータバス回路６０２を使用して第二のオーディオ信号処理デバイス６２０と結合する第一のオーディオ信号処理デバイス６１０を含む。
第一のオーディオ信号処理デバイス６１０はデコーダ回路６１１を含むことができる。一例では、デコーダ回路６１１はデジタルまたはアナログ信号情報を含むマルチチャネル入力信号６０１を受信する。一例では、マルチチャネル入力信号６０１は複数のオーディオ信号に関する情報を含むデジタルビットストリームを含む。一例では、マルチチャネル入力信号６０１はサラウンド音響または没入型オーディオプログラムのためのオーディオ信号を含む。一例では、没入型オーディオプログラムは例えばＤＴＳ：Ｘ １１．１ｃｈフォーマットに９以上のチャネルを含むことができる。一例では、没入型オーディオプログラムは左および右正面のチャネル（Ｌ1およびＲ1）、中央チャネル（Ｃ）、低周波チャネル（Ｌｆｅ）、左および右後方のチャネル（Ｌ2およびＲ2）、ならびに左および右の高い位置のチャネル（Ｌ3およびＲ3）を含む、８個のチャネルを含む。追加の、またはより少ないチャネルまたは信号を同様に使用することができる。
デコーダ回路６１１はマルチチャネル入力信号６０１をデコードし、デコーダ出力６１２を供給するように構成することができる。デコーダ出力６１２は情報の複数の個別のチャネルを含むことができる。例えば、マルチチャネル入力信号６０１が１１．１没入型オーディオプログラムに関する情報を含む場合、次にデコーダ出力６１２は１２個の個別のオーディオチャネルのためのオーディオ信号を含むことができる。一例では、バス回路６０２は少なくとも１２個のチャネルを含み、各チャネルを使用してオーディオ信号の全てを第一のオーディオ信号処理デバイス６１０から第二のオーディオ信号処理デバイス６２０に伝送する。第二のオーディオ信号処理デバイス６２０はバス回路６０２からの信号のうち一または二以上を受信するように構成された仮想化プロセッサ回路６２１を含むことができる。仮想化プロセッサ回路６２１は仮想化されたオーディオ情報を含むオーディオ出力信号６０３を生成するために、例えば一または二以上のＨＲＴＦまたは他のフィルタを使用することにより、受信した信号を処理することができる。一例では、オーディオ出力信号６０３はリスニング環境内の一対のスピーカーを使用して、またはヘッドフォンを使用して再生するために構成されたオーディオ信号のステレオ出力のペア（例えば、ＬOおよびＲO）を含む。一例では、第一または第二のオーディオ信号処理デバイス６１０または６２０はリスナーの体験またはオーディオ出力信号６０３内の仮想化された構成要素の知覚をさらに強調するためのリスニング環境に関連するアーティファクトに適応するために一または二以上のフィルタまたは関数を適用することができる。
いくつかのオーディオ信号処理デバイスにおいて、特に家庭用製品のレベル（ｃｏｎｓｕｍｅｒ−ｇｒａｄｅ ｌｅｖｅｌ）では、バス回路６０２は個別のチャネルに固有の、または所定の数に制限される可能性がある。例えば、いくつかのデバイスは（例えば、５．１サラウンドシステムに対応して）６チャネルまで適応するが、それを超えないように構成することができる。オーディオプログラム情報が例えば６チャネルよりも大きい情報を含む場合、バス回路６０２を使用してプログラム情報が伝送されるとするとオーディオプログラムの少なくとも一部が失われる可能性がある。いくつかの例では、失われる情報はプログラム全体またはリスナー体験にとって重大である可能性がある。本発明者らはこのチャネル数の問題は分散された仮想化処理を使用することで解決することができると認識している。
図７は分散されたオーディオ仮想化システムを含む一例７００を一般的に例示する。例７００は例えば物理的なスピーカーまたはヘッドフォンを使用することによりマルチチャネルの没入型オーディオレンダリングを提供するために使用することができる。例７００は第二のデータバス回路７０２を使用して第二のオーディオ信号処理デバイス７２０と結合する第一のオーディオ信号処理デバイス７１０を含む。一例では、第二のデータバス回路７０２は図６の例におけるデータバス回路６０２により提供されるのと同じ帯域幅を含む。すなわち、第二のデータバス回路７０２はマルチチャネル入力信号６０１に関する情報の全てを搬送するために必要とされ得るよりも低い帯域幅を含むことができる。
図７の例では、第一のオーディオ信号処理デバイス７１０はデコーダ回路６１１および第一の仮想化プロセッサ回路７１１を含むことができる。一例では、デコーダ回路６１１はデジタルまたはアナログ信号情報等を含むことのできる、マルチチャネル入力信号６０１を受信する。図６の例において上記で説明されたのと同様に、マルチチャネル入力信号６０１は複数のオーディオ信号に関する情報を含み、一例では、没入型オーディオプログラムのためのオーディオ信号を含むことのできる、デジタルビットストリームを含む。
デコーダ回路６１１はマルチチャネル入力信号６０１をデコードし、デコーダ出力６１２を供給するように構成することができる。デコーダ出力６１２は情報の複数の個別のチャネルを含むことができる。例えば、マルチチャネル入力信号６０１が没入型オーディオプログラム（例えば、１１．１フォーマット）に関する情報を含む場合、次にデコーダ出力６１２は例えば１２個の個別のオーディオチャネルのためのオーディオ信号を含むことができる。一例では、バス回路７０２が含むのは１２チャネルよりも少なく、したがってオーディオ信号の各々を第一のオーディオ信号処理デバイス７１０から第二のオーディオ信号処理デバイス７２０に伝送することができない。
一例では、デコーダ出力６１２は例えば第一の仮想化プロセッサ回路７１１を使用することにより、第一のオーディオ信号処理デバイス７１０により部分的に仮想化することができる。例えば、第一の仮想化プロセッサ回路７１１は複数の入力信号を受信するために図３の例３００、図４の例４００、または図５の例５００を含むかまたは使用し、中間の仮想化されたオーディオ情報をレンダリングまたは供給するために第一の仮想化処理を受信した入力信号の少なくとも一部に適用し、そして次に中間の仮想化されたオーディオ情報と入力信号の他の一または二以上とを組み合わせることができる。
ここで代表的かつ非限定的な例として図７および図５を参照すると、マルチチャネル入力信号６０１（図７を参照）はＬ1、Ｒ1、Ｌ2およびＲ2と表される入力信号のペア（図５を参照）を含むことができる。第一の仮想化プロセッサ回路７１１はＬ2およびＲ2と表される入力信号のペアを少なくとも受信することができ、その信号のペアに第一の仮想化処理を実行することができる。一例では、第一の仮想化プロセッサ回路７１１はＬ4,OおよびＲ4,Oと表される部分的に仮想化された出力信号のペアをレンダリングまたは生成するために第一のＨＲＴＦフィルタをＬ2およびＲ2信号のうち一または二以上に適用する。第一の仮想化プロセッサ回路または指定された加算モジュールは部分的に仮想化された出力信号のペアＬ4,OおよびＲ4,Oを受信し、部分的に仮想化された出力信号のペアＬ4,OおよびＲ4,Oと他の入力信号のペアＬ1およびＲ1とを加算することができる。信号の加算に続き、４よりも少ないオーディオ信号チャネルが第一のオーディオ信号処理デバイス７１０により第二のデータバス回路７０２に提供される。したがって、マルチチャネル入力信号６０１が４つのオーディオ信号を含む例では、第二のデータバス回路７０２は部分的に仮想化された情報を第一のオーディオ信号処理デバイス７１０から別のデバイスに情報等を失うことなく伝送するために使用することができる。
図７の例では、第二のデータバス回路７０２は部分的に仮想化された情報を第二のオーディオ信号処理デバイス７２０に供給する。第二のオーディオ信号処理デバイス７２０はさらに第二の仮想化プロセッサ回路７２１を使用して受信した信号を処理し、さらに仮想化された出力信号（例えば、図５の例における出力信号ＬOおよびＲO）を生成することができる。
第二の仮想化プロセッサ回路７２１は第二のデータバス回路７０２からの信号のうち一または二以上を受信するように構成することができる。第二の仮想化プロセッサ回路７２１は仮想化されたオーディオ情報を含むオーディオ出力信号７０３を生成するために例えば一または二以上のＨＲＴＦまたは他のフィルタを使用することにより受信した信号を処理することができる。一例では、オーディオ出力信号７０３はリスニング環境内の一対のスピーカーを使用して、またはヘッドフォンを使用して再生するために構成されたオーディオ信号のステレオ出力のペア（例えば、図５の例からのＬOおよびＲO）を含む。一例では、第一または第二のオーディオ信号処理デバイス７１０または７２０はリスナーの体験またはオーディオ出力信号７０３内の仮想化された構成要素の知覚をさらに強調するために、リスニング環境に関連するアーティファクトに適応するための一または二以上のフィルタまたは関数を適用することができる。
換言すると、図７の例は一または二以上の対応する中間の仮想化された信号を供給するためにマルチチャネル入力信号６０１内の一または二以上のチャネルからの情報を処理または「仮想化（ｖｉｒｔｕａｌｉｚｅ）」するように構成された第一の仮想化プロセッサ回路７１１を含む第一のオーディオ信号処理デバイス７１０を一般に例示する。中間の仮想化された信号は次にマルチチャネル入力信号６０１に含まれるよりも少ないチャネルを含む部分的に仮想化されたオーディオプログラムを提供するためにマルチチャネル入力信号６０１内の他の一または二以上のチャネルと組み合わせることができる。すなわち、第一の仮想化プロセッサ回路７１１は第一の数のチャネルを含むオーディオプログラムを受信することができ、次に他のチャネルにより供給された情報またはフィデリティ等を失うことなく仮想化処理を適用してオーディオプログラムを用いて最初に受信されたよりも少ない数のチャネルをレンダリングする。部分的に仮想化されたオーディオプログラムは情報を失うことなく第二のデータバス回路７０２を使用して伝送することができ、伝送された情報は物理的なスピーカーまたはヘッドフォン等の音響再生システムに出力する前に、別の仮想化プロセッサを使用して（例えば、第二のオーディオ信号処理デバイス７１０および／または第二の仮想化プロセッサ回路７２１を使用して）さらに処理するかまたはさらに仮想化することができる。
一例では、図７のシステムを使用して仮想化されたオーディオ情報を供給するための方法はマルチチャネル入力信号６０１に対応する、少なくともＮ個の個別のオーディオ信号を含むオーディオプログラム情報を受信することを含む。この方法は受信したオーディオプログラム情報の少なくとも一部を使用し、第一の仮想化プロセッサ回路７１１を使用して中間の仮想化されたオーディオ情報を生成することを含むことができる。例えば、中間の仮想化されたオーディオ情報を生成することは、第一の仮想化フィルタ出力を供給するためにＮ個のオーディオ信号のうちＭ個に（例えば、ＨＲＴＦに基づいて）第一の仮想化フィルタを適用することおよび第一の仮想化フィルタ出力を使用して中間の仮想化されたオーディオ情報を供給することを含むことができる。一例では、中間の仮想化されたオーディオ情報はＪ個の個別のオーディオ信号を備え、ＪはＮ未満である。一例では、ＭはＮ以下である。この方法は第二のデータバス回路７０２を使用して中間の仮想化されたオーディオ情報を第二の仮想化プロセッサ回路７２１に伝送することをさらに含むことができ、第二のデータバス回路７０２はＮ個よりも少ないチャネルを有することができる。一例では、第二の仮想化プロセッサ回路７２１は異なる第二の仮想化フィルタをＪ個のオーディオ信号のうち一または二以上に適用することによりさらに仮想化されたオーディオ情報を生成するように構成することができる。例えば、第一の仮想化プロセッサ回路７１１は仮想化された信号Ｌ4,OおよびＲ4,Oをレンダリングまたは供給するために水平面仮想化を少なくともＬ2およびＲ2信号に適用するように構成することができ、これにより他の入力信号Ｌ1およびＲ1と組み合わせ、第二のデータバス回路７０２を使用して伝送することができる。第二の仮想化プロセッサ回路７２１はスピーカーまたはヘッドフォンを介して再生するための仮想化された出力信号を供給するために、第二のデータバス回路７０２から受信した組み合わせられた信号に他の仮想化処理（例えば、垂直面仮想化）を適用するように構成することができる。
図８は様々なオーディオ信号に分散された仮想化処理を実行するように構成された第一のシステムの一例８００を一般に例示する。例８００は第三のデータバス回路８０３を使用して第二のオーディオ処理モジュール８２１と結合する第一のオーディオ処理モジュール８１１を含む。第一のオーディオ処理モジュール８１１は様々なペアの入力信号８０１を受信し、第一の仮想化処理を適用し、第一の仮想化処理に続き一または二以上の信号またはチャネルを組み合わせることによりオーディオ信号またはチャネルの総数を低減するように構成される。第一のオーディオ処理モジュール８１１は第三のデータバス回路８０３を使用して数が低減された信号またはチャネルを第二のオーディオ処理モジュール８２１に供給する。第二のオーディオ処理モジュール８２１は第二の仮想化処理を適用し、図８の例におけるペアの出力信号８０４をレンダリングする。一例では、複数のペアの入力信号８０１は（例えば、正面のステレオペアに対応する）信号チャネルＬ1およびＲ1、（例えば、後方のステレオペアに対応する）Ｌ2およびＲ2、（例えば、高さまたは高い位置のステレオペアに対応する）Ｌ3およびＲ3、中央チャネルＣ、ならびに低周波チャネルＬｆｅを含む、没入型オーディオプログラム情報を受信することのできる様々なチャネルを含む。ペアの出力信号８０４はＬOおよびＲOと表される信号のステレオ出力のペアを含むことができる。他のチャネルタイプまたは指定を同様に使用することができる。
例８００では、第一のオーディオ処理モジュール８１１は、オーディオ信号の高さに対応する入力信号Ｌ3およびＲ3を受信する第一のプロセッサ回路８１２による第一段階の仮想化処理を含む。第一のプロセッサ回路８１２は空間化処理を強調し、処理された信号でのオーディオアーティファクトの発生を低減するために、入力信号Ｌ3およびＲ3のうち少なくとも一つに非相関化処理を適用するように構成されたデコリレータ回路を含む。デコリレータ回路に続き、非相関化された入力信号は例えば２チャネルバーチャライザモジュールを使用することにより処理または仮想化される（例えば、図５の例からの第二の２チャネルバーチャライザモジュール５２０および等式（７）を参照）。第一のプロセッサ回路８１２に続き、第一のプロセッサ回路８１２からの出力信号と入力信号８０１のうち他の一または二以上とを組み合わせることができる。例えば、図８に示されるように、第一のプロセッサ回路８１２からの出力信号は信号Ｌ1,3およびＲ1,3をレンダリングするために、例えば加算回路８１３を使用することにより、Ｌ1およびＲ1信号と組み合わせるかまたは加算することができる。入力信号８０１のうち他の一または二以上は第一のオーディオ処理モジュール８１１を使用して処理することができるが、このような他の処理の議論は本例示を簡潔および簡単にするために省略される。信号Ｌ1,3およびＲ1,3を供給するために入力信号Ｌ1およびＲ1と組み合わせられた部分的に仮想化されたＬ3およびＲ3信号により、第一のオーディオ処理モジュール８１１はしたがって第三のデータバス回路８０３に（例えば、図８の例においてＬ1,3、Ｒ1,3、Ｌ2、Ｒ2、ＣおよびＬｆｅと表される）６個の出力信号を供給することができる。
第三のデータバス回路８０３は６個の信号を第二のオーディオ処理モジュール８２１に伝送することができる。この例では、第二のオーディオ処理モジュール８２１は第二のプロセッサ回路８２２、第三のプロセッサ回路８２３、および第四のプロセッサ回路８２４を含む、複数の第二段階の仮想化処理回路を含む。例示では、第二から第四のプロセッサ回路８２２−８２４は個別のプロセッサとして示されているが、一または二以上の回路のための処理動作は一または二以上の物理的な処理回路を使用して組み合わせるかまたは実行することができる。第二のプロセッサ回路８２２は信号Ｌ1,3、およびＲ1,3を受信するように構成され、第三のプロセッサ回路８２３は信号Ｌ2、およびＲ2を受信するように構成され、第四のプロセッサ回路８２４は信号Ｃ、およびＬｆｅを受信するように構成される。第二から第四のプロセッサ回路８２２−８２４の出力はＬOおよびＲOと表されるペアの出力信号８０４をレンダリングするために、様々なプロセッサ回路からの出力信号を加算するように構成された第二の加算回路８２５に供給される。
図８の例では、第二のプロセッサ回路８２２は第一のプロセッサ回路８１２からの仮想化された高さオーディオ信号と第一のオーディオ処理モジュール８１１により受信されるＬ1およびＲ1信号との組合せに対応する入力信号Ｌ1,3、およびＲ1,3を受信する。第二のプロセッサ回路８２２は空間化処理を強調し、処理された信号でのオーディオアーティファクトの発生を低減するために、入力信号Ｌ1,3およびＲ1,3のうち少なくとも一つに非相関化処理を適用するように構成されたデコリレータ回路を含む。デコリレータ回路に続き、非相関化された信号は例えば２チャネルバーチャライザモジュールを使用することにより処理または仮想化される（例えば、図４の例からの第一の２チャネルバーチャライザモジュール４１０および等式（１および２）を参照）。
第四のプロセッサ回路８２４は空間化処理を強調し、処理された信号でのオーディオアーティファクトの発生を低減するために、入力信号Ｌ2およびＲ2のうち少なくとも一つに非相関化処理を適用するように構成されたデコリレータ回路（図示されていない）を任意選択的に含むことができる。入力信号Ｌ2およびＲ2は例えば２チャネルバーチャライザモジュールを使用することにより処理または仮想化される（例えば、図４の例からの第二の２チャネルバーチャライザモジュール４２０および等式（５および６）を参照）。図８の例では、第三のプロセッサ回路８２３は例えば全域透過フィルタおよび／または非相関化処理任意を選択的に使用することによりＣおよびＬｆｅ信号を受信し、処理するように構成される。
図８の例はしたがって図１および図３−５に例示されるように、例えばペアの仮想化処理を使用する正面のスピーカーのペアを介した（例えば、図２を参照）２チャネル出力のためペアのマルチチャネルバーチャライザを例示する。この例では、高さチャネルのペア（Ｌ3、Ｒ3）はデコリレータを含む第一段階のバーチャライザを使用して処理される。第一のプロセッサ回路８１２により実施される指定された仮想高さフィルタの使用を含むこのバーチャライザトポロジーは、水平面仮想化処理を正面の入力信号のペアと共有することを可能にするため計算上有利である可能性がある。加えて、例示されたトポロジーにより水平面または他の仮想化処理とは無関係に仮想高さ効果の有効性または程度を最適化または調整することができる。
図９は様々なオーディオ信号に分散された仮想化処理を実行するように構成された第二のシステムの一例９００を一般に例示する。例９００は第三のデータバス回路８０３を使用して第四のオーディオ処理モジュール９２１と結合する第三のオーディオ処理モジュール９１１を含む。図９の例は図８の例８００において上記で説明されたのと同じ回路および処理のうちいくつかを含むかまたは使用する。
例えば、第三のオーディオ処理モジュール９１１は様々なペアの入力信号８０１を受信し、仮想化処理を適用し、仮想化処理に続き一または二以上の信号またはチャネルを組み合わせることによりオーディオ信号またはチャネルの総数を低減するように構成される。第三のオーディオ処理モジュール９１１は数が低減された信号またはチャネルを６チャネルの第三のデータバス回路８０３を使用して第四のオーディオ処理モジュール９２１に供給する。第四のオーディオ処理モジュール９２１は他の仮想化処理を適用し、図９の例においてペアの出力信号９０４をレンダリングする。一例では、様々なモジュールおよびプロセッサが異なる順序で、異なるベース信号または信号の組合せで動作するとしても実質的に同じ仮想化処理を提供するように構成される場合、図８および図９の例からのペアの出力信号８０４および９０４は実質的に同じであると言える。
例９００では、第三のオーディオ処理モジュール９１１は第四のプロセッサ回路８２４による第一段階の仮想化処理を含む。すなわち、第四のプロセッサ回路８２４は後方のステレオオーディオ信号に対応する入力信号Ｌ2およびＲ2を受信する。第四のプロセッサ回路８２４に続き、第四のプロセッサ回路８２４からの出力信号は入力信号８０１のうち他の一または二以上と組み合わせることができる。例えば、図９に示されるように、第四のプロセッサ回路８２４からの出力信号は信号Ｌ1,2およびＲ1,2をレンダリングするために例えば第一の加算回路９１３を使用することにより、Ｌ1およびＲ1信号と組み合わせるか、または加算することができる。入力信号８０１のうち他の一または二以上は第三のオーディオ処理モジュール９１１を使用して処理することができるが、このような他の処理の議論は本例示を簡潔および簡単にするために省略される。信号Ｌ1,2およびＲ1,2を供給するために入力信号Ｌ1およびＲ1に組み合わせられた部分的に仮想化されたＬ2およびＲ2信号により、第四のオーディオ処理モジュール９１１はしたがって（例えば、図９の例においてＬ1,2、Ｒ1,2、Ｌ2、Ｒ2、ＣおよびＬｆｅと表される）６個の出力信号を第三のデータバス回路８０３に供給することができる。
第三のデータバス回路８０３は６個の信号を第四のオーディオ処理モジュール９２１に伝送することができる。この例では、第四のオーディオ処理モジュール９２１は第一のプロセッサ回路８１２、第二のプロセッサ回路８２２、および第三のプロセッサ回路８２３を含む、複数の第二段階の仮想化処理回路を含む。例示では、第一、第二、および第三のプロセッサ回路８１２、８２２、および８２３は個別のプロセッサとして示されているが、一または二以上の回路のための処理動作は第四のオーディオ処理モジュール９２１内の一または二以上の物理的な処理回路を使用して組み合わせるかまたは実行することができる。第二のプロセッサ回路８２２は信号Ｌ1,2、およびＲ1,2を受信するように構成され、第一のプロセッサ回路８２３は信号Ｌ3、およびＲ3を受信するように構成され、第三のプロセッサ回路８２４は信号Ｃ、およびＬｆｅを受信するように構成される。第一のプロセッサ回路８１２からの仮想化された出力は第二の加算回路９２４に供給され、この出力は第三のデータバス回路８０３から受信した信号Ｌ1,2、およびＲ1,2に加算され、次に第二のプロセッサ回路８２２に供給される。この例では、第二のプロセッサ回路８２２はＬ2、Ｒ2、ならびにＬ3およびＲ3の組合せに仮想化処理を適用し、このような信号の後の信号は第一および第四のプロセッサ回路８１２および８２４により他の仮想化処理を受信している。第四のオーディオ処理モジュール９２１での処理に続き、第一、第二、および第三のプロセッサ回路８１２、８２２、および８２３の出力はＬOおよびＲOと表されるペアの出力信号９０４をレンダリングするために様々なプロセッサ回路からの出力信号を加算するように構成された第三の加算回路９２５に供給される。
図８および図９はしたがって、正面のスピーカーのペア等を介した（例えば、図２を参照）ペアの２チャネル出力用のマルチチャネル仮想化処理システムの例を例示する。この例は図１および図３−５に例示されるようなペアの仮想化処理を含む。図８の例では、高さチャネルのペア（Ｌ3、Ｒ3）はデコリレータを含む第一段階のバーチャライザを使用して処理される。第一のプロセッサ回路８１２により実施される指定された仮想高さフィルタの使用を含むこのバーチャライザトポロジーは、水平面仮想化処理を正面の入力信号のペアと共有することを可能にするため計算上有利である可能性がある。例示されたトポロジーにより、水平面または他の仮想化処理とは無関係に有効な仮想高さ効果およびその程度を最適化または調整することが可能になる。図９の例では、後方のステレオチャネルのペア（Ｌ2、Ｒ2）が第一段階のバーチャライザを使用して処理される。第四のプロセッサ回路８２４により実施される指定された仮想水平面フィルタの使用を含むこのバーチャライザトポロジーは、高さまたは他の仮想化処理を正面の入力信号のペアと共有することを可能にするため、計算上有利である可能性がある。図８の例と同様に、例示された図９のトポロジーにより複数の異なる平面での仮想化処理の調整の柔軟性が最適化される。例えば、ヘッドフォンオーディオのための２チャネル出力をレンダリングするために図９の例が適用される場合、このバーチャライザトポロジーにより個々のリスナーのためのヘッドフォンを介して仮想正面または仮想後方効果の独立した調整が提供され、これらは前後の混同の発生、偽のエレベーション誤差を最小化するため、および知覚された外面化を最大化するために有用である可能性がある。
本明細書で論じられるいくつかのモジュールまたはプロセッサは仮想化処理の前に、信号非相関化処理を適用または使用するように構成される。非相関化は二以上のオーディオ信号またはチャネル間の相関を低減するオーディオ処理技術である。いくつかの例では、非相関化はリスナーが知覚するオーディオ信号の空間的なイメージを修正するために使用することができる。空間的なイメージまたは知覚を調整または修正するために非相関化処理を使用する他の例には、一対のオーディオチャネル間の知覚される「見かけ上の（ｐｈａｎｔｏｍ）」音源効果を減少させること、一対のオーディオチャネル間の知覚される距離を広くすること、ヘッドフォンを介して再生する場合にオーディオ信号の知覚される外面化を向上させること、および／または再生される音場内の知覚される散漫性を増加させることを含むことができる。
例えば、仮想化の前に非相関化処理を左／右信号のペアに適用することにより、左右の入力チャネル間でパンされる音源信号はリスナー位置を中心とした最短の円弧に実質的に設置され、仮想スピーカーの相応の位置に加わる仮想位置でリスナーに聴かれるであろう。本発明者らはこのような非相関化処理が頭部内での局在化、前後の混同、およびエレベーション誤差等の、様々な仮想局在化アーティファクトを回避することに効果的である可能性があることを理解している。
一例では、非相関化処理は他のものとの間で全域透過フィルタを使用して実行することができる。このフィルタは入力信号のうち少なくとも一つに適用することができ、一例では、入れ子になった全域透過フィルタにより実現することができる。チャネル間の非相関化はフィルタの異なる構成要素の異なる設定または値を選択することにより提供することができる。非相関化フィルタのための様々な他の設計を同様に使用することができる。
一例では、二（またはそれよりも多くの）オーディオ信号間の相関を低減するための方法は各オーディオ信号の位相を無作為化することを含む。例えば、各々が周波数領域において異なる無作為の位相計算に基づいて、各オーディオ信号をフィルタリングするために各全域透過フィルタを使用することができる。いくつかの例では、非相関化によりオーディオ信号に音色の変更または他の意図しないアーティファクトを導入することができ、これらは別々に扱うことができる。
様々なシステムおよびマシンを、本明細書に記載の信号処理タスクのうち一または二以上を実行または実施するように構成することができる。例えば、仮想化処理モジュールもしくは仮想化プロセッサ回路、非相関化回路、仮想化または空間化フィルタ、または他のモジュールもしくはプロセスのうち任意の一または二以上は、有形で非一過性のプロセッサ読み取り可能な媒体から取得した命令を使用し、汎用マシンを使用して、または様々な処理タスクを実行する特殊目的のマシンを使用して、実施することができる。
図１０はマシン読取り可能な媒体（例えば、マシン読取り可能なストレージ媒体）からの命令１０１６を読取り、本明細書に記載の方法論のうち一または二以上を実行することのできるいくつかの例示の実施形態によるマシン１０００の構成要素を例示するブロックダイアグラムである。具体的には、図１０は本明細書に記載の方法論のうち任意の一または二以上をマシン１０００に実行させるための命令１０１６（例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、または他の実行可能なコード）が実行され得るコンピュータシステムの例示の形態におけるマシン１０００のダイアグラムによる表現を示す。例えば、命令１０１６は図５−７等のモジュールまたは回路または構成要素を実施することができる。命令１０１６は一般的な、プログラムされていないマシン１０００を、（例えば、オーディオプロセッサ回路として）説明された方法で説明され例示された機能を実行するようにプログラムされた特定のマシンに変えることができる。別の実施形態では、マシン１０００はスタンドアロンデバイスとして動作するか、または他のマシンと結合（例えば、ネットワーク接続）することができる。ネットワーク接続された配置では、マシン１０００はサーバ−クライアントネットワーク環境においてサーバマシンまたはクライアントマシンの容量で、またはピアツーピア（または分散された）ネットワーク環境においてピアマシンとして動作することができる。
マシン１０００は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、エンターテイメントメディアシステムまたはシステム構成要素、携帯電話、スマートフォン、モバイルデバイス、ウェアラブルデバイス（例えば、スマートウォッチ）、スマートホームデバイス（例えば、スマート家電）、他のスマートデバイス、ウェブ家電、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、ヘッドフォンドライバ、またはマシン１０００がとるアクションを順次、または他の方法で明示する、命令１０１６を実行することのできる任意のマシンを備えることができるが、これらに限定されない。さらに、単一のマシン１０００のみが示されているが、「マシン（ｍａｃｈｉｎｅ）」という用語は、本明細書に記載の方法論のうち任意の一または二以上を実行するために命令１０１６を個々に、または共同で実行するマシン１０００の集合も含むものとする。
マシン１０００はオーディオプロセッサ回路、非一過性のメモリ／ストレージ１０３０、およびＩ／Ｏ構成要素１０５０等を含むプロセッサ１０１０を含むかまたは使用することができ、これらはバス１００２を介して互いに通信するように構成することができる。一つの例示の実施形態では、プロセッサ１０１０（例えば、セントラルプロセッシングユニット（ＣＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、低周波集積回路（ＲＦＩＣ）、別のプロセッサ、またはそれらの任意の好適な組合せ）は、例えば、命令１０１６を実行し得るプロセッサ１０１２およびプロセッサ１０１４等の回路を含むことができる。「プロセッサ（ｐｒｏｃｅｓｓｏｒ）」という用語は、命令１０１６を同時に実行し得る（「コア（ｃｏｒｅｓ）」と呼ばれることもある）二以上の独立したプロセッサ１０１２、１０１４を備えることのできるマルチコアプロセッサ１０１２、１０１４を含むことが意図されている。図１０は複数のプロセッサ１０１０を示しているが、マシン１０００はシングルコアの単一のプロセッサ１０１２、１０１４、マルチコアの単一のプロセッサ１０１２、１０１４（例えば、マルチコアプロセッサ１０１２、１０１４）、シングルコアの複数のプロセッサ１０１２、１０１４、マルチコアの複数のプロセッサ１０１２、１０１４、またはそれらの任意の組合せを含んでもよく、プロセッサのうち任意の一または二以上は処理または仮想化されるオーディオ信号をレンダリングするために高さフィルタをオーディオ信号に適用するように構成された回路を含むことができる。
メモリ／ストレージ１０３０は、いずれもバス１００２を介してプロセッサ１０１０にアクセス可能である、メインメモリ回路または他のメモリストレージ回路等のメモリ１０３２、およびストレージユニット１０３６を含むことができる。ストレージユニット１０３６およびメモリ１０３２は本明細書に記載の方法論または機能のうち任意の一または二以上を実施する命令１０１６を格納する。命令１０１６は、マシン１０００によりそれらが実行される間、メモリ１０３２内部、ストレージユニット１０３６内部、プロセッサ１０１０のうちの少なくとも一つの内部（例えば、プロセッサ１０１２、１０１４のキャッシュメモリ内部）、またはそれらの任意の好適な組合せに完全に、または部分的に常駐し得る。したがって、メモリ１０３２、ストレージユニット１０３６、およびプロセッサ１０１０のメモリはマシン読取り可能な媒体の一例である。
本明細書で使用されるように、「マシン読取り可能な媒体（ｍａｃｈｉｎｅ−ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）」は命令１０１６およびデータを一時的に、または永久に格納することのできるデバイスを意味し、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、バッファメモリ、フラッシュメモリ、光学媒体、磁気媒体キャッシュメモリ、他のタイプのストレージ（例えば、消去可能なプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ））、および／またはそれらの任意の好適な組合せを含み得るが、これらに限定されない。「マシン読取り可能な媒体（ｍａｃｈｉｎｅ−ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）」という用語は、命令１０１６を格納することのできる単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、または関連するキャッシュおよびサーバ）を含むものとされるべきである。「マシン読取り可能な媒体（ｍａｃｈｉｎｅ−ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）」という用語は、マシン１０００の一または二以上のプロセッサ（例えば、プロセッサ１０１０）により実行される場合に命令１０１６が本明細書に記載の方法論のうち任意の一または二以上をマシン１０００に実行させるように、マシン（例えば、マシン１０００）による実行のための命令（例えば、命令１０１６）を格納することのできる任意の媒体、または複数の媒体の組合せも含むものとされるべきである。したがって、「マシン読取り可能な媒体（ｍａｃｈｉｎｅ−ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）」は、単一のストレージ装置またはデバイスだけでなく複数のストレージ装置またはデバイスを含む「クラウドベースの（ｃｌｏｕｄ−ｂａｓｅｄ）」ストレージシステムまたはストレージネットワークを指す。「マシン読取り可能な媒体（ｍａｃｈｉｎｅ−ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）」という用語は、信号そのものを除外する。
Ｉ／Ｏ構成要素１０５０は入力の受信、出力の供給、出力の生成、情報の伝送、情報の交換、測定値のキャプチャ等をするための様々な構成要素を含み得る。特定のマシン１０００に含まれる固有のＩ／Ｏ構成要素１０５０はマシン１０００のタイプ次第である。例えば、携帯電話等のポータブルマシンはタッチ入力デバイスまたは他のこのような入力メカニズムを含むものが多く、一方ヘッドレスサーバマシンはこのようなタッチ入力デバイスを含まないものが多い。Ｉ／Ｏ構成要素１０５０は図１０には示されていない多くの他の構成要素を含み得ることを理解されたい。Ｉ／Ｏ構成要素１０５０は議論に従い単に簡単にするために機能性によりグループ分けされるが、このグループ分けは決して制限するものではない。様々な例示の実施形態では、Ｉ／Ｏ構成要素１０５０は出力構成要素１０５２および入力構成要素１０５４を含み得る。出力構成要素１０５２は視覚構成要素（例えば、プラズマディスプレイパネル（ＰＤＰ）、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プロジェクタ、またはカソードレイチューブ（ＣＲＴ）等のディスプレイ）、音響構成要素（例えば、スピーカー）、触覚構成要素（例えば、振動モータ、抵抗メカニズム）、他の信号発生器等を含むことができる。入力構成要素１０５４は英数字入力構成要素（例えば、キーボード、英数字入力を受信するように構成されたタッチスクリーン、光学キーボード、または他の英数字入力構成要素）、ポイントベースの入力構成要素（例えば、マウス、タッチパッド、トラックボール、ジョイスティック、動作センサ、または他のポインティング装置）、触覚入力構成要素（例えば、物理的なボタン、タッチまたはタッチジェスチャの場所および／または力を提供するタッチスクリーン、または他の触覚入力構成要素）、オーディオ入力構成要素（例えば、マイクロフォン）等を含むことができる。
さらなる例示の実施形態では、Ｉ／Ｏ構成要素１０５０は他の幅広い構成要素の中で、生体認証構成要素１０５６、動作構成要素１０５８、環境構成要素１０６０、または位置構成要素１０６２を含むことができる。例えば、生体認証構成要素１０５６は、表情（例えば、手の表情、顔の表情、声の表情、体のジェスチャ、または視線追跡）の検出、生体信号（例えば、血圧、心拍数、体温、発汗、または脳波）の測定、人物の識別（例えば、音声識別、網膜識別、顔識別、指紋識別、または脳波に基づく識別）等のための構成要素を含むことができ、これらは例えば、リスナーに固有の、または環境に固有のインパルス応答またはＨＲＴＦの包含、使用、または選択に影響を及ぼす可能性がある。一例では、生体認証構成要素１０５６は環境内のリスナー１１０の検出された場所に関する情報を検知または供給するように構成された一または二以上のセンサを含むことができる。動作構成要素１０５８は加速センサ構成要素（例えば、加速度計）、重力センサ構成要素、回転センサ構成要素（例えば、ジャイロスコープ）、等を含むことができ、これらはリスナー１１０の場所の変化を追跡するために使用することができる。環境構成要素１０６０は、例えば、照度センサ構成要素（例えば、フォトメータ）、温度センサ構成要素（例えば、周囲温度を検出する一または二以上のサーモメータ）、湿度センサ構成要素、圧力センサ構成要素（例えば、バロメータ）、音響センサ構成要素（例えば、一または二以上の周波数または周波数帯の残響減衰時間を検出する一または二以上のマイクロフォン）、近接センサまたは室内容積センシング構成要素（例えば、付近のオブジェクトを検出する赤外線センサ）、ガスセンサ（例えば、安全のためまたは大気中の汚染物質を測定するための危険なガスの濃度を検出するためのガス検出センサ）、または周辺の物理的な環境に対応する表示、測定値、または信号を供給し得る他の構成要素を含むことができる。位置構成要素１０６２は、場所センサ構成要素（例えば、全地球測位システム（ＧＰＳ）受信機構成要素）、高度センサ構成要素（例えば、高度が生じ得る気圧を検出する高度計またはバロメータ）、方位センサ構成要素（例えば、磁力計）等を含むことができる。
通信は幅広い様々な技術を使用して実施することができる。Ｉ／Ｏ構成要素１０５０は合１０８２または結合１０７２をそれぞれ介してネットワーク１０８０またはデバイス１０７０にマシン１０００を動作可能に結合する通信構成要素１０６４を含むことができる。例えば、通信構成要素１０６４はネットワーク１０８０とインタフェースをとるためのネットワークインタフェース構成要素または他の好適なデバイスを含むことができる。さらなる例では、通信構成要素１０６４は有線通信構成要素、無線通信構成要素、セルラー通信構成要素、近距離無線通信（ＮＦＣ）構成要素、ブルートゥース（登録商標）構成要素（例えば、ブルートゥース（登録商標）ローエナジー）、Ｗｉ−Ｆｉ（登録商標）構成要素、および他のモダリティを介して通信を提供するための他の通信構成要素を含むことができる。デバイス１０７０は別のマシンまたは幅広い様々な周辺デバイス（例えば、ＵＳＢを介して結合された周辺デバイス）のいずれかとすることができる。
その上、通信構成要素１０６４は識別子を検出するかまたは識別子を検出するために動作可能な構成要素を含むことができる。例えば、通信構成要素１０６４は無線周波数識別（ＲＦＩＤ）タグ読取り構成要素、ＮＦＣスマートタグ検出構成要素、光学読取り構成要素（例えば、ユニバーサル製品コード（ＵＰＣ）バーコード等の一次元バーコード、クイックレスポンス（ＱＲ）コード（登録商標）等の多次元バーコード、アステカコード、データマトリクス、データグリフ、マキシコード、ＰＤＦ４９、ウルトラコード、ＵＣＣ ＲＳＳ−２Ｄバーコード、および他の光学コードを検出するための光学センサ）、または音響検出構成要素（例えば、タグ付けされたオーディオ信号を識別するためのマイクロフォン）を含むことができる。加えて、様々な情報、例えばインターネットプロトコル（ＩＰ）ジオロケーションによる場所、Ｗｉ−Ｆｉ（登録商標）信号三角測量による場所、特定の場所を表示し得るＮＦＣビーコン信号の検出による場所等を通信構成要素１０６４を介して取得することができる。このような識別子は基準または局所的なインパルス応答、基準または局所的な環境の特徴、またはリスナー固有の特徴のうち一または二以上に関する情報を検出するために使用することができる。
様々な例示の実施形態において、ネットワーク１０８０のうち一または二以上の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネット、インターネットの一部、公衆交換電話網（ＰＳＴＮ）の一部、基本電話サービス（ＰＯＴＳ）ネットワーク、携帯電話ネットワーク、無線ネットワーク、Ｗｉ−Ｆｉ（登録商標）ネットワーク、別のタイプのネットワーク、または二以上のこのようなネットワークの組合せとすることができる。例えば、ネットワーク１０８０またはネットワーク１０８０の一部は無線またはセルラーネットワークを含むことができ、結合１０８２は符号分割多元接続（ＣＤＭＡ）接続、移動体通信用グローバルシステム（ＧＳＭ(登録商標)）接続、または他のタイプのセルラーまたは無線結合であり得る。この例では、結合１０８２はシングルキャリア無線伝送技術（１ｘＲＴＴ）、エボリューションデータオプティマイズ（ＥＶＤＯ）技術、一般パケット無線サービス（ＧＰＲＳ）技術、ＧＳＭ(登録商標)エボリューション用エンハンスデータレート（ＥＤＧＥ）技術、３Ｇを含む第三世代パートナーシッププロジェクト（３ＧＰＰ）、第四世代無線（４Ｇ）ネットワーク、ユニバーサルモバイルテレコミュニケーションシステム（ＵＭＴＳ）、高速パケットアクセス（ＨＳＰＡ）、マイクロ波アクセスの世界的相互運用（ＷｉＭＡＸ）、ロングタームエボリューション（ＬＴＥ）標準、様々な標準設定機関により定義される他のもの、他のロングレンジプロトコル、または他のデータ伝送技術等の、様々なタイプのデータ伝送技術のいずれかを実施することができる。一例では、このような無線通信プロトコルまたはネットワークはリスナーの使用中に中央に位置するプロセッサまたはマシンからヘッドフォンデバイスにヘッドフォンオーディオ信号を伝送するように構成することができる。
命令１０１６はネットワークインタフェースデバイス（例えば、通信構成要素１０６４に含まれるネットワークインタフェース構成要素）を介した伝送媒体を使用して、またいくつかの周知の伝送プロトコル（例えば、ハイパーテキストトランスファープロトコル（ＨＴＴＰ））のいずれか一つを使用して、ネットワーク１０８０を介して伝送または受信することができる。同様に、命令１０１６は結合１０７２（例えば、ピアツーピア結合）を介した伝送媒体を使用して、デバイス１０７０に伝送するかまたは受信することができる。「伝送媒体（ｔｒａｎｓｍｉｓｓｉｏｎ ｍｅｄｉｕｍ）」という用語は、マシン１０００による実行のために命令１０１６を格納、エンコード、または搬送することのできる任意の無形の媒体を含み、またデジタルもしくはアナログ通信信号またはこのようなソフトウェアの通信を容易にするための他の無形の媒体を含むものとされなければならない。
本明細書で論じられる概念および例の多くのバリエーションが関連技術における当業者には明らかになるであろう。例えば、本明細書に記載の方法、プロセス、またはアルゴリズムのいずれかの所定の行為、事象、または機能は、（全ての説明された行為または事象が様々な方法、プロセス、またはアルゴリズムを実行するために必要というわけではないため）実施形態に応じて異なる順序で実行することができ、加え、併合し、または省略することができる。その上、いくつかの実施形態では、行為または事象は、順次というよりはむしろ、例えばマルチスレッド処理、インタラプト処理、または複数のプロセッサまたはプロセッサコアを通して、または他の並列アーキテクチャで、同時に実行することができる。加えて、異なるタスクまたはプロセスは同時に機能することのできる異なるマシンおよびコンピューティングシステムにより実行することができる。
本明細書で開示される実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、方法、およびアルゴリズムプロセスおよび順序は電気的なハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実施することができる。ハードウェアとソフトウェアとのこの互換性を例示するために、いくつかの例において、様々な構成要素、ブロック、モジュール、およびプロセスアクションは一般にそれらの機能性の観点から説明される。このような機能性がハードウェアまたはソフトウェアのどちらとして実装されるかはシステム全体に課される特定の用途または設計上の制約次第である。説明される機能性はしたがって特定の用途のために様々な方法で実装することができるが、このような実装の決定は本書面の範囲からの逸脱を生じさせるものとして解釈されるべきではない。本明細書に記載の没入型空間オーディオ処理および再生システムおよび方法および技術は図１０の議論において上記で説明されたような、様々なタイプの汎用または特殊目的のコンピューティングシステム環境または構成の内部において操作可能である。
本発明の様々な態様は独立に、または同時に使用することができる。例えば、態様１は（行為を実行するための装置、システム、デバイス、方法、手段、またはデバイスにより実行される場合にデバイスに行為を実行させることのできる命令を含むデバイス読取り可能な媒体等の）主題を含むかまたは使用することができ、これは仮想化されたオーディオ情報を供給するための方法を含むかまたは使用することができ、この方法は少なくともＮ個の個別のオーディオ信号を備えるオーディオプログラム情報を受信することおよび第一の仮想化プロセッサ回路を使用して受信したオーディオプログラム情報の少なくとも一部を使用した中間の仮想化されたオーディオ情報を生成することを含む。態様１では、生成することには第一の仮想化フィルタ出力を供給するために第一の仮想化フィルタを他のものとの間でＮ個のオーディオ信号のうちＭ個に適用すること、および第一の仮想化フィルタ出力を使用して中間の仮想化されたオーディオ情報を供給することを含むことができ、中間の仮想化されたオーディオ情報はＪ個の個別のオーディオ信号を備える。態様１は中間の仮想化されたオーディオ情報を第二の仮想化プロセッサ回路に伝送することをさらに含むことができ、第二の仮想化プロセッサ回路は異なる第二の仮想化フィルタをＪ個のオーディオ信号のうち一または二以上に適用することによりさらに仮想化されたオーディオ情報を生成するように構成される。一例では、Ｎ、Ｍ、およびＪは整数である。
態様２はさらに仮想化されたオーディオ情報に基づいてＫ個の出力信号をレンダリングすることを任意選択的に含むために態様１の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、Ｋ個の出力信号はヘッドフォンを使用した再生のために構成される。
態様３はさらに仮想化されたオーディオ情報に基づいてＫ個の出力信号をレンダリングすることを任意選択的に含むために態様１の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、Ｋ個の出力信号は一対のスピーカーを使用した再生のために構成される。
態様４は少なくとも一つの高い位置のスピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも一つの高さオーディオ信号を備えるオーディオプログラム情報を任意選択的に含むために態様１から３の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第一の仮想化フィルタを適用することは高さ仮想化フィルタを少なくとも一つの高さオーディオ信号に適用することを含む。
態様５は高さ仮想化フィルタ以外の仮想化フィルタをＪ個のオーディオ信号のうち一または二以上に適用することを含む、第二の仮想化プロセッサ回路を使用してさらに仮想化されたオーディオ情報を生成することを任意選択的に含むために態様４の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様６は複数の各スピーカーを使用した再生のためのオーディオ情報を含むサラウンド音響オーディオ信号を備えるオーディオプログラム情報を任意選択的に含むために態様１から５の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第一の仮想化フィルタを適用することは水平面仮想化フィルタをサラウンド音響信号のうち一または二以上に適用することを含み、異なる第二の仮想化フィルタをＪ個のオーディオ信号のうち一または二以上に適用することは水平面仮想化フィルタ以外を適用することを含む。
態様７は正面左および正面右の各スピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも左および右正面のオーディオ信号を備えるオーディオプログラム情報を任意選択的に含むために態様１から５の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第一の仮想化フィルタを適用することは水平面仮想化フィルタを少なくとも左および右正面のオーディオ信号に適用することを含む。
態様８はＮよりも少ないＭを任意選択的に含むために態様１から７の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様９は第一の仮想化フィルタ出力とＭ個のオーディオ信号以外のＮ個のオーディオ信号のうち一または二以上とを組合せることを含む、第一の仮想化フィルタ出力を使用した中間の仮想化されたオーディオ情報を供給することを任意選択的に含むために態様８の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様１０はＮに等しいＭを任意選択的に含むために態様１から９の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様１１はＮ未満のＪを任意選択的に含むために態様１から１０の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様１２は第二の仮想化されたプロセッサ回路において中間の仮想化されたオーディオ情報を受信すること、および第二の仮想化プロセッサ回路を使用して異なる第二の仮想化フィルタをＪ個のオーディオ信号のうち一または二以上に適用することによりさらに仮想化されたオーディオ情報を生成することを任意選択的に含むために態様１から１１の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様１３は少なくともＫ個のスピーカーを使用した再生のためにＫ個の出力信号をレンダリングすることを含むさらに仮想化されたオーディオ情報を生成することを任意選択的に含むために態様１２の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、ＫはＪ未満の整数である。
態様１４はヘッドフォンまたはスピーカーを使用した再生のために構成された一対の出力信号をレンダリングすることを含むＫ個の出力信号をレンダリングすることを任意選択的に含むために態様１３の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様１５は第一の空間平面に配置された少なくともＫ個のスピーカーを任意選択的に含むために態様１３の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、さらに仮想化されたオーディオ情報を生成することはＫ個のスピーカーを使用して再生される場合に第一の空間平面以外にオーディブル情報を含むと
リスナーが知覚するように構成された出力信号をレンダリングすることを含む。
態様１６はさらに仮想化されたオーディオ情報を生成することが、少なくともＫ個のスピーカーを使用してさらに仮想化されたオーディオ情報が再生される場合にはさらに仮想化されたオーディオ情報がスピーカーの平面に対して高いかまたは低い位置の音源から生じるとリスナーが知覚するように情報を生成することを任意選択的に含むために態様１３の主題を含むかもしくは使用することができ、またはそれを任意選択的に組合わせることができる。
態様１７はＮ個よりも少ないチャネルを備えるデータバスを使用することを含む中間の仮想化されたオーディオ情報を伝送することを任意選択的に含むために態様１から１６の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様１８は第一の仮想化フィルタを適用する前にＭ個のオーディオ信号のうち少なくとも二つを非相関化することを含む中間の仮想化されたオーディオ情報を生成することを任意選択的に含むために態様１から１７の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様１９は（行為を実行するための装置、方法、手段、またはマシンにより実行される場合にマシンに行為を実行させる命令を含むマシン読取り可能な媒体等の）主題を含むかまたは使用するために態様１から１８の一つまたは任意の組合せの主題を含むことができ、またはそれと任意選択的に組み合わせることができ、これらは複数のオーディオ入力信号を受信するための手段、中間の仮想化された信号を生成するために第一の仮想化処理を複数のオーディオ入力信号のうち一または二以上に適用するための手段、部分的に仮想化された信号を供給するために中間の仮想化された信号と複数のオーディオ入力信号のうち他の少なくとも一つとを組み合わせるための手段、および仮想化されたオーディオ出力信号を生成するために第二の仮想化処理を部分的に仮想化されたオーディオ信号に適用するための手段を備えるシステムを含むかまたは使用することができる。
態様２０は部分的に仮想化された信号を第一のデバイスから第二の仮想化処理を適用するための手段を備えるリモートの第二のデバイスに伝送するための手段を任意選択的に含むために態様１９の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、複数のオーディオ入力信号は少なくともＮ個の個別の信号を備え、部分的に仮想化された信号を伝送するための手段はＮ個よりも少ない信号を伝送するための手段を備える。
態様２１は水平面仮想化および垂直面仮想化のうち一つを適用するための手段を備える第一の仮想化処理を適用するための手段を任意選択的に含むために態様１９または２０の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第二の仮想化処理を適用するための手段は水平面仮想化および垂直面仮想化のうち他の一つを適用するための手段を備える。
態様２２は第一の頭部伝達関数を複数のオーディオ入力信号のうち少なくとも一つに適用するための手段を備える第一の仮想化処理を適用するための手段を任意選択的に含むために態様１９から２１の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様２３は複数の非相関化された信号を供給するために複数のオーディオ入力信号のうち少なくとも二つを非相関化するための手段を任意選択的に含むために態様１９から２２の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第一の仮想化処理を適用するための手段は第一の仮想化処理を非相関化された信号のうち最初の一つに適用するための手段を含む。
態様２４は複数のオーディオ入力信号を表す仮想化されたオーディオ出力信号のステレオペアを生成するための手段をさらに含む第二の仮想化処理を適用するための手段を任意選択的に含むために態様１９から２３の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様２５はＮ個の個別のオーディオ入力信号を受信するための手段を含む複数のオーディオ入力信号を受信するための手段を任意選択的に含むために態様１９から２４の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、中間の仮想化された信号と複数のオーディオ入力信号のうち他の少なくとも一つとを組み合わせるための手段は複数の部分的に仮想化された信号を供給するための手段を含み、部分的に仮想化された信号の数はＮ個よりも少ない。
態様２６は（行為を実行するための装置、方法、手段、またはマシンにより実行される場合にマシンに行為を実行させることのできる命令を含むマシン読取り可能な媒体等の）主題を含むかまたは使用するために態様１から２５の一つまたは任意の組合せの主題を含むことができ、またはそれと任意選択的に組み合わせることができ、これらは少なくとも一対のスピーカーまたはヘッドフォンを使用して３次元音場で仮想化されたオーディオ情報を供給するように構成されたオーディオ信号処理システムを含むかまたは使用することができ、ここでリスナーはリスナーの第一の解剖学的平面以外で仮想化されたオーディオ情報がオーディブル情報を含むと知覚し、このシステムは少なくともＮ個の個別のオーディオ信号を含むオーディオプログラム情報を受信するように構成されたオーディオ入力部、第一の仮想化フィルタをＮ個のオーディオ信号のうちＭ個に適用することにより中間の仮想化されたオーディオ情報を生成するように構成された第一の仮想化プロセッサ回路、および異なる第二の仮想化フィルタをＮ個のオーディオ信号のうちＫ個に適用することによりさらに仮想化されたオーディオ情報を生成するように構成された第二の仮想化プロセッサ回路を備え、Ｋ、Ｍ、およびＮは整数である。
態様２７はＮ個よりも少ないオーディオ信号を含む部分的に仮想化されたオーディオプログラム情報を供給するために中間の仮想化されたオーディオ情報とＭ個のオーディオ信号以外のＮ個のオーディオ信号のうち少なくとも一つとを組み合わせるように構成されたオーディオ信号組合せ回路を任意選択的に含むために態様２６の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第二の仮想化プロセッサ回路は部分的に仮想化されたオーディオプログラム情報を使用してさらに仮想化されたオーディオ情報を生成するように構成される。
態様２８はＮ個よりも少ないチャネルを備えるデータバス回路を任意選択的に含むために態様２６または２７の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、データバス回路は第一および第二の仮想化プロセッサ回路と結合し、データバス回路は部分的に仮想化されたオーディオプログラム情報を第一の仮想化プロセッサ回路から第二の仮想化プロセッサ回路に伝送するように構成される。
態様２９はサラウンド音響源信号を受信し、受信したサラウンド音響源信号に基づいてオーディオプログラム情報をオーディオ入力部に供給するように構成されたオーディオデコーダ回路を任意選択的に含むために態様２６から２８の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様３０は少なくとも一つの高い位置のスピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも一つの高さオーディオ信号を備える受信したオーディオプログラム情報を任意選択的に含むために態様２６から２９の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第一の仮想化プロセッサ回路は高さ仮想化フィルタとして第一の仮想化フィルタを少なくとも一つの高さオーディオ信号に適用するように構成される。
態様３１は高さ仮想化フィルタ以外の第二の仮想化フィルタを任意選択的に含むために態様３０の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様３２は対応する一または二以上の非相関化された信号を第一および／または第二の仮想化プロセッサ回路に供給するために非相関化フィルタをＮ個の個別のオーディオ信号のうち一または二以上に適用するように構成された非相関化回路を任意選択的に含むために態様２６から３０の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様３３はリスナーに対応する同側および対側の頭部伝達関数情報に基づいて第一の仮想化フィルタを発生させるように構成された頭部伝達関数発生回路を含む第一および／または第二の仮想化プロセッサ回路を任意選択的に含むために態様２６から３２の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様３４はヘッドフォンまたはスピーカーを使用した再生のために構成された信号のステレオペアとしてさらに仮想化されたオーディオ情報を生成するように構成された第二の仮想化プロセッサ回路を任意選択的に含むために態様２６から３３の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
これらの非限定的な態様の各々は独立して用いることができ、または様々な置換えで組み合わせるかもしくは本明細書で提供される他の態様もしくは例のうち一または二以上との組合せとすることができる。
本書面において、「ａ」または「ａｎ」という用語は「少なくとも一つ（ａｔ ｌｅａｓｔ ｏｎｅ）」または「一または二以上（ｏｎｅ ｏｒ ｍｏｒｅ）」の任意の他の例または使用とは無関係に、一または一よりも多くを含むために、特許書面に共通に使用される。本書面において、特に断りのない限り、「または（ｏｒ）」という用語は非排他的であることを指すため、または「ＡまたはＢ（Ａ ｏｒ Ｂ）」が「ＡであるがＢではない（Ａ ｂｕｔ ｎｏｔ Ｂ）」、「ＢであるがＡではない（Ｂ ｂｕｔ ｎｏｔ Ａ）」、ならびに「ＡおよびＢ（Ａ ａｎｄ Ｂ）」を含むように使用される。本書面において、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」および「そこに（ｉｎ ｗｈｉｃｈ）」という用語は各用語「備えている（ｃｏｍｐｒｉｓｉｎｇ）」および「ここで（ｗｈｅｒｅｉｎ）」の平易な英語への言い換え（ｅｑｕｉｖａｌｅｎｔｓ）として使用される。
本明細書で使用される条件付き言語、中でも「できる（ｃａｎ）」、「してもよい（ｍｉｇｈｔ）」、「し得る（ｍａｙ）」、「例えば、（ｅ．ｇ．，）」等は、特に明記しない限り、または使用される文脈において他に理解されない限り、一般に所定の実施形態には所定の特徴、要素および／または状態を含まれる一方で他の実施形態には含まれないことを伝えることを意図している。したがって、このような条件付き言語は一般に、特徴、要素および／または状態が一または二以上の実施形態に何らかの形で必要であること、または、一または二以上の実施形態が著者の入力またはプロンプトの有無によらずこれらの特徴、要素および／または状態が任意の特定の実施形態で含まれるかまたは実行されるかを決定するための論理を必ず含むことを意味することを意図していない。
上記の詳細な説明で様々な実施形態に適用される新規の特徴を示し、説明し、指摘したが、例示されたデバイスまたはアルゴリズムの形態および詳細における様々な省略、代替、および変更が本開示から逸脱することなくなされ得ることを理解されるであろう。認識されるように、本明細書に記載の本発明の所定の実施形態は、いくつかの特徴を他の特徴とは別に使用または実行することができるため、本明細書に挙げられる特徴および利点の全てを提供しない形態で実施することができる。
その上、主題は構造上の特徴または方法または行為に固有の言語で説明されているが、添付の特許請求の範囲で定義される主題は必ずしも上記の固有の特徴または行為に限定されないことを理解されたい。むしろ、上記の固有の特徴および行為は特許請求の範囲を実施する例示の形態として開示されている。

Claims (34)

  1. 仮想化されたオーディオ情報を供給するための方法であって、
    少なくともＮ個の個別のオーディオ信号を備えるオーディオプログラム情報を受信することと、
    第一の仮想化プロセッサ回路を使用して、前記受信したオーディオプログラム情報の少なくとも一部を使用した中間の仮想化されたオーディオ情報を生成することであって、 第一の仮想化フィルタ出力を供給するために第一の仮想化フィルタを前記Ｎ個のオーディオ信号のうちＭ個に適用することと、
    前記第一の仮想化フィルタ出力を使用して前記中間の仮想化されたオーディオ情報を供給することであって、前記中間の仮想化されたオーディオ情報がＪ個の個別のオーディオ信号を備える、供給することと、
    を含む、生成することと、
    前記中間の仮想化されたオーディオ情報を第二の仮想化プロセッサ回路に伝送することであって、前記第二の仮想化プロセッサ回路が異なる第二の仮想化フィルタを前記Ｊ個のオーディオ信号のうち一または二以上に適用することによりさらに仮想化されたオーディオ情報を生成する構成される、伝送することと、
    を含み、
    Ｎ、Ｍ、およびＪが整数である、
    方法。
  2. 前記さらに仮想化されたオーディオ情報に基づいてＫ個の出力信号をレンダリングすることをさらに含み、前記Ｋ個の出力信号がヘッドフォンを使用した再生のために構成される、請求項１に記載の方法。
  3. 前記さらに仮想化されたオーディオ情報に基づいてＫ個の出力信号をレンダリングすることをさらに含み、前記Ｋ個の出力信号が一対のスピーカーを使用した再生のために構成される、請求項1に記載の方法。
  4. 前記オーディオプログラム情報が少なくとも一つの高い位置のスピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも一つの高さオーディオ信号を備え、
    前記第一の仮想化フィルタを前記適用することが高さ仮想化フィルタを前記少なくとも一つの高さオーディオ信号に適用することを含む、
    請求項１に記載の方法。
  5. 高さ仮想化フィルタ以外の仮想化フィルタを前記Ｊ個のオーディオ信号のうち一または二以上に適用することを含む、前記第二の仮想化プロセッサ回路を使用して前記さらに仮想化されたオーディオ情報を生成することをさらに含む、請求項４に記載の方法。
  6. 前記オーディオプログラム情報が複数の各スピーカーを使用した再生のためのオーディオ情報を含むサラウンド音響オーディオ信号を備え、
    前記第一の仮想化フィルタを前記適用することが水平面仮想化フィルタをサラウンド音響信号のうち一または二以上に適用することを含み、
    前記異なる第二の仮想化フィルタを前記Ｊ個のオーディオ信号のうち前記一または二以上に前記適用することが水平面仮想化フィルタ以外を適用することを含む、
    請求項１に記載の方法。
  7. 前記オーディオプログラム情報が正面左および正面右の各スピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも左および右正面のオーディオ信号を備え、
    前記第一の仮想化フィルタを前記適用することが水平面仮想化フィルタを少なくとも前記左および右正面のオーディオ信号に適用することを含む、
    請求項１に記載の方法。
  8. ＭがＮ未満である、請求項１に記載の方法。
  9. 前記第一の仮想化フィルタ出力を使用して前記中間の仮想化されたオーディオ情報を前記供給することが前記第一の仮想化フィルタ出力と前記Ｍ個のオーディオ信号以外の前記Ｎ個のオーディオ信号のうち一または二以上とを組み合わせることを含む、請求項８に記載の方法。
  10. ＭがＮに等しい、請求項１に記載の方法。
  11. ＪがＮ未満である、請求項１に記載の方法。
  12. 前記第二の仮想化プロセッサ回路において、前記中間の仮想化されたオーディオ情報を受信することと、
    前記第二の仮想化プロセッサ回路を使用して、前記異なる第二の仮想化フィルタを前記Ｊ個のオーディオ信号のうち前記一または二以上に適用することにより前記さらに仮想化されたオーディオ情報を生成することと、
    をさらに含む、請求項１に記載の方法。
  13. 前記さらに仮想化されたオーディオ情報を前記生成することが少なくともＫ個のスピーカーを使用した再生のためのＫ個の出力信号をレンダリングすることを含み、ＫがＪ未満の整数である、請求項１２に記載の方法。
  14. Ｋ個の出力信号を前記レンダリングすることがヘッドフォンまたはスピーカーを使用した再生のために構成された一対の出力信号をレンダリングすることを含む、請求項１３に記載の方法。
  15. 前記少なくともＫ個のスピーカーが第一の空間平面に配置され、前記さらに仮想化されたオーディオ情報を前記生成することが前記Ｋ個のスピーカーを使用して再生される場合に前記第一の空間平面以外にオーディブル情報を含むとリスナーが知覚するように構成された出力信号をレンダリングすることを含む、請求項１３に記載の方法。
  16. 前記さらに仮想化されたオーディオ情報を前記生成することが、前記少なくともＫ個のスピーカーを使用して前記さらに仮想化されたオーディオ情報が再生される場合には前記さらに仮想化されたオーディオ情報が前記スピーカーの平面に対して高いかまたは低い位置の音源から生じるとリスナーが知覚するように前記情報を生成することを含む、請求項１３に記載の方法。
  17. 前記中間の仮想化されたオーディオ情報を前記伝送することがＮ個よりも少ないチャネルを備えるデータバスを使用することを含む、請求項１に記載の方法。
  18. 前記中間の仮想化されたオーディオ情報を前記生成することが前記第一の仮想化フィルタを適用する前に前記Ｍ個のオーディオ信号のうち少なくとも二つを非相関化することを含む、請求項１に記載の方法。
  19. システムであって、
    複数のオーディオ入力信号を受信するための手段と、
    中間の仮想化された信号を生成するために第一の仮想化処理を前記複数のオーディオ入力信号のうち一または二以上に適用するための手段と、
    部分的に仮想化された信号を供給するために前記中間の仮想化された信号と前記複数のオーディオ入力信号のうち他の少なくとも一つとを組み合わせるための手段と、
    仮想化されたオーディオ出力信号を生成するために第二の仮想化処理を前記部分的に仮想化されたオーディオ信号に適用するための手段と、
    を備える、システム。
  20. 前記部分的に仮想化された信号を第一のデバイスから前記第二の仮想化処理を適用するための前記手段を備えるリモートの第二のデバイスに伝送するための手段をさらに備え、
    前記複数のオーディオ入力信号が少なくともＮ個の個別の信号を備え、
    前記部分的に仮想化された信号を伝送するための前記手段がＮ個よりも少ない信号を伝送するための手段を備える、
    請求項１９に記載のシステム。
  21. 前記第一の仮想化処理を適用するための前記手段が水平面仮想化および垂直面仮想化のうち一つを適用するための手段を備え、前記第二の仮想化処理を適用するための前記手段が前記水平面仮想化および垂直面仮想化のうち他の一つを適用するための手段を備える、請求項１９に記載のシステム。
  22. 前記第一の仮想化処理を適用するための前記手段が第一の頭部伝達関数を前記複数のオーディオ入力信号のうち少なくとも一つに適用するための手段を備える、請求項１９に記載のシステム。
  23. 複数の非相関化された信号を供給するために前記複数のオーディオ入力信号のうち少なくとも二つを非相関化するための手段をさらに備え、前記第一の仮想化処理を適用するための前記手段が前記第一の仮想化処理を前記非相関化された信号のうち最初の一つに適用するための手段を含む、請求項１９に記載のシステム。
  24. 前記第二の仮想化処理を適用するための前記手段が前記複数のオーディオ入力信号を表す仮想化されたオーディオ出力信号のステレオペアを生成するための手段をさらに含む、請求項１９に記載のシステム。
  25. 複数のオーディオ入力信号を受信するための前記手段がＮ個の個別のオーディオ入力信号を受信するための手段を含み、
    前記中間の仮想化された信号と前記複数のオーディオ入力信号のうち他の少なくとも一つとを組み合わせるための前記手段が複数の部分的に仮想化された信号を供給するための手段を含み、
    部分的に仮想化された信号の前記数がＮ個よりも少ない、
    請求項１９に記載のシステム。
  26. 少なくとも一対のスピーカーまたはヘッドフォンを使用して３次元音場で仮想化されたオーディオ情報を供給するように構成されたオーディオ信号処理システムであって、リスナーが前記リスナーの第一の解剖学的平面以外で前記仮想化されたオーディオ情報がオーディブル情報を含むと知覚し、
    前記システムが
    少なくともＮ個の個別のオーディオ信号を含むオーディオプログラム情報を受信するように構成されたオーディオ入力部と、
    第一の仮想化フィルタを前記Ｎ個のオーディオ信号のうちＭ個に適用することにより中間の仮想化されたオーディオ情報を生成するように構成された第一の仮想化プロセッサ回路と、
    異なる第二の仮想化フィルタを前記Ｎ個のオーディオ信号のうちＫ個に適用することによりさらに仮想化されたオーディオ情報を生成するように構成された第二の仮想化プロセッサ回路と、
    を備え、
    Ｋ、Ｍ、およびＮが整数である、
    システム。
  27. Ｎ個よりも少ないオーディオ信号を含む部分的に仮想化されたオーディオプログラム情報を供給するための、前記中間の仮想化されたオーディオ情報と前記Ｍ個のオーディオ信号以外の前記Ｎ個のオーディオ信号のうち少なくとも一つとを組み合わせるように構成されたオーディオ信号組合せ回路をさらに備え、
    前記第二の仮想化プロセッサ回路が前記部分的に仮想化されたオーディオプログラム情報を使用して前記さらに仮想化されたオーディオ情報を生成するように構成される、
    請求項２６に記載のシステム。
  28. Ｎ個よりも少ないチャネルを備えるデータバス回路をさらに備え、前記データバス回路が前記第一および第二の仮想化プロセッサ回路と結合し、前記データバス回路が前記部分的に仮想化されたオーディオプログラム情報を前記第一の仮想化プロセッサ回路から前記第二の仮想化プロセッサ回路に伝送するように構成される、請求項２７に記載のシステム。
  29. サラウンド音響源信号を受信し、前記受信したサラウンド音響源信号に基づいて前記オーディオプログラム情報を前記オーディオ入力部に供給するように構成されたオーディオデコーダ回路をさらに備える、請求項２６に記載のシステム。
  30. 前記受信したオーディオプログラム情報が少なくとも一つの高い位置のスピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも一つの高さオーディオ信号を備え、
    前記第一の仮想化プロセッサ回路が高さ仮想化フィルタとして前記第一の仮想化フィルタを前記少なくとも一つの高さオーディオ信号に適用するように構成される、
    請求項２６に記載のシステム。
  31. 前記第二の仮想化フィルタが高さ仮想化フィルタ以外である、請求項３０に記載のシステム。
  32. 対応する一または二以上の非相関化された信号を前記第一および／または第二の仮想化プロセッサ回路に供給するために非相関化フィルタを前記Ｎ個の個別のオーディオ信号のうち一または二以上に適用するように構成された非相関化回路をさらに備える、請求項２６に記載のシステム。
  33. 前記第一および／または第二の仮想化プロセッサ回路がリスナーに対応する同側および対側の頭部伝達関数情報に基づいて前記第一の仮想化フィルタを発生させるように構成された頭部伝達関数発生回路を含む、請求項２６に記載のシステム。
  34. 前記第二の仮想化プロセッサ回路がヘッドフォンまたはスピーカーを使用した再生のために構成された信号のステレオペアとして前記さらに仮想化されたオーディオ情報を生成するように構成される、請求項２６に記載のシステム。
JP2019548894A 2017-03-08 2017-12-18 分散オーディオ仮想化システム Active JP7206211B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762468677P 2017-03-08 2017-03-08
US62/468,677 2017-03-08
US15/844,096 US10979844B2 (en) 2017-03-08 2017-12-15 Distributed audio virtualization systems
US15/844,096 2017-12-15
PCT/US2017/067026 WO2018164750A1 (en) 2017-03-08 2017-12-18 Distributed audio virtualization systems

Publications (2)

Publication Number Publication Date
JP2020510341A true JP2020510341A (ja) 2020-04-02
JP7206211B2 JP7206211B2 (ja) 2023-01-17

Family

ID=63445671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019548894A Active JP7206211B2 (ja) 2017-03-08 2017-12-18 分散オーディオ仮想化システム

Country Status (6)

Country Link
US (1) US10979844B2 (ja)
EP (1) EP3593545A4 (ja)
JP (1) JP7206211B2 (ja)
KR (1) KR102510726B1 (ja)
CN (1) CN110651487B (ja)
WO (1) WO2018164750A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170325043A1 (en) 2016-05-06 2017-11-09 Jean-Marc Jot Immersive audio reproduction systems
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US10397724B2 (en) * 2017-03-27 2019-08-27 Samsung Electronics Co., Ltd. Modifying an apparent elevation of a sound source utilizing second-order filter sections
GB2569214B (en) * 2017-10-13 2021-11-24 Dolby Laboratories Licensing Corp Systems and methods for providing an immersive listening experience in a limited area using a rear sound bar
WO2020201107A1 (en) * 2019-03-29 2020-10-08 Sony Corporation Apparatus, method, sound system
US10735885B1 (en) * 2019-10-11 2020-08-04 Bose Corporation Managing image audio sources in a virtual acoustic environment
JP7345373B2 (ja) 2019-11-29 2023-09-15 川崎重工業株式会社 保持装置、制御方法、制御装置及びロボットシステム
US11246001B2 (en) 2020-04-23 2022-02-08 Thx Ltd. Acoustic crosstalk cancellation and virtual speakers techniques
CN112019994B (zh) * 2020-08-12 2022-02-08 武汉理工大学 一种基于虚拟扬声器构建车内扩散声场环境的方法及装置
WO2023122547A1 (en) * 2021-12-20 2023-06-29 Dolby Laboratories Licensing Corporation A method of processing audio for playback of immersive audio

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011018060A (ja) * 2004-04-16 2011-01-27 Dolby Internatl Ab マルチチャネルオーディオ信号を表示するための装置と方法
JP2012529228A (ja) * 2009-06-01 2012-11-15 ディーティーエス・インコーポレイテッド スピーカ又はヘッドホン再生のための仮想オーディオ処理
JP2014526065A (ja) * 2011-08-17 2014-10-02 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 空間オーディオ処理における最適な混合マトリックスとデコリレータの使用法
JP2016503635A (ja) * 2012-12-04 2016-02-04 サムスン エレクトロニクス カンパニー リミテッド オーディオ提供装置及びオーディオ提供方法
JP2016513931A (ja) * 2013-03-29 2016-05-16 サムスン エレクトロニクス カンパニー リミテッド オーディオ装置及びそのオーディオ提供方法
EP3125240A1 (en) * 2014-03-24 2017-02-01 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal, and computer-readable recording medium
EP3131313A1 (en) * 2014-04-11 2017-02-15 Samsung Electronics Co., Ltd. Method and apparatus for rendering sound signal, and computer-readable recording medium

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817149A (en) 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US5943427A (en) 1995-04-21 1999-08-24 Creative Technology Ltd. Method and apparatus for three dimensional audio spatialization
US5809150A (en) 1995-06-28 1998-09-15 Eberbach; Steven J. Surround sound loudspeaker system
US5742689A (en) 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US6421446B1 (en) 1996-09-25 2002-07-16 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation
JP3266020B2 (ja) 1996-12-12 2002-03-18 ヤマハ株式会社 音像定位方法及び装置
US6078669A (en) 1997-07-14 2000-06-20 Euphonics, Incorporated Audio spatial localization apparatus and methods
AUPP271598A0 (en) 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
GB2343347B (en) 1998-06-20 2002-12-31 Central Research Lab Ltd A method of synthesising an audio signal
CN1281098C (zh) 1998-10-19 2006-10-18 安桥株式会社 环绕处理系统、环绕处理装置和环绕处理方法
US6175631B1 (en) 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
WO2002073435A1 (en) 2001-03-07 2002-09-19 Harman International Industries, Inc. Sound direction system
US6961439B2 (en) 2001-09-26 2005-11-01 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for producing spatialized audio signals
US7415123B2 (en) 2001-09-26 2008-08-19 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for producing spatialized audio signals
US20070160216A1 (en) 2003-12-15 2007-07-12 France Telecom Acoustic synthesis and spatialization method
US8638946B1 (en) 2004-03-16 2014-01-28 Genaudio, Inc. Method and apparatus for creating spatialized sound
GB2414369B (en) 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
JP4629388B2 (ja) 2004-08-27 2011-02-09 ソニー株式会社 音響生成方法、音響生成装置、音響再生方法及び音響再生装置
CA2578797A1 (en) 2004-09-03 2006-03-16 Parker Tsuhako Method and apparatus for producing a phantom three-dimensional sound space with recorded sound
DE102005043641A1 (de) 2005-05-04 2006-11-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
US7702116B2 (en) 2005-08-22 2010-04-20 Stone Christopher L Microphone bleed simulator
WO2007033150A1 (en) 2005-09-13 2007-03-22 Srs Labs, Inc. Systems and methods for audio processing
EP1989920B1 (en) 2006-02-21 2010-01-20 Koninklijke Philips Electronics N.V. Audio encoding and decoding
US7606377B2 (en) 2006-05-12 2009-10-20 Cirrus Logic, Inc. Method and system for surround sound beam-forming using vertically displaced drivers
US8712061B2 (en) 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US9697844B2 (en) 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
US8374365B2 (en) 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US20080004729A1 (en) 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
KR101368859B1 (ko) 2006-12-27 2014-02-27 삼성전자주식회사 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
US8270616B2 (en) 2007-02-02 2012-09-18 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
WO2008106680A2 (en) 2007-03-01 2008-09-04 Jerry Mahabub Audio spatialization and environment simulation
US8639498B2 (en) 2007-03-30 2014-01-28 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
US20080273708A1 (en) 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
US8126172B2 (en) 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
EP2258120B1 (en) 2008-03-07 2019-08-07 Sennheiser Electronic GmbH & Co. KG Methods and devices for reproducing surround audio signals via headphones
US8023660B2 (en) 2008-09-11 2011-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
CN102334348B (zh) 2008-11-21 2014-12-31 奥罗技术公司 转换器及转换音频信号的方法
UA101542C2 (ru) 2008-12-15 2013-04-10 Долби Лабораторис Лайсензин Корпорейшн Виртуализатор окружающего звука с динамическим сжатием диапазона и способ
US9173032B2 (en) 2009-05-20 2015-10-27 The United States Of America As Represented By The Secretary Of The Air Force Methods of using head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
US20100303245A1 (en) 2009-05-29 2010-12-02 Stmicroelectronics, Inc. Diffusing acoustical crosstalk
US8442244B1 (en) 2009-08-22 2013-05-14 Marshall Long, Jr. Surround sound system
JP5400225B2 (ja) 2009-10-05 2014-01-29 ハーマン インターナショナル インダストリーズ インコーポレイテッド オーディオ信号の空間的抽出のためのシステム
US8976972B2 (en) 2009-10-12 2015-03-10 Orange Processing of sound data encoded in a sub-band domain
KR101673232B1 (ko) 2010-03-11 2016-11-07 삼성전자주식회사 수직 방향 가상 채널을 생성하는 장치 및 그 방법
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
CN103329571B (zh) 2011-01-04 2016-08-10 Dts有限责任公司 沉浸式音频呈现系统
US9408010B2 (en) 2011-05-26 2016-08-02 Koninklijke Philips N.V. Audio system and method therefor
JP5640911B2 (ja) 2011-06-30 2014-12-17 ヤマハ株式会社 スピーカアレイ装置
US9179237B2 (en) 2011-12-16 2015-11-03 Bose Corporation Virtual audio system tuning
WO2013103256A1 (ko) 2012-01-05 2013-07-11 삼성전자 주식회사 다채널 음향 신호의 정위 방법 및 장치
US20150131824A1 (en) 2012-04-02 2015-05-14 Sonicemotion Ag Method for high quality efficient 3d sound reproduction
US20130308800A1 (en) 2012-05-18 2013-11-21 Todd Bacon 3-D Audio Data Manipulation System and Method
WO2013192111A1 (en) 2012-06-19 2013-12-27 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
US9516446B2 (en) 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
US9826328B2 (en) 2012-08-31 2017-11-21 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
US9264838B2 (en) 2012-12-27 2016-02-16 Dts, Inc. System and method for variable decorrelation of audio signals
TWI635753B (zh) 2013-01-07 2018-09-11 美商杜比實驗室特許公司 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器
JP2014168228A (ja) 2013-01-30 2014-09-11 Yamaha Corp 放音装置
CN104010265A (zh) 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
WO2014164361A1 (en) 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
CN105210388A (zh) 2013-04-05 2015-12-30 汤姆逊许可公司 管理沉浸式音频的混响场的方法
US9905231B2 (en) 2013-04-27 2018-02-27 Intellectual Discovery Co., Ltd. Audio signal processing method
EP2830332A3 (en) 2013-07-22 2015-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method, signal processing unit, and computer program for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
WO2015147619A1 (ko) 2014-03-28 2015-10-01 삼성전자 주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
EP2930957B1 (en) * 2014-04-07 2021-02-17 Harman Becker Automotive Systems GmbH Sound wave field generation
CN105376691B (zh) 2014-08-29 2019-10-08 杜比实验室特许公司 感知方向的环绕声播放
DK3550859T3 (da) 2015-02-12 2021-11-01 Dolby Laboratories Licensing Corp Hovedtelefonsvirtualisering
CN105992119A (zh) * 2015-02-12 2016-10-05 杜比实验室特许公司 用于耳机虚拟化的混响生成
KR102172051B1 (ko) 2015-12-07 2020-11-02 후아웨이 테크놀러지 컴퍼니 리미티드 오디오 신호 처리 장치 및 방법
US20170325043A1 (en) 2016-05-06 2017-11-09 Jean-Marc Jot Immersive audio reproduction systems
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011018060A (ja) * 2004-04-16 2011-01-27 Dolby Internatl Ab マルチチャネルオーディオ信号を表示するための装置と方法
JP2012529228A (ja) * 2009-06-01 2012-11-15 ディーティーエス・インコーポレイテッド スピーカ又はヘッドホン再生のための仮想オーディオ処理
JP2014526065A (ja) * 2011-08-17 2014-10-02 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 空間オーディオ処理における最適な混合マトリックスとデコリレータの使用法
JP2016503635A (ja) * 2012-12-04 2016-02-04 サムスン エレクトロニクス カンパニー リミテッド オーディオ提供装置及びオーディオ提供方法
JP2016513931A (ja) * 2013-03-29 2016-05-16 サムスン エレクトロニクス カンパニー リミテッド オーディオ装置及びそのオーディオ提供方法
EP3125240A1 (en) * 2014-03-24 2017-02-01 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal, and computer-readable recording medium
EP3131313A1 (en) * 2014-04-11 2017-02-15 Samsung Electronics Co., Ltd. Method and apparatus for rendering sound signal, and computer-readable recording medium

Also Published As

Publication number Publication date
EP3593545A4 (en) 2020-12-09
JP7206211B2 (ja) 2023-01-17
WO2018164750A1 (en) 2018-09-13
KR20190134655A (ko) 2019-12-04
KR102510726B1 (ko) 2023-03-15
US10979844B2 (en) 2021-04-13
US20180262858A1 (en) 2018-09-13
CN110651487B (zh) 2022-03-22
EP3593545A1 (en) 2020-01-15
CN110651487A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
JP7206211B2 (ja) 分散オーディオ仮想化システム
US11304020B2 (en) Immersive audio reproduction systems
US9767618B2 (en) Adaptive ambisonic binaural rendering
US20200322747A1 (en) Distance determination using camera images
US20190349705A9 (en) Graphical user interface to adapt virtualizer sweet spot
CN107980225B (zh) 使用驱动信号驱动扬声器阵列的装置和方法
WO2022021898A1 (zh) 音频处理方法、装置、系统以及存储介质
US20170195817A1 (en) Simultaneous Binaural Presentation of Multiple Audio Streams
KR102656969B1 (ko) 불일치 오디오 비주얼 캡쳐 시스템
CN111492342A (zh) 音频场景处理
JP6364130B2 (ja) レコーディング方法、装置、プログラム及び記録媒体
JP7483852B2 (ja) 不一致視聴覚捕捉システム
WO2022151336A1 (en) Techniques for around-the-ear transducers
KR20220027891A (ko) 앰비소닉스를 위한 전방향성 인코딩 및 디코딩

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220502

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230104

R150 Certificate of patent or registration of utility model

Ref document number: 7206211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150