JP2014515906A - オーディオをアップミックスして3dオーディオを生成する方法とシステム[関連出願との相互参照]この出願は、2011年4月18日に出願された米国特許仮出願第61/476,395号の優先権を主張するものである。この文献はここにその全体を参照援用する。 - Google Patents
オーディオをアップミックスして3dオーディオを生成する方法とシステム[関連出願との相互参照]この出願は、2011年4月18日に出願された米国特許仮出願第61/476,395号の優先権を主張するものである。この文献はここにその全体を参照援用する。 Download PDFInfo
- Publication number
- JP2014515906A JP2014515906A JP2014506437A JP2014506437A JP2014515906A JP 2014515906 A JP2014515906 A JP 2014515906A JP 2014506437 A JP2014506437 A JP 2014506437A JP 2014506437 A JP2014506437 A JP 2014506437A JP 2014515906 A JP2014515906 A JP 2014515906A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- listener
- source
- depth
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/05—Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
Description
フロントチャンネル:正面サウンドステージに関連する(オーディオプログラムの)オーディオチャンネル。典型的なフロントチャンネルは、ステレオプログラムのL及びRチャンネル、またはサラウンドサウンドプログラムのL、C、Rチャンネルである。
例えば、図1は、リスナ1に対して、2Dオーディオプログラムをレンダする従来の5スピーカサウンド再生システムを示す。2Dオーディオプログラムは従来の5チャンネルサラウンドサウンドプログラムである。このシステムは、リスナ1から少なくとも実質的に等距離にあるスピーカ2、3、4、5及び6を含む。各スピーカ2、3、4、5及び6は、プログラムの異なるフルレンジチャンネルをレンダするのに使われることを意図している。図示したように、(プログラムのライトフロントチャンネルをレンダリングするよう意図された)スピーカ3はアジマス角30°に配置され、(プログラムのライトサラウンドチャンネルをレンダリングするよう意図された)スピーカ6はアジマス角110°に配置され、(プログラムのセンターフロントチャンネルをレンダリングするよう意図された)スピーカ4はアジマス角0°に配置されている。
ヘッドホンにレンダされたニアフィールドHRTFを有するバイノーラルオーディオシステム、
ニアフィールドHTRFを有するトランスオーラルオーディオシステム、
ウェーブフィールド合成を用いる一または複数のシミュレーションされたオーディオソース、
集中イメージング(focused imaging)を用いる一または複数のシミュレーションされたオーディオソース、
一または複数のオーバーヘッドラウドスピーカ、または
ダイレクト対リバーブ比を制御するアルゴリズムまたはデバイス。
[外1]
を求めることである。
[外3]
として計算される。ここで、vAiは画像の領域Ai中の画素の平均L、a及びb値のベクトルを示し、
[外4]
は領域Aiの各画素の平均ベクトルvAiとベクトルvn,mとの間の差の平均を示す(インデックスnとmはその領域医の範囲にわたる)。典型的な一実施形態では、領域A1、A2及びA3は、カレント画素(x,y)を中心とする、寸法が左画像高さの0.25、0.125、0.0625倍の正方形領域である(よって、各領域A1は比較的大きな領域であり、各領域A2は中間サイズの領域であり、各領域A3は比較的小さい領域である)。各領域Aiの画素の平均ベクトルvAiと各ベクトルvn,mとの間の差の平均を決定し、これらの平均を合計して各値S(x,y)を求める。さらに、ビデオコンテンツに応じて領域Aiのサイズの調整を適用してもよい。各画素のL、a及びbの値を、対応するフレーム最大値で除算して規格化して、規格化値が特徴尺度Sの計算と同じ重みを有するようにする。
[外5]
として画素のディスパリティ値を計算する。これは、画素の値の差IL−IRの平均を最小化する候補ディスパリティ値dの値である。Sとdの値は、ビデオコンテンツの最大及び最小ディスパリティ(dmaxとdmin)と、所望の精度対計算許容複雑性に応じて調整できる。一様な背景のディスパリティは、(一部のビデオプログラムの場合)ゼロであり、間違った奥行き表示を与える。よって、より正確なビジュアルな奥行きの尺度を求めるために、上記のタイプの特徴計算を行い、背景からROIを分離することが好ましい。ディスパリティ分析は、一般的には、ROIが小さい場合と比較してROIが大きい場合に、計算がより複雑であり、コストがかかる。任意的に、背景からROIを区別するステップをスキップして、フレーム全体をROIとして扱ってディスパリティ分析を行うこともできる。
[外6]
はROIのアジマスセクタθiとの交わりの各画素のディスパリティ値D(x,y)の平均を示す。このように、奥行きマップD(θ)(すべてのアジマスセクタの式(1)のディスパリティ値D(θi))は、各アジマスセクタのビジュアルな距離とともにリニアに変化する一組のスケール尺度として計算できる。
[外7]
により計算することが可能となる。ここで、Lは、各フロントラウドスピーカに向いた標準的な基本単位長ベクトルを含む3×2マトリックスである。あるいは、θtot(b,t)を決定する場合、チャンネル間のコヒーレンス尺度も用いることができる。
[外8]
と
[外9]
とを決定することが可能である。
スクリーン全体(すなわち、3Dビデオフレームにより決まる3D画像全体)にわたりローカルな奥行き推定を平均化することにより、
スクリーン全体の一組の静的空間的サブリージョン(例えば、3D画像全体のレフト/センター/ライト領域)にわたりローカル奥ゆき推定を平均する(例えば、スクリーンの左のサブリージョンの最終的「レフト」ビジュアル画像奥行きと、スクリーンの中央サブリージョンの最終的「センター」ビジュアル画像奥行きと、スクリーンの右のサブリージョンの最終的「ライト」ビジュアル画像奥行きとを生成する)ことにより、
例えば、動き検出、またはローカルな奥行き推定、またはぶれ/フォーカス推定、またはオーディオ、ワイドバンド(オーディオスペクトル全体)またはマルチバンドレベル、及びチャンネル間の相関(パンされたオーディオ位置)などに基づき、一組の動的に変化する空間的サブリージョンにわたりローカルな奥行き推定を平均することにより、行える。任意的に、少なくとも1つの特徴メトリック(saliency metric)により、例えば、(例えば、スクリーンの中心のビジュアルフィーチャの距離推定を強調するため)スクリーン位置により、及び/または(例えば、フォーカスされたビジュアル画像の距離推定を強調するため)画像フォーカスにより、重み付け平均を行う。平均は、異なる複数の方法のいずれかで3Dビデオプログラムの時間区間にわたり行える。方法には次のものが含まれる:非時間的平均(例えば、3Dビデオフレームのカレント奥行き推定を用いて3Dオーディオを生成する)、(一連の平均奥行き推定を用いて3Dオーディオを生成するように)一定時間区間にわたる平均、(全体的または部分的に)ビデオの分析により決定される動的時間区間にわたる平均、またはビデオに対応する入力オーディオ(サウンドトラック)の分析に(全体的にまたは部分的に)より決定された動的時間区間にわたる平均。
推定された奥行きが中間奥行きより短い場合、空間領域に対応する2D入力オーディオ(例えば、入力オーディオの2つのチャンネルからのコンテンツのミックス)の少なくとも1チャンネルのコンテンツの全部または一部が、3Dオーディオのニアチャンネルに割り当てられ(その空間領域から放射されたと知覚されるようにレンダされ)、推定された奥行きが前記中間奥行きより長い場合、前記空間領域に対応する2D入力オーディオの少なくとも1チャンネルのコンテンツの全部または一部が、3Dオーディオのファーチャンネルに割り当てられる(その空間領域から放射されたと知覚されるようにレンダされる)(例えば、推定された奥行きが前記中間奥行きより短い場合、入力オーディオの左チャンネルのコンテンツは、「レフト」ニアチャンネルにマップされ、左空間領域から放射されたと知覚されるようにレンダされる);または、
入力オーディオのチャンネルのペアを(ワイドバンドでまたは周波数帯域ごとに)分析して、各ペアの見かけのオーディオイメージポジションを決定し、推定された奥行きが中間奥行きより短い場合、そのチャンネルのペアのコンテンツの全部または一部を3Dオーディオのニアチャンネルにマップして(その見かけのオーディオイメージポジションを含む空間領域から放射されたと知覚されるようにレンダリングし)、推定された奥行きが前記中間奥行きより長い場合、そのチャンネルのペアのコンテンツの全部または一部を3Dオーディオのファーチャンネルにマップして(その見かけのオーディオイメージポジションを含む空間領域から放射されたと知覚されるようにレンダリングする)、または、
入力オーディオのチャンネルのペアを(ワイドバンドでまたは周波数帯域ごとに)分析して、(一般的には、相関の程度に基づいて)各ペアの見かけのオーディオイメージコヒージョン(cohesion)を決定し、推定された奥行きが中間奥行きより短い場合、そのチャンネルのペアのコンテンツの全部または一部を3Dオーディオのニアチャンネルにマップして(関連する空間領域から放射されたと知覚されるようにレンダリングし)、推定された奥行きが前記中間奥行きより長い場合、そのチャンネルのペアのコンテンツの全部または一部を3Dオーディオのファーチャンネルにマップして(関連する空間領域から放射されたと知覚されるようにレンダリングする)、マップされるコンテンツの部分は、部分的にオーディオイメージコヒージョンにより決まる。これらの方法のそれぞれは、2D入力オーディオプログラム全体に適用できる。
推定されたソース奥行きを用いて3D出力オーディオの少なくとも一ニア(またはファー)オーディオチャンネルを決定するステップ。
(リスナから名目上等距離にある複数のスピーカを用いて、またはリスナから異なる距離に配置された複数のスピーカを用いて)放射されたサウンドがリスナから異なる距離にある音源から発したものと知覚されるように、オーディオプログラムをレンダする多数の技術が提案されている。かかる技術は、トランスオーラル(transaural)サウンドレンダリング、ウェーブフィールド合成、及び専用のラウドスピーカデザインを用いたアクティブ・ダイレクト・リバーブ比制御を含む。かかる技術が実際に実装され広く展開されると、フル3Dオーディオをレンダすることができるだろう。しかし、現実的なレンダリング手段が利用できるようになるまで、3Dオーディオコンテンツを明示的にオーサリングまたは配信するインセンティブはほとんどない。反対に、3Dオーディオコンテンツがなければ、必要とされるレンダリング機器を開発してインストールするインセンティブはほとんどない。この「卵が先か、ニワトリが先か」というジレンマを解消するため、従来のサウンドトラックから3Dオーディオ信号を作る手段が望ましい。本発明の典型的な実施形態は、既存の(例えば、従来製作された)Nチャンネル2DオーディオプログラムからN+Mチャンネル3Dオーディオプログラムを生成することにより、この問題に対するソリューションを提供する。
特許文献2は、モノオーディオデータとビデオデータを受け取り、データを処理して、マルチチャンネルオーディオデータを出力するサウンドイメージングシステムについて記載している。このシステムは、ビデオデータからビデオオブジェクトを抽出し、顔及び声認識や動き分析などのマッチング手法を用いて各サウンドソースをビデオオブジェクトとマッチングする。
特許文献3は、オーディオ信号をローかライゼーション計算ユニットに入力するオーディオソース入力ユニットを有するオーディオシステムについて記載している。ローかライゼーション計算ユニットはオーディオ信号を出力するスピーカを選択する。
特許文献4は、マルチモードコンテンツフォーマットを用いて3次元サウンドイベントを記録及び再生するシステムと方法について説明している。
【先行技術文献】
【特許文献】
Claims (39)
- N+Mフルレンジチャンネルを有する3D出力オーディオを生成する方法であって、NとMは正整数であり、N+Mフルレンジチャンネルはリスナから異なる距離にある少なくとも2つのスピーカを含むスピーカによりレンダされることを意図され、
前記方法は、
(a)Nフルレンジチャンネルを有するNチャンネル入力オーディオを提供するステップと、
(b)前記入力オーディオをアップミックスして前記3D出力オーディオを生成するステップとを有する、方法。 - (c)少なくとも一オーディオソースの前記リスナからの距離を示すソース奥行きデータを提供するステップをさらに有し、
前記ステップ(b)は前記Nチャンネル入力オーディオをアップミックスして、前記ソース奥行きデータを用いて前記3D出力オーディオを生成するステップを含む、請求項1に記載の方法。 - 前記Nチャンネル入力オーディオは立体3Dビデオプログラムのサウンドトラックであり、ステップ(c)は、前記3Dビデオプログラムにより決定される少なくとも一ビジュアルイメージフィーチャを特定することにより、前記ソース奥行きデータを生成し、各ビジュアルイメージフィーチャの決定された奥行きを示す前記ソース奥行きデータを生成する動作を含む、請求項2に記載の方法。
- 前記Nチャンネル入力オーディオは立体3Dビデオプログラムのサウンドトラックであり、ステップ(c)は、前記3Dビデオプログラムにより決定される少なくとも一ビジュアルイメージフィーチャの奥行きを示す奥行きマップを決定することにより、前記ソース奥行きデータを生成する動作を含む、請求項2に記載の方法。
- 前記オーディオソースは、前記リスナに対して第1のアジマスと第1のエレベーションを有する方向から前記リスナに届く、前記3D出力オーディオにより決まるサウンドソースであり、前記ビジュアルイメージフィーチャの奥行きが前記オーディオソースの前記リスナからの距離を決定し、前記奥行きマップは前記オーディオソースの前記リスナからの距離をアジマスとエレベーションの関数として示す、請求項4に記載の方法。
- 前記オーディオソースは、前記リスナに対して第1のアジマスを有する方向から前記リスナに届く、前記3D出力オーディオにより決まるサウンドソースであり、前記ビジュアルイメージフィーチャの奥行きが前記オーディオソースの前記リスナからの距離を決定し、前記奥行きマップは前記オーディオソースの前記リスナからの距離をアジマスの関数として示す、請求項4に記載の方法。
- ステップ(c)は前記Nチャンネル入力オーディオから前記ソース奥行きデータを生成するステップを含む、請求項2に記載の方法。
- 前記Nチャンネル入力オーディオは立体3Dビデオプログラムのサウンドトラックであり、ステップ(c)は前記立体3Dビデオプログラムから自動的に前記ソース奥行きデータを生成するステップを含む、請求項2に記載の方法。
- ステップ(b)は自動的に実行される、請求項8に記載の方法。
- 前記立体3Dビデオプログラムはキャプション及び/または字幕奥行きメタデータを含み、ステップ(c)は前記キャプション及び/または字幕奥行きメタデータから自動的に前記ソース奥行きデータを生成するステップを含む、請求項8に記載の方法。
- ステップ(c)は前記Nチャンネル入力オーディオから前記ソース奥行きデータを生成するステップを含む、請求項2に記載の方法。
- ステップ(b)は自動的に実行される、請求項11に記載の方法。
- 前記Nチャンネル入力オーディオは2Dオーディオプログラムである、請求項1に記載の方法。
- 前記Nチャンネル入力オーディオは2Dオーディオプログラムであり、前記2DオーディオプログラムのNフルレンジチャンネルは、前記リスナから名目的に等距離にあるN個のスピーカによりレンダされることを意図されている、請求項1に記載の方法。
- 前記3D出力オーディオは3Dオーディオプログラムであり、前記3DオーディオプログラムのN+Mフルレンジチャンネルは、前記リスナから名目的に等距離にあるNメインスピーカによりレンダされるNチャンネルと、追加的スピーカによりレンダされることを意図されたMチャンネルとを含み、各追加的スピーカは前記メインスピーカより前記リスナに近くまたは遠くに配置されている、請求項1に記載の方法。
- N+Mフルレンジチャンネルを有する3D出力オーディオの自動生成をする方法であって、NとMは正整数であり、N+Mフルレンジチャンネルはリスナから異なる距離にある少なくとも2つのスピーカを含むスピーカによりレンダされることを意図され、
前記方法は、
(a)Nフルレンジチャンネルを有するNチャンネル入力オーディオを提供するステップと、
(b)前記入力オーディオに応じて自動的に前記3D出力オーディオを生成するステップとを有する、方法。 - (c)少なくとも一オーディオソースの前記リスナからの距離を示すソース奥行きデータを提供するステップをさらに有し、
前記ステップ(b)は前記Nチャンネル入力オーディオをアップミックスして、前記ソース奥行きデータを用いて前記3D出力オーディオを生成するステップを含む、請求項16に記載の方法。 - 前記Nチャンネル入力オーディオは立体3Dビデオプログラムのサウンドトラックであり、ステップ(c)は、前記3Dビデオプログラムにより決定される少なくとも一ビジュアルイメージフィーチャを特定することにより、前記ソース奥行きデータを生成し、各ビジュアルイメージフィーチャの決定された奥行きを示す前記ソース奥行きデータを生成する動作を含む、請求項17に記載の方法。
- 前記Nチャンネル入力オーディオは立体3Dビデオプログラムのサウンドトラックであり、ステップ(c)は、前記3Dビデオプログラムにより決定される少なくとも一ビジュアルイメージフィーチャの奥行きを示す奥行きマップを決定することにより、前記ソース奥行きデータを生成する動作を含む、請求項17に記載の方法。
- 前記オーディオソースは、前記リスナに対して第1のアジマスと第1のエレベーションを有する方向から前記リスナに届く、前記3D出力オーディオにより決まるサウンドソースであり、前記ビジュアルイメージフィーチャの奥行きが前記オーディオソースの前記リスナからの距離を決定し、前記奥行きマップは前記オーディオソースの前記リスナからの距離を示す、請求項19に記載の方法。
- 前記オーディオソースは、前記リスナに対して第1のアジマスを有する方向から前記リスナに届く、前記3D出力オーディオにより決まるサウンドソースであり、前記ビジュアルイメージフィーチャの奥行きが前記オーディオソースの前記リスナからの距離を決定し、前記奥行きマップは前記オーディオソースの前記リスナからの距離をアジマスの関数として示す、請求項19に記載の方法。
- ステップ(c)は前記Nチャンネル入力オーディオから前記ソース奥行きデータを生成するステップを含む、請求項17に記載の方法。
- 前記Nチャンネル入力オーディオは立体3Dビデオプログラムのサウンドトラックであり、ステップ(c)は前記立体3Dビデオプログラムから自動的に前記ソース奥行きデータを生成するステップを含む、請求項17に記載の方法。
- ステップ(c)は前記Nチャンネル入力オーディオから前記ソース奥行きデータを生成するステップを含む、請求項17に記載の方法。
- 前記Nチャンネル入力オーディオは2Dオーディオプログラムである、
請求項16に記載の方法。 - 前記Nチャンネル入力オーディオは2Dオーディオプログラムであり、前記2DオーディオプログラムのNフルレンジチャンネルは、前記リスナから名目的に等距離にあるN個のスピーカによりレンダされることを意図されている、請求項16に記載の方法。
- 前記3D出力オーディオは3Dオーディオプログラムであり、前記3DオーディオプログラムのN+Mフルレンジチャンネルは、前記リスナから名目的に等距離にあるNメインスピーカによりレンダされるNチャンネルと、追加的スピーカによりレンダされることを意図されたMチャンネルとを含み、各追加的スピーカは前記メインスピーカより前記リスナに近くまたは遠くに配置されている、請求項16に記載の方法。
- Nフルレンジチャンネルを含むNチャンネル入力オーディオを示す入力データを受け取るように結合されたプロセッサを含むシステムであって、
前記プロセッサは、前記入力オーディオをアップミックスして前記出力データにN+Mフルレンジチャンネルを含む3Dオーディオを示すようにするように前記入力データを処理することにより、前記出力データを生成するように構成されている、ここでNとMは正整数であり、前記N+Mフルレンジチャンネルリスナから異なる距離にある少なくとも2つのスピーカを含む複数のスピーカによりレンダされることを意図されている、システム。 - 前記プロセッサは、前記入力データとソース奥行きデータを処理して前記出力データを生成するように構成され、前記ソース奥行きデータは少なくとも一オーディオソースの前記リスナからの距離を示す、請求項28に記載のシステム。
- 前記Nチャンネル入力オーディオは立体3Dビデオプログラムのサウンドトラックであり、前記プロセッサは、前記3Dビデオプログラムにより決定される少なくとも一ビジュアルイメージフィーチャを特定することにより、前記ソース奥行きデータを生成し、各ビジュアルイメージフィーチャの決定された奥行きを示す前記ソース奥行きデータを生成するように構成されている、請求項29に記載のシステム。
- 前記Nチャンネル入力オーディオは立体3Dビデオプログラムのサウンドトラックであり、前記入力データは、前記立体3Dビデオプログラムを示し、前記プロセッサは、前記3Dビデオプログラムにより決定される少なくとも一ビジュアルイメージフィーチャの奥行きを示す奥行きマップを決定することにより、前記ソース奥行きデータを生成するように構成されている、請求項29に記載のシステム。
- 前記オーディオソースは、前記リスナに対して第1のアジマスと第1のエレベーションを有する方向から前記リスナに届く、前記3Dオーディオにより決まるサウンドソースであり、前記ビジュアルイメージフィーチャの奥行きが前記オーディオソースの前記リスナからの距離を決定し、前記奥行きマップは前記オーディオソースの前記リスナからの距離を示す、請求項31に記載のシステム。
- 前記オーディオソースは、前記リスナに対して第1のアジマスと第1のエレベーションを有する方向から前記リスナに届く、前記3Dオーディオにより決まるサウンドソースであり、前記ビジュアルイメージフィーチャの奥行きが前記オーディオソースの前記リスナからの距離を決定し、前記奥行きマップは前記オーディオソースの前記リスナからの距離を示す、請求項31に記載のシステム。
- 前記プロセッサは、前記入力データから前記ソース奥行きデータを生成するように構成されている、請求項29に記載のシステム。
- 前記Nチャンネル入力オーディオは2Dオーディオプログラムである、請求項28に記載のシステム。
- 前記Nチャンネル入力オーディオは2Dオーディオプログラムであり、前記2DオーディオプログラムのNフルレンジチャンネルは、前記リスナから名目的に等距離にあるN個のスピーカによりレンダされることを意図されている、請求項28に記載のシステム。
- 前記3Dオーディオは3Dオーディオプログラムであり、前記3DオーディオプログラムのN+Mフルレンジチャンネルは、前記リスナから名目的に等距離にあるNメインスピーカによりレンダされるNチャンネルと、追加的スピーカによりレンダされることを意図されたMチャンネルとを含み、各追加的スピーカは前記メインスピーカより前記リスナに近くまたは遠くに配置されている、請求項28に記載のシステム。
- 前記システムはオーディオデジタルシグナルプロセッサである、請求項28に記載のシステム。
- 前記プロセッサは、前記入力データに応じて前記出力データを生成するようにプログラムされた汎用プロセッサである、請求項28に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161476395P | 2011-04-18 | 2011-04-18 | |
US61/476,395 | 2011-04-18 | ||
PCT/US2012/032258 WO2012145176A1 (en) | 2011-04-18 | 2012-04-05 | Method and system for upmixing audio to generate 3d audio |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014515906A true JP2014515906A (ja) | 2014-07-03 |
JP5893129B2 JP5893129B2 (ja) | 2016-03-23 |
Family
ID=46025915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014506437A Expired - Fee Related JP5893129B2 (ja) | 2011-04-18 | 2012-04-05 | オーディオをアップミックスして3dオーディオを生成する方法とシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9094771B2 (ja) |
EP (1) | EP2700250B1 (ja) |
JP (1) | JP5893129B2 (ja) |
CN (1) | CN103493513B (ja) |
WO (1) | WO2012145176A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017010313A1 (ja) * | 2015-07-16 | 2018-04-26 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004051624A2 (en) * | 2002-12-02 | 2004-06-17 | Thomson Licensing S.A. | Method for describing the composition of audio signals |
US9332373B2 (en) * | 2012-05-31 | 2016-05-03 | Dts, Inc. | Audio depth dynamic range enhancement |
EP2979467B1 (en) | 2013-03-28 | 2019-12-18 | Dolby Laboratories Licensing Corporation | Rendering audio using speakers organized as a mesh of arbitrary n-gons |
EP2806658B1 (en) | 2013-05-24 | 2017-09-27 | Barco N.V. | Arrangement and method for reproducing audio data of an acoustic scene |
KR102231755B1 (ko) * | 2013-10-25 | 2021-03-24 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
CN105096999B (zh) * | 2014-04-30 | 2018-01-23 | 华为技术有限公司 | 一种音频播放方法和音频播放设备 |
TWI566576B (zh) * | 2014-06-03 | 2017-01-11 | 宏碁股份有限公司 | 立體影像合成方法及裝置 |
KR102292877B1 (ko) * | 2014-08-06 | 2021-08-25 | 삼성전자주식회사 | 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치 |
CN105989845B (zh) * | 2015-02-25 | 2020-12-08 | 杜比实验室特许公司 | 视频内容协助的音频对象提取 |
US10341802B2 (en) | 2015-11-13 | 2019-07-02 | Dolby Laboratories Licensing Corporation | Method and apparatus for generating from a multi-channel 2D audio input signal a 3D sound representation signal |
US10397730B2 (en) | 2016-02-03 | 2019-08-27 | Global Delight Technologies Pvt. Ltd. | Methods and systems for providing virtual surround sound on headphones |
US10419866B2 (en) * | 2016-10-07 | 2019-09-17 | Microsoft Technology Licensing, Llc | Shared three-dimensional audio bed |
CN110089135A (zh) | 2016-10-19 | 2019-08-02 | 奥蒂布莱现实有限公司 | 用于生成音频映象的系统和方法 |
CN106714021A (zh) * | 2016-11-30 | 2017-05-24 | 捷开通讯(深圳)有限公司 | 一种耳机及电子组件 |
CN106658341A (zh) * | 2016-12-08 | 2017-05-10 | 李新蕾 | 一种多声道音频系统 |
US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
WO2019008580A1 (en) | 2017-07-03 | 2019-01-10 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | METHOD AND SYSTEM FOR IMPROVING A VOICE SIGNAL OF A HUMAN SPEAKER IN A VIDEO USING VISUAL INFORMATION |
US10880649B2 (en) | 2017-09-29 | 2020-12-29 | Apple Inc. | System to move sound into and out of a listener's head using a virtual acoustic system |
EP3503102A1 (en) * | 2017-12-22 | 2019-06-26 | Nokia Technologies Oy | An apparatus and associated methods for presentation of captured spatial audio content |
GB2573362B (en) | 2018-02-08 | 2021-12-01 | Dolby Laboratories Licensing Corp | Combined near-field and far-field audio rendering and playback |
WO2019199359A1 (en) * | 2018-04-08 | 2019-10-17 | Dts, Inc. | Ambisonic depth extraction |
US11540075B2 (en) * | 2018-04-10 | 2022-12-27 | Gaudio Lab, Inc. | Method and device for processing audio signal, using metadata |
US11606663B2 (en) | 2018-08-29 | 2023-03-14 | Audible Reality Inc. | System for and method of controlling a three-dimensional audio engine |
US10820131B1 (en) | 2019-10-02 | 2020-10-27 | Turku University of Applied Sciences Ltd | Method and system for creating binaural immersive audio for an audiovisual content |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07236199A (ja) * | 1994-02-24 | 1995-09-05 | Sanyo Electric Co Ltd | 立体音場形成方法 |
JPH08140200A (ja) * | 1994-11-10 | 1996-05-31 | Sanyo Electric Co Ltd | 立体音像制御装置 |
JP2003087893A (ja) * | 2001-09-13 | 2003-03-20 | Onkyo Corp | スピーカ装置の配置方法、および音響再生装置 |
JP2011035784A (ja) * | 2009-08-04 | 2011-02-17 | Sharp Corp | 立体映像・立体音響記録再生装置・システム及び方法 |
JP2011254359A (ja) * | 2010-06-03 | 2011-12-15 | Yamaha Corp | 音響再生装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5438623A (en) | 1993-10-04 | 1995-08-01 | The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration | Multi-channel spatialization system for audio signals |
AUPN988996A0 (en) | 1996-05-16 | 1996-06-06 | Unisearch Limited | Compression and coding of audio-visual services |
JPH1063470A (ja) | 1996-06-12 | 1998-03-06 | Nintendo Co Ltd | 画像表示に連動する音響発生装置 |
US6990205B1 (en) | 1998-05-20 | 2006-01-24 | Agere Systems, Inc. | Apparatus and method for producing virtual acoustic sound |
GB2340005B (en) | 1998-07-24 | 2003-03-19 | Central Research Lab Ltd | A method of processing a plural channel audio signal |
US6931134B1 (en) | 1998-07-28 | 2005-08-16 | James K. Waller, Jr. | Multi-dimensional processor and multi-dimensional audio processor system |
US20030007648A1 (en) | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
WO2002098171A1 (en) | 2001-05-28 | 2002-12-05 | Mitsubishi Denki Kabushiki Kaisha | Vehicle-mounted stereophonic sound field reproducer/silencer |
US7684577B2 (en) | 2001-05-28 | 2010-03-23 | Mitsubishi Denki Kabushiki Kaisha | Vehicle-mounted stereophonic sound field reproducer |
US6829018B2 (en) * | 2001-09-17 | 2004-12-07 | Koninklijke Philips Electronics N.V. | Three-dimensional sound creation assisted by visual information |
US6912178B2 (en) | 2002-04-15 | 2005-06-28 | Polycom, Inc. | System and method for computing a location of an acoustic source |
US7558393B2 (en) | 2003-03-18 | 2009-07-07 | Miller Iii Robert E | System and method for compatible 2D/3D (full sphere with height) surround sound reproduction |
EP1542503B1 (en) * | 2003-12-11 | 2011-08-24 | Sony Deutschland GmbH | Dynamic sweet spot tracking |
CA2578797A1 (en) | 2004-09-03 | 2006-03-16 | Parker Tsuhako | Method and apparatus for producing a phantom three-dimensional sound space with recorded sound |
US7774707B2 (en) | 2004-12-01 | 2010-08-10 | Creative Technology Ltd | Method and apparatus for enabling a user to amend an audio file |
EP1851656A4 (en) * | 2005-02-22 | 2009-09-23 | Verax Technologies Inc | SYSTEM AND METHOD FOR FORMATTING MULTIMODE CONTENT OF SOUNDS AND METADATA |
US8712061B2 (en) | 2006-05-17 | 2014-04-29 | Creative Technology Ltd | Phase-amplitude 3-D stereo encoder and decoder |
KR20090092839A (ko) | 2006-12-19 | 2009-09-01 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 2d 비디오를 3d 비디오로 변환하기 위한 시스템 및 방법 |
US8942395B2 (en) * | 2007-01-17 | 2015-01-27 | Harman International Industries, Incorporated | Pointing element enhanced speaker system |
JP4530007B2 (ja) * | 2007-08-02 | 2010-08-25 | ヤマハ株式会社 | 音場制御装置 |
RU2472306C2 (ru) | 2007-09-26 | 2013-01-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство и способ для извлечения сигнала окружающей среды в устройстве и способ получения весовых коэффициентов для извлечения сигнала окружающей среды |
US20090122161A1 (en) | 2007-11-08 | 2009-05-14 | Technical Vision Inc. | Image to sound conversion device |
JP5274359B2 (ja) | 2009-04-27 | 2013-08-28 | 三菱電機株式会社 | 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体 |
US8681997B2 (en) * | 2009-06-30 | 2014-03-25 | Broadcom Corporation | Adaptive beamforming for audio and data applications |
JP4997659B2 (ja) * | 2010-04-02 | 2012-08-08 | オンキヨー株式会社 | 音声処理装置 |
US9031268B2 (en) * | 2011-05-09 | 2015-05-12 | Dts, Inc. | Room characterization and correction for multi-channel audio |
-
2012
- 2012-04-05 CN CN201280019361.XA patent/CN103493513B/zh not_active Expired - Fee Related
- 2012-04-05 JP JP2014506437A patent/JP5893129B2/ja not_active Expired - Fee Related
- 2012-04-05 WO PCT/US2012/032258 patent/WO2012145176A1/en active Application Filing
- 2012-04-05 EP EP12718484.4A patent/EP2700250B1/en not_active Not-in-force
- 2012-04-05 US US14/111,460 patent/US9094771B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07236199A (ja) * | 1994-02-24 | 1995-09-05 | Sanyo Electric Co Ltd | 立体音場形成方法 |
JPH08140200A (ja) * | 1994-11-10 | 1996-05-31 | Sanyo Electric Co Ltd | 立体音像制御装置 |
JP2003087893A (ja) * | 2001-09-13 | 2003-03-20 | Onkyo Corp | スピーカ装置の配置方法、および音響再生装置 |
JP2011035784A (ja) * | 2009-08-04 | 2011-02-17 | Sharp Corp | 立体映像・立体音響記録再生装置・システム及び方法 |
JP2011254359A (ja) * | 2010-06-03 | 2011-12-15 | Yamaha Corp | 音響再生装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017010313A1 (ja) * | 2015-07-16 | 2018-04-26 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2700250B1 (en) | 2015-03-04 |
CN103493513B (zh) | 2015-09-09 |
CN103493513A (zh) | 2014-01-01 |
US9094771B2 (en) | 2015-07-28 |
US20140037117A1 (en) | 2014-02-06 |
JP5893129B2 (ja) | 2016-03-23 |
WO2012145176A1 (en) | 2012-10-26 |
EP2700250A1 (en) | 2014-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5893129B2 (ja) | オーディオをアップミックスして3dオーディオを生成する方法とシステム | |
JP7493559B2 (ja) | 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理 | |
JP7254137B2 (ja) | 2dセットアップを使用したオーディオ再生のためのアンビソニックス・オーディオ音場表現を復号する方法および装置 | |
JP5944840B2 (ja) | 立体音響の再生方法及びその装置 | |
US10440496B2 (en) | Spatial audio processing emphasizing sound sources close to a focal distance | |
EP3286929B1 (en) | Processing audio data to compensate for partial hearing loss or an adverse hearing environment | |
JP6251809B2 (ja) | サウンドステージ拡張用の装置及び方法 | |
US20170309289A1 (en) | Methods, apparatuses and computer programs relating to modification of a characteristic associated with a separated audio signal | |
US20190289418A1 (en) | Method and apparatus for reproducing audio signal based on movement of user in virtual space | |
US20160044432A1 (en) | Audio signal processing apparatus | |
JP6161962B2 (ja) | 音声信号再生装置及び方法 | |
Jeon et al. | Blind depth estimation based on primary-to-ambient energy ratio for 3-d acoustic depth rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5893129 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |