JP2008538239A - データストリームおよびマルチチャネル表現を生成するための装置および方法 - Google Patents

データストリームおよびマルチチャネル表現を生成するための装置および方法 Download PDF

Info

Publication number
JP2008538239A
JP2008538239A JP2008503398A JP2008503398A JP2008538239A JP 2008538239 A JP2008538239 A JP 2008538239A JP 2008503398 A JP2008503398 A JP 2008503398A JP 2008503398 A JP2008503398 A JP 2008503398A JP 2008538239 A JP2008538239 A JP 2008538239A
Authority
JP
Japan
Prior art keywords
channel
fingerprint
block
information
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008503398A
Other languages
English (en)
Other versions
JP5273858B2 (ja
Inventor
フィーゼル ヴォルフガング
ノイジンガー マティアス
ポップ ハーラルト
ガイヤースベルガー シュテファン
Original Assignee
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. filed Critical フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Publication of JP2008538239A publication Critical patent/JP2008538239A/ja
Application granted granted Critical
Publication of JP5273858B2 publication Critical patent/JP5273858B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)

Abstract

マルチチャネル補助データを含むデータストリームおよび1以上の基本チャネル(3)に関するデータを含むデータストリームを時刻同期するために、前記1以上の基本チャネルに対するフィンガープリント情報の計算(2)をエンコーダで行い、前記フィンガープリント情報を前記マルチチャネル補助データと時間的に対応付けてデータストリームに挿入(4)する。デコーダでは、フィンガープリント情報を前記1以上の基本チャネルから計算し、データストリームから抽出したフィンガープリント情報と組合わせて、前記マルチチャネル補助情報を含むデータストリームおよび前記1以上の基本チャネルを含むデータストリームとの間のタイムオフセットを、例えば相関処理により計算し補間し、同期マルチチャネル表現を生成する。

Description

本発明は音声信号の処理に関し、特に、1以上の基本チャネルおよび/またはダウンミックスチャネルおよびマルチチャネル補助情報に基づいて、元のマルチチャネル信号をマルチチャネル再生するマルチチャネル処理技術に関する。
近年、データ量の減少により音声信号をこれまでになくより効率的に送信したり、また、マルチチャネル技術等を利用した改良により、聴く楽しみをより向上するような技術が開発されている。このような、公知の送信技術の改良例が、バイノーラルキュー符号化(BCC)および「空間音声符号化」として近年知られており、ジェイ・ヘレ、シー・ファーラー、エス・ディッシュ、シー・エーテル、ジェイ・ヒルバート、エイ・ホールツァー、ケイ・リンツメイアー、シー・シュプレンガー、ピー・クルーンによる「空間音声符号化:効率的で互換性のある次世代マルチチャネル音声符号化」と題するAES予稿6186、第117回AES大会、2004年、サンフランシスコ(J. Herre, C. Faller, S. Disch, C. Ertel, J. Hilbert, A. Hoelzer, K. Linzmeier, C. Sprenger, P. Kroon: “Spatial Audio Coding: Next Generation Efficient and Compatible Coding of Multi-Channel Audio”, 117th AES Convention, San Francisco 2004, Preprint 6186)に記載されている。
マルチチャネル音声信号の送信時に必要なデータ量を減少するための様々な技術について以下に詳細に述べる。
これらの技術はジョイントステレオ技術と呼ばれる。この目的で、図3に示すジョイントステレオ装置60を参照する。この装置は、例えばインテンシティステレオ(IS)技術、もしくはバイノーラルキュー符号化技術(BCC)を実行する装置である。この装置は、一般に2つ以上のチャネルCH1、CH2、...、CHnを入力信号として受信し、単一の搬送波チャネルおよびパラメトリックマルチチャネル情報を出力する。パラメトリックデータは、元のチャネル(CH1、CH2、...、CHn)の近似値をデコーダで計算できるように規定される。
通常、搬送波チャネルは、基底信号を比較的良好に表すサブバンドサンプル、スペクトル係数、時間領域サンプル等を含む。一方、パラメトリックデータは、これらのサンプルやスペクトル係数を含まないが、乗法、時間シフティング、周波数シフティングによる重み付け等の所定の再生アルゴリズムを制御するための制御パラメータを含む。このように、パラメトリックマルチチャネル情報は信号または関連するチャネルの比較的大雑把な表現を含む。数値で表すと、搬送波チャネルが必要とするデータ量は約60〜70kbit/sの範囲にあり、一方、パラメトリック補助情報がチャネルに対し必要とするデータ量は1.5〜2.5kbit/sの範囲にある。なお、上記の数値は圧縮データに対するものである。当然のことながら、非圧縮CDチャネルはおよそ10倍程度のデータ量を必要とする。パラメトリックデータの例としては、後述のとおり、既知のスケールファクタ、インテンシティステレオ情報またはBCCパラメータがある。
インテンシティステレオ符号化技術については、ジェイ・ヘレ、ケイ・エイチ・ブランデンブルグ、ディー・レデラーによる「インテンシティ・ステレオ符号化」と題するAES予稿3799、1994年2月、アムステルダム(AES Preprint 3799 "Intensity Stereo Coding", J. Herre, K.H. Brandenburg, D. Lederer, February 1994, Amsterdam)に記載されている。一般には、インテンシティステレオの概念は、両方のステレオ音声チャネルのデータに適用される主軸変換に基づく。データポイントのほとんどが第1の主軸の周りに集中している場合、符号化利得は、符号化の前にある角度だけ両方の信号を回転させることにより達成できる。しかしながら、この方法は、実際のステレオ再生技術では必ずしもうまくいかない。したがって、この方法を改善し、第2の直交成分をビットストリームでの送信から除外する。その結果、左右のチャネルについて再生された信号は、同じ伝送信号を様々に重み付けもしくはスケーリングしたバージョンからなる。にもかかわらず、これら再生された信号は、振幅が異なるものの位相情報については同一である。しかしながら、元の音声チャネルのエネルギ時間エンベロープは、一般に周波数選択的に作用する選択的スケーリング動作により維持される。このことは、支配的な空間情報がエネルギエンベロープにより決まる、人間の高周波での音声知覚と同じである。
また、実際の信号送信、つまり搬送波チャネルは、両方の成分を回転させるのではなく、左右チャネルの和信号から生成される。さらに、この処理、すなわちスケーリングを行うためにインテンシティステレオパラメータを生成する処理は、周波数選択的に行われる。つまり、スケール係数帯ごと、エンコーダ周波数区分ごとに独立して行われる。好ましくは、両方のチャネルを結合して、1つの結合したチャネルもしくは「搬送波」チャネルを形成し、結合されたチャネルに追加してインテンシティステレオ情報を形成する。インテンシティステレオ情報は、第1のチャネルのエネルギ、第2のチャネルのエネルギ、もしくは結合チャネルのエネルギに基づく。
BCC技術については、ティー・ファーラー、エフ・バウムガルトの「ステレオおよびマルチチャネル音声圧縮に適用するバイノーラルキュー符号化」と題するAES大会論文5574、2002年5月、ミュンヘン(AES convention paper 5574 “Binaural Cue Coding applied to stereo and multi-channel audio compression”, T. Faller, F. Baumgarte, May 2002, Munich)に記載されている。BBC符号化においては、DFT変換に基づいて、複数の音声入力チャネルをオーバーラッピング窓を用いてスペクトラム表現に変換する。その結果得られるスペクトルは、重ならない部分に分割され、それぞれがインデックスを有する。各区分は、等価直角帯域幅(ERB)に比例するバンド幅を有する。各区分および各フレームkについて、チャネル間レベル差(ICLD)およびチャネル間時間差(ICTD)が決定される。ICLDおよびICTDは量子化され符号化されて、最終的には補助情報としてのBBCビットストリームに到達する。チャネル間レベル差およびチャネル間時間差は、各チャネルごとに参照チャネル対して与えられる。そして、処理をする信号の特定の区分に基づく所定の方式に従って、パラメータを計算する。
デコーダ側では、デコーダは通常、モノ信号およびBBCビットストリームを受信する。モノ信号は周波数領域に変換され、空間合成ブロックへ入力される。空間合成ブロックは同様に、復号化ICLD値およびICTD値も受信する。空間合成ブロックでは、BCCパラメータ(ICLDおよびICTD)を用いてモノ信号を重み付けし、マルチチャネル信号を合成する。このマルチチャネル信号は、周波数/時間変換を経て、元のマルチチャネル音声信号の再生を表す。
BCCの場合、ジョイントステレオモジュール60は、パラメトリックチャネルデータが量子化および符号化ICLDまたはICTDパラメータになるようチャネル補助情報を出力するよう作用し、元のチャネルのうち1つがチャネル補助情報を符号化するための参照チャネルとして使用される。
通常、搬送波信号は、関与する元のチャネルの和からなる。
上記の技術は当然、搬送波チャネルのみを処理できるデコーダのためのモノ表現を与えるに過ぎず、複数の入力チャネルに対し1つまたは複数の近似値を生成するためにパラメトリックデータを処理することはできない。
このBBC技術については、米国特許公開US2003/0219130A1、US2003/0026441A1およびUS2003/0035553A1にも記載されている。また、ティー・ファーラーおよびエフ・バウムガルトの「バイノーラル・キュー符号化、パートII:構成および応用」、音声および音声処理に関するIEEE論文誌、第11巻、第6号、2003年11月("Binaural Cue Coding. Part II: Schemes and Applications", T. Faller and F. Baumgarte, IEEE Trans. On Audio and Speech Proc., Vol. 11, No. 6, November 2003)という専門家による出版物も引用する。
次に、マルチチャネル音声符号化のための典型的なBCC方式について、図4〜図6を参照して詳細に述べる。
図5は、そのような、マルチチャネル音声信号を符号化/送信するためのBCC方式を示す。BCCエンコーダ112の入力110におけるマルチチャネル音声入力信号は、所謂ダウンミックスブロック114においてミックスダウンされる。この例では、入力110の元のマルチチャネル信号は、前方左チャネル、前方右チャネル、左サラウンドチャネル、右サラウンドチャネル、および中央チャネルを有する5チャネルのサラウンド信号である。本発明の好ましい実施例では、ダウンミックスブロック114が、これら5つのチャネルを単純に加算して1つのモノ信号にすることで、和信号を生成する。
先行技術では、他のダウンミックス方法が知られており、マルチチャネル入力信号を用いて、単一のチャネルを有するダウンミックスチャネルが得られる。
この単一のチャネルは、和信号ライン115上に出力される。BCC分析ブロック116から得られた補助情報を補助情報ライン117上に出力する。
上記のとおり、チャネル間レベル差(ICLD)およびチャネル間時間差(ICTD)をBCC分析ブロックで計算する。ここで、BCC分析ブロック116は、チャネル間相関値(ICC値)も計算することができる。和信号と補助情報とを量子化および符号化された形式で、BCCデコーダ120へ送信する。BCCデコーダは、送信された和信号をいくつかのサブバンドに分割し、スケーリングを行い、遅延を行い、かつ他の処理ステップを行って、出力するマルチチャネル音声チャネルのサブバンドを与える。この処理は、出力121における再生マルチチャネル信号のICLD、ICTDおよびICCパラメータ(キュー)が、BCCエンコーダ112の入力110における元のマルチチャネル信号に対応するキューと一致するように行われる。この目的で、BCCデコーダ120は、BCC合成ブロック122および補助情報処理ブロック123を備える。
次に、BCC合成ブロック122の内部設定について図6を参照して説明する。ライン115上の和信号が、時間/周波数変換ユニットまたはフィルタバンクFB125へ供給される。ブロック125の出力では、N個のサブバンド信号か、または極端な場合、音声フィルタバンク125が1:1の変換、すなわちN個の時間領域サンプルからN個のスペクトル係数を生成する変換を行った場合には、スペクトル係数のブロックが得られる。
BCC合成ブロック122は、遅延ステージ126、レベル変更ステージ127、相関処理ステージ128および逆フィルタバンクステージIFB129をさらに備える。ステージ129の出力では、たとえば、5チャネルサラウンドシステムの場合、5つのチャネルを有する再生マルチチャネル音声信号が、図5または図4に示すようなラウドスピーカ124のセットへ出力されてもよい。
入力信号snを、素子125により、周波数領域またはフィルタバンク領域へ変換する。素子125により出力される信号を、コピーノード130により示すとおり、同信号のいくつかのバージョンが得られるようコピーする。元の信号のバージョンの数は、出力信号における出力チャネルの数に等しい。そして、ノード130の元の信号の各バージョンに、ある遅延d、d、...、d、...、dNを与える。遅延パラメータは、図5の補助情報処理ブロック123により計算され、図5のBCC分析ブロック116により計算されたチャネル間時間差から生成される。
同じことが、乗算パラメータa1、a2、...a、...、aに当てはまり、これらもBCC分析ブロック116により計算されたチャネル間レベル差に基づき、補助情報処理ブロック123により計算される。
BCC分析ブロック116により計算されるICCパラメータは、ブロック128の出力に、遅延され、かつ、レベルを操作された信号間に所定の相関が得られるように、ブロック128の機能性を制御するために使用される。なお、ステージ126、127および128の順序は、図6に示す順序と異なってもよい。
また、音声信号のフレームによる処理において、BCC分析をフレーム的に、すなわち時間的可変的に行い、図6のフィルタバンク分割により明らかなように、周波数によるBCC分析をさらに得てもよい。これは、BCCパラメータがスペクトル帯ごとに得られることを意味する。また、これは、音声フィルタバンク126が入力信号をたとえば32のバンドパス信号に分ける場合、BCC分析ブロックが32のバンドの各々についてBCCパラメータのセットを取得することも意味する。図6でより詳細に示す、図5のBCC合成ブロック122も、例として上に述べた32のバンドに基づく再生を行う。
次に、個々のBCCパラメータを決定するためのシナリオについて、図4を参照して説明する。通常、ICLD、ICTDおよびICCパラメータは、チャネル対の間で規定され得る。しかしながら、ICLDおよびICTDパラメータは、参照チャネルおよび他の各チャネルとの間で決定することが好ましい。これについては、図4Aに示す。
ICCパラメータは、異なる方法で規定してもよい。図4Bに示すとおり、一般に、ICCパラメータは、エンコーダにおいて可能な全てのチャネル対の間で決定され得る。しかしながら、図4Cに示すように、随時2つの最も強いチャネルの間でのみICCパラメータを計算するという提案がなされている。図4Cの例では、随時にチャネル1および2の間のICCパラメータが計算され、別の時に、チャネル1および5の間のICCパラメータが計算される。そして、デコーダは、デコーダにおける最強チャネルの間のチャネル間相関を合成し、残りのチャネル対については、ある種の発見的ルールを用いて、チャネル間コヒーレンスを計算かつ合成する。
たとえば、送信されたICLDパラメータに基づく乗算パラメータa1、aの計算に関しては、AES大会論文、第5574を引用する。ICLDパラメータは、元のマルチチャネル信号のエネルギ分布を表す。普遍性を失わず、図4Aに示すように、それぞれのチャネルと前方左チャネルとの間のエネルギ差分を表す4つのICLDパラメータをとるのが好ましい。補助情報処理ブロック122においては、乗算パラメータa1、...、aは、再生出力チャネル全ての合計エネルギーが同じである(または送信された和信号のエネルギに比例する)ように、ICLDパラメータから生成される。
図5から明らかなように、一般に、1以上の基本チャネルおよび補助情報は、このような特定のパラメトリックマルチチャネル符号化方式において生成される。また、同様に図5から明らかなように、ブロックに基づく方式においては、通常、各ブロックのダウンミックス信号および/または和信号および/または1以上の基本チャネルが例えば1152のサンプルからなる1つのブロックを構成するように、入力110における元のマルチチャネル信号をブロックステージ111によりブロック処理する。同時に、各ブロックにおいて、対応するマルチチャネルパラメータをBCC分析により生成する。通常、和信号はダウンミックスチャネルを経て、MP3エンコーダやAACエンコーダなどのブロック処理エンコーダにより再び符号化され、さらにデータ量を減少させる。同様に、パラメータデータも差分符号化、スケーリング/量子化、エントロピ符号化等により符号化される。
そして、BCCエンコーダ112およびダウンストリーム基本チャネルエンコーダなどのエンコーダ全体の出力において、共通のデータストリームを導出する。このデータストリームでは、1以上の基本チャネルからなるブロックが、1以上の基本チャネルからなる先行のブロックに連続し、また、符号化されたマルチチャネル補助情報が例えばビットストリームマルチプレクサにより挿入される。
マルチチャネル補助情報を挿入する際には、基本チャネルデータおよびマルチチャネル補助情報を含むデータストリームが必ず基本チャネルデータからなるブロックおよびそれに対応するマルチチャネル補助データからなるブロックを含むようにする。これらのブロックは、例えば、送信フレームを構成する。その後、この送信フレームは送信経路を経てデコーダへ送信される。
入力側では、デコーダはデータストリームからなるフレームを基本チャネルデータのブロックと、それに対応するマルチチャネル補助情報のブロックとに再び分離するデータストリームデマルチプレクサを含む。そして、基本データのブロックを例えばMP3デコーダやAACデコーダにより復号化する。復号化した基本データのブロックをマルチチャネル補助情報のブロックと共にBCCデコーダ102へ送信する。この時、マルチチャネル補助情報のブロックを復号化してもよい。
このようにして、補助情報と基本チャネルデータの時間的対応関係は基本チャネルデータおよび補助情報を共に送信することで自動的に決定され、フレーム方式のデコーダにより容易に再生できる。つまり、基本チャネルデータからなるブロックおよび関連する補助情報という2種類のデータを1つのデータストリームに含めて共に送信することにより、デコーダはその関連する補助情報を自動的に検出する。これにより、マルチチャネルを高品質に再生することが可能となる。したがって、マルチチャネル補助情報が基本チャネルデータに対しタイムオフセットを受けるという問題は起こらない。しかしながら、タイムオフセットが発生した場合、基本チャネルデータからなるブロックは自身ではなく、例えばその前後のブロックに対応するマルチチャネル補助情報と共に処理されるため、マルチチャネルの再生において大幅な品質劣化の原因となる。
このように、基本チャネルデータおよびマルチチャネル補助情報が1つの共通のデータストリームではなく、それぞれ別のデータストリームを構成した場合、マルチチャネル補助情報と基本チャネルデータが対応しなくなってしまう。そのような状況は、例えば、無線やインターネットのように逐次的に動作する送信システムにおいて発生する可能性がある。これらの環境では、送信される音声プログラムは音声基本データ(モノもしくはステレオのダウンミックス音声信号)と拡張データ(マルチチャネル補助情報)に分離され、別々に、もしくは結合して送信される。これら2つのデータストリームが送信装置により同時に送信されたとしても、受信装置までの通信経路において数多くの「予想外のこと」が発生する可能性があり、その結果、ビット数においてかなり軽量なマルチチャネル補助情報のデータストリームが、基本チャネルデータのデータストリームより早く受信装置に到達するというようなことが発生する。
さらに、大幅に効率的なビット数を実現するためには、出力データ量が可変的なエンコーダ/デコーダを使うことが好ましい。ある基本チャネルデータのブロックを復号化するのに、どれくらいの時間がかかるか予測不可能である。さらに、この処理は、例えばパソコンやデジタル受信装置内の、実際に使用される復号化ハードウエアに依存する。さらに、システムおよび/またはアルゴリズムに由来するデータの歪みも発生する。なぜなら、特にビット格納技術においては、平均してある一定の出力データ量が得られるが、現実的な観点からすると、かなり符号化しやすいブロックにおいて使用されないビットは、ビット格納装置にキープされ、含まれる音声信号が大容量などの理由から符号化しにくい別のブロックに使われるからである。
一方で、上述した結合データストリームを2つの別々のデータストリームに分離する方法には、優れた利点がある。例えば、単純なモノあるいはステレオ受信装置などの古いタイプの受信装置は、マルチチャネル補助情報の内容やバージョンに関係なく、いつでも音声基本データを受信および再生できる。このように、個々のデータストリームに分離する方法は、この方法における下位互換性を保障する。
対照的に、新世代の受信装置は、このようなマルチチャネル補助情報を分析し音声基本データと結合することによって、データ全体の拡がり、つまりマルチチャネルサウンドをユーザに提供していると言える。
音声基本データと拡張データを分離して送信する方法としては、デジタル無線が特に興味深い。デジタル無線においては、更なる送信処理をほとんど加えることなく、これまでのステレオ音声信号を5.1などのマルチチャネル形式に拡張するためにマルチチャネル補助情報を利用することができる。この場合、プログラムプロバイダは、送信装置側で、音声/ビデオDVD等に含まれるようなマルチチャネル音源からマルチチャネル補助情報を生成する。そして、このマルチチャネル補助情報は従来どおりステレオ音声信号と平行して送信されるが、この時点で、ステレオ音声信号は単なるステレオ信号ではなく、ダウンミックスによりマルチチャネル信号から生成された2つの基本チャネルを含む。しかし、2つの基本チャネルからなるステレオ信号も、ユーザには従来のステレオ信号と同じように聞こえる。なぜなら、マルチチャネル分析においても、複数のトラックをミキシングして1つのステレオ信号を取り出すという従来行われている音源加工処理に似た処理が、最終的には行われるからである。
分離処理のすばらしい利点は、既存のデジタル無線送信システムと互換性があるということである。補助情報を分析することのできない従来の受信装置でも、品質の制限を受けることなく、従来どおり2チャネルの音声信号を受信し再生することができる。一方、新しいタイプの受信装置では、マルチチャネル情報を既に受信したステレオ音声信号と併せて分析し、復号化し、それに基づいて元の5.1マルチチャネル信号を再生する。
デジタル無線システムにおいて、従来使われていたステレオ信号に変わるものとしてマルチチャネル補助情報を同時に送信するためには、上記で述べたようにマルチチャネル補助情報を符号化したダウンミックス音声信号と結合する方法が考えられる。つまり、必要があればスケーリングでき、かつ従来の受信装置でも読み出すことが可能な1つのデータストリームが考えられる。しかしながら、この時、従来の受信装置はマルチチャネル補助情報に関する補助データを検知しない。
また、受信装置は(有効な)音声データストリームのみ検知し、新しいタイプの受信装置の場合はさらにマルチチャネル音声補助情報を、対応するアップストリームデータ配信装置を介してデータストリームから抽出し、復号化し、5.1マルチチャネル音声として出力する。この時、マルチチャネル補助情報の抽出は、関連する音声データブロックに同期して行われる。
しかしながら、このアプローチの欠点は、従来のようにステレオ音声信号のみ送信するのではなく、ダウンミックス信号および拡張を結合したデータ信号を送信できるように、従来の構造および/または従来のデータ経路を改良する必要がある点である。そうすれば、標準の送信形式をステレオデータに適応した場合、無線送信においても、同期性は結合データストリームにより保障される。
しかしながら、従来の無線システムを変更しなければならない、つまりデコーダのみならず無線送信装置および標準化された送信プロトコルも改良しなければならないとすれば、市場の発展の面からかなり大きな問題である。従って、この方法は、一旦標準として実施されているシステムを変更しなければならないという点でかなりの不利益がある。
別の選択肢としては、マルチチャネル補助情報を従来の音声符号化システムに適用せず、実際の音声データストリームにも挿入しない方法がある。この場合、送信は異なるデジタル補助チャネルを介して行われるが、必ずしも同期する必要がない。そのような例としては、スタジオ内の従来の音声配信システムによって、例えばAES/EBUデータ形式によるPCMデータのような、非圧縮形式でダウンミックスデータを送信する場合が考えられる。そのようなシステムは音声信号を様々な発信元間でデジタル配信することを目的としており、通常、「クロスレール」として知られている機能ユニットが使われている。この方法に変えて、もしくは追加して、音声調節と動的圧縮を目的としてPCM形式で音声信号を処理する方法もある。いずれの方法においても、送信装置と受信装置の間の通信経路において、予測不能な遅延が発生する。
一方で、基本チャネルデータとマルチチャネル補助情報を分離して送信する方法は、既存のステレオシステムを変更する必要がないという点から特に興味深い。つまり、最初の対応策で述べた、標準に適合しないという不利益は発生しないということである。無線システムは補助チャネルのみを送信すればよく、既存のステレオチャネルシステムを変更する必要がない。受信装置のみ下位互換性を持つよう改良する努力をすればよく、ユーザは新しいタイプの受信装置で古いタイプの受信装置より高品質の音声を得られる。
既に述べたとおり、時間シフトの幅は受信した音声信号および補助情報では決定できない。したがって、受信装置において、正しく同期するマルチチャネル信号を再生および対応付けできるかどうか保証がない。このような遅延の更なる例として、例えばデジタル無線の受信装置のような既存の2チャネル送信システムをマルチチャネル送信に改良する場合が考えられる。この場合、ダウンミックス信号を従来の受信装置内の2チャネル音声デコーダで復号化する際、遅延時間が予測できず補正できないということが良く起こる。極端なケースでは、ダウンミックス音声信号は、アナログ部分を持つ送信システムを介してマルチチャネル再生音声デコーダへ送信されることすらある。つまり、ある時点でデジタル/アナログ変換が行われ、その後記憶処理/送信処理を経て、再度アナログ/デジタル変換が行われる。無線通信では、このようなことが常に発生する。しかも、マルチチャネル補助情報に対するダウンミックス信号の遅延をいかに適切に補正するかを前もって予測することができない。また、A/D変換のサンプル周波数とD/A変換のサンプル周波数が互いに少しでも違えば、2つのサンプルレート同士の比率に応じて、必然的に遅延による時間のずれが発生する。
補助データを基本データに同期させるために使われる技術として、「時刻同期方法」として知られる様々な技術がある。これらの技術は、時間スタンプを両方のデータストリームに挿入し、その時間スタンプに基づいて、受信装置において正しくデータを対応させることを基本とする。しかしながら、時間スタンプを挿入するということは、従来のステレオシステムを変更することを意味する。
本発明の目的は、基本チャネルデータおよびマルチチャネル補助情報の同期を可能にする、データストリームおよび/またはマルチチャネル表現の生成概念を提供することである。
この目的は、請求項1に記載のデータストリーム生成装置、請求項17に記載のマルチチャネル表現生成装置、請求項26に記載のデータストリーム生成方法、請求項27に記載のマルチチャネル表現生成方法、請求項28に記載のコンピュータプログラム、または請求項29に記載のデータストリーム表現により達成される。
本発明は、マルチチャネルデータストリームを「送信側」で修正することにより、基本チャネルデータストリームおよびマルチチャネル補助情報データストリームを別々に送信し、時刻同期して結合することができるとする知見に基づく。この時、1以上の基本チャネルに時間経過を付与するフィンガープリント情報を、マルチチャネル補助情報を含むデータストリームに挿入する。それにより、マルチチャネル補助情報とフィンガープリント情報の対応関係をデータストリームから生成できる。したがって、導出されたマルチチャネル補助情報は導出された基本チャネルデータに対応する。データストリームを別々に送信する際にも保障しなければならないのは、まさにこの対応関係である。
本発明によれば、マルチチャネル補助情報と基本チャネルデータの対応関係は、フィンガープリント情報を基本チャネルデータから決定することによって送信装置側で信号化される。この時、それぞれの基本チャネルデータに対応するマルチチャネル補助情報はマークされる。このマルチチャネル補助情報およびフィンガープリント情報の対応関係のマーキングおよび/または信号化は、ブロックに基づくデータ処理、つまり、それぞれの基本チャネルデータブロックに対応するマルチチャネル補助情報ブロック、そのマルチチャネル補助情報に対応する基本チャネルデータブロックのフィンガープリントを関連付けることで達成される。
つまり、再生の際に、マルチチャネル補助情報と一緒に処理されるべき基本チャネルデータブロックのフィンガープリントがマルチチャネル補助情報と関連付けられる。ブロックに基づく送信処理では、各マルチチャネル補助情報ブロックが、対応する基本データのブロックフィンガープリントを含むように、マルチチャネル補助情報データストリームのブロック構造の中に基本チャネルデータブロックのブロックフィンガープリントを挿入してもよい。マルチチャネル再生の際に、ブロックフィンガープリントを同期化の目的で読み出すことができるように、ブロックフィンガープリントを先行のマルチチャネル補助情報の後に直接書き込んでも良いし、既に存在するブロックの前に書き込んでも良いし、ブロック内であればいつの時点で書き込んでも良い。データストリームには、適宜挿入されるブロックフィンガープリントと併せて、通常のマルチチャネル補助データも存在する。
別な選択肢として、データストリームを、例えばブロックカウンターのような補助情報を与えられたブロックフィンガープリントの全てが、本発明によって生成されたデータストリームの最初に位置するような形式で生成してもよい。それにより、データストリームの第一の部分はブロックフィンガープリントのみを含み、第二の部分は、ブロック処理で書き込まれた、ブロックフィンガープリント情報に対応するマルチチャネル補助情報を含む。この方法には、参照情報が必要であるという欠点があるが、しかしながら、ブロック処理によって書き込まれたブロックフィンガープリントとマルチチャネル補助情報の対応関係はその順番から暗黙的であり、更なる情報は必要ない。
この場合、マルチチャネル再生において、同期化の目的で多数のブロックフィンガープリントを予め読み込み、参照フィンガープリント情報を生成してもよい。そして、相関処理に必要な最低限の数のテストフィンガープリントが得られるまで、テストフィンガープリントを段階的に生成する。その間に、マルチチャネル再生における相関処理が差分を用いて行われる場合は、参照フィンガープリントを例えば差分符号化により処理してもよい。この時、データストリームには差分ブロックフィンガープリントではなく、絶対ブロックフィンガープリントが含まれる。
一般的に、基本チャネルデータを含むデータストリームは受信装置側で処理される。すなわち、基本チャネルデータを含むデータストリームはまず復号化され、それから例えばマルチチャネル再生装置へ送信される。好ましくは、このマルチチャネル再生装置は、補助情報を受信しなかった場合には、単にスルースイッチだけを行い、好ましくは2つの基本チャネルをステレオ信号として出力するように構成される。同様に、マルチチャネル補助データに対する基本チャネルデータのオフセットを計算するための相関処理を行うために、復号化した基本チャネルデータから参照フィンガープリント情報を抽出し、テストフィンガープリント情報を計算する。実施例によっては、さらに相関計測して、そのオフセットが本当に正しいかどうか検証してもよい。この場合、2回目の相関処理により得られたオフセットと、1回目の相関処理により得られたオフセットとの差は、所定の閾値以下である。
この場合、得られたオフセットは正しいと考えられる。したがって、同期されたマルチチャネル補助情報を受信した後、ステレオ出力からマルチチャネル出力へ変換される。
この処理は、ユーザに同期に要する時間に気づいて欲しくない場合に望ましい。この場合、基本チャネルデータは受信された瞬間に処理され、同期化が行われる際、つまりオフセットが計算される際に、当然ステレオデータのみが出力される。これは、その時点ではまだ同期されたマルチチャネル補助情報が検知されていないためである。
オフセットの計算に必要な「最初の遅延」が問題とならない他の実施例では、基本チャネルデータの第1のブロックから順番に同期マルチチャネル補助情報を生成するのと平行して、ステレオデータを予め出力することなく同期処理全体を行い、再生処理してもよい。これにより、ユーザはブロックの最初から同期した5.1を体感できる。
本発明の好ましい実施例では、理想的にオフセットを計算するために参照フィンガープリント情報としての参照フィンガープリントが約200必要なため、同期に要する時間は通常5秒である。例えば一方向の送信信号の場合のように、この約5秒の遅延が問題にならない場合、オフセット計算に要した時間が経過してからではあるが、5.1再生は最初から行われる。例えば会話等の対話型アプリケーションでは、この遅延は望ましくなく、その場合は同期処理が終了した後、随時ステレオ再生をマルチチャネル再生へと切り替える。同期されないマルチチャネル補助情報に基づいてマルチチャネル再生を行うより、ステレオ再生のみを行うほうが良いことが分かっている。
本発明によれば、基本チャネルデータとマルチチャネル補助情報を時間的に関連付ける際に発生する問題は、送信装置、受信装置双方を改良することによって解決できる。
送信装置においては、時間可変的で適切なフィンガープリント情報を、対応するモノあるいはステレオのダウンミックス音声信号から計算する。好ましくは、このフィンガープリント情報は、送信されたマルチチャネル補助情報データストリームにおいて同期化補助として定期的に挿入される。この処理は、好ましくは、例えばブロック処理された空間音声符号化補助情報の中間におけるデータフィールドとして行われる。もしくは、フィンガープリント信号は、容易に追加したり削除できるようにデータブロックにおける最初あるいは最後の情報として送信される。
受信装置側においては、時間可変的で適切なフィンガープリント情報を、対応するステレオ音声信号、すなわち基本チャネルデータから計算する。この基本チャネルデータは、本発明によれば、好ましくは2つの基本チャネルの複数対からなる。さらに、フィンガープリントをマルチチャネル補助情報から抽出する。その後、マルチチャネル補助情報および受信した音声信号との間のタイムオフセットを、例えばテストフィンガープリント情報および参照フィンガープリント情報の相互相関を計算するような相関処理方法により計算する。また、試行錯誤法により、様々なブロックラスタに基づいて基本チャネルデータから計算した様々な種類のフィンガープリント情報を参照フィンガープリント情報と比較し、対応するテストフィンガープリント情報が参照フィンガープリント情報と最も良く適合するブロックラスタに基づいてタイムオフセットを決定してもよい。
最後に、マルチチャネル補助情報を伴う基本チャネルからなる音声信号は、ダウンストリーム遅延補正ステージにより、後のマルチチャネル再生のために同期される。実施例によっては、最初の遅延のみ補正してもよい。しかしながら、好ましくは、オフセット計算は、オフセットを必要に応じて再調整できるように、再生と平行して行われる。また、最初の遅延を補正したにも関わらず、送信した基本チャネルデータおよびマルチチャネル補助情報の間に時間的ずれがある場合には、オフセットの計算は相関処理の結果に基づいて行われる。この遅延補正ステージは、能動的に制御してもよい。
本発明は、基本チャネルデータおよび/または基本チャネルデータの処理経路において、一切変更を必要としない点で効果的である。受信装置に送信された基本チャネルデータストリームは、従来の基本チャネルデータストリームと一切変わらない。変更されるのはマルチチャネルデータストリームのみである。フィンガープリント情報が挿入されるという点が改良点であるが、現時点では、マルチチャネルデータストリームに関しては標準化された方式がないため、マルチチャネル補助データストリームに変更を加えても、基本チャネルデータストリームを改良した場合には発生すると思われる、既に標準として実施され確立された方式に反するという不利益は発生しない。
本発明の概念によれば、マルチチャネル補助情報をかなり柔軟に配信することができる。特に、マルチチャネル補助情報がかなり少ないデータ量または/および記憶容量しか必要としない軽量なパラメータ情報である場合、デジタル受信装置は、そのデータをステレオ信号と完全に分離して受信してもよい。例えば、ユーザはステレオ録音のためのマルチチャネル補助情報を、既に手持ちのソリッドステートプレーヤあるいは別の供給者のCDから獲得し、それらをユーザの再生装置に記録することもできる。このような記録処理においては、特にパラメトリックマルチチャネル補助情報の記録に必要な記録条件はそんなに大きくないため、問題は一切発生しない。ユーザがCDを挿入もしくはステレオ機器を選択すると、対応するマルチチャネル補助データストリームをマルチチャネル補助データメモリからフェッチし、マルチチャネル補助データストリームのフィンガープリント情報に基づいてステレオ信号と同期して、マルチチャネル再生を実施する。本発明による解決法によれば、全く異なる送信元から送信される場合もあり得るマルチチャネル補助データを、ステレオ信号の種類に関わらずステレオ信号と同期できる。すなわち、ステレオ信号はデジタル無線受信装置から受信しようとも、CDから受信しようとも、DVDから受信しようとも構わない。また、例えばインターネットを介して受信しようとも構わず、この場合、ステレオ信号は基本チャネルデータとなり、マルチチャネル再生はそれに基づいて行われる。
発明の好ましい実施例について、添付の図面を参照しながら詳細に説明する。
図1は、元のマルチチャネル信号をマルチチャネル再生するためのデータストリームを生成する装置を示す。この場合、本発明の好ましい実施例によれば、マルチチャネル信号は少なくとも2つのチャネルからなる。データストリーム生成装置はフィンガープリント生成装置2を含み、元のマルチチャネル信号から生成された1以上の基本チャネルを入力ライン3を通じて、フィンガープリント生成装置2に送信してもよい。基本チャネルの数は、1以上且つ元のマルチチャネル信号のチャネル数より少ない。元のマルチチャネル信号が、2つのチャネルからなる1つのステレオ信号であれば、2つのステレオチャネルからなる1つの基本チャネルのみ生成されることになる。しかしながら、元のマルチチャネル信号が3つ以上のチャネルからなる信号であれば、基本チャネルの数は2となる。従来のステレオ再生と同様に、マルチチャネル補助データなしで音声を再生できるため、このような実施形態が好ましい。本発明の好ましい実施例では、元のマルチチャネル信号は5つのチャネルと、1つのLFE(Low Frequency Enhancement=低音増強)チャネルからなるサラウンド信号である。LFEチャネルはサブウーファともよばれる。5つのチャネルは、左サラウンドチャネルLs、左チャネルL、中央チャネルC、右チャネルR、後方右および/または右サラウンドチャネルRsからなる。2つの基本チャネルは左基本チャネルおよび右基本チャネルからなる。当業者は、1つおよび/または複数の基本チャネルをダウンミックスチャネルと呼ぶこともある。
フィンガープリント生成装置2は1以上の基本チャネルからフィンガープリント情報を生成するための装置である。フィンガープリント情報は1以上の基本チャネルに時間経過を付与する。実施例によって、フィンガープリント情報の計算に要する作業量は変わる。例えば、「音声ID」で知られる統計的方法に基づいてフィンガープリントを計算する際には、大きな作業量を要する。しかしながら、これ以外のどんな数値で1以上の基本チャネルに時間経過を与えても構わない。
本発明によれば、ブロックに基づく処理が望ましい。この場合、フィンガープリント情報は一連のブロックフィンガープリントからなり、各ブロックフィンガープリントは各ブロック内の1つおよび/または複数のチャネルのエネルギを示す値となる。別の方法としては、例えば所定のサンプルブロック1個もしくは複数のサンプルブロックの組合せをブロックフィンガープリントとして利用することもできる。この場合、フィンガープリント情報であるフィンガープリントブロックの数が十分に多ければ、粗いものであったとしても、1以上の基本チャネルの時間特性を再生できるからである。一般的に、フィンガープリント情報は1以上の基本チャネルのサンプルデータから生成され、多少のエラーを伴って1以上の基本チャネルに時間経過を付与する。これにより、後で述べるように、マルチチャネル補助情報のデータストリームおよび基本チャネルの間のオフセットを最終決定するために、デコーダ/受信装置側で基本チャネルからテストフィンガープリント情報との相関を計算できる。
出力側では、フィンガープリント生成装置2はデータストリーム生成装置4に送信するフィンガープリント情報を生成する。データストリーム生成装置4はフィンガープリント情報からデータストリームと、通常、時間可変的なマルチチャネル補助情報を生成する。マルチチャネル補助情報と1以上の基本チャネルを組合わせることにより元のマルチチャネル信号をマルチチャネル再生できる。データストリーム生成装置は出力5においてデータストリームを生成し、マルチチャネル補助情報とフィンガープリント情報の対応関係をデータストリームから生成する。本発明によれば、1以上の基本チャネルから生成されたフィンガープリント情報によりマルチチャネル補助情報のデータストリームをマーキングし、マルチチャネル補助情報と基本チャネルデータの対応関係をフィンガープリント情報により決定する。この時、フィンガープリント情報とマルチチャネル補助情報とはデータストリーム生成装置4において対応付けられる。
図2は、本発明による、1以上の基本チャネルとデータストリームから元のマルチチャネル信号のマルチチャネル表現を生成する装置を示す。この時、データストリームは1以上の基本チャネルに時間経過を付与するフィンガープリント情報およびマルチチャネル補助情報を含み、1以上の基本チャネルと組合わせることにより、元のマルチチャネル信号をマルチチャネル再生できる。マルチチャネル補助情報およびフィンガープリント情報の対応関係はデータストリームから生成してもよい。受信装置および/またはデコーダにおいて、1以上の基本チャネルは入力10を介してフィンガープリント生成装置11に送信される。出力側では、フィンガープリント生成装置11は出力12を介してテストフィンガープリント情報を同期装置13に送信する。好ましくは、図1に示すブロック2で実行されるものと全く同じアルゴリズムにより、1以上の基本チャネルからテストフィンガープリント情報を生成する。しかしながら、実施例によっては、このアルゴリズムは全く同一でなくてもよい。
例えば、フィンガープリント生成装置2は絶対符号化によりブロックフィンガープリントを生成し、デコーダのフィンガープリント生成装置11は差分に基づきフィンガープリントを決定してもよい。この時、ブロックに対応するテストブロックフィンガープリントは2つの絶対フィンガープリントの差分となる。この場合、すなわち、絶対ブロックフィンガープリントがフィンガープリント情報を含むデータストリームによって送信される場合、フィンガープリント抽出装置14はデータストリームからフィンガープリント情報を抽出し、同時に差分を形成し、そのデータを参照フィンガープリント情報として出力15を介して同期装置13に送信する。このデータはテストフィンガープリント情報に相当する。
一般的に、デコーダにおけるテストフィンガープリント情報の計算アルゴリズムと、エンコーダにおけるフィンガープリント情報の計算アルゴリズムは少なくとも、同期装置13において、これら2種類のフィンガープリント情報を使って、入力16を介して受信するデータストリームに含まれるマルチチャネル補助データと1以上の基本チャネルに含まれるデータを同期できる程度には、類似していることが望ましい。この時、エンコーダにおけるフィンガープリント情報は、図2に示すように、参照フィンガープリント情報とも呼ばれる。同期装置の出力におけるマルチチャネル表現として、基本チャネルデータおよび同期するマルチチャネル補助データを含む、同期マルチチャネル表現が生成される。
この観点から、好ましくは、同期装置13は基本チャネルデータおよびマルチチャネル補助データ間のタイムオフセットを決定し、決定したタイムオフセットに基づいてマルチチャネル補助データを遅延させる。通常、マルチチャネル補助データの方が到達するのが早い、すなわち早すぎることが明らかになっている。これは、通常、基本チャネルデータのデータ量に比べてマルチチャネル補助情報に対応するデータ量がかなり少ないことに起因するであろう。したがって、マルチチャネル補助データが遅延すれば、1以上の基本チャネルに含まれるデータは基本チャネルデータライン17を介して入力10から同期装置13へ送信され、文字通り同期装置13をただ「通過」し、出力18から再び出力される。入力16から受信したマルチチャネル補助データはマルチチャネル補助データライン19を介して同期装置へ送信され、そこで、決定されたタイムオフセットに基づき遅延され、基本チャネルデータと共に同期装置の出力20からマルチチャネル再生装置21に送信される。再生装置は、例えば5つの音声チャネルおよび1つのウーファチャネル(図2には示さない)を生成するために、出力側で音声再生処理を行う。
ライン18および20におけるデータは同期したマルチチャネル表現を構成し、ライン20上のデータストリームは、フィンガープリント情報がデータストリームから分離されている点を除き、恐らく行われるマルチチャネル補助データの符号化から離れて、入力16におけるデータストリームに対応している。実施例によっては、フィンガープリント情報をデータストリームから分離する処理は、同期装置13、もしくはそれ以前の段階で行われる。もしくは、フィンガープリントを分離する処理は、予めフィンガープリント抽出装置14で行ってもよい。この場合、ライン19は存在せず、ライン19’が直接フィンガープリント抽出装置9から同期装置13に接続される。この場合、マルチチャネル補助データおよび参照フィンガープリント情報の両方が、フィンガープリント抽出装置により同期装置13へ並列に送信される。
同期装置は、テストフィンガープリント情報および参照フィンガープリント情報に基づいて、また、マルチチャネル情報およびデータストリームから生成され、かつ、データストリームに含まれるフィンガープリント情報との相関に基づいて、マルチチャネル補助情報および1以上の基本チャネルを同期する。後で述べるように、好ましくは、マルチチャネル補助情報とフィンガープリント情報の時間的対応関係は、単純にフィンガープリント情報が、マルチチャネル補助情報の前に位置するか、後ろに位置するか、もしくは、中に位置するかによって決定される。フィンガープリントがマルチチャネル補助情報の前に位置するか、後ろに位置するか、中に位置するかによって、そのマルチチャネル補助情報が間違いなくそのフィンガープリント情報に対応するものかどうか、エンコーダで決定される。
好ましくは、ブロックに基づく処理が行われる。好ましくは、フィンガープリントを挿入する際に、マルチチャネル補助データのブロックは必ずブロックフィンガープリントの後に続く。すなわち、マルチチャネル補助情報は、ブロックフィンガープリントと交互になっている。しかし、またこれとは別に、全てのフィンガープリント情報がデータストリームの最初の分離した部分に書かれ、その後にデータストリーム全体が続くようなデータストリームの形式が使われてもよい。この場合は、ブロックフィンガープリントと、マルチチャネル補助情報のブロックは交互にならない。フィンガープリントとマルチチャネル補助情報を関連付ける他の方法は、当業者には公知である。本発明によれば、マルチチャネル補助情報とフィンガープリント情報の関連付けは、フィンガープリント情報を使ってマルチチャネル補助情報および基本チャネルデータを同期できるように、デコーダにおいてデータストリームに基づいて行われればよい。
次に、図7a〜図7dを参照して、ブロック処理の好ましい実施例について述べる。図7aは、一連のブロックB1〜B8からなる、例えば5.1信号等の元のマルチチャネル信号を示し、図7aの例によれば各ブロックはマルチチャネル情報MKiを含む。5チャネル信号の場合を考えると、ブロックB1など各ブロックはそれぞれのチャネルに対応する、例えば1152個の第一の音声サンプルを含む。このブロックサイズは、例えば、図5に示すBCCエンコーダ112において好ましい。この場合、連続する信号から一連のブロックを生成するためのブロック生成処理、すなわち切出し処理は、図5において「ブロック」として示す構成要素111によって実行される。
1以上の基本チャネルを、図5において参照符号115で示す「和信号」としてダウンミックスブロック114で出力する。基本チャネルデータは、再び、一連のブロックB1〜B8として示す。ここで、図7bに示すブロックB1〜B8は図7aに示すブロックB1〜B8に対応する。しかし、時間領域表現に基づけば、この時点ではブロックは元の5.1信号は含まず、モノ信号もしくは2つのステレオ基本チャネルからなるステレオ信号のみ含む。従って、ブロックB1は、第1のステレオ基本チャネルおよび第2のステレオ基本チャネルの両方の、1152個の時間サンプルを含む。この左右両方のステレオ基本チャネルの1152個のサンプルは、サンプル加減および重み付けにより計算され、該当する場合には、例えば図5に示すダウンミックスブロック114における実施例により計算される。同様に、マルチチャネル情報を含むデータストリームはブロックB1〜B8を含む。図7cに示す各ブロックは図7aに示す元のマルチチャネル信号のブロックおよび/または図7bに示す1つまたは複数の基本チャネルのブロックに対応する。例えば、元のマルチチャネル信号MK1のブロックB1を再生するためには、基本チャネルデータストリームのブロックB1に含まれる基本チャネルデータBK1を、図7cに示すブロックB1に含まれるマルチチャネル情報P1と結合させなければならない。図6に示す実施例においては、この結合処理はBCC合成ブロックにおいて行われる。この場合、基本チャネルデータをブロック処理するために、入力においてブロック生成ステージを含む。
したがって、図7cに示すようにP3はマルチチャネル情報を表し、マルチチャネル情報と、基本チャネルに含まれるBK3のブロックとを組み合わせることにより、元のマルチチャネル信号に含まれるブロック値MK3を再生することができる。
本発明によれば、図7cに示すデータストリームの各ブロックBiはブロックフィンガープリントを含む。すなわち、好ましくは、ブロックB3においてブロックフィンガープリントF3はマルチチャネル情報のブロックP3の後ろに書かれている。このブロックフィンガープリントは、この時点で、ブロック値BK3を含むブロックB3から生成される。もしくは、ブロックフィンガープリントF3は差分符号化により処理してもよい。この時、フィンガープリントF3は、基本チャネルにおけるブロックBK3のブロックフィンガープリントと、基本チャネルにおけるブロック値BK2を含むブロックのブロックフィンガープリントとの差分である。本発明の好ましい実施例においては、エネルギ値および/または差分エネルギ値をブロックフィンガープリントとして利用する。
初めに述べた方式では、図7bに示す1以上の基本チャネルを含むデータストリームを、図7cに示すマルチチャネル情報およびフィンガープリント情報を含むデータストリームから分離してマルチチャネル再生装置へ送信する。他の処理を何も行わなければ、例えば図5に示すBCC合成ブロック122のようなマルチチャネル再生装置において、次に処理されるべきブロックがBK5という場合が考えられる。しかしながら、マルチチャネル情報における時間のずれから、ブロックB5の変わりにブロックB7が次に処理される、ということが起こり得る。そのままいくと、基本チャネルデータのブロックBK5はマルチチャネル情報P7と共に再生され、アーチファクトとなる。本発明によれば、後で詳細に述べるように、2つのブロック間のオフセットを計算して図7cに示すデータストリームを2ブロック分遅延し、互いに同期した図7bに示すデータストリームと図7cに示すデータストリームからマルチチャネル表現を再生する。
実施例により、またフィンガープリント情報の構成/正確性により、本発明おけるオフセットの決定は、ブロックの倍数(整数)として計算することに限らず、ブロックの分数として正確なオフセットを決定してもよい。もしくは、計算された相関が十分に正確で、十分な数のブロックフィンガープリントがあれば、あるサンプルを導出してもよい。(当然、相関を計算するための時間を要する。)しかしながら、そんなに高い正確性は必ずしも必要としないことが明らかになっており、プラスマイナスブロック半分の誤差の同期精度(1152個のサンプルからなるブロック長)があれば、ユーザが欠陥データを感じないと思われる程度のマルチチャネル再生が達成される。
図7dはブロックBi、例えば図7cに示すデータストリームに含まれるブロックB3の好ましい実施例を示す。このブロックは、例えば1バイトの長さをもつ同期語で始まり、次には長さ情報が来る。なぜなら、当業者には明らかなように、このブロックは好ましくは計算処理の後、マルチチャネル情報P3をスケーリングし、量子化し、エントロピ符号化するためである。例えばパラメータ情報やサイドチャネルの波形信号などのマルチチャネル情報の長さを最初から知ることはできず、そのため、データストリームの中で信号化しなければならない。
そこで、本発明においては、ブロックフィンガープリントをマルチチャネル情報P3の最後部に挿入する。図7dに示す実施例において、1バイト、つまり8ビットがブロックフィンガープリントに使われる。1ブロックあたり1つのエネルギ尺度のみ使われるため、量子化のみ行われて、エントロピ符号化は行われない実施例においては、8ビットの量子化出力長による量子化では、量子化装置が使われる。したがって、量子化エネルギ値が図7dに示す8ビットのフィールド、「ブロックFA」に、更なる処理を経ずに入力される。図7dには示さないが同様に、次のデータストリームブロックのための同期化バイト、長さのバイト、そしてさらにBK4に対応するマルチチャネル情報P4と続く。この場合、基本チャネルデータブロックBK4に対応するマルチチャネル情報P4のブロックの後には、同様に、基本チャネルデータBK4に基づくブロックフィンガープリントが続く。
図7dに示すように、絶対エネルギ尺度もしくは差分エネルギ尺度をエネルギ尺度として採用してもよい。この場合、基本チャネルデータBK3のエネルギ尺度と基本チャネルデータBK2の差分がデータストリームのブロックB3にブロックフィンガープリントエネルギ値として追加される。
図8は、図2に示す同期装置、フィンガープリント生成装置11、およびフィンガープリント抽出装置9をマルチチャネル再生装置21と共に更に詳細に示す。基本チャネルデータを基本チャネルデータバッファ25へ送信し、中間でバッファリングする。同様に、補助情報および/または、補助情報およびフィンガープリント情報を含むデータストリームを補助情報バッファ26に送信する。通常、両方のバッファはFIFOバッファの構造になっているが、バッファ26は更にフィンガープリント情報を参照フィンガープリント抽出装置9により抽出し、さらにデータストリームから分離できる容量を備える。これにより、挿入されたフィンガープリントを含まずに、マルチチャネル補助情報のみをバッファ出力ライン27を介して出力する。フィンガープリントをデータストリームから分離する処理は、タイムシフタ28やその他の構成要素により行われてもよく、その場合、マルチチャネル再生時に、マルチチャネル再生装置21はフィンガープリントバイトの影響を受けない。絶対フィンガープリントが参照用およびテスト用両方に使われた場合、フィンガープリント生成装置11により計算されたフィンガープリント情報は、フィンガープリント抽出装置9により決定されたフィンガープリント情報同様に、図2に示す同期装置13内の相関器29に直接送信されてもよい。そして、相関器はオフセット値を計算し、その計算したオフセット値をオフセットライン30を介してタイムシフタ28へ送信する。有効なオフセット値が生成され、タイムシフタ28へ送信されると、同期装置13は更に、実行装置31を制御する。これにより、実行装置31はスイッチ32を閉鎖し、バッファ26からのマルチチャネル補助データのストリームは、タイムシフタ28およびスイッチ32を介してマルチチャネル再生装置21へ送信される。
本発明の好ましい実施例では、マルチチャネル補助情報のタイムシフト(遅延)のみ行われる。同時に、正確なオフセット値の計算と平行してマルチチャネル再生も行われるため、ユーザはマルチチャネル再生装置21の出力において、オフセット値を正確に計算するために発生する時間の遅延に気づかない。しかしながら、このようなマルチチャネル再生は、「簡単な」マルチチャネル再生に過ぎない。なぜなら、好ましくは、単に2つのステレオ基本チャネルがマルチチャネル再生装置21から出力されるだけだからである。したがって、スイッチ32が開放されている場合、ステレオ出力のみ行われる。しかし、スイッチ32が閉鎖されている場合、マルチチャネル再生装置21は、ステレオ基本チャネルと併せてマルチチャネル補助情報も受信し、マルチチャネル出力を行う。しかしながら、この時、このマルチチャネル出力は既に同期されている。ユーザは、ステレオ品質がマルチチャネル品質に変換されていることにしか気づかない。
しかしながら、時間の最初の遅延が主な問題ではないケースの場合、マルチチャネル再生装置21における出力は、有効なオフセットが得られるまで保留してもよい。一番最初のブロック(図7bに示すBK1)を、正確に遅延させたマルチチャネル補助データP1(図7c)と共にマルチチャネル再生装置21へ送信してもよい。この場合、マルチチャネルデータが得られた時のみ、出力が開始されることになる。この実施例では、スイッチが開放している時にはマルチチャネル再生装置21での出力は行われない。
次に、図9を参照して、図8に示す相関器29の機能について説明する。図9の最上部の図に示すように、テストフィンガープリント計算装置11の出力において、一連のテストフィンガープリント情報が送信される。従って、1、2、3、4、iの参照符号で示す基本チャネルの各ブロックに対して、ブロックフィンガープリントが得られる。相関アルゴリズムによっては、一連の離散値のみ相関に必要とする場合もある。しかしながら、図9に示すように、他の相関アルゴリズムでは離散値の間を補間する曲線を入力値として求めてもよい。同様に、参照フィンガープリント決定装置9は、一連の離散参照フィンガープリントをデータストリームから抽出し生成する。例えば、データストリームが差分符号化処理されたフィンガープリント情報を含み、相関器が絶対フィンガープリントに基づいて動作する場合、図8に示す差分デコーダ35が作動する。しかしながら、好ましくは、データストリームはエネルギ尺度としての絶対フィンガープリントを含む。なぜなら、このようなブロックごとの総エネルギに関する情報は、マルチチャネル再生装置21におけるレベル補正にも有効活用できるからである。更に、好ましくは、相関処理は、差分フィンガープリントに基づいて行われる。この場合、既に述べたように、ブロック9は相関器より前の段階で差分処理を行い、ブロック11も相関器より前の段階で差分処理を行う。
図9の上部2つの図に示すように、相関器29は曲線および/または一連の離散値を示し、また、図9の最下部の図に示すような相関結果を得る。この相関結果では、オフセット成分は2つのフィンガープリント情報曲線の間のオフセットを示す。更に、オフセットは正であるため、マルチチャネル補助情報を正の時間方向へシフト、つまり遅延しなければならない。なお、マルチチャネル再生装置における2つの情報の入力時に同期マルチチャネル表現を含んでさえいれば、当然、基本チャネルデータを負の時間方向へシフトしてもよい。あるいは、マルチチャネル補助情報を正の方向へいくらかシフトし、且つ基本チャネル補助データをオフセットのうちいくらか分、負の方向へシフトしてもよい。
次に、図10を参照して、音声出力と平行してオフセットを計算する際の好ましい実施例について説明する。基本チャネルデータが常に1つのフィンガープリントを計算するようにバッファリングし、マルチチャネル再生のために、既に計算したテストブロックフィンガープリントをマルチチャネル再生装置へ送信する。次に、同様に基本チャネルデータの次のブロックをバッファ25へ送信し、このブロックからテストブロックフィンガープリントを計算する。例えば、200個のブロックについて、この処理を実行する。しかしながら、この200個のブロックは、「簡単な」マルチチャネル再生として、単にステレオ出力データとしてマルチチャネル再生装置からステレオ出力される。この場合、ユーザは遅延には気づかない。
実施例によっては、200個より少ない、もしくは200個より多い数のブロックを使用してもよい。本発明によれば、100個から300個の間の数のブロック、好ましくは200個のブロックから、計算時間・相関計算作業量・オフセットの正確性の間に妥当な妥協点を得られることが分かっている。
ブロック36の処理が完了すると、ブロック37の処理を実行する。ここでは、計算した200個のテストブロックフィンガープリントと計算した200個の参照ブロックフィンガープリントを相関器29により相関処理し、得られるオフセット結果を記憶する。そして、次の例えば200個の基本チャネルデータブロックを、ブロック36の処理に相当するブロック38の処理に基づき計算する。同様に、200個のブロックをマルチチャネル補助情報を含むデータストリームから抽出する。続いて、ブロック39で同様に相関処理を行い、得られるオフセット結果を記憶する。そして、ブロック40の処理で、第1の200個のブロック群に基づくオフセット結果と、第2の200個のブロック郡に基づくオフセット結果の偏差値を決定する。ブロック41の処理では、この偏差値が所定の閾値より小さい場合、オフセットを図8に示すタイムシフタ28へオフセットライン30を介して送信し、スイッチ32を閉鎖する。それにより、この時点でマルチチャネル出力のスイッチを構成する。偏差値に対する所定の閾値は、例えば、1つもしくは2つブロック分である。これは、オフセットが最初の計算と次の計算の間で、1つもしくは2つブロック分以上違わなければ、相関計算処理において誤りは発生しないからである。
上記の実施例とは違い、例えば200個のブロック分の窓の長さに基づくスライドウインドウを利用してもよい。例えば、200個のブロックの計算を行い、結果を得る。そして、1個先のブロックを処理し、相関計算処理に使ったブロックからブロックを1個削除し、変わりに新しいブロックを使う。先に得られた結果同様に、計算した結果をヒストグラムに記録する。この処理を、相関計算処理の回数分だけ、つまり、例えば100個か200個行い、段階的にヒストグラムを埋める。ヒストグラムの頂点をオフセットとして計算し、最初のオフセットを算出し、もしくは動的再調整を行う。
オフセット計算は出力と同時に行われ、ブロック42の処理と平行して行われる。必要であれば、マルチチャネル情報を含むデータストリームおよび基本チャネルデータを含むデータストリームが正しく対応付けされていないのが発見された場合、更新したオフセット値を図8に示すタイムシフタ28にライン30を介して送信し、適応および/または動的オフセットトラッキングを実行する。なお、適応トラッキングを行う際は、実施例に応じてオフセット変化を平滑化し、例えば2つのブロックの偏差値を求めた時に、必要に応じてオフセットを1つずつ増加し続け、曲線が急激に変化しないようにしてもよい。
次に、図11を参照して、図1に示すエンコーダ側のフィンガープリント生成装置2および図2に示すデコーダ側のフィンガープリント生成装置11の好ましい実施例について述べる。
通常、マルチチャネル音声信号は、マルチチャネル補助データを取得するために、所定のサイズのブロックに分割される。この時、マルチチャネル補助データの取得と同時に、ブロックごとのフィンガープリントを計算する。この方法は、信号の時間構造を出来るだけ一意的に特徴付けるのに有効である。この考えに基づく実施例では、音声ブロックの現在のダウンミックス音声信号におけるエネルギ容量を例えばデシベル表現のような対数形式で利用する。この場合、フィンガープリントは音声信号の時間エンベロープを表す。送信する情報量を減少し、測定値の正確性を向上させるために、このような同期情報を先行するブロックのエネルギ値との差分として表現してもよく、その後に適宜、例えばハフマン符号化などのエントロピ符号化、適応スケーリング、および量子化を実行してもよい。時間エンベロープのフィンガープリントは以下ように求める。
まず、図11の1に示すように、現在のブロックにおけるダウンミックス音声信号のエネルギを、通常、ステレオ信号について計算する。例えば、左右両方のダウンミックスチャネルの1152個の音声サンプルをそれぞれ二乗し、合計する。Sleft(i)は左基本チャネルの時間iにおける時間サンプルを表し、Sright(i)は右基本チャネルの時間iにおける時間サンプルを表す。モノラルのダウンミックス信号では、合計処理は行われない。更に、好ましくは、ダウンミックス音声信号において、本発明に重要ではない直接の構成要素を計算処理の前の段階で削除する。
次に行われる対数表現のために、ステップ2においてエネルギの最小化を行う。エネルギをデシベル分析するために、好ましくは最小エネルギオフセットを使い、ゼロエネルギの場合には、妥当な対数計算が行われるようにする。このエネルギ尺度をdBで表すと、16ビットの音声信号解像度では、0〜90(dB)の範囲になる。
図11の3に示すように、マルチチャネル補助情報および受信した信号の間のタイムオフセットを正確に決定する際には、絶対エネルギエンベロープではなく、信号エンベロープの傾き(傾斜度)を使用するのが好ましい。したがって、エネルギエンベロープの傾きのみを相関計算処理に使用する。技術的な面から言うと、この信号導出は、先行するブロックのエネルギ値との間の差分処理により計算する。この処理は、例えばエンコーダなどで実行され、フィンガープリントは差分符号化された値からなる。また、この処理は、デコーダのみで実行してもよい。この場合、送信されたフィンガープリントは非差分符号化の値からなる。この時、差分の計算はデコーダのみで行われる。後者の解決法においては、フィンガープリントがダウンミックス信号の絶対エネルギに関する情報を含むという利点がある。しかしながら、典型的には、フィンガープリントにおいて、いくらか長いワード長を必要とする。
さらに、最適制御のために、エネルギ(信号のエンベロープ)をスケーリングするのが好ましい。次に行うこのフィンガープリントの量子化において、数値的な幅を最大まで活用し、さらに低いエネルギ値に対する解像度を向上するために、さらにスケーリング(利得)するのが有効である。スケーリングは所定の統計的重み付けにより実行してもよいし、あるいはエンベロープ信号に適応された動的利得制御により実行してもよい。
さらに、図11の5に示すように、フィンガープリントを量子化する。このフィンガープリントをマルチチャネル補助情報に挿入するために8ビットに量子化する。実際、この減少したフィンガープリント解像度は、必要となるビット数や遅延の検出における信頼度の面から有効な妥協点であることが分かっている。255を超える数のオーバーフローについては、特性飽和曲線により255が最大値となるよう制限されている。
図11の6に示すように、この時点でフィンガープリントを最適エントロピ符号化してもよい。フィンガープリントの統計的特性を求めることにより、量子化フィンガープリントが必要とするビット数を更に減少できる。有効なエントロピ方法は、例えばハフマン符号化や算術符号化である。フィンガープリントごとの統計的に異なる周波数は、異なる符号長により表し、フィンガープリント表現において平均的に必要なビット数を減少してもよい。
マルチチャネル補助データの計算は、マルチチャネル音声信号を利用して、音声ブロックごとに行われる。計算されたマルチチャネル補助情報は続いて同期情報により拡張され、適当な埋込み処理によりビットストリームに追加される。
本発明の解決策によれば、受信装置はダウンミックス信号と補助情報のタイムオフセットを検出し、時間にずれのない適応化、つまり、ステレオ音声信号とマルチチャネル補助情報の間の遅延を、プラスマイナス音声ブロック半分分の範囲で補間する。したがって、受信装置において、マルチチャネル構造はほぼ完全に、つまりプラスマイナス音声フレーム半分分のほとんど知覚されない時間のずれを除いて、再生される。この場合、再生されたマルチチャネル音声信号の品質に、特筆するほどの影響は与えない。
環境に応じて、本発明による生成方法および/または復号化方法はハードウエアまたはソフトウエアのいずれで実現してもよい。これは、デジタル記憶媒体、特に電子的に読出し可能な制御信号を備えるフロッピーディスクやCD上で実現され、フロッピーディスクやCDは、本発明による方法が実行されるように、プログラム可能なコンピュータシステムと連動できる。一般に、本発明は、コンピュータで実行し、本発明の方法を実現するための機械で読取り可能な担体上に記憶されたプログラム符号を有するコンピュータプログラム製品においても実現される。すなわち、本発明は、コンピュータ上で実行すれば、本発明による方法を実現するためのプログラム符号を有するコンピュータプログラムとして、実現することもできる。
本発明のデータストリーム生成装置の回路ブロック図である。 本発明のマルチチャネル表現生成装置の回路ブロック図である。 チャネルデータおよびパラメトリックマルチチャネル情報を生成するための公知のジョイントステレオエンコーダの図である。 BCC符号化/復号化のためのICLD、ICTDおよびICCパラメータを決定するための図式である。 BCCエンコーダ/デコーダ列のブロック図である。 図5に示すBCC合成ブロックの実現例である。 元のマルチチャネル信号を一連のブロックとして表した概略図である。 1つまたは複数の基本チャネルを一連のブロックとして表した概略図である。 本発明による、マルチチャネル情報および関連するブロックフィンガープリントを含むデータストリームの概略図である。 図7cに示すデータストリームのブロックの典型例を示す図である。 本発明の好ましい実施例による、マルチチャネル表現生成装置の詳細図である。 テストフィンガープリント情報および参照フィンガープリント情報間の相関に基づくオフセット決定処理の概略図である。 データ出力と平行して行うオフセット決定処理の好ましい実施例を示すフローチャートである。 エンコーダおよびデコーダにおける、フィンガープリント情報および/または符号化フィンガープリント情報の計算処理の概略図である。

Claims (33)

  1. 2以上のチャネルを有する元のマルチチャネル信号をマルチチャネル再生するためのデータストリームを生成する装置であって、
    前記元のマルチチャネル信号から生成した1以上かつ前記元のマルチチャネル信号のチャネル数より少ない数の1以上の基本チャネルから、前記1以上の基本チャネルに時間経過を付与するフィンガープリント情報を生成するフィンガープリント生成装置(2)および、
    前記1以上の基本チャネルと組合わせることにより前記元のマルチチャネル信号のマルチチャネル再生を可能にする時間可変的マルチチャネル補助情報のデータストリームを前記フィンガープリント情報から生成するデータストリーム生成装置(4)を備え、
    前記データストリーム生成装置(4)は前記マルチチャネル補助情報および前記フィンガープリント情報の間の時間的対応関係を前記データストリームから生成するための前記データストリームを生成する、装置。
  2. 前記フィンガープリント生成装置(2)は前記1以上の基本チャネルをブロック処理して前記フィンガープリント情報を生成し、
    マルチチャネル再生のために前記1以上の基本チャネルのブロックと組合わせるために前記マルチチャネル補助情報をブロック処理により計算し、
    前記データストリーム生成装置(4)は前記マルチチャネル補助情報および前記フィンガープリント情報をブロック処理により前記データストリームに書き込む、請求項1に記載の装置。
  3. 前記フィンガープリント生成装置(2)は、前記1以上の基本チャネルのブロックに関するフィンガープリント情報として、前記ブロック内の前記基本チャネルに時間経過を付与するブロックフィンガープリントを生成し、
    前記マルチチャネル補助情報のブロックはマルチチャネル再生のために前記基本チャネルのブロックと組合わされ、
    前記マルチチャネル補助情報のブロックおよび前記フィンガープリントのブロックが互いに所定の対応関係を形成するように、前記データストリーム生成装置(4)はブロック処理にて前記データストリームを生成する、請求項2に記載の装置。
  4. 前記フィンガープリント生成装置(2)は、時間的に連続する前記1以上の基本チャネルのブロックに対し一連のブロックフィンガープリントをフィンガープリント情報として計算し、
    前記マルチチャネル補助情報を、時間的に連続する前記1以上の基本チャネルのブロックに対しブロック処理にて生成し、
    前記データストリーム生成装置は、前記一連のマルチチャネル補助情報のブロックに対し所定の関係で前記一連のブロックフィンガープリントを書き込む、請求項2に記載の装置。
  5. 前記フィンガープリント生成装置(2)は、前記1以上の基本チャネルのブロック2個における2種類のフィンガープリント値間の差分をブロックフィンガープリントとして計算する、請求項4に記載の装置。
  6. 前記フィンガープリント生成装置(2)は、フィンガープリント値の量子化およびエントロピ符号化を行い、前記フィンガープリント情報を生成する、請求項1から請求項5のいずれかに記載の装置。
  7. 前記フィンガープリント生成装置(2)はフィンガープリント値をスケーリング情報によりスケーリングし、更に前記フィンガープリント情報に基づき前記スケーリング情報を前記データストリームに書き込む、請求項6に記載の装置。
  8. 前記フィンガープリント生成装置(2)はブロック処理にて前記フィンガープリント情報を計算し、
    前記データストリーム生成装置(4)は、データストリームのブロックが、マルチチャネル補助情報のブロックおよびそれに対応するフィンガープリント情報のブロックおよび前記1以上の基本チャネルのブロックからなるようにブロック処理にて前記データストリームを生成する、請求項1から請求項7のいずれかに記載の装置。
  9. 2以上の基本チャネルがあり、
    前記フィンガープリント生成装置(2)は前記2以上の基本チャネルをサンプル処理もしくはスペクトル処理により加算、もしくは二乗し加算する、請求項1から請求項8のいずれかに記載の装置。
  10. 前記フィンガープリント生成装置(2)は、前記1以上の基本チャネルのエネルギエンベロープに関するデータをフィンガープリント情報として利用する、請求項1から請求項9のいずれかに記載の装置。
  11. 前記フィンガープリント生成装置(2)は、前記1以上の基本チャネルのエネルギエンベロープに関するデータをフィンガープリント情報として利用し、
    前記フィンガープリント生成装置(2)は更に、前記エネルギの最小化を利用し、最小エネルギを対数表現する、請求項10に記載の装置。
  12. 前記1以上の基本チャネルが符号化形式でマルチチャネル再生装置に送信され、
    前記符号化形式は非可逆エンコーダにより生成され、
    更に、前記1以上の基本チャネルを前記フィンガープリント生成装置(2)に対する入力信号として復号化するための基本チャネルデコーダを備える、請求項11に記載の装置。
  13. 前記マルチチャネル補助データが、それぞれ対応する前記1以上の基本チャネルのブロックとブロック的に対応するマルチチャネルパラメータデータである、請求項1から請求項12のいずれかに記載の装置。
  14. 前記1以上の基本チャネルの一連のブロックおよび前記マルチチャネル補助情報の一連のブロックをブロック処理にて生成するマルチチャネル分析装置(112)を更に備え、
    前記フィンガープリント生成装置(2)はブロックフィンガープリント値を前記1以上の基本チャネルの各ブロック値から計算する、請求項13に記載の装置。
  15. 前記データストリーム生成装置(4)は、前記1以上の基本チャネルをマルチチャネル再生手段に送信するための標準データチャネルとは別のデータチャネルに前記データストリームを生成する、請求項14に記載の装置。
  16. 前記標準データチャネルは、デジタルステレオ無線信号のための標準チャネルまたはインターネットを介する送信のための標準チャネルである、請求項15に記載の装置。
  17. 1以上の基本チャネルおよび、前記1以上の基本チャネルに時間経過を付与するフィンガープリント情報および前記1以上の基本チャネルと組合わせることにより前記元のマルチチャネル信号の前記マルチチャネル再生を可能にするマルチチャネル補助情報を含むデータストリームから元のマルチチャネル信号のマルチチャネル表現(18、20)を生成する装置であって、前記マルチチャネル補助情報よび前記フィンガープリント情報の対応関係は前記データストリームから生成され、
    テストフィンガープリント情報を前記1以上の基本チャネルから生成するためのフィンガープリント生成装置(11)、
    前記データストリームからフィンガープリント情報を抽出し、参照フィンガープリント情報を生成するためのフィンガープリント抽出装置(9)および、
    前記テストフィンガープリント情報、前記参照フィンガープリント情報および、前記データストリームに含まれ且つ前記データストリームから生成される前記マルチチャネル情報および前記フィンガープリント情報の対応関係を利用して、前記マルチチャネル補助情報および前記1以上の基本チャネルを時間的に同期し、同期マルチチャネル表現を生成する同期装置(13)を備える、装置。
  18. 前記同期マルチチャネル表現を利用して前記マルチチャネル表現を再生し、前記元のマルチチャネル信号を再生するためのマルチチャネル再生装置(21)を更に備える、請求項17に記載の装置。
  19. 前記データストリームは、参照フィンガープリント情報としての一連の参照フィンガープリント値に時間的に対応する、一連のマルチチャネル補助データのブロックからなり、
    前記抽出装置(9)は、マルチチャネル補助データのブロックに対し、時間的対応関係に基づき対応するフィンガープリント値を決定し、
    前記フィンガープリント生成装置(11)は、一連の前記1以上の基本チャネルのブロックに対し、一連のテストフィンガープリント値をテストフィンガープリント情報として決定し、
    前記同期装置(13)は前記マルチチャネル補助データのブロックおよび前記1以上の基本チャネルのブロックとの間のオフセットを、前記一連のテストフィンガープリント値および前記一連の参照フィンガープリント値の間のオフセット(30)に基づき計算し、前記一連のマルチチャネル補助情報のブロックを計算したオフセットに基づき遅延(28)することにより前記オフセットを補間する、請求項17または請求項18に記載の装置。
  20. 前記フィンガープリント生成装置(11)はフィンガープリント値を量子化し、前記テストフィンガープリント情報を生成する、請求項17から請求項19のいずれかに記載の装置。
  21. 前記フィンガープリント生成装置(11)は、前記データストリームに含まれるスケーリング情報に基づき、フィンガープリント値をスケーリングする、請求項17から請求項20のいずれかに記載の装置。
  22. 2以上の基本チャネルがあり、
    前記フィンガープリント生成装置(11)は前記2以上の基本チャネルをサンプル処理またはスペクトラム処理により加算、または二乗し加算する、請求項17から請求項21のいずれかに記載の装置。
  23. 前記フィンガープリント生成装置(11)は、前記1以上の基本チャネルのエネルギエンベロープに関するデータをフィンガープリント情報として利用する、請求項17から請求項22のいずれかに記載の装置。
  24. 前記フィンガープリント生成装置(11)は、前記1以上の基本チャネルのエネルギエンベロープに関するデータをフィンガープリント情報として利用し、
    前記フィンガープリント生成装置(11)は更に、前記エネルギの最小化を利用し、最小エネルギを対数表現する、請求項17から請求項23のいずれかに記載の装置。
  25. マルチチャネル補助情報のブロックおよびブロックフィンガープリントは、ブロック構成された前記データストリームのブロックに含まれ、
    前記フィンガープリント生成装置(11)は、前記1以上の基本チャネルの2つのブロックフィンガープリント間の差分をテストフィンガープリント情報として計算し、
    前記フィンガープリント抽出装置(9)は更に前記データストリームに含まれる2つのブロックフィンガープリント間の差分を計算し、参照フィンガープリントとして前記同期装置(13)に送信する、請求項17から請求項24のいずれかに記載の装置。
  26. 前記同期装置(13)は、オーディオ出力と平行して前記マルチチャネル補助データおよび前記1以上の基本チャネルとの間のオフセットを計算し、前記オフセットを適応的に補間する、請求項17から請求項25のいずれかに記載の装置。
  27. 更に、同期マルチチャネル補助データが得られない時は前記1以上の基本チャネルを再生し、同期マルチチャネル補助データが得られた時は前記1以上の基本チャネルのモノラルまたはステレオ再生からマルチチャネル再生に変換(32)する、請求項18に記載の装置。
  28. 互いに異なる2つの論理チャネルまたは物理チャネルを介して、もしくは異なるタイミングで動作する同一の送信チャネルを介して受信されるビットストリームから、前記データストリームおよび前記1以上の基本チャネルを別々に生成する、請求項17から請求項27のいずれかに記載の装置。
  29. 2以上のチャネルを有する元のマルチチャネル信号をマルチチャネル再生するためのデータストリーム生成方法であって、
    前記元のマルチチャネル信号から生成した、1以上且つ前記元のマルチチャネル信号のチャネル数よりも少ない数の1以上の基本チャネルから、前記1以上の基本チャネルに時間経過を付与するフィンガープリント情報を生成(2)し、
    フィンガープリント情報から時間可変的なマルチチャネル補助情報のデータストリームを生成(4)し、前記1以上の基本チャネルと組み合わさって前記元のマルチチャネル信号のマルチチャネル再生を可能にし、前記マルチチャネル補助情報および前記フィンガープリント情報の時間的対応関係を前記データストリームから生成できるように前記データストリームを生成する、方法。
  30. 元のマルチチャネル信号のマルチチャネル表現(18、20)を1以上の基本チャネルおよび、前記1以上の基本チャネルに時間経過を付与するフィンガープリント情報および前記1以上の基本チャネルと組合わさって前記元のマルチチャネル信号のマルチチャネル再生を可能にするマルチチャネル補助情報を含むデータストリームから生成する方法であって、前記マルチチャネル補助情報および前記フィンガープリント情報の対応関係は前記データストリームから生成され、
    テストフィンガープリント情報を前記1以上の基本チャネルから生成(11)し、
    前記フィンガープリント情報を前記データストリームから抽出(9)し、参照フィンガープリント情報を生成し、および
    前記テストフィンガープリント情報、前記参照フィンガープリント情報、および前記マルチチャネル補助情報および前記データストリームに含まれ且つ前記データストリームから生成される前記フィンガープリント情報の対応関係に基づき、前記マルチチャネル補助情報および前記1以上の基本チャネルを同期(13)し、同期マルチチャネル表現を生成する、方法。
  31. 請求項29または請求項30に記載の方法をコンピュータ上で実行するためのプログラム符合を含むコンピュータプログラム。
  32. 元のマルチチャネル信号から生成された、1以上且つ前記元のマルチチャネル信号のチャネル数より少ない数の1以上の基本チャネルに時間経過を付与するフィンガープリント情報および前記1以上の基本チャネルと組合わさって前記元のマルチチャネル信号のマルチチャネル再生を可能にするマルチチャネル補助情報含むデータストリームであって、前記マルチチャネル補助情報および前記フィンガープリント情報の対応関係は前記データストリームから生成される、データストリーム。
  33. 前記データストリームが請求項17に記載の装置に送信される時に前記元のマルチチャネル信号の同期マルチチャネル表現を生成するための制御信号を含む、請求項32に記載のデータストリーム。
JP2008503398A 2005-03-30 2006-03-15 データストリームおよびマルチチャネル表現を生成するための装置および方法 Active JP5273858B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102005014477A DE102005014477A1 (de) 2005-03-30 2005-03-30 Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung
DE102005014477.2 2005-03-30
PCT/EP2006/002369 WO2006102991A1 (de) 2005-03-30 2006-03-15 Vorrichtung und verfahren zum erzeugen eines datenstroms und zum erzeugen einer multikanal-darstellung

Publications (2)

Publication Number Publication Date
JP2008538239A true JP2008538239A (ja) 2008-10-16
JP5273858B2 JP5273858B2 (ja) 2013-08-28

Family

ID=36598142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008503398A Active JP5273858B2 (ja) 2005-03-30 2006-03-15 データストリームおよびマルチチャネル表現を生成するための装置および方法

Country Status (12)

Country Link
US (1) US7903751B2 (ja)
EP (1) EP1864279B1 (ja)
JP (1) JP5273858B2 (ja)
CN (1) CN101189661B (ja)
AT (1) ATE434253T1 (ja)
AU (1) AU2006228821B2 (ja)
CA (1) CA2603027C (ja)
DE (2) DE102005014477A1 (ja)
HK (1) HK1111259A1 (ja)
MY (1) MY139836A (ja)
TW (1) TWI318845B (ja)
WO (1) WO2006102991A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011512554A (ja) * 2008-02-14 2011-04-21 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号のフィンガープリントを計算するための装置及び方法、同期のための装置及び方法、並びに試験オーディオ信号の特徴付けのための装置及び方法
JP2011512555A (ja) * 2008-02-14 2011-04-21 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチチャネル拡張データのオーディオ信号との同期及びオーディオ信号の処理のための装置並びに方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2339329A3 (de) 2007-02-21 2012-04-04 Agfa HealthCare N.V. System und Verfahren zur optischen Kohärenztomographie
US8612237B2 (en) * 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
WO2009071115A1 (en) * 2007-12-03 2009-06-11 Nokia Corporation A packet generator
BRPI0905069A2 (pt) * 2008-07-29 2015-06-30 Panasonic Corp Aparelho de codificação de áudio, aparelho de decodificação de áudio, aparelho de codificação e de descodificação de áudio e sistema de teleconferência
JP5602138B2 (ja) * 2008-08-21 2014-10-08 ドルビー ラボラトリーズ ライセンシング コーポレイション オ−ディオ及びビデオ署名生成及び検出のための特徴の最適化及び信頼性予測
ES2570967T4 (es) * 2008-10-06 2017-08-18 Telefonaktiebolaget Lm Ericsson (Publ) Método y aparato para proporcionar audio alineado de múltiples canales
CN103177725B (zh) * 2008-10-06 2017-01-18 爱立信电话股份有限公司 用于输送对齐的多通道音频的方法和设备
CN102369573A (zh) * 2009-03-13 2012-03-07 皇家飞利浦电子股份有限公司 嵌入和提取辅助数据
GB2470201A (en) * 2009-05-12 2010-11-17 Nokia Corp Synchronising audio and image data
US8436939B2 (en) * 2009-10-25 2013-05-07 Tektronix, Inc. AV delay measurement and correction via signature curves
US9426574B2 (en) * 2010-03-19 2016-08-23 Bose Corporation Automatic audio source switching
EP2458890B1 (en) * 2010-11-29 2019-01-23 Nagravision S.A. Method to trace video content processed by a decoder
US9075806B2 (en) * 2011-02-22 2015-07-07 Dolby Laboratories Licensing Corporation Alignment and re-association of metadata for media streams within a computing device
KR101742136B1 (ko) 2011-03-18 2017-05-31 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
US8832039B1 (en) 2011-06-30 2014-09-09 Amazon Technologies, Inc. Methods and apparatus for data restore and recovery from a remote data store
US10754813B1 (en) 2011-06-30 2020-08-25 Amazon Technologies, Inc. Methods and apparatus for block storage I/O operations in a storage gateway
US8706834B2 (en) 2011-06-30 2014-04-22 Amazon Technologies, Inc. Methods and apparatus for remotely updating executing processes
US8639989B1 (en) 2011-06-30 2014-01-28 Amazon Technologies, Inc. Methods and apparatus for remote gateway monitoring and diagnostics
US8639921B1 (en) 2011-06-30 2014-01-28 Amazon Technologies, Inc. Storage gateway security model
US8806588B2 (en) 2011-06-30 2014-08-12 Amazon Technologies, Inc. Storage gateway activation process
US9294564B2 (en) 2011-06-30 2016-03-22 Amazon Technologies, Inc. Shadowing storage gateway
US8793343B1 (en) 2011-08-18 2014-07-29 Amazon Technologies, Inc. Redundant storage gateways
US8789208B1 (en) 2011-10-04 2014-07-22 Amazon Technologies, Inc. Methods and apparatus for controlling snapshot exports
US9635132B1 (en) 2011-12-15 2017-04-25 Amazon Technologies, Inc. Service and APIs for remote volume-based block storage
KR20130101629A (ko) * 2012-02-16 2013-09-16 삼성전자주식회사 보안 실행 환경 지원 휴대단말에서 컨텐츠 출력 방법 및 장치
US9553756B2 (en) * 2012-06-01 2017-01-24 Koninklijke Kpn N.V. Fingerprint-based inter-destination media synchronization
CN102820964B (zh) * 2012-07-12 2015-03-18 武汉滨湖电子有限责任公司 一种基于系统同步与参考通道的多通道数据对齐的方法
EP2693392A1 (en) 2012-08-01 2014-02-05 Thomson Licensing A second screen system and method for rendering second screen information on a second screen
CN102937938B (zh) * 2012-11-29 2015-05-13 北京天诚盛业科技有限公司 指纹处理装置及其控制方法和控制装置
TWI557727B (zh) * 2013-04-05 2016-11-11 杜比國際公司 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品
JP6349977B2 (ja) * 2013-10-21 2018-07-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20150302086A1 (en) 2014-04-22 2015-10-22 Gracenote, Inc. Audio identification during performance
US20160344902A1 (en) * 2015-05-20 2016-11-24 Gwangju Institute Of Science And Technology Streaming reproduction device, audio reproduction device, and audio reproduction method
EP3115932A1 (en) * 2015-07-07 2017-01-11 Idex Asa Image reconstruction
CN108352165B (zh) * 2015-11-09 2023-02-03 索尼公司 解码装置、解码方法以及计算机可读存储介质
EP3249646B1 (en) * 2016-05-24 2019-04-17 Dolby Laboratories Licensing Corp. Measurement and verification of time alignment of multiple audio channels and associated metadata
US10015612B2 (en) 2016-05-25 2018-07-03 Dolby Laboratories Licensing Corporation Measurement, verification and correction of time alignment of multiple audio channels and associated metadata
EP3324406A1 (en) 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a variable threshold
EP3324407A1 (en) * 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a ratio as a separation characteristic
CN112986963B (zh) * 2021-02-08 2024-05-03 武汉徕得智能技术有限公司 一种激光脉冲测距回波信号多路缩放结果选择控制方法
CN112995708A (zh) * 2021-04-21 2021-06-18 湖南快乐阳光互动娱乐传媒有限公司 一种多视频同步方法及装置
CN114003546B (zh) * 2022-01-04 2022-04-12 之江实验室 一种多通道开关量复合编码设计方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155598A (ja) * 1998-11-19 2000-06-06 Matsushita Electric Ind Co Ltd 多チャンネル・オーディオ信号の符号化/復号化方法と装置
JP2004505328A (ja) * 2000-07-31 2004-02-19 シャザム エンターテインメント リミテッド 高い雑音、歪み環境下でサウンド・楽音信号を認識するシステムおよび方法
JP2004078183A (ja) * 2002-06-24 2004-03-11 Agere Systems Inc オーディオ信号のマルチチャネル/キュー符号化/復号化

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1173925B1 (en) * 1999-04-07 2003-12-03 Dolby Laboratories Licensing Corporation Matrixing for lossless encoding and decoding of multichannels audio signals
US7013301B2 (en) * 2003-09-23 2006-03-14 Predixis Corporation Audio fingerprinting system and method
TW510144B (en) 2000-12-27 2002-11-11 C Media Electronics Inc Method and structure to output four-channel analog signal using two channel audio hardware
US7461002B2 (en) * 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US20030035553A1 (en) 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7116787B2 (en) 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
DK1504445T3 (da) * 2002-04-25 2008-12-01 Landmark Digital Services Llc Robust og invariant lydmönster-matching
EP1506550A2 (en) * 2002-05-16 2005-02-16 Koninklijke Philips Electronics N.V. Signal processing method and arrangement
JP2006528859A (ja) * 2003-07-25 2006-12-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオとビデオを同期させるための指紋生成及び検出の方法及び装置
ATE527654T1 (de) 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
DE102004046746B4 (de) * 2004-09-27 2007-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten
US7567899B2 (en) * 2004-12-30 2009-07-28 All Media Guide, Llc Methods and apparatus for audio recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155598A (ja) * 1998-11-19 2000-06-06 Matsushita Electric Ind Co Ltd 多チャンネル・オーディオ信号の符号化/復号化方法と装置
JP2004505328A (ja) * 2000-07-31 2004-02-19 シャザム エンターテインメント リミテッド 高い雑音、歪み環境下でサウンド・楽音信号を認識するシステムおよび方法
JP2004078183A (ja) * 2002-06-24 2004-03-11 Agere Systems Inc オーディオ信号のマルチチャネル/キュー符号化/復号化

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FALLER, C., ET AL.: ""Efficient Representation of Spatial Audio Using Perceptual Parametrization"", APPLICATIONS OF SIGNAL PROCESSING TO AUDIO AND ACOUSTICS 2001, JPN6009042459, October 2001 (2001-10-01), pages 199 - 202, ISSN: 0002511183 *
ROLF BARDELI, ET AL.: ""Robust Identification of Time-Scaled Audio"", PROCEEDINGS OF THE AES 25TH INTERNATIONAL CONFERENCE, JPN6010029508, June 2004 (2004-06-01), pages 1 - 12, ISSN: 0001899919 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011512554A (ja) * 2008-02-14 2011-04-21 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号のフィンガープリントを計算するための装置及び方法、同期のための装置及び方法、並びに試験オーディオ信号の特徴付けのための装置及び方法
JP2011512555A (ja) * 2008-02-14 2011-04-21 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチチャネル拡張データのオーディオ信号との同期及びオーディオ信号の処理のための装置並びに方法

Also Published As

Publication number Publication date
JP5273858B2 (ja) 2013-08-28
HK1111259A1 (en) 2008-08-01
DE102005014477A1 (de) 2006-10-12
CA2603027C (en) 2012-09-11
US7903751B2 (en) 2011-03-08
AU2006228821B2 (en) 2009-07-23
WO2006102991A1 (de) 2006-10-05
ATE434253T1 (de) 2009-07-15
MY139836A (en) 2009-10-30
TW200644704A (en) 2006-12-16
AU2006228821A1 (en) 2006-10-05
TWI318845B (en) 2009-12-21
DE502006003997D1 (de) 2009-07-30
EP1864279B1 (de) 2009-06-17
US20080013614A1 (en) 2008-01-17
EP1864279A1 (de) 2007-12-12
CN101189661A (zh) 2008-05-28
CA2603027A1 (en) 2006-10-05
CN101189661B (zh) 2011-10-26

Similar Documents

Publication Publication Date Title
JP5273858B2 (ja) データストリームおよびマルチチャネル表現を生成するための装置および方法
TWI431610B (zh) 用以將以物件為主之音訊信號編碼與解碼之方法與裝置
JP5455647B2 (ja) オーディオデコーダ
JP5006315B2 (ja) オーディオ信号のエンコーディング及びデコーディング方法及び装置
CN101952885B (zh) 用于同步多声道扩展数据与音频信号以及用于处理音频信号的装置和方法
JP5467105B2 (ja) オブジェクトベースのメタデータを用いてオーディオ出力信号を生成するための装置および方法
CN101971249B (zh) 用于计算音频信号的指纹、用于同步、以及用于表征测试音频信号的装置和方法
KR100296838B1 (ko) 음향영상정위장치및음향영상제어방법
JP5179881B2 (ja) オーディオソースのパラメトリックジョイント符号化
RU2394283C1 (ru) Способы и устройства для кодирования и декодирования объектно-базированных аудиосигналов
JP2008512708A (ja) マルチチャネル信号またはパラメータデータセットを生成する装置および方法
AU2004298708A1 (en) Fidelity-optimised variable frame length encoding
JP2005533271A (ja) オーディオ符号化
KR20070061872A (ko) 바이노럴 큐 코딩 방법 등을 위한 개별 채널 시간 엔벌로프정형
KR20070001139A (ko) 오디오 분배 시스템, 오디오 인코더, 오디오 디코더 및이들의 동작 방법들
KR100636145B1 (ko) 확장된 고해상도 오디오 신호 부호화 및 복호화 장치
RU2383941C2 (ru) Способ и устройство для кодирования и декодирования аудиосигналов
JP4743228B2 (ja) デジタル音声信号解析方法、その装置、及び映像音声記録装置
KR101495879B1 (ko) 입체 음향 실시간 생성 장치 및 이를 구비하는 입체 음향 실시간 재생 시스템
Rumsey Data reduction for high quality digital audio storage and transmission

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110722

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120830

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130513

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5273858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250