JP2010506226A - デジタルデータ集合を結合するための方法及び符号器、結合デジタルデータ集合の復号方法及び復号器、並びに結合デジタルデータ集合を記憶するための記録媒体 - Google Patents

デジタルデータ集合を結合するための方法及び符号器、結合デジタルデータ集合の復号方法及び復号器、並びに結合デジタルデータ集合を記憶するための記録媒体 Download PDF

Info

Publication number
JP2010506226A
JP2010506226A JP2009531862A JP2009531862A JP2010506226A JP 2010506226 A JP2010506226 A JP 2010506226A JP 2009531862 A JP2009531862 A JP 2009531862A JP 2009531862 A JP2009531862 A JP 2009531862A JP 2010506226 A JP2010506226 A JP 2010506226A
Authority
JP
Japan
Prior art keywords
samples
digital data
data set
sample
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009531862A
Other languages
English (en)
Other versions
JP5325108B2 (ja
JP2010506226A5 (ja
Inventor
デン ベルジェ グイド ファン
ベレン ウィルフリート ファン
Original Assignee
ギャラクシー ステューディオス エヌヴェー
デン ベルジェ グイド ファン
ベレン ウィルフリート ファン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ギャラクシー ステューディオス エヌヴェー, デン ベルジェ グイド ファン, ベレン ウィルフリート ファン filed Critical ギャラクシー ステューディオス エヌヴェー
Publication of JP2010506226A publication Critical patent/JP2010506226A/ja
Publication of JP2010506226A5 publication Critical patent/JP2010506226A5/ja
Application granted granted Critical
Publication of JP5325108B2 publication Critical patent/JP5325108B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

2つのデジタルデータ集合は、第1のサブセットのサンプルを該第1のサブセットのサンプルと交互配置される第2のサブセットからの隣接サンプルに等化し、2つのデジタルデータ集合の等化されたサンプルは時間的に対応しておらず、次いで、両方のデジタルデータ集合から対応するサンプルを追加することによって結合される。これにより、2つのデジタルデータ集合の分解を可能にする第3のデジタルデータ集合が得られることになる。2つのデジタルオーディオチャンネルを結合して単一のデジタルオーディオストリームにしたときに、第3のデジタルデータ集合は、それでも尚、2つの結合されたデジタルオーディオストリームの良好なモノラル表現であり、従って、標準の再生機器で再生することができ、更に、本発明による復号器の使用により、第3のデジタルデータ集合からの2つのデジタルデータ集合の分解が可能となる。
【選択図】図5

Description

本発明は、第1のサイズを有するサンプルの第1のデジタルデータ集合及び第2のサイズを有するサンプルの第2のデジタルデータ集合を結合して、第1のサイズ及び第2のサイズの合計よりも小さい第3のサイズを有するサンプルの第3のデジタルデータ集合にする方法に関するものである。
このような方法は、2つのデジタルデータ集合を第3のデジタルデータ集合に混合する方法が開示された欧州特許第1592008号公報から公知である。2つのデジタルデータ集合を該2つのデジタルデータ集合のサイズの合計よりも小さいサイズを有する単一のデジタルデータに適合させるためには、2つのデジタルデータ集合内の情報の削減が必要である。欧州特許第1592008号では、第1のデジタルデータ集合における第1の集合の予め定義した位置との間のサンプルで、及び第2のデジタルデータ集合における予め定義した位置との間のサンプルが一致しない集合で補間を定義する際にこの削減を行っている。デジタルデータ集合の予め定義した位置との間のこれらのサンプル値は、補間値に設定される。2つのデジタルデータ集合内の情報においてこの削減を行った後、第1のデジタルデータ集合の各サンプルを第2のデジタルデータ集合の対応するサンプルと合計する。これにより、合計したサンプルを含む第3のデジタルデータ集合が結果として得られる。サンプルのこの合計と、第1のデジタルデータ集合及び第2のデジタルデータ集合間の予め定義した位置との間におけるオフセットの既知の関連性とによって、予め定義された位置間での補間サンプルのみを有する場合でも、第1のデジタルデータ集合及び第2のデジタルデータ集合の回復が可能になる。欧州特許第1592008号の方法をオーディオストリームに用いた場合、この補間は、顕著に分かるほどのものではなく、第3のデジタルデータ集合は、含まれる2つのデジタルデータ集合のミックスした表現として再生することができる。補間したサンプルを用いて第1及び第2のデジタルデータ集合の取り出しを可能にするために、第1及び第2のデジタルデータ集合両方の開始値が既知となる必要があり、このため、これらの2つの値もまた、第3のデジタルデータ集合からの2つのデジタルデータ集合を後で分解できるようにするために、ミックする間に記憶される。
欧州特許第1592008号の方法には、符号化側で集中的に処理することが必要となる欠点がある。
欧州特許第1592008号公報
本発明の目的は、符号化側で必要とされる処理を低減することである。この目的を達成するために、本発明の方法は、
−第1のデジタルデータ集合の第1のサブセットのサンプルを、第1のサブセットのサンプルと交互配置された第1のデジタルデータ集合の第2のサブセットのサンプルのうちの隣接サンプルに等化するステップと、
−第2のデジタルデータ集合の第3のサブセットのサンプルを、第3のサブセットのサンプルと交互配置された第2のデジタルデータ集合の第4のサブセットのサンプルのうちの隣接サンプルに等化するステップと、
−第1のデジタルデータ集合のサンプルを時間領域において第2のデジタルデータ集合の対応するサンプルに追加することによって、第3のデジタルデータ集合のサンプルを生成するステップと、
−第1のデジタルデータ集合の第1のシードサンプル及び第2のデジタルデータ集合の第2のシードサンプルを第3のデジタルデータ集合内に埋め込むステップと、
を含む。
欧州特許第1592008号の方法の補間ステップを、予め定義された位置同士の値が隣接サンプルの値に設定されるステップと置き換えることによって、符号化側での処理の大変さが大幅に低減される。結果として得られた信号により、第3のデジタルデータ集合からの2つのデジタルデータ集合の分解(すなわち抽出)も可能である。2つのデジタルオーディオストリームを単一のデジタルオーディオストリームに結合したときの第3のデジタルデータ集合は、2つの結合されたデジタルオーディオストリームの良好なモノラル表現でもある。
本発明は、結合し分解する本方法により、それぞれの予め定義された位置での第1及び第2のデジタルデータ集合のサンプルが劣化されずに取り出し可能となり、第3のデジタルデータ集合を復号した後に、サンプル間でサンプル補間が劣化しないことが可能になるので、復号側でも等しく良好に行うことができることから符号化側では補間は必要ではないという認識に基づいている。本発明の独立請求項の第3のデジタルデータ集合は、本発明の場合において第1及び第2のデジタルデータ集合の真の合計と第3のデジタルデータ集合との間にはより大きな誤差が通常は存在する点で、欧州特許第1592008号の第3のデジタルデータ集合とは異なっている。
第1のデジタルデータ集合の第1のサブセットのサンプルを、第1のサブセットのサンプルと交互配置された第1のデジタルデータ集合の第2のサブセットのサンプルのうちの隣接サンプルに等化するステップは、第1のデジタルデータ集合内の情報を容易に削減することを実現する。
第2のデジタルデータ集合の第3のサブセットのサンプルを、第3のサブセットのサンプルと交互配置された第2のデジタルデータ集合の第4のサブセットのサンプルのうちの隣接サンプルと等化するステップは、第2のデジタルデータ集合内の情報を容易に削減することを実現する。
オリジナルの値がシード値として機能できる場合に、第1及び第2のデジタルデータ集合からオリジナルの値を作成して、第2及び第4のサブセットが確実に交互配置されるようにすることによって、第1及び第2のデジタルデータ集合は、第1のデジタルデータ集合の第1のサブセットのサンプルが第1のデジタルデータ集合の第2のサブセットのサンプルのうちの隣接サンプルと等化され、且つ第2のデジタルデータ集合の第3のサブセットのサンプルが第2のデジタルデータ集合の第4のサブセットのサンプルのうちの隣接サンプルと等化された状態において、第3のデジタルデータ集合から取り出すことができる。
第1及び第2のデジタルデータ集合がこの状態で取り出されると、補間又はフィルタリングを用いて、第2のデジタルデータストリームから第1のデジタルデータストリームの第1のサブセットのサンプル及び第3のサブセットのサンプルのオリジナルの値をできる限り、正確に復元することができる。従って、第1のデジタルデータストリーム及び第2のデジタルデータストリームを第3のデジタルデータストリームに結合する方法により、第2及び第4のサブセットのサンプルを高精度で取り出すことと、第1及び第3のサブセットの値を再構成することが可能となり、必要に応じて復号中に補間ステップを実施することができる。
補間は、符号器により規定されるのではなく復号器によって選択及び実施することができるので、再構成がどのレベルの品質を達成するかに関して、復号器を含むエンドユーザ装置が決定することができる。
第1及び第2のデジタルデータ集合の補間を強制せずに、第3のデジタルデータストリームの最下位ビット内に隠された誤差近似を含めることによって、復号処理によりどの再構成が適用されることになるかを自由に選ぶことができるという利点が得られる。しかしながら、第3のデジタルセット(誤差近似を含む第1及び第2のデジタルセットからのサンプルの混合であるもの)の構成中に誤差近似が使用されたときには、最下位ビット内に隠された誤差近似値を復号プロセス中にも使用して、オリジナルのデジタルデータ集合、すなわちオリジナルのデジタルオーディオチャンネルの再構成を行うようにしなければならない。
予め定義された位置でのサンプル値は、最下位ビット内の情報の損失以外は完全に取り出し可能であるので、復号中の再構成を選択し、最下位ビット内に記憶された誤差近似を使用し、該サンプル値間の線形補間を実施することができる。従って、符号化及び復号システムをより柔軟に用いることができる。
符号化は、単に処理を最小限に抑えて、誤差近似を付加することなく所定の位置間のサンプルの値を隣接サンプルの値に設定するだけで、第1及び第2のデジタルデータストリームを第3のデジタルデータストリームにマージすることができ、或いは、誤差近似の限定されたセットから誤差近似を選択し、第3のデジタルデータ集合の最下位ビットに追加することができる。
本方法の一実施形態において、第1のデジタルデータ集合は第1のオーディオ信号を表し、第2のデジタルデータ集合は第2のオーディオ信号を表す。
本発明をオーディオ信号に適用することにより、第1及び第2のオーディオ信号を、許容可能な精度で取り出すことができることが得られるだけでなく、第3のデジタルデータ集合によって表される結果として得られた結合オーディオ信号は、第2のオーディオ信号で混合されたときに、第1のオーディオ信号の知覚可能に許容可能な表現であることも得られる。従って、第1又は第2のデジタルオーディオ信号を第3のデジタルデータ集合から抽出することができない機器上で結果として得られた第3のデジタルデータ集合を適切に再生でき、一方、抽出を行うことができる機器は、別の再生又は更なる処理のために第1及び第2のオーディオ信号を抽出できることを達成できる。2以上のオーディオ信号が組み合わされる、すなわちミキシング(混合)されるときには、本発明を用いて、オーディオ信号のうちの1つのみを抽出し、他のオーディオ信号を組み合わせたままにすることも可能である。これらの残りのオーディオ信号は依然として、結合オーディオ信号のミキシングを表す再生可能なオーディオ信号をもたらし、一方、抽出されたオーディオ信号は、それ単独で処理することができる。
レコーディングエンジニアへのツールとして、単一のチャンネルへのオーディオチャンネルのペアのミキシングのリアルタイムエミュレーションが可能である。これにより、オーサリングプロセスの一部としてのレコーディング編集中にオーディオ出力が生成されることになり、オーディオ出力は、最終ミキシングプロセスの最低保証品質並びにミキシング解除された又は復号されたチャンネルの最低品質を表すことになる。AURO−phonicマルチチャンネルPCMデータの基本セットが生成されると、ミキシング信号の品質を向上させる追加の符号化パラメータをオフラインで計算し、リアルタイムの処理を不要にすることができる。
本方法の更なる実施形態において、第1のシード(seed)サンプルは、第1のデジタルデータ集合の第1のサンプルであり、第2のシード(seed)サンプルは、第2のデジタルデータ集合の第2のサンプルである。
デジタルデータ集合の開始近くでの分解のためにシードサンプルを選択することにより、第3のデジタルデータ集合の読み取りが開始されるとすぐに、第1及び第2のデジタルデータ集合の分解を開始することができるようになる。シードサンプルはまた、シードサンプルの前に配置されたサンプルを分解するために再帰的手法が必要となるように第3のデジタルデータ集合に更に埋め込むこと、すなわち配置することができる。当該セットの開始時又はその前にオリジナルのデジタルデータ集合からシードサンプルを選択すると、第1及び第2のデジタルデータ集合を取り出す分解プロセスが簡素化される。
本方法の更なる実施形態においては、第1のシードサンプル及び第2のシードサンプルは、第3のデジタルデータ集合のサンプルの下位ビットに埋め込まれる。
シード値をサンプルの下位ビットに埋め込むことにより、影響を受けたサンプルは、オリジナルの値から僅かに偏差するだけであり、これは、記憶する必要があるシード値は僅かに過ぎず、このような僅かなサンプルだけが影響を受けているので、実質的に知覚できないことが分かっている。更に、下位ビットの選択により、発生する可能性がある偏差は小さなものに過ぎないことが確実にされる。
全てのサンプルの最下位ビットがデータを埋め込むために使用されたときでも、最下位ビットがサンプルから除去され、ほとんどそれと分かるほど顕著ではない結果となるので、この偏差は知覚可能ではないか、又はほとんど知覚することができない。
このようにサンプルから最下位ビットを除去することにより、これらのサンプルが含まれるデジタルデータ集合を記憶するのに必要とされる空間が低減され、従って、記録担体(carrier)上又は伝送路上でより多くの空間が確保され、或いは、制御などのために追加データを埋め込むことが可能になる。
本発明の基本的方法を用いたPCMサンプルのミキシング解除は、結果として、PCMサンプルの下位ビットにおいて又はオーディオ用に使用されるPCMサンプルの上位ビットの一部として符号化された追加データからの読み取り時にリードエラーが発生したときに誤差を生じる結果となる可能性がある。この分解プロセスの性質は、これらの誤差すなわち1つの(オーディオ/データ)サンプルに関係する誤差が、その後のサンプルのミキシング解除動作に影響を及ぼすようなものである。しかしながら、PCMストリームの追加データに対する補助データ領域を最適に利用することに関して、最新の符号化がこの補助データ領域を使用して(サンプリング周波数低減)誤差を記憶し、この修正データ全てが圧縮される場合、復号器がこのようなブロック内の全データの完全性を検証できるように、CRCチェックサムがデータブロックの終わりに付加されることになる。一定間隔でシード値を記憶することにより、オーディオサンプル内の誤差により引き起こされる影響を制限することができる。誤差が生じたときには、その時点では分解プロセスを再開し、誤差伝播を効果的に終了することができるので、誤差が伝播するのは、シード値が既知である次の位置までのみとなる。更に、データエラーが、下位ビットの補助データ領域に記憶されたシード値で発生すると、この不良シード値に基づいた分解は誤差を含むものとなるが、その時点で分解プロセスを再開することができるので、シード値が既知である次の位置までに過ぎない。
サンプルの下位ビットの補助データ領域に追加データを記憶することによって、ミキシングされたオーディオデータ(より高い精度のビット)及び符号化/復号化データ(1サンプル当たりに通常2、4又は6ビット)のミキシング又は「多重化」では、ブルーレイDVD又はHD−DVDの場合において1サンプル当たりの(すでに有効な)24ビット以外のどのような追加のレコーディング空間も必要ではなく、その上また、ディスク上データの「ナビゲーション」からのどのような追加の情報も不要である(例えば、チャプタ又はストリームのタイムスタンプが不要)。従って、(DVDプレーヤの埋め込まれたソフトウェアにより実施されるような)ディスク読み取りの制御下での変更は必要ではない。本発明を使用するに当たって、これらの新しいメディアフォーマットの規格の変更も追加も必要ではない。更に、オーディオサンプルビット解像度の低減及び最下位ビットへのオーディオ復号/符号化データの記憶は、復号アルゴリズムを実施しない装置又はシステム(例えばHD−DVD又はブルーレイDVDプレーヤ)を用いた通常の再生中に、ユーザによりどのような可聴の人工的な加工品(アーチファクト)も検出されないようなものとなる。本方法の更なる実施形態において、同期パターン(SYNC)は、第1のシードサンプルの場所に対して定義された位置に埋め込まれる。
同期パターンが検出されると第1のシードサンプルの場所が既知となるので、第1のシードサンプルの取り出しを可能にするために同期パターンが埋め込まれる。これはまた、第2のシードサンプルを配置するために適用することもできる。一定間隔で同期パターンを繰り返し、フライホイール(flywheel)検出を採用して同期パターンを確実に検出できるようにすることによって、同期パターンを更に向上させることができる。これにより、下位ビットでデータの記憶が複数のブロックに分割され、これにより、ブロック単位の処理を適用することが可能になる。
本方法の更なる実施形態においては、サンプルを等化するステップの前に、サンプルの等化により生じる誤差は、誤差近似のセットから誤差近似を選択することにより近似される。
サンプルを等化するステップは、第1及び第2のデジタルデータ集合の結合中に実行することは極めて容易であるが、誤差もまた導入されることになる。
この誤差を低減するために、選ばれる誤差近似の限定的なセットから選択される誤差の値が定められる。
この限定的な誤差近似のセットによって誤差の低減が可能であると同時に、等化ステップ中に生じた実際の誤差よりも少ないビットで表すことができる限定的なセットからしか誤差近似を選択できないので、空間が節約される。誤差近似に対するインデックスは、符号化プロセス中に確保されるビット数よりも少ないビットをサンプル当たりに必要とする。これは、データの圧縮性を保証するのに重要である。この節約された空間により、同期パターン及びシードサンプルなどの追加情報の埋め込みが可能となる。ハイファイオーディオ再生用のコンパクトディスクオーディオレコーディングと比べて、当該サンプリンレートだけでなく主として位相情報も遙かに詳細に必要とされるオーディオを再生成する目的では、より高いサンプリングレートが導入されるので、96kHzから48kHzまで、又は192kHzから96kHzまでのサンプリング周波数低減が問題となる可能性がある。
これらの誤差を(できる限り)排除するためのサンプル周波数低減及び補正データ(誤差近似)に起因する誤差は、最適化アルゴリズムの結果である可能性があり、この場合、最適化基準は、最小二乗誤差の和として定義することができ、或いは、知覚的なオーディオ目標に基づいた基準を含むこともできる。
本方法の更なる実施形態においては、誤差近似がサンプルについて定められた後、サンプルが等化されることになる隣接サンプルの値は、誤差近似を含む等化したサンプルからサンプルを再構成するときのサンプルが、等化前のサンプルをより厳密に表すように修正される。必要に応じて、サンプルが隣接サンプルに等化されたときに、隣接値及び誤差近似の組み合わせが隣接サンプルへの等化を行う前のオリジナルのサンプル値をより正確に表すように、隣接サンプルの値を修正することによって誤差を更に低減することができる。
本方法の更なる実施形態においては、誤差近似のセットにインデックスが付加され、誤差近似を表すインデックスには、誤差近似が対応付けられるサンプル内に埋め込まれる。
本方法の更なる実施形態においては、サンプルはブロックに分割され、インデックスが対応付けられるサンプルを含む第2のブロックに先行する第1のブロック内のサンプルにインデックスが埋め込まれる。
誤差近似の限定的なセットにインデックスを付与し、対応するサンプルに先行する第3のデジタルデータ集合のサンプルの下位ビット内に適切なインデックスを単に格納することによって、誤差近似の大きさを更に縮小することが達成できる。先行するブロックのサンプル内にインデックスを埋め込むことにより、インデックス及び誤差近似は、対応するサンプルの分解プロセスが開始されたときに利用可能となる。
本方法の更なる実施形態においては、埋め込み誤差近似値は圧縮される。インデックス付加の他に、Lempel Ziffなど他の圧縮方法を採用することができる。誤差近似は、誤差近似の限定的なセットに由来し、従って圧縮可能であり、これによって誤差近似をサンプル内に埋め込むときに使用する空間を少なくすることが可能になる。
これは、他の埋め込んだデータもサンプルの下位ビットに存在する場合に特に有益である。インデックス付加は、この追加データに必ずしも利用可能な訳ではなく、汎用圧縮方式を用いてもよい。誤差近似に対するインデックス付加と追加データに対する圧縮とを組み合わせを用いることができ、或いは、下位ビット内に埋め込まれた全データ集合、すなわち誤差近似及び追加データに対する全体的な圧縮を用いてもよい。
本方法の更なる実施形態においては、誤差値は、予め定義されたオフセットで埋め込まれる。
予め定義されたオフセットにより、誤差近似と該誤差近似が対応するサンプルとの間の定義された関係が確立される。インデックスを使用して誤差近似を記憶する場合には、インデックスは、各ブロックに適合され、適合されたインデックスは各ブロック内にも記憶される。
可能であれば、インデックスはまた、デジタルデータ集合毎に選び、又は、符号器及び復号器内に固定され記憶されるが、融通性を犠牲にしてデータストリームには記憶されないようにすることができる。抽出したオーディオ信号の品質を向上させために誤差近似を使用されない場合には、誤差近似を記憶する必要はない。これは、デジタルデータ集合の下位ビット内の他のデータの埋め込み及び圧縮を妨げるものではない。
本方法の更なる実施形態においては、誤差値は、当該誤差値が対応するサンプルに対して可変位置の第1の利用可能な位置に埋め込む。
利用可能な余地があるとすぐにサンプル内の誤差値を圧縮することによって、サンプル空間が節約され、当該空間を用いて、後で誤差値の限定的なセットの拡張を可能にすることができ、よって、等化サンプルのより正確な補正を可能にし、結果としてデジタルデータ集合の更に良好な再生が得られる。
これは、得られた空間を利用する方法であった可能性があるが、異なる手法を取ることが好ましい。インデックスの圧縮誤差値及びリストから節約された空間を実際に利用して、共にミキシングされることになる次のブロックのサンプルの数を制限する。この数は、現在のブロックよりも少ないので、誤差の多様性は小さくなり、従って、同じ数の誤差近似値を用いて良好に近似することができる。これらの誤差値及び参照インデックスは再度圧縮され、次のブロックにおけるミキシングサンプルの数を制限するために、節約空間もまた伝えられる。
本方法の更なる実施形態においては、誤差近似を埋め込むのに使用されない第3のデジタルデータ集合又は他の制御データのサンプルのいずれかの下位ビットは、予め定義された値に設定するか、又はゼロに設定される。
下位ビットは、デジタルデータ集合の結合前、又はシード値、同期パターン、及び誤差値などの埋め込み情報の埋め込み後にゼロに設定することができる。
埋め込まれたデータが外見上ランダムなデータによってもはや囲まれていないので、予め定義された値又はゼロ値は、埋め込まれたデータを区別する一助となることができる。
更に、これらのビットは処理が必要ではないことが明らかになると思われるので、結合及び分解のプロセスを簡素化することが可能である。
下位ビット中の確保された数のビットの選択は、ダイナミックに、換言すればその瞬間でのデジタルデータ集合のコンテンツに基いて実施することができる点に留意されたい。例えば、クラシック音楽の無音部分には、信号解像度のためにより多くのビットが必要となる可能性があり、一方、ポップス音楽の大きな音の部分には、当該多くのビットは必要ではない場合がある。
本方法の実施においては、抽出された信号又は埋め込まれた制御データを用いて、オーディオ信号と同期して制御されることになる外部デバイスを制御するか、或いは、例えば、ベースレベルに対してもしくは結合オーディオ信号から抽出されなかった他のオーディオチャンネルに対して、又は結合オーディオ信号に対して抽出されたオーディオ信号の振幅を定義することによって抽出オーディオ信号の再生を制御することができる。
本発明では、オーディオPCMトラック(PCMトラックは、デジタルオーディオチャンネルを表すデジタルデータ集合である)を、限定ではないが通常は3次元オーディオレコーディングからオリジナルのレコーディングにおいて使用されるトラックの数よりも小さい幾つかのトラックにミキシング(及び記憶)する技術を説明する。チャンネルのこの結合は、逆操作すなわち復号操作に対応するようにして、オーディオトラックのペアを単一トラックにミキシングすることによって行われ、当該復号操作は、結合信号の分解を可能にし、マスターレコーディングからのオリジナルのオーディオトラックと知覚的に同一となるオリジナルの別個のオーディオトラックを再生すると同時に、結合信号は、通常の再生チャンネルを介して再生可能であり、再生時にオーディオチャンネルのミキシングと知覚的に同一であるオーディオトラックを提供する。従って、3次元オーディオレコーディングのチャンネルを結合して、通常は2次元のサラウンドオーディオレコーディングに使用されるチャンネルセットにし、逆操作を適用することなく結合チャンネルを再生させると、結合されたすなわち(ダウン)ミキシングされたオーディオレコーディングは、それでも尚一般にステレオ、4.0、5.1又は7.1サラウンドオーディオフォーマットとして知られ、従って追加の装置修正された装置又は復号器を必要とせずに再生可能な現実的な2次元のサラウンドオーディオレコーディングを再生する要件に合致する。これにより、結果として得られる結合チャンネルの下位互換性が保証される。
3つ以上のデジタルデータ集合又は2つのオーディオ信号への拡張は極めて実現可能なものである。本技術は2つのデジタルデータ集合について説明するが、本技術の3つ以上への拡張は、第3のデジタルデータ集合の各サンプルについて1つのデジタルデータ集合だけが他のデジタルデータ集合から等化サンプルと結合されることになる非等化サンプルとなり、非等化サンプルとなるデジタルデータ集合が、サンプルを提供するデジタルデータ集合から交互に選ばれるように、交互配置を変えることによって同様に実施することができる。
3つ以上のデジタルデータ集合が結合されると、各デジタルデータ集合のn番目毎のサンプルは、データ集合のn個(等しい)サンプル当たりに(n−1)個を保持する第1のサブセットの等化サンプルとして使用され、第2のサブセットは、データ集合のn個のサンプル当たりの1個のサンプルを保持する。各データ集合当たりに、等化サンプルの位置は時間領域において1つの位置だけ移動する。
従って、3つのデジタルオーディオチャンネルから1つのデジタルオーディオへのミキシング(3から1ミキシング)は、現行のデジタルオーディオ標準により規定されたデータレート及び解像度内で確かに実施可能であることが分かった。また、4から1ミキシングも同様にして可能である。
デジタルオーディオチャンネルのこのようなミキシングは、第1の数の独立したデジタルオーディオチャンネルによる第1のデジタルオーディオ標準規格を使用して、第2の数の独立したデジタルオーディオチャンネルによる第2のデジタルオーディオ標準規格の記憶、送信及び再生を可能にするものであり、デジタルオーディオチャンネルの第2の数は、デジタルオーディオチャンネルの第1の数よりも大きい。
本発明は、本発明の方法又は本発明による符号器を使用して、少なくとも2つのデジタルオーディオチャンネルを単一のデジタルオーディオチャンネルに結合することによってこれを達成する。本方法の追加のステップにより、結果として得られるデジタル音声ストリームは、結合される2つのデジタル音声チャンネルの知覚的に満足できる表現である。複数のチャンネルについてこの結合を実施すると、例えば、3D 9.1構成から2D 5.1構成までチャンネル数が低減される。これは、例えば、9.1システムの左下正面チャンネル及び左上正面チャンネルを結合して、5.1システムの左正面チャンネルを介して通常記憶、送信、及び再生することができる1つの左正面チャンネルにすることにより達成することができる。
従って、本発明を用いて生成された信号は、結合された信号を分解することによりオリジナルの9.1チャンネルの取り出しを可能にするが、結合された信号は、5.1システムのみを有するユーザによって使用されるのに等しく好適である。混合又は符号化前の両方のチャンネルの減衰は、各チャンネルの(逆)減衰データが復号中に必要とされるように、適切なダウンミキシングされた5.1システムに必要とされる場合がある。
本発明で開発された技術は、あらゆる追加のメディア形式を追加すること、又はディア形式定義に追記することを必要とせずに、単なる例証として限定ではないが、HD−DVD又はブルーレイDVDのような既存の又は新しいメディア担体上に記憶することができるAURO−phonicオーディオレコーディングを生成するのに使用され、この理由として、これらの規格は、マルチチャンネルオーディオPCMデータ、例えば96khz 24ビットのPCMオーディオ(HD−DVD)の6チャンネル、又は96khz 24ビットPCMオーディオ(ブルーレイDVD)の8チャンネル、又は192khz244ビットPCMオーディオ(ブルーレイDVD)の6チャンネルをすでにサポートしていることに起因する。
AURO−phonicオーディオレコーディングでは、これらの既存の又は新しいメディア担体上で利用可能であるよりもより多くのチャンネルが必要となる。本発明は、これらの媒体担体、或いは、チャンネルの欠如が存在し、且つ3Dオーディオ記憶又は送信に使用されることになる不十分な数のチャンネルを用いてこのようなシステムの使用を可能にすると同時に、まるで2Dオーディオチャンネルであるように、2Dシステムにおいて3Dオーディオチャンネルを自動的にレンダリングする全ての既存の再生装置との下位互換性を確保する、他の伝達手段の使用を可能にする。適合された再生装置が存在する場合、3Dオーディオチャンネルの完全なセットを本発明による復号方法又は復号器を使用して抽出することができ、別個のデジタルオーディオチャンネルを抽出してこれらの個々のチャンネルを再生させた後に、完全な3Dオーディオをシステムによって適切にレンダリングすることができる。
Aurophonyでは、x軸、y軸及びz軸により定義されるレコーディング室の3次元を正確にレンダリングすることができるオーディオ(又はオーディオ+ビデオ)再生システムを指定する。特定のスピーカレイアウトと組み合わされた好適なレコーディングにより、より自然な音がレンダリングされることが分かっている。
Aurophonyなど3Dオーディオレコーディングは、高さスピーカによるサラウンド設定として定義することもできる。現在使用されている2Dシステムは、室内で実質的に同じレベルでスピーカに提供するだけであるので、高さスピーカのこの追加は、現在一般的に用いられるシステムが提供できるよりも多くのチャンネルが必要となる。これは、Aurophonyが2つの空間の音特性を併合しミキシングするときに、知覚反応の特定の態様にリンクされる。チャンネルの数の増大及びスピーカの位置決めにより、この基準に基づいて行われるあらゆるレコーディングは、オーディオの自然な3次元面の最大の可能性を利用する再生を有効にすることができる。スピーカの特定の位置決めと組み合わされたマルチチャンネル技術により、リスナは、サウンドイベントのまさに現場に、すなわち仮想空間に音響的に移送され、リスナは、仮想モードで空間次元を体験することができる。この空間の幅、深さ及び高さは、物理的及び情緒的に初めて知覚されるものである。
更に、HD−DVD又はブルーレイDVDプレーヤのような装置は、再生中に外部オーディオオーディオチャンネル(ディスクから読み込まず)をオーディオ出力にミキシングするため、又は通常ユーザナビゲーション操作からオーディオ効果をミキシングしてユーザ体験を向上させるためにオーディオミキサを実装する。しかしながら、これらはまた、再生中にこれらのオーディオ効果を排除する真の「フィルム」モードも有する。このモードは、オーディオ(A/D)コンバータを介してマルチチャンネルPCMミキシングを出力するため、又は、例えばビデオを含むデータ内に封入され且つ更なる処理のためにHDMIインタフェースを使用して送出されるオーディオマルチチャンネルミキシングとして暗号化されるマルチチャンネルPCMミキシングを提供するために、これらのプレーヤにより使用される。再生/レコーディング中に使用される、無損失圧縮、例えば、ビットが同一オーディオPCMデータの要件が、3次元オーディオレコーディング又は「空間的な」高度オーディオレコーディングを再生成するために復号器(本発明で説明されるような)が使用されるときは、これらのダウンミキシングされたマルチチャンネルPCMオーディオトラックをレンダリング又はレコーディングするあらゆるデバイスに常に当てはまる。
可逆的に複数のチャンネルを単一のチャンネルに結合することによるより効果的又は効率的なオーディオPCM記憶とは別に、目標とされた用途又は使用は、3次元オーディオレコーディング及び再生のものであり、それでも尚、DVD、HD−DVD又はブルーレイDVDの規格により提供されるようなオーディオフォーマットとの適合性が維持される。サラウンドオーディオレコーディング又はマルチチャンネルオーディオのマスタリング中に、レコーディングエンジニアは、現在複数のオーディオトラックを利用可能であり、テンプレートを使用してマスタリングツールにステレオ又は(2次元)サラウンドオーディオトラックを生成させ、例えば、CD、SACD、DVD、ブルーレイDVD又はHD−DVD上でオーサリングするか、又はレコーディング装置(例えばハードドライブのような)上で単にデジタル的に記憶することができる。オーディオソースは、現実世界では常に3次元空間内に配置されるが、例えオーディオレコーディングエンジニアに対して3次元情報が利用可能であった、又は容易に追加された(例えば、観衆の上を飛ぶ飛行機又は空で「さえずる」鳥などの音響効果)、或いは現実の生活状況からレコーディングされた場合でも、今まではほとんどが2次元空間内で定義されるソースとしてレコーディングされている。
現在までのところ、更なる一連の複数のオーディオトラックが映画用途などにおいて記憶するために十分な数のトラックを提供するシステムにおいて追加の一連の複数オーディオトラックが独立して記憶されるようなシステムを除き、一般的なオーディオフォーマットは利用可能ではない。しかしながら、これらの追加のチャンネルは、HD−DVD又はブルーレイDVDのような記録媒体上に記憶することができず、これは、これらの記憶システムを提供するオーディオチャンネル数が不十分であることに起因する。本発明の目的は、(2D)標準的マルチチャンネル又は2チャンネルオーディオ情報と干渉(又は妨害)しないようにし、更に、レコーディングエンジニアに対して3Dオーディオレコーディングを終了する前に基本的なリアルタイム評価が利用可能であるようにし、並びにこれら新しいメディア上で「標準的な」マルチチャンネルトラックだけを依然として使用するように、これらの追加の「仮想」トラックを生成することである。
本発明は、オーディオ用途を目標として説明しているが、同じ原理は、例えば、カメラから小さな角度差で各々撮像した2つの同時映像ストリーム(角度)を使用することにより、例えば3次元ビデオ再生を生成するためにビデオ用途に利用され、更に3D元効果を生成し、加えて本発明により詳述されるように2つの映像ストリームを結合し、よって、3Dビデオの記憶及び送信を可能にして通常のビデオ機器で再生できるようにすることも想起できる点は理解されたい。
各用途の実施例
●サラウンドミキシングに含まれるステレオ(アーティスティックな)ミキシング
オーディオレコーディングのマスタリング中、音響エンジニアは、ミキシングテンプレートを定義又は使用してマルチオーディオトラックから始めて、「真の」又は「アーティスティックな」ステレオミキシング並びにサラウンドミキシング(例えば4.0、5.1…)を生成する。ステレオミキシングへのサラウンドミキシングのマトリクスダウンミキシングが可能であるが、このようなダウンミキシングマトリクス技術の欠点を容易に例示することができる。このようなマトリクスダウンミキシングステレオ信号からのコンテンツは、通常L−R領域(位相外れ信号)であることになり、真の「アーティスティックな」ステレオミキシングは、L−R領域内に適度な量を有して、主としてL+R領域(位相内信号)内にあることになるため、マトリクスダウンミキシングされたステレオは、「アーティスティックな」ステレオミキシングと実質的に異なることになる。単に1つの実施例として、マトリクスダウンミキシングステレオは、位相外れ信号の量が多いことに起因して、モノラルでは実質的に無音に聞こえることになる。その結果、マスタリングされ且つ今日のほとんどのオーディオ符号化/復号技術で符号化された現行のサラウンドオーディオレコーディングは通常、現実のステレオ再生を考慮した場合、レコーディングの別個の真の(「アーティスティックな」)ステレオバージョンを提供する。
本発明の技術に基づいて構築されたアプリケーションでは、当該技術分野に精通している者であれば、左右チャンネルに対してアーティスティックレコーディングの左(正面)オーディオ及び右(正面)オーディオチャンネルをマスタリングするシステムを容易に構築し、(例えば)24dB減衰オーディオデルタチャンネル(L−アーティスティックLサラウンド)及び(R−アーティスティックR−サラウンド)とミキシングされたこれらのチャンネルの各々を有することができる。復号器なしでマルチチャンネルレコーディングのL/Rチャンネルを再生すると、アーティスティックな左/右のオーディオレコーディングは最も有力に存在することになるが、本発明で説明するような復号器で再生すると、ミキシングされたチャンネルは、最初にミキシング解除され、次いで、(デルタ)チャンネルが(例えば)24dB増幅され、「アーティスティック」チャンネルから減算されて、サラウンドミキシングに必要とされる左及び右チャンネルを生成し、この時点で、サラウンド(L/R)チャンネル並びにセンタ及びサブウーファチャンネルを再生するようになる。
●サラウンドミキシングに含まれた3次元(「AURO−phonic」)ミキシング
本発明で説明される符号化技術を用いると、3次元オーディオ情報のミキシングは、単に、2次元2.0、4.0、5.1又は7.1サラウンドミキシングの各チャンネル上で、これらの2次元スピーカよりも上方の特定の高さでレコーディングされるようなオーディオを表す別のオーディオチャンネルをミキシングすることにより行うことができることは容易に理解することができる。ミキシング中、これらの3次元オーディオチャンネルは、マルチチャンネル録音が本発明において定義されたような復号器と共に使用されないときに、望ましくないオーディオ効果を回避するために減衰させることができる。復号中、これらのチャンネルは、ミキシング解除され、必要に応じて増幅されて、上部スピーカ上でレンダリングされる。
●サラウンドミキシング内に含まれたステレオ(「アーティスティック」)ミキシング&3D(AURO−phonic)ミキシング
アーティスティックステレオ再生、2次元サラウンド再生又は3次元AURO−phonic再生に有用である96kHz(HD−DVD)又は192kHz(ブルーレイDVD)でのオールインワンレコーディング(例えば、6チャンネル)を生成することを目的とする場合、本発明に基づいたアプリケーションを用いることができる。本発明を用いて、「初期」サンプリングレートを係数3(又はそれ以上)だけ低減することにより3つのチャンネル(又はそれ以上)を1つのチャンネルにミキシングし、この低減中に生成された誤差を近似して、できる限りオリジナルの信号を復元することができる。これを用いて、96kHzの左正面−アーティスティックチャンネルを96kHz(減衰)左正面デルタ(L−アーティスティックL−サラウンド)及び96kHz(減衰)左正面上部とミキシングすることができる。同様のミキシング方式を右正面チャンネルに適用することができる。2チャンネルミキシングは、左サラウンド及び右サラウンドに適用することができる。中央チャンネルをも使用して、中央上オーディオチャンネルをミキシングすることができる。
●「古典的な」2Dレコーディングからの自動3Dオーディオレンダリング
現在の既存のオーディオ又はビデオ作品の大部分は、2次元(サラウンド)オーディオトラックを有する。実際の3次元音源位置(2次元レコーディングにダウンミキシングされた更なるチャンネルとしてその情報を使用するために本発明で説明するような符号器でマスタリング及びミキシング中に使用できる)は別として、標準的な2次元オーディオレコーディングの中に存在するような拡散オーディオは、3次元オーディオ設定の上部スピーカ上で移動及びレンダリングされる候補である。2次元レコーディングから拡散オーディオ出力を抽出する自動(オフライン−又は非リアルタイム)オーディオプロセスを想起することができ、この抽出されたオーディオを使用して、2Dサラウンドレコーディングの「低減された」オーディオトラックとミキシング(本発明の方式に従って)されるチャンネルを生成し、3Dオーディオとして復号できるサラウンドマルチチャンネルレコーディングを得るようにすることができる。コンピュータ要件によっては、2Dサラウンドチャンネルから拡散オーディオを抽出するこのフィルタリング技術は、リアルタイムで適用することができる。
本発明は、3次元オーディオシステムの一部を形成する幾つかの装置に用いることができる。
●Aurophonic符号器−コンピュータアプリケーション(ソフトウェア)プラグイン
オーディオ/ビデオレコーディング及びマスタリング業界で一般的に利用可能なマスタリング及びミキシングツールにより、第三者がソフトウェアプラグインを開発することができる。これらのツールは通常、ミキシング及びマスタリングエンジニアにより使用される完全なツールセット内でプラグインをアクティブにする共通のデータ/コマンドインタフェースを提供する。AUROPHONIC符号器のコアは、単純な符号器の実施例であるので、一方では、複数のオーディオチャンネル入力と1つのオーディオチャンネル出力とを備え、他方では、追加のパラメータとして品質及びチャンネル減衰/位置のようなユーザ設定を考慮し、これらのオーディオマスタリング/ミキシングツール内にソフトウェアプラグインを設けることができる。
●AUROPHINIC符号器−コンピュータアプリケーション(ソフトウェア)プラグイン
マスタリング及びミキシングツールを有する検証ツールとしてのソフトウェアプラグイン復号器は、符号器プラグインと同様にして開発することができる。このようなソフトウェアプラグイン復号器はまた、民生用/エンドユーザPCのメディアプレーヤ(Windows(登録商標)’ Media Player又はDVDソフトウェアプレーヤ、及び最も可能性が高いのはHD−DVD/ブルーレイソフトウェアプレーヤなど)と統合することもできる。
●AUROPHONIC復号器−ブルーレイ又はHD−DVDプレーヤで構築される専用ASIC/DSP
幾つかの新しいメディア高解像度フォーマットは、それぞれの(民生用)プレーヤ内で(デジタル的に)利用可能である複数の高周波/高ビット解像度オーディオPCMストリームを定義している。内部のオーディオデジタルアナログコンバータに提示されるどのようなオーディオPCMデータもミキシング/併合/減衰などを行わないモードを使用してこれらのディスクからコンテンツを再生する場合、これらのオーディオPCMデータ(AURO符号化データとすることができる)は、専用ASIC又はDSP(AURO復号器ファームウェアで取り込まれる)により傍受され、全てのミキシングオーディオチャンネルを復号し、且つ例えばアーティスティック左/右オーディオ又は例えば上部L/R出力の追加セットを供給するためのオーディオ出力の別のセットを生成することができる。
●AUROPHONIC復号器−ブルーレイ又はHD−DVDファームウェアの一部として統合される
AUROPHONIC復号プロセスが、ブルーレイ又はHD−DVDディスクの再生中に適切である場合はいつでも、これらのプレーヤの再生モードは、TRUE−Filmモードに設定され、プレーヤのオーディオミキサが、このディスク上でマスタリングされるときにPCMストリームのオリジナルデータを破損/修正するのを防ぐようにする必要がある。このモードにおいては、プレーヤのCPU又はDSPのフル処理パワーは必要ではない。従って、プレーヤのCPU又はDSPのファームウェアの一部として実装される追加のミキシング解除プロセスとして、AUROPHONIC復号器を統合することが可能とすることができる。
●AUROPHONIC復号器−HDMIスイッチ、USB又はFIREWIREオーディオ装置におけるASIC/DSPアドオン
HDMI(高解像度メディアインタフェース)は、マルチチャンネルオーディオストリームの全帯域幅(8チャンネル、192kHz、24ビット)の転送を可能にする。HDMIスイッチャは、第1の逆スクランブルによりデジタルオーディオ/ビデオデータデータを生成し、HDMIインタフェース上で送信されるオーディオデータがこのようなスイッチで内部的にアクセス可能であるようにする。AURO符号化オーディオは、AURO復号器を実装するアドオンボードにより復号することができる。類似のアドオン統合(通常はオーディオレコーディング/再生ツール内の)は、USB又はFIREWIREマルチチャンネルオーディオ入出力装置に使用することができる。
本明細書で説明するような符号器は、レコーディングシステムなどのより大きな装置に統合することができ、或いは、レコーディングシステム又はミキシングシステムに結合された独立した符号器とすることができる。符号器はまた、例えば、上記のコンピュータプログラムを実行するのに好適なコンピューターシステム上で実行されたときに、本発明の符号化法を実施するコンピュータプログラムとして実装することもできる。
本明細書で説明するような復号器は、再生装置内の出力モジュール又は増幅装置内の入力モジュールなどのより大きな装置内で統合することができ、或いは、符号化された結合データストリームのソースに結合された入力部を介した、及び増幅器に結合された出力部を介した独立した復号器とすることができる。
デジタル信号処理装置は、本明細書においては、オーディオミキシングテーブルなどのレコーディング/送信/再生チェーンのレコーディングセクションの装置、光ディスク又はハードディスクなどの記録媒体上でレコーディングするためのレコーディング装置、信号処理装置、又は信号取り込み装置であると理解される。
再生装置は、本明細書においては、オーディオ増幅器などレコーディング/送信/再生チェーンの再生セクション内の装置、或いは、記憶媒体からデータを取り出すための再生装置であると理解される。
再生装置又は復号器は、車又はバスなどの車両内に有利に統合することができる。車両においては、乗員は通常、車室により囲まれる。車室によって、マルチチャンネルオーディオが再生されることになるスピーカを容易に位置決めすることが可能になる。従って、設計者は、車室内の3次元又は他のマルチチャンネルオーディオの再生に適合するようにオーディオ環境を具体的に調整することができる。
別の利点は、スピーカに必要とされる配線は、他の配線を見えないようにするのと同様、容易に見えないようにできることである。3次元スピーカシステムのスピーカの下部セットは、例えば、ドアパネル内、ダッシュボード内、又はフロア近くにおいて現在多くのスピーカが取り付けられているように車室の下部に位置決めされる。3次元スピーカシステムのスピーカの上部セットは、例えば、ルーフ近く、或いはダッシュボードよりも高い又はスピーカの下部セットよりも少なくとも高い別の位置の車室上部に位置決めすることができる。
復号器がオーディオチャンネルを分解して分解されたオーディオチャンネルを増幅器に渡す第1の状態から、結合されたオーディオチャンネルが増幅器に渡される第2の状態にまで、ユーザが再生装置を切り替え可能にすることも有益である。3次元再生と2次元再生との間の切り替えは、復号器を迂回することにより達成することができる。別の態様においては、2次元再生とステレオ再生との間の切り替えも想定される。
スピーカの位置決めなどの2次元及び3次元のオーディオ再生の要件は、本発明の一部ではなく、従って、詳細には説明されない。しかしながら、本発明は、例えば、マルチチャンネルオーディオの適切な再生が得られるように車を構成するときに、マルチチャンネルオーディオ再生装置の設計者が選ぶことができるあらゆるチャンネル構成に適合可能である点を念頭に置かれたい。
ここで各図に基づいて本発明を説明する。
2つのチャンネルを結合するための本発明による符号器を示す図である。 サンプルを等化することにより変換される第1のデジタルデータ集合を示す図である。 サンプルを等化することにより変換される第2のデジタルデータ集合を示す図である。 2つの結果として得られたデジタルデータ集合から第3のデジタルデータ集合への符号化を示す図である。 第3のデジタルデータ集合から2つの別個のデジタルデータ集合への復号を示す図である。 第1のデジタルデータ集合の改善された変換を示す図である。 第2のデジタルデータ集合の改善された変換を示す図である。 2つの結果として得られたデジタルデータ集合から第3のデジタルデータ集合への符号化を示す図である。 第3のデジタルデータ集合から2つの別個のデジタルデータ集合への復号を示す図である。 図6で説明するような符号化により得られる第1のストリームAのサンプルを描いた実施例を示す図である。 図7で説明するような符号化により得られる第1のストリームBのサンプルを描いた実施例を示す図である。 ミキシングされたストリームCのサンプルを示す図である。 本発明によりPCMストリームに導入された誤差を示す図である。 結合されたデジタルデータ集合のサンプルの下位ビット内の補助データ領域のフォーマットを示す図である。 補助データ領域の更なる詳細を示す図である。 適合により可変長AUROデータブロックをもたらす状況を示す図である。 前のセクションで説明するような処理処理の組み合わせの概要を示す図である。 Aurophonic符号化装置を示す図である。 Aurophonic復号装置を示す図である。
図1は、2つのチャンネルを結合する本発明による符号器(coder)を示す。符号器10は、第1の等化ユニット11a及び第2の等化ユニット11bを含む。各等化ユニット11a、11bは、符号器10のそれぞれの入力部からデジタルデータ集合を受信する。
第1の等化ユニット11aは、第1のデジタルデータ集合の第1のサブセットのサンプルを選択して、この第1のサブセットの各サンプルを第1のデジタルデータ集合の第2のサブセットのサンプルのうちの隣接サンプルに等化し、ここで第1のサブセットのサンプル及び第2のサブセットのサンプルは、図2で詳細に説明するように交互配置される。第2のサブセットの影響されないサンプル及び第1のサブセットの等化サンプルを含む、結果として得られるデジタルデータ集合は、第1の任意選択的なサンプルサイズ低減器12aに渡すことができ、又は結合器13に直接渡すことができる。
第2の等化ユニット11bは、第2のデジタルデータ集合の第3のサブセットのサンプルを選択して、この第3のサブセットの各サンプルを第2のデジタルデータ集合の第4のサブセットのサンプルのうちの隣接サンプルに等化し、ここで第3のサブセットのサンプル及び第4のサブセットのサンプルは、図3で詳細に説明するように交互配置される。第4のサブセットのサンプル及び第3のサブセットの等化サンプルを含む結果として得られたデジタルデータ集合は、第2の任意選択的なサンプルサイズ低減器12bに渡すことができ、又は結合器13に直接渡すことができる。
第1及び第2のサンプルサイズ低減器は共に、それぞれのデジタルデータ集合のサンプルから定義された数の下位ビットを除去し、例えば、4ビットの最下位ビットを除去することにより24のビットサンプルを20のビットにまで低減する。
等化ユニット11a、11bにより行われるサンプルの等化は、誤差を生じるものである。任意選択的に、この誤差は、等化サンプルをオリジナルのサンプルと比較することにより誤差近似器15により近似される。この誤差近似は、以下で説明するように、オリジナルのデジタルデータ集合をより正確に復元するために、復号器が使用することができる。結合器13は、その入力部に供給されるときに、第2のデジタルデータ集合の対応するサンプルに第1のデジタルデータ集合のサンプルを追加し、第3のデジタルデータ集合の結果として得られたサンプルをフォーマッタ14にその出力部を介して提供し、フォーマッタ14は、2つのデジタルデータ集合からのシード値及び誤差近似器15から受信される誤差近似などの追加データを第3のデジタルデータ集合の下位ビット内に埋め込み、結果として得られたデジタルデータ集合を符号器10の出力部に提供する。
原理を説明するために、2つの入力ストリームを使用して実施形態を説明するが、本発明は、1つの単一出力ストリームに結合される3つ又はそれ以上の入力ストリームと共に等しく使用することができる。
図2は、サンプルを等化することにより変換される第1のデジタルデータ集合を示す。第1のデジタルデータ集合20は、一連のサンプル値A0、A1、A2、A3、A4、A5、A6、A7、A8、A9を含む。第1のデジタルデータ集合は、第1のサブセットのサンプルA1、A3、A5、A7、A9と、第2のサブセットのサンプルA0、A2、A4、A6、A8とに分割される。次いで、第1のサブセットのサンプルの各サンプルA1、A3、A5、A7、A9の値は各々、図2で矢印により示されるように、第2のサブセットからの隣接サンプルA0、A2、A4、A6、A8の値に等化される。詳細には、これは、サンプルA1の値が隣接サンプルA0の値と置き換えられる、すなわち、サンプルA1の値がサンプルA0の値に等化されることを意味する。これにより、図示のように、サンプル値A0"、A1"、A2"、A3"、A4"、A5"、A6"、A7"、A8"、A9"などを含む第1の中間デジタルデータ集合21が得られることになり、ここで、値A0"は値A0に等しく、A1"は値A0に等しい等となる。図6においては、サンプル内のビット数低減によりA0"がもはやAに等しくない実施形態を示している。
図3は、サンプルを等化することにより変換される第2のデジタルデータ集合を示す。第2のデジタルデータ集合30は、一連のサンプル値B0、B1、B2、B3、B4、B5、B6、B7、B8、B9を含む。第2のデジタルデータ集合は、第3のサブセットのサンプルB0、B2、B4、B6、B8及び第4のサブセットのサンプルB1、B3、B5、B7、B9に分割される。次いで、第3のサブセットのサンプルの各サンプルB0、B2、B4、B6、B8の値は各々、図3で矢印により示されるように、第4のサブセットからの隣接サンプルB1、B3、B5、B7、B9の値に等化される。詳細には、これは、サンプルB2の値が隣接サンプルB1の値と置き換えられる、すなわち、サンプルB2の値がサンプルB1の値に等化されることを意味する。これにより、図示のように、サンプル値B0"、B1"、B2"、B3"、B4"、B5"、B6"、B7"、B8"、B9"を含む第2の中間デジタルデータ集合31が得られることになり、ここで、値B1"は値B1に等しく、B2"はB1に等しいなどとなる。図7においては、サンプル内のビット数低減によりB1"がB1にもはや等しくない実施形態を示している。
図4は、2つの結果として得られたデジタルデータ集合の第3のデジタルデータ集合への符号化を示す。ここで、第1の中間デジタルデータ集合21及び第2の中間デジタルデータ集合31が、対応するサンプルを追加することによって結合される。例えば、第1の中間デジタルデータ集合21の第2のサンプルA1"は、第2の中間デジタルデータ集合31の第2のサンプルB1"に追加される。結果として得られた第1の結合サンプルC1は、第3のデジタルデータ集合40の第2の位置に配置され、値A1"+B1"を有する。第1の中間デジタルデータ集合21の第3のサンプルA2"は、第2の中間デジタルデータ集合31の第3のサンプルB2"に追加される。結果として得られた第2の結合サンプルC2は、第3のデジタルデータ集合40の第3の位置に配置され、値A2"+B2"を有する。
図5は、第3のデジタルデータ集合の2つの別個のデジタルデータ集合への復号を示す。第3のデジタルデータ集合40は、第3のデジタルデータ集合40に含まれる2つのデジタルデータ集合31、32を分解するために復号器に提供される。
第3のデジタルデータ集合40の第1の位置は、復号中に必要とされるシード値である値A0"を保持するように示されている。このシード値は、他の場所に記憶することができるが、この説明の間は便宜上第1の位置で示される。第2の位置は、A0"+B0"の値を有する第1の結合サンプルを保持する。復号器は第1の位置から取り出されたときにシード値A0"を認識しているので、第2の中間デジタルデータ集合のサンプル値は、減算により設定することができる。
0−A0"=(A0"+B0")−A0"=B0"
この取り出されたサンプル値B0"は、第2の中間デジタルデータ集合を再構成するのに使用されるが、第1の中間デジタルデータ集合のサンプルを取り出すのにも使用される。値A0"はここでは認識されており、隣接サンプルA1が同じ値を有することが分かっているので、ここで、第2の中間デジタルデータ集合のサンプルを計算することができる。
1−A1"=(A1"+B1")−A1"=B1"
この取り出されたサンプル値B1"は、第2の中間デジタルデータ集合を再構成するのに使用されるが、第1の中間デジタルデータ集合のサンプルを取り出すのにも使用される。値B1"はここでは認識されており、隣接サンプルB2"が同じ値を有することが分かっているので、ここで第1の中間デジタルデータ集合のサンプルを計算することができる。
2−B2"=(A2"+B2")−B2"=A2"
この取り出されたサンプル値A2"は、第1の中間デジタルデータ集合を再構成するのに使用されるが、第2の中間デジタルデータ集合のサンプルを取り出すのにも使用される。残りのサンプルについて、図5に示すようにこれを繰り返すことができる。
第1のオリジナルのデジタルデータ集合20を近似するために、取り出された第1の中間デジタルデータ集合は、システムに対して既知である信号に関する情報を使用して処理することができ、例えば、オーディオ信号について、符号化及び復号により失われたサンプル(等化サンプル)は、補間又は他の公知の信号再構成方法により再構成することができる。以下で図示されるように、信号の等化により導入された誤差に関する情報を記憶し、この誤差情報を使用して等化前に有していた値に近接した、すなわち、オリジナルのデジタルデータ集合21内で有していた値に近接したサンプルを再構成することも可能である。
勿論、全ての取り出された中間デジタルデータ集合について同じことを行い、オリジナルのデジタルデータ集合内のサンプルのオリジナル値にできるだけ近い値に等化サンプルを復元するようにすることができる。
図6、図7及び図8の以下の説明では、2つのオリジナルのチャンネルは、例えば、サンプル当たり24ビットから18ビットまで、ビット解像度が低減される。サンプル解像度の低減の次に、サンプリング周波数が、オリジナルのサンプリング周波数の半分に低減される(この実施例では、各々が同じビット解像度及びサンプリング周波数を有する2つのオーディオチャンネルから開始する)。Xビットから始まってYビットまで低減する(例えば、X/Y=24/22、24/20、24/16など...、又は、20/18、20/16又は16/15、16/14...)のような他の組み合わせが可能であるが、ハイファイオーディオの要件を考慮すると、サンプルをビット解像度が14ビット未満に低減するべきではない。より多くのチャンネルがミキシングされる場合、本明細書で説明される基本的な技術では、サンプリング周波数は、チャンネル数で分割される必要があり、これは1つのチャンネルにミキシングする必要がある。ミキシングされるチャンネル数が多いほど、チャンネルの実際のサンプリング周波数(ミキシング前)が低くなる。HD−DVD又はブルーレイDVDにおいては、初めのサンプリング周波数は、96kHz程度の高さ、又は更に、192kHz程の高さ(ブルーレイ)とすることができる。各々が96kHzのサンプリング周波数を有する2つのチャンネルから始まり、48kHzまで両方とも低減されても、サンプリング周波数はハイファイオーディオの範囲内のままである。3つのチャンネルをミキシングして32kHzにまで低減されても、映画/TVオーディオ品質としては許容可能である(これは、NICAMデジタル放送TVオーディオにより使用される周波数である)。真の192kHzレコーディングから開始すると、4つのチャンネルをミキシングする方法が得られ、サンプル周波数は48kHzにまで低減される。
図6は、第1のデジタルデータ集合の改善された変換を示す。改善形変換においては、サンプルの下位ビットはもはやオリジナルのサンプルを表すものではないが、シード値、同期パターン、サンプル等化により生じた誤差に関する情報、又は他の制御情報などの追加情報を記憶するのに使用される。
第1のデジタルデータ集合20は、一連のサンプル値A0、A1、A2、A3、A4、A5、A6、A7、A8、A9を含む。各サンプルA0、A1、A2、A3、A4、A5、A6、A7、A8、A9は切り捨てられ、切り捨てられた又は丸められたサンプルA0′、A1′、A2′、A3′、A4′、A5′、A6′、A7′、A8′、A9′が得られる。このセット60のサンプルA0′、A1′、A2′、A3′、A4′、A5′、A6′、A7′、A8′、A9′は、下位ビットが考慮されるか又はサンプルに関する情報を保持していない場合、その後、図2で説明するように処理される。このセット60の切り捨てられたサンプルは、第1のサブセットのサンプルA1′、A3′、A5′、A7′、A′9及び第2のサブセットのサンプルA0′、A2′、A4′、A6′、A8′に分割される。
次いで、第1のサブセットのサンプルの各サンプルA1′、A3′、A5′、A7′、A9′の値は各々、図6で矢印により示されるように、第2のサブセットからの隣接サンプルA0′、A2′、A4′、A6′、A8′の値に等化される。
詳細には、これは、サンプルA1′の値が隣接サンプルA0の値と置き換えられる、すなわち、サンプルA1′の値はサンプルA0′の値に等化されることを意味する。これにより、図示のように、サンプル値A0"、A1"、A2"、A3"、A4"、A5"、A6"、A7"、A8"、A9"などを含む第1の中間デジタルデータ集合61が得られることになり、ここで値A0"は値A0′と等しく、A1"は値A0′に等しいなどとなる。切り捨てすなわちサンプルの丸めに起因して、予備区域62が第1の中間デジタルデータ集合61内に生成される点に留意されたい。
図7は、第2のデジタルデータ集合の改善された変換を示す。第1のデジタルデータ集合と同様にして、サンプルの下位ビットはもはやオリジナルのサンプルを表すものではないが、シード値、同期パターン、サンプルの等化により生じた誤差に関する情報、又は他の制御情報などの追加情報を記憶するのに使用される点で、変換を改善させることができる。第1のデジタルデータ集合30は、一連のサンプル値B0、B1、B2、B3、B4、B5、B6、B7、B8、B9を含む。各サンプルB0、B1、B2、B3、B4、B5、B6、B7、B8、B9は切り捨てられ、切り捨てられた又は丸められたサンプルB0′、B1′、B2′、B3′、B4′、B5′、B6′、B7′、B8′、B9′が得られる。この切り捨てられたサンプルB0のセットB0′、B1′、B2′、B3′、B4′、B5′、B6′、B7′、B8′、B9′は、下位ビットが考慮されるか又はサンプルに関する情報を保持していない場合、その後、図3で説明するように処理される。
この切り捨てられたサンプルセットB0′、B1′、B2′、B3′、B4′、B5′、B6′、B7′、B8′、B9′は、第3のサブセットのサンプルB0′、B2′、B4′、B6′、B8′及び第4のサブセットのサンプルB1′、B3′、B5′、B7′、B9′に分割される。
次いで、第3のサブセットのサンプルの各サンプルB0′、B2′、B4′、B6′、B8′の値は各々、図3で矢印により示されるように、第4のサブセットから隣接サンプルB1′、B3′、B5′、B7′、B9′の値に等化される。
詳細には、これは、サンプルB2′の値が隣接サンプルB1′の値と置き換えられる、すなわち、サンプルB2′の値はサンプルB1′の値に等化されることを意味する。これにより、図示のように、サンプル値B0"、B1"、B2"、B3"、B4"、B5"、B6"、B7"、B8"、B9"を含む第2の中間デジタルデータ集合71が得られることになり、ここで値B2"は値B1"と等しく、B1"は値B1"等しいなどとなる。切り捨てすなわちサンプルの丸めに起因して、予備区域72が第2の中間デジタルデータ集合71内に生成される点に留意されたい。
図6及び7で説明される丸めにより導入される解像度低減は、原理的に「回復不能」であるが、知覚されたサンプル周波数を増大させる技術を適用することができる。より高いビット解像度が必要とされる場合、本発明は、サンプル当たりの符号化されたデータ又はXビットが利用可能なより少ない「余地」を犠牲にして、Y(実際に使用されるビット)の値を増大させることができる。勿論、補助データ領域内のデータブロックに記憶された誤差近似により、知覚される解像度損失の実質的な低減が可能である。
24ビットのPCMオーディオストリームでは、18/6フォーマット及び2つのチャンネルミキシングで、18ビットオーディオサンプル及び6ビットデータサンプルを有し、各データブロックは、6つのデータサンプル(各々6ビット)の同期で始まり、2つのデータサンプル(合計12ビット)が、データブロックの長さを記憶するのに使用され、最終的に、2x3データサンプル(2x18ビット)が、重複オーディオサンプルを記憶するのに使用される。他のフォーマット(実施例)については、
−16/8:8つのデータサンプルの同期、長さに対して2つのデータサンプル(16ビット、12ビットのみ使用)及び重複オーディオサンプルとして2x2データサンプル(2x16ビット);
−20/4:4つのデータサンプルの同期、長さに対して3つのデータサンプル(合計12ビット)及び重複オーディオサンプルとして2x5データサンプル(2x20ビット);
−22/2:2つのデータサンプルの同期、長さに対して6つのデータサンプル(合計12ビット)及び重複オーディオサンプルとして2x11データサンプル(2x22ビット)。
他のフォーマット(例えば16ビットPCMオーディオ、14/2フォーマット)については、類似した構造を定義することができる。
図8は、2つの結果として得られたデジタルデータ集合の第3のデジタルデータ集合への符号化を示す。符号化は、図4で説明するのと同様の方法で行われる。第1の中間デジタルデータ集合61が予備区域62を有し、第2の中間デジタルデータ集合71もまた予備区域72を有するので、両方のデジタルデータ集合の追加により、補助データ領域81を有する第3のデジタルデータ集合80が得られることになる。この補助データ領域81においては、追加データを配置することができる。
第3のデジタルデータ集合80がこの補助データ領域81の存在を認識していない機器を通じて再生されると、この補助データ領域81のデータは、このような機器により、再生されることになるデジタルデータ集合の下位ビットであると解釈される。
従って、この補助データ領域81に配置されたデータは、主として感知不可能である信号に僅かな雑音を導入することになる。勿論、この知覚不可能であるか否かは、この補助データ領域81に確保されるように選ばれた下位ビットの数によって決まり、補助データ領域81のデータ記憶の要件と、デジタルデータ集合において結果として生じた品質損失とのバランスを取るために使用すべき下位ビットの適切な量を選択することは、当業者には容易である。24ビットオーディオシステムでは、補助データ領域81に専用の下位ビットの数は16ビットオーディオシステムより多い可能性があることは明らかである。
これらのミキシングされたオーディオチャンネルにおいて逆(又はミキシング解除)動作を可能にするために、限定されたサンプル数の重複コピーが記憶される。
上記の実施例において、単一のシード値サンプル、すなわちサンプルの重複コピーのみが使用されて記憶されるが、冗長性が実現されるという点で複数のシード値サンプルを記憶することが有利である。この冗長性は、ストリーム内で新しい開始点を提供することにより誤差からの回復を可能にする記憶シード値の繰返し特性に起因し、更に、各開始位置の2つのシード値を記憶することができることに起因するものである。シード値A0及びB1により、A0で始まる計算により値B0が得られ、次いで検証用に記憶されたシード値と比較することができるので、開始位置を検証することが可能になる。更なる利点は、A0及びB1の両方の記憶により、2つのシード値が属する正しい開始位置をサーチすることが可能であり、ある位置において、シード値A0を用いた復号により、記憶されたシード値B1に等しい値B1を正確にもたらすことになる可能性が高いので、シード値とデジタルデータ集合Cとの間の自己同期が可能であることである。
一例として、24(Z)ビッ96kHzのサンプル信号から始まり18(Y)ビット48kHzにまで低減され、msec当たりに1つのサンプル、すなわちmsec当たりに1つのシード値の重複を生成する場合、チャンネル当たり1000個の18ビットサンプル重複すなわちシード値がミキシングされる。このミキシングが2つのチャンネルを含む場合、サンプル重複/秒について2x1000x18ビットすなわち36Kビットの「記憶装置」が必要である。第1の追加の「空間」(96K/秒でサンプル当たり6(X)ビット)が生成されたので、下位ビットにより形成された補助データ領域において、6x96=576Kビット/秒が利用可能であり、ここには、サンプル値のこれらの重複コピーを容易に記憶することができる。実際に、これらのコピーを記憶するために16xメモリが利用可能であり、従って、この補助データ領域において記憶すべき他の情報がない場合、16回/msecの割合でこれら2つのチャンネルの重複サンプルを記憶することが可能になる。Z/Y/Xの他の値、例えば、96kHzで24/20/4、又は44.1kHzで16/14/2が選択された場合、最下位ビットを使用することにより生成される「自由」補助データ領域の量は異なるものとなる。以下の事例は実施例として与えられるが、本発明は、これらの他の使用事例に限定されるものではない。96kHzでの24/20/42にて2つのチャンネル及び4x96=392Kビット/秒メモリが重複サンプル/msecにおいて2x1000x20=40Kビットを必要とし、9.6回/msecの割合で重複サンプルを記憶することができる。44.1kHzでの16/14/2にて2つのチャンネル及び2x44.1=88.2Kビット/秒メモリが重複サンプル/msecにおいて2x1000x4=28Kビットを必要とし、3.15/msecの割合で重複サンプルを記憶することができる。ここで述べた実施例では、オリジナルの(解像度及び周波数が低減された)オーディオストリームからサンプルの重複専用として、サンプルの下位ビットにより形成された補助データ領域を使用している。本明細書で使用される技術の特性及び特徴に起因して、重複サンプルの記憶用にこの「自由な」補助データ領域を単独では使用しないことが有益であるが、これらのサンプル重複は、ミキシング解除プロセス又は復号器により使用される必須の情報である。
基本的技術において、図2から図8で説明するように、最初に、2つのPCMオーディオストリームA(A0、A1、A2)及びB(B0、B1、B2)は、ビット解像度が低減され、2つの新しいストリームA′(A′0、A′1、A′2)及びB′(B′0、B′1、B′2)を生成する。次いで、これらのストリームのサンプリング周波数が、オリジナルのサンプリング周波数の半分にまで低減され、A"(A"0、A"1、A"2)及び、B"(B"0、B"1、B"2)が得られる。この最後の作業で誤差が発生し、A"2i=A"2i+1=A′2iの場合、誤差E2i+1=A′2i+1−A′2iが発生し、B"2i+1=B"2i+2=B′2i+i(B"0=B′0)の場合、誤差E2i+2=B′2i+2−B′2i+1(E0=0)が発生する。この誤差数列(E0、E1、E2、E3…)は、オーディオストリームBのサンプリング低減に起因する偶数のインデックスを有する誤差と、オーディオストリームAのサンプリング低減に起因する奇数のインデックスを有する誤差とを含む。この高度符号化では、これらの誤差を近似して、これら近似を用いてミキシング前の誤差を低減する。誤差近似(真の誤差の逆として表される)E′は、ミキシングの一部としてサンプルの下位ビット内の補助データ領域で確立される別個のチャンネルとして追加される。従って、ミキシング信号は、サンプル(Zi=Ai"+Bi"+Ei′)を有するZ=A"+B"+Ei′で定義される。誤差ストリームが正確に近似できる場合には、E′=Eで、Z2i=A2i"+B"2i+E2i=A′2i+B′2i-1+B′2i−B′2i-1=A′2i+B′2i及びZ2i+1=A2i+1"+B"2i-1+E2i+1=A′2i+B′2i+1+A′2i+1−A′2i=A′2i+1+B′2i+1となる。このような場合、最終のミキシングされたストリーム内ではサンプリング低減誤差は生成されない。
図9は、第3のデジタルデータ集合の2つの別個のデジタルデータ集合への復号を示している。高度符号化により、すなわち追加のデータを記憶するのに使用される下位ビット81を用いて得られるデジタルデータ集合80の復号は、図5で説明する標準の復号と同様に実施されるが、各サンプルA0"、A1"、A2"、A3"、A4"、A5"、A6"、A7"、A8"、A9"、B0"、B1"、B2"、B3"、B4"、B5"、B6"、B7"、B8"、B9"の関連ビット、すなわち下位ビット以外のビットのみが、復号器により提供される。復号器は更に、下位ビット内の補助データ領域に格納された追加データを取り出すことができる。この追加データは、その後、図20で説明する追加データのターゲットに渡すことができる。
復号器が再構成されたこれらの重複サンプル、すなわちシード値を有すると、これらの重複サンプル(シード値)は、次に、ミキシングされたチャンネルをミキシング解除するのに使用される。ミキシングされたチャンネルは、例えば、PCMストリームA"及びB"のミキシングであり、A"2i=A"2i+1=A′2i及びB"2i+1=B"2i+2=B′2i+1。A′0であり、B′1は重複サンプルとして使用され、データブロックに符号化される。
A"+B"からの(モノラル)信号のミキシング解除は、1つのシード値だけが使用された図5で説明する方法に代わって、以下のように行うことができる。A"サンプル+B"サンプルは、A"0+B"0、A"1+B"1、A"2+B"2、A"3+B"3、A"4+B"4、A"5+B"5である。A"0=A′0及びB"1=B′1のコピーを有するので、A"ストリーム及びB"ストリームを再構成することができる。
1.A"0+B"0−(A"0=A′0)では、B"0を得て、重複サンプルからA"0を得た。
2.A"1+B"1−(B"1=B′1)では、A"1を得て、重複サンプルからB"1を得た。
3.A"2+B"2−(B"2=B"1)では、A"2及びB"2=B"1を得る。
4.A"3+B"3−(A"3=A"2)では、B"3及びA"3=A"2を得る。
5.A"4+B"4−(B"4=B"3)では、A"4及びB"4=B"3を得る。
6.A"5+B"5−(A"5=A"4)では、B"5及びA"5=A"4を得る。
7. …
HD−DVD又はブルーレイDVDのようなメディアフォーマット上では、マルチチャンネルオーディオは、PCMオーディオストリームの多重として記憶することができる。これらのチャンネルの各々に関して上述したようなミキシング/ミキシング解除技術を用いて、チャンネルの数(6又は8から12又は16まで)を容易に重複させることができる。これにより、あらゆるグランドスピーカよりも上方に上部スピーカを追加することによって、3次元のオーディオレコーディング又は再生を記憶又は生成することができるが、マルチチャンネルオーディオトラック上に記憶されたオーディオは、それでも100%PCM「再生可能」オーディオであるので、これによりユーザは、オーディオの「2次元」バージョンを試聴するための復号器を持つ必要はない。この最後の再生モードにおいては、3次元効果は生成されず、また、2次元オーディオレコーディングの知覚可能な品質が劣化するものでもない。
図10は、図6で説明されるような符号化により得られる第1のストリームAのサンプルが描かれた実施例を示す。一例として、2つのモノラル96kHz24ビットデジタルオーディオストリームA及びBが処理されると仮定する。
A=オリジナルのサンプル(24ビット)、
A′=丸めサンプル(18H有効&6Lビット=0)、
A"=サンプリング周波数低減サンプル
図10において、第1のオーディオストリームAは、濃灰色の線としてグラフに示されている。Aのサンプルは、A0、A1、A2、A3、A4、A5…である。各サンプルの解像度は、24ビット符号付き整数値、よって、−(2(Z-1)−1)から(2(Z-1)−1)までの範囲の値として表された、24(Z)ビット/サンプルである。このサンプルシリーズから、解像度を18(Y)ビットにまで低減し、6(X)最下位ビットをクリアして、符号化データの「余地」を生成するようにする。合計がZであるY最上位ビットだけを用いて全てのZビットサンプルを最も近い表現に丸めることによって、低減が達成される。この点に関して、各サンプルは、(2(x-1)−1)で増分され、各合計は、(2(z-1)−1)に制限され、又は、
Figure 2010506226
として表される。次に、ビット毎のANDによって6(X)最下位ビットを0に設定(2(Y)−1)ビット単位で左にXビットシフトされる)し、従って、新しいストリームA′(淡灰色)を生成する。A′のサンプルは、
A′0、A′1、A′2
A′i=[Ai+(2(X-1)−1)](2(z-1)−1)AND(2(Y)−1)<<X)
である。
サンプル解像度の低減後、更にサンプリング周波数を1/2に低減する(3つ以上のチャンネルをミキシングする場合、ミキシングされるチャンネルの数に等しい倍数だけサンプリング周波数を低減する必要がある)。この点に関して、オリジナルのストリームA′の全ての偶数サンプルを繰り返す。サンプル周波数低減後、新しいストリームA"が得られる。A"のサンプルは、A"0、A"1、A"2…で、A"2i=A"2i+1=A′2iである。
インデックス2iでのA"の全ての偶数サンプルは、インデックス2iでのA′のオリジナルのデータと同一であり、インデックス2i+1でのA"の全ての奇数サンプルは、インデックス2iでのA"の前のサンプルの重複である。
図11は、図7で説明するような符号化により得られる第1のストリームBのサンプルが描かれた実施例を示す。
B =オリジナルのサンプル(24ビット)、
B′=丸めサンプル(18H有効6Lビット=0)、
B" =サンプリング周波数低減サンプル
図11において、第2のオーディオストリームBは、濃灰色の線としてグラフに示されている。同じサンプル解像度低減が、このストリームに適用される。Bのサンプルは、B0、B1、B2、B3、B4、B5…である。このサンプルシリーズから、新しいストリームB′(淡灰色)を生成する。B′のサンプルは、B′0、B′1、B′2…で、B′i=[Bi+(2(X-1)−1)](2(z-1)−1)AND(2(Y)−1)<<X)である。
サンプル解像度の低減後、更に、サンプリング周波数を1/2に低減し、新しいストリームB"を取得する。B"のサンプルは、B"0、B"1、B"2…で、B"2i+1=B"2i+2=B′2i+1である。
インデックス2iでのB"の全ての偶数サンプルは、インデックス2i+1でのB′のオリジナルのデータと同一であり、インデックス2i+2でのB"の全ての奇数サンプルは、インデックス2i+1でのB"の前のサンプルの重複である。
図12は、ミキシングされたストリームCのサンプルを示す。
A+B =オリジナルサンプル(24ビット)、
A′+B′=丸めサンプル(18H有効ビット及び6Lビット=0)
A"+B" =サンプリング周波数低減サンプル
である。
両方のストリームA+Bは、ミキシング(追加)され、新しいストリーム(濃灰色)を取得する。ストリームA"及びB"をミキシング(追加)すると、別のストリーム(淡灰色)が得られる。A"+B"は、A"又はB"は、ビット解像度低減(丸め)に起因してオリジナルのサンプルA及びBとは異なる可能性があり、且つサンプル低減に起因して解像度低減サンプルとは異なる可能性があるので、あらゆるサンプルにおいてA+B及びA′+B′とは異なるが、一般的には、それでも尚、オリジナルの高ビット解像度及び高サンプリング周波数に起因するオリジナルA+B(濃灰色)ストリームの良好な知覚的近似を有することになる。
図13は、本発明によりPCMストリームに導入される誤差を示す。
誤差=サンプル丸めに起因する誤差
誤差′=サンプル丸め+周波数低減に起因する誤差。
図14は、結合されたデジタルデータ集合のサンプルの下位ビット内の補助データ領域のフォーマットを示している。
最後に、復号器がミキシングされたオーディオPCMデータをミキシング解除可能にするために、復号器には、ミキシング解除動作をストリーミングオーディオPCMでリアルタイムに実施できるように、オーディオPCMサンプルを受信する前にオーディオPCMサンプルの重複サンプルを有する必要がある。この点に関して、データブロックのこのデータ(オーディオサンプル、同期パターン、長さパラメータの重複サンプルを保持する)を前のデータブロックに関係するオーディオPCM情報をも担持するサンプル(Zビット)内に配置する必要がある。これらのデータブロックを復号する時間を復号器に与えるために、これらのデータブロックは、重複をとるのに使用されたオーディオPCMサンプルの前に幾つかのオーディオPCMサンプルを終了させることさえ可能である。データブロックの終端部と重複サンプルとしてコピーするのに使用されたオーディオPCMサンプルとの間のオーディオPCMサンプルの数はオフセットであり、これは、データブロック内に記憶された別のパラメータである。場合によっては、このオフセットは、負であることがあり、オーディオPCMストリームの重複サンプルの位置が当該データブロックを担持するのに使用されたオーディオPCMサンプル内にあることを示している。オフセットについては、12ビットの値(符号付き整数値)も使用される。
データブロックは、以下を含む。
1.同期パターン
2.データブロック長
3.当該データブロックの終端部に対するオーディオPCMサンプルオフセット。
4.オーディオPCMサンプル(ミキシングされる各チャンネルに1つ)の重複
更なる利点は、サンプルの等化により導入される誤差の(部分的な)否定を可能にする補正情報を含むことにより得られる。
図14においては、時間0にて、符号器は、2xUXbitサンプルの読み取りを開始し、これらサンプルは、Yビットにまで低減されて、データブロックを保持するための補助データ領域を生成する。サンプル周波数低減により誤差が発生し、当該誤差は近似され、これら近似に対する基準リストと置き換えられる。効果的に圧縮されたこのデータは別として、データブロックヘッダ(同期、長さ、オフセット、その他)が生成され、U′サンプルのデータブロック長が得られることになる。これらのデータサンプルは、第1のUサンプルのデータセクション内に配置される。次のステップにおいて、符号器は、U′(<U)サンプルを読み取り、Uサンプルを必要とするデータブロック(非圧縮)が得られるが、圧縮U"の後である。同様に、このデータブロックは、前のデータブロックに添付され、この実施例では、(それでも)最初のU(Xbit)サンプルの一部のサンプルを使用する。符号器がU"Xbitサンプルを読み取って、対応するデータブロックを生成するプロセスは、全データが処理されるまで継続する。
図15は、補助データ領域の更なる詳細を示している。
AUROPHONICデータキャリアフォーマットは、以下の構造に適合する。該フォーマット、通常PCMストリーム150であるビット精密オーディオ/データストリーム150であり、ここでデータは、Zサンプルのセクション158、159に分割される。セクション158、159内の各サンプルはXビットから成る。(Xは、通常、オーディオCD/DVDデータでは16ビット、又はブルーレイ/HDDVDオーディオデータでは24ビットとなる)最上位ビット(Y先頭ビット、例えば、ブルーレイについては通常18又は20ビット)は、オーディオデータを保持し(PCMオーディオデータとすることができる)、最下位ビット(Q最終ビット、例えばブルーレイについては通常6又は4ビット)は、AURO復号データを保持する。
各データブロック156、157で復号中に使用されるAURO追加データは、以下のように編成される。追加データは、同期セクション151、汎用復号データセクション154、任意選択的にインデックスリスト152及び誤差テーブル153、最後にCRC値155を含む。
同期セクション151は、ローリングビットパターン(サイズは、AUROデータ幅に使用されるQビットの数に依存する)として予め定義される。汎用データ154は、AUROデータブロックの長さに関する情報、AURO復号データ156を適用しなければならない第1のオーディオ(PCM)データ158の正確なオフセット(同期位置151に対して)、第1のオーディオ(PCM)データサンプル(符号化された各チャンネルに1つ)のコピー、減衰データ、及び他のデータを含む。任意選択的に(符号化プロセス中のAURO品質選択に応じて)、このAURO復号データ156、157はまた、インデックスリスト152と、符号化ステップ中に生成された全誤差の近似値を保持する誤差テーブル153とを含むことができる。更に、同様に任意選択的に、インデックスリスト152及び誤差テーブル153は圧縮することができる。汎用復号データセクション154は、適用された圧縮に関する情報を含めて、このようなインデックスリスト152及び誤差テーブル153が存在するかどうかを示すことになる。最後に、CRC値155は、オーディオPCMデータ(Yビット)及びAUROデータ(Qビット)を使用して計算されたCRCである。
AURO復号器の1つの特徴は、その極めて短い待ち時間である。復号には2つのAURO(PCM)サンプルの処理遅延のみが必要である。AUROデータブロック156、157情報は、AURO復号データが適用されなければならないPCMオーディオデータ158を送信する前に、送信及び処理(例えば、解凍)をしなければならない。その結果、AUROデータブロック156、157(最下位ビット)は、1つのブロックからの最終AUROデータ情報154、155がそのAUROデータ情報が適用される第1の(PCM)オーディオデータサンプルよりも決して後ではないように、オーディオPCMデータ159(最上位ビット)と併合される。
チャンネルのミキシング解除動作を実施する復号器は、同期パターンを使用して例えば重複サンプルを位置特定し、適合するオリジナルのサンプルと関関連付けることを可能にする。これらの同期パターンは、同様に6(X)ビット/サンプル内に配置することができ、復号器により容易に検出可能とする必要がある。「同期」パターンは、一連の複数の6(X)ビット長「キー」の繰返しパターンとすることができる。例えば、最下位位置から最上位位置までの単一のビットシフト、すなわち、000001,000010,000100,001000,010000,100000として表される2進数を有することによる。他のビットパターンは、同期パターンが知覚できるようにサンプルに影響を及ぼすこと、又はサンプルが同期パターンの検出に影響を及ぼすことを回避するためにサンプルの特徴に基づいて選択することができる。従って、均一な同期パターンをサンプル解像度の全ての異なる組み合わせにおいて定義することができる。(24/22/2,24/20/4/,24/18/6,24/16/8,16/14/2,…)これらのパターンはまた、このようなAURO−phonic復号器を使用せずにDVDプレーヤにより再生されたときに、オーディオサンプルの最下位ビットから生成される「雑音」を排除するように最適化することもできる。
図16は、適合により可変長AUROデータブロックをもたらす状況を示す。復号器は、ミキシング解除動作を行うために、データブロック(解凍を含む)を復号する必要があり、これらの(近似)誤差へのアクセスを必要とするので、ミキシングされたオーディオサンプルを処理する前に、データブロックの情報を受信することが更に必要とされる。誤差ストリームサンプル(第2のブロックから)は、近似値を含むテーブルと、当該誤差ストリームセクションのあらゆるサンプルを当該近似値テーブルの要素にリンクさせる基準値リストとによって近似される(K−中央値又は施設配置アルゴリズムを使用して)。この基準値リストは、誤差近似ストリームを構成するものである。近似値を有する当該リスト及びテーブルの両方は、圧縮器により圧縮され、データ構造の他の残りの要素は、フォーマッタ(同期パターン、データブロック長、オフセット、重複オーディオサンプル、減衰、その他のような)により定義され、(最も可能性が高い)U個を下回るデータサンプル、すなわちW(W<=U)と呼ぶサンプル数で終わるようになる。値Wは、Uよりも通常20〜50%小さいと予想することができる。次に、このデータブロックは、フォーマッタにより最初のUサンプルのデータ空間内に配置される。これにより、これらのデータサンプルは、適合するオーディオサンプルを受信する前に復号器が利用可能であることが保証される。後で使用するために、データサンプル(U個−W個)を保存しておくことができるので、符号化されることになる次のオーディオセクション(これは、ミキシング及び誤差近似値である)は、W個(<=U)のオーディオサンプルのみを含むはずである。このセクション(W個のオーディオサンプルの)のデータブロックにU個のデータサンプルが必要であるとしても、このデータブロックが参照する第1のオーディオサンプルの前に、このデータブロックの終端部を有することが保証される。更に、オーディオサンプル数が少ない(W<=U)ので、近似しなければならない誤差値数が少なくなることから、サンプル周波数低減誤差の近似値はより良好になると予想することができる。従って、次のセクションのオーディオサンプルの近似がより良好になることにより、圧縮ゲインが使用される。この場合も同様に、データブロックのこの最後のセクションは、符号化されることになる次の数のオーディオサンプルをW′に限定することができるように、U個よりも小さい(例えば、W個(<=U))とすることができる。
データブロックのサイズが圧縮品質に応じて変わることは更に理解される。その結果として、オフセットパラメータ(データブロック構造の一部)は、サイズが異なるデータブロックを対応する第1のオーディオサンプルにリンクさせる重要なパラメータである。データブロック自体の長さは、オフセットパラメータでデータブロックとリンクされた第1のオーディオサンプルから始まる、復号中に必要とされるオーディオサンプルの数と適合する。このオフセットパラメータは、特定の場合において、復号器が第1の適合オーディオサンプルを受信した瞬間に対してデータブロックの復号を開始するためにより多くの時間を必要とする場合に必要に応じて更に増大させることができる(また、データブロックは時間的により後で移動することができる)。データブロックの復号は、このような遅延は増分できないので、復号器により少なくともリアルタイムで実行すべきであることは更に理解される。
本発明の別の特徴は、復号器が、容易に同期基準値と同期を維持し、更に、使用済みの符号化フォーマットを自動的に検出する(同期パターン/サンプル重複に使用されたオーディオサンプルのビット数を検出する)ことである。この点に関して、コード化データの一部として同期パターンの各第1のワード間のサンプル数が含まれる。また、同期パターンは、最大でも4096x2(2=ミキシングされたチャンネル数)個のサンプルの後に繰り返すことが必要である。これにより、各データブロックのこの長さを記憶するために、データブロック(同期パターン+サンプル重複データ)の最大長が12ビットを必要とする4096×2個のサンプルに低減される。この情報を使用し、例えば24ビットPCMサンプル:22/2、20/4、18/6、16/8の異なるコーディング解像度であれば、復号器は、コーディングフォーマットを自動的に識別し、同期パターン及びこれらの繰り返しを容易に検出することができるはずである。
サンプルの下位ビットにより形成されたデータ領域の補助データの埋め込みは、結合/分解機構から独立して用いることができる。また、単一のオーディオストリームにおいては、このデータ領域は、補助データが埋め込まれる信号に音響的に影響を及ぼすことなく生成することができる。サンプル周波数低減(サンプルの等化)に起因する誤差のための誤差近似値の埋め込みは、サンプル周波数の低減(従って、記憶空間が節約される)を可能にするだけでなく、サンプル周波数低減の影響に対処するために説明されるような誤差近似値を用いたオリジナル信号の良好な再構成を可能にするので、結合が行われない場合でも有益である。
図17は、実施形態の全改善点を含む符号化を示している。図示のブロックは、本方法の各ステップに対応すると共に、符号器のハードウェアブロックに等しく対応し、ハードウェアブロック間並びに本方法の各ステップ間のデータの流れを示している。
符号化処理諸ステップ
第1のステップにおいて、最初に、オーディオストリームA、Bは、オーディオサンプル(24→18/6)を丸めることによってA′、B′にまで低減される。
第2のステップにおいて、低減したストリームは、予めミキシング(減衰データを使用して)され、オーディオクリッピング(A′c、B′c)を回避するために、これらのストリームに対して動的圧縮を適用する。
第3のステップにおいて、サンプル周波数は、誤差ストリームEを導入するミキシングチャンネル(A′c′、B′c′)の数に等しい係数だけ低減される。
第4のステップにおいて、誤差ストリームEは、2(z-1)中心(例えばK−中央値近似値)及びこれらの中心に対する基準値リストを使用して、E′により近似される。
第5のステップにおいて、テーブル及び基準値が圧縮され、サンプリングした減衰(オーディオサンプルの開始)、ブロックヘッダ(同期、長さ、…、…、crc)が定義される。
第6のステップにおいて、クリッピング(オーディオオーバーシューティング)に対する最終チェックを含むストリーム(A′c′、B′c′、E′c′)がミキシングされ、このチェックには小さな変更が必要となる場合がある。
第7のステップにおいて、データブロックセクション(6ビットサンプル)がオーディオサンプルと併合される。
図17は、前述の各セクションにおいて説明した処理ステップの組み合わせの概要を示す。この符号化プロセスは、オフラインの状況で適用されたときに最も容易に機能し、符号器は、いつでも処理しなければならない全ストリームの対応セクションのサンプルにアクセスすることが理解される。よって、オーディオストリームの種々のセクションは、符号器プロセスがそのセクションを処理するのに必要なデータを使用するため(前後に)探すことができるように、例えば少なくともハードディスク上に一時的に記憶することが必要とされる。図17の説明においては、24ビットサンプル(X/Y/Z)=(24/18/6)が18ビットのサンプル値と、制御データ及びシード値を保持する補助データ領域の一部である6ビットデータ値とに分割される事例が、実施例として使用されている。
ブロック長は、一般化のためにUと称されることになる。
符号化プロセスの第1のステップ<1>は、(基本的な技術に関するセクションで説明されるように)例えば、サンプル低減器による24ビットから18ビットまでのような、各サンプルをその最も近い18ビット表現にまで丸めることによる、サンプル解像度のストリームA161a及びストリームB161bに関する低減である。この丸めの結果であるこれらのストリーム163a、163bは、トリームA′163a及びストリームB′163bと呼ばれる。同時に、減衰は、入力から所望の減衰値161cを受信する減衰器コントローラによって決定付けられる。
第2のステップ<2>は、ミキシングがクリッピングを引き起こすかどうかを分析するための減衰マニピュレータによるこれらのストリーム163、163bに関するミキシングシミュレーションである。ミキシングの前に1つのストリーム163b(AURO−phonic符号化の場合では通常は3次元オーディオストリーム)を減衰させることが必要とされる場合、この減衰は、減衰マニピュレータによるこのミキシングシミュレーションにおいて考慮される必要がある。この減衰にもかかわらず、両方(96kHz)のストリーム163a、163bをミキシングするとクリッピングが発生する場合、減衰マニピュレータにより行われる符号化プロセスのこのステップは、円滑な圧縮(クリッピングポイントに向けてオーディオサンプルの減衰を徐々に増大させ、次いで徐々に減少させる)を実施することになる。この圧縮は、減衰マニピュレータにより両方のストリーム163a、163bに適用することができるが、1つのストリーム163bに対する(より多くの)圧縮によってもこのクリッピングを排除することができるので、これは必須ではない。これらのストリームA′163a及びストリームB′163bに適用されると、新しいストリームA′c′165a及びストリームB′c′165bが減衰コントローラにより生成される。クリッピングを防止するこの減衰の作用は、最後のミキシングストリーム169並びにミキシング解除ストリームにおいて持続することになる。換言すれば、復号器は、オリジナルのストリームA′163a又はオリジナルのストリームB′163bを生成するようにこの減衰を補正するものではなく、そのターゲットは、A′c′165a及びB′c′165bを生成することになる。このような(Aurophonic)レコーディングのマスタリング中、レコーディングエンジニアは、必要であれば、減衰レベルの161cを定義して、これを減衰コントローラへの入力を介して提供し、2次元オーディオ再生にダウンミキシングされるとき所望される第2のストリーム163b(通常は3次元オーディオストリーム)の減衰を制御する。
次のステップ<3>において、サンプル周波数が、誤差ストリームE167を導入するミキシングされたチャンネル(A′c′、B′c′)の数に等しい係数だけ低減される。周波数低減は、図2及び図3、又は図6及び図7で説明する実施例について実施することができる。
次のステップ<4>において、誤差ストリームE167は、2(z-1)中心(例えばK−中央値近似値)及びこれらの中心に対する基準値リストを使用して誤差近似器により生成されたE′162により近似される。
高度符号化/復号のセクションにおいては、ミキシング及びミキシング解除動作における誤差167(サンプル周波数低減に起因する)は、この誤差ストリーム167が誤差なしで近似される条件に基づいて回避できると説明されている。この特定の実施例の(X/Y/Z)=(24/18/6)及びV=32(2(z-1))近似値においては、これらの「近似値」に対するこれら誤差の1対1マッピングがあるように、データブロックにおいてV個のサンプルだけがあった場合、誤差(誤差の12ビットの表現に起因する制限は別として)が存在しない可能性が高い。他方、データブロックの最大長Uも定義されたが、これは、いかなる状況においても誤差基準値リスト及び近似値テーブルがこのようなデータブロックにおいて「符号化可能」であることが保証される。従って、符号化のこのステップでは、最初に、両方のストリームA′c′165a及びB′c′165bcから、及び誤差ストリームE167からの幾つかのUサンプルが必要となるであろう。
最初に、誤差サンプルの幅が選択される(これは、この誤差情報を表すのに使用されるビット数である)。基本的なストリームは、オーディオレコーディングから起こるPCMデータであるので、2つの隣接サンプル間の誤差又は差違が最大(又は最小)サンプルと比べて比較的小さいと予想することができる。(例えば)96kHzオーディオ信号では、この誤差は、オーディオストリームが極めて高い周波数を有する信号を含むときにのみ比較的大きくなる可能性がある。既に説明したように、この説明においては24ビットPCMストリームが使用され、オーディオ用に18ビットにまで低減され、6データビット/サンプルの余地を生成している。基本的な技術において説明したように、これらのデータビットは、同期パターン、データブロックの長さ、オフセット、定義すべきパラメータ、2つの重複サンプル(2つのチャンネルがミキシングされたとき)、圧縮された「誤差に対するインデックスリスト」、圧縮誤差テーブル及びチェックサムを記憶するのに使用される。「誤差に対するインデックスリスト」及び誤差テーブルを以下で説明する。24/18/6の実施例においては、6ビット/サンプルは補助データ領域に利用可能であり、この6ビット/サンプルは、必要な場合、26=64個の誤差に関するテーブルを理論的に定義することができる。24/18/6のこの実施例内では、誤差表現は、符号付き2x6ビット整数に制限されることになる。
6ビットのUサンプルを有する補助データ領域中のデータブロックのコンテンツの一部(24/18/6−データブロックの各サンプルについて、1つのオーディオ(ミキシングされた)サンプルがある)は、これらのストリームのサンプル周波数低減に起因する誤差の近似値に関するテーブルである。前述したように、誤差は、6ビットの2つのデータサンプルを使用して近似される。あらゆる誤差に対する近似値を記憶するのに十分な「余地」がないので、全てのこれらの誤差にできるだけ近接して接近する限られた数の誤差値を定義する必要がある。次に、補助データ領域内のデータブロックの誤差「ストリーム」の全ての要素についてこれらの近似誤差に対する基準値を含むリストが生成される。同期、長さ、オフセット、サンプル重複、その他は別として、データブロック内に近似誤差を有するテーブルを記憶する余地が必要とされる。このテーブルは、データブロックに使用されるメモリを制限するために圧縮することができ、更に、基準値のリストも圧縮することができる。
最初に、誤差ストリームからこれらの要素を近似する方法を検討する。定義する必要があるのは値の個数Kであり、ストリーム(ただし、通常は、データロック内のデータが対応するそのストリームのセクション)のあらゆる要素をこれらの値の1つに関連付けることができるようにし、且つ誤差の総合計(これは、その最良の(最も近い)近似値誤差を有する誤差ストリームの各要素の絶対差である)ができる限り小さいようにされる。絶対値の代わりに、この絶対値の二乗又は知覚的なオーディオ特性を考慮に入れた定義のような他の「重み付け」要素も使用することができる。この事例では2つのミキシングされたチャンネルのサンプル周波数低減に起因した誤差として定義される、一連の値からこのようなKの数を見つけだすことは、K個の中央値目標として定義される。誤差ストリームからの要素のグループは、クラスター化する必要があり、K個の中心は、各点から最も近い中心までの距離の合計が最小になるように特定される必要がある。
同様の問題及びこれらの解決策はまた、施設配置アルゴリズムとして文献において公知である。更にこの関連の中では、「ストリーミング」解決策並びに非ストリーミング解決策を考慮する必要がある。前者は、「符号器」が、生活オーディオストリームのミキシングから生じる実生活(リアルタイムでの)で生成された誤差にワンタイム及びワンパスだけアクセスすることを意味する。後者(非ストリーミング)は、符号器が、処理に必要とするデータに「オフライン」で且つ連続してアクセスすることを意味する。出力デジタルデータストリーム(18ビットオーディオサンプル及び6ビットデータを有するオーディオPCMストリーム)の構造に起因して、対応するオーディオサンプルの前に補助データ領域からのデータブロックが送出され、K個の中央値又は施設配置アルゴリズムの非ストリーミング用途の事例における状況が生成される。本発明の目的は、これらの多くが公開文献で利用可能であるので、新しいデータクラスター化アルゴリズムを定義することではなく、むしろ実施するための当業者に対する解決策としてこれらを参照することである。(例えば、クラスター化データストリーム:理論と実践、知識及びデータエンジニアリングに関するIEEE研究論文、第15巻、第3号、2003年5月/6月を参照されたい。)。
これらのK個の中心又は誤差近似値が定義されると、ミキシングからの誤差ストリームのL個の要素がK個の近似値(又は中心)を含むそのテーブル内の要素に対して、L個の基準値で置き換えられるようなリストが生成される。6ビットのデータは、あらゆるオーディオサンプルに利用可能であるので、誤差ストリームの特定のセクションにおいて、そのセクションの全ての異なる誤差についてK=64個の異なる近似値を定義することができる。その後、L個の基準値のそのリストの無損失圧縮に依存し、圧縮後、L=M+NでのM個の×6ビットのデータサンプル及びN個の「自由な」6ビットデータサンプルで終わるようにすることができる。補助データ領域の自由空間は、誤差近似値並びに同期パターン、データブロックの長さ、その他を記憶するのに使用されることになる。しかしながら、L個の基準値のこのリスト内の値は、一連の真のランダムな数である可能性があるので、このリストの圧縮に依存すべきではなく、むしろ、このリストが圧縮可能であることを保証すべきである。従って、X/Y/Zの場合、この実施例においてはX=24、Y=18、Z=6では、32=2(Z-1)を超えない近似値が使用される。従って、(Z−1)個のビットのみがこのテーブルを参照する必要があり、基準値のこのようなリストが圧縮可能であることを容易に証明することができ、5*6ビットのデータサンプルは、このテーブルに対して6つの基準値を保持することができる(各々5ビットが必要)。基本的技術のセクションで説明するように24/18/6の場合、基準値のリストを含まない全てのデータを記憶するためには、少なくとも合計86のデータサンプルが必要とされる。同期用の6つの(6ビット)サンプル、データブロック長用の2つの(6ビット)サンプル、オフセット用の2つの(6ビット)サンプル、2つのオーディオサンプル重複各々18ビット用の6つの(6ビット)サンプル、減衰用に2つ(6ビット)、定義すべき2つ(6ビット)のデータ、32個の誤差近似値用の最大64個の(6ビット)サンプル、圧縮不能である場合CRC用の2つの(6ビット)サンプル)。少なくとも6から5まで圧縮される圧縮比を考慮すると(1つの自由なデータサンプルを供給する)、最大6x86=516個のサンプルが必要である。この合計はまた、24/18/6のこのモードにおいてデータブロックの最大長を定義する。例えば16にまで近似値の数を制限すると、合計86が54までの低減となり、すなわち、基準値リストの最小圧縮比が少なくとも6から4にまで圧縮され、データブロックの最大長が3x54=162個のデータサンプルになる。或いは、誤差の幅を3x6ビットまで拡張することにより、基準値のリスト以外の全てのデータを記憶するために118個のデータサンプルが生成される(これは、合計708=6x118を必要とする)。しかしながら、ほとんどの場合、上記は最悪の事例シナリオを考慮したものに過ぎないので、このデータを更に圧縮する圧縮が現実的(すなわち例えば、誤差近似値テーブルにおいて一般的な比率である25%(4ビットを3ビットに低減)の圧縮)である。32個の誤差近似値による近似では、この追加の比率により、データブロック長が50%を上回って低減され、(32個)の誤差近似値からの64個のデータサンプルは、48個のデータサンプルにまで低減され、合計(基準値リストなしで)が70にまで低減されるようになる。更に、基準値リストに対する更なる20%〜25%の圧縮では、このリストが6ビットから5ビットに、更に4ビットに至るまで圧縮され、結果として合計3x70=210個のデータサンプルのデータブロック長になる。この結果、32個の誤差近似値に対する基準値のストリームによって、ミキシングされたオーディオストリームのサンプル低減からの210個の誤差の誤差ストリームを近似することができるようになる。
16個の誤差近似値のみを有する24/18/6つの事例では、これと同程度の圧縮比を取ると、結果として誤差ストリームには3x46=138個のデータサンプルが必要となる。これらに限定されるものではないが、上記の実施例に基づいて結論を言えば、ここで導入された圧縮方式により、この近似値は、サンプル周波数が低減されたオーディオストリームのミキシング時に考慮に入れることができるように誤差ストリームを近似することが可能になり、これは、このサンプル周波数低減に起因して誤差を大幅に低減することになる。これらの圧縮誤差近似値を使用することで、卓越した正確さで2つのミキシングPCMストリームを再構成することが可能となり、2つのPCMストリームの結合及び分解により導入される誤差がほとんど知覚不能なものとなる。
復号器は、ミキシング解除動作を行うためにデータブロックを復号(解凍を含む)しなければならず、これらの(近似された)誤差にアクセスする必要があるので、ミキシングされたオーディオサンプルを処理する前に、データブロックの情報を受信することが更に必要となる。従って、この符号化ステップの第1フェーズにおいて、ストリームA′c′165a及びB′c′165bcから、並びに誤差ストリームE167からの幾つかのUサンプル(セクション)の第2のブロックも必要となる。誤差ストリームサンプル(その第2のブロックから)は、V(=32)12ビットの近似値を含むテーブル及びその誤差ストリームセクションのあらゆるサンプルをその近似値テーブルの要素にリンクさせる基準値リストを用いて近似される(K−中央値又は施設配置アルゴリズムを使用して)ことになる。この基準値リストは、誤差近似ストリームE′162を構成する。
結合ステップ<6>においては、ストリーム(A′c′、B′c′、E′)は、結合器/フォーマッタによりミキシングされる。この結合器/フォーマッタは、クリッピング(オーディオオーバーシューティング)に対する最終チェックを行う更なるクリッピング分析器を含み、このチェックには、小さな変更を必要とする場合がある。結合器/フォーマッタは、サンプルサイズ低減器により生成された結合データストリームにおける適切なデータブロックの補助データ領域に対して、減衰、シード値及び誤差近似値などの追加データを付加して、結合ストリームを含む出力ストリーム169、すなわちオーディオサンプルが併合されたデータブロックセクションを符号器の出力部に提供する。
●クリッピングにより導入されることになる誤差の低減。
本発明の別の態様は、効果的にミキシングされる前のオーディオストリームの前処理である。2つ又はそれ以上のストリームは、これらの信号が共にミキシングされたときにクリッピングを発生する可能性がある。このような場合、前処理ステップは、ミキシングされるチャンネルの一方又は両方のチャンネルにでも動的オーディオ圧縮器/リミッタを含む。これは、これらの特定の事象の前に減衰を徐々に増大させ、事象後に徐々に減衰を減少させることによって達成することができる。この手法は、これらのオーバーシュート/クリッピングを発生するサンプル値が(事前に)必要となるので、符号化プロセッサの非ストリーミングモードにおいて主として適用される。これらの減衰は、オーディオストリーム自体に対して処理され、従って、ミキシング解除時にこれらの圧縮器作用が依然としてミキシング解除ストリームの一部であるようにして、クリッピングを回避することができる。(ミキシングされた)オーディオのクリッピングを回避することは別として、復号器(本発明で説明するような)が存在しないときには、3Dから2Dへダウンミキシングされるオーディオレコーディングが使用可能でなければならない。こうした理由から、基本的な2次元オーディオと干渉し過ぎる追加のオーディオ(3次元から)を低減するために、ミキシングされたオーディオストリームに対して動的オーディオ信号圧縮(又は減衰)が使用されるが、これらの減衰パラメータを記憶することにより、適切な信号レベルが復元されるように、ミキシング解除後に逆操作を行うことができる。上述のように、サンプルの下位ビットにより形成される補助データ領域のデータブロック構造は、少なくとも8ビットのこの動的オーディオ圧縮パラメータ(減衰)を保持するセクションを含む。更に、分析(サンプル周波数低減誤差補正を参照)から、32個の要素の誤差テーブル及び12ビット誤差幅を有する24/18/6の典型的な事例のデータブロックの最大長は、およそ500サンプルであったと結論付けることができる。96kHzのサンプリングレートにて、このようなセクションは約5ミリ秒のオーディオであり、従って、このオーディオは、減衰パラメータのタイミング細分性になる。減衰値自体は8ビットの値で表され、異なるdB減衰レベルが各値に割り当てられたとき(例えば:0=0dB、1=(−0.1)dB、2=(−0.2)dB...)には、滑らかな圧縮曲線を実施するためにこれらの値及び時間ステップに依存する可能性があり、この圧縮曲線は、復号操作中に逆に用いて、適切な相対信号レベルを復元することができる。
オーディオストリームの下位ビット内の減衰値の記憶情報は、勿論、単一のストリームに適用することができ、ここで解像度の一部のビットは、この事例では、ストリーム内の信号のダイナミックレンジ全体を増大させるために犠牲にされる。或いは、ミキシングされたストリームにおいては、複数の減衰値をデータブロック内に記憶することができるので、各データストリームが関連する減衰値を有し、よって信号毎に個々に再生レベルを定義し、更に、信号毎に低信号レベルでも解像度が保持されるようにされる。
更に、減衰パラメータを用いて3次元オーディオ情報をミキシングし、付加的な3次元オーディオ信号がメインの2次元信号に対して減衰されたときに、3次元オーディオ情報を使用しない消費者にはこの付加的な3次元オーディオ信号は聞こえないが、減衰値が既知であることにより、付加的な3次元信号を取り出す復号器が減衰された3次元信号成分をオリジナルの信号レベルに復元できるようにすることができる。通常、これには、このオーディオ情報を排除するために、3次元オーディオストリームを2次元オーディオPCMストリームにミキシングする前に例えば18dBだけ減衰させ、「標準の」オーディオPCMストリームを「支配的にする」ようにする必要がある。これには、他のストリームでミキシングされる前に3次元オーディオストリーム上で用いられる減衰を定義する(ストリームの各セクションにおいて、データブロックの長さとして定義される)ための更なる(8ビット)パラメータを必要とする。18ビットの減衰は、3次元オーディオストリームを増幅することにより復号後に相殺することができる。
図18は、AUROPHONIC符号化装置を示す。
AUROPHONIC符号化装置184は、AURO符号器181、182、183の複数のインスタンスから構成され、各々が図1〜図17で説明する技術を用いて1つ又はそれ以上のオーディオPCMチャンネルをミキシングする。Aurophonic出力チャンネル毎に1つのAURO符号器181、182、183のインスタンスが起動される。1つのチャンネルだけが設けられているときには、ミキシングするものがないので符号器のインスタンスは起動する必要はない。
Aurophonic符号器184の入力部は、複数のオーディオ(PCM)チャンネル(オーディオチャンネル1からオーディオチャンネルXまで)である。各チャンネルにおいて、位置(3D)及びより小さいチャンネルにダウンミキシングされるときに使用される減衰に関する情報(位置/減衰)が添付される。Aurophonic符号器の他の入力部は、どのオーディオCMチャンネルがどのAurophonic出力チャンネルにダウンミキシングされるかを決定するオーディオマトリクス選択部180と、各AURO符号器181、182、183に設けられたAurophonic符号器品質表示部とから成る。
3D符号器の一般的な入力チャンネルは、L(正面左)、Lc(正面左中央)、C(正面中央)、Rc(正面右中央)、R(正面右)、LFE(低繰返し効果)、Ls(左サラウンド)、Rs(右サラウンド)、UL(上正面左)、UC(上正面中央)、UR(上正面右)、UL(上サラウンド左)、URs(上サラウンド右)、AL(アーティスティック左)、AR(アーティスティック右)…である。符号器により提供され且つ2D再生フォーマットに準拠した一般的な出力チャンネルは、AURO−L(左)(Aurophonicチャンネル1)、AURO−C(中央)(Aurophonicチャンネル2))、AURO−R(右)(Aurophonicチャンネル…)、AURO−Ls(左サラウンド)(Aurophonicチャンネル…)、AURO−Rs(右サラウンド)(Aurophonicチャンネル…)、AURO−LFE(低周波数効果)(AurophonicチャンネルY)である。
●符号器184の出力により提供されるAURO符号化チャンネルの実施例:(AURO−L、AURO−R、AURO−Ls、AURO−Rs)
AURO−Lは、両方のオリジナルのL(正面左)、UL(正面左上)及びAL(アーティスティック左)PCMオーディオチャンネルを含むことができ、AURO−Rは、類似しているが、正面右オーディオチャンネルに関するものであり、AURO−Lsは、Ls(左サラウンド)&UL(左上サラウンド)オーディオPCMチャンネルを保持し、AURO−Rsは、同等の右チャンネルを保持する。
図19は、Aurophonic復号装置を示す。
AUROPHONIC復号器194は、図5及び図10で説明した技術を用いて1つ又はそれ以上のオーディオPCMチャンネルをミキシング解除するAURO復号器191、192、193の複数のインスタンスを含む。AURO入力チャンネル毎に1つのAURO復号器191192、193のインスタンスが起動される。AUROチャンネルが1つのオーディオチャンネルだけのミキシングから成るときには、復号器インスタンスは起動する必要はない。
AUROPHONIC復号器の入力は、Aurophonic(PCM)チャンネルAurophonicチャンネル1…AurophonicチャンネルXを受信する。チャンネルAurophonicチャンネル1…AurophonicチャンネルX毎に、復号器の一部である補助データ領域復号器が、PCMチャンネルのAUROデータブロックの同期パターンの存在を自動的に検出することになる。一貫した同期が検出されたときには、AURO復号器191、192、193は、AURO(PCM)チャンネルのオーディオ部のミキシング解除を開始し、同時に、インデックスリスト及び誤差テーブルを解凍(必要であれば)し、この補正をミキシング解除されたオーディオチャンネルに適用する。AUROデータはまた、減衰(復号器により補正される)及び3D位置のようなパラメータを含む。3D位置は、ミキシング解除されたオーディオチャンネルを復号器194の正しい出力部にリダイレクトするために、オーディオ出力選択セクション190において使用される。ユーザは、オーディオ出力チャンネルのグループを選択する。
図20は、本発明による復号器を示す。
以上で本発明の全ての態様を説明したので、有利な実施形態を含めて、復号器を説明することができる。
本発明により得られる信号を復号する復号器200は、好ましくは、「オーディオ」(例えば24ビット)が前述のセクションで詳述した技術に従って符号化されているかどうかを自動的に検出する必要がある。
これは、例えば、下位ビット内の同期パターンを求めて受信データストリームをサーチする同期検出器201によって達成することができる。同期検出器201は、同期パターンを見つけだすことにより、サンプルの下位ビットで形成された補助データ領域内のデータブロックに同期する機能を有する。上記で説明したように、同期パターンの使用は、任意選択的であるが有利である。同期パターンは、例えば、24ビットサンプルサイズにおいて、2、4、6、又は8ビット(Z−ビット)幅、及び2、4、6、又は8サンプル長とすることができる。(2ビット:LSB=01,10;4ビット:LSB=0001,0010,0100,1000;6ビット:000001,…100000;8ビット:00000001,…,10000000)。同期検出器201がこれらのマッチングパターンのいずれかを見つけると、同期検出器201は、類似パターンが検出されるまで「待機」する。そのパターンが検出されると、同期検出器201は、SYNC候補状態に入る。検出された同期パターンに基づいて、同期検出器201は、2、4、6又は8ビットが補助データ領域でサンプルによって使用されたかどうかを判断することもできる。
第2の同期パターンに関して、復号器200は、データブロックをスキャンしてブロック長を復号し、更に次の同期パターンに対して、ブロック長と次の同期パターンの開始との間に適合性があるかどうかを検証する。これらの両方が適合した場合、復号器200は同期状態に入る。この検査が不合格であった場合、復号器200は、同期プロセスを最初から再開する。復号動作中に、復号器200は、各連続同期ブロックの開始の間でそのサンプルの数に対してブロック長を必ず比較する。矛盾が検出されるとすぐに、復号器200は、同期状態から出て、同期プロセスはもう一度やり直す必要がある。
図15及び図16で説明されたように、誤差補正コードは、存在するデータを保護するために補助データ領域内のデータブロックに適用することができる。この誤差補正コードはまた、誤差補正コードブロックのフォーマットが既知であり、誤差補正コードブロックの補助データの位置も既知である場合には同期用に使用することもできる。従って、図20において、同期検出器及び誤差検出器は、便宜上ブロック201内で結合された状態で示されているが、別個に実装することもできる。
誤差検出器は、CRC値を計算し(同期を除いて、このデータブロックから全てのデータを使用して)、このCRC値をデータブロックの終わりに見いだされた値と比較する。不整合があった場合、復号器はCRC誤差状態にあるといえる。
同期検出器は、シード値取り出し部202、誤差近似値取り出し部203、及び補助コントローラ204に情報に提供し、これにより、シード値取り出し部202、誤差近似値取り出し部203及び補助コントローラ204は、関連データを復号器200の入力から受信さしたときに補助データ領域から抽出することができる。
同期検出器がデータブロック同期ヘッダに同期すると、シード値取り出し部202は、データブロックのデータをスキャンして、オフセット、すなわちデータブロックの終端部と第1の重複オーディオサンプルとの間のサンプル数(この数は、理論上マイナスである可能性がある)を求め、これら重複(オーディオ)サンプルを読み込む。
シード値取り出し部202は、受信デジタルデータ集合の補助データ領域から1つ又はそれ以上のシード値を取り出して、取り出されたシード値を分解部206に提供する。分解部206は、図5及び9で説明するようなシード値を使用してデジタルデータ集合の基本的分解を行う。この分解の結果は、複数のデジタルデータ集合、又は1つ又はそれ以上のデジタルデータ集合が結合デジタルデータ集合から除去された単一のデジタルデータ集合である。これは、図20において、分解部206を復号器200の出力部に接続する3つの矢印により示される。
上記で説明されたように、分解部206により分解されたオーディオは、誤差近似値を使用して符号器により行われた等化によって生じた誤差を低減することなく、既に極めて許容可能なものであるので、誤差近似値を使用することは任意選択である。
誤差近似値取り出し部203は、必要であれば基準値リスト及び近似値テーブルを解凍する。分解されたデジタルデータ集合を改善するのに誤差近似値が使用されることになる場合、分解部206は、誤差近似値取り出し部203から受信された誤差近似値を対応するデジタルデータ集合に適用し、結果として得られたデジタルデータ集合を復号器の出力部に提供する。
復号器200がデータブロックヘッダと同期状態を維持している限り、誤差近似値取り出し部203は、基準値リスト及び近似値テーブルを引き続き解凍し、これらのデータを分解部206に適用して、C=A"+B"+E又はC−E=A"+B"に従ってミキシングオーディオサンプルをミキシング解除する。分解部206は、重複オーディオサンプルを使用して、A"サンプル及びB"サンプルへのミキシング解除を開始する。2つのデジタルデータ集合が結合された結合デジタルデータ集合においては、A′2iの偶数インデックスのサンプルはA"2iのこれらと適合し、A"2i+1はE′2i+1を追加することにより補正される。同様に、B′2iの奇数インデックスのサンプルは、B"2iのこれらと適合し、B"2i+1は、E′2i+2を追加することにより補正される。逆減衰が、第2のオーディオストリーム(B)に対して適用され、両方のオーディオサンプル(A′及びB′)は、最下位ビットにゼロが満たされている間に、これらのサンプルZビットを左にシフトすることにより、オリジナルのビット幅に変換される。再構成されたサンプルは、独立した非相関オーディオストリームとして送出される。
復号器200の別の任意選択的な要素は、補助コントローラ204である。補助コントローラ204は、補助データ領域から補助制御データを取り出して、取り出された補助制御データを処理し、その結果を例えば機械式アクチュエータ、楽器又は照明を制御する制御データの形で復号器の補助出力部に提供する。
実際に、復号器は、該復号器が、例えば結合デジタルデータ集合内のオーディオストリームに対応するように機械式アクチュエータを制御するため、補助制御データだけを提供する必要がある場合において、分解部206、シード値取り出し部202、及び誤差近似値取り出し部203から取り去ることができる。
復号器がCRC誤差状態に入ると、ユーザは、復号器の挙動を定義することができ、例えば、第2の出力をミューティングレベルまでフェードアウトし、復号器がCRC誤差状態から戻ると、第2の出力を再びフェードインすることを求めることができる。別の挙動は、両方の出力部にミキシング信号を重複させることとすることができるが、復号器の出力部で提示されるオーディオのこれらの変更により、望ましくないオーディオプロッピング又はクラッキングを引き起こさないようにすべきである。
21 第1の中間デジタルデータ集合
31 第3のデジタルデータ集合に含まれるデジタルデータ集合
40 第3のデジタルデータ集合

Claims (50)

  1. 第1のサイズを有する第1のデジタルデータ集合(20)のサンプル(A0、A1、A2、A3、A4、A5、A6、A7、A8、A9)及び第2のサイズを有する第2のデジタルデータ集合(30)のサンプル(B0、B1、B2、B3、B4、B5、B6、B7、B8、B9)を結合して、前記第1のサイズ及び前記第2のサイズの合計よりも小さい第3のサイズを有する第3のデジタルデータ集合(40)のサンプル(C0、C1、C2、C3、C4、C5、C6、C7、C8、C9)にする方法であって、
    前記第1のデジタルデータ集合(20)の第1のサブセットのサンプル(A1、A3、A5、A7、A9)を、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)と交互配置された前記第1のデジタルデータ集合(20)の第2のサブセットのサンプル(A0、A2、A4、A6、A8)の隣接サンプルに等化する処理と、
    前記第2のデジタルデータ集合(30)の第3のサブセットのサンプル(B0、B2、B4、B6、B8)を、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)と交互配置され且つ前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)と時間的に対応するサンプルを有していない前記第2のデジタルデータ集合(30)の第4のサブセットのサンプル(B1、B3、B5、B7、B9)の隣接サンプルに等化する処理と、
    前記等化された第1のデジタルデータ集合の前記サンプル(A0"、A1"、A2"、A3"、A4"、A5"、A6"、A7"、A8"、A9")を、前記時間領域において前記等化された第2のデジタルデータ集合の対応するサンプル(B0"、B1"、B2"、B3"、B4"、B5"、B6"、B7"、B8"、B9")に追加することによって、前記第3のデジタルデータ集合(40)のサンプル(C0、C1、C2、C3、C4、C5、C6、C7、C8、C9)を生成する処理と、
    前記第1のデジタルデータ集合(20)の第1のシードサンプル(A0)及び前記第2のデジタルデータ集合(30)の第2のシードサンプル(B1)を前記第3のデジタルデータ集合(40)に埋め込む処理と、を含む方法。
  2. 前記第1のデジタルデータ集合(20)が第1のオーディオ信号を表し、前記第2のデジタルデータ集合(30)が第2のオーディオ信号を表し、前記第3のデジタルデータ集合(40)が、前記第1のオーディオ信号及び前記第2のオーディオ信号の結合である第3のオーディオ信号を表すことを特徴とする請求項1に記載の方法。
  3. 第4のオーディオ信号を表す第4のデジタルデータ集合が、前記第1(20)及び第2のデジタルデータ集合(30)と結合されて、前記第1のオーディオ信号、前記第2のオーディオ信号及び前記第4のオーディオ信号の結合である第3のオーディオ信号を表す前記第3のデジタルセット(40)になることを特徴とする請求項2に記載の方法。
  4. 前記第1のシードサンプルが前記第1のデジタルデータ集合の前記第1のサンプルであり、前記第2のシードサンプルが前記第2のデジタルデータ集合の前記第2のサンプルであることを特徴とする請求項1に記載の方法。
  5. 前記第1のシードサンプル(A0)及び前記第2のシードサンプル(B1)が、前記第3のデジタルデータ集合(40)のサンプル(C0、C1、C2、C3、C4、C5、C6、C7、C8、C9)の下位ビット内に埋め込まれることを特徴とする請求項1に記載の方法。
  6. 前記第1のシードサンプル(A0)の場所に対して定義された位置に同期パターン(SYNC)が埋め込まれることを特徴とする請求項1に記載の方法。
  7. 前記サンプルを等化する処理の前に、前記サンプルの等化から生じる誤差が、誤差近似のセットから誤差近似を選択することによって近似されるようにすることを特徴とする請求項1に記載の方法。
  8. 前記誤差近似のセットにインデックスが付加され、前記誤差近似を表すインデックスが、前記誤差近似が対応する前記サンプルの下位ビットにより形成された補助データ領域(81)内に埋め込まれることを特徴とする請求項7に記載の方法。
  9. 前記誤差近似のセットにインデックスが付加され、前記誤差近似を表すインデックスが、サンプルの下位ビットにより形成された補助データ領域(81)内のデータブロック内に埋め込まれ、前記データブロックは、前記インデックスが対応する前記サンプルに先行することを特徴とする請求項7に記載の方法。
  10. 前記サンプルがブロックに分割され、前記インデックスが、前記インデックスが対応する前記サンプルを含む第2のブロックに先行する第1のブロック内の前記サンプル内に埋め込まれることを特徴とする請求項9に記載の方法。
  11. 前記埋め込まれた誤差近似値が圧縮される、ことを特徴とする請求項9に記載の方法。
  12. 前記誤差値が、前記誤差値が対応する前記サンプルに対する可変位置を有する第1の利用可能位置に埋め込まれることを特徴とする請求項11に記載の方法。
  13. 埋め込みに使用されない前記第3のデジタルデータ集合のサンプルのいずれかの下位ビットが、予め定義された値に設定されるか又はゼロに設定されることを特徴とする前記請求項のいずれか1項に記載の方法。
  14. 前記最下位ビットが、制御データを埋め込むために更に使用されることを特徴とする請求項5から請求項13のいずれか1項に記載の方法。
  15. 前記制御データが、楽器を制御するために埋め込まれることを特徴とする請求項14に記載の方法。
  16. 前記制御データが、発光素子を制御するために埋め込まれることを特徴とする請求項14に記載の方法。
  17. 前記制御データが、符号化又は復号中に前記第2のデジタルデータ集合(30)に適用されることになる1つ又はそれ以上の利得係数を表していることを特徴とする請求項14に記載の方法。
  18. 前記制御データが、機械式アクチュエータを制御するために埋め込まれることを特徴とする請求項14に記載の方法。
  19. 請求項1に記載の前記方法により得られるような第3のデジタルデータ集合(40)のサンプル(C0、C1、C2、C3、C4、C5、C6、C7、C8、C9)から第1のデジタルデータ集合(20)のサンプル(A0、A1、A2、A3、A4、A5、A6、A7、A8、A9)及び第2のデジタルデータ集合(30)のサンプル(B0、B1、B2、B3、B4、B5、B6、B7、B8、B9)を抽出する方法であって、
    前記第1のデジタルデータ集合(20)の第1のシードサンプル(A0)及び前記第2のデジタルデータ集合(30)の第2のシードサンプル(B1)を前記第3のデジタルデータ集合(40)から取り出す処理と、
    前記第3のデジタルデータ集合(40)の対応するサンプルから前記第1のデジタルデータ集合(20)のサンプルの既知の値を減算することで前記第2のデジタルデータ集合(30)のサンプル(Bn)を抽出し、且つ前記第3のデジタルデータ集合(31)の対応するサンプルから前記第2のデジタルデータ集合(30)のサンプルの既知の値を減算することで前記第1のデジタルデータ集合(20)のサンプルを抽出することによって、第1のサブセットのサンプル(A1、A3、A5、A7、A9)及び第2のサブセットのサンプル(A0、A2、A4、A6、A8)を含む前記第1のデジタルデータ集合(20)と、第3のサブセットのサンプル(B0、B2、B4、B6、B8)及び第4のサブセットのサンプル(B1、B3、B5、B7、B9)を含む前記第2のデジタルデータ集合(30)とを取り出す処理とを含み、
    前記第4のサブセット(B1、B3、B5、B7、B9)の前記サンプル及び前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)が、時間的に対応するサンプルを有しておらず、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)が、前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)の隣接サンプルと等しい値を有し、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)及び前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)が交互配置され、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)が、前記第4のサブセットのサンプル(B1、B3、B5、B7、B9)の隣接サンプルと等しい値を有し、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)及び前記第4のサブセットのサンプル(B1、B3、B5、B7、B9)が交互配置されていることを特徴とする方法。
  20. 前記第1のデジタルデータ集合(20)が第1のオーディオ信号を表し、前記第2のデジタルデータ集合(30)が第2のオーディオ信号を表し、前記第3のデジタルデータ集合(31)が、前記第1のオーディオ信号及び前記第2のオーディオ信号の結合である第3のオーディオ信号を表すことを特徴とする請求項19に記載の方法。
  21. 前記第1及び第2のデジタルデータ集合(20、30)と結合されて前記第1のオーディオ信号、前記第2のオーディオ信号及び前記第4のオーディオ信号の結合である第3のオーディオ信号を表す前記第3のデジタルセット(31)になる第4のオーディオ信号を表す第4のデジタルデータ集合が抽出されることを特徴とする請求項20に記載の方法。
  22. 前記第1のシードサンプルが前記第1のデジタルデータ集合の第1のサンプル(A0)であり、前記第2のシードサンプル(B1)が前記第2のデジタルデータ集合の第2のサンプルであることを特徴とする請求項19に記載の方法。
  23. 前記第1のシードサンプル(A0)及び前記第2のシードサンプル(B1)が、前記第3のデジタルデータ集合(40)のサンプル(C0、C1、C2、C3、C4、C5、C6、C7、C8、C9)の下位ビットから抽出されることを特徴とする請求項19に記載の方法。
  24. 前記第1のシードサンプル(A0)の位置を定義するために、同期パターン(SYNC)が使用されることを特徴とする請求項19に記載の方法。
  25. 前記第1のデジタルデータ集合を取り出す処理の後に、符号化中に前記サンプルの等化から生じる誤差が、取り出された誤差近似を追加することにより補正されるようにすることを特徴とする請求項19に記載の方法。
  26. 前記誤差近似が、前記第3のデジタルデータ集合のサンプルの下位ビットにより形成された補助データ領域(81)から取り出されることを特徴とする請求項25に記載の方法。
  27. 前記補助データ領域(81)がブロックに分割され、前記誤差近似が、前記誤差近似が対応する前記サンプルに先行する前記補助データ領域(81)のブロック内に埋め込まれることを特徴とする請求項26に記載の方法。
  28. 前記埋め込まれた誤差値が圧縮されることを特徴とする請求項25、26又は27の何れか1項に記載の方法。
  29. 前記誤差近似のセットが、前記誤差近似を表すインデックスにより表されることを特徴とする請求項25、26、又は27の何れか1項に記載の方法。
  30. 前記誤差値が、前記誤差値が対応する前記サンプルに対する可変位置を有する第1の利用可能位置から取り出されることを特徴とする請求項25に記載の方法。
  31. 前記下位ビットから補助制御データが取り出されることを特徴とする請求項23〜30のいずれか1項に記載の方法。
  32. 前記補助制御データが、楽器を制御するために提供されることを特徴とする請求項31に記載の方法。
  33. 前記補助制御データが、発光素子又は機械式アクチュエータを制御するために提供されることを特徴とする請求項31に記載の方法。
  34. 前記補助制御データが、前記第1のデジタルデータ集合に適用されることになる1つ又はそれ以上の利得係数を表していることを特徴とする請求項31に記載の方法。
  35. 請求項1から請求項18のいずれか1項に記載の前記方法を実行するように構成された符号器(10)であって、
    前記第1のデジタルデータ集合(20)の第1のサブセットのサンプル(A1、A3、A5、A7、A9)を、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)と交互配置された前記第1のデジタルデータ集合(20)の第2のサブセットのサンプル(A0、A2、A4、A6、A8)の隣接サンプルに等化する第1の等化手段(11a)と、
    前記第2のデジタルデータ集合(30)の第3のサブセットのサンプル(B0、B2、B4、B6、B8)を、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)と交互配置され且つ前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)と時間的に対応するサンプルを有していない前記第2のデジタルデータ集合(30)の第4のサブセットのサンプル(B1、B3、B5、B7、B9)の隣接サンプルに等化する第2の等化手段(11b)と、
    前記時間領域において前記第2のデジタルデータ集合の対応するサンプルに前記第1のデジタルデータ集合のサンプルを追加することによって前記第3のデジタルデータ集合のサンプルを生成する結合器(13)と、
    前記第1のデジタルデータ集合の第1のシードサンプル及び前記第2のデジタルデータ集合の第2のシードサンプルを前記第3のデジタルデータ集合に埋め込むフォーマット手段(14)と、を備えることを特徴とする符号器(10)。
  36. 請求項35に記載の符号器(10)を備えたデジタル信号処理装置。
  37. 前記デジタル信号処理装置が、マルチチャンネルオーディオをレコーディングするように適合されていることを特徴とする請求項36に記載のデジタル信号処理装置。
  38. 前記デジタル信号処理装置が、第1の数のオーディオチャンネルを有する3次元オーディオをレコーディングし、前記第1の数のオーディオチャンネルより少ない第2の数のオーディオチャンネルを有する2次元オーディオ用に設計されたフォーマットで前記レコーディングされた3次元オーディオを記憶するように適合されていることを特徴とする請求項37に記載のデジタル信号処理装置。
  39. 請求項19〜請求項34のいずれか1項に記載の前記方法を実行するように構成された復号器であって、
    前記第1のデジタルデータ集合(20)の第1のシードサンプル(A0)及び前記第2のデジタルデータ集合(30)の第2のシードサンプル(B1)を前記第3のデジタルデータ集合(40)から取り出すシード値取り出し部(202)と、
    第1のサブセットのサンプル(A1、A3、A5、A7、A9)及び第2のサブセットのサンプル(A0、A2、A4、A6、A8)を含む前記第1のデジタルデータ集合(20)と、第3のサブセットのサンプル(B0、B2、B4、B6、B8)及び第4のサブセットのサンプル(B1、B3、B5、B7、B9)を含む前記第2のデジタルデータ集合(30)とを取り出すプロセッサ(206)とを備え、
    前記第1の処理手段が、前記第2のデジタルデータ集合(30)のサンプル(Bn)を抽出する第1の抽出器と、前記第3のデジタルデータ集合(40)の対応するサンプルから前記第1のデジタルデータ集合(20)のサンプルの既知の値を減算する第1の減算器とを含み、前記プロセッサが更に、前記第1のデジタルデータ集合(20)のサンプルを抽出する第2の抽出器と、前記第3のデジタルデータ集合(31)の対応するサンプルから前記第2のデジタルデータ集合(30)のサンプルの既知の値を減算する第2の減算器とを含み、
    前記第4のサブセット(B1、B3、B5、B7、B9)の前記サンプル及び前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)が、時間的に対応するサンプルを有しておらず、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)が、前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)の隣接サンプルと等しい値を有し、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)及び前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)が交互配置され、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)が、前記第4のサブセットのサンプル(B1、B3、B5、B7、B9)の隣接サンプルと等しい値を有し、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)及び前記第4のサブセットのサンプル(B1、B3、B5、B7、B9)が交互配置されており、
    前記復号器には、更に、前記取り出された第1のデジタルデータ集合を出力する出力手段が設けられていることを特徴とする復号器。
  40. 前記出力手段が、前記デジタルデータストリームから取り出されなかった前記デジタルデータ集合の結合を表すデジタルデータ集合を出力するように構成されることを特徴とする請求項39に記載の復号器(200)。
  41. 請求項39に記載の復号器(200)を含む再生装置。
  42. 前記再生装置が、マルチチャンネルオーディオをレコーディングするように適合されていることを特徴とする請求項41に記載のデジタル信号処理装置。
  43. 前記マルチチャンネルオーディオが、2次元オーディオ用に設計されたフォーマットで記憶された3次元オーディオであり、前記3次元オーディオが第1の数のオーディオチャンネルを有し、前記2次元オーディオが、前記第1の数のオーディオチャンネルより少ない第2の数のオーディオチャンネルを有することを特徴とする請求項42に記載の再生装置。
  44. 前記マルチチャンネルオーディオが、2次元オーディオ用に設計されたフォーマットで記憶された2次元オーディオであり、前記2次元オーディオが、2よりも多い数のオーディオチャンネルを有することを特徴とする請求項42に記載の再生装置。
  45. 前記再生装置が、ステレオ再生とマルチチャンネルオーディオ再生との間で切換可能であることを特徴とする請求項41、42、43、又は44の何れか1項に記載の再生装置。
  46. 請求項41、42、43、又は44の何れか1項に記載の再生装置を含む車室を備えた車両であって、前記再生機器が、オーディオ情報を有するデータキャリア用読取り装置と増幅器とを含むことを特徴とする車両。
  47. 前記車室内で異なる高さに位置決めされたラウドスピーカを含み、前記各ラウドスピーカが、前記データキャリアに関する前記オーディオ情報から前記復号器により取り出された異なるオーディオチャンネルにより駆動されるようになることを特徴とする請求項46に記載の車両。
  48. 少なくとも1つのラウドスピーカが、ダッシュボードよりも高く位置決めされることを特徴とする請求項47に記載の車両。
  49. 請求項1〜18のいずれか1項に記載の前記方法により得られるデジタルデータ集合を含む記録媒体。
  50. コンピュータ上で実行されたときに請求項1〜34の何れか1項に記載の前記方法を実行するコード手段を含むコンピュータプログラムであって、
    前記コンピュータが、前記コンピュータプログラムの実行の好適な環境を提供することを特徴とするコンピュータプログラム。
JP2009531862A 2006-10-13 2007-10-15 デジタルデータ集合を結合するための方法及び符号器、結合デジタルデータ集合の復号方法及び復号器、並びに結合デジタルデータ集合を記憶するための記録媒体 Active JP5325108B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US82932106P 2006-10-13 2006-10-13
US60/829,321 2006-10-13
PCT/EP2007/060980 WO2008043858A1 (en) 2006-10-13 2007-10-15 A method and encoder for combining digital data sets, a decoding method and decoder for such combined digital data sets and a record carrier for storing such combined digital data set

Publications (3)

Publication Number Publication Date
JP2010506226A true JP2010506226A (ja) 2010-02-25
JP2010506226A5 JP2010506226A5 (ja) 2012-10-18
JP5325108B2 JP5325108B2 (ja) 2013-10-23

Family

ID=38983768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009531862A Active JP5325108B2 (ja) 2006-10-13 2007-10-15 デジタルデータ集合を結合するための方法及び符号器、結合デジタルデータ集合の復号方法及び復号器、並びに結合デジタルデータ集合を記憶するための記録媒体

Country Status (13)

Country Link
US (1) US8620465B2 (ja)
EP (4) EP2328364B1 (ja)
JP (1) JP5325108B2 (ja)
CN (1) CN101641970B (ja)
AT (1) ATE476834T1 (ja)
CA (1) CA2678681C (ja)
DE (1) DE602007008289D1 (ja)
DK (1) DK2092791T3 (ja)
ES (2) ES2350018T3 (ja)
HK (1) HK1141188A1 (ja)
PL (2) PL2092791T3 (ja)
PT (1) PT2299734E (ja)
WO (1) WO2008043858A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512613A (ja) * 2015-02-27 2018-05-17 アウロ テクノロジーズ エンフェー. デジタルデータセットの符号化及び復号

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9310959B2 (en) * 2009-06-01 2016-04-12 Zya, Inc. System and method for enhancing audio
JP2011155640A (ja) * 2009-12-28 2011-08-11 Panasonic Corp 立体映像再生装置
US8781000B2 (en) * 2010-12-30 2014-07-15 Vixs Systems, Inc. Dynamic video data compression
EP2695161B1 (en) * 2011-04-08 2014-12-17 Dolby Laboratories Licensing Corporation Automatic configuration of metadata for use in mixing audio programs from two encoded bitstreams
KR102160248B1 (ko) * 2012-01-05 2020-09-25 삼성전자주식회사 다채널 음향 신호의 정위 방법 및 장치
WO2013122386A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122387A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
WO2013122385A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
US9386066B2 (en) 2012-03-13 2016-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Mixing of encoded video streams
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
CN105229731B (zh) 2013-05-24 2017-03-15 杜比国际公司 根据下混的音频场景的重构
WO2014187986A1 (en) 2013-05-24 2014-11-27 Dolby International Ab Coding of audio scenes
JP6192813B2 (ja) 2013-05-24 2017-09-06 ドルビー・インターナショナル・アーベー オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化
WO2014187990A1 (en) 2013-05-24 2014-11-27 Dolby International Ab Efficient coding of audio scenes comprising audio objects
EP2830052A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
EP2830053A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP3127109B1 (en) 2014-04-01 2018-03-14 Dolby International AB Efficient coding of audio scenes comprising audio objects
CN109348535B (zh) * 2017-08-11 2019-10-22 华为技术有限公司 同步信号块指示及确定方法、网络设备和终端设备
CN109361933B (zh) * 2018-11-13 2019-11-05 仲恺农业工程学院 一种音视频信息处理方法
US11985222B2 (en) 2020-09-22 2024-05-14 Qsc, Llc Transparent data encryption
CN114137348B (zh) * 2021-11-29 2023-11-24 国网湖南省电力有限公司 一种配电终端智能联调验收方法和验收设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266587A (ja) * 2003-03-03 2004-09-24 Dainippon Printing Co Ltd 時系列信号の符号化装置および記録媒体
EP1592008A2 (en) * 2004-04-30 2005-11-02 Van Den Berghe Engineering Bvba Multi-channel compatible stereo recording
JP2007304346A (ja) * 2006-05-11 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> 多チャネル信号符号化方法、その方法を用いた装置、プログラム、および記録媒体
JP2009531905A (ja) * 2006-03-28 2009-09-03 フランス テレコム 変換ドメイン内で効率的なバイノーラルサウンド空間化を行う方法およびデバイス

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351087A (en) * 1990-06-01 1994-09-27 Thomson Consumer Electronics, Inc. Two stage interpolation system
US5642437A (en) * 1992-02-22 1997-06-24 Texas Instruments Incorporated System decoder circuit with temporary bit storage and method of operation
JPH06325499A (ja) * 1993-05-11 1994-11-25 Sony Corp 記録装置、再生装置および記録再生装置
FI101439B (fi) * 1995-04-13 1998-06-15 Nokia Telecommunications Oy Transkooderi, jossa on tandem-koodauksen esto
US5884269A (en) * 1995-04-17 1999-03-16 Merging Technologies Lossless compression/decompression of digital audio data
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
TW417082B (en) * 1997-10-31 2001-01-01 Yamaha Corp Digital filtering processing method, device and Audio/Video positioning device
US6104991A (en) * 1998-02-27 2000-08-15 Lucent Technologies, Inc. Speech encoding and decoding system which modifies encoding and decoding characteristics based on an audio signal
GB2345233A (en) * 1998-10-23 2000-06-28 John Robert Emmett Encoding of multiple digital audio signals into a lesser number of bitstreams, e.g. for surround sound
JP3876819B2 (ja) * 2002-11-27 2007-02-07 日本ビクター株式会社 音声符号化方法及び音声復号化方法
KR20050122244A (ko) * 2003-04-08 2005-12-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 매립된 데이터 채널의 갱신
US20060015329A1 (en) * 2004-07-19 2006-01-19 Chu Wai C Apparatus and method for audio coding
JP2008513845A (ja) * 2004-09-23 2008-05-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声データを処理するシステム及び方法、プログラム要素並びにコンピュータ読み取り可能媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266587A (ja) * 2003-03-03 2004-09-24 Dainippon Printing Co Ltd 時系列信号の符号化装置および記録媒体
EP1592008A2 (en) * 2004-04-30 2005-11-02 Van Den Berghe Engineering Bvba Multi-channel compatible stereo recording
JP2009531905A (ja) * 2006-03-28 2009-09-03 フランス テレコム 変換ドメイン内で効率的なバイノーラルサウンド空間化を行う方法およびデバイス
JP2007304346A (ja) * 2006-05-11 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> 多チャネル信号符号化方法、その方法を用いた装置、プログラム、および記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512613A (ja) * 2015-02-27 2018-05-17 アウロ テクノロジーズ エンフェー. デジタルデータセットの符号化及び復号

Also Published As

Publication number Publication date
ES2399562T3 (es) 2013-04-02
CN101641970B (zh) 2012-12-12
US8620465B2 (en) 2013-12-31
EP2092791B1 (en) 2010-08-04
JP5325108B2 (ja) 2013-10-23
EP2328364B1 (en) 2020-07-01
EP2092791A1 (en) 2009-08-26
EP2337380A1 (en) 2011-06-22
EP2299734A3 (en) 2011-06-08
PT2299734E (pt) 2013-02-20
ATE476834T1 (de) 2010-08-15
CN101641970A (zh) 2010-02-03
CA2678681A1 (en) 2008-04-17
DE602007008289D1 (de) 2010-09-16
EP2337380B1 (en) 2020-01-08
EP2337380B8 (en) 2020-02-26
EP2328364A1 (en) 2011-06-01
PL2092791T3 (pl) 2011-05-31
HK1141188A1 (en) 2010-10-29
US20100027819A1 (en) 2010-02-04
DK2092791T3 (da) 2010-11-22
EP2299734B1 (en) 2012-11-14
PL2299734T3 (pl) 2013-05-31
WO2008043858A1 (en) 2008-04-17
CA2678681C (en) 2016-03-22
ES2350018T3 (es) 2011-01-14
EP2299734A2 (en) 2011-03-23

Similar Documents

Publication Publication Date Title
JP5325108B2 (ja) デジタルデータ集合を結合するための方法及び符号器、結合デジタルデータ集合の復号方法及び復号器、並びに結合デジタルデータ集合を記憶するための記録媒体
KR101158698B1 (ko) 복수-채널 인코더, 입력 신호를 인코딩하는 방법, 저장 매체, 및 인코딩된 출력 데이터를 디코딩하도록 작동하는 디코더
TWI573131B (zh) 用以編碼或解碼音訊聲軌之方法、音訊編碼處理器及音訊解碼處理器
CN101385077B (zh) 用于编码/解码信号的装置和方法
JP2009526258A (ja) 符号化/復号化装置及び方法
US20070297624A1 (en) Digital audio encoding
JP6612841B2 (ja) オブジェクトベースオーディオシステムにおける残差符号化
JPH11176101A (ja) 疑似多チャンネルステレオ再生装置
US20060212614A1 (en) Cd playback augmentation for higher resolution and multi-channel sound
JPWO2010119572A1 (ja) サラウンド信号生成装置、サラウンド信号生成方法、及びサラウンド信号生成プログラム
US8626494B2 (en) Data compression format
JPH1042398A (ja) サラウンド再生方法及び装置
JP2008310238A (ja) 音声符号化装置、音声復号化装置、音声符号化プログラムおよび音声復号化プログラム
Eliasson et al. Multichannel cinema sound
JPH04143970A (ja) オーディオ信号の補間装置
JPH0721742A (ja) 音響編集システム及び音響再生システム
JP2001275195A (ja) エンコード・デコードシステム
JPH0759199A (ja) ヘッドホン受聴用オーディオ・ソフトウェアの作成に用いる音響信号記録方法、音響信号記録システム、及び音響信号記録媒体
JPH04345997A (ja) 音声処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101014

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120903

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130520

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130619

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130719

R150 Certificate of patent or registration of utility model

Ref document number: 5325108

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350