JP2010506226A - デジタルデータ集合を結合するための方法及び符号器、結合デジタルデータ集合の復号方法及び復号器、並びに結合デジタルデータ集合を記憶するための記録媒体 - Google Patents
デジタルデータ集合を結合するための方法及び符号器、結合デジタルデータ集合の復号方法及び復号器、並びに結合デジタルデータ集合を記憶するための記録媒体 Download PDFInfo
- Publication number
- JP2010506226A JP2010506226A JP2009531862A JP2009531862A JP2010506226A JP 2010506226 A JP2010506226 A JP 2010506226A JP 2009531862 A JP2009531862 A JP 2009531862A JP 2009531862 A JP2009531862 A JP 2009531862A JP 2010506226 A JP2010506226 A JP 2010506226A
- Authority
- JP
- Japan
- Prior art keywords
- samples
- digital data
- data set
- sample
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 120
- 230000005236 sound signal Effects 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 abstract description 21
- 238000002156 mixing Methods 0.000 description 79
- 230000009467 reduction Effects 0.000 description 37
- 230000002829 reductive effect Effects 0.000 description 30
- 230000006835 compression Effects 0.000 description 29
- 238000007906 compression Methods 0.000 description 29
- 238000005070 sampling Methods 0.000 description 27
- 238000012937 correction Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000002238 attenuated effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000003638 chemical reducing agent Substances 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000000969 carrier Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- DFPAKSUCGFBDDF-UHFFFAOYSA-N Nicotinamide Chemical compound NC(=O)C1=CC=CN=C1 DFPAKSUCGFBDDF-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【選択図】図5
Description
−第1のデジタルデータ集合の第1のサブセットのサンプルを、第1のサブセットのサンプルと交互配置された第1のデジタルデータ集合の第2のサブセットのサンプルのうちの隣接サンプルに等化するステップと、
−第2のデジタルデータ集合の第3のサブセットのサンプルを、第3のサブセットのサンプルと交互配置された第2のデジタルデータ集合の第4のサブセットのサンプルのうちの隣接サンプルに等化するステップと、
−第1のデジタルデータ集合のサンプルを時間領域において第2のデジタルデータ集合の対応するサンプルに追加することによって、第3のデジタルデータ集合のサンプルを生成するステップと、
−第1のデジタルデータ集合の第1のシードサンプル及び第2のデジタルデータ集合の第2のシードサンプルを第3のデジタルデータ集合内に埋め込むステップと、
を含む。
本発明は、結合し分解する本方法により、それぞれの予め定義された位置での第1及び第2のデジタルデータ集合のサンプルが劣化されずに取り出し可能となり、第3のデジタルデータ集合を復号した後に、サンプル間でサンプル補間が劣化しないことが可能になるので、復号側でも等しく良好に行うことができることから符号化側では補間は必要ではないという認識に基づいている。本発明の独立請求項の第3のデジタルデータ集合は、本発明の場合において第1及び第2のデジタルデータ集合の真の合計と第3のデジタルデータ集合との間にはより大きな誤差が通常は存在する点で、欧州特許第1592008号の第3のデジタルデータ集合とは異なっている。
第2のデジタルデータ集合の第3のサブセットのサンプルを、第3のサブセットのサンプルと交互配置された第2のデジタルデータ集合の第4のサブセットのサンプルのうちの隣接サンプルと等化するステップは、第2のデジタルデータ集合内の情報を容易に削減することを実現する。
オリジナルの値がシード値として機能できる場合に、第1及び第2のデジタルデータ集合からオリジナルの値を作成して、第2及び第4のサブセットが確実に交互配置されるようにすることによって、第1及び第2のデジタルデータ集合は、第1のデジタルデータ集合の第1のサブセットのサンプルが第1のデジタルデータ集合の第2のサブセットのサンプルのうちの隣接サンプルと等化され、且つ第2のデジタルデータ集合の第3のサブセットのサンプルが第2のデジタルデータ集合の第4のサブセットのサンプルのうちの隣接サンプルと等化された状態において、第3のデジタルデータ集合から取り出すことができる。
第1及び第2のデジタルデータ集合がこの状態で取り出されると、補間又はフィルタリングを用いて、第2のデジタルデータストリームから第1のデジタルデータストリームの第1のサブセットのサンプル及び第3のサブセットのサンプルのオリジナルの値をできる限り、正確に復元することができる。従って、第1のデジタルデータストリーム及び第2のデジタルデータストリームを第3のデジタルデータストリームに結合する方法により、第2及び第4のサブセットのサンプルを高精度で取り出すことと、第1及び第3のサブセットの値を再構成することが可能となり、必要に応じて復号中に補間ステップを実施することができる。
本発明をオーディオ信号に適用することにより、第1及び第2のオーディオ信号を、許容可能な精度で取り出すことができることが得られるだけでなく、第3のデジタルデータ集合によって表される結果として得られた結合オーディオ信号は、第2のオーディオ信号で混合されたときに、第1のオーディオ信号の知覚可能に許容可能な表現であることも得られる。従って、第1又は第2のデジタルオーディオ信号を第3のデジタルデータ集合から抽出することができない機器上で結果として得られた第3のデジタルデータ集合を適切に再生でき、一方、抽出を行うことができる機器は、別の再生又は更なる処理のために第1及び第2のオーディオ信号を抽出できることを達成できる。2以上のオーディオ信号が組み合わされる、すなわちミキシング(混合)されるときには、本発明を用いて、オーディオ信号のうちの1つのみを抽出し、他のオーディオ信号を組み合わせたままにすることも可能である。これらの残りのオーディオ信号は依然として、結合オーディオ信号のミキシングを表す再生可能なオーディオ信号をもたらし、一方、抽出されたオーディオ信号は、それ単独で処理することができる。
デジタルデータ集合の開始近くでの分解のためにシードサンプルを選択することにより、第3のデジタルデータ集合の読み取りが開始されるとすぐに、第1及び第2のデジタルデータ集合の分解を開始することができるようになる。シードサンプルはまた、シードサンプルの前に配置されたサンプルを分解するために再帰的手法が必要となるように第3のデジタルデータ集合に更に埋め込むこと、すなわち配置することができる。当該セットの開始時又はその前にオリジナルのデジタルデータ集合からシードサンプルを選択すると、第1及び第2のデジタルデータ集合を取り出す分解プロセスが簡素化される。
本方法の更なる実施形態においては、第1のシードサンプル及び第2のシードサンプルは、第3のデジタルデータ集合のサンプルの下位ビットに埋め込まれる。
シード値をサンプルの下位ビットに埋め込むことにより、影響を受けたサンプルは、オリジナルの値から僅かに偏差するだけであり、これは、記憶する必要があるシード値は僅かに過ぎず、このような僅かなサンプルだけが影響を受けているので、実質的に知覚できないことが分かっている。更に、下位ビットの選択により、発生する可能性がある偏差は小さなものに過ぎないことが確実にされる。
全てのサンプルの最下位ビットがデータを埋め込むために使用されたときでも、最下位ビットがサンプルから除去され、ほとんどそれと分かるほど顕著ではない結果となるので、この偏差は知覚可能ではないか、又はほとんど知覚することができない。
本発明の基本的方法を用いたPCMサンプルのミキシング解除は、結果として、PCMサンプルの下位ビットにおいて又はオーディオ用に使用されるPCMサンプルの上位ビットの一部として符号化された追加データからの読み取り時にリードエラーが発生したときに誤差を生じる結果となる可能性がある。この分解プロセスの性質は、これらの誤差すなわち1つの(オーディオ/データ)サンプルに関係する誤差が、その後のサンプルのミキシング解除動作に影響を及ぼすようなものである。しかしながら、PCMストリームの追加データに対する補助データ領域を最適に利用することに関して、最新の符号化がこの補助データ領域を使用して(サンプリング周波数低減)誤差を記憶し、この修正データ全てが圧縮される場合、復号器がこのようなブロック内の全データの完全性を検証できるように、CRCチェックサムがデータブロックの終わりに付加されることになる。一定間隔でシード値を記憶することにより、オーディオサンプル内の誤差により引き起こされる影響を制限することができる。誤差が生じたときには、その時点では分解プロセスを再開し、誤差伝播を効果的に終了することができるので、誤差が伝播するのは、シード値が既知である次の位置までのみとなる。更に、データエラーが、下位ビットの補助データ領域に記憶されたシード値で発生すると、この不良シード値に基づいた分解は誤差を含むものとなるが、その時点で分解プロセスを再開することができるので、シード値が既知である次の位置までに過ぎない。
サンプルを等化するステップは、第1及び第2のデジタルデータ集合の結合中に実行することは極めて容易であるが、誤差もまた導入されることになる。
この誤差を低減するために、選ばれる誤差近似の限定的なセットから選択される誤差の値が定められる。
この限定的な誤差近似のセットによって誤差の低減が可能であると同時に、等化ステップ中に生じた実際の誤差よりも少ないビットで表すことができる限定的なセットからしか誤差近似を選択できないので、空間が節約される。誤差近似に対するインデックスは、符号化プロセス中に確保されるビット数よりも少ないビットをサンプル当たりに必要とする。これは、データの圧縮性を保証するのに重要である。この節約された空間により、同期パターン及びシードサンプルなどの追加情報の埋め込みが可能となる。ハイファイオーディオ再生用のコンパクトディスクオーディオレコーディングと比べて、当該サンプリンレートだけでなく主として位相情報も遙かに詳細に必要とされるオーディオを再生成する目的では、より高いサンプリングレートが導入されるので、96kHzから48kHzまで、又は192kHzから96kHzまでのサンプリング周波数低減が問題となる可能性がある。
これらの誤差を(できる限り)排除するためのサンプル周波数低減及び補正データ(誤差近似)に起因する誤差は、最適化アルゴリズムの結果である可能性があり、この場合、最適化基準は、最小二乗誤差の和として定義することができ、或いは、知覚的なオーディオ目標に基づいた基準を含むこともできる。
本方法の更なる実施形態においては、サンプルはブロックに分割され、インデックスが対応付けられるサンプルを含む第2のブロックに先行する第1のブロック内のサンプルにインデックスが埋め込まれる。
誤差近似の限定的なセットにインデックスを付与し、対応するサンプルに先行する第3のデジタルデータ集合のサンプルの下位ビット内に適切なインデックスを単に格納することによって、誤差近似の大きさを更に縮小することが達成できる。先行するブロックのサンプル内にインデックスを埋め込むことにより、インデックス及び誤差近似は、対応するサンプルの分解プロセスが開始されたときに利用可能となる。
これは、他の埋め込んだデータもサンプルの下位ビットに存在する場合に特に有益である。インデックス付加は、この追加データに必ずしも利用可能な訳ではなく、汎用圧縮方式を用いてもよい。誤差近似に対するインデックス付加と追加データに対する圧縮とを組み合わせを用いることができ、或いは、下位ビット内に埋め込まれた全データ集合、すなわち誤差近似及び追加データに対する全体的な圧縮を用いてもよい。
予め定義されたオフセットにより、誤差近似と該誤差近似が対応するサンプルとの間の定義された関係が確立される。インデックスを使用して誤差近似を記憶する場合には、インデックスは、各ブロックに適合され、適合されたインデックスは各ブロック内にも記憶される。
可能であれば、インデックスはまた、デジタルデータ集合毎に選び、又は、符号器及び復号器内に固定され記憶されるが、融通性を犠牲にしてデータストリームには記憶されないようにすることができる。抽出したオーディオ信号の品質を向上させために誤差近似を使用されない場合には、誤差近似を記憶する必要はない。これは、デジタルデータ集合の下位ビット内の他のデータの埋め込み及び圧縮を妨げるものではない。
利用可能な余地があるとすぐにサンプル内の誤差値を圧縮することによって、サンプル空間が節約され、当該空間を用いて、後で誤差値の限定的なセットの拡張を可能にすることができ、よって、等化サンプルのより正確な補正を可能にし、結果としてデジタルデータ集合の更に良好な再生が得られる。
本方法の更なる実施形態においては、誤差近似を埋め込むのに使用されない第3のデジタルデータ集合又は他の制御データのサンプルのいずれかの下位ビットは、予め定義された値に設定するか、又はゼロに設定される。
下位ビットは、デジタルデータ集合の結合前、又はシード値、同期パターン、及び誤差値などの埋め込み情報の埋め込み後にゼロに設定することができる。
埋め込まれたデータが外見上ランダムなデータによってもはや囲まれていないので、予め定義された値又はゼロ値は、埋め込まれたデータを区別する一助となることができる。
更に、これらのビットは処理が必要ではないことが明らかになると思われるので、結合及び分解のプロセスを簡素化することが可能である。
下位ビット中の確保された数のビットの選択は、ダイナミックに、換言すればその瞬間でのデジタルデータ集合のコンテンツに基いて実施することができる点に留意されたい。例えば、クラシック音楽の無音部分には、信号解像度のためにより多くのビットが必要となる可能性があり、一方、ポップス音楽の大きな音の部分には、当該多くのビットは必要ではない場合がある。
3つ以上のデジタルデータ集合が結合されると、各デジタルデータ集合のn番目毎のサンプルは、データ集合のn個(等しい)サンプル当たりに(n−1)個を保持する第1のサブセットの等化サンプルとして使用され、第2のサブセットは、データ集合のn個のサンプル当たりの1個のサンプルを保持する。各データ集合当たりに、等化サンプルの位置は時間領域において1つの位置だけ移動する。
本発明は、本発明の方法又は本発明による符号器を使用して、少なくとも2つのデジタルオーディオチャンネルを単一のデジタルオーディオチャンネルに結合することによってこれを達成する。本方法の追加のステップにより、結果として得られるデジタル音声ストリームは、結合される2つのデジタル音声チャンネルの知覚的に満足できる表現である。複数のチャンネルについてこの結合を実施すると、例えば、3D 9.1構成から2D 5.1構成までチャンネル数が低減される。これは、例えば、9.1システムの左下正面チャンネル及び左上正面チャンネルを結合して、5.1システムの左正面チャンネルを介して通常記憶、送信、及び再生することができる1つの左正面チャンネルにすることにより達成することができる。
従って、本発明を用いて生成された信号は、結合された信号を分解することによりオリジナルの9.1チャンネルの取り出しを可能にするが、結合された信号は、5.1システムのみを有するユーザによって使用されるのに等しく好適である。混合又は符号化前の両方のチャンネルの減衰は、各チャンネルの(逆)減衰データが復号中に必要とされるように、適切なダウンミキシングされた5.1システムに必要とされる場合がある。
AURO−phonicオーディオレコーディングでは、これらの既存の又は新しいメディア担体上で利用可能であるよりもより多くのチャンネルが必要となる。本発明は、これらの媒体担体、或いは、チャンネルの欠如が存在し、且つ3Dオーディオ記憶又は送信に使用されることになる不十分な数のチャンネルを用いてこのようなシステムの使用を可能にすると同時に、まるで2Dオーディオチャンネルであるように、2Dシステムにおいて3Dオーディオチャンネルを自動的にレンダリングする全ての既存の再生装置との下位互換性を確保する、他の伝達手段の使用を可能にする。適合された再生装置が存在する場合、3Dオーディオチャンネルの完全なセットを本発明による復号方法又は復号器を使用して抽出することができ、別個のデジタルオーディオチャンネルを抽出してこれらの個々のチャンネルを再生させた後に、完全な3Dオーディオをシステムによって適切にレンダリングすることができる。
●サラウンドミキシングに含まれるステレオ(アーティスティックな)ミキシング
オーディオレコーディングのマスタリング中、音響エンジニアは、ミキシングテンプレートを定義又は使用してマルチオーディオトラックから始めて、「真の」又は「アーティスティックな」ステレオミキシング並びにサラウンドミキシング(例えば4.0、5.1…)を生成する。ステレオミキシングへのサラウンドミキシングのマトリクスダウンミキシングが可能であるが、このようなダウンミキシングマトリクス技術の欠点を容易に例示することができる。このようなマトリクスダウンミキシングステレオ信号からのコンテンツは、通常L−R領域(位相外れ信号)であることになり、真の「アーティスティックな」ステレオミキシングは、L−R領域内に適度な量を有して、主としてL+R領域(位相内信号)内にあることになるため、マトリクスダウンミキシングされたステレオは、「アーティスティックな」ステレオミキシングと実質的に異なることになる。単に1つの実施例として、マトリクスダウンミキシングステレオは、位相外れ信号の量が多いことに起因して、モノラルでは実質的に無音に聞こえることになる。その結果、マスタリングされ且つ今日のほとんどのオーディオ符号化/復号技術で符号化された現行のサラウンドオーディオレコーディングは通常、現実のステレオ再生を考慮した場合、レコーディングの別個の真の(「アーティスティックな」)ステレオバージョンを提供する。
本発明で説明される符号化技術を用いると、3次元オーディオ情報のミキシングは、単に、2次元2.0、4.0、5.1又は7.1サラウンドミキシングの各チャンネル上で、これらの2次元スピーカよりも上方の特定の高さでレコーディングされるようなオーディオを表す別のオーディオチャンネルをミキシングすることにより行うことができることは容易に理解することができる。ミキシング中、これらの3次元オーディオチャンネルは、マルチチャンネル録音が本発明において定義されたような復号器と共に使用されないときに、望ましくないオーディオ効果を回避するために減衰させることができる。復号中、これらのチャンネルは、ミキシング解除され、必要に応じて増幅されて、上部スピーカ上でレンダリングされる。
アーティスティックステレオ再生、2次元サラウンド再生又は3次元AURO−phonic再生に有用である96kHz(HD−DVD)又は192kHz(ブルーレイDVD)でのオールインワンレコーディング(例えば、6チャンネル)を生成することを目的とする場合、本発明に基づいたアプリケーションを用いることができる。本発明を用いて、「初期」サンプリングレートを係数3(又はそれ以上)だけ低減することにより3つのチャンネル(又はそれ以上)を1つのチャンネルにミキシングし、この低減中に生成された誤差を近似して、できる限りオリジナルの信号を復元することができる。これを用いて、96kHzの左正面−アーティスティックチャンネルを96kHz(減衰)左正面デルタ(L−アーティスティックL−サラウンド)及び96kHz(減衰)左正面上部とミキシングすることができる。同様のミキシング方式を右正面チャンネルに適用することができる。2チャンネルミキシングは、左サラウンド及び右サラウンドに適用することができる。中央チャンネルをも使用して、中央上オーディオチャンネルをミキシングすることができる。
現在の既存のオーディオ又はビデオ作品の大部分は、2次元(サラウンド)オーディオトラックを有する。実際の3次元音源位置(2次元レコーディングにダウンミキシングされた更なるチャンネルとしてその情報を使用するために本発明で説明するような符号器でマスタリング及びミキシング中に使用できる)は別として、標準的な2次元オーディオレコーディングの中に存在するような拡散オーディオは、3次元オーディオ設定の上部スピーカ上で移動及びレンダリングされる候補である。2次元レコーディングから拡散オーディオ出力を抽出する自動(オフライン−又は非リアルタイム)オーディオプロセスを想起することができ、この抽出されたオーディオを使用して、2Dサラウンドレコーディングの「低減された」オーディオトラックとミキシング(本発明の方式に従って)されるチャンネルを生成し、3Dオーディオとして復号できるサラウンドマルチチャンネルレコーディングを得るようにすることができる。コンピュータ要件によっては、2Dサラウンドチャンネルから拡散オーディオを抽出するこのフィルタリング技術は、リアルタイムで適用することができる。
本発明は、3次元オーディオシステムの一部を形成する幾つかの装置に用いることができる。
オーディオ/ビデオレコーディング及びマスタリング業界で一般的に利用可能なマスタリング及びミキシングツールにより、第三者がソフトウェアプラグインを開発することができる。これらのツールは通常、ミキシング及びマスタリングエンジニアにより使用される完全なツールセット内でプラグインをアクティブにする共通のデータ/コマンドインタフェースを提供する。AUROPHONIC符号器のコアは、単純な符号器の実施例であるので、一方では、複数のオーディオチャンネル入力と1つのオーディオチャンネル出力とを備え、他方では、追加のパラメータとして品質及びチャンネル減衰/位置のようなユーザ設定を考慮し、これらのオーディオマスタリング/ミキシングツール内にソフトウェアプラグインを設けることができる。
マスタリング及びミキシングツールを有する検証ツールとしてのソフトウェアプラグイン復号器は、符号器プラグインと同様にして開発することができる。このようなソフトウェアプラグイン復号器はまた、民生用/エンドユーザPCのメディアプレーヤ(Windows(登録商標)’ Media Player又はDVDソフトウェアプレーヤ、及び最も可能性が高いのはHD−DVD/ブルーレイソフトウェアプレーヤなど)と統合することもできる。
幾つかの新しいメディア高解像度フォーマットは、それぞれの(民生用)プレーヤ内で(デジタル的に)利用可能である複数の高周波/高ビット解像度オーディオPCMストリームを定義している。内部のオーディオデジタルアナログコンバータに提示されるどのようなオーディオPCMデータもミキシング/併合/減衰などを行わないモードを使用してこれらのディスクからコンテンツを再生する場合、これらのオーディオPCMデータ(AURO符号化データとすることができる)は、専用ASIC又はDSP(AURO復号器ファームウェアで取り込まれる)により傍受され、全てのミキシングオーディオチャンネルを復号し、且つ例えばアーティスティック左/右オーディオ又は例えば上部L/R出力の追加セットを供給するためのオーディオ出力の別のセットを生成することができる。
AUROPHONIC復号プロセスが、ブルーレイ又はHD−DVDディスクの再生中に適切である場合はいつでも、これらのプレーヤの再生モードは、TRUE−Filmモードに設定され、プレーヤのオーディオミキサが、このディスク上でマスタリングされるときにPCMストリームのオリジナルデータを破損/修正するのを防ぐようにする必要がある。このモードにおいては、プレーヤのCPU又はDSPのフル処理パワーは必要ではない。従って、プレーヤのCPU又はDSPのファームウェアの一部として実装される追加のミキシング解除プロセスとして、AUROPHONIC復号器を統合することが可能とすることができる。
HDMI(高解像度メディアインタフェース)は、マルチチャンネルオーディオストリームの全帯域幅(8チャンネル、192kHz、24ビット)の転送を可能にする。HDMIスイッチャは、第1の逆スクランブルによりデジタルオーディオ/ビデオデータデータを生成し、HDMIインタフェース上で送信されるオーディオデータがこのようなスイッチで内部的にアクセス可能であるようにする。AURO符号化オーディオは、AURO復号器を実装するアドオンボードにより復号することができる。類似のアドオン統合(通常はオーディオレコーディング/再生ツール内の)は、USB又はFIREWIREマルチチャンネルオーディオ入出力装置に使用することができる。
本明細書で説明するような符号器は、レコーディングシステムなどのより大きな装置に統合することができ、或いは、レコーディングシステム又はミキシングシステムに結合された独立した符号器とすることができる。符号器はまた、例えば、上記のコンピュータプログラムを実行するのに好適なコンピューターシステム上で実行されたときに、本発明の符号化法を実施するコンピュータプログラムとして実装することもできる。
本明細書で説明するような復号器は、再生装置内の出力モジュール又は増幅装置内の入力モジュールなどのより大きな装置内で統合することができ、或いは、符号化された結合データストリームのソースに結合された入力部を介した、及び増幅器に結合された出力部を介した独立した復号器とすることができる。
別の利点は、スピーカに必要とされる配線は、他の配線を見えないようにするのと同様、容易に見えないようにできることである。3次元スピーカシステムのスピーカの下部セットは、例えば、ドアパネル内、ダッシュボード内、又はフロア近くにおいて現在多くのスピーカが取り付けられているように車室の下部に位置決めされる。3次元スピーカシステムのスピーカの上部セットは、例えば、ルーフ近く、或いはダッシュボードよりも高い又はスピーカの下部セットよりも少なくとも高い別の位置の車室上部に位置決めすることができる。
復号器がオーディオチャンネルを分解して分解されたオーディオチャンネルを増幅器に渡す第1の状態から、結合されたオーディオチャンネルが増幅器に渡される第2の状態にまで、ユーザが再生装置を切り替え可能にすることも有益である。3次元再生と2次元再生との間の切り替えは、復号器を迂回することにより達成することができる。別の態様においては、2次元再生とステレオ再生との間の切り替えも想定される。
スピーカの位置決めなどの2次元及び3次元のオーディオ再生の要件は、本発明の一部ではなく、従って、詳細には説明されない。しかしながら、本発明は、例えば、マルチチャンネルオーディオの適切な再生が得られるように車を構成するときに、マルチチャンネルオーディオ再生装置の設計者が選ぶことができるあらゆるチャンネル構成に適合可能である点を念頭に置かれたい。
第1の等化ユニット11aは、第1のデジタルデータ集合の第1のサブセットのサンプルを選択して、この第1のサブセットの各サンプルを第1のデジタルデータ集合の第2のサブセットのサンプルのうちの隣接サンプルに等化し、ここで第1のサブセットのサンプル及び第2のサブセットのサンプルは、図2で詳細に説明するように交互配置される。第2のサブセットの影響されないサンプル及び第1のサブセットの等化サンプルを含む、結果として得られるデジタルデータ集合は、第1の任意選択的なサンプルサイズ低減器12aに渡すことができ、又は結合器13に直接渡すことができる。
第2の等化ユニット11bは、第2のデジタルデータ集合の第3のサブセットのサンプルを選択して、この第3のサブセットの各サンプルを第2のデジタルデータ集合の第4のサブセットのサンプルのうちの隣接サンプルに等化し、ここで第3のサブセットのサンプル及び第4のサブセットのサンプルは、図3で詳細に説明するように交互配置される。第4のサブセットのサンプル及び第3のサブセットの等化サンプルを含む結果として得られたデジタルデータ集合は、第2の任意選択的なサンプルサイズ低減器12bに渡すことができ、又は結合器13に直接渡すことができる。
第1及び第2のサンプルサイズ低減器は共に、それぞれのデジタルデータ集合のサンプルから定義された数の下位ビットを除去し、例えば、4ビットの最下位ビットを除去することにより24のビットサンプルを20のビットにまで低減する。
等化ユニット11a、11bにより行われるサンプルの等化は、誤差を生じるものである。任意選択的に、この誤差は、等化サンプルをオリジナルのサンプルと比較することにより誤差近似器15により近似される。この誤差近似は、以下で説明するように、オリジナルのデジタルデータ集合をより正確に復元するために、復号器が使用することができる。結合器13は、その入力部に供給されるときに、第2のデジタルデータ集合の対応するサンプルに第1のデジタルデータ集合のサンプルを追加し、第3のデジタルデータ集合の結果として得られたサンプルをフォーマッタ14にその出力部を介して提供し、フォーマッタ14は、2つのデジタルデータ集合からのシード値及び誤差近似器15から受信される誤差近似などの追加データを第3のデジタルデータ集合の下位ビット内に埋め込み、結果として得られたデジタルデータ集合を符号器10の出力部に提供する。
第3のデジタルデータ集合40の第1の位置は、復号中に必要とされるシード値である値A0"を保持するように示されている。このシード値は、他の場所に記憶することができるが、この説明の間は便宜上第1の位置で示される。第2の位置は、A0"+B0"の値を有する第1の結合サンプルを保持する。復号器は第1の位置から取り出されたときにシード値A0"を認識しているので、第2の中間デジタルデータ集合のサンプル値は、減算により設定することができる。
C0−A0"=(A0"+B0")−A0"=B0"
この取り出されたサンプル値B0"は、第2の中間デジタルデータ集合を再構成するのに使用されるが、第1の中間デジタルデータ集合のサンプルを取り出すのにも使用される。値A0"はここでは認識されており、隣接サンプルA1が同じ値を有することが分かっているので、ここで、第2の中間デジタルデータ集合のサンプルを計算することができる。
C1−A1"=(A1"+B1")−A1"=B1"
C2−B2"=(A2"+B2")−B2"=A2"
この取り出されたサンプル値A2"は、第1の中間デジタルデータ集合を再構成するのに使用されるが、第2の中間デジタルデータ集合のサンプルを取り出すのにも使用される。残りのサンプルについて、図5に示すようにこれを繰り返すことができる。
勿論、全ての取り出された中間デジタルデータ集合について同じことを行い、オリジナルのデジタルデータ集合内のサンプルのオリジナル値にできるだけ近い値に等化サンプルを復元するようにすることができる。
第1のデジタルデータ集合20は、一連のサンプル値A0、A1、A2、A3、A4、A5、A6、A7、A8、A9を含む。各サンプルA0、A1、A2、A3、A4、A5、A6、A7、A8、A9は切り捨てられ、切り捨てられた又は丸められたサンプルA0′、A1′、A2′、A3′、A4′、A5′、A6′、A7′、A8′、A9′が得られる。このセット60のサンプルA0′、A1′、A2′、A3′、A4′、A5′、A6′、A7′、A8′、A9′は、下位ビットが考慮されるか又はサンプルに関する情報を保持していない場合、その後、図2で説明するように処理される。このセット60の切り捨てられたサンプルは、第1のサブセットのサンプルA1′、A3′、A5′、A7′、A′9及び第2のサブセットのサンプルA0′、A2′、A4′、A6′、A8′に分割される。
次いで、第1のサブセットのサンプルの各サンプルA1′、A3′、A5′、A7′、A9′の値は各々、図6で矢印により示されるように、第2のサブセットからの隣接サンプルA0′、A2′、A4′、A6′、A8′の値に等化される。
詳細には、これは、サンプルA1′の値が隣接サンプルA0の値と置き換えられる、すなわち、サンプルA1′の値はサンプルA0′の値に等化されることを意味する。これにより、図示のように、サンプル値A0"、A1"、A2"、A3"、A4"、A5"、A6"、A7"、A8"、A9"などを含む第1の中間デジタルデータ集合61が得られることになり、ここで値A0"は値A0′と等しく、A1"は値A0′に等しいなどとなる。切り捨てすなわちサンプルの丸めに起因して、予備区域62が第1の中間デジタルデータ集合61内に生成される点に留意されたい。
この切り捨てられたサンプルセットB0′、B1′、B2′、B3′、B4′、B5′、B6′、B7′、B8′、B9′は、第3のサブセットのサンプルB0′、B2′、B4′、B6′、B8′及び第4のサブセットのサンプルB1′、B3′、B5′、B7′、B9′に分割される。
次いで、第3のサブセットのサンプルの各サンプルB0′、B2′、B4′、B6′、B8′の値は各々、図3で矢印により示されるように、第4のサブセットから隣接サンプルB1′、B3′、B5′、B7′、B9′の値に等化される。
詳細には、これは、サンプルB2′の値が隣接サンプルB1′の値と置き換えられる、すなわち、サンプルB2′の値はサンプルB1′の値に等化されることを意味する。これにより、図示のように、サンプル値B0"、B1"、B2"、B3"、B4"、B5"、B6"、B7"、B8"、B9"を含む第2の中間デジタルデータ集合71が得られることになり、ここで値B2"は値B1"と等しく、B1"は値B1"等しいなどとなる。切り捨てすなわちサンプルの丸めに起因して、予備区域72が第2の中間デジタルデータ集合71内に生成される点に留意されたい。
24ビットのPCMオーディオストリームでは、18/6フォーマット及び2つのチャンネルミキシングで、18ビットオーディオサンプル及び6ビットデータサンプルを有し、各データブロックは、6つのデータサンプル(各々6ビット)の同期で始まり、2つのデータサンプル(合計12ビット)が、データブロックの長さを記憶するのに使用され、最終的に、2x3データサンプル(2x18ビット)が、重複オーディオサンプルを記憶するのに使用される。他のフォーマット(実施例)については、
−16/8:8つのデータサンプルの同期、長さに対して2つのデータサンプル(16ビット、12ビットのみ使用)及び重複オーディオサンプルとして2x2データサンプル(2x16ビット);
−20/4:4つのデータサンプルの同期、長さに対して3つのデータサンプル(合計12ビット)及び重複オーディオサンプルとして2x5データサンプル(2x20ビット);
−22/2:2つのデータサンプルの同期、長さに対して6つのデータサンプル(合計12ビット)及び重複オーディオサンプルとして2x11データサンプル(2x22ビット)。
他のフォーマット(例えば16ビットPCMオーディオ、14/2フォーマット)については、類似した構造を定義することができる。
第3のデジタルデータ集合80がこの補助データ領域81の存在を認識していない機器を通じて再生されると、この補助データ領域81のデータは、このような機器により、再生されることになるデジタルデータ集合の下位ビットであると解釈される。
従って、この補助データ領域81に配置されたデータは、主として感知不可能である信号に僅かな雑音を導入することになる。勿論、この知覚不可能であるか否かは、この補助データ領域81に確保されるように選ばれた下位ビットの数によって決まり、補助データ領域81のデータ記憶の要件と、デジタルデータ集合において結果として生じた品質損失とのバランスを取るために使用すべき下位ビットの適切な量を選択することは、当業者には容易である。24ビットオーディオシステムでは、補助データ領域81に専用の下位ビットの数は16ビットオーディオシステムより多い可能性があることは明らかである。
これらのミキシングされたオーディオチャンネルにおいて逆(又はミキシング解除)動作を可能にするために、限定されたサンプル数の重複コピーが記憶される。
上記の実施例において、単一のシード値サンプル、すなわちサンプルの重複コピーのみが使用されて記憶されるが、冗長性が実現されるという点で複数のシード値サンプルを記憶することが有利である。この冗長性は、ストリーム内で新しい開始点を提供することにより誤差からの回復を可能にする記憶シード値の繰返し特性に起因し、更に、各開始位置の2つのシード値を記憶することができることに起因するものである。シード値A0及びB1により、A0で始まる計算により値B0が得られ、次いで検証用に記憶されたシード値と比較することができるので、開始位置を検証することが可能になる。更なる利点は、A0及びB1の両方の記憶により、2つのシード値が属する正しい開始位置をサーチすることが可能であり、ある位置において、シード値A0を用いた復号により、記憶されたシード値B1に等しい値B1を正確にもたらすことになる可能性が高いので、シード値とデジタルデータ集合Cとの間の自己同期が可能であることである。
一例として、24(Z)ビッ96kHzのサンプル信号から始まり18(Y)ビット48kHzにまで低減され、msec当たりに1つのサンプル、すなわちmsec当たりに1つのシード値の重複を生成する場合、チャンネル当たり1000個の18ビットサンプル重複すなわちシード値がミキシングされる。このミキシングが2つのチャンネルを含む場合、サンプル重複/秒について2x1000x18ビットすなわち36Kビットの「記憶装置」が必要である。第1の追加の「空間」(96K/秒でサンプル当たり6(X)ビット)が生成されたので、下位ビットにより形成された補助データ領域において、6x96=576Kビット/秒が利用可能であり、ここには、サンプル値のこれらの重複コピーを容易に記憶することができる。実際に、これらのコピーを記憶するために16xメモリが利用可能であり、従って、この補助データ領域において記憶すべき他の情報がない場合、16回/msecの割合でこれら2つのチャンネルの重複サンプルを記憶することが可能になる。Z/Y/Xの他の値、例えば、96kHzで24/20/4、又は44.1kHzで16/14/2が選択された場合、最下位ビットを使用することにより生成される「自由」補助データ領域の量は異なるものとなる。以下の事例は実施例として与えられるが、本発明は、これらの他の使用事例に限定されるものではない。96kHzでの24/20/42にて2つのチャンネル及び4x96=392Kビット/秒メモリが重複サンプル/msecにおいて2x1000x20=40Kビットを必要とし、9.6回/msecの割合で重複サンプルを記憶することができる。44.1kHzでの16/14/2にて2つのチャンネル及び2x44.1=88.2Kビット/秒メモリが重複サンプル/msecにおいて2x1000x4=28Kビットを必要とし、3.15/msecの割合で重複サンプルを記憶することができる。ここで述べた実施例では、オリジナルの(解像度及び周波数が低減された)オーディオストリームからサンプルの重複専用として、サンプルの下位ビットにより形成された補助データ領域を使用している。本明細書で使用される技術の特性及び特徴に起因して、重複サンプルの記憶用にこの「自由な」補助データ領域を単独では使用しないことが有益であるが、これらのサンプル重複は、ミキシング解除プロセス又は復号器により使用される必須の情報である。
復号器が再構成されたこれらの重複サンプル、すなわちシード値を有すると、これらの重複サンプル(シード値)は、次に、ミキシングされたチャンネルをミキシング解除するのに使用される。ミキシングされたチャンネルは、例えば、PCMストリームA"及びB"のミキシングであり、A"2i=A"2i+1=A′2i及びB"2i+1=B"2i+2=B′2i+1。A′0であり、B′1は重複サンプルとして使用され、データブロックに符号化される。
1.A"0+B"0−(A"0=A′0)では、B"0を得て、重複サンプルからA"0を得た。
2.A"1+B"1−(B"1=B′1)では、A"1を得て、重複サンプルからB"1を得た。
3.A"2+B"2−(B"2=B"1)では、A"2及びB"2=B"1を得る。
4.A"3+B"3−(A"3=A"2)では、B"3及びA"3=A"2を得る。
5.A"4+B"4−(B"4=B"3)では、A"4及びB"4=B"3を得る。
6.A"5+B"5−(A"5=A"4)では、B"5及びA"5=A"4を得る。
7. …
HD−DVD又はブルーレイDVDのようなメディアフォーマット上では、マルチチャンネルオーディオは、PCMオーディオストリームの多重として記憶することができる。これらのチャンネルの各々に関して上述したようなミキシング/ミキシング解除技術を用いて、チャンネルの数(6又は8から12又は16まで)を容易に重複させることができる。これにより、あらゆるグランドスピーカよりも上方に上部スピーカを追加することによって、3次元のオーディオレコーディング又は再生を記憶又は生成することができるが、マルチチャンネルオーディオトラック上に記憶されたオーディオは、それでも100%PCM「再生可能」オーディオであるので、これによりユーザは、オーディオの「2次元」バージョンを試聴するための復号器を持つ必要はない。この最後の再生モードにおいては、3次元効果は生成されず、また、2次元オーディオレコーディングの知覚可能な品質が劣化するものでもない。
A=オリジナルのサンプル(24ビット)、
A′=丸めサンプル(18H有効&6Lビット=0)、
A"=サンプリング周波数低減サンプル
図10において、第1のオーディオストリームAは、濃灰色の線としてグラフに示されている。Aのサンプルは、A0、A1、A2、A3、A4、A5…である。各サンプルの解像度は、24ビット符号付き整数値、よって、−(2(Z-1)−1)から(2(Z-1)−1)までの範囲の値として表された、24(Z)ビット/サンプルである。このサンプルシリーズから、解像度を18(Y)ビットにまで低減し、6(X)最下位ビットをクリアして、符号化データの「余地」を生成するようにする。合計がZであるY最上位ビットだけを用いて全てのZビットサンプルを最も近い表現に丸めることによって、低減が達成される。この点に関して、各サンプルは、(2(x-1)−1)で増分され、各合計は、(2(z-1)−1)に制限され、又は、
として表される。次に、ビット毎のANDによって6(X)最下位ビットを0に設定(2(Y)−1)ビット単位で左にXビットシフトされる)し、従って、新しいストリームA′(淡灰色)を生成する。A′のサンプルは、
A′0、A′1、A′2…
A′i=[Ai+(2(X-1)−1)](2(z-1)−1)AND(2(Y)−1)<<X)
である。
サンプル解像度の低減後、更にサンプリング周波数を1/2に低減する(3つ以上のチャンネルをミキシングする場合、ミキシングされるチャンネルの数に等しい倍数だけサンプリング周波数を低減する必要がある)。この点に関して、オリジナルのストリームA′の全ての偶数サンプルを繰り返す。サンプル周波数低減後、新しいストリームA"が得られる。A"のサンプルは、A"0、A"1、A"2…で、A"2i=A"2i+1=A′2iである。
インデックス2iでのA"の全ての偶数サンプルは、インデックス2iでのA′のオリジナルのデータと同一であり、インデックス2i+1でのA"の全ての奇数サンプルは、インデックス2iでのA"の前のサンプルの重複である。
B =オリジナルのサンプル(24ビット)、
B′=丸めサンプル(18H有効6Lビット=0)、
B" =サンプリング周波数低減サンプル
図11において、第2のオーディオストリームBは、濃灰色の線としてグラフに示されている。同じサンプル解像度低減が、このストリームに適用される。Bのサンプルは、B0、B1、B2、B3、B4、B5…である。このサンプルシリーズから、新しいストリームB′(淡灰色)を生成する。B′のサンプルは、B′0、B′1、B′2…で、B′i=[Bi+(2(X-1)−1)](2(z-1)−1)AND(2(Y)−1)<<X)である。
サンプル解像度の低減後、更に、サンプリング周波数を1/2に低減し、新しいストリームB"を取得する。B"のサンプルは、B"0、B"1、B"2…で、B"2i+1=B"2i+2=B′2i+1である。
インデックス2iでのB"の全ての偶数サンプルは、インデックス2i+1でのB′のオリジナルのデータと同一であり、インデックス2i+2でのB"の全ての奇数サンプルは、インデックス2i+1でのB"の前のサンプルの重複である。
A+B =オリジナルサンプル(24ビット)、
A′+B′=丸めサンプル(18H有効ビット及び6Lビット=0)
A"+B" =サンプリング周波数低減サンプル
である。
誤差=サンプル丸めに起因する誤差
誤差′=サンプル丸め+周波数低減に起因する誤差。
最後に、復号器がミキシングされたオーディオPCMデータをミキシング解除可能にするために、復号器には、ミキシング解除動作をストリーミングオーディオPCMでリアルタイムに実施できるように、オーディオPCMサンプルを受信する前にオーディオPCMサンプルの重複サンプルを有する必要がある。この点に関して、データブロックのこのデータ(オーディオサンプル、同期パターン、長さパラメータの重複サンプルを保持する)を前のデータブロックに関係するオーディオPCM情報をも担持するサンプル(Zビット)内に配置する必要がある。これらのデータブロックを復号する時間を復号器に与えるために、これらのデータブロックは、重複をとるのに使用されたオーディオPCMサンプルの前に幾つかのオーディオPCMサンプルを終了させることさえ可能である。データブロックの終端部と重複サンプルとしてコピーするのに使用されたオーディオPCMサンプルとの間のオーディオPCMサンプルの数はオフセットであり、これは、データブロック内に記憶された別のパラメータである。場合によっては、このオフセットは、負であることがあり、オーディオPCMストリームの重複サンプルの位置が当該データブロックを担持するのに使用されたオーディオPCMサンプル内にあることを示している。オフセットについては、12ビットの値(符号付き整数値)も使用される。
1.同期パターン
2.データブロック長
3.当該データブロックの終端部に対するオーディオPCMサンプルオフセット。
4.オーディオPCMサンプル(ミキシングされる各チャンネルに1つ)の重複
同期セクション151は、ローリングビットパターン(サイズは、AUROデータ幅に使用されるQビットの数に依存する)として予め定義される。汎用データ154は、AUROデータブロックの長さに関する情報、AURO復号データ156を適用しなければならない第1のオーディオ(PCM)データ158の正確なオフセット(同期位置151に対して)、第1のオーディオ(PCM)データサンプル(符号化された各チャンネルに1つ)のコピー、減衰データ、及び他のデータを含む。任意選択的に(符号化プロセス中のAURO品質選択に応じて)、このAURO復号データ156、157はまた、インデックスリスト152と、符号化ステップ中に生成された全誤差の近似値を保持する誤差テーブル153とを含むことができる。更に、同様に任意選択的に、インデックスリスト152及び誤差テーブル153は圧縮することができる。汎用復号データセクション154は、適用された圧縮に関する情報を含めて、このようなインデックスリスト152及び誤差テーブル153が存在するかどうかを示すことになる。最後に、CRC値155は、オーディオPCMデータ(Yビット)及びAUROデータ(Qビット)を使用して計算されたCRCである。
第1のステップにおいて、最初に、オーディオストリームA、Bは、オーディオサンプル(24→18/6)を丸めることによってA′、B′にまで低減される。
第2のステップにおいて、低減したストリームは、予めミキシング(減衰データを使用して)され、オーディオクリッピング(A′c、B′c)を回避するために、これらのストリームに対して動的圧縮を適用する。
第4のステップにおいて、誤差ストリームEは、2(z-1)中心(例えばK−中央値近似値)及びこれらの中心に対する基準値リストを使用して、E′により近似される。
第5のステップにおいて、テーブル及び基準値が圧縮され、サンプリングした減衰(オーディオサンプルの開始)、ブロックヘッダ(同期、長さ、…、…、crc)が定義される。
第6のステップにおいて、クリッピング(オーディオオーバーシューティング)に対する最終チェックを含むストリーム(A′c′、B′c′、E′c′)がミキシングされ、このチェックには小さな変更が必要となる場合がある。
第7のステップにおいて、データブロックセクション(6ビットサンプル)がオーディオサンプルと併合される。
次のステップ<4>において、誤差ストリームE167は、2(z-1)中心(例えばK−中央値近似値)及びこれらの中心に対する基準値リストを使用して誤差近似器により生成されたE′162により近似される。
高度符号化/復号のセクションにおいては、ミキシング及びミキシング解除動作における誤差167(サンプル周波数低減に起因する)は、この誤差ストリーム167が誤差なしで近似される条件に基づいて回避できると説明されている。この特定の実施例の(X/Y/Z)=(24/18/6)及びV=32(2(z-1))近似値においては、これらの「近似値」に対するこれら誤差の1対1マッピングがあるように、データブロックにおいてV個のサンプルだけがあった場合、誤差(誤差の12ビットの表現に起因する制限は別として)が存在しない可能性が高い。他方、データブロックの最大長Uも定義されたが、これは、いかなる状況においても誤差基準値リスト及び近似値テーブルがこのようなデータブロックにおいて「符号化可能」であることが保証される。従って、符号化のこのステップでは、最初に、両方のストリームA′c′165a及びB′c′165bcから、及び誤差ストリームE167からの幾つかのUサンプルが必要となるであろう。
同様の問題及びこれらの解決策はまた、施設配置アルゴリズムとして文献において公知である。更にこの関連の中では、「ストリーミング」解決策並びに非ストリーミング解決策を考慮する必要がある。前者は、「符号器」が、生活オーディオストリームのミキシングから生じる実生活(リアルタイムでの)で生成された誤差にワンタイム及びワンパスだけアクセスすることを意味する。後者(非ストリーミング)は、符号器が、処理に必要とするデータに「オフライン」で且つ連続してアクセスすることを意味する。出力デジタルデータストリーム(18ビットオーディオサンプル及び6ビットデータを有するオーディオPCMストリーム)の構造に起因して、対応するオーディオサンプルの前に補助データ領域からのデータブロックが送出され、K個の中央値又は施設配置アルゴリズムの非ストリーミング用途の事例における状況が生成される。本発明の目的は、これらの多くが公開文献で利用可能であるので、新しいデータクラスター化アルゴリズムを定義することではなく、むしろ実施するための当業者に対する解決策としてこれらを参照することである。(例えば、クラスター化データストリーム:理論と実践、知識及びデータエンジニアリングに関するIEEE研究論文、第15巻、第3号、2003年5月/6月を参照されたい。)。
これらのK個の中心又は誤差近似値が定義されると、ミキシングからの誤差ストリームのL個の要素がK個の近似値(又は中心)を含むそのテーブル内の要素に対して、L個の基準値で置き換えられるようなリストが生成される。6ビットのデータは、あらゆるオーディオサンプルに利用可能であるので、誤差ストリームの特定のセクションにおいて、そのセクションの全ての異なる誤差についてK=64個の異なる近似値を定義することができる。その後、L個の基準値のそのリストの無損失圧縮に依存し、圧縮後、L=M+NでのM個の×6ビットのデータサンプル及びN個の「自由な」6ビットデータサンプルで終わるようにすることができる。補助データ領域の自由空間は、誤差近似値並びに同期パターン、データブロックの長さ、その他を記憶するのに使用されることになる。しかしながら、L個の基準値のこのリスト内の値は、一連の真のランダムな数である可能性があるので、このリストの圧縮に依存すべきではなく、むしろ、このリストが圧縮可能であることを保証すべきである。従って、X/Y/Zの場合、この実施例においてはX=24、Y=18、Z=6では、32=2(Z-1)を超えない近似値が使用される。従って、(Z−1)個のビットのみがこのテーブルを参照する必要があり、基準値のこのようなリストが圧縮可能であることを容易に証明することができ、5*6ビットのデータサンプルは、このテーブルに対して6つの基準値を保持することができる(各々5ビットが必要)。基本的技術のセクションで説明するように24/18/6の場合、基準値のリストを含まない全てのデータを記憶するためには、少なくとも合計86のデータサンプルが必要とされる。同期用の6つの(6ビット)サンプル、データブロック長用の2つの(6ビット)サンプル、オフセット用の2つの(6ビット)サンプル、2つのオーディオサンプル重複各々18ビット用の6つの(6ビット)サンプル、減衰用に2つ(6ビット)、定義すべき2つ(6ビット)のデータ、32個の誤差近似値用の最大64個の(6ビット)サンプル、圧縮不能である場合CRC用の2つの(6ビット)サンプル)。少なくとも6から5まで圧縮される圧縮比を考慮すると(1つの自由なデータサンプルを供給する)、最大6x86=516個のサンプルが必要である。この合計はまた、24/18/6のこのモードにおいてデータブロックの最大長を定義する。例えば16にまで近似値の数を制限すると、合計86が54までの低減となり、すなわち、基準値リストの最小圧縮比が少なくとも6から4にまで圧縮され、データブロックの最大長が3x54=162個のデータサンプルになる。或いは、誤差の幅を3x6ビットまで拡張することにより、基準値のリスト以外の全てのデータを記憶するために118個のデータサンプルが生成される(これは、合計708=6x118を必要とする)。しかしながら、ほとんどの場合、上記は最悪の事例シナリオを考慮したものに過ぎないので、このデータを更に圧縮する圧縮が現実的(すなわち例えば、誤差近似値テーブルにおいて一般的な比率である25%(4ビットを3ビットに低減)の圧縮)である。32個の誤差近似値による近似では、この追加の比率により、データブロック長が50%を上回って低減され、(32個)の誤差近似値からの64個のデータサンプルは、48個のデータサンプルにまで低減され、合計(基準値リストなしで)が70にまで低減されるようになる。更に、基準値リストに対する更なる20%〜25%の圧縮では、このリストが6ビットから5ビットに、更に4ビットに至るまで圧縮され、結果として合計3x70=210個のデータサンプルのデータブロック長になる。この結果、32個の誤差近似値に対する基準値のストリームによって、ミキシングされたオーディオストリームのサンプル低減からの210個の誤差の誤差ストリームを近似することができるようになる。
16個の誤差近似値のみを有する24/18/6つの事例では、これと同程度の圧縮比を取ると、結果として誤差ストリームには3x46=138個のデータサンプルが必要となる。これらに限定されるものではないが、上記の実施例に基づいて結論を言えば、ここで導入された圧縮方式により、この近似値は、サンプル周波数が低減されたオーディオストリームのミキシング時に考慮に入れることができるように誤差ストリームを近似することが可能になり、これは、このサンプル周波数低減に起因して誤差を大幅に低減することになる。これらの圧縮誤差近似値を使用することで、卓越した正確さで2つのミキシングPCMストリームを再構成することが可能となり、2つのPCMストリームの結合及び分解により導入される誤差がほとんど知覚不能なものとなる。
本発明の別の態様は、効果的にミキシングされる前のオーディオストリームの前処理である。2つ又はそれ以上のストリームは、これらの信号が共にミキシングされたときにクリッピングを発生する可能性がある。このような場合、前処理ステップは、ミキシングされるチャンネルの一方又は両方のチャンネルにでも動的オーディオ圧縮器/リミッタを含む。これは、これらの特定の事象の前に減衰を徐々に増大させ、事象後に徐々に減衰を減少させることによって達成することができる。この手法は、これらのオーバーシュート/クリッピングを発生するサンプル値が(事前に)必要となるので、符号化プロセッサの非ストリーミングモードにおいて主として適用される。これらの減衰は、オーディオストリーム自体に対して処理され、従って、ミキシング解除時にこれらの圧縮器作用が依然としてミキシング解除ストリームの一部であるようにして、クリッピングを回避することができる。(ミキシングされた)オーディオのクリッピングを回避することは別として、復号器(本発明で説明するような)が存在しないときには、3Dから2Dへダウンミキシングされるオーディオレコーディングが使用可能でなければならない。こうした理由から、基本的な2次元オーディオと干渉し過ぎる追加のオーディオ(3次元から)を低減するために、ミキシングされたオーディオストリームに対して動的オーディオ信号圧縮(又は減衰)が使用されるが、これらの減衰パラメータを記憶することにより、適切な信号レベルが復元されるように、ミキシング解除後に逆操作を行うことができる。上述のように、サンプルの下位ビットにより形成される補助データ領域のデータブロック構造は、少なくとも8ビットのこの動的オーディオ圧縮パラメータ(減衰)を保持するセクションを含む。更に、分析(サンプル周波数低減誤差補正を参照)から、32個の要素の誤差テーブル及び12ビット誤差幅を有する24/18/6の典型的な事例のデータブロックの最大長は、およそ500サンプルであったと結論付けることができる。96kHzのサンプリングレートにて、このようなセクションは約5ミリ秒のオーディオであり、従って、このオーディオは、減衰パラメータのタイミング細分性になる。減衰値自体は8ビットの値で表され、異なるdB減衰レベルが各値に割り当てられたとき(例えば:0=0dB、1=(−0.1)dB、2=(−0.2)dB...)には、滑らかな圧縮曲線を実施するためにこれらの値及び時間ステップに依存する可能性があり、この圧縮曲線は、復号操作中に逆に用いて、適切な相対信号レベルを復元することができる。
AURO−Lは、両方のオリジナルのL(正面左)、UL(正面左上)及びAL(アーティスティック左)PCMオーディオチャンネルを含むことができ、AURO−Rは、類似しているが、正面右オーディオチャンネルに関するものであり、AURO−Lsは、Ls(左サラウンド)&UL(左上サラウンド)オーディオPCMチャンネルを保持し、AURO−Rsは、同等の右チャンネルを保持する。
AUROPHONIC復号器194は、図5及び図10で説明した技術を用いて1つ又はそれ以上のオーディオPCMチャンネルをミキシング解除するAURO復号器191、192、193の複数のインスタンスを含む。AURO入力チャンネル毎に1つのAURO復号器191192、193のインスタンスが起動される。AUROチャンネルが1つのオーディオチャンネルだけのミキシングから成るときには、復号器インスタンスは起動する必要はない。
これは、例えば、下位ビット内の同期パターンを求めて受信データストリームをサーチする同期検出器201によって達成することができる。同期検出器201は、同期パターンを見つけだすことにより、サンプルの下位ビットで形成された補助データ領域内のデータブロックに同期する機能を有する。上記で説明したように、同期パターンの使用は、任意選択的であるが有利である。同期パターンは、例えば、24ビットサンプルサイズにおいて、2、4、6、又は8ビット(Z−ビット)幅、及び2、4、6、又は8サンプル長とすることができる。(2ビット:LSB=01,10;4ビット:LSB=0001,0010,0100,1000;6ビット:000001,…100000;8ビット:00000001,…,10000000)。同期検出器201がこれらのマッチングパターンのいずれかを見つけると、同期検出器201は、類似パターンが検出されるまで「待機」する。そのパターンが検出されると、同期検出器201は、SYNC候補状態に入る。検出された同期パターンに基づいて、同期検出器201は、2、4、6又は8ビットが補助データ領域でサンプルによって使用されたかどうかを判断することもできる。
誤差検出器は、CRC値を計算し(同期を除いて、このデータブロックから全てのデータを使用して)、このCRC値をデータブロックの終わりに見いだされた値と比較する。不整合があった場合、復号器はCRC誤差状態にあるといえる。
同期検出器は、シード値取り出し部202、誤差近似値取り出し部203、及び補助コントローラ204に情報に提供し、これにより、シード値取り出し部202、誤差近似値取り出し部203及び補助コントローラ204は、関連データを復号器200の入力から受信さしたときに補助データ領域から抽出することができる。
同期検出器がデータブロック同期ヘッダに同期すると、シード値取り出し部202は、データブロックのデータをスキャンして、オフセット、すなわちデータブロックの終端部と第1の重複オーディオサンプルとの間のサンプル数(この数は、理論上マイナスである可能性がある)を求め、これら重複(オーディオ)サンプルを読み込む。
誤差近似値取り出し部203は、必要であれば基準値リスト及び近似値テーブルを解凍する。分解されたデジタルデータ集合を改善するのに誤差近似値が使用されることになる場合、分解部206は、誤差近似値取り出し部203から受信された誤差近似値を対応するデジタルデータ集合に適用し、結果として得られたデジタルデータ集合を復号器の出力部に提供する。
実際に、復号器は、該復号器が、例えば結合デジタルデータ集合内のオーディオストリームに対応するように機械式アクチュエータを制御するため、補助制御データだけを提供する必要がある場合において、分解部206、シード値取り出し部202、及び誤差近似値取り出し部203から取り去ることができる。
復号器がCRC誤差状態に入ると、ユーザは、復号器の挙動を定義することができ、例えば、第2の出力をミューティングレベルまでフェードアウトし、復号器がCRC誤差状態から戻ると、第2の出力を再びフェードインすることを求めることができる。別の挙動は、両方の出力部にミキシング信号を重複させることとすることができるが、復号器の出力部で提示されるオーディオのこれらの変更により、望ましくないオーディオプロッピング又はクラッキングを引き起こさないようにすべきである。
31 第3のデジタルデータ集合に含まれるデジタルデータ集合
40 第3のデジタルデータ集合
Claims (50)
- 第1のサイズを有する第1のデジタルデータ集合(20)のサンプル(A0、A1、A2、A3、A4、A5、A6、A7、A8、A9)及び第2のサイズを有する第2のデジタルデータ集合(30)のサンプル(B0、B1、B2、B3、B4、B5、B6、B7、B8、B9)を結合して、前記第1のサイズ及び前記第2のサイズの合計よりも小さい第3のサイズを有する第3のデジタルデータ集合(40)のサンプル(C0、C1、C2、C3、C4、C5、C6、C7、C8、C9)にする方法であって、
前記第1のデジタルデータ集合(20)の第1のサブセットのサンプル(A1、A3、A5、A7、A9)を、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)と交互配置された前記第1のデジタルデータ集合(20)の第2のサブセットのサンプル(A0、A2、A4、A6、A8)の隣接サンプルに等化する処理と、
前記第2のデジタルデータ集合(30)の第3のサブセットのサンプル(B0、B2、B4、B6、B8)を、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)と交互配置され且つ前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)と時間的に対応するサンプルを有していない前記第2のデジタルデータ集合(30)の第4のサブセットのサンプル(B1、B3、B5、B7、B9)の隣接サンプルに等化する処理と、
前記等化された第1のデジタルデータ集合の前記サンプル(A0"、A1"、A2"、A3"、A4"、A5"、A6"、A7"、A8"、A9")を、前記時間領域において前記等化された第2のデジタルデータ集合の対応するサンプル(B0"、B1"、B2"、B3"、B4"、B5"、B6"、B7"、B8"、B9")に追加することによって、前記第3のデジタルデータ集合(40)のサンプル(C0、C1、C2、C3、C4、C5、C6、C7、C8、C9)を生成する処理と、
前記第1のデジタルデータ集合(20)の第1のシードサンプル(A0)及び前記第2のデジタルデータ集合(30)の第2のシードサンプル(B1)を前記第3のデジタルデータ集合(40)に埋め込む処理と、を含む方法。 - 前記第1のデジタルデータ集合(20)が第1のオーディオ信号を表し、前記第2のデジタルデータ集合(30)が第2のオーディオ信号を表し、前記第3のデジタルデータ集合(40)が、前記第1のオーディオ信号及び前記第2のオーディオ信号の結合である第3のオーディオ信号を表すことを特徴とする請求項1に記載の方法。
- 第4のオーディオ信号を表す第4のデジタルデータ集合が、前記第1(20)及び第2のデジタルデータ集合(30)と結合されて、前記第1のオーディオ信号、前記第2のオーディオ信号及び前記第4のオーディオ信号の結合である第3のオーディオ信号を表す前記第3のデジタルセット(40)になることを特徴とする請求項2に記載の方法。
- 前記第1のシードサンプルが前記第1のデジタルデータ集合の前記第1のサンプルであり、前記第2のシードサンプルが前記第2のデジタルデータ集合の前記第2のサンプルであることを特徴とする請求項1に記載の方法。
- 前記第1のシードサンプル(A0)及び前記第2のシードサンプル(B1)が、前記第3のデジタルデータ集合(40)のサンプル(C0、C1、C2、C3、C4、C5、C6、C7、C8、C9)の下位ビット内に埋め込まれることを特徴とする請求項1に記載の方法。
- 前記第1のシードサンプル(A0)の場所に対して定義された位置に同期パターン(SYNC)が埋め込まれることを特徴とする請求項1に記載の方法。
- 前記サンプルを等化する処理の前に、前記サンプルの等化から生じる誤差が、誤差近似のセットから誤差近似を選択することによって近似されるようにすることを特徴とする請求項1に記載の方法。
- 前記誤差近似のセットにインデックスが付加され、前記誤差近似を表すインデックスが、前記誤差近似が対応する前記サンプルの下位ビットにより形成された補助データ領域(81)内に埋め込まれることを特徴とする請求項7に記載の方法。
- 前記誤差近似のセットにインデックスが付加され、前記誤差近似を表すインデックスが、サンプルの下位ビットにより形成された補助データ領域(81)内のデータブロック内に埋め込まれ、前記データブロックは、前記インデックスが対応する前記サンプルに先行することを特徴とする請求項7に記載の方法。
- 前記サンプルがブロックに分割され、前記インデックスが、前記インデックスが対応する前記サンプルを含む第2のブロックに先行する第1のブロック内の前記サンプル内に埋め込まれることを特徴とする請求項9に記載の方法。
- 前記埋め込まれた誤差近似値が圧縮される、ことを特徴とする請求項9に記載の方法。
- 前記誤差値が、前記誤差値が対応する前記サンプルに対する可変位置を有する第1の利用可能位置に埋め込まれることを特徴とする請求項11に記載の方法。
- 埋め込みに使用されない前記第3のデジタルデータ集合のサンプルのいずれかの下位ビットが、予め定義された値に設定されるか又はゼロに設定されることを特徴とする前記請求項のいずれか1項に記載の方法。
- 前記最下位ビットが、制御データを埋め込むために更に使用されることを特徴とする請求項5から請求項13のいずれか1項に記載の方法。
- 前記制御データが、楽器を制御するために埋め込まれることを特徴とする請求項14に記載の方法。
- 前記制御データが、発光素子を制御するために埋め込まれることを特徴とする請求項14に記載の方法。
- 前記制御データが、符号化又は復号中に前記第2のデジタルデータ集合(30)に適用されることになる1つ又はそれ以上の利得係数を表していることを特徴とする請求項14に記載の方法。
- 前記制御データが、機械式アクチュエータを制御するために埋め込まれることを特徴とする請求項14に記載の方法。
- 請求項1に記載の前記方法により得られるような第3のデジタルデータ集合(40)のサンプル(C0、C1、C2、C3、C4、C5、C6、C7、C8、C9)から第1のデジタルデータ集合(20)のサンプル(A0、A1、A2、A3、A4、A5、A6、A7、A8、A9)及び第2のデジタルデータ集合(30)のサンプル(B0、B1、B2、B3、B4、B5、B6、B7、B8、B9)を抽出する方法であって、
前記第1のデジタルデータ集合(20)の第1のシードサンプル(A0)及び前記第2のデジタルデータ集合(30)の第2のシードサンプル(B1)を前記第3のデジタルデータ集合(40)から取り出す処理と、
前記第3のデジタルデータ集合(40)の対応するサンプルから前記第1のデジタルデータ集合(20)のサンプルの既知の値を減算することで前記第2のデジタルデータ集合(30)のサンプル(Bn)を抽出し、且つ前記第3のデジタルデータ集合(31)の対応するサンプルから前記第2のデジタルデータ集合(30)のサンプルの既知の値を減算することで前記第1のデジタルデータ集合(20)のサンプルを抽出することによって、第1のサブセットのサンプル(A1、A3、A5、A7、A9)及び第2のサブセットのサンプル(A0、A2、A4、A6、A8)を含む前記第1のデジタルデータ集合(20)と、第3のサブセットのサンプル(B0、B2、B4、B6、B8)及び第4のサブセットのサンプル(B1、B3、B5、B7、B9)を含む前記第2のデジタルデータ集合(30)とを取り出す処理とを含み、
前記第4のサブセット(B1、B3、B5、B7、B9)の前記サンプル及び前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)が、時間的に対応するサンプルを有しておらず、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)が、前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)の隣接サンプルと等しい値を有し、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)及び前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)が交互配置され、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)が、前記第4のサブセットのサンプル(B1、B3、B5、B7、B9)の隣接サンプルと等しい値を有し、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)及び前記第4のサブセットのサンプル(B1、B3、B5、B7、B9)が交互配置されていることを特徴とする方法。 - 前記第1のデジタルデータ集合(20)が第1のオーディオ信号を表し、前記第2のデジタルデータ集合(30)が第2のオーディオ信号を表し、前記第3のデジタルデータ集合(31)が、前記第1のオーディオ信号及び前記第2のオーディオ信号の結合である第3のオーディオ信号を表すことを特徴とする請求項19に記載の方法。
- 前記第1及び第2のデジタルデータ集合(20、30)と結合されて前記第1のオーディオ信号、前記第2のオーディオ信号及び前記第4のオーディオ信号の結合である第3のオーディオ信号を表す前記第3のデジタルセット(31)になる第4のオーディオ信号を表す第4のデジタルデータ集合が抽出されることを特徴とする請求項20に記載の方法。
- 前記第1のシードサンプルが前記第1のデジタルデータ集合の第1のサンプル(A0)であり、前記第2のシードサンプル(B1)が前記第2のデジタルデータ集合の第2のサンプルであることを特徴とする請求項19に記載の方法。
- 前記第1のシードサンプル(A0)及び前記第2のシードサンプル(B1)が、前記第3のデジタルデータ集合(40)のサンプル(C0、C1、C2、C3、C4、C5、C6、C7、C8、C9)の下位ビットから抽出されることを特徴とする請求項19に記載の方法。
- 前記第1のシードサンプル(A0)の位置を定義するために、同期パターン(SYNC)が使用されることを特徴とする請求項19に記載の方法。
- 前記第1のデジタルデータ集合を取り出す処理の後に、符号化中に前記サンプルの等化から生じる誤差が、取り出された誤差近似を追加することにより補正されるようにすることを特徴とする請求項19に記載の方法。
- 前記誤差近似が、前記第3のデジタルデータ集合のサンプルの下位ビットにより形成された補助データ領域(81)から取り出されることを特徴とする請求項25に記載の方法。
- 前記補助データ領域(81)がブロックに分割され、前記誤差近似が、前記誤差近似が対応する前記サンプルに先行する前記補助データ領域(81)のブロック内に埋め込まれることを特徴とする請求項26に記載の方法。
- 前記埋め込まれた誤差値が圧縮されることを特徴とする請求項25、26又は27の何れか1項に記載の方法。
- 前記誤差近似のセットが、前記誤差近似を表すインデックスにより表されることを特徴とする請求項25、26、又は27の何れか1項に記載の方法。
- 前記誤差値が、前記誤差値が対応する前記サンプルに対する可変位置を有する第1の利用可能位置から取り出されることを特徴とする請求項25に記載の方法。
- 前記下位ビットから補助制御データが取り出されることを特徴とする請求項23〜30のいずれか1項に記載の方法。
- 前記補助制御データが、楽器を制御するために提供されることを特徴とする請求項31に記載の方法。
- 前記補助制御データが、発光素子又は機械式アクチュエータを制御するために提供されることを特徴とする請求項31に記載の方法。
- 前記補助制御データが、前記第1のデジタルデータ集合に適用されることになる1つ又はそれ以上の利得係数を表していることを特徴とする請求項31に記載の方法。
- 請求項1から請求項18のいずれか1項に記載の前記方法を実行するように構成された符号器(10)であって、
前記第1のデジタルデータ集合(20)の第1のサブセットのサンプル(A1、A3、A5、A7、A9)を、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)と交互配置された前記第1のデジタルデータ集合(20)の第2のサブセットのサンプル(A0、A2、A4、A6、A8)の隣接サンプルに等化する第1の等化手段(11a)と、
前記第2のデジタルデータ集合(30)の第3のサブセットのサンプル(B0、B2、B4、B6、B8)を、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)と交互配置され且つ前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)と時間的に対応するサンプルを有していない前記第2のデジタルデータ集合(30)の第4のサブセットのサンプル(B1、B3、B5、B7、B9)の隣接サンプルに等化する第2の等化手段(11b)と、
前記時間領域において前記第2のデジタルデータ集合の対応するサンプルに前記第1のデジタルデータ集合のサンプルを追加することによって前記第3のデジタルデータ集合のサンプルを生成する結合器(13)と、
前記第1のデジタルデータ集合の第1のシードサンプル及び前記第2のデジタルデータ集合の第2のシードサンプルを前記第3のデジタルデータ集合に埋め込むフォーマット手段(14)と、を備えることを特徴とする符号器(10)。 - 請求項35に記載の符号器(10)を備えたデジタル信号処理装置。
- 前記デジタル信号処理装置が、マルチチャンネルオーディオをレコーディングするように適合されていることを特徴とする請求項36に記載のデジタル信号処理装置。
- 前記デジタル信号処理装置が、第1の数のオーディオチャンネルを有する3次元オーディオをレコーディングし、前記第1の数のオーディオチャンネルより少ない第2の数のオーディオチャンネルを有する2次元オーディオ用に設計されたフォーマットで前記レコーディングされた3次元オーディオを記憶するように適合されていることを特徴とする請求項37に記載のデジタル信号処理装置。
- 請求項19〜請求項34のいずれか1項に記載の前記方法を実行するように構成された復号器であって、
前記第1のデジタルデータ集合(20)の第1のシードサンプル(A0)及び前記第2のデジタルデータ集合(30)の第2のシードサンプル(B1)を前記第3のデジタルデータ集合(40)から取り出すシード値取り出し部(202)と、
第1のサブセットのサンプル(A1、A3、A5、A7、A9)及び第2のサブセットのサンプル(A0、A2、A4、A6、A8)を含む前記第1のデジタルデータ集合(20)と、第3のサブセットのサンプル(B0、B2、B4、B6、B8)及び第4のサブセットのサンプル(B1、B3、B5、B7、B9)を含む前記第2のデジタルデータ集合(30)とを取り出すプロセッサ(206)とを備え、
前記第1の処理手段が、前記第2のデジタルデータ集合(30)のサンプル(Bn)を抽出する第1の抽出器と、前記第3のデジタルデータ集合(40)の対応するサンプルから前記第1のデジタルデータ集合(20)のサンプルの既知の値を減算する第1の減算器とを含み、前記プロセッサが更に、前記第1のデジタルデータ集合(20)のサンプルを抽出する第2の抽出器と、前記第3のデジタルデータ集合(31)の対応するサンプルから前記第2のデジタルデータ集合(30)のサンプルの既知の値を減算する第2の減算器とを含み、
前記第4のサブセット(B1、B3、B5、B7、B9)の前記サンプル及び前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)が、時間的に対応するサンプルを有しておらず、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)が、前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)の隣接サンプルと等しい値を有し、前記第1のサブセットのサンプル(A1、A3、A5、A7、A9)及び前記第2のサブセットのサンプル(A0、A2、A4、A6、A8)が交互配置され、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)が、前記第4のサブセットのサンプル(B1、B3、B5、B7、B9)の隣接サンプルと等しい値を有し、前記第3のサブセットのサンプル(B0、B2、B4、B6、B8)及び前記第4のサブセットのサンプル(B1、B3、B5、B7、B9)が交互配置されており、
前記復号器には、更に、前記取り出された第1のデジタルデータ集合を出力する出力手段が設けられていることを特徴とする復号器。 - 前記出力手段が、前記デジタルデータストリームから取り出されなかった前記デジタルデータ集合の結合を表すデジタルデータ集合を出力するように構成されることを特徴とする請求項39に記載の復号器(200)。
- 請求項39に記載の復号器(200)を含む再生装置。
- 前記再生装置が、マルチチャンネルオーディオをレコーディングするように適合されていることを特徴とする請求項41に記載のデジタル信号処理装置。
- 前記マルチチャンネルオーディオが、2次元オーディオ用に設計されたフォーマットで記憶された3次元オーディオであり、前記3次元オーディオが第1の数のオーディオチャンネルを有し、前記2次元オーディオが、前記第1の数のオーディオチャンネルより少ない第2の数のオーディオチャンネルを有することを特徴とする請求項42に記載の再生装置。
- 前記マルチチャンネルオーディオが、2次元オーディオ用に設計されたフォーマットで記憶された2次元オーディオであり、前記2次元オーディオが、2よりも多い数のオーディオチャンネルを有することを特徴とする請求項42に記載の再生装置。
- 前記再生装置が、ステレオ再生とマルチチャンネルオーディオ再生との間で切換可能であることを特徴とする請求項41、42、43、又は44の何れか1項に記載の再生装置。
- 請求項41、42、43、又は44の何れか1項に記載の再生装置を含む車室を備えた車両であって、前記再生機器が、オーディオ情報を有するデータキャリア用読取り装置と増幅器とを含むことを特徴とする車両。
- 前記車室内で異なる高さに位置決めされたラウドスピーカを含み、前記各ラウドスピーカが、前記データキャリアに関する前記オーディオ情報から前記復号器により取り出された異なるオーディオチャンネルにより駆動されるようになることを特徴とする請求項46に記載の車両。
- 少なくとも1つのラウドスピーカが、ダッシュボードよりも高く位置決めされることを特徴とする請求項47に記載の車両。
- 請求項1〜18のいずれか1項に記載の前記方法により得られるデジタルデータ集合を含む記録媒体。
- コンピュータ上で実行されたときに請求項1〜34の何れか1項に記載の前記方法を実行するコード手段を含むコンピュータプログラムであって、
前記コンピュータが、前記コンピュータプログラムの実行の好適な環境を提供することを特徴とするコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US82932106P | 2006-10-13 | 2006-10-13 | |
US60/829,321 | 2006-10-13 | ||
PCT/EP2007/060980 WO2008043858A1 (en) | 2006-10-13 | 2007-10-15 | A method and encoder for combining digital data sets, a decoding method and decoder for such combined digital data sets and a record carrier for storing such combined digital data set |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010506226A true JP2010506226A (ja) | 2010-02-25 |
JP2010506226A5 JP2010506226A5 (ja) | 2012-10-18 |
JP5325108B2 JP5325108B2 (ja) | 2013-10-23 |
Family
ID=38983768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009531862A Active JP5325108B2 (ja) | 2006-10-13 | 2007-10-15 | デジタルデータ集合を結合するための方法及び符号器、結合デジタルデータ集合の復号方法及び復号器、並びに結合デジタルデータ集合を記憶するための記録媒体 |
Country Status (13)
Country | Link |
---|---|
US (1) | US8620465B2 (ja) |
EP (4) | EP2328364B1 (ja) |
JP (1) | JP5325108B2 (ja) |
CN (1) | CN101641970B (ja) |
AT (1) | ATE476834T1 (ja) |
CA (1) | CA2678681C (ja) |
DE (1) | DE602007008289D1 (ja) |
DK (1) | DK2092791T3 (ja) |
ES (2) | ES2350018T3 (ja) |
HK (1) | HK1141188A1 (ja) |
PL (2) | PL2092791T3 (ja) |
PT (1) | PT2299734E (ja) |
WO (1) | WO2008043858A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018512613A (ja) * | 2015-02-27 | 2018-05-17 | アウロ テクノロジーズ エンフェー. | デジタルデータセットの符号化及び復号 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9310959B2 (en) * | 2009-06-01 | 2016-04-12 | Zya, Inc. | System and method for enhancing audio |
JP2011155640A (ja) * | 2009-12-28 | 2011-08-11 | Panasonic Corp | 立体映像再生装置 |
US8781000B2 (en) * | 2010-12-30 | 2014-07-15 | Vixs Systems, Inc. | Dynamic video data compression |
EP2695161B1 (en) * | 2011-04-08 | 2014-12-17 | Dolby Laboratories Licensing Corporation | Automatic configuration of metadata for use in mixing audio programs from two encoded bitstreams |
KR102160248B1 (ko) * | 2012-01-05 | 2020-09-25 | 삼성전자주식회사 | 다채널 음향 신호의 정위 방법 및 장치 |
WO2013122386A1 (en) * | 2012-02-15 | 2013-08-22 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method |
WO2013122387A1 (en) | 2012-02-15 | 2013-08-22 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method |
WO2013122385A1 (en) | 2012-02-15 | 2013-08-22 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method |
US9386066B2 (en) | 2012-03-13 | 2016-07-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Mixing of encoded video streams |
TWI530941B (zh) | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
CN105229731B (zh) | 2013-05-24 | 2017-03-15 | 杜比国际公司 | 根据下混的音频场景的重构 |
WO2014187986A1 (en) | 2013-05-24 | 2014-11-27 | Dolby International Ab | Coding of audio scenes |
JP6192813B2 (ja) | 2013-05-24 | 2017-09-06 | ドルビー・インターナショナル・アーベー | オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 |
WO2014187990A1 (en) | 2013-05-24 | 2014-11-27 | Dolby International Ab | Efficient coding of audio scenes comprising audio objects |
EP2830052A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension |
EP2830053A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
EP3127109B1 (en) | 2014-04-01 | 2018-03-14 | Dolby International AB | Efficient coding of audio scenes comprising audio objects |
CN109348535B (zh) * | 2017-08-11 | 2019-10-22 | 华为技术有限公司 | 同步信号块指示及确定方法、网络设备和终端设备 |
CN109361933B (zh) * | 2018-11-13 | 2019-11-05 | 仲恺农业工程学院 | 一种音视频信息处理方法 |
US11985222B2 (en) | 2020-09-22 | 2024-05-14 | Qsc, Llc | Transparent data encryption |
CN114137348B (zh) * | 2021-11-29 | 2023-11-24 | 国网湖南省电力有限公司 | 一种配电终端智能联调验收方法和验收设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004266587A (ja) * | 2003-03-03 | 2004-09-24 | Dainippon Printing Co Ltd | 時系列信号の符号化装置および記録媒体 |
EP1592008A2 (en) * | 2004-04-30 | 2005-11-02 | Van Den Berghe Engineering Bvba | Multi-channel compatible stereo recording |
JP2007304346A (ja) * | 2006-05-11 | 2007-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 多チャネル信号符号化方法、その方法を用いた装置、プログラム、および記録媒体 |
JP2009531905A (ja) * | 2006-03-28 | 2009-09-03 | フランス テレコム | 変換ドメイン内で効率的なバイノーラルサウンド空間化を行う方法およびデバイス |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5351087A (en) * | 1990-06-01 | 1994-09-27 | Thomson Consumer Electronics, Inc. | Two stage interpolation system |
US5642437A (en) * | 1992-02-22 | 1997-06-24 | Texas Instruments Incorporated | System decoder circuit with temporary bit storage and method of operation |
JPH06325499A (ja) * | 1993-05-11 | 1994-11-25 | Sony Corp | 記録装置、再生装置および記録再生装置 |
FI101439B (fi) * | 1995-04-13 | 1998-06-15 | Nokia Telecommunications Oy | Transkooderi, jossa on tandem-koodauksen esto |
US5884269A (en) * | 1995-04-17 | 1999-03-16 | Merging Technologies | Lossless compression/decompression of digital audio data |
US5956674A (en) * | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
TW417082B (en) * | 1997-10-31 | 2001-01-01 | Yamaha Corp | Digital filtering processing method, device and Audio/Video positioning device |
US6104991A (en) * | 1998-02-27 | 2000-08-15 | Lucent Technologies, Inc. | Speech encoding and decoding system which modifies encoding and decoding characteristics based on an audio signal |
GB2345233A (en) * | 1998-10-23 | 2000-06-28 | John Robert Emmett | Encoding of multiple digital audio signals into a lesser number of bitstreams, e.g. for surround sound |
JP3876819B2 (ja) * | 2002-11-27 | 2007-02-07 | 日本ビクター株式会社 | 音声符号化方法及び音声復号化方法 |
KR20050122244A (ko) * | 2003-04-08 | 2005-12-28 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 매립된 데이터 채널의 갱신 |
US20060015329A1 (en) * | 2004-07-19 | 2006-01-19 | Chu Wai C | Apparatus and method for audio coding |
JP2008513845A (ja) * | 2004-09-23 | 2008-05-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音声データを処理するシステム及び方法、プログラム要素並びにコンピュータ読み取り可能媒体 |
-
2007
- 2007-10-15 CA CA2678681A patent/CA2678681C/en active Active
- 2007-10-15 US US12/445,232 patent/US8620465B2/en active Active
- 2007-10-15 EP EP10171809.6A patent/EP2328364B1/en active Active
- 2007-10-15 ES ES07821347T patent/ES2350018T3/es active Active
- 2007-10-15 CN CN2007800460450A patent/CN101641970B/zh active Active
- 2007-10-15 EP EP10171797A patent/EP2299734B1/en active Active
- 2007-10-15 PL PL07821347T patent/PL2092791T3/pl unknown
- 2007-10-15 WO PCT/EP2007/060980 patent/WO2008043858A1/en active Search and Examination
- 2007-10-15 ES ES10171797T patent/ES2399562T3/es active Active
- 2007-10-15 PL PL10171797T patent/PL2299734T3/pl unknown
- 2007-10-15 DK DK07821347.7T patent/DK2092791T3/da active
- 2007-10-15 DE DE602007008289T patent/DE602007008289D1/de active Active
- 2007-10-15 PT PT101717973T patent/PT2299734E/pt unknown
- 2007-10-15 AT AT07821347T patent/ATE476834T1/de active
- 2007-10-15 JP JP2009531862A patent/JP5325108B2/ja active Active
- 2007-10-15 EP EP10171810.4A patent/EP2337380B8/en active Active
- 2007-10-15 EP EP07821347A patent/EP2092791B1/en active Active
-
2010
- 2010-08-03 HK HK10107409.8A patent/HK1141188A1/xx not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004266587A (ja) * | 2003-03-03 | 2004-09-24 | Dainippon Printing Co Ltd | 時系列信号の符号化装置および記録媒体 |
EP1592008A2 (en) * | 2004-04-30 | 2005-11-02 | Van Den Berghe Engineering Bvba | Multi-channel compatible stereo recording |
JP2009531905A (ja) * | 2006-03-28 | 2009-09-03 | フランス テレコム | 変換ドメイン内で効率的なバイノーラルサウンド空間化を行う方法およびデバイス |
JP2007304346A (ja) * | 2006-05-11 | 2007-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 多チャネル信号符号化方法、その方法を用いた装置、プログラム、および記録媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018512613A (ja) * | 2015-02-27 | 2018-05-17 | アウロ テクノロジーズ エンフェー. | デジタルデータセットの符号化及び復号 |
Also Published As
Publication number | Publication date |
---|---|
ES2399562T3 (es) | 2013-04-02 |
CN101641970B (zh) | 2012-12-12 |
US8620465B2 (en) | 2013-12-31 |
EP2092791B1 (en) | 2010-08-04 |
JP5325108B2 (ja) | 2013-10-23 |
EP2328364B1 (en) | 2020-07-01 |
EP2092791A1 (en) | 2009-08-26 |
EP2337380A1 (en) | 2011-06-22 |
EP2299734A3 (en) | 2011-06-08 |
PT2299734E (pt) | 2013-02-20 |
ATE476834T1 (de) | 2010-08-15 |
CN101641970A (zh) | 2010-02-03 |
CA2678681A1 (en) | 2008-04-17 |
DE602007008289D1 (de) | 2010-09-16 |
EP2337380B1 (en) | 2020-01-08 |
EP2337380B8 (en) | 2020-02-26 |
EP2328364A1 (en) | 2011-06-01 |
PL2092791T3 (pl) | 2011-05-31 |
HK1141188A1 (en) | 2010-10-29 |
US20100027819A1 (en) | 2010-02-04 |
DK2092791T3 (da) | 2010-11-22 |
EP2299734B1 (en) | 2012-11-14 |
PL2299734T3 (pl) | 2013-05-31 |
WO2008043858A1 (en) | 2008-04-17 |
CA2678681C (en) | 2016-03-22 |
ES2350018T3 (es) | 2011-01-14 |
EP2299734A2 (en) | 2011-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5325108B2 (ja) | デジタルデータ集合を結合するための方法及び符号器、結合デジタルデータ集合の復号方法及び復号器、並びに結合デジタルデータ集合を記憶するための記録媒体 | |
KR101158698B1 (ko) | 복수-채널 인코더, 입력 신호를 인코딩하는 방법, 저장 매체, 및 인코딩된 출력 데이터를 디코딩하도록 작동하는 디코더 | |
TWI573131B (zh) | 用以編碼或解碼音訊聲軌之方法、音訊編碼處理器及音訊解碼處理器 | |
CN101385077B (zh) | 用于编码/解码信号的装置和方法 | |
JP2009526258A (ja) | 符号化/復号化装置及び方法 | |
US20070297624A1 (en) | Digital audio encoding | |
JP6612841B2 (ja) | オブジェクトベースオーディオシステムにおける残差符号化 | |
JPH11176101A (ja) | 疑似多チャンネルステレオ再生装置 | |
US20060212614A1 (en) | Cd playback augmentation for higher resolution and multi-channel sound | |
JPWO2010119572A1 (ja) | サラウンド信号生成装置、サラウンド信号生成方法、及びサラウンド信号生成プログラム | |
US8626494B2 (en) | Data compression format | |
JPH1042398A (ja) | サラウンド再生方法及び装置 | |
JP2008310238A (ja) | 音声符号化装置、音声復号化装置、音声符号化プログラムおよび音声復号化プログラム | |
Eliasson et al. | Multichannel cinema sound | |
JPH04143970A (ja) | オーディオ信号の補間装置 | |
JPH0721742A (ja) | 音響編集システム及び音響再生システム | |
JP2001275195A (ja) | エンコード・デコードシステム | |
JPH0759199A (ja) | ヘッドホン受聴用オーディオ・ソフトウェアの作成に用いる音響信号記録方法、音響信号記録システム、及び音響信号記録媒体 | |
JPH04345997A (ja) | 音声処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101014 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120903 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121203 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130520 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130619 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5325108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |